DE102024107977A1

DE102024107977A1 - Method for generating an environment representation, control unit, vehicle, computer program and data carrier

Info

Publication number: DE102024107977A1
Application number: DE102024107977.0A
Authority: DE
Inventors: Yigit Yükselen; Gustavo Machado; Markus Eich; Felix Paffrath; Peter Steinbart; Martin Bürker
Original assignee: Aumovio Autonomous Mobility Germany GmbH
Current assignee: Aumovio Autonomous Mobility Germany GmbH
Priority date: 2024-03-20
Filing date: 2024-03-20
Publication date: 2025-09-25
Also published as: WO2025195716A1

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen einer zumindest einen Teilbereich einer Fahrzeugumgebung eines Fahrzeugs (1) darstellenden und mit wenigstens einem grafischen Overlay (22) augmentierten Umgebungsdarstellung mit den Schritten:
- Aufnehmen von einem oder mehreren Kamerabildern der Fahrzeugumgebung mittels einer oder mehrerer Kameras (6) des Fahrzeugs (1),
- Projizieren der Kamerabilder auf eine schüsselförmige Projektionsfläche (7), welche in einem virtuellen Raum (10) das Fahrzeug (1) umgibt, wobei die Kamerabilder jeweils auf einen der zur Aufnahme der Kamerabilder verwendeten Kamera (6) zugeordneten Abschnitt (16, 17) der Projektionsfläche (7) projiziert werden,
- Anordnen des grafischen Overlays (22) an einer dem Overlay (22) zugeordneten Anordnungsposition (P) im virtuellen Raum (10), wobei die Anordnungsposition (P), wenn diese außerhalb der Projektionsfläche (7) liegt, in Richtung derjenigen Kamera (6), welche dem der Anordnungsposition (P) zugewandten Abschnitt der Projektionsfläche (7) zugeordnet ist, auf die Projektionsfläche (7) verschoben wird, und wobei das Overlay (22) auf die Projektionsfläche (7) projiziert wird,
- Ableiten der Umgebungsdarstellung aus den projizierten Kamerabildern und dem projizierten grafischen Overlay (22). The invention relates to a method for generating an environmental representation representing at least a partial area of a vehicle environment of a vehicle (1) and augmented with at least one graphic overlay (22), comprising the steps:
- Recording one or more camera images of the vehicle surroundings by means of one or more cameras (6) of the vehicle (1),
- Projecting the camera images onto a bowl-shaped projection surface (7) which surrounds the vehicle (1) in a virtual space (10), wherein the camera images are each projected onto a section (16, 17) of the projection surface (7) associated with the camera (6) used to record the camera images,
- arranging the graphic overlay (22) at an arrangement position (P) assigned to the overlay (22) in the virtual space (10), wherein the arrangement position (P), if it lies outside the projection surface (7), is displaced onto the projection surface (7) in the direction of that camera (6) which is assigned to the section of the projection surface (7) facing the arrangement position (P), and wherein the overlay (22) is projected onto the projection surface (7),
- Deriving the environment representation from the projected camera images and the projected graphic overlay (22).

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen einer zumindest einen Teilbereich einer Fahrzeugumgebung eines Fahrzeugs darstellenden und mit wenigstens einem grafischen Overlay augmentierten Umgebungsdarstellung. Weiterhin betrifft die Erfindung ein Steuergerät, ein Fahrzeug, ein Computerprogramm und einen Datenträger.The invention relates to a method for generating an environmental representation representing at least a partial area of a vehicle's surroundings and augmented with at least one graphic overlay. Furthermore, the invention relates to a control unit, a vehicle, a computer program, and a data storage medium.

In modernen Fahrzeugen werden Bilddarstellungen verwendet, welche aus einem oder mehreren Kamerabildern erzeugt werden und zum Beispiel einen Teil einer Fahrzeugumgebung wiedergeben. Die Kamerabilder, welche in der Regel von am Fahrzeug angeordneten Kameras erzeugt werden, können auf eine virtuelle Projektionsfläche projiziert werden, um Umgebungsansichten aus anderen Blickwinkeln als denen der Kameras zu erzeugen. Auf diese Weise können zum Beispiel Aufsichten auf die Fahrzeugumgebung oder perspektivische Darstellungen ausgehend von einem neben dem Fahrzeug liegenden Blickpunkt erstellt werden.Modern vehicles use image representations generated from one or more camera images, for example, depicting a portion of the vehicle's surroundings. The camera images, which are typically generated by cameras mounted on the vehicle, can be projected onto a virtual projection surface to create views of the surroundings from angles other than those of the cameras. This allows, for example, top views of the vehicle's surroundings or perspective views based on a viewpoint adjacent to the vehicle to be created.

Den Kamerabildern können dabei ein oder mehrere Overlays überlagert werden, um die Umgebungsansicht mit weiteren Informationen zu ergänzen bzw. zu augmentieren. Auf diese Weise können beispielsweise Informationen wie Fahrtrajektorien, Zielpositionen oder Warnmarkierungen in die Umgebungsansicht eingefügt werden, um einem Fahrer das Manövrieren mit dem Fahrzeug auf Grundlage der Kamerabilder zu erleichtern. Aus dem Stand der Technik sind verschiedene Verfahren zum Erzeugen von Umgebungsdarstellungen für Fahrzeuge bekannt.One or more overlays can be superimposed on the camera images to supplement or augment the environmental view with additional information. In this way, information such as driving trajectories, target positions, or warning markings can be inserted into the environmental view to make it easier for the driver to maneuver the vehicle based on the camera images. Various methods for generating environmental representations for vehicles are known from the prior art.

In DE 10 2016 225 066 A1 wird ein Rundumsichtsystem für ein Fahrzeug beschrieben. Das Rundumsichtsystem umfasst wenigstens eine reale Kamera zur Aufnahme eines Bildes einer Umgebung des Fahrzeugs aus einer nicht-zentrierten Position, eine Bildverarbeitungseinheit und eine Anzeigeeinheit. Die Anzeigeeinheit ist dazu eingerichtet eine projizierte Darstellung des von der realen Kamera aufgenommenen Bilds und wenigstens einer geometrischen Form darzustellen, wobei die geometrische Form über dem Bild der realen Kamera als ein Overlay dargestellt wird.In DE 10 2016 225 066 A1 A surround-view system for a vehicle is described. The surround-view system comprises at least one real camera for capturing an image of the vehicle's surroundings from a non-centered position, an image processing unit, and a display unit. The display unit is configured to display a projected representation of the image captured by the real camera and at least one geometric shape, wherein the geometric shape is displayed as an overlay over the image from the real camera.

Bei der Verwendung von Overlays in Kombination mit auf eine Projektionsfläche projizierten Kamerabildern stellt sich die Herausforderung, das Overlay perspektivisch korrekt zu den Kamerabilddaten anzuzeigen, da grundsätzlich nicht bekannt ist, welche Bereiche der Kamerabilder eine Bodenfläche oder erhabene Umgebungsobjekte oder -strukturen wie Fahrzeuge, Bäume und dergleichen darstellen. Dies kann beispielsweise dazu führen, dass eigentlich Bereiche einer Bodenfläche kennzeichnende Overlays in einer perspektivischen Umgebungsdarstellung als oberhalb der Bodenfläche schwebend dargestellt werden.When using overlays in combination with camera images projected onto a projection surface, the challenge arises of displaying the overlay with the correct perspective relative to the camera image data, since it is generally unknown which areas of the camera images represent a ground surface or raised environmental objects or structures such as vehicles, trees, etc. This can, for example, lead to overlays that actually mark areas of a ground surface being displayed as floating above the ground surface in a perspective environment representation.

Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zum Erzeugen einer mit wenigstens einem grafischen Overlay augmentierten Umgebungsdarstellung anzugeben, welches insbesondere eine perspektivisch korrekte Darstellung des Overlays in Bezug zu der Darstellung der Fahrzeugumgebung ermöglicht.The invention is therefore based on the object of specifying an improved method for generating an environmental representation augmented with at least one graphic overlay, which in particular enables a perspectively correct representation of the overlay in relation to the representation of the vehicle environment.

Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art erfindungsgemäß dadurch gelöst, dass das Verfahren die folgenden Schritte umfasst:

- Aufnehmen von einem oder mehreren Kamerabildern der Fahrzeugumgebung mittels einer oder mehrerer Kameras des Fahrzeugs,
- Projizieren der Kamerabilder auf eine schüsselförmige Projektionsfläche, welche in einem virtuellen Raum das Fahrzeug umgibt, wobei die Kamerabilder jeweils auf einen der zur Aufnahme der Kamerabilder verwendeten Kamera zugeordneten Abschnitt der Projektionsfläche projiziert werden,

- Anordnen des grafischen Overlays an einer dem Overlay zugeordneten Anordnungsposition im virtuellen Raum, wobei die Anordnungsposition, wenn diese außerhalb der Projektionsfläche liegt, in Richtung derjenigen Kamera, welche dem der Anordnungsposition zugewandten Abschnitt der Projektionsfläche zugeordnet ist, auf die Projektionsfläche verschoben wird, und wobei das Overlay auf die Projektionsfläche projiziert wird,
- Ableiten der Umgebungsdarstellung aus den projizierten Kamerabildern und dem projizierten grafischen Overlay.

This object is achieved according to the invention in a method of the type mentioned at the outset in that the method comprises the following steps:

- Recording one or more camera images of the vehicle's surroundings using one or more cameras on the vehicle,
- Projecting the camera images onto a bowl-shaped projection surface which surrounds the vehicle in a virtual space, whereby the camera images are each projected onto a section of the projection surface assigned to the camera used to record the camera images,

- Arranging the graphic overlay at an arrangement position in the virtual space assigned to the overlay, wherein the arrangement position, if it lies outside the projection surface, is moved onto the projection surface in the direction of the camera assigned to the section of the projection surface facing the arrangement position, and wherein the overlay is projected onto the projection surface,
- Deriving the environment representation from the projected camera images and the projected graphic overlay.

Bei der wenigstens einen Kamera des Fahrzeugs kann es sich zum Beispiel um eine Frontkamera des Fahrzeugs, eine Rückfahrkamera des Fahrzeugs und/oder um eine oder mehrere einen Seitenbereich des Fahrzeugs erfassende Kameras handeln. Das Fahrzeug kann mehrere Kameras aufweisen, wobei es sich bei den mehreren Kameras insbesondere um ein Surroundview-Kamerasystem handeln kann, welches den gesamten Bereich um das Fahrzeug herum erfasst (sog. 360°-Surround View).The at least one camera of the vehicle can be, for example, a front camera of the vehicle, a rearview camera of the vehicle, and/or one or more cameras capturing a side area of the vehicle. The vehicle can have multiple cameras, whereby the multiple cameras can, in particular, be a surround-view camera system that captures the entire area around the vehicle (so-called 360° surround view).

Die von den Kameras aufgenommenen Kamerabilder werden auf eine schüsselförmige Projektionsfläche projiziert. Dabei handelt es sich um eine virtuelle Projektionsfläche, welche zur Ermittlung der Umgebungsdarstellung aus den von den Kameras bereitgestellten Kamerabildern bzw. Bilddaten verwendet wird. Das Projizieren erfolgt dabei als eine Rechenoperation und kann beispielsweise durch eine Recheneinrichtung des Fahrzeugs vorgenommen werden. Durch die Projektion der Bilddaten auf die Projektionsfläche wird es ermöglicht, eine dreidimensionale Ansicht oder auch eine Aufsicht auf die Fahrzeugumgebung ausgehend von einer virtuellen Kameraposition zu erzeugen.The images captured by the cameras are projected onto a bowl-shaped projection surface. This is a virtual projection surface that is used to determine the representation of the surroundings from the The projection is performed as a computational operation and can, for example, be performed by a computing device in the vehicle. Projecting the image data onto the projection surface makes it possible to create a three-dimensional view or a top view of the vehicle's surroundings from a virtual camera position.

Die schüsselförmige Projektionsfläche umfasst insbesondere einen ebenen Bodenabschnitt, in dessen Mitte die virtuelle Entsprechung des Fahrzeugs angeordnet ist. An den Bodenabschnitt schließt sich umlaufend ein Rand an, welche einen Innenbereich der Projektionsfläche nach außen begrenzt. Der Rand kann einen Randabschnitt aufweisen, welcher flächig ist und umlaufend jeweils unter einem konstanten Winkel zu dem Bodenabschnitt steht. Zwischen dem Randabschnitt und dem Bodenabschnitt kann ein Übergangsbereich vorgesehen sein, der zumindest bereichsweise einen parabelförmigen oder exponentiellen Verlauf aufweisen kann. Durch den Übergangsbereich kann die Bildqualität verbessert werden, da ein weicherer Übergang zwischen dem Bodenabschnitt und dem Randabschnitt erzeugt wird.The bowl-shaped projection surface comprises, in particular, a flat floor section, in the center of which the virtual equivalent of the vehicle is arranged. Adjoining the floor section is a peripheral edge which delimits an inner region of the projection surface to the outside. The edge can have an edge section which is flat and is at a constant angle to the floor section all the way around. A transition region can be provided between the edge section and the floor section, which can have a parabolic or exponential profile, at least in some areas. The transition region can improve the image quality because a smoother transition is created between the floor section and the edge section.

Die virtuelle Entsprechung des Fahrzeugs wird insbesondere umlaufend vollständig von dem Randabschnitt der Projektionsfläche umgeben, sodass das virtuelle Fahrzeug quasi im Inneren einer durch die Projektionsfläche gebildeten virtuellen Schüssel angeordnet ist. Den insbesondere unterschiedlichen Teilbereichen des Fahrzeugumfelds erfassenden Kameras ist bei der Projektion jeweils ein Abschnitt der Projektionsfläche zugewiesen, auf welchen die Bilddaten der Kamera projiziert werden. Der zugeordnete Abschnitt liegt dabei insbesondere in einer virtuellen Entsprechung des tatsächlichen Kamerablickfelds. Dabei ist es möglich, dass in manche Abschnitte der Projektionsfläche auch von zwei oder mehr Kameras Bilddaten projiziert werden, beispielsweise wenn Überlappungsbereiche zwischen den Erfassungsbereichen der Kamera des Fahrzeugs bestehen.The virtual equivalent of the vehicle is, in particular, completely surrounded all the way around by the edge section of the projection surface, so that the virtual vehicle is arranged, so to speak, inside a virtual bowl formed by the projection surface. During projection, each camera, which in particular captures different sub-areas of the vehicle's surroundings, is assigned a section of the projection surface onto which the camera's image data is projected. The assigned section lies, in particular, in a virtual equivalent of the actual camera field of view. It is possible that image data from two or more cameras is projected into some sections of the projection surface, for example, if there are overlapping areas between the capture areas of the vehicle's camera.

Um die erzeugte Umgebungsdarstellung mit weiteren Informationen zu versehen bzw. zu augmentieren, wird ein Overlay verwendet, welches den Kamerabildern überlagert wird. Bei dem Overlay handelt es sich um eine zweidimensionale oder dreidimensionale Grafik, welche in die von den Kamerabildern abgebildete Fahrzeugumgebung eingefügt wird und bestimmte Bereiche des dargestellten Fahrzeugumfelds mit einer weiteren, grafischen Information versehen kann. Das Overlay kann daher auch als Grafikelement bezeichnet werden.To provide or augment the generated environment representation with additional information, an overlay is used, which is superimposed on the camera images. The overlay is a two-dimensional or three-dimensional graphic that is inserted into the vehicle environment depicted by the camera images and can provide specific areas of the displayed vehicle environment with additional graphic information. The overlay can therefore also be referred to as a graphic element.

Das grafische Overlay wird in einer Anordnungsposition angeordnet. Mit anderen Worten beschreibt die Anordnungsposition also den Ort, an dem das Overlay in dem virtuellen Raum angeordnet wird. Die Anordnungsposition kann dabei insbesondere einer Position eines zu markierenden Umgebungsbereichs im tatsächlichen Fahrzeugumfeld entsprechen.The graphic overlay is placed in a placement position. In other words, the placement position describes the location where the overlay is placed in the virtual space. The placement position can, in particular, correspond to the position of an area of the surrounding area to be marked in the actual vehicle environment.

Wenn die Anordnungsposition außerhalb der Projektionsfläche, d. h. außerhalb des von dem Randabschnitt der schüsselförmigen Projektionsfläche eingeschlossenen Bereichs, liegt, wird diese auf die Projektionsfläche verschoben. Die Verschiebung der Anordnungsposition auf die Projektionsfläche erfolgt dabei in Richtung derjenigen Kamera, welche dem der Anordnungsposition zugewandten Abschnitt der Projektionsfläche zugeordnet ist. Mit anderen Worten wird die Anordnungsposition auf diejenige Kamera zubewegt, welche dem zur Anordnungsposition gewandten Abschnitt der Projektionsfläche zugeordnet ist, also deren Bilder auf diesen Abschnitt projiziert werden. Die Anordnungsposition wird dabei so weit auf diese Kamera zubewegt, bis sie auf der Projektionsfläche liegt. Anschließend wird das Overlay an der verschobenen Anordnungsposition auf die Projektionsfläche projiziert und die Umgebungsdarstellung wird aus den projizierten Kamerabildern und dem projizierten grafischen Overlay abgeleitet, insbesondere ausgehend von einer in dem virtuellen Raum angeordneten, virtuellen Kamera.If the arrangement position lies outside the projection surface, i.e., outside the area enclosed by the edge section of the bowl-shaped projection surface, the latter is shifted onto the projection surface. The shift of the arrangement position onto the projection surface occurs in the direction of the camera assigned to the section of the projection surface facing the arrangement position. In other words, the arrangement position is moved toward the camera assigned to the section of the projection surface facing the arrangement position, i.e., the camera whose images are projected onto this section. The arrangement position is moved toward this camera until it lies on the projection surface. The overlay is then projected onto the projection surface at the shifted arrangement position, and the environmental representation is derived from the projected camera images and the projected graphic overlay, in particular starting from a virtual camera arranged in the virtual space.

Durch die Projektion des Overlays auf die Projektionsfläche an der verschobenen Anordnungsposition wird für Overlays, welche an einer Anordnungsposition außerhalb des von der schüsselförmigen Projektionsfläche umschlossenen Bereichs eine perspektivisch korrekte Darstellung in Bezug zu den den jeweiligen Teilbereich des Fahrzeugumfelds abbildenden Kamerabildern erreicht. Insbesondere ein einen Bereich einer Bodenfläche augmentierendes Overlay wird somit korrekt in Bezug zu den Kamerabildern dargestellt, sodass unerwünschte Effekte, beispielsweise ein Schweben des Overlays über dem Boden in der Umgebungsdarstellung, vermieden werden können. Eine möglichst realistische Augmentierung der Fahrzeugumgebung durch ein perspektivisch korrekt dargestelltes Overlay erleichtert das Erfassen der grafischen Information durch einen Benutzer des Fahrzeugs. Mithilfe des Overlays bereitgestellte, unterstützende Informationen können somit von einem Fahrer des Fahrzeugs schneller und besser erfasst werden, sodass insgesamt die Bedienung des Fahrzeugs vorteilhaft erleichtert werden kann.By projecting the overlay onto the projection surface at the shifted arrangement position, a perspectively correct representation in relation to the camera images depicting the respective part of the vehicle's surroundings is achieved for overlays that are arranged at an arrangement position outside the area enclosed by the bowl-shaped projection surface. In particular, an overlay augmenting a section of a floor surface is thus correctly displayed in relation to the camera images, so that undesirable effects, such as the overlay floating above the ground in the surroundings representation, can be avoided. Augmenting the vehicle's surroundings as realistically as possible using an overlay with a perspectively correct representation makes it easier for a vehicle user to perceive the graphic information. Supporting information provided with the help of the overlay can thus be perceived more quickly and better by a vehicle driver, which can advantageously facilitate the operation of the vehicle overall.

Das erfindungsgemäß vorgesehene Verschieben der Anordnungsposition hat gegenüber einer perspektivischen Projektion eines außerhalb der Projektionsfläche anzuordnenden Overlays den Vorteil, dass keine Annahme über den Verlauf einer Bodenfläche in den Bilddaten gemacht werden muss.The shifting of the arrangement position provided according to the invention has, compared to a perspective projection of an outside The advantage of overlays to be arranged on the projection surface is that no assumption has to be made about the course of a floor area in the image data.

In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Anordnungsposition entlang eines von der Kamera, die dem der Anordnungsposition zugewandten Abschnitt der Projektionsfläche zugeordnet ist, zu der Anordnungsposition verlaufenden Kamerastrahls verschoben wird. Der Kamerastrahl beschreibt dabei diejenige Gerade, welche zwischen der Anordnungsposition und einer als punktförmig angenommenen Kamera verläuft. Auf diese Weise ist vorteilhaft eine einfache Berechnung der Verschiebung durch Ermitteln eines Schnittpunkts zwischen dem Kamerastrahl und der Projektionsfläche, insbesondere dem Rand der Projektionsfläche, möglich.In a preferred embodiment of the invention, it can be provided that the arrangement position is shifted along a camera beam extending from the camera associated with the portion of the projection surface facing the arrangement position to the arrangement position. The camera beam describes the straight line extending between the arrangement position and a camera assumed to be point-shaped. This advantageously allows for a simple calculation of the shift by determining an intersection point between the camera beam and the projection surface, in particular the edge of the projection surface.

Erfindungsgemäß kann vorgesehen sein, dass, wenn die Anordnungsposition innerhalb der Projektionsfläche liegt, eine perspektivische Projektion des Overlays an der Anordnungsposition erfolgt. Mit anderen Worten wird die Anordnungsposition, wenn sich das Overlay innerhalb der schüsselförmigen Projektionsfläche bzw. innerhalb des von dem Randabschnitt der Projektionsfläche umschlossenen Bereichs befindet, nicht verschoben, sondern an der ursprünglichen Anordnungsposition mittels einer perspektivischen Projektion für die Ermittlung der Umgebungsdarstellung projiziert. Die perspektivische Projektion erfolgt dabei insbesondere in Abhängigkeit der Position und der Blickrichtung einer virtuellen Kamera in dem virtuellen Raum, von der ausgehend die Umgebungsdarstellung abgeleitet wird. Die perspektivische Projektion kann dabei insbesondere unter der Annahme ausgeführt werden, dass der Bodenabschnitt der Projektionsfläche dem Verlauf der Bodenfläche entspricht.According to the invention, it can be provided that, if the arrangement position lies within the projection surface, a perspective projection of the overlay takes place at the arrangement position. In other words, if the overlay is located within the bowl-shaped projection surface or within the area enclosed by the edge section of the projection surface, the arrangement position is not shifted, but is projected at the original arrangement position by means of a perspective projection for determining the environmental representation. The perspective projection takes place in particular as a function of the position and viewing direction of a virtual camera in the virtual space, from which the environmental representation is derived. The perspective projection can in particular be carried out under the assumption that the floor section of the projection surface corresponds to the profile of the floor surface.

In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass, wenn der der Anordnungsposition zugewandte Abschnitt der Projektionsfläche zwei oder mehr Kameras zugeordnet ist, eine Änderung der Zuordnung der Abschnitte der Projektionsfläche zu den Kameras derart erfolgt, dass der der Anordnungsposition zugewandte Abschnitt nur einer der Kameras zugeordnet ist. Ein Abschnitt der Projektionsfläche, dem von zwei oder mehr der Kameras erzeugte Kamerabilder zugeordnet werden, kann insbesondere einem Überlappungsbereich der Erfassungsbereiche zweier oder mehrerer der Kameras des Fahrzeugs entsprechen. In einem überlappenden Erfassungsbereich liegen also Bilddaten von zwei oder mehr der Kameras vor, welche den Überlappungsbereich abbilden, wobei die Bilddaten beim Projizieren der Kamerabilder auf die Projektionsfläche beispielsweise anhand einer Überlagerungsvorschrift überlagert und/oder zumindest teilweise aneinander angefügt werden können.In a preferred embodiment of the invention, it can be provided that, if the section of the projection surface facing the arrangement position is assigned to two or more cameras, the assignment of the sections of the projection surface to the cameras is changed such that the section facing the arrangement position is assigned to only one of the cameras. A section of the projection surface to which camera images generated by two or more of the cameras are assigned can, in particular, correspond to an overlapping area of the detection areas of two or more of the vehicle's cameras. In an overlapping detection area, image data from two or more of the cameras are therefore present, which image data depict the overlapping area, wherein the image data can be superimposed and/or at least partially joined together when the camera images are projected onto the projection surface, for example using an overlay rule.

Um die durch die Verschiebung der Anordnungsposition gewünschte, korrekte Überlagerung zwischen dem Overlay und den Kamerabildern zu erreichen, wird für derartige Überlagerungsabschnitte die Zuordnung der Kameras geändert, sodass nur noch von einer Kamera Bilddaten für den Überlappungsbereich verwendet werden. Dies ermöglicht, dass dieses Overlay durch das Verschieben der Anordnungsposition mit den Kamerabildern einer Kamera korrekt überlagert werden kann.To achieve the desired correct overlap between the overlay and the camera images by shifting the arrangement position, the camera assignment for such overlay sections is changed so that only one camera's image data is used for the overlap area. This allows this overlay to be correctly overlaid with the camera images of one camera by shifting the arrangement position.

Die Zuordnung der Kamerabilder zu den Abschnitten der Projektionsfläche kann beispielsweise in einer Zuordnungsvorschrift beschrieben sein, wobei diese beispielsweise abhängig von der relativen Lage der Anordnungsposition zu der Projektionsfläche unterschiedliche Zuordnungen der Kamerabilder zu einzelnen Abschnitten in Überlappungsbereichen vorsehen kann, sodass der der Anordnungsposition am nächsten liegende Abschnitt der Projektionsfläche nur einer von mehreren Kameras zugeordnet werden kann. Die Zuordnungsvorschrift kann zum Beispiel in einem zur Durchführung des Verfahrens ausgebildeten Steuergerät hinterlegt sein.The assignment of the camera images to the sections of the projection surface can be described, for example, in an assignment rule. This rule can, for example, provide for different assignments of the camera images to individual sections in overlapping areas depending on the relative position of the arrangement position to the projection surface, so that the section of the projection surface closest to the arrangement position can only be assigned to one of several cameras. The assignment rule can, for example, be stored in a control unit designed to implement the method.

Die Anordnungsposition kann erfindungsgemäß einem ausgewählten oder einem für die Auswahl vorgeschlagenen Parkplatz im Umfeld des Fahrzeugs entsprechen. Beispielsweise kann die Anordnungsposition einer Mitte des Parkplatzes in dem virtuellen Raum entsprechen. Ein ausgewählter Parkplatz kann beispielsweise durch eine Parkassistenzfunktion des Fahrzeugs automatisiert ermittelt werden, beispielsweise durch eine Auswertung des Bildinhalts der Kamerabilder und/oder anhand von weiteren Umgebungssensoren des Fahrzeugs, wie beispielsweise Ultraschallsensoren, Radarsensoren, Lidarsensoren oder dergleichen. Alternativ dazu ist auch eine Auswahl des Parkplatz durch einen Benutzer des Fahrzeugs, beispielsweise durch eine manuelle Markierung eines Umgebungsbereichs über eine Benutzerschnittstelle, wie ein Touchdisplay oder dergleichen, möglich. Das Bestimmen eines geeigneten Parkplatzes kann dabei selbstständig durch einen Benutzer des Fahrzeugs oder anhand eines oder mehrerer, automatisiert ermittelter und für eine Auswahl vorgeschlagener Parkplätze im Umfeld des Fahrzeugs erfolgen.According to the invention, the arrangement position can correspond to a selected parking space or a parking space suggested for selection in the vicinity of the vehicle. For example, the arrangement position can correspond to the center of the parking space in the virtual space. A selected parking space can be determined automatically, for example, by a parking assistance function of the vehicle, for example by evaluating the image content of the camera images and/or using other environmental sensors of the vehicle, such as ultrasonic sensors, radar sensors, lidar sensors, or the like. Alternatively, the parking space can also be selected by a user of the vehicle, for example by manually marking an area of the surroundings via a user interface, such as a touch display or the like. The determination of a suitable parking space can be carried out independently by a user of the vehicle or based on one or more automatically determined parking spaces in the vicinity of the vehicle that are suggested for selection.

Erfindungsgemäß kann vorgesehen sein, dass das Overlay ein einen Bereich einer Bodenfläche augmentierendes Overlay, insbesondere eine Parkplatzmarkierung, und/oder ein auf einer Bodenfläche anzuordnendes Grafikobjekt, insbesondere eine virtuelle Fahrzeugdarstellung oder eine virtuelle Darstellung eines Umgebungsobjekts, ist. Eine Parkplatzmarkierung oder auch eine Abbildung des eigenen Fahrzeugs darstellendes Overlay kann dabei auf einem ausgewählten Parkplatz dargestellt werden, sodass beispielsweise das Ziel eines geplanten oder beabsichtigten Parkmanövers und/oder eine einzunehmende Parkposition des Fahrzeugs klar ersichtlich ist. Zusätzlich oder alternativ dazu können auch weitere Umgebungsobjekte, beispielsweise Fremdfahrzeuge, oder andere, insbesondere auf einer Bodenfläche angeordnete Umgebungsobjekte, durch das den Kamerabildern überlagerte Grafikobjekt dargestellt oder hervorgehoben werden.According to the invention, the overlay can be an overlay augmenting a region of a floor surface, in particular a parking space marking, and/or a graphic object to be arranged on a floor surface, in particular a virtual vehicle representation or a virtual representation of an environmental object. A parking An overlay depicting a parking space marker or an image of the driver's own vehicle can be displayed on a selected parking space, so that, for example, the destination of a planned or intended parking maneuver and/or the parking position to be assumed by the vehicle is clearly visible. Additionally or alternatively, other surrounding objects, such as other vehicles or other surrounding objects, particularly those located on a floor, can be displayed or highlighted by the graphic object superimposed on the camera images.

Zum Erzeugen der Umgebungsdarstellung kann erfindungsgemäß vorgesehen sein, dass die Umgebungsdarstellung ausgehend von einer im virtuellen Raum angeordneten, virtuellen Kamera erzeugt wird und/oder dass die Umgebungsdarstellung eine perspektivische Seitenansicht oder eine Aufsicht auf das Fahrzeug und die Fahrzeugumgebung ist. Die Position der virtuellen Kamera im virtuellen Raum kann grundsätzlich beliebig gewählt werden. Beispielweise kann sich die Kamera in einer beliebigen Höhe über einem beliebigen Punkt auf einer Bodenfläche des virtuellen Raumes befinden. Die Umgebungsdarstellung kann dann als Blick von der virtuellen Kamera aus auf die Projektionsfläche mit den darauf projizierten Kamerabildern und dem projizierten Overlay ermittelt werden. Je nach der Position der virtuellen Kamera können dabei perspektivische Seitenansichten, Aufsichten auf das Fahrzeug oder weitere Arten von Umgebungsdarstellungen erzeugt werden.To generate the environmental representation, the invention can provide that the environmental representation is generated from a virtual camera arranged in the virtual space and/or that the environmental representation is a perspective side view or a top view of the vehicle and the vehicle's surroundings. The position of the virtual camera in the virtual space can generally be chosen arbitrarily. For example, the camera can be located at any height above any point on a floor surface of the virtual space. The environmental representation can then be determined as a view from the virtual camera onto the projection surface with the camera images projected onto it and the projected overlay. Depending on the position of the virtual camera, perspective side views, top views of the vehicle or other types of environmental representations can be generated.

Die erzeugte Umgebungsdarstellung kann anschließend erfindungsgemäß auf einer Anzeigeeinrichtung des Fahrzeugs dargestellt werden. Bei der Anzeigeeinrichtung kann es sich beispielsweise um eine in einem Innenraum des Fahrzeugs angeordnete Anzeigeeinrichtung, beispielsweise um einen Bildschirm oder um ein Touchdisplay, handeln.According to the invention, the generated environmental representation can then be displayed on a display device of the vehicle. The display device can be, for example, a display device arranged in the interior of the vehicle, such as a screen or a touch display.

Für ein erfindungsgemäßes Steuergerät ist vorgesehen, dass dieses dazu eingerichtet ist, bei Bereitstellung von einem oder mehreren Kamerabildern einer Fahrzeugumgebung eines Fahrzeugs ein erfindungsgemäßes Verfahren auszuführen.For a control device according to the invention, it is provided that the control device is configured to carry out a method according to the invention when one or more camera images of a vehicle environment of a vehicle are provided.

Für ein erfindungsgemäßes Fahrzeug ist vorgesehen, dass es eine oder mehrere Kameras sowie ein erfindungsgemäßes Steuergerät umfasst.For a vehicle according to the invention, it is provided that it comprises one or more cameras and a control unit according to the invention.

Für ein erfindungsgemäßes Computerprogramm ist vorgesehen, dass es Befehle umfasst, die eine Recheneinrichtung dazu veranlassen, bei Bereitstellung von Kamerabildern einer Fahrzeugumgebung ein erfindungsgemäßes Verfahren auszuführen.For a computer program according to the invention, it is provided that it comprises instructions which cause a computing device to carry out a method according to the invention when camera images of a vehicle environment are provided.

Für einen erfindungsgemäßen Datenträger ist vorgesehen, dass er ein erfindungsgemäßes Computerprogramm umfasst. Bei dem Datenträger kann es sich insbesondere um einen nicht-transienten Datenträger, beispielsweise eine Festplatte, eine CD-ROM, einen Flash-Speicher oder dergleichen, handeln.A data carrier according to the invention is intended to comprise a computer program according to the invention. The data carrier can, in particular, be a non-transient data carrier, for example a hard disk, a CD-ROM, a flash memory, or the like.

Sämtliche vorangehend in Bezug zu dem erfindungsgemäßen Verfahren beschriebenen Vorteile und Ausgestaltungen gelten entsprechend für das erfindungsgemäße Steuergerät, das erfindungsgemäße Fahrzeug, das erfindungsgemäße Computerprogramm sowie den erfindungsgemäßen Datenträger und umgekehrt. Auch die in Bezug zu diesen weiteren Erfindungsgegenständen beschriebenen Vorteile und Ausgestaltungen sind analog auf die anderen Erfindungsgegenstände übertragbar.All advantages and embodiments described above with respect to the method according to the invention apply accordingly to the control unit according to the invention, the vehicle according to the invention, the computer program according to the invention, and the data carrier according to the invention, and vice versa. The advantages and embodiments described with respect to these further subject matters of the invention are also transferable analogously to the other subject matters of the invention.

Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:

1 ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs,
2 ein Blockdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,
3 eine schematische Darstellung einer schüsselförmigen Projektionsfläche in einem virtuellen Raum in einer seitlichen Ansicht und
4 eine schematische Darstellung der schüsselförmigen Projektionsfläche in dem virtuellen Raum in einer Aufsicht.

Further advantages and details of the invention will become apparent from the exemplary embodiments described below and from the drawings. These are schematic representations and show:

1 an embodiment of a vehicle according to the invention,
2 a block diagram of an embodiment of a method according to the invention,
3 a schematic representation of a bowl-shaped projection surface in a virtual space in a side view and
4 a schematic representation of the bowl-shaped projection surface in the virtual space in a top view.

In 1 ist ein Ausführungsbeispiel eines Fahrzeugs 1 gezeigt. Bei dem Fahrzeug 1 kann es sich zum Beispiel um ein Kraftfahrzeug, insbesondere einen Personenkraftwagen, einen Lastkraftwagen oder eine andere Art von Nutzfahrzeug, handeln. Es ist auch möglich, dass das Fahrzeug 1 ein unmotorisiertes Fahrzeug wie ein Anhänger ist oder dass es sich um ein Gespann aus einem Zugfahrzeug und einem Anhänger handelt. Das Fahrzeug 1 kann auch ein schienengebundenes Fahrzeug, wie eine Straßenbahn oder dergleichen, oder ein Roboter sein.In 1 An exemplary embodiment of a vehicle 1 is shown. The vehicle 1 can be, for example, a motor vehicle, in particular a passenger car, a truck, or another type of commercial vehicle. It is also possible for the vehicle 1 to be a non-motorized vehicle such as a trailer or a combination consisting of a towing vehicle and a trailer. The vehicle 1 can also be a rail-bound vehicle, such as a tram or the like, or a robot.

Das Fahrzeug 1 umfasst ein Ausführungsbeispiel eines Fahrerassistenzsystems 2, welches eine oder mehrere Anzeigeeinrichtungen 3 sowie ein Steuergerät 4 umfasst. Bei der Anzeigeeinrichtung 3 kann es sich zum Beispiel um einen oder mehrere in einem Innenraum des Fahrzeugs 1 angeordnete Bildschirme bzw. Displays handeln. Die Anzeigeeinrichtung 3 ist mit dem Steuergerät 4 über eine Kommunikationsverbindung 5 verbunden. Die Kommunikationsverbindung 5 kann zum Beispiel eine Punkt-zu-Punkt-Verbindung oder eine Bus-Verbindung wie ein CAN-Bus oder dergleichen sein.The vehicle 1 comprises an embodiment of a driver assistance system 2, which comprises one or more display devices 3 and a control unit 4. The display device 3 can, for example, be one or more screens or displays arranged in an interior of the vehicle 1. The display device 3 is connected to the control unit 4 via a communication connection 5. The communication connection 5 can, for example, be a point- to-point connection or a bus connection such as a CAN bus or the like.

Das Steuergerät 4 ist zum Erzeugen einer Umgebungsdarstellung aus den Kamerabilder einer oder mehrerer Kameras 6 des Fahrzeugs ausgebildet und kann zum Beispiel als ein Mikrocontroller, als ein Prozessor oder eine andere Art von Recheneinrichtung ausgeführt sein oder eine solche Recheneinrichtung umfassen. Das Steuergerät 4 kann eine Speichereinrichtung aufweisen, in welcher Rechenvorschriften und/oder Daten digital gespeichert werden können.The control unit 4 is designed to generate an environmental representation from the camera images of one or more cameras 6 of the vehicle and can be implemented, for example, as a microcontroller, a processor, or another type of computing device, or can include such a computing device. The control unit 4 can have a memory device in which computing instructions and/or data can be digitally stored.

Mittels der Kameras 6 kann das Fahrzeugumfeld vor, hinter und/oder neben dem Fahrzeug 1 erfasst werden. Dazu können die Kamerabilder von den Kameras 6 zum Beispiel über die Kommunikationsverbindung 5 an das Steuergerät 4 übermittelt werden, insbesondere als ein Videostream, und vorzugsweise zumindest näherungsweise in Echtzeit. Bei den Kameras 6 kann es sich zumindest teilweise um Fischaugen-Kameras handeln, welche einen Erfassungsbereich mit einem horizontalen und/oder vertikalen Öffnungswinkel von 180° oder mehr aufweisen können. Die Kameras 6 bilden insbesondere ein Surroundview-Kamerasystem, welches das komplette Umfeld um das Fahrzeug 1 erfassen kann.The cameras 6 can capture the vehicle surroundings in front of, behind, and/or next to the vehicle 1. For this purpose, the camera images from the cameras 6 can be transmitted, for example, via the communication connection 5 to the control unit 4, in particular as a video stream, and preferably at least approximately in real time. The cameras 6 can be at least partially fisheye cameras, which can have a detection range with a horizontal and/or vertical aperture angle of 180° or more. The cameras 6 form, in particular, a surround-view camera system that can capture the entire surroundings around the vehicle 1.

Die Umgebungsdarstellung kann dabei insbesondere den Bereich vor dem Fahrzeug 1, neben dem Fahrzeug 1 und/oder hinter dem Fahrzeug 1 darstellen und dazu die Bilddaten einer der Kameras 6 verwenden bzw. die Bilddaten mehrerer der Kameras 6 zu einer gemeinsamen Umgebungsdarstellung zusammenfügen. Die Umgebungsdarstellung kann dabei eine perspektivische Ansicht ausgehend von einer virtuellen Kameraposition sein und die Kamerabilder dazu zum Beispiel durch Transformation in einen von der tatsächlichen Kamera 6 verschiedenen Blickwinkel umsetzen, wie nachfolgend noch genauer beschrieben wird. Zum Beispiel kann die Umgebungsdarstellung als eine perspektivische Seitenansicht auf das Fahrzeug 1 und einen beispielsweise hinter dem Fahrzeug liegenden Abschnitt der Fahrzeugumgebung ausgeführt sein.The environmental representation can, in particular, depict the area in front of the vehicle 1, next to the vehicle 1, and/or behind the vehicle 1 and, for this purpose, use the image data from one of the cameras 6 or combine the image data from several of the cameras 6 into a common environmental representation. The environmental representation can be a perspective view starting from a virtual camera position and, for this purpose, can convert the camera images, for example, by transformation into a viewing angle different from the actual camera 6, as will be described in more detail below. For example, the environmental representation can be designed as a perspective side view of the vehicle 1 and a section of the vehicle's surroundings, for example, located behind the vehicle.

Das Steuergerät 4 ist zur Durchführung eines Ausführungsbeispiels eines Verfahrens zum Erzeugen einer zumindest einen Teilbereich einer Fahrzeugumgebung eines Fahrzeugs darstellenden und mit wenigstens einem grafischen Overlay augmentierten Umgebungsdarstellung ausgebildet. In 2 ist ein Blockdiagramm eines Ausführungsbeispiels eines solchen Verfahrens dargestellt.The control unit 4 is designed to carry out an embodiment of a method for generating an environmental representation representing at least a partial area of a vehicle's surroundings and augmented with at least one graphic overlay. 2 A block diagram of an embodiment of such a method is shown.

In Schritt S1 des Verfahrens erfolgt das Aufnehmen von einem oder mehreren Kamerabildern der Fahrzeugumgebung mittels einer oder mehrerer Kameras 6 des Fahrzeugs 1. Die Kamerabilder werden von den Kameras 3 an das Steuergerät 4 über die Kommunikationsverbindung 5 übermittelt. Im vorliegenden Beispiel werden von allen vier Kameras 6 Kamerabilder aufgenommen und an das Steuergerät 4 übermittelt.In step S1 of the method, one or more camera images of the vehicle's surroundings are recorded using one or more cameras 6 of the vehicle 1. The camera images are transmitted from the cameras 3 to the control unit 4 via the communication link 5. In the present example, camera images are recorded by all four cameras 6 and transmitted to the control unit 4.

In Schritt S2 erfolgt das Projizieren der Kamerabilder auf eine schüsselförmige Projektionsfläche, welche in einem virtuellen Raum das Fahrzeug 1 umgibt. Dabei werden die Kamerabilder jeweils auf einen der zur Aufnahme der Kamerabilder verwendeten Kamera zugeordneten Abschnitt der Projektionsfläche projiziert werden. In 3 ist schematisch eine Seitenansicht einer schüsselförmigen Projektionsfläche 7 dargestellt. Eine entsprechende Aufsicht auf die schüsselförmige Projektionsfläche wird in 4 gezeigt.In step S2, the camera images are projected onto a bowl-shaped projection surface that surrounds the vehicle 1 in a virtual space. The camera images are each projected onto a section of the projection surface assigned to the camera used to record the camera images. 3 A side view of a bowl-shaped projection surface 7 is shown schematically. A corresponding top view of the bowl-shaped projection surface is shown in 4 shown.

Die schüsselförmige Projektionsfläche 7 umfasst einen ebenen Bodenabschnitt 8, welcher auf einer Bodenfläche 9 des virtuellen Raumes 10 liegt. Der Bodenabschnitt 8 weist in der Ebene der Bodenfläche 9 zum Beispiel eine elliptische Form auf, so wie es in 4 dargestellt ist. Alternativ kann der Bodenabschnitt 8 auch eine andere Geometrie, beispielsweise eine Kreisform, aufweisen. Die Bodenfläche 9 entspricht zumindest näherungsweise dem Verlauf einer als planar angenommenen Straßenoberfläche.The bowl-shaped projection surface 7 comprises a flat floor section 8, which lies on a floor surface 9 of the virtual space 10. The floor section 8 has, for example, an elliptical shape in the plane of the floor surface 9, as shown in 4 Alternatively, the ground section 8 can also have a different geometry, for example, a circular shape. The ground surface 9 corresponds at least approximately to the course of a road surface assumed to be planar.

Die Breite der Projektionsfläche in x-Richtung und/oder in y-Richtung kann fest vorgegeben sein oder in Abhängigkeit von einem oder mehreren Umgebungsparametern, beispielsweise in Abhängigkeit von mittels einem Umgebungssensor (nicht dargestellt) des Fahrzeugs 1 detektierten Abständen zu Umgebungsobjekten, eingestellt werden. Als Umgebungssensoren können dabei beispielsweise Ultraschallsensoren, Radarsensoren, Lidarsensoren oder weitere Kameras des Fahrzeugs verwendet werden. Auch eine Ermittlung von Umgebungsparametern anhand einer Bilddatenauswertung der Kamerabilder der Kameras 6 ist möglich.The width of the projection surface in the x-direction and/or y-direction can be fixed or adjusted depending on one or more environmental parameters, for example, depending on the distances to surrounding objects detected by an environmental sensor (not shown) of the vehicle 1. Ultrasonic sensors, radar sensors, lidar sensors, or other cameras of the vehicle can be used as environmental sensors. It is also possible to determine environmental parameters based on an image data analysis of the camera images from the cameras 6.

Seitlich umlaufend an den Bodenabschnitt 8 schließen sich ein Übergangsbereich 11 und ein Randabschnitt 12 der Projektionsfläche 7 an. Der Randabschnitt 12 steht unter einem Winkel zu dem Bodenabschnitt 8 und weist einen geraden, nicht gekrümmten Verlauf auf. Zwischen dem Bodenabschnitt 8 und dem Randabschnitt 12 befindet sich der Übergangsbereich 11, welcher einen, beispielsweise parabolisch oder exponentiell, gekrümmten Verlauf aufweist. Der Übergangsbereich 11 und der Randbereich 12 bilden dabei einen ein Inneres 13 der Projektionsfläche randseitig umfassenden Rand 14 der Projektionsfläche 7. Durch den Bodenabschnitt 8 und den Rand 14, bzw. den Übergangsbereich 11 und den Randabschnitt 12, wird ein Schüsselform gebildet, welche zumindest teilweise das Innere 13 der Projektionsfläche 7 seitlich umschließt.A transition area 11 and an edge section 12 of the projection surface 7 adjoin the bottom section 8 on the sides. The edge section 12 is at an angle to the bottom section 8 and has a straight, non-curved profile. Between the bottom section 8 and the edge section 12 is the transition area 11, which has a curved profile, for example, parabolic or exponential. The transition area 11 and the edge section 12 form an edge 14 of the projection surface 7, which surrounds an interior 13 of the projection surface. A shot is formed by the bottom section 8 and the edge 14, or the transition area 11 and the edge section 12. selform which at least partially encloses the interior 13 of the projection surface 7 laterally.

In dem Inneren 13 der Projektionsfläche 7 ist ein virtuelles Modell 15 des Fahrzeugs 1 auf dem Bodenbereich 8 angeordnet. Die von den Kameras 6 aufgenommenen Kamerabilder werden in Abhängigkeit des jeweils erfassten Umgebungsbereichs bzw. in Abhängigkeit der Anordnung der jeweiligen Kamera 6 am Fahrzeug 1 auf den jeweiligen Kameras 6 zugeordnete Abschnitte der Projektionsfläche 7 projiziert. Einem Abschnitt der Projektionsfläche kann dabei mehr als eine Kamera 6 zugeordnet sein.A virtual model 15 of the vehicle 1 is arranged on the floor area 8 in the interior 13 of the projection surface 7. The camera images recorded by the cameras 6 are projected onto sections of the projection surface 7 assigned to the respective cameras 6, depending on the respective surrounding area captured or the arrangement of the respective camera 6 on the vehicle 1. More than one camera 6 can be assigned to a section of the projection surface.

In 4 sind beispielhaft zwei Abschnitte 16 und 17 dargestellt. Auf den Abschnitt 16 werden zum Beispiel die Kamerabilder einer als Rückfahrkamera 18 angeordneten Kamera 6, welche dem Abschnitt 16 zugeordnet ist, projiziert. Der Abschnitt 17 ist der Rückfahrkamera 18 und einer weiteren, als Seitenkamera 19 angeordneten Kamera 6 zugeordnet, da sich der Abschnitt 17 in einem Überlappungsbereich zwischen einem Erfassungsbereich 20 der Rückfahrkamera 18 und einem Erfassungsbereich 21 der Seitenkamera 19 befindet. Mit anderen Worten sind die Abschnitte 16, 17 jeweils insbesondere denjenigen Kameras zugeordnet, in deren Erfassungsbereichen, bzw. den virtuellen Entsprechungen der Erfassungsbereiche, sie angeordnet sind.In 4 Two sections 16 and 17 are shown by way of example. For example, the camera images of a camera 6 arranged as a rear-view camera 18, which is assigned to section 16, are projected onto section 16. Section 17 is assigned to the rear-view camera 18 and another camera 6 arranged as a side camera 19, since section 17 is located in an overlap area between a detection area 20 of the rear-view camera 18 and a detection area 21 of the side camera 19. In other words, sections 16, 17 are each assigned in particular to those cameras in whose detection areas, or the virtual equivalents of the detection areas, they are arranged.

Die Kamerabilder der Rückfahrkamera 18 und der Seitenkamera 19 können im Abschnitt 17 zum Beispiel teilweise überblendet und/oder zugeschnitten und aneinandergefügt werden, um einen möglichst nahtlosen Übergang in der Umgebungsdarstellung zu erreichen. Entsprechend können weitere Abschnitte der Projektionsfläche 7 auch den weiteren Kameras 6 des Fahrzeugs 1 zugeordnet sein, sodass eine nahtlose, umlaufende Projektion der Kamerabilder auf die Projektionsfläche 7 erreicht wird.The camera images from the rearview camera 18 and the side camera 19 can, for example, be partially blended and/or cropped and joined together in section 17 to achieve the most seamless transition possible in the representation of the surroundings. Accordingly, additional sections of the projection surface 7 can also be assigned to the additional cameras 6 of the vehicle 1, thus achieving a seamless, all-round projection of the camera images onto the projection surface 7.

Die Umgebungsdarstellung kann anschließend ausgehend von einer an einem Punkt V angeordneten virtuellen Kamera erzeugt werden. Die virtuelle Kamera kann dabei insbesondere ein beliebiges, auf die Projektionsfläche 7 gerichtetes Blickfeld haben, sodass als Umgebungsdarstellung eine perspektivische Ansicht oder auch eine Aufsicht auf das Fahrzeug 1 erzeugt werden kann.The environmental representation can then be generated starting from a virtual camera arranged at a point V. The virtual camera can in particular have any field of view directed onto the projection surface 7, so that a perspective view or a top view of the vehicle 1 can be generated as the environmental representation.

In Schritt S3 des in 2 gezeigten Ausführungsbeispiels des Verfahrens erfolgt das Anordnen eines grafischen Overlays 22 an einer dem Overlay 22 zugeordneten Anordnungsposition P im virtuellen Raum. Bei dem Overlay 22 kann es sich insbesondere um ein einen Bereich der Bodenfläche 9 augmentierendes Overlay, insbesondere eine Parkplatzmarkierung, und/oder ein auf der Bodenfläche 9 anzuordnendes Grafikobjekt, insbesondere eine virtuelle Fahrzeugdarstellung oder eine virtuelle Darstellung eines Umgebungsobjekts, handeln.In step S3 of the 2 In the exemplary embodiment of the method shown, a graphic overlay 22 is arranged at an arrangement position P in the virtual space assigned to the overlay 22. The overlay 22 can, in particular, be an overlay augmenting an area of the floor surface 9, in particular a parking space marking, and/or a graphic object to be arranged on the floor surface 9, in particular a virtual vehicle representation or a virtual representation of an environmental object.

Das Overlay 22 wird in dem virtuellen Raum 10 an einer Anordnungsposition P angeordnet, wobei die Anordnungsposition P zum Beispiel einem ausgewählten oder einem für eine Auswahl vorgeschlagenen Parkplatz im Umfeld des Fahrzeugs 1 zugeordnet sein kann. Dabei kann es sich zum Beispiel um die Position eines von einem Fahrerassistenzsystem ermittelten und einem Benutzer des Fahrzeugs 1 vorgeschlagenen Parkplatzes und/oder um die Position eines von einem Benutzer ausgewählten Parkplatzes handeln. Die Position des tatsächlichen Parkplatzes im Fahrzeugumfeld kann zum Beispiel ein Referenzpunkt des Parkplatzes, beispielweise der Mittelpunkt des Parkplatzes, sein, welcher entsprechend als Anordnungsposition P in den virtuellen Raum 13 übertragen wird.The overlay 22 is arranged in the virtual space 10 at an arrangement position P, wherein the arrangement position P can, for example, be assigned to a selected parking space or a parking space suggested for selection in the vicinity of the vehicle 1. This can, for example, be the position of a parking space determined by a driver assistance system and suggested to a user of the vehicle 1 and/or the position of a parking space selected by a user. The position of the actual parking space in the vehicle's surroundings can, for example, be a reference point of the parking space, for example the center point of the parking space, which is accordingly transferred to the virtual space 13 as the arrangement position P.

Wenn die Anordnungsposition P im Inneren 13 der Projektionsfläche 7 liegt (nicht dargestellt), erfolgt eine perspektivische Projektion des Overlays 22 an der Anordnungsposition P. Wenn die Anordnungsposition P jedoch wie in 3 dargestellt außerhalb der Projektionsfläche 7 liegt, erfolgt ein Verschieben der Anordnungsposition P auf die Projektionsfläche 7 in Richtung derjenigen Kamera 6, welche dem der Anordnungsposition P zugewandten Abschnitt 16, 17 der Projektionsfläche 7 zugeordnet ist. Anschließend wird das Overlay 22 an der verschobenen Anordnungsposition P' auf die Projektionsfläche 7 projiziert. Dazu wird insbesondere jeder Punkt bzw. jeder Vertex des Overlays 22 einzeln auf die Projektionsfläche 7 projiziert, sodass sich auf der Projektionsfläche 7 dann insgesamt ein projiziertes Abbild des Overlays 22 ergibt.If the arrangement position P is located in the interior 13 of the projection surface 7 (not shown), a perspective projection of the overlay 22 is carried out at the arrangement position P. However, if the arrangement position P is as in 3 shown lies outside the projection surface 7, the arrangement position P is shifted onto the projection surface 7 in the direction of the camera 6 which is assigned to the section 16, 17 of the projection surface 7 facing the arrangement position P. The overlay 22 is then projected onto the projection surface 7 at the shifted arrangement position P'. For this purpose, in particular each point or each vertex of the overlay 22 is projected individually onto the projection surface 7, so that a projected image of the overlay 22 is then produced on the projection surface 7.

Das Verschieben der Anordnungsposition P erfolgt entlang eines Kamerastrahls 23, welcher von der dem der Anordnungsposition P zugewandten Abschnitt 16, 17 der Projektionsfläche 7 zugeordneten Kamera 6 zu der Anordnungsposition verläuft. Vorliegend ist der Anordnungsposition P der Abschnitt 16 zugewandt, sodass ein Kamerastrahl 23 von der Rückfahrkamera 18 zu der Anordnungsposition P für das Verschieben verwendet wird. Die Anordnungsposition P wird entlang dieses Kamerastrahls 23 auf die Projektionsfläche 7 verschoben. Die verschobene Anordnungsposition P' befindet sich also an dem Schnittpunkt des Kamerastrahls 23 mit der Projektionsfläche 7.The arrangement position P is shifted along a camera beam 23, which extends from the camera 6 assigned to the section 16, 17 of the projection surface 7 facing the arrangement position P to the arrangement position. In this case, the section 16 faces the arrangement position P, so that a camera beam 23 from the rear-view camera 18 to the arrangement position P is used for the shifting. The arrangement position P is shifted along this camera beam 23 onto the projection surface 7. The shifted arrangement position P' is thus located at the intersection point of the camera beam 23 with the projection surface 7.

Wenn der einer Anordnungsposition P zugewandte Abschnitt der Projektionsfläche 7 zwei oder mehreren der Kameras 6 zugeordnet ist, erfolgt eine Änderung der Zuordnung der Abschnitte der Projektionsfläche 7 zu den Kameras 6 derart, dass der der Anordnungsposition zugewandte Abschnitt nur einer der Kameras 6 zugeordnet ist. Dieser Fall ist in den 3 und 4 für eine weitere Anordnungsposition Q gezeigt. Dem zu der weiteren Anordnungsposition Q gewandte Abschnitt 17 der Projektionsfläche 7 ist, wie vorangehend beschrieben wurde, sowohl die Rückfahrkamera 18 als auch die Seitenkamera 19 zugeordnet. Um eine perspektivisch korrekte Darstellung des Overlays 22 zu ermöglichen, wird für den Abschnitt 17 die Zuordnung z.B. derart geändert, dass ihm nur noch die Rückfahrkamera 18 zugeordnet ist. Mit anderen Worten werden für das Erzeugen der Umgebungsdarstellung mit dem an der weiteren Anordnungsposition Q angeordneten Overlay 22 nur die Kamerabilder der Rückfahrkamera 18 auf den Abschnitt 17 projiziert, d.h. es werden für den Überlappungsbereich nur die Kamerabilder einer der Kameras 18, 19 mit den überlappenden Erfassungsbereichen 20, 21 verwendet.If the section of the projection surface 7 facing an arrangement position P is assigned to two or more of the cameras 6, the assignment of the sections of the projection surface 7 to the cameras 6 is changed such that the section facing the arrangement position is assigned to only one of the cameras 6. This case is shown in the 3 and 4 for a further arrangement position Q. As described above, both the rear view camera 18 and the side camera 19 are assigned to the section 17 of the projection surface 7 facing the further arrangement position Q. In order to enable a perspectively correct representation of the overlay 22, the assignment for section 17 is changed, for example, so that only the rear view camera 18 is assigned to it. In other words, to generate the representation of the environment with the overlay 22 arranged at the further arrangement position Q, only the camera images of the rear view camera 18 are projected onto the section 17, ie only the camera images of one of the cameras 18, 19 with the overlapping detection areas 20, 21 are used for the overlap area.

In Schritt S4 erfolgt das Ableiten der Umgebungsdarstellung aus den projizierten Kamerabildern und dem projizierten grafischen Overlay 22. Je nach Position und Blickrichtung der virtuellen Kamera können dabei verschiedene perspektivische Ansichten und/oder Aufsichten auf das virtuelle Fahrzeug 15 und die Fahrzeugumgebung erzeugt werden.In step S4, the environmental representation is derived from the projected camera images and the projected graphic overlay 22. Depending on the position and viewing direction of the virtual camera, different perspective views and/or top views of the virtual vehicle 15 and the vehicle environment can be generated.

Die erzeugte Umgebungsdarstellung wird anschließend in Schritt S5 auf der Anzeigeeinrichtung 3 des Fahrzeugs 1 dargestellt. Auf diese Weise kann zum Beispiel ein Einparkvorgang erleichtert werden, da der Benutzer des Fahrzeugs eine gewählte Zielposition einfach und deutlich erkennen kann.The generated environmental representation is then displayed on the display device 3 of the vehicle 1 in step S5. This can facilitate, for example, a parking maneuver, since the vehicle user can easily and clearly identify a selected target position.

Analog zu dem vorangehend beschriebenen Ausführungsbeispiel können auch weitere Ansichten unter Verwendung der Kamerabilder weiterer und/oder anderer der Kameras 6 des Fahrzeugs 1 erzeugt werden.Analogous to the previously described embodiment, further views can also be generated using the camera images of further and/or other cameras 6 of the vehicle 1.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10 2016 225 066 A1 [0004]

Claims

Method for generating an environmental representation representing at least a partial area of a vehicle environment of a vehicle (1) and augmented with at least one graphic overlay (22), comprising the steps of: - recording one or more camera images of the vehicle environment using one or more cameras (6) of the vehicle (1), - projecting the camera images onto a bowl-shaped projection surface (7) surrounding the vehicle (1) in a virtual space (10), wherein the camera images are each projected onto a section (16, 17) of the projection surface (7) assigned to the camera (6) used to record the camera images, - arranging the graphic overlay (22) at an arrangement position (P) in the virtual space (10) assigned to the overlay (22), wherein the arrangement position (P), if it lies outside the projection surface (7), is directed in the direction of that camera (6) assigned to the section of the projection surface (7) facing the arrangement position (P). Projection surface (7) is moved, and wherein the overlay (22) is projected onto the projection surface (7), - deriving the environmental representation from the projected camera images and the projected graphic overlay (22).

Procedure according to Claim 1 , characterized in that the arrangement position (P) is displaced along a camera beam (23) extending from the camera (6) which is assigned to the section (16, 17) of the projection surface (7) facing the arrangement position (P) to the arrangement position (P).

Procedure according to Claim 1 or 2 , characterized in that , when the arrangement position (P) lies within the projection surface (7), a perspective projection of the overlay (22) takes place at the arrangement position (P).

Method according to one of the preceding claims, characterized in that , if the section (16, 17) of the projection surface (7) facing the arrangement position (P) is assigned to two or more cameras (6), a change in the assignment of the sections (16, 17) of the projection surface (7) to the cameras (6) takes place in such a way that the section (16, 17) facing the arrangement position (P) is assigned to only one of the cameras (6).

Method according to one of the preceding claims, characterized in that the arrangement position (P) corresponds to a selected parking space or a parking space proposed for selection in the vicinity of the vehicle (1).

Method according to one of the preceding claims, characterized in that the overlay (22) is an overlay (22) augmenting a region of a floor surface (9), in particular a parking space marking, and/or a graphic object to be arranged on a floor surface (9), in particular a virtual vehicle representation or a virtual representation of an environmental object.

Method according to one of the preceding claims, characterized in that the environmental representation is generated starting from a virtual camera arranged in the virtual space (10) and/or that the environmental representation is a perspective side view or a top view of the vehicle (1) and the vehicle environment.

Method according to one of the preceding claims, characterized in that the generated environmental representation is displayed on a display device (3) of the vehicle (1).

Control device which is configured to carry out a method according to one of the preceding claims when one or more camera images of a vehicle environment of a vehicle (1) are provided.

Vehicle comprising one or more cameras (6) and a control unit (4) according to Claim 9 .

Computer program comprising instructions which cause a computing device to carry out a method according to one of the Claims 1 until 8 to execute.

Data carrier comprising a computer program according to Claim 11 .