-
Die Erfindung betrifft ein Verfahren zum Erzeugen einer zumindest einen Teilbereich einer Fahrzeugumgebung eines Fahrzeugs darstellenden und mit wenigstens einem grafischen Overlay augmentierten Umgebungsdarstellung. Weiterhin betrifft die Erfindung ein Steuergerät, ein Fahrzeug, ein Computerprogramm und einen Datenträger.
-
In modernen Fahrzeugen werden Bilddarstellungen verwendet, welche aus einem oder mehreren Kamerabildern erzeugt werden und zum Beispiel einen Teil einer Fahrzeugumgebung wiedergeben. Die Kamerabilder, welche in der Regel von am Fahrzeug angeordneten Kameras erzeugt werden, können auf eine virtuelle Projektionsfläche projiziert werden, um Umgebungsansichten aus anderen Blickwinkeln als denen der Kameras zu erzeugen. Auf diese Weise können zum Beispiel Aufsichten auf die Fahrzeugumgebung oder perspektivische Darstellungen ausgehend von einem neben dem Fahrzeug liegenden Blickpunkt erstellt werden.
-
Den Kamerabildern können dabei ein oder mehrere Overlays überlagert werden, um die Umgebungsansicht mit weiteren Informationen zu ergänzen bzw. zu augmentieren. Auf diese Weise können beispielsweise Informationen wie Fahrtrajektorien, Zielpositionen oder Warnmarkierungen in die Umgebungsansicht eingefügt werden, um einem Fahrer das Manövrieren mit dem Fahrzeug auf Grundlage der Kamerabilder zu erleichtern. Aus dem Stand der Technik sind verschiedene Verfahren zum Erzeugen von Umgebungsdarstellungen für Fahrzeuge bekannt.
-
In
DE 10 2016 225 066 A1 wird ein Rundumsichtsystem für ein Fahrzeug beschrieben. Das Rundumsichtsystem umfasst wenigstens eine reale Kamera zur Aufnahme eines Bildes einer Umgebung des Fahrzeugs aus einer nicht-zentrierten Position, eine Bildverarbeitungseinheit und eine Anzeigeeinheit. Die Anzeigeeinheit ist dazu eingerichtet eine projizierte Darstellung des von der realen Kamera aufgenommenen Bilds und wenigstens einer geometrischen Form darzustellen, wobei die geometrische Form über dem Bild der realen Kamera als ein Overlay dargestellt wird.
-
Bei der Verwendung von Overlays in Kombination mit auf eine Projektionsfläche projizierten Kamerabildern stellt sich die Herausforderung, das Overlay perspektivisch korrekt zu den Kamerabilddaten anzuzeigen, da grundsätzlich nicht bekannt ist, welche Bereiche der Kamerabilder eine Bodenfläche oder erhabene Umgebungsobjekte oder -strukturen wie Fahrzeuge, Bäume und dergleichen darstellen. Dies kann beispielsweise dazu führen, dass eigentlich Bereiche einer Bodenfläche kennzeichnende Overlays in einer perspektivischen Umgebungsdarstellung als oberhalb der Bodenfläche schwebend dargestellt werden.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zum Erzeugen einer mit wenigstens einem grafischen Overlay augmentierten Umgebungsdarstellung anzugeben, welches insbesondere eine perspektivisch korrekte Darstellung des Overlays in Bezug zu der Darstellung der Fahrzeugumgebung ermöglicht.
-
Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art erfindungsgemäß dadurch gelöst, dass das Verfahren die folgenden Schritte umfasst:
- - Aufnehmen von einem oder mehreren Kamerabildern der Fahrzeugumgebung mittels einer oder mehrerer Kameras des Fahrzeugs,
- - Projizieren der Kamerabilder auf eine schüsselförmige Projektionsfläche, welche in einem virtuellen Raum das Fahrzeug umgibt, wobei die Kamerabilder jeweils auf einen der zur Aufnahme der Kamerabilder verwendeten Kamera zugeordneten Abschnitt der Projektionsfläche projiziert werden,
- - Anordnen des grafischen Overlays an einer dem Overlay zugeordneten Anordnungsposition im virtuellen Raum, wobei die Anordnungsposition, wenn diese außerhalb der Projektionsfläche liegt, in Richtung derjenigen Kamera, welche dem der Anordnungsposition zugewandten Abschnitt der Projektionsfläche zugeordnet ist, auf die Projektionsfläche verschoben wird, und wobei das Overlay auf die Projektionsfläche projiziert wird,
- - Ableiten der Umgebungsdarstellung aus den projizierten Kamerabildern und dem projizierten grafischen Overlay.
-
Bei der wenigstens einen Kamera des Fahrzeugs kann es sich zum Beispiel um eine Frontkamera des Fahrzeugs, eine Rückfahrkamera des Fahrzeugs und/oder um eine oder mehrere einen Seitenbereich des Fahrzeugs erfassende Kameras handeln. Das Fahrzeug kann mehrere Kameras aufweisen, wobei es sich bei den mehreren Kameras insbesondere um ein Surroundview-Kamerasystem handeln kann, welches den gesamten Bereich um das Fahrzeug herum erfasst (sog. 360°-Surround View).
-
Die von den Kameras aufgenommenen Kamerabilder werden auf eine schüsselförmige Projektionsfläche projiziert. Dabei handelt es sich um eine virtuelle Projektionsfläche, welche zur Ermittlung der Umgebungsdarstellung aus den von den Kameras bereitgestellten Kamerabildern bzw. Bilddaten verwendet wird. Das Projizieren erfolgt dabei als eine Rechenoperation und kann beispielsweise durch eine Recheneinrichtung des Fahrzeugs vorgenommen werden. Durch die Projektion der Bilddaten auf die Projektionsfläche wird es ermöglicht, eine dreidimensionale Ansicht oder auch eine Aufsicht auf die Fahrzeugumgebung ausgehend von einer virtuellen Kameraposition zu erzeugen.
-
Die schüsselförmige Projektionsfläche umfasst insbesondere einen ebenen Bodenabschnitt, in dessen Mitte die virtuelle Entsprechung des Fahrzeugs angeordnet ist. An den Bodenabschnitt schließt sich umlaufend ein Rand an, welche einen Innenbereich der Projektionsfläche nach außen begrenzt. Der Rand kann einen Randabschnitt aufweisen, welcher flächig ist und umlaufend jeweils unter einem konstanten Winkel zu dem Bodenabschnitt steht. Zwischen dem Randabschnitt und dem Bodenabschnitt kann ein Übergangsbereich vorgesehen sein, der zumindest bereichsweise einen parabelförmigen oder exponentiellen Verlauf aufweisen kann. Durch den Übergangsbereich kann die Bildqualität verbessert werden, da ein weicherer Übergang zwischen dem Bodenabschnitt und dem Randabschnitt erzeugt wird.
-
Die virtuelle Entsprechung des Fahrzeugs wird insbesondere umlaufend vollständig von dem Randabschnitt der Projektionsfläche umgeben, sodass das virtuelle Fahrzeug quasi im Inneren einer durch die Projektionsfläche gebildeten virtuellen Schüssel angeordnet ist. Den insbesondere unterschiedlichen Teilbereichen des Fahrzeugumfelds erfassenden Kameras ist bei der Projektion jeweils ein Abschnitt der Projektionsfläche zugewiesen, auf welchen die Bilddaten der Kamera projiziert werden. Der zugeordnete Abschnitt liegt dabei insbesondere in einer virtuellen Entsprechung des tatsächlichen Kamerablickfelds. Dabei ist es möglich, dass in manche Abschnitte der Projektionsfläche auch von zwei oder mehr Kameras Bilddaten projiziert werden, beispielsweise wenn Überlappungsbereiche zwischen den Erfassungsbereichen der Kamera des Fahrzeugs bestehen.
-
Um die erzeugte Umgebungsdarstellung mit weiteren Informationen zu versehen bzw. zu augmentieren, wird ein Overlay verwendet, welches den Kamerabildern überlagert wird. Bei dem Overlay handelt es sich um eine zweidimensionale oder dreidimensionale Grafik, welche in die von den Kamerabildern abgebildete Fahrzeugumgebung eingefügt wird und bestimmte Bereiche des dargestellten Fahrzeugumfelds mit einer weiteren, grafischen Information versehen kann. Das Overlay kann daher auch als Grafikelement bezeichnet werden.
-
Das grafische Overlay wird in einer Anordnungsposition angeordnet. Mit anderen Worten beschreibt die Anordnungsposition also den Ort, an dem das Overlay in dem virtuellen Raum angeordnet wird. Die Anordnungsposition kann dabei insbesondere einer Position eines zu markierenden Umgebungsbereichs im tatsächlichen Fahrzeugumfeld entsprechen.
-
Wenn die Anordnungsposition außerhalb der Projektionsfläche, d. h. außerhalb des von dem Randabschnitt der schüsselförmigen Projektionsfläche eingeschlossenen Bereichs, liegt, wird diese auf die Projektionsfläche verschoben. Die Verschiebung der Anordnungsposition auf die Projektionsfläche erfolgt dabei in Richtung derjenigen Kamera, welche dem der Anordnungsposition zugewandten Abschnitt der Projektionsfläche zugeordnet ist. Mit anderen Worten wird die Anordnungsposition auf diejenige Kamera zubewegt, welche dem zur Anordnungsposition gewandten Abschnitt der Projektionsfläche zugeordnet ist, also deren Bilder auf diesen Abschnitt projiziert werden. Die Anordnungsposition wird dabei so weit auf diese Kamera zubewegt, bis sie auf der Projektionsfläche liegt. Anschließend wird das Overlay an der verschobenen Anordnungsposition auf die Projektionsfläche projiziert und die Umgebungsdarstellung wird aus den projizierten Kamerabildern und dem projizierten grafischen Overlay abgeleitet, insbesondere ausgehend von einer in dem virtuellen Raum angeordneten, virtuellen Kamera.
-
Durch die Projektion des Overlays auf die Projektionsfläche an der verschobenen Anordnungsposition wird für Overlays, welche an einer Anordnungsposition außerhalb des von der schüsselförmigen Projektionsfläche umschlossenen Bereichs eine perspektivisch korrekte Darstellung in Bezug zu den den jeweiligen Teilbereich des Fahrzeugumfelds abbildenden Kamerabildern erreicht. Insbesondere ein einen Bereich einer Bodenfläche augmentierendes Overlay wird somit korrekt in Bezug zu den Kamerabildern dargestellt, sodass unerwünschte Effekte, beispielsweise ein Schweben des Overlays über dem Boden in der Umgebungsdarstellung, vermieden werden können. Eine möglichst realistische Augmentierung der Fahrzeugumgebung durch ein perspektivisch korrekt dargestelltes Overlay erleichtert das Erfassen der grafischen Information durch einen Benutzer des Fahrzeugs. Mithilfe des Overlays bereitgestellte, unterstützende Informationen können somit von einem Fahrer des Fahrzeugs schneller und besser erfasst werden, sodass insgesamt die Bedienung des Fahrzeugs vorteilhaft erleichtert werden kann.
-
Das erfindungsgemäß vorgesehene Verschieben der Anordnungsposition hat gegenüber einer perspektivischen Projektion eines außerhalb der Projektionsfläche anzuordnenden Overlays den Vorteil, dass keine Annahme über den Verlauf einer Bodenfläche in den Bilddaten gemacht werden muss.
-
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Anordnungsposition entlang eines von der Kamera, die dem der Anordnungsposition zugewandten Abschnitt der Projektionsfläche zugeordnet ist, zu der Anordnungsposition verlaufenden Kamerastrahls verschoben wird. Der Kamerastrahl beschreibt dabei diejenige Gerade, welche zwischen der Anordnungsposition und einer als punktförmig angenommenen Kamera verläuft. Auf diese Weise ist vorteilhaft eine einfache Berechnung der Verschiebung durch Ermitteln eines Schnittpunkts zwischen dem Kamerastrahl und der Projektionsfläche, insbesondere dem Rand der Projektionsfläche, möglich.
-
Erfindungsgemäß kann vorgesehen sein, dass, wenn die Anordnungsposition innerhalb der Projektionsfläche liegt, eine perspektivische Projektion des Overlays an der Anordnungsposition erfolgt. Mit anderen Worten wird die Anordnungsposition, wenn sich das Overlay innerhalb der schüsselförmigen Projektionsfläche bzw. innerhalb des von dem Randabschnitt der Projektionsfläche umschlossenen Bereichs befindet, nicht verschoben, sondern an der ursprünglichen Anordnungsposition mittels einer perspektivischen Projektion für die Ermittlung der Umgebungsdarstellung projiziert. Die perspektivische Projektion erfolgt dabei insbesondere in Abhängigkeit der Position und der Blickrichtung einer virtuellen Kamera in dem virtuellen Raum, von der ausgehend die Umgebungsdarstellung abgeleitet wird. Die perspektivische Projektion kann dabei insbesondere unter der Annahme ausgeführt werden, dass der Bodenabschnitt der Projektionsfläche dem Verlauf der Bodenfläche entspricht.
-
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass, wenn der der Anordnungsposition zugewandte Abschnitt der Projektionsfläche zwei oder mehr Kameras zugeordnet ist, eine Änderung der Zuordnung der Abschnitte der Projektionsfläche zu den Kameras derart erfolgt, dass der der Anordnungsposition zugewandte Abschnitt nur einer der Kameras zugeordnet ist. Ein Abschnitt der Projektionsfläche, dem von zwei oder mehr der Kameras erzeugte Kamerabilder zugeordnet werden, kann insbesondere einem Überlappungsbereich der Erfassungsbereiche zweier oder mehrerer der Kameras des Fahrzeugs entsprechen. In einem überlappenden Erfassungsbereich liegen also Bilddaten von zwei oder mehr der Kameras vor, welche den Überlappungsbereich abbilden, wobei die Bilddaten beim Projizieren der Kamerabilder auf die Projektionsfläche beispielsweise anhand einer Überlagerungsvorschrift überlagert und/oder zumindest teilweise aneinander angefügt werden können.
-
Um die durch die Verschiebung der Anordnungsposition gewünschte, korrekte Überlagerung zwischen dem Overlay und den Kamerabildern zu erreichen, wird für derartige Überlagerungsabschnitte die Zuordnung der Kameras geändert, sodass nur noch von einer Kamera Bilddaten für den Überlappungsbereich verwendet werden. Dies ermöglicht, dass dieses Overlay durch das Verschieben der Anordnungsposition mit den Kamerabildern einer Kamera korrekt überlagert werden kann.
-
Die Zuordnung der Kamerabilder zu den Abschnitten der Projektionsfläche kann beispielsweise in einer Zuordnungsvorschrift beschrieben sein, wobei diese beispielsweise abhängig von der relativen Lage der Anordnungsposition zu der Projektionsfläche unterschiedliche Zuordnungen der Kamerabilder zu einzelnen Abschnitten in Überlappungsbereichen vorsehen kann, sodass der der Anordnungsposition am nächsten liegende Abschnitt der Projektionsfläche nur einer von mehreren Kameras zugeordnet werden kann. Die Zuordnungsvorschrift kann zum Beispiel in einem zur Durchführung des Verfahrens ausgebildeten Steuergerät hinterlegt sein.
-
Die Anordnungsposition kann erfindungsgemäß einem ausgewählten oder einem für die Auswahl vorgeschlagenen Parkplatz im Umfeld des Fahrzeugs entsprechen. Beispielsweise kann die Anordnungsposition einer Mitte des Parkplatzes in dem virtuellen Raum entsprechen. Ein ausgewählter Parkplatz kann beispielsweise durch eine Parkassistenzfunktion des Fahrzeugs automatisiert ermittelt werden, beispielsweise durch eine Auswertung des Bildinhalts der Kamerabilder und/oder anhand von weiteren Umgebungssensoren des Fahrzeugs, wie beispielsweise Ultraschallsensoren, Radarsensoren, Lidarsensoren oder dergleichen. Alternativ dazu ist auch eine Auswahl des Parkplatz durch einen Benutzer des Fahrzeugs, beispielsweise durch eine manuelle Markierung eines Umgebungsbereichs über eine Benutzerschnittstelle, wie ein Touchdisplay oder dergleichen, möglich. Das Bestimmen eines geeigneten Parkplatzes kann dabei selbstständig durch einen Benutzer des Fahrzeugs oder anhand eines oder mehrerer, automatisiert ermittelter und für eine Auswahl vorgeschlagener Parkplätze im Umfeld des Fahrzeugs erfolgen.
-
Erfindungsgemäß kann vorgesehen sein, dass das Overlay ein einen Bereich einer Bodenfläche augmentierendes Overlay, insbesondere eine Parkplatzmarkierung, und/oder ein auf einer Bodenfläche anzuordnendes Grafikobjekt, insbesondere eine virtuelle Fahrzeugdarstellung oder eine virtuelle Darstellung eines Umgebungsobjekts, ist. Eine Parkplatzmarkierung oder auch eine Abbildung des eigenen Fahrzeugs darstellendes Overlay kann dabei auf einem ausgewählten Parkplatz dargestellt werden, sodass beispielsweise das Ziel eines geplanten oder beabsichtigten Parkmanövers und/oder eine einzunehmende Parkposition des Fahrzeugs klar ersichtlich ist. Zusätzlich oder alternativ dazu können auch weitere Umgebungsobjekte, beispielsweise Fremdfahrzeuge, oder andere, insbesondere auf einer Bodenfläche angeordnete Umgebungsobjekte, durch das den Kamerabildern überlagerte Grafikobjekt dargestellt oder hervorgehoben werden.
-
Zum Erzeugen der Umgebungsdarstellung kann erfindungsgemäß vorgesehen sein, dass die Umgebungsdarstellung ausgehend von einer im virtuellen Raum angeordneten, virtuellen Kamera erzeugt wird und/oder dass die Umgebungsdarstellung eine perspektivische Seitenansicht oder eine Aufsicht auf das Fahrzeug und die Fahrzeugumgebung ist. Die Position der virtuellen Kamera im virtuellen Raum kann grundsätzlich beliebig gewählt werden. Beispielweise kann sich die Kamera in einer beliebigen Höhe über einem beliebigen Punkt auf einer Bodenfläche des virtuellen Raumes befinden. Die Umgebungsdarstellung kann dann als Blick von der virtuellen Kamera aus auf die Projektionsfläche mit den darauf projizierten Kamerabildern und dem projizierten Overlay ermittelt werden. Je nach der Position der virtuellen Kamera können dabei perspektivische Seitenansichten, Aufsichten auf das Fahrzeug oder weitere Arten von Umgebungsdarstellungen erzeugt werden.
-
Die erzeugte Umgebungsdarstellung kann anschließend erfindungsgemäß auf einer Anzeigeeinrichtung des Fahrzeugs dargestellt werden. Bei der Anzeigeeinrichtung kann es sich beispielsweise um eine in einem Innenraum des Fahrzeugs angeordnete Anzeigeeinrichtung, beispielsweise um einen Bildschirm oder um ein Touchdisplay, handeln.
-
Für ein erfindungsgemäßes Steuergerät ist vorgesehen, dass dieses dazu eingerichtet ist, bei Bereitstellung von einem oder mehreren Kamerabildern einer Fahrzeugumgebung eines Fahrzeugs ein erfindungsgemäßes Verfahren auszuführen.
-
Für ein erfindungsgemäßes Fahrzeug ist vorgesehen, dass es eine oder mehrere Kameras sowie ein erfindungsgemäßes Steuergerät umfasst.
-
Für ein erfindungsgemäßes Computerprogramm ist vorgesehen, dass es Befehle umfasst, die eine Recheneinrichtung dazu veranlassen, bei Bereitstellung von Kamerabildern einer Fahrzeugumgebung ein erfindungsgemäßes Verfahren auszuführen.
-
Für einen erfindungsgemäßen Datenträger ist vorgesehen, dass er ein erfindungsgemäßes Computerprogramm umfasst. Bei dem Datenträger kann es sich insbesondere um einen nicht-transienten Datenträger, beispielsweise eine Festplatte, eine CD-ROM, einen Flash-Speicher oder dergleichen, handeln.
-
Sämtliche vorangehend in Bezug zu dem erfindungsgemäßen Verfahren beschriebenen Vorteile und Ausgestaltungen gelten entsprechend für das erfindungsgemäße Steuergerät, das erfindungsgemäße Fahrzeug, das erfindungsgemäße Computerprogramm sowie den erfindungsgemäßen Datenträger und umgekehrt. Auch die in Bezug zu diesen weiteren Erfindungsgegenständen beschriebenen Vorteile und Ausgestaltungen sind analog auf die anderen Erfindungsgegenstände übertragbar.
-
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:
- 1 ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs,
- 2 ein Blockdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,
- 3 eine schematische Darstellung einer schüsselförmigen Projektionsfläche in einem virtuellen Raum in einer seitlichen Ansicht und
- 4 eine schematische Darstellung der schüsselförmigen Projektionsfläche in dem virtuellen Raum in einer Aufsicht.
-
In 1 ist ein Ausführungsbeispiel eines Fahrzeugs 1 gezeigt. Bei dem Fahrzeug 1 kann es sich zum Beispiel um ein Kraftfahrzeug, insbesondere einen Personenkraftwagen, einen Lastkraftwagen oder eine andere Art von Nutzfahrzeug, handeln. Es ist auch möglich, dass das Fahrzeug 1 ein unmotorisiertes Fahrzeug wie ein Anhänger ist oder dass es sich um ein Gespann aus einem Zugfahrzeug und einem Anhänger handelt. Das Fahrzeug 1 kann auch ein schienengebundenes Fahrzeug, wie eine Straßenbahn oder dergleichen, oder ein Roboter sein.
-
Das Fahrzeug 1 umfasst ein Ausführungsbeispiel eines Fahrerassistenzsystems 2, welches eine oder mehrere Anzeigeeinrichtungen 3 sowie ein Steuergerät 4 umfasst. Bei der Anzeigeeinrichtung 3 kann es sich zum Beispiel um einen oder mehrere in einem Innenraum des Fahrzeugs 1 angeordnete Bildschirme bzw. Displays handeln. Die Anzeigeeinrichtung 3 ist mit dem Steuergerät 4 über eine Kommunikationsverbindung 5 verbunden. Die Kommunikationsverbindung 5 kann zum Beispiel eine Punkt-zu-Punkt-Verbindung oder eine Bus-Verbindung wie ein CAN-Bus oder dergleichen sein.
-
Das Steuergerät 4 ist zum Erzeugen einer Umgebungsdarstellung aus den Kamerabilder einer oder mehrerer Kameras 6 des Fahrzeugs ausgebildet und kann zum Beispiel als ein Mikrocontroller, als ein Prozessor oder eine andere Art von Recheneinrichtung ausgeführt sein oder eine solche Recheneinrichtung umfassen. Das Steuergerät 4 kann eine Speichereinrichtung aufweisen, in welcher Rechenvorschriften und/oder Daten digital gespeichert werden können.
-
Mittels der Kameras 6 kann das Fahrzeugumfeld vor, hinter und/oder neben dem Fahrzeug 1 erfasst werden. Dazu können die Kamerabilder von den Kameras 6 zum Beispiel über die Kommunikationsverbindung 5 an das Steuergerät 4 übermittelt werden, insbesondere als ein Videostream, und vorzugsweise zumindest näherungsweise in Echtzeit. Bei den Kameras 6 kann es sich zumindest teilweise um Fischaugen-Kameras handeln, welche einen Erfassungsbereich mit einem horizontalen und/oder vertikalen Öffnungswinkel von 180° oder mehr aufweisen können. Die Kameras 6 bilden insbesondere ein Surroundview-Kamerasystem, welches das komplette Umfeld um das Fahrzeug 1 erfassen kann.
-
Die Umgebungsdarstellung kann dabei insbesondere den Bereich vor dem Fahrzeug 1, neben dem Fahrzeug 1 und/oder hinter dem Fahrzeug 1 darstellen und dazu die Bilddaten einer der Kameras 6 verwenden bzw. die Bilddaten mehrerer der Kameras 6 zu einer gemeinsamen Umgebungsdarstellung zusammenfügen. Die Umgebungsdarstellung kann dabei eine perspektivische Ansicht ausgehend von einer virtuellen Kameraposition sein und die Kamerabilder dazu zum Beispiel durch Transformation in einen von der tatsächlichen Kamera 6 verschiedenen Blickwinkel umsetzen, wie nachfolgend noch genauer beschrieben wird. Zum Beispiel kann die Umgebungsdarstellung als eine perspektivische Seitenansicht auf das Fahrzeug 1 und einen beispielsweise hinter dem Fahrzeug liegenden Abschnitt der Fahrzeugumgebung ausgeführt sein.
-
Das Steuergerät 4 ist zur Durchführung eines Ausführungsbeispiels eines Verfahrens zum Erzeugen einer zumindest einen Teilbereich einer Fahrzeugumgebung eines Fahrzeugs darstellenden und mit wenigstens einem grafischen Overlay augmentierten Umgebungsdarstellung ausgebildet. In 2 ist ein Blockdiagramm eines Ausführungsbeispiels eines solchen Verfahrens dargestellt.
-
In Schritt S1 des Verfahrens erfolgt das Aufnehmen von einem oder mehreren Kamerabildern der Fahrzeugumgebung mittels einer oder mehrerer Kameras 6 des Fahrzeugs 1. Die Kamerabilder werden von den Kameras 3 an das Steuergerät 4 über die Kommunikationsverbindung 5 übermittelt. Im vorliegenden Beispiel werden von allen vier Kameras 6 Kamerabilder aufgenommen und an das Steuergerät 4 übermittelt.
-
In Schritt S2 erfolgt das Projizieren der Kamerabilder auf eine schüsselförmige Projektionsfläche, welche in einem virtuellen Raum das Fahrzeug 1 umgibt. Dabei werden die Kamerabilder jeweils auf einen der zur Aufnahme der Kamerabilder verwendeten Kamera zugeordneten Abschnitt der Projektionsfläche projiziert werden. In 3 ist schematisch eine Seitenansicht einer schüsselförmigen Projektionsfläche 7 dargestellt. Eine entsprechende Aufsicht auf die schüsselförmige Projektionsfläche wird in 4 gezeigt.
-
Die schüsselförmige Projektionsfläche 7 umfasst einen ebenen Bodenabschnitt 8, welcher auf einer Bodenfläche 9 des virtuellen Raumes 10 liegt. Der Bodenabschnitt 8 weist in der Ebene der Bodenfläche 9 zum Beispiel eine elliptische Form auf, so wie es in 4 dargestellt ist. Alternativ kann der Bodenabschnitt 8 auch eine andere Geometrie, beispielsweise eine Kreisform, aufweisen. Die Bodenfläche 9 entspricht zumindest näherungsweise dem Verlauf einer als planar angenommenen Straßenoberfläche.
-
Die Breite der Projektionsfläche in x-Richtung und/oder in y-Richtung kann fest vorgegeben sein oder in Abhängigkeit von einem oder mehreren Umgebungsparametern, beispielsweise in Abhängigkeit von mittels einem Umgebungssensor (nicht dargestellt) des Fahrzeugs 1 detektierten Abständen zu Umgebungsobjekten, eingestellt werden. Als Umgebungssensoren können dabei beispielsweise Ultraschallsensoren, Radarsensoren, Lidarsensoren oder weitere Kameras des Fahrzeugs verwendet werden. Auch eine Ermittlung von Umgebungsparametern anhand einer Bilddatenauswertung der Kamerabilder der Kameras 6 ist möglich.
-
Seitlich umlaufend an den Bodenabschnitt 8 schließen sich ein Übergangsbereich 11 und ein Randabschnitt 12 der Projektionsfläche 7 an. Der Randabschnitt 12 steht unter einem Winkel zu dem Bodenabschnitt 8 und weist einen geraden, nicht gekrümmten Verlauf auf. Zwischen dem Bodenabschnitt 8 und dem Randabschnitt 12 befindet sich der Übergangsbereich 11, welcher einen, beispielsweise parabolisch oder exponentiell, gekrümmten Verlauf aufweist. Der Übergangsbereich 11 und der Randbereich 12 bilden dabei einen ein Inneres 13 der Projektionsfläche randseitig umfassenden Rand 14 der Projektionsfläche 7. Durch den Bodenabschnitt 8 und den Rand 14, bzw. den Übergangsbereich 11 und den Randabschnitt 12, wird ein Schüsselform gebildet, welche zumindest teilweise das Innere 13 der Projektionsfläche 7 seitlich umschließt.
-
In dem Inneren 13 der Projektionsfläche 7 ist ein virtuelles Modell 15 des Fahrzeugs 1 auf dem Bodenbereich 8 angeordnet. Die von den Kameras 6 aufgenommenen Kamerabilder werden in Abhängigkeit des jeweils erfassten Umgebungsbereichs bzw. in Abhängigkeit der Anordnung der jeweiligen Kamera 6 am Fahrzeug 1 auf den jeweiligen Kameras 6 zugeordnete Abschnitte der Projektionsfläche 7 projiziert. Einem Abschnitt der Projektionsfläche kann dabei mehr als eine Kamera 6 zugeordnet sein.
-
In 4 sind beispielhaft zwei Abschnitte 16 und 17 dargestellt. Auf den Abschnitt 16 werden zum Beispiel die Kamerabilder einer als Rückfahrkamera 18 angeordneten Kamera 6, welche dem Abschnitt 16 zugeordnet ist, projiziert. Der Abschnitt 17 ist der Rückfahrkamera 18 und einer weiteren, als Seitenkamera 19 angeordneten Kamera 6 zugeordnet, da sich der Abschnitt 17 in einem Überlappungsbereich zwischen einem Erfassungsbereich 20 der Rückfahrkamera 18 und einem Erfassungsbereich 21 der Seitenkamera 19 befindet. Mit anderen Worten sind die Abschnitte 16, 17 jeweils insbesondere denjenigen Kameras zugeordnet, in deren Erfassungsbereichen, bzw. den virtuellen Entsprechungen der Erfassungsbereiche, sie angeordnet sind.
-
Die Kamerabilder der Rückfahrkamera 18 und der Seitenkamera 19 können im Abschnitt 17 zum Beispiel teilweise überblendet und/oder zugeschnitten und aneinandergefügt werden, um einen möglichst nahtlosen Übergang in der Umgebungsdarstellung zu erreichen. Entsprechend können weitere Abschnitte der Projektionsfläche 7 auch den weiteren Kameras 6 des Fahrzeugs 1 zugeordnet sein, sodass eine nahtlose, umlaufende Projektion der Kamerabilder auf die Projektionsfläche 7 erreicht wird.
-
Die Umgebungsdarstellung kann anschließend ausgehend von einer an einem Punkt V angeordneten virtuellen Kamera erzeugt werden. Die virtuelle Kamera kann dabei insbesondere ein beliebiges, auf die Projektionsfläche 7 gerichtetes Blickfeld haben, sodass als Umgebungsdarstellung eine perspektivische Ansicht oder auch eine Aufsicht auf das Fahrzeug 1 erzeugt werden kann.
-
In Schritt S3 des in 2 gezeigten Ausführungsbeispiels des Verfahrens erfolgt das Anordnen eines grafischen Overlays 22 an einer dem Overlay 22 zugeordneten Anordnungsposition P im virtuellen Raum. Bei dem Overlay 22 kann es sich insbesondere um ein einen Bereich der Bodenfläche 9 augmentierendes Overlay, insbesondere eine Parkplatzmarkierung, und/oder ein auf der Bodenfläche 9 anzuordnendes Grafikobjekt, insbesondere eine virtuelle Fahrzeugdarstellung oder eine virtuelle Darstellung eines Umgebungsobjekts, handeln.
-
Das Overlay 22 wird in dem virtuellen Raum 10 an einer Anordnungsposition P angeordnet, wobei die Anordnungsposition P zum Beispiel einem ausgewählten oder einem für eine Auswahl vorgeschlagenen Parkplatz im Umfeld des Fahrzeugs 1 zugeordnet sein kann. Dabei kann es sich zum Beispiel um die Position eines von einem Fahrerassistenzsystem ermittelten und einem Benutzer des Fahrzeugs 1 vorgeschlagenen Parkplatzes und/oder um die Position eines von einem Benutzer ausgewählten Parkplatzes handeln. Die Position des tatsächlichen Parkplatzes im Fahrzeugumfeld kann zum Beispiel ein Referenzpunkt des Parkplatzes, beispielweise der Mittelpunkt des Parkplatzes, sein, welcher entsprechend als Anordnungsposition P in den virtuellen Raum 13 übertragen wird.
-
Wenn die Anordnungsposition P im Inneren 13 der Projektionsfläche 7 liegt (nicht dargestellt), erfolgt eine perspektivische Projektion des Overlays 22 an der Anordnungsposition P. Wenn die Anordnungsposition P jedoch wie in 3 dargestellt außerhalb der Projektionsfläche 7 liegt, erfolgt ein Verschieben der Anordnungsposition P auf die Projektionsfläche 7 in Richtung derjenigen Kamera 6, welche dem der Anordnungsposition P zugewandten Abschnitt 16, 17 der Projektionsfläche 7 zugeordnet ist. Anschließend wird das Overlay 22 an der verschobenen Anordnungsposition P' auf die Projektionsfläche 7 projiziert. Dazu wird insbesondere jeder Punkt bzw. jeder Vertex des Overlays 22 einzeln auf die Projektionsfläche 7 projiziert, sodass sich auf der Projektionsfläche 7 dann insgesamt ein projiziertes Abbild des Overlays 22 ergibt.
-
Das Verschieben der Anordnungsposition P erfolgt entlang eines Kamerastrahls 23, welcher von der dem der Anordnungsposition P zugewandten Abschnitt 16, 17 der Projektionsfläche 7 zugeordneten Kamera 6 zu der Anordnungsposition verläuft. Vorliegend ist der Anordnungsposition P der Abschnitt 16 zugewandt, sodass ein Kamerastrahl 23 von der Rückfahrkamera 18 zu der Anordnungsposition P für das Verschieben verwendet wird. Die Anordnungsposition P wird entlang dieses Kamerastrahls 23 auf die Projektionsfläche 7 verschoben. Die verschobene Anordnungsposition P' befindet sich also an dem Schnittpunkt des Kamerastrahls 23 mit der Projektionsfläche 7.
-
Wenn der einer Anordnungsposition P zugewandte Abschnitt der Projektionsfläche 7 zwei oder mehreren der Kameras 6 zugeordnet ist, erfolgt eine Änderung der Zuordnung der Abschnitte der Projektionsfläche 7 zu den Kameras 6 derart, dass der der Anordnungsposition zugewandte Abschnitt nur einer der Kameras 6 zugeordnet ist. Dieser Fall ist in den 3 und 4 für eine weitere Anordnungsposition Q gezeigt. Dem zu der weiteren Anordnungsposition Q gewandte Abschnitt 17 der Projektionsfläche 7 ist, wie vorangehend beschrieben wurde, sowohl die Rückfahrkamera 18 als auch die Seitenkamera 19 zugeordnet. Um eine perspektivisch korrekte Darstellung des Overlays 22 zu ermöglichen, wird für den Abschnitt 17 die Zuordnung z.B. derart geändert, dass ihm nur noch die Rückfahrkamera 18 zugeordnet ist. Mit anderen Worten werden für das Erzeugen der Umgebungsdarstellung mit dem an der weiteren Anordnungsposition Q angeordneten Overlay 22 nur die Kamerabilder der Rückfahrkamera 18 auf den Abschnitt 17 projiziert, d.h. es werden für den Überlappungsbereich nur die Kamerabilder einer der Kameras 18, 19 mit den überlappenden Erfassungsbereichen 20, 21 verwendet.
-
In Schritt S4 erfolgt das Ableiten der Umgebungsdarstellung aus den projizierten Kamerabildern und dem projizierten grafischen Overlay 22. Je nach Position und Blickrichtung der virtuellen Kamera können dabei verschiedene perspektivische Ansichten und/oder Aufsichten auf das virtuelle Fahrzeug 15 und die Fahrzeugumgebung erzeugt werden.
-
Die erzeugte Umgebungsdarstellung wird anschließend in Schritt S5 auf der Anzeigeeinrichtung 3 des Fahrzeugs 1 dargestellt. Auf diese Weise kann zum Beispiel ein Einparkvorgang erleichtert werden, da der Benutzer des Fahrzeugs eine gewählte Zielposition einfach und deutlich erkennen kann.
-
Analog zu dem vorangehend beschriebenen Ausführungsbeispiel können auch weitere Ansichten unter Verwendung der Kamerabilder weiterer und/oder anderer der Kameras 6 des Fahrzeugs 1 erzeugt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 10 2016 225 066 A1 [0004]