DE102020106967A1

DE102020106967A1 - Festlegen eines aktuellen Fokusbereichs eines Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und einem aktuellen Bewegungsparameter

Info

Publication number: DE102020106967A1
Application number: DE102020106967.7A
Authority: DE
Inventors: Philippe Lafon; Fabian Burger; Jonathan Horgan
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2020-03-13
Filing date: 2020-03-13
Publication date: 2021-09-16
Also published as: CN115443651A; WO2021180679A1; US20230097950A1; EP4118816A1

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen eines Umgebungsbildes (36) basierend auf einem Kamerabild (30) einer Fahrzeugkamera (14, 16, 18, 20) eines Fahrzeugs (10) zur Überwachung einer Umgebung (28) des Fahrzeugs (10), wobei das Kamerabild (30) einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs (10), umfassend die Schritte Bestimmen einer Position der Fahrzeugkamera (14, 16, 18, 20) an dem Fahrzeug (10), Erfassen wenigstens eines aktuellen Bewegungsparameters (44) des Fahrzeugs (10), Festlegen eines aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) basierend auf der Position der Fahrzeugkamera (14, 16, 18, 20) an dem Fahrzeug (10) und dem wenigstens einen aktuellen Bewegungsparameter (44), und Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36), wobei Bildpunkte aus dem aktuellen Fokusbereich (32) in einen mit dem aktuellen Fokusbereich (32) korrespondierenden ersten Bildbereich (40) des Umgebungsbildes (36) mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes (30) aus einem verbleibenden Bereich (34), der nicht in dem aktuellen Fokusbereich (32) liegt, in einen damit korrespondierenden zweiten Bildbereich (42) des Umgebungsbildes (36) mit einer zweiten Auflösung übertragen werden, wobei die zweite Auflösung kleiner als die erste Auflösung ist. Die Erfindung betrifft außerdem eine Bildeinheit (12) zum Bereitstellen eines Umgebungsbildes nach dem obigen Verfahren und ein Fahrunterstützungssystem umfassend wenigstens eine solche Bildeinheit (12).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera eines Fahrzeugs zur Überwachung einer Umgebung des Fahrzeugs, wobei das Kamerabild einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs.
Auch betrifft die vorliegende Erfindung eine Bildeinheit zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera eines Fahrzeugs zur Überwachung einer Umgebung des Fahrzeugs, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs, umfassend wenigstens eine Fahrzeugkamera zur Bereitstellung des Kamerabildes mit einem Kamerabildbereich und mit einer Kameraauflösung, und einer Steuerungseinheit, die über einen Datenbus mit der wenigstens einen Fahrzeugkamera verbunden ist, und das jeweilige Kamerabild über den Datenbus empfängt, wobei die Bildeinheit ausgeführt ist, das obige Verfahren zum Bereitstellen eines Umgebungsbildes für die wenigstens eine Fahrzeugkamera durchzuführen.
Weiterhin betrifft die vorliegende Erfindung ein Fahrunterstützungssystem für ein Fahrzeug zur Bereitstellung wenigstens einer Fahrunterstützungsfunktion basierend auf einer Überwachung einer Umgebung des Fahrzeugs, das wenigstens eine obige Bildeinheit umfasst.
Im Automobilbereich ist eine Erfassung der Umgebung von Fahrzeugen mit an dem Fahrzeug angebrachten Kameras, im Weiteren Fahrzeugkameras, weit verbreitet, um unterschiedliche Fahrunterstützungsfunktionen, die teilweise als ADAS (Advanced Driver Assistance Systems) bezeichnet werden, zu realisieren. Entsprechendes gilt für autonomes Fahren, das ebenfalls eine vollständige Wahrnehmung der Umgebung des Fahrzeugs erfordert. Um mit einer geringen Anzahl Fahrzeugkameras die Umgebung des Fahrzeugs vollständig erfassen zu können, werden häufig Weitwinkelkameras oder sogar Fischaugenkameras verwendet, so dass mit den Fahrzeugkameras Winkelbereiche von über 160° bis hin zu 180° und teilweise darüber hinaus erfasst werden können. Basierend auf mit den Fahrzeugkameras aufgenommen Kamerabildern können beispielsweise ein optischer Fluss bestimmt sowie eine Fahrzeugbeziehungsweise eine Fußgängerdetektion oder eine Fahrspurerkennung durchgeführt werden. Neben solchen Aufgaben im Bereich der Objekterkennung sind auch Aufgaben im Bereich der Segmentierung von Bildinformation bekannt. Die Verarbeitung des entsprechenden Kamerabildes kann beispielsweise mittels eines Computervision-Algorithmus und/oder mittels Lernverfahren tiefer neuronaler Netzwerke (Deep Learning), beispielsweise mittels eines konvolutionalen neuronalen Netzes (Convolutional Neural Network - CNN) durchgeführt werden. Diese Auswertealgorithmen werden insbesondere auf speziell eingebetteten Plattformen oder auf so genannten digitalen Signalprozessoren (Digital Signal Processor - DSP) mit einer limitierten Rechenkapazität durchgeführt.
Oftmals ist am Fahrzeug eine Mehrzahl von solchen Fahrzeugkameras angeordnet, beispielsweise in einem Frontbereich, in einem Heckbereich und in beiden Seitenbereichen des Fahrzeugs, wobei dann eine Auswertung von Kamerabildern dieser Mehrzahl von Fahrzeugkameras insbesondere simultan durchgeführt werden muss und eine erhebliche Datenmenge zur Verarbeitung bereitstellt. Insbesondere aufgrund der limitierten Rechenkapazität kann dies zu Zeitverzögerungen bei der Verarbeitung der Kamerabilder führen und erfordert die Bereitstellung von einer hohen Rechenleistung in dem Fahrzeug, was mit hohen Kosten verbunden ist.
Insbesondere bei der Nutzung von Fischaugenkameras können Verzerrungen auftreten, die eine Verarbeitung des Bildes erschweren. Insbesondere ist eine Verzerrung in vertikalen Linien zu verzeichnen und nahe Objekte werden vergrößert dargestellt. Diese Fischaugenbilder werden insbesondere korrigiert und begradigt, sodass beispielsweise der Computervision-Algorithmus das korrigierte Bild einfach auswerten kann.
Es ist bekannt, um Rechenzeit einzusparen, dass nicht das gesamte Kamerabild ausgewertet wird. Aus dem Stand der Technik sind hierbei unterschiedliche Strategien bekannt, welche insbesondere eine sogenannte Region von Interesse (region of interest - ROI) des Kamerabildes entsprechend auswertet. Im Stand der Technik wird somit lediglich ein Teilbereich des Kamerabildes, in welchem sich insbesondere die wichtigen Teile für eine weitere Auswertung befinden, verarbeitet. Andere Bildbereiche werden somit nicht weiter ausgewertet. Dies ist nachteilig, da teilweise relevante Information des Kamerabildes nicht erfasst werden kann, insbesondere betreffend Objekte in der Nähe der Fahrzeugkamera.
Darüber hinaus sind verschiedene Ansätze bekannt, um eine Reduktion von Bildinformation durchzuführen, um darüber die Verarbeitungsgeschwindigkeit zu erhöhen, ohne dass zusätzliche Rechenleistung erforderlich ist. Dafür sind prinzipiell zwei unterschiedliche Ansätze bekannt, die in 1 dargestellt sind. Ausgehend von einem Kamerabild oder Originalbild, dass in 1 a) dargestellt ist und eine volle Auflösung aufweist, kann beispielsweise ein lineares Downscaling durchgeführt werden, wie in 1 b) dargestellt ist. Downscaling betrifft eine Reduktion von Bildinformation, indem beispielsweise mehrere Bildpunkte des Kamerabildes zu einem Bildpunkt eines Umgebungsbildes zur weiteren Verarbeitung zusammengefasst werden. Beim linearen Downscaling werden alle Bildpunkte in gleicher Weise skaliert, um das Umgebungsbild in einer reduzierten Auflösung zu erzeugen. Dabei geht allerdings Bildinformation verloren, so dass insbesondere Objekte in einer größeren Entfernung des Fahrzeugs nicht mehr zuverlässig erkannt werden können. Ein verbesserter Ansatz besteht darin, ein nichtlineares Downscaling durchzuführen, wie in 1 c) dargestellt ist. Beim nichtlinearen Downscaling verschiedene Regionen des Kamerabildes in unterschiedlicher Weise skaliert. Dadurch können in bestimmten Bereichen des basierend auf dem Kamerabild gebildeten Umgebungsbildes hohe Auflösungen bereitgestellt werden, beispielsweise in Horizontbereich, während die Auflösung in anderen Bereichen, insbesondere in nahen Bereichen der Umgebung des Fahrzeugs, reduziert werden kann. Dadurch können auch entfernte Objekte in dem Bereich der hohen Auflösung zuverlässig erkannt werden, ohne dass relevante Bildinformation betreffend den Nahbereich verloren geht, wie es beispielsweise beim Abschneiden von Bildinformation vorkommen kann. Auch können Objekte im Nahbereich des Fahrzeugs aufgrund ihrer Größe auch mit einer geringeren Auflösung zuverlässig erkannt werden. Weiter vorteilhaft ist, dass die Verwendung von insgesamt hohen Kompressionsraten möglich ist, d.h. die Umgebungsbilder weisen eine geringere Anzahl von Bildpunkten auf als die von den Fahrzeugkameras bereitgestellten Kamerabilder. Nachteilig an der nichtlinearen Bildverarbeitung sind mögliche Verzerrungen in dem Umgebungsbild, insbesondere an Bildrändern.
Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera eines Fahrzeugs zur Überwachung einer Umgebung des Fahrzeugs, wobei das Kamerabild einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs, eine Bildeinheit zur Durchführung des Verfahrens sowie ein Fahrunterstützungssystem mit wenigstens einer solchen Bildeinheit anzugeben, die eine effiziente und zuverlässige Überwachung der Umgebung des Fahrzeugs ermöglichen.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Erfindungsgemäß ist somit ein Verfahren zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera eines Fahrzeugs zur Überwachung einer Umgebung des Fahrzeugs, wobei das Kamerabild einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs angegeben, umfassend die Schritte Bestimmen einer Position der Fahrzeugkamera an dem Fahrzeug, Erfassen wenigstens eines aktuellen Bewegungsparameters des Fahrzeugs, Festlegen eines aktuellen Fokusbereichs innerhalb des Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und dem wenigstens einen aktuellen Bewegungsparameter, und Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild, wobei Bildpunkte aus dem aktuellen Fokusbereich in einen mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes aus einem verbleibenden Bereich, der nicht in dem aktuellen Fokusbereich liegt, in einen damit korrespondierenden zweiten Bildbereich des Umgebungsbildes mit einer zweiten Auflösung übertragen werden, wobei die zweite Auflösung kleiner als die erste Auflösung ist.
Erfindungsgemäß ist außerdem eine Bildeinheit zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera eines Fahrzeugs zur Überwachung einer Umgebung des Fahrzeugs, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs, angegeben, umfassend wenigstens eine Fahrzeugkamera zur Bereitstellung des Kamerabildes mit einem Kamerabildbereich und mit einer Kameraauflösung, und einer Steuerungseinheit, die über einen Datenbus mit der wenigstens einen Fahrzeugkamera verbunden ist, und das jeweilige Kamerabild über den Datenbus empfängt, wobei die Bildeinheit ausgeführt ist, das obige Verfahren zum Bereitstellen eines Umgebungsbildes für die wenigstens eine Fahrzeugkamera durchzuführen.
Erfindungsgemäß ist weiterhin ein Fahrunterstützungssystem für ein Fahrzeug zur Bereitstellung wenigstens einer Fahrunterstützungsfunktion basierend auf einer Überwachung einer Umgebung des Fahrzeugs angegeben. Das Fahrunterstützungssystem umfasst wenigstens eine obige Bildeinheit.
Grundidee der vorliegenden Erfindung ist es also, eine dynamische Anpassung des Fokusbereichs des Kamerabildes durchzuführen, um so das Umgebungsbild jeweils in einer optimalen Form für die jeweilige Fahrsituation abhängig von dem wenigstens einen Bewegungsparameter bereitzustellen. Dadurch kann eine dynamische Anpassung einer Skalierung bei dem Bereitstellen des Umgebungsbildes erfolgen, um eine effiziente Verarbeitung des Umgebungsbildes zu ermöglichen. Die Skalierung ist insbesondere Innerhalb des Umgebungsbildes dynamisch abhängig von dem jeweils aktuellen Fokusbereich. Durch die Festlegung des jeweils aktuellen Fokusbereichs kann dabei sichergestellt werden, dass jeweils eine optimale Auflösung in dem Umgebungsbild verwendet wird, so dass eine Gesamtmenge zu verarbeitender Daten gering ist und relevante Information für verschiedene Fahrsituationen abhängig von dem wenigstens einen Bewegungsparameter aufgrund der höheren Auflösung in dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich erhalten bleiben. Dadurch wird die Bereitstellung des Umgebungsbildes insgesamt verbessert, da übermäßige Auflösungen des Umgebungsbildes in Bereichen, die aufgrund der aktuellen Fahrsituation nicht von Interesse sind, vermieden werden können. Jedes Umgebungsbild muss nicht alle möglichen Fahrsituationen gleichzeitig abdecken, sondern basierend auf dem aktuellen Bewegungsparameter nur eine aktuelle Fahrsituation. Dies erleichtert eine nachfolgende Verarbeitung des Umgebungsbildes, beispielsweise um Objekte zu erkennen und zu klassifizieren, so dass weniger Rechenleistung zur Verfügung gestellt werden muss. Auch können dadurch leistungsfähige Fahrzeugkameras verwendet werden, die heutzutage Auflösungen von bis zu 20 Megapixel aufweisen, wobei einerseits der mit dem jeweils aktuellen Fokusbereich korrespondierende erste Bildbereich unter Ausnutzung der Auflösung solch leistungsfähiger Fahrzeugkameras mit einer hohen Auflösung bereitgestellt wird, wodurch beispielsweise eine maximale Erkennung von Objekten möglich ist, und andererseits in dem mit dem verbleibenden Bereich korrespondierenden zweiten Bildbereich eine geringere Auflösung verwendet wird, um die Bildinformation des Umgebungsbildes insgesamt zu begrenzen. Dadurch kann auch ein Einfluss einer hohen oder erhöhten Auflösung des Kamerabildes auf die Verarbeitungsgeschwindigkeit für einen Computervision-Algorithmus und/oder Lernverfahren tiefer neuronaler Netzwerke (Deep Learning), beispielsweise mittels eines konvolutionalen neuronalen Netzes (Convolutional Neural Network - CNN) ausgeglichen werden, ohne auf deren Vorteile zumindest im mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich zu verzichten. Diese Vorteile können besonders hervortreten, wenn zusätzlich eine Reduzierung der Auflösung für das Umgebungsbild erfolgt, entweder für den ersten Bildbereich und/oder für den zweiten Bildbereich.
Das Umgebungsbild wird für eine weitere Verarbeitung verwendet. Es basiert auf dem Kamerabild und kann Teile davon enthalten, beispielsweise in dem ersten oder zweiten Bildbereich, oder der erste und/oder zweite Bildbereich des Umgebungsbildes wird/werden basierend auf dem Kamerabild gebildet, beispielsweise im Rahmen einer Datenkomprimierung, einer Reduktion der Auflösung oder ähnliches.
Das Kamerabild wird von der Fahrzeugkamera bereitgestellt. Es kann eine prinzipiell beliebige Auflösung aufweisen in Übereinstimmung mit einem optischen Sensor der Fahrzeugkamera. Das Kamerabild kann Farbinformation enthalten, beispielsweise im Format RGB, oder als schwarz/weiß-Bild lediglich Helligkeitsinformation.
Die Fahrzeugkamera kann eine an sich beliebige Kamera zur Montage an einem Fahrzeug sein. In diesem Bereich sind Weitwinkelkameras oder auch Fischaugenkameras verbreitet. Solche Fahrzeugkameras können Kamerabildbereiche mit Winkelbereichen von über 160° bis hin zu 180° und teilweise darüber hinaus erfassen, so dass mit wenigen Kameras die Umgebung des Fahrzeugs sehr umfassend erfasst werden kann. Insbesondere bei der Nutzung von Fischaugenkameras können Verzerrungen auftreten, die eine Verarbeitung des Bildes erschweren. Insbesondere ist eine Verzerrung in vertikalen Linien zu verzeichnen und nahe Objekte werden vergrößert dargestellt. Entsprechend können die Fahrzeugkameras oder die Bildeinheiten mit solchen Fahrzeugkameras Korrekturen durchführen, sodass beispielsweise ein Computervision-Algorithmus das korrigierte Kamerabild einfach auswerten kann. Die Fahrzeugkameras können beispielsweise als Frontkamera, Heckkamera, rechte Seitenkamera oder linke Seitenkamera ausgeführt und entsprechend an dem Fahrzeug angeordnet sein.
Häufig werden in einem Fahrzeug zur vollständigen Überwachung der Umgebung vier oder mehr Fahrzeugkameras verwendet, die eine Überwachung eines Winkelbereichs von 360° um das Fahrzeug ermöglichen. Entsprechen können beispielsweise eine Frontkamera, eine Heckkamera, eine rechte Seitenkamera und eine linke Seitenkamera gemeinsam verwendet werden.
Die Position der Fahrzeugkamera an dem Fahrzeug ermöglicht es, die Fahrzeugkamera in Bezug zu dem wenigstens einen Bewegungsparameter zu setzen. So ist beispielsweise für eine Seitenkamera beim Vorwärtsfahren und beim Rückwärtsfahren des Fahrzeugs jeweils ein unterschiedlicher Fokusbereich aktuell relevant. Prinzipiell kann die Position der Fahrzeugkamera lediglich einmal bestimmt werden, da sich die Position im Betrieb nicht ändert.
Die Kameraauflösung hängt von der Fahrzeugkamera ab. Eine Verwendung einer bestimmten Auflösung ist nicht erforderlich.
Die weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs, betrifft beispielsweise einen Computervision-Algorithmus und/oder Lernverfahren tiefer neuronaler Netzwerke (Deep Learning), beispielsweise mittels eines konvolutionalen neuronalen Netzes (Convolutional Neural Network - CNN). Diese Verarbeitung erfolgt insbesondere auf speziell eingebetteten Plattformen oder auf so genannten digitalen Signalprozessoren (Digital Signal Processor - DSP) mit einer limitierten Rechenkapazität.
Die Bildeinheit kann eine Mehrzahl Fahrzeugkameras aufweisen, wobei die Steuerungseinheit die Kamerabilder von der Mehrzahl Fahrzeugkameras über den Datenbus empfängt und für jede der Fahrzeugkameras ein entsprechendes Umgebungsbild bereitstellt. Prinzipiell kann die Bildeinheit auch eine Mehrzahl Steuerungseinheiten aufweisen, die jeweils einzeln oder gemeinsam das Verfahren für jedes der Kamerabilder einer oder mehrerer Fahrzeugkameras durchführen.
Insbesondere die Schritte zum Erfassen wenigstens eines aktuellen Bewegungsparameters des Fahrzeugs, zum Festlegen eines aktuellen Fokusbereichs und zum Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild werden schleifenartig durchgeführt, um kontinuierlich Umgebungsbilder zur weiteren Verarbeitung bereitzustellen.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Erfassen wenigstens eines aktuellen Bewegungsparameters des Fahrzeugs ein Erfassen einer aktuellen Bewegungsrichtung des Fahrzeugs. Die Bewegungsrichtung kann zum Beispiel durch Odometrieinformation des Fahrzeugs erfasst werden. Beispielsweise kann ein Lenkeinschlag des Fahrzeugs erfasst werden, der eine Bewegungsrichtung des Fahrzeugs angibt. Dazu sind beispielsweise Lenkwinkelsensoren bekannt. Alternativ oder zusätzlich kann die Bewegungsrichtung des Fahrzeugs basierend auf Positionsinformation eines globalen Navigationssatellitensystem (GNSS) erfasst werden. Auch sind Beschleunigungssensoren oder auch andere Sensoren bekannt, um eine Bewegungsrichtung oder eine Änderung der Bewegungsrichtung zu erfassen.
Basierend auf der Bewegungsrichtung ergeben sich beispielhaft folgende Möglichkeiten für das Festlegen des jeweils aktuellen Fokusbereichs, wie nachstehend ausgeführt ist. Prinzipiell sind selbstverständlich andere Regeln zum Festlegen des jeweils aktuellen Fokusbereichs anwendbar. Für die Frontkamera kann beispielsweise beim Fahren vorwärts (geradeaus) und rückwärts (geradeaus) der aktuelle Fokusbereich in einer Mitte des Kamerabildes liegen. Beim Fahren nach rechts kann der aktuelle Fokusbereich entsprechend rechts davon festgelegt werden und beim Fahren nach links entsprechend links davon. Das Fahren nach rechts bzw. links umfasst dabei ebenfalls eine Richtungskomponente nach vorne oder nach hinten, d.h. die Bewegungsgeschwindigkeit des Fahrzeugs ist größer oder kleiner Null. Der aktuelle Fokusbereich beim Fahren nach rechts bzw. links kann unabhängig von der Bewegungsgeschwindigkeit des Fahrzeugs sein. Entsprechendes ergibt sich für die Heckkamera mit dem Unterschied, dass beim Fahren nach rechts wird der aktuelle Fokusbereich links von der Mitte festgelegt wird, und beim Fahren nach links der aktuelle Fokusbereich rechts von der Mitte festgelegt wird. Für die rechte Seitenkamera ergibt kann beispielsweise beim Fahren vorwärts (geradeaus) der aktuelle Fokusbereich links von der Mitte festgelegt werden, während der aktuelle Fokusbereich beim Fahren rückwärts (geradeaus) rechts von der Mitte festgelegt wird. Beim Fahren nach rechts oder links kann der aktuelle Fokusbereich in der Mitte des Kamerabildes festgelegt werden. Entsprechend ergibt sich für die linke Seitenkamera, dass beim Fahren vorwärts (geradeaus) der aktuelle Fokusbereich rechts von der Mitte festgelegt wird, während er beim Fahren rückwärts (geradeaus) links von der Mitte festgelegt wird. Beim Fahren nach rechts oder links kann der aktuelle Fokusbereich in der Mitte des Kamerabildes festgelegt werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Erfassen wenigstens eines aktuellen Bewegungsparameters des Fahrzeugs ein Erfassen einer aktuellen Bewegungsgeschwindigkeit des Fahrzeugs. Darauf basierend kann der aktuelle Fokusbereich insbesondere für Fahrzeugkameras mit Blickrichtung nach vorne oder auch nach hinten angepasst werden, um die Umgebung zuverlässig erfassen zu können. So kann beispielsweise bei einer niedrigen Geschwindigkeit des Fahrzeugs der aktuelle Fokusbereich mit einer anderen Größe oder einer anderen Auflösung festgelegt werden als bei einer hohen Geschwindigkeit. Bei einer niedrigen Geschwindigkeit ist eine gute Erfassung der gesamten Umgebung des Fahrzeugs besonders vorteilhaft, während es bei hohen Geschwindigkeiten besonders vorteilhaft ist, Objekte in Bewegungsrichtung des Fahrzeugs auch in großer Entfernung zuverlässig erfassen und ggf. erkennen zu können. Dadurch kann auch bei hohen Geschwindigkeiten eine Fahrzeugsteuerung rechtzeitig an solche Objekte angepasst werden, was eine gleichmäßige Bewegung des Fahrzeugs ermöglicht. Die Bewegungsgeschwindigkeit des Fahrzeugs kann beispielsweise durch Odometrieinformation des Fahrzeugs erfasst werden. Beispielsweise kann eine Radumdrehung eines Rades des Fahrzeugs erfasst werden, woraus eine Bewegungsgeschwindigkeit des Fahrzeugs abgeleitet werden kann. Alternativ oder zusätzlich kann die Bewegungsrichtung des Fahrzeugs basierend auf Positionsinformation eines globalen Navigationssatellitensystem (GNSS) erfasst werden. Auch sind Beschleunigungssensoren oder auch andere Sensoren bekannt, um eine Bewegungsgeschwindigkeit oder eine Änderung der Bewegungsgeschwindigkeit zu erfassen.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Erfassen wenigstens eines aktuellen Bewegungsparameters des Fahrzeugs ein Erfassen einer Positionsänderung von Objekten zwischen Kamerabildern oder Umgebungsbildern, die mit einer zeitlichen Verzögerung bereitgestellt wurden, und ein Bestimmen der aktuellen Bewegungsrichtung und/oder der aktuellen Bewegungsgeschwindigkeit des Fahrzeugs basierend auf der erfassten Positionsänderung der Objekte. Das Bereitstellen der Kamerabilder oder Umgebungsbilder mit einer zeitlichen Verzögerung betrifft zwei oder mehrere der Bilder, die aus einer Sequenz von Bildern bereitgestellt werden. Die Bilder können unmittelbar aufeinanderfolgende Bilder aus der Sequenz sein, beispielsweise aufeinanderfolgende Bilder einer Videosequenz, oder Bilder in der Sequenz überspringen. Basierend auf den zeitlich versetzten Bildern kann eine Bewegung von Objekten in den Bildern erfasst werden, woraus wiederum der wenigstens eine aktuelle Bewegungsparameter des Fahrzeugs erfasst werden kann. Die Erfassung des wenigstens einen aktuellen Bewegungsparameters des Fahrzeugs kann beispielsweise basierend auf einem optischen Fluss ermittelt werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Festlegen eines aktuellen Fokusbereichs innerhalb des Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und dem wenigstens einen aktuellen Bewegungsparameter ein Auswählen des aktuellen Fokusbereichs aus einer Mehrzahl vorgegebener Fokusbereiche. Die Beschränkung auf eine Mehrzahl vorgegebene Fokusbereiche erleichtert die Durchführung des Verfahrens, so dass es einfach und effizient durchgeführt werden kann. Die vorgegebenen Fokusbereiche umfassen insbesondere Fokusbereiche, die jeweils auf eine Mitte und Randbereiche des Kamerabildes gerichtet sind. Dies kann eine horizontale Richtung und/oder eine vertikale Richtung in dem Kamerabild betreffen. Die Auswahl des aktuellen Fokusbereichs aus den vorgegebenen Fokusbereichen kann schnell und effizient umgesetzt werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Festlegen eines aktuellen Fokusbereichs innerhalb des Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und dem wenigstens einen aktuellen Bewegungsparameter ein Festlegen einer horizontalen Position des aktuellen Fokusbereichs bezogen auf das Kamerabild, insbesondere als einen rechten Fokusbereich, einen mittleren Fokusbereich oder einen linken Fokusbereich. Die horizontale Position ist eine Position in einer horizontalen Ebene. Beim Fahren mit einem Fahrzeug ist die horizontale Ebene üblicherweise von besonderer Bedeutung, da Objekte in einer solchen Ebene üblicherweise mit dem Fahrzeug interagieren oder gar kollidieren können. Vorzugsweise umfassen die Fokusbereiche in vertikaler Richtung eine Linie, die oftmals auch als „Horizont“ bezeichnet wird, d.h. eine Linie, welche die Erde von dem Himmel abgrenzt. Diese vertikale Ausrichtung ist besonders geeignet, um relevante Objekte und/oder Fahrsituationen erkennen zu können.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Festlegen eines aktuellen Fokusbereichs innerhalb des Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und dem wenigstens einen aktuellen Bewegungsparameter ein Festlegen einer Größe des aktuellen Fokusbereichs innerhalb des Kamerabildes. Die Größe des aktuellen Fokusbereichs kann beispielsweise abhängig von der Bewegungsgeschwindigkeit angepasst werden. Auch kann die Größe des aktuellen Fokusbereichs anhängig von seiner horizontalen Position bezogen auf das Kamerabild sein, d.h. ein rechter Fokusbereich kann eine andere Größe aufweisen als ein mittlerer Fokusbereich. Beispielsweise kann bei einer Seitenkamera ein rechter bzw. linker aktueller Fokusbereich klein gewählt sein, da die Seitenkamera nur in geringerem Maß relevante Information in Bezug auf die entsprechende Fahrtrichtung liefern kann. Demgegenüber kann beim Abbiegen ein mittlerer aktueller Fokusbereich größer gewählt sein, da die Seitenkamera in hohem Maß relevante Information in Bezug auf relevante Objekte im Bereichs des Fahrzeugs beim Abbiegen liefern kann.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Festlegen eines aktuellen Fokusbereichs innerhalb des Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und dem wenigstens einen Bewegungsparameter ein Festlegen einer Form des aktuellen Fokusbereichs innerhalb des Kamerabildes. Die Form des aktuellen Fokusbereichs kann prinzipiell beliebig gewählt sein. In der Praxis hat sich beispielsweise eine ovale Form wie auch eine rechteckige Form bewährt, wobei die rechteckige wie auch die ovale Form beispielweise in Übereinstimmung mit einem Seitenverhältnis des Kamerabildes gewählt sein können. Auch kann die Form des aktuellen Fokusbereichs jeweils aktuell für den Fokusbereich festgelegt werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild ein Übertragen der Bildpunkte mit einem kontinuierlichen Übergang zwischen dem erstem und dem zweiten Bildbereich. Ein kontinuierlicher Übergang bedeutet, dass keine sprunghafte Änderung der Auflösung des Umgebungsbildes zwischen dem ersten und dem zweiten Bildbereich erfolgt. Die Anpassung der Auflösung erfolgt also über einen Anpassungsbereich, in dem die Auflösung sich von der ersten Auflösung zu der zweiten Auflösung ändert. Dies erleichtert die Nutzung des Umgebungsbildes zur Weiterverarbeitung, beispielsweise um Objekte in dem Umgebungsbild mittels Neuronaler Netze zu erkennen und zu klassifizieren. Der Anpassungsbereich kann prinzipiell Teil des ersten Bildbereichs, des zweiten Bildbereichs oder beider Bildbereiche sein.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild, wobei Bildpunkte aus dem aktuellen Fokusbereich in einen mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes aus einem verbleibenden Bereich, der nicht in dem aktuellen Fokusbereich liegt, in einen damit korrespondierenden zweiten Bildbereich des Umgebungsbildes mit einer zweiten Auflösung übertragen werden, wobei die zweite Auflösung kleiner als die erste Auflösung ist, ein Übertragen der Bildpunkte in vertikaler Richtung mit einer geringeren Auflösung als in einer horizontalen Richtung. Es erfolgt also eine nichtlineare Übertragung der Bildpunkte des Kamerabildes in das Umgebungsbild. Die nichtlineare Übertragung der Bildpunkte des Kamerabildes in das Umgebungsbild kann beispielsweise eine nichtlineare Kompression oder ein nichtlineares Downscaling bezogen auf die beiden Bildrichtungen, d.h. die vertikale Richtung und die horizontale Richtung umfassen. Insbesondere kann in der vertikalen Richtung eine nichtlineare Auflösung gewählt werden, wobei in einem mittleren Bereich, in dem sich typischerweise für das Fahrzeug relevante Objekte befinden, eine höhere Auflösung verwendet wird als in Randbereichen. Damit kann beispielsweise ein zusätzlicher Fokus in dem Umgebungsbild auf Bildbereiche gelegt werden, die typischerweise einen hohen Gehalt an relevanter Information enthalten, beispielsweise im Bereich eines „Horizonts“.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild ein Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes. Das Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes führt zu einer Bereitstellung des Umgebungsbildes mit einer gegenüber dem Kamerabild reduzierten Anzahl Bildpunkte. Das Bereitstellen des Umgebungsbildes mit einer reduzierten Auflösung ermöglicht eine anschließende Verarbeitung des Umgebungsbildes mit geringem Aufwand, d.h. geringen Verarbeitungsressourcen, so dass die Verarbeitung der Bilder auch in Embedded Systemen wie in Fahrunterstützungssystemen von Fahrzeugen ohne Weiteres erfolgen kann. Die reduzierte Auflösung kann dabei auf unterschiedliche Weise bereitgestellt werden, beispielsweise durch ein Durchführen einer Datenkompression beim Übertragen der Bildpunkte des Kamerabildes aus dem verbleibenden Bereich, der nicht in dem aktuellen Fokusbereich liegt, in den damit korrespondierenden zweiten Bildbereich des Umgebungsbildes. Eine einfache Kompression kann erreicht werden, indem mehrere Bildpunkte des Kamerabildes zu einem Bildpunkt des Umgebungsbildes zusammengefasst werden. Das Zusammenfassen von mehreren Bildpunkten kann dabei in beliebiger Weise erfolgen, wobei nicht nur vielfache eines Bildpunktes verwendet werden können. Beispielsweise können auch in einer Bildrichtung drei Bildpunkte des Kamerabildes für die Bestimmung von zwei Bildpunkten des Umgebungsbildes verwendet werden. Alternativ zu dem Zusammenfassen von Bildpunkten können auch einzelne Bildpunkte des Kamerabildes als Bildpunkte des Umgebungsbildes übernommen werden. Nicht übernommene Bildpunkte werden dabei vernachlässigt. Vorzugsweise wird beim Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes, der Fokusbereich ohne Änderung der Auflösung übernommen. Dadurch kann von der Fahrzeugkamera bereitgestellte Bildinformation des Fokusbereichs vollständig genutzt werden, während gleichzeitig das Umgebungsbild insgesamt effizient und schnell verarbeitet werden kann.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild ein Reduzieren der Auflösung von dem aktuellen Fokusbereich des Kamerabildes zu dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes. Es gelten prinzipiell die gleichen Ausführungen wie in Bezug auf das Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes. Allerdings sind die beiden Reduzierungen der Auflösung prinzipiell unabhängig voneinander. Um eine verbesserte Erkennung von Detail in dem aktuellen Fokusbereich durchführen zu können, muss die zweite Auflösung kleiner als die erste Auflösung sein. Es erfolgt somit beispielsweise ein Durchführen einer Datenkompression beim Übertragen der Bildpunkte des Kamerabildes in den ersten und zweiten Bildbereich des Umgebungsbildes, wobei die Kompression in dem Fokusbereich niedriger ist. Dadurch kann gegenüber lediglich einem Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes, das Umgebungsbild insgesamt mit einer weiter reduzierten Datenmenge bereitgestellt werden, wodurch eine besonders schnelle Verarbeitung des Umgebungsbildes ermöglicht wird.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild ein Erhöhen der Auflösung von dem aktuellen Fokusbereich des Kamerabildes zu dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes. Es kann also auch ein Umgebungsbild bereitgestellt werden, das beispielsweise die gleiche Anzahl Bildpunkte aufweist wie das Kamerabild, wobei aber in dem Fokusbereich die Auflösung gegenüber dem Kamerabild erhöht ist. Auch kann ein Erhöhen der Auflösung von dem aktuellen Fokusbereich des Kamerabildes zu dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes kombiniert werden mit einem Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes. Es erfolgt also einerseits eine Reduktion der Bilddaten des Kamerabildes insgesamt und andererseits eine Vergrößerung des Fokusbereichs, so dass insbesondere entfernte Objekte gut wahrgenommen werden können. Prinzipiell ist eine Verwendung einer Fahrzeugkamera mit einer höheren Auflösung, wobei dann die Auflösung von dem aktuellen Fokusbereich des Kamerabildes zu dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes nicht erhöht werden muss, und dann ggf. ein Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes zu bevorzugen, da dies insgesamt geringere Ressourcen erfordert. Zum Erhöhen der Auflösung sind verschiedene mathematische Verfahren bekannt, um die Auflösung von dem aktuellen Fokusbereich zu dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes zu erhöhen.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild das Übertragen der Bildpunkte des Kamerabildes in das Umgebungsbild basierend auf einer Übertragungsvorschrift in einer Nachschlagetabelle für unterschiedlich festgelegte Fokusbereiche. Die Nachschlagetabelle, auch als Look-up table bezeichnet, kann eine Zuordnung von Bildpunkten des Kamerabildes zu dem Umgebungsbild enthalten, um das Umgebungsbild auf besonders einfache Weise bereitzustellen. Insbesondere für einen Einsatz in Steuerungseinheiten von Fahrzeugen ermöglicht die Verwendung der Nachschlagetabelle eine sehr effiziente Methode zur Bereitstellung des Umgebungsbildes. Die Nachschlagetabelle kann somit als zweidimensionale Matrix ausgeführt sein, welche jedem Bildpunkt des Umgebungsbildes, das eine geringere Auflösung als das Kamerabild aufweist, einen Bildpunkt des Kamerabildes zuordnet. Bei einer Auflösung von einem Megapixel und einer Kompression von 2,5 kann eine solche zweidimensionale Matrix beispielsweise etwa 1.500 Einträge aufweisen, während eine Entsprechende Berechnung etwa 400.000 Rechenschritte erfordert. Die Verwendung der Nachschlagetabelle ermöglicht beispielsweise eine einfache Änderung des aktuellen Fokusbereichs, indem leidglich ein Zeiger auf eine Position in der Nachschlagetabelle geändert wird, und somit eine andere zweidimensionale Matrix ausgewählt werden kann. Entsprechend vordefinierte Nachschlagetabellen sind für jeweils einen Fokusbereich vordefiniert, so dass abhängig von einer Anzahl möglicher Fokusbereiche eine entsprechende Anzahl zweidimensionaler Matrizen erforderlich ist, um jeweils das Umgebungsbild bereitstellen zu können. Die Matrizen können vordefiniert sein, so dass sie nicht von der Bildeinheit selber erstellt werden müssen.
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.
Es zeigt

1 eine schematische Ansicht eines originalen Kamerabildes im Vergleich mit einem Umgebungsbild mit linearen Downscaling und nichtlinearem Downscaling aus dem Stand der Technik,
2 ein Fahrzeug mit einer Bildeinheit mit vier Fahrzeugkameras und einer über einen Datenbus damit verbundenen Steuerungseinheit gemäß einer ersten, bevorzugten Ausführungsform,
3 ein beispielhaftes Kamerabild einer Seitenkamera des Fahrzeugs aus 2 mit drei unterschiedlichen Umgebungsbildern basierend auf drei unterschiedlich gewählten aktuellen Fokusbereichen in Übereinstimmung mit der ersten Ausführungsform,
4 ein beispielhaftes Kamerabild einer Frontkamera des Fahrzeugs aus 2 mit drei unterschiedlichen Umgebungsbildern basierend auf drei unterschiedlich gewählten aktuellen Fokusbereichen in Übereinstimmung mit der ersten Ausführungsform,
5 ein beispielhaftes generisches Kamerabild einer Fahrzeugkamera des Fahrzeugs aus 2 mit einem Gitternetz, das basierend auf drei unterschiedlich gewählten aktuellen Fokusbereichen in drei unterschiedliche Umgebungsbilder übertragen wurde, in Übereinstimmung mit der ersten Ausführungsform,
6 eine beispielhafte Darstellung von drei unterschiedlichen Umgebungsbildern, die ausgehend von einem Kamerabild einer Frontkamera des Fahrzeugs aus 2 basierend auf drei unterschiedlich gewählten aktuellen Fokusbereichen bereitgestellt wurden, in Übereinstimmung mit der ersten Ausführungsform,
7 eine Tabelle mit verschiedenen Fahrzeugkameras aufgetragen über mögliche Bewegungsrichtungen des Fahrzeugs, wobei jeweils eine Position des aktuellen Fokusbereichs für Kombinationen aus Fahrzeugkamera und Bewegungsrichtung des Fahrzeugs angegeben ist, und
8 ein Ablaufdiagramm eines Verfahrens zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera des Fahrzeugs aus 2 zur Überwachung einer Umgebung des Fahrzeugs, wobei das Kamerabild einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs, gemäß der ersten Ausführungsform.

Die 1 zeigt ein Fahrzeug 10 mit einer Bildeinheit 12 gemäß einer ersten, bevorzugten Ausführungsform.
Die Bildeinheit 12 umfasst eine Mehrzahl Fahrzeugkameras 14, 16, 18, 20 zur Bereitstellung jeweils eines Kamerabildes 30 mit einem Kamerabildbereich und mit einer Kameraauflösung, und eine Steuerungseinheit 22, die über einen Datenbus 24 mit den Fahrzeugkameras 14, 16, 18, 20 verbunden ist. Die Steuerungseinheit 22 empfängt die Kamerabilder 30 der verschiedenen Fahrzeugkameras 14, 16, 18, 20 über den Datenbus 24. Die Kamerabilder 30 werden von den Fahrzeugkameras 14, 16, 18, 20 in diesem Ausführungsbeispiel mit einer jeweils identischen Kameraauflösung bereitgestellt. Die Kamerabilder 30 enthalten in diesem Ausführungsbeispiel jeweils Farbinformation im Format RGB.
Die Fahrzeugkameras 14, 16, 18, 20 sind an dem Fahrzeug 10 als Frontkamera 14 an einer Position vorne an dem Fahrzeug 10, als Heckkamera 16 an eine Position am Heck des Fahrzeugs 10, als rechte Seitenkamera 18 an einer Position an einer rechten Seite des Fahrzeugs 10 und als linke Seitenkamera 20 an einer Position an einer linken Seite des Fahrzeugs 10 ausgeführt bezogen auf eine Vorwärtsfahrtrichtung 26 des Fahrzeugs 10.
Die Fahrzeugkameras 14, 16, 18, 20 sind in diesem Ausführungsbeispiel als Weitwinkelkameras oder insbesondere als Fischaugenkameras ausgeführt und weisen jeweils einen Kamerabildbereich mit einem Winkelbereich von über 160° bis hin zu 180° als Kamerabildbereich auf. Bei der Nutzung von Fischaugenkameras als Fahrzeugkameras 14, 16, 18, 20 werden in der Bildeinheit 12 Korrekturen durchgeführt, um Verzerrungen der Kamerabilder 30 basierend auf den speziellen optischen Eigenschaften der Fischaugenkameras auszugleichen. Die vier Fahrzeugkameras 14, 16, 18, 20 ermöglichen gemeinsam eine vollständige Überwachung einer Umgebung 28 um das Fahrzeug 10 mit einem Winkelbereich von 360°.
Die Bildeinheit 12 ist ausgeführt, das nachstehend im Detail beschriebene Verfahren zum Bereitstellen eines Umgebungsbildes 36 basierend auf einem jeweiligen Kamerabild 30 für die Fahrzeugkameras 14, 16, 18, 20 durchzuführen. In diesem Ausführungsbeispiel führt die Steuerungseinheit 22 eine parallele Verarbeitung der von den Fahrzeugkameras 14, 16, 18, 20 bereitgestellten Kamerabilder 30 durch, um die jeweiligen Umgebungsbilder 36 bereitzustellen.
Die Umgebungsbilder 36 werden von einem hier nicht dargestellten Fahrunterstützungssystem des Fahrzeugs 10 zur Überwachung der Umgebung 28 des Fahrzeugs 10 für eine weitere Verarbeitung verwendet. Das Fahrunterstützungssystem umfasst die Bildeinheit 12 und führt eine Fahrunterstützungsfunktion basierend auf der Überwachung der Umgebung 28 des Fahrzeugs 10 aus. Die weitere Verarbeitung betrifft beispielsweise einen Computervision-Algorithmus und/oder Lernverfahren tiefer neuronaler Netzwerke (Deep Learning), beispielsweise mittels eines konvolutionalen neuronalen Netzes (Convolutional Neural Network - CNN). Diese Verarbeitung erfolgt insbesondere auf speziell eingebetteten Plattformen oder auf so genannten digitalen Signalprozessoren (Digital Signal Processor - DSP) mit einer limitierten Rechenkapazität innerhalb des Fahrzeugs 10.
Nachstehend wird das Verfahren zum Bereitstellen eines Umgebungsbildes 36 basierend auf einem Kamerabild 30 der jeweiligen Fahrzeugkameras 14, 16, 18, 20 des Fahrzeugs 10, das als Ablaufdiagramm in 8 dargestellt ist, beschrieben. Das Verfahren wird mit der Bildeinheit 12 des Fahrzeugs 10 aus 2 durchgeführt. Das Verfahren wird für jede der Fahrzeugkameras 14, 16, 18, 20 des Fahrzeugs 10 individuell durchgeführt, d.h. vor einer möglichen Fusion von Sensordaten der Fahrzeugkameras 14, 16, 18, 20 des Fahrzeugs 10. Das Verfahren wird durchgeführt, um die Umgebungsbilder 36 der vier Fahrzeugkameras 14, 16, 18, 20 zur Überwachung einer Umgebung 28 des Fahrzeugs 10 bereitzustellen für eine weitere Verarbeitung, insbesondere durch das Fahrunterstützungssystem des Fahrzeugs 10.
Das Verfahren beginnt mit Schritt S100, der ein Bestimmen einer jeweiligen Position der verschiedenen Fahrzeugkameras 14, 16, 18, 20 an dem Fahrzeug 10 umfasst. Entsprechend werden für die Frontkamera 14 eine Position vorne an dem Fahrzeug 10, für die Heckkamera 16 eine Position am Heck des Fahrzeugs 10, für die rechte Seitenkamera 18 eine Position an einer rechten Seite des Fahrzeugs 10 und für die linke Seitenkamera 20 eine Position an einer linken Seite des Fahrzeugs 10 bestimmt.
Schritt S110 betrifft ein Erfassen von aktuellen Bewegungsparametern 44 des Fahrzeugs 10. Die Bewegungsparameter 44 umfassen in diesem Ausführungsbeispiel eine aktuelle Bewegungsrichtung 44 des Fahrzeugs 10 sowie eine Bewegungsgeschwindigkeit des Fahrzeugs 10. Die Bewegungsparameter 44 werden in dem ersten Ausführungsbeispiel durch Odometrieinformation des Fahrzeugs 10 erfasst werden. Dazu werden ein Lenkeinschlag des Fahrzeugs 10 mit einem Lenkwinkelsensor und eine Radumdrehung eines Rades des Fahrzeugs 10 mit einem entsprechenden Umdrehungssensor erfasst.
In einem alternativen Ausführungsbeispiel werden die Bewegungsparameter 44 basierend auf Positionsinformation eines globalen Navigationssatellitensystem (GNSS) erfasst.
Schritt S120 betrifft ein Festlegen eines aktuellen Fokusbereichs 32 innerhalb des Kamerabildes 30 basierend auf der Position der Fahrzeugkamera 14, 16, 18, 20 an dem Fahrzeug 20 und den aktuellen Bewegungsparametern 44. Dazu wird der aktuelle Fokusbereich 32 aus einer Mehrzahl vorgegebener Fokusbereiche 32 basierend auf den zuvor erfassten Bewegungsparametern 44 ausgewählt. Die vorgegebenen Fokusbereiche 32 weisen unterschiedliche Position in einer horizontalen Richtung auf und umfassen jeweils einen rechten Fokusbereich 32 an einem rechten Rand des Kamerabildes 30, einen mittleren Fokusbereich 32 in einer Mitte des Kamerabildes 30 oder einen linken Fokusbereich 32 an einem linken Rand des Kamerabildes 30. Die vorgegebenen Fokusbereiche 32 weisen jeweils eine feste, identische Größe und eine ebenfalls identische, ovale Form auf. Die vorgegebenen Fokusbereiche 32 sind außerdem in vertikaler Richtung auf einer Linie, die oftmals auch als „Horizont“ bezeichnet wird, d.h. eine Linie, welche die Erde von dem Himmel abgrenzt, angeordnet.
Dies ist in generischer Weise in 5 dargestellt. 5a) zeigt ein beispielhaftes Kamerabild 30 mit einem gleichmäßigen Gitterraster. Die mit dem jeweils als aktuelle Fokusbereiche 32 ausgewählten ersten Bildbereiche 40 sind in den 5b), 5c) und 5d) mit ihrem jeweiligen Fokuspunkt 38 für das bereitgestellt Umgebungsbild 36 in unterschiedlichen Position in der horizontalen Richtung dargestellt, wobei 5b) einen mit einem mittleren Fokusbereich 32 korrespondierenden ersten Bildbereich 40 in einer Mitte des Umgebungsbildes 36 zeigt, 5c) einen mit einem linken Fokusbereich 32 korrespondierenden ersten Bildbereich 40 an einem linken Rand des Umgebungsbildes 36 zeigt, und 5d) einen mit einem rechten Fokusbereich 32 korrespondierenden ersten Bildbereich 40 an einem rechten Rand des Umgebungsbildes 36 zeigt. Die ersten Bildbereiche 40 weisen in Übereinstimmung mit den vorgegebenen Fokusbereichen 32 jeweils eine feste, identische Größe und eine ebenfalls identische, ovale Form auf. Die ersten Bildbereiche 40 sind in Übereinstimmung mit den vorgegebenen Fokusbereichen 32 außerdem in vertikaler Richtung auf einer Linie angeordnet.
Das Festlegen des aktuellen Fokusbereichs 32 erfolgt dabei für die unterschiedlichen Fahrzeugkameras 14, 16, 18, 20 auf unterschiedliche Weise, wie in der Tabelle in 7 abhängig von der Bewegungsrichtung 44 beispielhaft dargestellt ist. In der Tabelle wird eine gleichmäßige Bewegungsgeschwindigkeit vorausgesetzt, so dass die Bewegungsgeschwindigkeit zur Unterscheidung vernachlässigt wird. Prinzipiell kann die Bewegungsgeschwindigkeit als Bewegungsparameter beispielsweise unterhalb einer Grenzgeschwindigkeit vernachlässigt werden, so dass der aktuelle Fokusbereich 32 beispielsweise in einem Stadtverkehr mit einer Bewegungsgeschwindigkeit von beispielsweise bis zu 50 km/h oder bis zu 60 km/h lediglich basierend auf der Bewegungsrichtung 44 und der Position der jeweiligen Fahrzeugkamera 14, 16, 18, 20 an dem Fahrzeug 10 festgelegt wird.
Dabei ergibt sich beispielsweise für die Frontkamera 14, wie unter zusätzlichem Bezug auf 4 erläutert wird, dass beim Fahren vorwärts (geradeaus) und rückwärts (geradeaus) der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Beim Fahren nach rechts wird der rechte Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt, während beim Fahren nach links der linke Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Das Fahren nach rechts bzw. links umfasst dabei ebenfalls eine Richtungskomponente nach vorne oder nach hinten, d.h. die Bewegungsgeschwindigkeit des Fahrzeugs 10 ist größer oder kleiner Null. Die Auswahl des aktuellen Fokusbereichs 32 beim Fahren nach rechts bzw. links ist hier unabhängig von der Richtungskomponente nach vorne oder nach hinten.
Weiter ergibt sich für die Heckkamera 16, dass beim Fahren vorwärts (geradeaus) und rückwärts (geradeaus) der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Beim Fahren nach rechts wird der linke Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt, während beim Fahren nach links der rechte Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Auch hier umfasst das Fahren nach rechts bzw. links eine Richtungskomponente nach vorne oder nach hinten umfasst, d.h. die Bewegungsgeschwindigkeit des Fahrzeugs 10 ist größer oder kleiner Null. Die Auswahl des aktuellen Fokusbereichs 32 beim Fahren nach rechts bzw. links ist hier unabhängig von der Richtungskomponente nach vorne oder nach hinten.
Außerdem ergibt sich für die rechte Seitenkamera 18, wie unter zusätzlichem Bezug auf 3 erläutert wird, dass beim Fahren vorwärts (geradeaus) der linke Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Beim Fahren rückwärts (geradeaus) wird der rechte Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt. Beim Fahren nach rechts wird der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt. Auch für das Fahren nach links wird der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt.
Schließlich ergibt sich für die linke Seitenkamera 20, wie unter zusätzlichem Bezug auf 3 erläutert wird, dass beim Fahren vorwärts (geradeaus) der rechte Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Beim Fahren rückwärts (geradeaus) wird der linke Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt. Beim Fahren nach rechts wird der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt. Auch für das Fahren nach links wird der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt.
Auch für die beiden Seitenkameras 18, 20 gilt, dass das Fahren nach rechts bzw. links eine Richtungskomponente nach vorne oder nach hinten beinhaltet, d.h. die Bewegungsgeschwindigkeit des Fahrzeugs 10 ist größer oder kleiner Null. Die Auswahl des aktuellen Fokusbereichs 32 beim Fahren nach rechts bzw. links ist hier unabhängig von der Richtungskomponente nach vorne oder nach hinten.
Zusätzlich oder alternativ wird ausgehend von der Bewegungsgeschwindigkeit beispielsweise oberhalb einer Grenzgeschwindigkeit der aktuelle Fokusbereich 32 angepasst. Wie in 6 für die jeweiligen Umgebungsbilder 36 dargestellt ist, wird bei einem Fahren mit unterschiedlichen Bewegungsgeschwindigkeiten der aktuelle Fokusbereich 32 an die jeweils aktuelle Bewegungsgeschwindigkeit angepasst. So ist in 6a), die ein Fahren mit einer niedrigen Bewegungsgeschwindigkeit des Fahrzeugs 10 betrifft, der mit dem aktuellen Fokusbereich 32 korrespondierende erste Bildbereich 40 mit einer geringen Auflösung, d.h. mit einer hohen Kompression, dargestellt. Die Auflösung des ersten Bildbereichs 40 ist nur geringfügig größer als die Auflösung des mit dem verbleibenden Bereich 34 korrespondierenden zweiten Bildbereichs 42. Beim Fahren des Fahrzeugs 10 mit einer mittleren Bewegungsgeschwindigkeit, das in 6b) dargestellt ist, ist der mit dem aktuellen Fokusbereich 32 korrespondierende erste Bildbereich 40 mit einer mittleren Auflösung dargestellt, d.h. mit einer gegenüber dem Fahren mit einer niedrigen Bewegungsgeschwindigkeit erhöhten Auflösung. Der aktuelle Fokusbereich 32 wurde somit mit einer gegenüber dem Fahren mit einer niedrigen Geschwindigkeit mit einer niedrigeren Kompression auf den ersten Bildbereich 40 übertragen. Die Auflösung des ersten Bildbereichs 40 ist somit gegenüber dem Beispiel aus 6a) erhöht. Somit ist die Auflösung des ersten Bildbereichs 40 in 6b) gegenüber der Auflösung des mit dem verbleibenden Bereich 34 korrespondierenden zweiten Bildbereichs 42 erhöht. Ein in dem Umgebungsbild 36 gezeigtes Objekt 46, hier ein vorausfahrendes Fahrzeug, ist gegenüber der Darstellung in 6a) sichtbar vergrößert. Beim Fahren des Fahrzeugs 10 mit einer hohen Bewegungsgeschwindigkeit, das in 6c) dargestellt ist, ist der mit dem aktuellen Fokusbereich 32 korrespondierende erste Bildbereich 40 mit einer hohen Auflösung dargestellt, d.h. mit einer gegenüber dem Fahren mit einer mittleren Bewegungsgeschwindigkeit weiter erhöhten Auflösung. Der aktuelle Fokusbereich 32 wurde somit mit einer gegenüber dem Fahren mit einer mittleren Geschwindigkeit niedrigeren Kompression auf den ersten Bildbereich 40 übertragen. Die Auflösung des ersten Bildbereichs 40 ist somit gegenüber dem Beispiel aus 6b) weiter erhöht. Somit ist die Auflösung des ersten Bildbereichs 40 in 6c) auch gegenüber der Auflösung des mit dem verbleibenden Bereich 34 korrespondierenden zweiten Bildbereichs 42 weiter erhöht. Ein in dem Umgebungsbild 36 gezeigtes Objekt 46, hier ein vorausfahrendes Fahrzeug, ist gegenüber der Darstellung in 6b) sichtbar weiter vergrößert. Dadurch können Objekte 46 im Fernbereich das Fahrzeugs 10 innerhalb des aktuellen Fokusbereichs 32 des Kamerabildes 30 bereits in großer Entfernung erfasst werden. Dadurch wird unterschiedlichen Manövrierfähigkeiten des Fahrzeugs 10 bei hoher Bewegungsgeschwindigkeit, wobei nur eine geringe Änderung der Bewegungsrichtung 44 möglich ist, und bei niedriger Bewegungsgeschwindigkeit, wobei eine schnelle Änderung der Bewegungsrichtung 44 möglich ist, Rechnung getragen. Die Auflösung des zweiten Bildbereichs 42 ist in den in 6 dargestellten Umgebungsbildern 36 jeweils identisch gewählt, so dass die Umgebungsbilder 36 jeweils die gleiche Bildgröße aufweisen.
Schritt S130 betrifft ein Übertragen von Bildpunkten des Kamerabildes 30 in das Umgebungsbild 36, wobei Bildpunkte aus dem aktuellen Fokusbereich 32 in einen mit dem aktuellen Fokusbereich 32 korrespondierenden ersten Bildbereich 40 des Umgebungsbildes 36 mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes 30 aus einem verbleibenden Bereich 34, der nicht in dem aktuellen Fokusbereich 32 liegt, in einen damit korrespondierenden zweiten Bildbereich 42 des Umgebungsbildes 36 mit einer zweiten Auflösung übertragen werden.
Wie oben in Bezug auf das Festlegen des aktuellen Fokusbereichs 32 ausgeführt wurde, ist die zweite Auflösung jeweils kleiner als die erste Auflösung. Innerhalb dieser Vorgabe kann die Auflösung des ersten bzw. zweiten Bildbereichs 40, 42 unterschiedlich sein, abhängig von einer jeweils gewählten Art der Bereitstellung des jeweiligen Umgebungsbildes 36.
Für den aus den vorgegebenen Fokusbereichen 32 gewählten aktuellen Fokusbereich 32 wird ein korrespondierender Eintrag in einer Nachschlagetabelle 48 für unterschiedlich festgelegte Fokusbereiche 32 ausgewühlt. Die Nachschlagetabelle 48, auch als Look-up table bezeichnet, enthält eine Zuordnung von Bildpunkten des Kamerabildes 30 zu dem Umgebungsbild 36 basierend auf den verschiedenen möglichen Fokusbereichen 32. Dabei ist in der Nachschlagetabelle 48 für jeden möglichen Fokusbereich 32 eine Übertragungsvorschrift gespeichert, mit der die Bildpunkte des Kamerabildes 30 in das Umgebungsbild 36 übertragen werden. Die Nachschlagetabelle 48 umfasst somit mehrere zweidimensionale Matrizen, welche jeweils jedem Bildpunkt des Umgebungsbildes 30 einen Bildpunkt des Kamerabildes 30 zuordnet. Beim Ändern des aktuellen Fokusbereichs 32 wird ein Zeiger auf eine Position der entsprechenden Matrix in der Nachschlagetabelle 48 geändert.
Wie in der generischen Darstellung in 5 zu erkennen ist, erfolgt die Übertragung der Bildpunkte des Kamerabildes 30 in das jeweilige Umgebungsbild 36 mit einem kontinuierlichen Übergang zwischen dem erstem und dem zweiten Bildbereich 40, 42, d.h. ohne sprunghafte Änderung der Auflösung des Umgebungsbildes 36 zwischen dem ersten und dem zweiten Bildbereich 40, 42. Die Anpassung der Auflösung erfolgt also über einen Anpassungsbereich, in dem die Auflösung sich von der ersten Auflösung zu der zweiten Auflösung ändert. Der Anpassungsbereich, der in 5 nicht explizit dargestellt ist, ist hier Teil des zweiten Bildbereichs 42.
Zusätzlich ist in 5 zu erkennen, dass das Übertragen der Bildpunkte von dem Kamerabild 30 in das jeweilige Umgebungsbild 36 in vertikaler Richtung mit einer geringeren Auflösung als in einer horizontalen Richtung erfolgt. Es erfolgt also eine nichtlineare Übertragung der Bildpunkte des Kamerabildes 30 in das jeweilige Umgebungsbild 36. Außerdem ist in der vertikalen Richtung eine nichtlineare Auflösung gewählt, wobei in einem mittleren Bereich, in dem der aktuelle Fokusbereich 32 festgelegt werden kann, eine höhere Auflösung verwendet wird als in Randbereichen.
Insgesamt wird das Umgebungsbild 36 jeweils mit einer gegenüber dem Kamerabild 30 reduzierten Auflösung bereitgestellt, wobei der mit dem verbleibenden Bereich 34 des Kamerabildes 30 korrespondierende zweite Bildbereich 42 eine geringere Auflösung als der mit dem aktuellen Fokusbereich 32 korrespondierende erste Bildbereich 40 aufweist.
Die oben beschriebenen Schritte S110 bis S130 werden vorliegend schleifenartig durchgeführt, um kontinuierlich Umgebungsbilder 36 zur weiteren Verarbeitung bereitzustellen.
Bezugszeichenliste

10: Fahrzeug
12: Bildeinheit
14: Fahrzeugkamera, Frontkamera
16: Fahrzeugkamera, Heckkamera
18: Fahrzeugkamera, Seitenkamera rechts
20: Fahrzeugkamera, Seitenkamera links
22: Steuerungseinheit
24: Datenbus
26: Vorwärtsfahrtrichtung
28: Umgebung
30: Kamerabild
32: Fokusbereich
34: verbleibender Bereich
36: Umgebungsbild
38: Fokuspunkt
40: erster Bildbereich
42: zweiter Bildbereich
44: Bewegungsrichtung, Bewegungsparameter
46: Objekt
48: Nachschlagetabelle, Look-up table

Claims

Verfahren zum Bereitstellen eines Umgebungsbildes (36) basierend auf einem Kamerabild (30) einer Fahrzeugkamera (14, 16, 18, 20) eines Fahrzeugs (10) zur Überwachung einer Umgebung (28) des Fahrzeugs (10), wobei das Kamerabild (30) einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs (10), umfassend die Schritte Bestimmen einer Position der Fahrzeugkamera (14, 16, 18, 20) an dem Fahrzeug (10), Erfassen wenigstens eines aktuellen Bewegungsparameters (44) des Fahrzeugs (10), Festlegen eines aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) basierend auf der Position der Fahrzeugkamera (14, 16, 18, 20) an dem Fahrzeug (10) und dem wenigstens einen aktuellen Bewegungsparameter (44), und Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36), wobei Bildpunkte aus dem aktuellen Fokusbereich (32) in einen mit dem aktuellen Fokusbereich (32) korrespondierenden ersten Bildbereich (40) des Umgebungsbildes (36) mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes (30) aus einem verbleibenden Bereich (34), der nicht in dem aktuellen Fokusbereich (32) liegt, in einen damit korrespondierenden zweiten Bildbereich (42) des Umgebungsbildes (36) mit einer zweiten Auflösung übertragen werden, wobei die zweite Auflösung kleiner als die erste Auflösung ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Erfassen wenigstens eines aktuellen Bewegungsparameters (44) des Fahrzeugs (10) ein Erfassen einer Bewegungsrichtung (44) des Fahrzeugs (10) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erfassen wenigstens eines aktuellen Bewegungsparameters (44) des Fahrzeugs (10) ein Erfassen einer aktuellen Bewegungsgeschwindigkeit des Fahrzeugs (10) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche 2 oder 3, dadurch gekennzeichnet, dass das Erfassen wenigstens eines aktuellen Bewegungsparameters (44) des Fahrzeugs (10) ein Erfassen einer Positionsänderung von Objekten (46) zwischen Kamerabildern (30) oder Umgebungsbildern (36), die mit einer zeitlichen Verzögerung bereitgestellt wurden, und ein Bestimmen der aktuellen Bewegungsrichtung (44) und/oder der aktuellen Bewegungsgeschwindigkeit des Fahrzeugs (10) basierend auf der erfassten Positionsänderung der Objekte (46) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Festlegen eines aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) basierend auf der Position der Fahrzeugkamera (14, 16, 18, 20) an dem Fahrzeug (10) und dem wenigstens einen aktuellen Bewegungsparameter (44) ein Auswählen des aktuellen Fokusbereichs (32) aus einer Mehrzahl vorgegebener Fokusbereiche (32) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Festlegen eines aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) basierend auf der Position der Fahrzeugkamera (14, 16, 18, 20) an dem Fahrzeug (10) und dem wenigstens einen aktuellen Bewegungsparameter (44) ein Festlegen einer horizontalen Position des aktuellen Fokusbereichs (32) bezogen auf das Kamerabild (30) umfasst, insbesondere als einen rechten Fokusbereich (32), einen mittleren Fokusbereich (32) oder einen linken Fokusbereich (32).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Festlegen eines aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) basierend auf der Position der Fahrzeugkamera (14, 16, 18, 20) an dem Fahrzeug (10) und dem wenigstens einen aktuellen Bewegungsparameter (44) ein Festlegen einer Größe des aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36) ein Übertragen der Bildpunkte mit einem kontinuierlichen Übergang zwischen dem erstem und dem zweiten Bildbereich (40, 42) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36), wobei Bildpunkte aus dem aktuellen Fokusbereich (32) in einen mit dem aktuellen Fokusbereich (32) korrespondierenden ersten Bildbereich (40) des Umgebungsbildes (36) mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes (30) aus einem verbleibenden Bereich (34), der nicht in dem aktuellen Fokusbereich (32) liegt, in einen damit korrespondierenden zweiten Bildbereich (42) des Umgebungsbildes (36) mit einer zweiten Auflösung übertragen werden, wobei die zweite Auflösung kleiner als die erste Auflösung ist, ein Übertragen der Bildpunkte in vertikaler Richtung mit einer geringeren Auflösung als in einer horizontalen Richtung umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36) ein Reduzieren der Auflösung von dem verbleibenden Bereich (34) des Kamerabildes (30), der nicht in dem aktuellen Fokusbereich (32) liegt, zu dem damit korrespondierenden zweiten Bildbereich (42) des Umgebungsbildes (36) umfasst.
Verfahren nach dem vorhergehenden Anspruch 9, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36) ein Reduzieren der Auflösung von dem aktuellen Fokusbereich (32) des Kamerabildes (30) zu dem mit dem aktuellen Fokusbereich (32) korrespondierenden ersten Bildbereich (40) des Umgebungsbildes (36) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36) ein Erhöhen der Auflösung von dem aktuellen Fokusbereich (32) des Kamerabildes (30) zu dem mit dem aktuellen Fokusbereich (32) korrespondierenden ersten Bildbereich (40) des Umgebungsbildes (36) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36) das Übertragen der Bildpunkte des Kamerabildes (30) in das Umgebungsbild (36) basierend auf einer Übertragungsvorschrift in einer Nachschlagetabelle (48) für unterschiedlich festgelegte Fokusbereiche (32) umfasst.
Bildeinheit (12) zum Bereitstellen eines Umgebungsbildes (36) basierend auf einem Kamerabild (30) einer Fahrzeugkamera (14, 16, 18, 20) eines Fahrzeugs (10) zur Überwachung einer Umgebung (28) des Fahrzeugs (10), für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs (10), umfassend wenigstens eine Fahrzeugkamera (14, 16, 18, 20) zur Bereitstellung des Kamerabildes (30) mit einem Kamerabildbereich und mit einer Kameraauflösung, und einer Steuerungseinheit (22), die über einen Datenbus (24) mit der wenigstens einen Fahrzeugkamera (14, 16, 18, 20) verbunden ist, und das jeweilige Kamerabild (30) über den Datenbus (24) empfängt, wobei die Bildeinheit (12) ausgeführt ist, das Verfahren zum Bereitstellen eines Umgebungsbildes (36) nach einem der vorhergehenden Ansprüche 1 bis 13 für die wenigstens eine Fahrzeugkamera (14, 16, 18, 20) durchzuführen.
Fahrunterstützungssystem für ein Fahrzeug (10) zur Bereitstellung wenigstens einer Fahrunterstützungsfunktion basierend auf einer Überwachung einer Umgebung (28) des Fahrzeugs (10), umfassend wenigstens eine Bildeinheit (12) nach dem vorhergehenden Anspruch 14.