-
Die Erfindung betrifft ein Verfahren zur Entzerrung von Bildern, wobei die Bilder auf eine virtuelle Bodenebene projiziert werden.
-
Aus dem Stand der Technik sind allgemein Bilderfassungseinheiten bekannt, welche Bilder, beispielsweise mittels zumindest eines eine CMOS-Sensor-Technik (CMOS = Complementary metal-oxide-semiconductor) verwendenden Bildwandlers, zeilen- und/oder spaltenweise erfassen. Bei sich relativ zur Bilderfassungseinheit bewegenden Objekten kann es bei einer solchen Erfassung zu Verzerrungen in den aufgenommenen Bildern kommen, welche auch als Rolling-Shutter-Effekt bezeichnet werden. Zur Vermeidung dieses Rolling-Shutter-Effekts sind so genannte Global-Shutter-CMOS-Sensoren bekannt, welche das Bild nicht zeilen- und spaltenweise, sondern vollständig erfassen.
-
Weiterhin sind an Fahrzeugen angeordnete Bilderfassungseinheiten bekannt, deren Erfassungsbereich derart ausgebildet ist, dass in erfassten Bildern zumindest teilweise ein Boden dargestellt ist, auf welchem sich das Fahrzeug befindet. Mittels solcher Bilderfassungseinheiten erfasste Bilder werden auf eine virtuelle Bodenebene projiziert und entzerrt.
-
Die unveröffentlichte
DE 10 2015 002 840.5 beschreibt ein Verfahren zur Selbstlokalisation eines Fahrzeugs, wobei zeitlich aufeinanderfolgend Bilder erfasst, verarbeitet und gespeichert werden und eine aktuelle Position des Fahrzeugs anhand von hinterlegten und den Bildern zugeordneten Positionen ermittelt wird. Mittels zumindest einer Bilderfassungseinheit werden entlang einer ersten Trajektorie Bilder von einem überfahrenen Boden aufgenommen und positionsbezogen gespeichert. Bei einer Wiederbefahrung der ersten Trajektorie werden momentan aufgenommene Bilder mit den gespeicherten Bildern verglichen und anhand des Vergleichs werden bzw. wird die aktuelle Position und/oder eine aktuelle Ausrichtung des Fahrzeugs ermittelt. Weiterhin wird ein Verfahren zur Entzerrung solcher Bilder beschrieben, in welchem die aufgenommenen Bilder mittels einer Bodenprojektion entzerrt werden. In dieser Bodenprojektion werden die Bilder eindeutig zweidimensional als Bodenprojektionsflächen abgebildet.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren und eine verbesserte Vorrichtung zur Entzerrung von Bildern sowie ein verbessertes Fahrzeug anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale, hinsichtlich der Vorrichtung durch die im Anspruch 4 angegebenen Merkmale und hinsichtlich des Fahrzeugs durch die im Anspruch 5 angegebenen Merkmale gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem Verfahren zur Entzerrung von Bildern werden die Bilder auf eine virtuelle Bodenebene projiziert. Erfindungsgemäß werden relative Bewegungen zwischen zumindest einer zur Erfassung der Bilder vorgesehenen, an einem Fahrzeug angeordneten Bilderfassungseinheit und einer Umgebung der Bilderfassungseinheit und einer zeilen- oder spaltenweisen Belichtungssteuerung der Bilderfassungseinheit hervorgerufene Verzerrungen der projizierten Bilder in Abhängigkeit einer Fahrzeuggeschwindigkeit mittels Werten zumindest einer Lookup-Tabelle und/oder mittels einer Bildkorrektur derart korrigiert und entzerrt, dass in Abhängigkeit der zeilen- oder spaltenweisen Belichtungssteuerung eine Verzerrung von Bildzeilen oder Bildspalten der projizierten Bilder kompensiert wird.
-
Mittels des Verfahrens ist es in besonders vorteilhafter Weise möglich, bei einer Relativbewegung zwischen Bilderfassungseinheit und deren Umgebung und zeilen- oder spaltenweiser Belichtungssteuerung die erfassten und auf die Bodenebene projizierten Bilder in einfacher und zuverlässiger Weise zu entzerren. Insbesondere gegenüber so genannten Global-Shutter-CMOS-Sensoren kann bei einer Verwendung von die Bilder zeilen- und/oder spaltenweise erfassenden Bildsensoren, so genannter Rolling-Shutter-Sensoren, eine signifikante Kostenersparnis bei gleichzeitiger Verbesserung einer Messgenauigkeit auch bei hohen Relativgeschwindigkeiten zwischen Bilderfassungseinheit und deren Umgebung erreicht werden. Zusätzlich zeichnen sich die Rolling-Shutter-Sensoren gegenüber Global-Shutter-CMOS-Sensoren durch eine höhere Leistungsfähigkeit, verbesserte Belichtung und verbesserte Datenauslese aus.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch eine perspektivische Ansicht auf eine Unterseite eines Außenspiegels eines Fahrzeugs mit einer Kamera,
-
2 schematisch eine Draufsicht auf ein Fahrzeug und mittels in Außenspiegeln des Fahrzeugs angeordneter Kameras erfasste Bilder,
-
3 schematisch die erfassten Bilder gemäß 2 und unterschiedliche Belichtungsreihenfolgen der Bilder,
-
4 schematisch ein erfasstes Bild gemäß 2 und ein mittels einer Projektion des Bildes auf eine virtuelle Bodenebene erzeugtes und im Bereich der Bodenebene entzerrtes Bild,
-
5 schematisch das erfasste Bild und das im Bereich der Bodenebene entzerrte Bild gemäß 4 sowie Scanlinien bei einer Belichtung des Bildes,
-
6 schematisch ein mittels einer Projektion eines Bildes auf eine virtuelle Bodenebene erzeugtes und im Bereich der Bodenebene entzerrtes Bild und aus dem im Bereich der Bodenebene entzerrten Bild in Abhängigkeit einer Fahrzeuggeschwindigkeit erzeugte entzerrte Bilder mit einer kompensierten Verzerrung von Bildzeilen, und
-
7 schematisch ein mittels einer Projektion eines Bildes auf eine virtuelle Bodenebene erzeugtes und im Bereich der Bodenebene entzerrtes Bild und aus dem im Bereich der Bodenebene entzerrten Bild in Abhängigkeit einer Fahrzeuggeschwindigkeit erzeugte entzerrte Bilder mit einer durch Scherung kompensierten Verzerrung.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist eine perspektivische Ansicht eines Außenspiegels 1 eines in 2 gezeigten Fahrzeugs 2 dargestellt, wobei an einer Unterseite des Außenspiegels 1 eine in Richtung einer Fahrbahn gerichtete und als Kamera ausgebildete Bilderfassungseinheit 3 angeordnet ist. Der Außenspiegel 1 ist dabei mit der Bilderfassungseinheit 3 an einer Längsseite des Fahrzeugs 2 angeordnet. Die folgende Beschreibung zur 1 und den weiteren 2 bis 7 ist dabei nicht auf die im Außenspiegel 1 des Fahrzeugs 2 angeordnete Bilderfassungseinheit 3 beschränkt, sondern trifft analog auch auf andere am Fahrzeug 2 angeordnete, nicht näher dargestellte Bilderfassungseinheiten, beispielsweise Rückfahrkameras und Frontkameras, zu.
-
Die Bilderfassungseinheit 3 ist zur Erfassung einer Fahrzeugumgebung vorgesehen und Bestandteil einer nicht gezeigten Fahrerassistenzvorrichtung zur Fahrspurerkennung, zur Erfassung einer Fahrdynamik des Fahrzeugs 2 und/oder zur Unterstützung eines Fahrers bei einem Einparkvorgang. Bei einer Verwendung der Bilderfassungseinheit 3 zur Unterstützung des Fahrers bei einem Einparkvorgang sind mittels dieser insbesondere Bilddaten erzeugbar, welche zur Darstellung einer Fahrzeugumgebung aus einer Vogelperspektive, auch als Surroundview-Funktionalität bezeichnet, verwendet werden. Hierzu umfasst die Bilderfassungseinheit 3 in nicht näher dargestellter Weise ein als so genanntes Fischaugenobjektiv ausgebildetes Objektiv.
-
2 zeigt eine Draufsicht auf das Fahrzeug 2 und mittels in Außenspiegeln 1, 4 des Fahrzeugs 2 angeordneter Bilderfassungseinheiten 3, 5 erfasste Bilder B1, B2. Die im Außenspiegel 4 angeordnete Bilderfassungseinheit 5 und ein Objektiv derselben entsprechen hinsichtlich ihrer Eigenschaften dabei insbesondere der in 1 beschrieben Bilderfassungseinheit 3 und deren Objektiv.
-
Aufgrund der Ausbildung der Objektive der Bilderfassungseinheiten 3, 5 als Fischaugenobjektiv weisen die Bilderfassungseinheiten 3, 5 einen verhältnismäßig großen Erfassungsbereich E1, E2 auf. Die Darstellungen der Fahrzeugumgebung in den erfassten Bildern B1, B2 sind jedoch aufgrund der optischen Eigenschaften der Fischaugenobjektive verzerrt.
-
Die Bilder B1, B2 zeigen dabei in verzerrter Weise die Fahrzeugumgebung mit jeweils einem Fahrbahnrand F im jeweiligen Erfassungsbereich E1, E2 der Bilderfassungseinheiten 3, 5, Abschnitte des Fahrzeugs 2 sowie Vorderräder 2.1, 2.2 und Hinterräder 2.3, 2.4 des Fahrzeugs 2.
-
Zur Entzerrung der Bilder B1, B2 umfasst das Fahrzeug 2 eine Bildverarbeitungseinheit 6.
-
In 3 sind die erfassten Bilder B1, B2 gemäß 2 und unterschiedliche Belichtungsrichtungen R1, R2 des Bildes B2 dargestellt. Diese Belichtungsrichtungen R1, R2 werden auch beim Bild B1 angewendet. Im Folgenden wird nur noch das Bild B2 betrachtet. Die Ausführungen treffen jedoch analog auch für das Bild B1 zu.
-
Die Bilderfassungseinheiten 3, 5 weisen jeweils in mehreren Spalten und Zeilen angeordnete Bildsensoren auf, welche als CMOS-Bildsensoren ausgebildet sind. Zur Erzeugung der Bilder B1, B2 werden die Bildsensoren zeilen- oder spaltenweise belichtet, was jeweils durch eine so genannte Scanlinie S1, S2 und die dargestellten Belichtungsrichtungen R1, R2 verdeutlicht wird.
-
4 zeigt das Bild B2 gemäß 2 und ein aus dem Bild B2 durch Projektion auf eine virtuelle Bodenebene erzeugtes projiziertes Bild PB.
-
Diese Projektion des Bildes B2 auf die virtuelle Bodenebene erfolgt in allgemein bekannter Weise unter Berücksichtigung von extrinsischen und intrinsischen Parametern der Bilderfassungseinheiten 3, 5, so dass das projizierte Bild PB im Bereich der Bodenebene entzerrt dargestellt ist. Dabei ist es besonders vorteilhaft, dass aufgrund der Anordnung der Bilderfassungseinheiten 3, 5 in den Außenspiegeln 1, 4 stets ein Abstand der Bilderfassungseinheiten 3, 5 zum relativ zu den Bilderfassungseinheiten 3, 5 statisch angeordneten Boden bekannt ist. Durch diese Entzerrung werden aus den optischen Eigenschaften resultierende Verzerrungen des Bildes B1 im Bereich der Bodenebene entzerrt. Das erzeugte projizierte Bild PB ist dabei sowohl in longitudinaler Richtung x als auch in lateraler Richtung y im Bereich der entzerrten Bodenebene metrisch.
-
Unter intrinsischen Parametern werden dabei interne Parameter der Bilderfassungseinheiten 3, 5, insbesondere Parameter des Objektivs der jeweiligen Bilderfassungseinheit 3, 5 und Parameter eines Bildsensors der jeweiligen Bilderfassungseinheit 3, 5 verstanden, welche beispielsweise einen Hauptpunkt, eine Brennweite, Aberrationen des Objektivs, radiale Verzeichnungen erster und höherer Ordnung, eine Bildpunkt- oder Pixelgröße, d. h. eine Bildauflösung, tangentiale Verzerrungen und weitere interne Parameter umfassen.
-
Unter extrinsischen Parametern der Bilderfassungseinheiten 3, 5 werden dabei so genannte Einbauparameter verstanden, welche eine Relation der Bilderfassungseinheiten 3, 5 zu deren Umgebung darstellen und in Abhängigkeit einer Anordnung der Bilderfassungseinheiten 3, 5 am oder im Fahrzeug 2 durch drei nicht näher dargestellte Raumkoordinaten und drei ebenfalls nicht näher dargestellte Richtungswinkel gekennzeichnet sind.
-
In 5 sind das erfasste Bild B2 und das im Bereich der Bodenebene entzerrte und auf diese projizierte Bild PB gemäß 4 sowie zu unterschiedlichen Zeitpunktpunkten die Scanlinie S1, S1', S1'' bei einer Belichtung des Bildes B2 dargestellt.
-
Bei einer Bewegung des Fahrzeugs 2 mit einer Fahrzeuggeschwindigkeit v mit einem Wert größer 0 werden die Bildzeilen entsprechend der Scanlinien S1, S1', S1'' zu unterschiedlichen Zeitpunkten belichtet und erfasst. Hierdurch ergeben sich Verzerrungen der Scanlinien S1, S1', S1'' in dem projizierten Bild PB, welche durch verzerrte projizierte Scanlinien PS1, PS1', PS1'' dargestellt sind.
-
Eine Entzerrung und/oder Korrektur dieser projizierten Scanlinien PS1, PS1', PS1'' erfolgt in Abhängigkeit der Fahrzeuggeschwindigkeit v mittels Werten zumindest einer Lookup-Tabelle und/oder mittels einer Bildkorrektur derart, dass in Abhängigkeit der zeilen- oder spaltenweisen Belichtungssteuerung eine Verzerrung der Bildzeilen oder Bildspalten der projizierten Bilder PB kompensiert wird.
-
6 zeigt das mittels der Projektion des Bildes B2 auf die virtuelle Bodenebene erzeugte und im Bereich der Bodenebene entzerrte und projizierte Bild PB und mehrere aus dem im Bereich der Bodenebene entzerrten Bild PB in Abhängigkeit einer Fahrzeuggeschwindigkeit erzeugte entzerrte Bilder EB1 bis EB3 mit einer kompensierten Verzerrung von Bildzeilen bei einer vertikalen Belichtung in Belichtungsrichtung R1.
-
Da bei einem Stillstand des Fahrzeugs 2 (Fahrzeuggeschwindigkeit v = 0) keine Relativgeschwindigkeit zwischen den Bilderfassungseinheit 3, 5 und deren Umgebung auftritt, ist keine Entzerrung der Bildzeilen bzw. projizierten Scanlinien PS1, PS1', PS1'' erforderlich. Das projizierte Bild PB ist metrisch.
-
Bewegt sich das Fahrzeug 2 entgegen der Belichtungsrichtung R1 (Fahrzeuggeschwindigkeit v > 0), werden die Bildzeilen entsprechend der Scanlinien S1, S1', S1'' zu unterschiedlichen Zeitpunkten belichtet und erfasst und es entstehen die verzerrten projizierten Scanlinien PS1, PS1', PS1''. Zur Entzerrung dieser projizierten Scanlinien PS1, PS1', PS1'' werden diese mittels Werten zumindest einer Lookup-Tabelle und/oder mittels einer Bildkorrektur derart korrigiert, dass das projizierte Bild PB in Abhängigkeit der Fahrzeuggeschwindigkeit v und der zeilenweisen Belichtungssteuerung in lateraler Richtung x gestaucht wird.
-
Bewegt sich das Fahrzeug 2 mit der Belichtungsrichtung R1 (Fahrzeuggeschwindigkeit v < 0), werden die Bildzeilen entsprechend der Scanlinien S1, S1', S1'' zu unterschiedlichen Zeitpunkten belichtet und erfasst und es entstehen die verzerrten projizierten Scanlinien PS1, PS1', PS1''. Zur Entzerrung dieser projizierten Scanlinien PS1, PS1', PS1'' werden diese mittels Werten zumindest einer Lookup-Tabelle und/oder mittels einer Bildkorrektur derart korrigiert, dass das projizierte Bild PB in Abhängigkeit der Fahrzeuggeschwindigkeit v und der zeilenweisen Belichtungssteuerung in lateraler Richtung x gestreckt wird.
-
Somit werden entzerrte Bilder EB1, EB2, EB3 erzeugt, welche einer Aufnahme ähneln oder gleichen, die mit einer Bilderfassungseinheit mit Global-Shutter-Technik erfasst wurde. Das heißt, die entzerrten Bilder EB4, EB5, EB6 sind metrisch.
-
In 7 ist das mittels der Projektion des Bildes B2 auf die virtuelle Bodenebene erzeugte und im Bereich der Bodenebene entzerrte und projizierte Bild PB und mehrere aus dem im Bereich der Bodenebene entzerrten Bild PB in Abhängigkeit einer Fahrzeuggeschwindigkeit erzeugte entzerrte Bilder EB4 bis EB6 mit einer kompensierten Verzerrung von Bildspalten bei einer horizontalen Belichtung in Belichtungsrichtung R2 dargestellt.
-
Da bei einem Stillstand des Fahrzeugs 2 (Fahrzeuggeschwindigkeit v = 0) keine Relativgeschwindigkeit zwischen den Bilderfassungseinheit 3, 5 und deren Umgebung auftritt, ist keine Entzerrung der Bildspalten bzw. nicht dargestellter projizierter Scanlinien erforderlich. Das projizierte Bild PB ist metrisch.
-
Bewegt sich das Fahrzeug 2 im Wesentlichen im rechten Winkel zur Belichtungsrichtung R2 mit der Fahrzeuggeschwindigkeit v > 0, werden die Bildspalten entsprechend in lateraler Richtung y nebeneinander angeordneter Scanlinien S2 zu unterschiedlichen Zeitpunkten belichtet und erfasst und es entstehen nicht gezeigte verzerrte projizierte Scanlinien. Zur Entzerrung dieser nicht gezeigten projizierten Scanlinien werden diese mittels Werten zumindest einer Lookup-Tabelle und/oder mittels einer Bildkorrektur derart korrigiert, dass das projizierte Bild PB in Abhängigkeit der Fahrzeuggeschwindigkeit v und der zeilenweisen Belichtungssteuerung in lateraler Richtung x geschert wird.
-
Bewegt sich das Fahrzeug 2 im Wesentlichen im rechten Winkel zur Belichtungsrichtung R2 mit der Fahrzeuggeschwindigkeit v < 0, werden die Bildspalten entsprechend in lateraler Richtung y nebeneinander angeordneter Scanlinien S2 zu unterschiedlichen Zeitpunkten belichtet und erfasst und es entstehen nicht gezeigte verzerrte projizierte Scanlinien. Zur Entzerrung dieser nicht gezeigten projizierten Scanlinien werden diese mittels Werten zumindest einer Lookup-Tabelle und/oder mittels einer Bildkorrektur derart korrigiert, dass das projizierte Bild PB in Abhängigkeit der Fahrzeuggeschwindigkeit v und der zeilenweisen Belichtungssteuerung in lateraler Richtung x, jedoch entgegengesetzt zum entzerrten Bild EB5, geschert wird.
-
Somit werden entzerrte Bilder EB4 bis EB6 erzeugt, welche einer Aufnahme ähneln oder gleichen, die mit einer Bilderfassungseinheit mit Global-Shutter-Technik erfasst wurde. Das heißt, die entzerrten Bilder EB4, EB5, EB6 sind metrisch.
-
Bezugszeichenliste
-
- 1
- Außenspiegel
- 2
- Fahrzeug
- 2.1
- Vorderrad
- 2.2
- Vorderrad
- 2.3
- Hinterrad
- 2.4
- Hinterrad
- 3
- Bilderfassungseinheit
- 4
- Außenspiegel
- 5
- Bilderfassungseinheit
- 6
- Bildverarbeitungseinheit
- B1, B2
- Bild
- EB1 bis EB6
- entzerrtes Bild
- E1, E2
- Erfassungsbereich
- F
- Fahrbahnrand
- PB
- projiziertes Bild
- PS1, PS1', PS1''
- projizierte Scanlinie
- R1, R2
- Belichtungsrichtung
- S1, S1', S1''
- Scanlinie
- S2
- Scanlinie
- v
- Fahrzeuggeschwindigkeit
- x
- Richtung
- y
- Richtung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-