DE102022207564A1

DE102022207564A1 - Verfahren zur Bestimmung des Nickwinkels einer Kamera

Info

Publication number: DE102022207564A1
Application number: DE102022207564.1A
Authority: DE
Inventors: Edonis Raci; Bleard Loshaj
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-07-25
Filing date: 2022-07-25
Publication date: 2024-01-25

Abstract

Der erfindungsgemäße Ansatz basiert auf der automatisierten Erkennung von bestimmten Objekten, wie z.B. Fahrzeugen, in den Bilddaten von mindestens vier aufeinanderfolgend erfassten Kamerabildern, insbesondere durch einem sogenannten Fahrzeugdetektor, der z.B. eine Bounding Box in Bildkoordinaten liefert. Mittels einem angenommenen Nickwinkel können so bestimmte Positionen der erkannten Objekte in Raumkoordinaten umgerechnet werden und Abstände (Differenzwerte) der Positionen bestimmt werden. Diese Entwicklung dieser Abstände kann nun mit einer Modellfunktion gefittet werden, wobei die Funktionsparameter eine Aussage darüber erlauben, ob der angenommene Nickwinkel einen Fehler aufweist. Durch eine Korrektur des angenommenen Nickwinkels kann iterativ ein Wert für den Nickwinkel ermittelt werden, der dem tatsächlichen Nickwinkel nahekommt.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung des Nickwinkels einer Kamera, insbesondere einer Mono-Kamera, wobei die Kamera stationär, insbesondere oberhalb einer Fahrbahn, angeordnet ist, und wobei eine Einbauhöhe und ein Rollwinkel der Kamera bekannt sind. Die Erfindung betrifft ferner ein Computerprogramm.
Stand der Technik
Mono-Kameras werden in verschiedenen Anwendungen eingesetzt, wie z.B. als Überwachungskameras, für intelligente Transportsysteme oder Personentracking. Ein künftiger Einsatzbereich ist die infrastrukturelle Unterstützung für autonome (AD) oder teilautomatisiert fahrende Fahrzeuge. Dabei stellen sich viele Fragen für einen optimalen Einsatz einer Mono Kamera, da die Bestimmung der räumlichen Position eines detektieren Objekts mit zusätzlichem Kalibrationsaufwand verbunden ist.
Für zukünftige Fahrerassistenzsysteme und automatisierte Fahrzeuge (AD) ist eine vernetzte Infrastruktur mit einer Überwachung des Fahrzeugumfelds durch stationäre Umfeldsensoren vorteilhaft. So erfasste Sensorinformationen können beispielsweise an ein automatisiertes Fahrzeug übertragen und für ein Umgebungsmodell und/oder in der Trajektorien-Planung verwendet werden. Es ist dabei notwendig, dass die Sensorinformationen hochgenau und zuverlässig sind. Dies erfordert eine entsprechend genaue Kalibrierung der beteiligten Umfeldsensoren und außerdem eine Erkennung, wann die Kalibrierung nicht mehr korrekt ist und neu durchgeführt werden sollte, um die benötigte Genauigkeit der Sensorinformation zu gewährleisten.
Einer der maßgebenden Parameter für die Bestimmung der räumlichen Position der detektierten Objekte aus zweidimensionalen Bildkoordinaten einer Monokamera ist der Nickwinkel der Monokamera, dessen Genauigkeit sich am stärksten in die Genauigkeit der 3D-Positionsbestimmung fortpflanzt. Schon Ungenauigkeiten von ungefähr 1/10 Grad können sich als ein Fehler in einem Bereich bis zu 20 Metern auswirken, in Abhängigkeit des Abstands des Objekts zu der Monokamera.
Typischerweise werden alle extrinsischen Kalibrationsparameter einer bestimmten stationären Monokamera, inklusive dem Nickwinkel, manuell oder mittels hochpräziser Sensorik über vorgemessene Referenzpunkte bestimmt. Dieser Prozess umfasst die Erstkalibration.
Ein üblicher Ansatz zur Bestimmung des Nickwinkels ist in zwei Schritten aufgeteilt. Der erste Schritt umfasst die Bestimmung von 3D-Koordinaten mehrerer (mindestens vier) Punkte (z.B. in einem erfassten Bild manuell oder automatisch detektierbare Strukturen oder Markierungen in der Welt). Der zweite Schritt umfasst die Markierung dieser (mindestens vier) Punkte in dem aufgenommenen Bild in Bildkoordinaten und die manuelle Eingabe der 3D-Koordinaten von dem jeweiligen Punkt. Danach wird ein Optimierungsalgorithmus angewendet, um unter anderem den Nickwinkel zu bestimmen. Alternative Ansätze verwenden gerade Strukturen im Bild und deren bekannte Längen in 3D-Koordinaten, um die Lage der (flach angenommenen) Grundebene zu bestimmen. Der Aufwand wird damit reduziert, aber manuelle Schritte sind dennoch Teil des Prozesses, da die Messung vor Ort, die manuelle Markierung der verwendeten Strukturen im Bild, und die manuelle Eingabe der 3D-Längen weiterhin notwendig ist. Die aufgelisteten Ansätze sind meistens mit hohen Kosten verursacht durch die Erstellung von Punkten und deren Vermessungen verbunden. Diese Punkte müssen auch stets sichtbar und Wetterbedingungen überlegen sein, was die Anforderungen sowie Kosten erheblich erhöhen kann.
Weiterhin, beispielsweise aufgrund von verschiedenen externen Einflüssen, wie z.B. Wind, Tieren, Vibrationen etc., kann es dazu kommen, dass die initial bestimmten Kalibrationsparameter ihre Gültigkeit verlieren was zu Fehlern in der 3D-Positionsbestimmung kommen kann. Um dieses Problem zu lösen, werden üblicherweise statische Objekte identifiziert und die relative Position zu diesen Objekten wird entsprechend über die Zeit beobachtet, um damit die Kalibrationsparameter korrigieren zu können. Ein derartiger Prozess wird häufig als Rekalibration bezeichnet.
Die Offenlegungsschrift DE 10 2020 101 718 A1 betrifft ein Verfahren und Vorrichtung zum Ermitteln der Ausrichtung einer Fläche eines Objekts in einem Erfassungsbereich vor oder hinter einem Fahrzeug, insbesondere einem Straßenfahrzeug, mittels einer Kamera des Fahrzeugs.
Die Offenlegungsschrift DE 11 2019 001 080 T5 betrifft Verfahren und Vorrichtungen zur Erfassung und Verfolgung, Objektklassifizierung und Gelände-Inferenz.
Die Offenlegungsschrift DE 10 2020 106 304 A1 betrifft ein Verfahren zum Steuern eines Fahrzeuges auf einem Betriebshof, eine Fahrt-Steuereinheit zur Durchführung des Verfahrens sowie ein Fahrzeug.
Die Offenlegungsschrift DE 10 2018 201 154 A1 betrifft ein Verfahren zur Kalibrierung von zumindest einem Sensor oder von Sensoren und/oder von zumindest einer Sensoranordnung und/oder von Sensoranordnungen.
Offenbarung der Erfindung
Als eine Aufgabe der Erfindung kann es daher angesehen werden, ein Verfahren zum Bestimmen des aktuellen Nickwinkels einer Kamera, insbesondere einer Mono-Kamera, anzugeben, das automatisiert abläuft und auf Bildverarbeitungsfunktionen der Kamera beruht. Die Kamera ist hierbei insbesondere oberhalb einer Fahrbahn, angeordnet, wobei eine Einbauhöhe und ein Rollwinkel der Kamera bekannt sind.
Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 gelöst.
Das vorgeschlagene Verfahren umfasst dazu zumindest die folgenden Schritte.
In einem ersten Schritt a) werden von der Kamera zu mindestens vier verschiedenen Zeitpunkten Bilddaten erfasst und die Position mindestens eines bestimmten Objektes wird in den Bilddaten ermittelt. Mit anderen Worten wird ein Objekt über die Zeit in den Bilddaten verfolgt und jeweils eine Position in Bildkoordinaten zu jedem der mindestens vier Zeitpunkte ermittelt. Hierbei sind die zeitlichen Abstände zwischen zwei aufeinanderfolgenden Zeitpunkten bevorzugt gleich.
In einem zweiten Schritt b) werden für jeden Zeitpunkt Referenzpunkte des bestimmten Objekts bzw. deren (2D-)Koordinaten, aus den jeweiligen Bilddaten ermittelt. Aus den Referenzpunkten bzw. deren 2D-Koordinaten erfolgt eine Berechnung von zugehörigen 3D-Koordinaten der Referenzpunkte, wobei für die Berechnung ein erster Nickwinkel der Kamera angenommen wird. Die Bildkoordinaten der Referenzpunkte werden also in ein angenommenes Weltkoordinatensystem überführt, das auf einem angenommenen Nickwinkel basiert. Der angenommene Nickwinkel kann hierbei initial beispielsweise auf einer zuvor erfolgten Kalibrierung und/oder Messung und/oder Schätzung basieren.
In einem dritten Schritt c) werden jeweils räumliche Abstände zwischen Referenzpunkten für aufeinanderfolgende Zeitpunkte mittels der 3D-Koordinaten berechnet. Bei genau vier Zeitpunkten ergeben sich demnach drei Abstandswerte.
In einem vierten Schritt d) werden Funktionsparameter einer Modellfunktion für die Bewegung des bestimmten Objekts unter Verwendung der in Schritt c) bestimmten räumlichen Abstände bestimmt. Hierbei können herkömmliche Methoden zur Kurvenanpassung verwendet werden, die aus dem Stand der Technik hinreichend bekannt sind.
In einem fünfte Schritt e) wird mindestens ein erster, nichtlinearer Funktionsparameters der Modellfunktion mit einem bestimmten Schwellenwert verglichen. Abhängig von dem Ergebnis des Vergleichs wird daraufhin der Wert des angenommenen Nickwinkels angepasst, beispielsweise wird der Wert des Nickwinkels vergrößert oder verkleinert, wenn der erste Funktionsparameter größer als de bestimmte Schwellenwert ist.
Die Erfindung ermöglicht die automatische Kalibrierung, Überwachung und Echtzeitkorrektur des Nickwinkels der Kamera. Der Kern dieser Erfindung liegt also insbesondere darin, eine generische Lösung für die Bestimmung des Nickwinkels zu ermöglichen. Dazu wird nur eine Objekterkennung in den Bilddaten benötigt, so dass keine zusätzliche manuelle Arbeit oder Nutzung von zusätzlicher Sensorik nötig ist.
Besonders bevorzugt werden die Schritte b) bis e) so lange wiederholt, bis der nichtlineare Funktionsparameter kleiner ist als der bestimmte Schwellenwert, so kann der angenommene Nickwinkel iterativ an den tatsächlichen Nickwinkel angenähert werden.
Der erfindungsgemäße Ansatz basiert auf der automatisierten Erkennung von bestimmten Objekten, wie z.B. Fahrzeugen, in den Bilddaten von mindestens vier aufeinanderfolgend erfassten Kamerabildern, insbesondere durch einem sogenannten Fahrzeugdetektor, der z.B. eine Bounding Box in Bildkoordinaten liefert. Mittels einem angenommenen Nickwinkel können so bestimmte Positionen der erkannten Objekte in 3D-Koordinaten (Raumkoordinaten umgerechnet werden und Abstände (Differenzwerte) der Positionen bestimmt werden. Diese Entwicklung dieser Abstände kann nun mit einer Modellfunktion gefittet werden, wobei die Funktionsparameter eine Aussage darüber erlauben, ob der angenommene Nickwinkel einen Fehler aufweist. Durch eine Korrektur des angenommenen Nickwinkels kann iterativ ein Wert für den Nickwinkel ermittelt werden, der dem tatsächlichen Nickwinkel nahekommt.
Gemäß der Erfindung wird demnach ein Verfahren vorgeschlagen, das ein Bestimmen, Überwachen und Korrigieren des Nickwinkels einer Mono-Kamera in Echtzeit (Rekalibration) mithilfe ausschließlich einer Fahrzeugdetektion vorsieht. Mit dem hier vorgeschlagenen Ansatz entfällt die Notwendigkeit für manuell oder mittels hochpräziser Sensorik vermessene Referenzpunkte, die für die initiale Bestimmung des Nickwinkels nötig sind. Gleichzeitig entfällt auch für die Rekalibration die Notwendigkeit für die Identifikation der statischen Punkte und somit auch die Notwendigkeit für zusätzliche Detektoren und Deskriptoren, die in bei bisherigen Ansätzen nötig sind. Der neue Ansatz nutzt nur die bestehende Funktion der Fahrzeugdetektion, wodurch der Rechenaufwand reduziert wird.
In einer bevorzugen Ausführung der Erfindung werden in Schritt b) des Verfahrens Referenzpunkte des bestimmten Objekts ermittelt, indem eine Bounding Box um das Objekt bestimmt wird und ein bestimmter Punkt der Bounding Box als Referenzpunkt ermittelt wird, beispielsweise kann der Mittelpunkt der unteren, bodennächsten Kante (untere Kante) der Bounding Box als Referenzpunkt bestimmt werden.
Die Modellfunktion ist bevorzugt ein Polynom zweiten Grades ist und der nichtlineare Funktionsparameter beschreibt den quadratischen Anteil des Polynoms zweiten Grades.
Der bestimmte Schwellenwert wird bevorzugt abhängig von einem Signal-Rausch-Verhältnis der Bilddaten und/oder einer Genauigkeit der Objekterkennung und/oder einer Reichweite der Kamera und/oder einer Genauigkeit eines Zeitgebers der Bildaufnahme der Kamera gewählt. Insbesondere die Reichweite der Kamera, also der sogenannte Field of View (FOV) ist hierbei ausschlaggeben für die Genauigkeit des Verfahrens. Bei einer hohen Reichweite können so bevorzugt möglichst weit auseinanderliegende Zeitpunkte für die mindestens vier Erfassungen von Bilddaten gewählt werden und damit größtmögliche räumliche Abstände für die Ermittlung der Funktionsparameter verwendet werden.
Bei dem erfassten Objekt handelt es sich bevorzugt um ein Fahrzeug, das sich im Wesentlichen parallel zu der optischen Achse der Kamera bewegt, insbesondere entlang einer geradlinigen Trajektorie.
Besonders bevorzugt wird angenommen, dass sich das Fahrzeug während dem Erfassen der Bilddaten mit konstanter Beschleunigung bewegt, beispielsweise mit gleichförmiger Geschwindigkeit (keine Beschleunigung). Dadurch ergeben sich vereinfachte Annahmen für die Modellfunktion. Wird beispielsweise eine gleichförmige Geschwindigkeit bzw. eine konstante und regelmäßige Beschleunigung angenommen, so lassen sich die Abstände der Referenzpunkte bzw. die Änderung dieser Abstände durch eine lineare Funktion in 3D-Koordinaten (Weltkoordinaten) beschreiben. Beispielsweise ergeben sich unter der Annahme von vier Messzeitpunkten t₀, t₁, t₂ und t₃ mit jeweils konstanten und gleichen Zeitabständen t₁ - t₀ = t₂ - t₁ = t₃ - t₂ = Δt, einer Anfangsgeschwindigkeit von vo und einer konstanten Beschleunigung von a ein zurückgelegter Weg s von $s (t_{i}) = v_{0} t + \frac{a}{2} t_{i}^{2}$
Wird nun t₀ = 0 gesetzt, ergeben sich t₁ = Δt, t₂ = 2Δt, t₃ = 3Δt.
Für die Abstände (Differenzen) Δs_ij zwischen je zwei aufeinanderfolgenden Messzeitpunkten t_i und t_j ergibt sich daraus für den Abstandsverlauf über den Zusammenhang $Δ s_{i j} - Δ s_{01} = a Δ t^{2} \cdot i$
mit i = 0, 1, 2, 3 für die jeweiligen Messzeitpunkte t₀, t₁, t₂ und t₃. Dieser Zusammenhang ist linear abhängig von i, da a und Δt konstant angenommen werden.
Weichen der in der Messung beobachtete Abstandsverlauf von diesem linearen Verhalten ab, so ist dies ein Hinweis auf einen falsch angenommenen Nickwinkel bei der Berechnung der Positionen der Referenzpunkte in Weltkoordinaten. Die Größe eines nichtlinearen Funktionsparameters einer Modellfunktion, die den Abstandsverlauf beschreibt, kann als Hinweis auf das Ausmaß der Abweichung des realen vom angenommenen Nickwinkel dienen. Der angenommene Nickwinkel kann nun vorteilhaft iterativ angepasst werden, bis ein möglichst gut angenähertes lineares Verhalten des Abstandsverlaufs beobachtet werden kann.
In einer bevorzugten Ausführung der Erfindung kann der Nickwinkel über einen längeren Zeitraum beobachtet werden, in dem ein erfindungsgemäßes Verfahren regelmäßig, beispielsweise in bestimmten Zeitintervallen, ausgeführt wird. So kann vorteilhaft festgestellt werden, wie sich der Nickwinkel über die Zeit verändert, beispielsweise kann eine periodische Vibration der Kamera erkannt werden oder eine fortschreitende Verdrehung der Kamera vorliegt. Durch Abgleich mit anderen Datenquellen, beispielsweise Wetterdaten oder Ereignisdaten können Rückschlüsse auf die Ursachen der Nickwinkeländerung gezogen werden.
Nach einem zweiten Aspekt wird ein Computerprogramm vorgeschlagen, das Befehle umfasst, die bei Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein erfindungsgemäßes Verfahren auszuführen.
Kurzbeschreibung der Figuren

1 zeigt ein Ablaufdiagramm eines Verfahrens nach einem möglichen Ausführungsbeispiel der Erfindung
2 zeigt einen Zeitstrahl
3 zeigt beispielhaft ein von einer Kamera bei der Durchführung eines Verfahrens nach einem weiteren möglichen Ausführungsbeispiel der Erfindung aufgenommenes Bild.
4 zeigt beispielhafte Messergebnisse für eine Abstandsmessung bei unterschiedlichen angenommenen Nickwinkeln einer Monokamera.

Unter Bezugnahme auf die beigefügten Figuren werden Ausführungsformen der Erfindung im Detail beschrieben.
Bevorzugte Ausführungen der Erfindung
In der nachfolgenden Beschreibung der Ausführungsbeispiele der Erfindung werden gleiche Elemente mit gleichen Bezugszeichen bezeichnet, wobei auf eine wiederholte Beschreibung dieser Elemente gegebenenfalls verzichtet wird. Die Figuren stellen den Gegenstand der Erfindung nur schematisch dar.
In 1 ist ein Ablaufdiagramm 100 eines Verfahrens zur Bestimmung des Nickwinkels einer Mono-Kamera nach einem möglichen Ausführungsbeispiel der Erfindung dargestellt. Die Monokamera ist dabei stationär, oberhalb einer Fahrbahn, angeordnet, wobei die Einbauhöhe und der Rollwinkel der Monokamera bekannt sind. Zur Bestimmung des aktuellen Rollwinkels kann die Monokamera beispielsweise einen Beschleunigungssensor aufweisen.
Das Verfahren gemäß des gezeigten Ausführungsbeispiels weist die folgenden Schritte auf:

In einem ersten Schritt 110 werden zu vier verschiedenen Zeitpunkten von der Monokamera Bilddaten erfasst, wobei zwischen jeweils zwei aufeinanderfolgenden Zeitpunkten gleiche Zeitabstände Δt liegen. In den erfassten Bilddaten wird jeweils die Position von mindestens einem bestimmten Objekt ermittelt. Beispielsweise wird in den Bilddaten ein bestimmtes Fahrzeug erkannt und in allen vier Bildern wird die Position (in Bildkoordinaten) des bestimmten Fahrzeugs bestimmt.
In Schritt 120 werden für jeden Zeitpunkt Referenzpunkten des bestimmten Objekts aus den Bilddaten ermittelt und zu den Referenzpunkten werden jeweils 3D-Koordinaten berechnet. Für diese Berechnung wird ein erster Nickwinkel der Monokamera angenommen, beispielsweise ein Nickwinkel, der in einer vorhergehenden Messung bestimmt wurde und/oder ein Schätzwert.
In Schritt 130 werden aus jeweils die räumlichen Abstände Δs zwischen Referenzpunkten für aufeinanderfolgende Zeitpunkte mittels der 3D-Koordinaten berechnet. Es ergeben sich somit drei Abstandswerte.
In Schritt 140 werden die räumlichen Abstände Δs zwischen den Referenzpunkten an ein Polynom zweiten Grades angefittet und die entsprechenden Funktionsparameter, in diesem Fall die Koeffizienten des Polynoms ermittelt.
In Schritt 150 wird mindestens einer der ermittelten Funktionsparameters mit einem bestimmten Schwellenwert vergleichen, bevorzugt ist es der quadratische Koeffizient. Abhängig von dem Vergleich kann nun der Wert des angenommenen Nickwinkels angepasst werden. Falls der Koeffizient beispielsweise über dem bestimmten Schwellenwert liegt, muss der Nickwinkel größer oder kleiner angenommen werden. So ergibt sich ein neuer angenommener Nickwinkel.

Bevorzugt werden die Schritte 120 bis 150 so lange wiederholt, bis der Koeffizient kleiner als der Schwellenwert ist.
Die Genauigkeit des Schätzverfahrens hängt von der Wahl des genannten Schwellenwerts und somit unter anderem von dem Signal-Rausch-Verhältnis der Bilddaten ab und wird beispielsweise von Faktoren wie z.B. Genauigkeit der Objekterkennung, der Reichweite der Monokamera bzw. des FOVs, einer Genauigkeit des Zeitgebers, usw. beeinflusst. Einer der wichtigen Faktoren hierbei ist die Reichweite des Detektors, weil die vier in 3D-Koordinaten projizierten Punkte für eine hohe Genauigkeit einen möglichst großen räumlichen Abstand aufweisen, so dass die Nicht-Linearität in dem Verlauf der Abstandswerte steigt. Die Genauigkeit wächst exponentiell in Abhängigkeit von der Reichweite des Detektors.
2 zeigt einen Zeitstrahl 200, der die Aufnahmezeitpunkte der Bilddaten 210, 220, 230, 240 im Rahmen einer möglichen Ausführung der Erfindung darstellt. Zu einem ersten Zeitpunkt t_start werden erste Bilddaten 210 von der Kamera erfasst. Zu einem darauffolgenden Zeitpunkt t₁ werden zweite Bilddaten 220 von der Kamera erfasst. Zu einem drauffolgenden weiteren Zeitpunkt t₂ werden dritte Bilddaten 230 von der Kamera erfasst. Zu einem abschließenden Zeitpunkt t_end werden vierte Bilddaten 240 von der Kamera erfasst. Zwischen aufeinander folgenden Zeitpunkten der Bilderfassung liegen jeweils gleiche Zeitabstände Δt.
3 zeigt beispielhaft ein mittels einer Monokamera im Rahmen der Durchführung eines erfindungsgemäßen Verfahrens erfassten Bildes 300. Das Bild 300 umfasst Bilddaten (Pixelwerte), die Objektinformationen enthalten. Mittels eines geeigneten Algorithmus können bestimmte, insbesondere bewegte Objekte wie Fahrzeuge in den Bilddaten erkannt werden und deren Position (in Bildkoordinaten) bestimmt werden. In diesem Beispiel enthält das Bild eine Mehrzahl von Fahrzeugen als Objekte 310, 320, 330. Zu jedem Fahrzeug kann eine Bounding Box 315, 325, 335 definiert werden. Als Position des jeweiligen Fahrzeugs kann beispielsweise der jeweilige Mittelpunkt 317, 327 der unteren Kante einer Bounding Box verwendet werden. Im Rahmen eines erfindungsgemäßen Verfahrens zur Bestimmung des Nickwinkels einer Mono-Kamera kann ein bestimmtes Objekt 310 oder mehrere Objekte 310 , 320, 330 über eine Mehrzahl von Bildern (mindestens vier) erfasst und die jeweilige Objektposition bestimmt werden. Das Bild 300 bildet einen Fahrbahnabschnitt ab, in dem die Fahrzeuge eine geradlinige Trajektorie fahren und die Fahrtrichtung ungefähr parallel zu der Hauptachse der Kamera (die Projektion der optischen Achse auf die Grundebene) verläuft.
4 zeigt ein Koordinatensystem 400 in Weltkoordinaten. Die Gerade 410 illustriert die Bildebene einer Monokamera mit einem Nickwinkel von 52°. Die Gerade 420 stellt eine Bildebene mit einem leicht abweichenden Nickwinkel dar. Die Kamera befindet sich an der Position x=0 Die Abweichung beträgt in dem gezeigten Beispiel Δφ = 0.8. Die Punkte 411, 413, 415, 417, 419 stellen Referenzpunkte eines erfassten Objekts zu verschiedenen Messzeitpunkten dar. Das erfasste Objekt bewegt sich mit konstanter Geschwindigkeit, so dass sich bei konstanten Zeitabständen zwischen aufeinanderfolgenden Messungen gleichbleibende Abstände Δs ergeben. Die Kreuze 421, 423, 425, 427, 429 zeigen diejenigen Positionen der Referenzpunkte in Weltkoordinaten, die sich aus der Abweichung des Nickwinkels von Δφ = 0.8 von dem angenommenen Wert ergeben. Deutlich zu erkennen ist, dass die Abweichung mit wachsendem Abstand (in x-Richtung) von der Kamera nichtlinear zunimmt und auch der jeweilige Abstand zwischen zwei Messungen überproportional steigt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102020101718 A1 [0008]
DE 112019001080 T5 [0009]
DE 102020106304 A1 [0010]
DE 102018201154 A1 [0011]

Claims

Verfahren zur Bestimmung des Nickwinkels einer Kamera, insbesondere einer Mono-Kamera, wobei die Kamera stationär, insbesondere oberhalb einer Fahrbahn, angeordnet ist, und wobei eine Einbauhöhe und ein Rollwinkel der Kamera bekannt sind, mit den Schritten: a) Erfassen von Bilddaten (210, 220, 230,240, 300) und Ermitteln der Position in Bildkoordinaten mindestens eines bestimmten Objektes (310, 320) in den Bilddaten zu mindestens vier verschiedenen Zeitpunkten (t₀, t₁, t₂, t₃); b) Für jeden Zeitpunkt, Ermitteln mindestens eines Referenzpunkts (317, 327) des bestimmten Objekts (310, 320) in den Bilddaten und Berechnung von 3D-Koordinaten des Referenzpunkts, wobei für die Berechnung ein erster Nickwinkel der Kamera angenommen wird; c) Berechnung jeweiliger räumlichen Abstände zwischen Referenzpunkten des bestimmten Objekts (310, 320) für aufeinanderfolgende Zeitpunkte mittels der 3D-Koordinaten; d) Bestimmung von Funktionsparametern einer Modellfunktion für die Bewegung des bestimmten Objekts (310, 320) unter Verwendung der bestimmten räumlichen Abstände; e) Vergleichen mindestens eines insbesondere nichtlinearen Funktionsparameters mit einem bestimmten Schwellenwert und Anpassen des Wertes des angenommenen Nickwinkels abhängig von dem Ergebnis des Vergleichs.
Verfahren nach Anspruch 1, wobei in Schritt a) Bilddaten (210, 220, 230, 240, 300) in jeweils gleichen Zeitabständen (Δt) erfasst werden.
Verfahren nach einem der Ansprüche 1 oder 2, wobei in Schritt b) Referenzpunkte (317, 327) des bestimmten Objekts (310, 320) ermittelt werden, indem eine Bounding Box (315, 325) um das Objekt (310, 320) bestimmt wird und ein bestimmter Punkt (317, 327) der Bounding Box (315, 325) als Referenzpunkt ermittelt wird, insbesondere der Mittelpunkt der unteren Kante.
Verfahren nach einem der Ansprüche 1 bis 3, wobei mit der Modellfunktion die Nichtlinearität des Abstandsverlaufs ermittelt wird, wobei die Nichtlinearität des Abstandsverlaufs eine streng monotone Funktion des Nickwinkelfehlers ist, wobei der Abstandsverlauf, die zeitliche Entwicklung der berechneten räumlichen Abstände beschreibt.
Verfahren nach einem der Ansprüche 1 bis 4, wobei die Modellfunktion eine nichtlineare Funktion ist und der Funktionsparameter einen nichtlinearen Anteil der Funktion beschreibt.
Verfahren nach einem der Ansprüche 4 oder 5, wobei die Modellfunktion ein Polynom zweiten Grades ist und der Funktionsparameter den quadratischen Anteil des Polynoms zweiten Grades beschreibt.
Verfahren nach einem der Ansprüche 1 bis 4, wobei die Schritte b) bis e) so lange wiederholt werden, bis der nichtlineare Funktionsparameter kleiner ist als der bestimmte Schwellenwert.
Verfahren nach einem der Ansprüche 1 bis 5, wobei der bestimmte Schwellenwert abhängig von einem Signal-Rausch-Verhältnis der Bilddaten und/oder einer Genauigkeit der Objekterkennung und/oder einer Reichweite der Kamera und/oder einer Genauigkeit eines Zeitgebers der Bildaufnahme der Kamera gewählt wird.
Verfahren nach einem der Ansprüche 1 bis 6, wobei das Objekt (310, 320) ein Fahrzeug ist, das sich im Wesentlichen parallel zu einer Projektion der optischen Achse der Kamera auf die Fahrbahn bewegt, insbesondere entlang einer geradlinigen Trajektorie.
Verfahren nach einem der Ansprüche 1 bis 9 wobei sich das Objekt (310, 320) während dem Erfassen der Bilddaten (210, 220, 230,240, 300) mit konstanter Beschleunigung bewegt.
Verfahren nach einem der Ansprüche 1 bis 8, wobei der Nickwinkel der Kamera über einen längeren Zeitraum beobachtet wird, indem das Verfahren regelmäßig, insbesondere in bestimmten Zeitintervallen, ausgeführt wird.
Computerprogramm, umfassend Befehle, die bei Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß einem der Ansprüche 1 bis 9 auszuführen.