-
Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Kamera für ein Fahrzeug.
-
Moderne Fahrzeuge weisen typischerweise eine Vielzahl von Fahrerassistenzsystemen auf, oder sind für einen automatischen Betrieb ausgeführt, bei welchem eine gewöhnliche manuelle Fahrzeugführung durch eine automatische ersetzt wird. In allen Fällen spielen typischerweise Kamerasysteme eine wichtige Rolle zur Umfelderkennung.
-
Eine Kamera, die in Hauptfahrtrichtung des Fahrzeugs gerichtet ist, eine sogenannte Frontkamera, benötigt typischerweise eine Kalibrierung mit Bezug zum Horizont bzw. zum Fluchtpunkt. Im Stand der Technik sind verschiedenste Verfahren zum Kalibrieren von Fahrzeugkameras bekannt:
- Die DE 11 2016 001 150 T5 betrifft hierzu ein Verfahren zum Kalibrieren von wenigstens zwei Kameras eines Fahrzeugs, wobei das Verfahren umfasst: Aufnehmen eines Bildes einer Szene durch jede Kamera, Bestimmen einer Bodenebene des Fahrzeugs anhand von Merkmalen des Bildes, Definieren eines Ursprungspunkts eines Bezugsrahmens des Fahrzeugs als auf der Bodenebene befindlich und Bestimmen einer Translation eines Bezugsrahmens der Kamera zum In-Übereinstimmung-Bringen einer Position des Kamera-Bezugsrahmens mit einer entsprechenden Position des Fahrzeug-Bezugsrahmens, wobei die Bestimmung der Translation des Kamera-Bezugsrahmens anhand eines Bildes eines Kalibrierungsziels von der Kamera und eines Bildes des Kalibrierungsziels von wenigstens einer in der Nähe der Kamera vorgesehenen anderen Kamera durchgeführt wird.
-
Die
EP 2 665 037 A1 betrifft ferner eine automatische Kalibrierungsvorrichtung mit Onboard-Kamera, umfassend: Eine Kamera, die an einem Fahrzeug angebracht ist, um mehrere Bilder der Umgebung des Fahrzeugs zu erhalten; eine Bewegungsvektor-Berechnungseinheit, die konfiguriert ist, um Bewegungsvektoren unter den mehreren von der Kamera erhaltenen Bildern zu bestimmen; eine Punktauswahleinheit für die Straßenoberfläche, die konfiguriert ist, um Punkte auszuwählen, die nicht weniger als drei auf einer Straßenoberfläche in einem vorbestimmten Bild unter den mehreren Bildern sind, und mehrere Kombinationen von zwei Punkten aus den Punkten auszuwählen, die nicht weniger als drei auf der Straßenoberfläche sind; eine Berechnungseinheit für den Betrag der Drehung um die Z-Achse, die konfiguriert ist, um in einem Kamerakoordinatensystem mit einer optischen Achse als Z-Achse eine Drehung um die Z-Achse zu bestimmen, so dass die Straßenoberfläche parallel zu einer X-Achse verläuft, basierend auf den Mehrfachkombinationen der beiden Punktauswahleinheit und Bewegungsvektoren, die jeweils jedem Punkt der Mehrfachkombinationen der beiden Punkte entsprechen; und eine Koordinatenrotationskorrektureinheit, die konfiguriert ist, um eine Rotationskorrektur um die Z-Achse für die von der Kamera erhaltenen Bilder basierend auf dem Betrag der Drehung um die Z-Achse durchzuführen, der durch die Berechnungseinheit für den Betrag der Drehung um die Z-Achse bestimmt wird.
-
Die
DE 10 2008 004 370 A1 betrifft außerdem ein Bildjustageverfahren für ein Videobild, welches mittels eines Bildsensors einer ersten Kamera eines Kraftfahrzeugs durch in Bildzeilen angeordnete Pixel aus der Umgebung des Kraftfahrzeugs kontinuierlich erfasst und auf einer Anzeigevorrichtung des Kraftfahrzeugs dargestellt wird, hinsichtlich einer zu wenigstens eifern Referenzobjekt relativen Rotation, wobei in einem ersten Schritt eine Vermessung des Videobildes mittels des wenigstens einen Referenzobjekts erfolgt, wobei als Messergebnis ein erforderlicher Rotationswinkel des Videobildes relativ zu dem Referenzobjekt ermittelt wird; wonach in einem zweiten Schritt aus dem ermittelten erforderlichen Rotationswinkel ein entsprechender Scherungsfaktor für die Bildzeilen, insbesondere unter Berücksichtigung der Zeilenbreite, bestimmt wird; und wonach in einem dritten Schritt eine Bildverarbeitungseinrichtung den Scherungsfaktor abspeichert und zur kontinuierlichen Scherung der Bildzeilen verwendet.
-
Zur Auslegung und/oder Validierung eines automatischen Fahrsteuerungssystems, sei es eines Fahrerassistenzsystems oder eines Steuerungssystems für eine fahrerlose Fahrzeugführung, ist es häufig zweckdienlich, eine Komponente eines Fahrzeugs in einen stationären Versuchsstand zu platzieren und eine Verkehrssituation durch künstliche Sensorsignale und/oder Steuersignale in Software nachzubilden. Die Durchführung einer realen Versuchsfahrt zum Kalibrieren einer Kamera ist aufwendig und erfordert naturgemäß die Verfügbarkeit eines Fahrzeugs hierfür.
-
Aufgabe der Erfindung ist es daher, auf einem solchen HiL- Prüfstand eine Frontkamera eines Fahrzeugs zu kalibrieren.
-
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Kalibrieren einer in einem Fahrzeug angeordneten Kamera, aufweisend die Schritte:
- - Bereitstellen eines während einer realen Fahrt mit einer ersten Kamera eines ersten Fahrzeugs aufgenommenen Videos der Umgebung des ersten Fahrzeugs;
- - Bereitstellen eines während derselben Fahrt des ersten Fahrzeugs mit einer inertialen Messeinheit erzeugten Datensatzes über einen zeitlichen Verlauf eines Nickwinkels und eines zeitlichen Verlaufs eines Rollwinkels des ersten Fahrzeugs gegenüber der Erde, wobei der jeweilige zeitliche Verlauf zeitlich Bildinformationen des Videos zugeordnet ist;
- - Aufstellen einer zweiten Kamera in einem Versuchsstand und Verbinden einer Videoschnittstelle an einem Bildsensor der zweiten Kamera mit einer Datenquelle, sodass an der zweiten Kamera anstatt der Erzeugung eines von einem aktuellen Lichteinfall abhängigen Signals ein künstliches Signal aus der Datenquelle an der Videoschnittstelle empfangen wird;
- - Abspielen des bereitgestellten Videos aus der Fahrt des ersten Fahrzeugs und Übermitteln der Bildinformationen des Videos über die Datenquelle an die zweite Kamera;
- - Kalibrieren der zweiten Kamera bezüglich einer Ausrichtung unter Berücksichtigung der zum abgespielten Video zugeordneten zeitlichen Verläufe des Nickwinkels und des Rollwinkels der ersten Kamera;
-
Als Voraussetzung zur erfolgreichen Durchführung des Verfahrens ist zu gegebener Zeit eine reale Fahrt mit einem ersten Fahrzeug durchzuführen. In dem ersten Fahrzeug ist eine erste Kamera angeordnet, welche in die Umgebung des Fahrzeugs gerichtet ist. Bevorzugt ist die erste Kamera in Hauptfahrtrichtung des Fahrzeugs ausgerichtet. Zur Objekterkennung und zur Verwendung des optischen Flusses während der Fahrt des Fahrzeugs ist eine Kalibrierung notwendig, welche den Fluchtpunkt beziehungsweise eine Horizontlinie einstellt.
-
Der Fluchtpunkt bzw. die Horizontlinie sind insbesondere abhängig von einem aktuellen Nickwinkel und Rollwinkel des Fahrzeugs. Zur Kompensation dieser Winkel wird typischerweise in einem Fahrzeug mit einer bereits kalibrierten Kamera der Nickwinkel und der Rollwinkel laufend erfasst, um Bildanalysen basierend auf Bildinformationen der Kamera entsprechend kompensieren zu können. Die Erfassung des Nickwinkels und des Rollwinkels erfolgt bevorzugt mithilfe einer inertialen Messeinheit während der Fahrt des Fahrzeugs. Hierbei können beispielsweise Lagekreisel verwendet werden, deren Stabilität ausgenutzt wird, um eine Langewinkeländerung des Fahrzeugs ermitteln zu können.
-
Während bei der Fahrt des ersten Fahrzeugs mit der ersten Kamera bereits die Informationen über den aktuellen Nickwinkel und Rollwinkel verwendet werden können, um die rotatorische Bewegung des Fahrzeugs kompensieren zu können, werden diese zum Zweck der Ausführung des Verfahrens jedoch auch aufgezeichnet und zeitlich dem Ablauf eines Videos zugeordnet, das durch den Strom der Bildinformationen der ersten Kamera erzeugt wird.
-
Für die zweite Kamera an einem Versuchsstand steht damit aus einer realen Fahrt ein Video zur Verfügung, und zu jedem Videobild des Videos zu einem konkreten Zeitpunkt steht eine Information über den aktuellen Nickwinkel und Rollwinkel der ersten Kamera zu Verfügung, mit welcher das Video aufgezeichnet wurde.
-
Eine zweite Kamera, die essenzielle Eigenschaften mit der ersten Kamera gemeinsam hat, wird in einem Versuchsstand platziert, bevorzugt durch Montage in einem zweiten Fahrzeug, welches im Versuchsstand oder Fahrsimulator selbst platziert wird. Die zweite Kamera wird dabei so vorbereitet bzw. modifiziert, dass nicht einfallendes Licht für ein ausgegebenes Signal der zweiten Kamera verantwortlich ist, sondern dass elektronisch an einer Videoschnittstelle der zweiten Kamera das Video aus der realen Fahrt des ersten Fahrzeugs eingespeist wird, als würde die zweite Kamera aktuell im ersten Fahrzeug angeordnet sein und während seiner Fahrt die Bildinformationen aufnehmen.
-
Während des Einspielens des Videos aus der realen Fahrt an der Videoschnittstelle der zweiten Kamera wird außerdem ein zugehöriger Datenstrom der aufgenommenen Nickwinkel und Rollwinkel eingespielt, um eine zum Video zugehörige rotatorische Bewegung des Fahrzeugs abzubilden. Die zeitlichen Verläufe des Nickwinkels und des Rollwinkels dienen dazu, einer Kalibrierung der zweiten Kamera die relevanten Zustände zu liefern, um eine exakte Kalibrierung zu ermöglichen.
-
Vorteilhaft wird somit erreicht, dass mit ein und demselben Video der ersten Kamera aus dem ersten Fahrzeug wiederholbar in einem Versuchsstand eine jeweilige zweite Kamera kalibriert werden kann, ohne dass letztere in einer realen Versuchsfahrt verwendet wird. Es kann somit auch vorteilhaft eine Vielzahl von zweiten Kameras mit ein und demselben Video der ersten Kamera kalibriert werden.
-
Gemäß einer vorteilhaften Ausführungsform wird ein zeitlicher Verlauf einer Geschwindigkeit des ersten Fahrzeugs während seiner Fahrt bereitgestellt und zum Kalibrieren der zweiten Kamera verwendet.
-
Gemäß einer weiteren vorteilhaften Ausführungsform wird die zweite Kamera in einem zweiten Fahrzeug angeordnet, welches in einem Versuchsstand platziert wird. Insbesondere bei einer Montage des Fahrzeugs kann somit die zweite Kamera in das zweite Fahrzeug montiert werden und kalibriert werden, ohne dass mit dem zweiten Fahrzeug eine Versuchsfahrt durchgeführt wird.
-
Gemäß einer weiteren vorteilhaften Ausführungsform ist der Versuchsstand ein Hardware-in-the-Loop Versuchsstand, und das zweite Fahrzeug weist ein Fahrerassistenzsystem oder ein automatisches Fahrsteuerungssystem auf, welches mit abgespielten, zuvor aufgenommenen Sensordaten und/oder synthetischen Sensordaten betrieben wird.
-
Gemäß einer weiteren vorteilhaften Ausführungsform ersetzen der jeweilige zeitliche Verlauf des Nickwinkels und des Rollwinkels der ersten Kamera beim Kalibrieren der zweiten Kamera einen Datenstrom einer realen inertialen Messeinheit des zweiten Fahrzeugs.
-
Während im regulären Betrieb des zweiten Fahrzeugs eine solche inertiale Messeinheit laufend die aktuellen Nickwinkel und Rollwinkel des Fahrzeugs gegenüber der Erde und damit auch die Nickwinkel und Rollwinkel der zweiten Kamera gegenüber der Erde liefern würde, kann im Versuchsstand dieser Datenstrom durch den künstlichen zuvor im ersten Fahrzeug aufgenommenen ersetzt werden, und die aus der realen Versuchsphase stammenden zeitlichen Verläufe dieser Winkel verwendet werden, um eine scheinbare Bewegung des Umfelds des zweiten Fahrzeugs gemäß den Bildinformationen aus dem Video zu kompensieren.
-
Gemäß einer weiteren vorteilhaften Ausführungsform sind die erste Kamera und die zweite Kamera baugleich. Bevorzugt weisen demnach die erste Kamera und die zweite Kamera den gleichen Kameratyp auf, sodass ein mit der ersten Kamera aufgenommenes Video entsprechend kompatibel an der Videoschnittstelle der zweiten Kamera eingespielt werden kann und damit der Effekt an der zweiten Kamera erzeugt wird, dass das eingespielte Video an der Videoschnittstelle äquivalent zu tatsächlichen Bildinformationen ist, die bei einer realen Fahrt erhalten werden.
-
Die erste Kamera im ersten Fahrzeug weist bei der Testfahrt durch das erste Fahrzeug eine gewisse Einbauhöhe über Grund auf. Diese Einbauhöhe spiegelt sich in Eigenschaften der Bildinformationen im Video der ersten Kamera wieder. Weichen die Einbauhöhen der ersten Kamera und der zweiten Kamera in ihrem jeweiligen Fahrzeug voneinander zu weit ab, kann die Kalibrierung der zweiten Kamera ungenau oder fehlerhaft werden.
-
Gemäß einer weiteren vorteilhaften Ausführungsform erfolgt die Einbauhöhe der ersten Kamera im ersten Fahrzeug über Grund und die Einbauhöhe der zweiten Kamera im Versuchsstand innerhalb vorgegebener Grenzen bezüglich einer Abweichung zwischen den Einbauhöhen.
-
Gemäß einer weiteren vorteilhaften Ausführungsform wird eine Abweichung in der Einbauhöhe der ersten Kamera im ersten Fahrzeug über Grund zur Einbauhöhe der zweiten Kamera im Versuchsstand durch Bildtransformation kompensiert.
-
Gemäß einer weiteren vorteilhaften Ausführungsform wird eine Vielzahl von zweiten Kameras mit ein und dem selben Video aus dem ersten Fahrzeug und den dem Video zugeordneten zeitlichen Verläufen des Rollwinkels und des Nickwinkels des ersten Fahrzeugs kalibriert.
-
Gemäß einer weiteren vorteilhaften Ausführungsform sind die erste Kamera und die zweite Kamera Frontkameras. Frontkameras zeichnen sich dadurch aus, dass sie in eine Hauptfahrtrichtung des Fahrzeugs gerichtet sind.
-
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
-
Es zeigt:
- 1: Ein Verfahren zum Kalibrieren einer in einem Fahrzeug angeordneten Kamera gemäß einem Ausführungsbeispiel der Erfindung.
-
1 zeigt ein Verfahren zum Kalibrieren einer in einem zweiten Fahrzeug 5 angeordneten zweiten Kamera 7. Vor dem Kalibriervorgang der zweiten Kamera 7 des zweiten Fahrzeugs 5 findet eine Testfahrt des ersten Fahrzeugs 1 mit einer ersten Kamera 3 statt. Die erste Kamera 3 ist eine Frontkamera und damit in die Hauptfahrtrichtung des ersten Fahrzeugs 1 gerichtet. Während der Fahrt des ersten Fahrzeugs 1 wird mithilfe der ersten Kamera 3 ein Video aufgenommen. Außerdem weist das erste Fahrzeug 1 eine inertialen Messeinheit auf, wobei sowohl das Video als auch ein Nickwinkel des Fahrzeugs 1 und ein Rollwinkel des ersten Fahrzeugs 1 im jeweiligen zeitlichen Bezug zueinander abgespeichert werden, sodass ein jeweiliger Zeitpunkt des Videos der ersten Kamera 3 zu einem Nickwinkel und Rollwinkel des ersten Fahrzeugs 1 zugeordnet werden kann. Indem durch die inertiale Messeinheit des ersten Fahrzeugs 1 ein Nickwinkel sowie ein Rollwinkel ermittelt wird, ist auch eine Nickwinkel und ein Rollwinkel der ersten Kamera 3 gegenüber der Erde bekannt, da von einer unbeweglichen Anordnung der ersten Kamera 3 am ersten Fahrzeug 1 auszugehen ist. Für den Kalibriervorgang der zweiten Kamera 7 wird das Video zusammen mit dem jeweiligen zeitlichen Verlauf des Nickwinkels und des Rollwinkel, wie im ersten Fahrzeug 1 aufgenommen, an eine Videoschnittstelle der zweiten Kamera 7 eingespielt. Das eingespielte Video verhält sich für die zweite Kamera 7 so, als wäre das zweite Fahrzeug 5 in Fahrt und die zweite Kamera 7 würde die vorausliegende Umgebung erfassen. Dabei befindet sich die zweite Kamera 7 am zweiten Fahrzeug 5 angeordnet, welches jedoch beim Kalibriervorgang stillsteht und in einem Versuchsstand vorgesehen ist. In einer Recheneinheit des zweiten Fahrzeugs 5 wird nun die zweite Kamera 7 entsprechend ihrer Ausrichtung kalibriert, indem ihr das Video des ersten Fahrzeugs 1 abgespielt wird, wobei die Nickwinkel und Rollwinkel Informationen im Video durch die Nickwinkel- und Rollwinkel-Informationen aus der dem Video zugeordneten Datei zur Kompensation verwendet werden. Damit ist ein Fluchtpunkt und eine Horizontlinie für die zweite Kamera 7 kalibriert. Das Video kann als weitere Quelle für eine weitere Kalibrierung für ein weiteres zweites Fahrzeug 5 verwendet werden, ohne dass weitere reale Testfahrten notwendig sind.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 1
- erstes Fahrzeug
- 3
- erste Kamera
- 5
- zweites Fahrzeug
- 7
- zweite Kamera
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 11 2016 001 150 T5 [0003]
- EP 2 665 037 A1 [0004]
- DE 10 2008 004 370 A1 [0005]