-
Die Erfindung betrifft ein Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeug-Gespanns, eine Ermittlungseinrichtung zur Durchführung des Verfahrens sowie ein Fahrzeug-Gespann.
-
Um ein Fahrverhalten eines Fahrzeug-Gespanns aus einem Zugfahrzeug und einem Auflieger, die über einen Königszapfen miteinander verschwenkbar verbunden sind, zu erfassen, sind mehrere Sensoren im Fahrzeug-Gespann möglich. Um im Speziellen das Schwenkverhalten des Aufliegers gegenüber dem Zugfahrzeug während einer Kurvenfahrt erfassen zu können, wird herkömmlicherweise ein Knickwinkel zwischen beiden Einheiten bestimmt, wobei der Knickwinkel den Winkel zwischen den jeweiligen Längsachsen der beiden Einheiten angibt. Der Knickwinkel kann beispielsweise zur Abschätzung einer Fahrrichtung des Aufliegers gegenüber dem Zugfahrzeug verwendet werden und eine Änderung des Knickwinkels über die Zeit zum Abschätzen der Fahrdynamik des Anhängers während einer Kurvenfahrt für eine Stabilitätsregelung.
-
Zur Messung des Knickwinkels sind kamerabasierte Lösungen bekannt, bei denen eine Abbildung der Kamera auf Kanten oder Ecken untersucht wird und über eine Verschiebung der Kanten oder Ecken aus einer Ausgangslage auf einen Knickwinkel geschlossen wird. So wird beispielsweise in
DE 10 2014 007 900 A1 beispielsweise eine hintere Kante des Aufliegers von einer Kamera erfasst und eine Verschiebungsstrecke der hinteren Kante zu einer längs ausgerichteten Ausgangslage erfasst. Daraus kann aus geometrischen Betrachtungen auf den Knickwinkel geschlossen werden.
-
Weiterhin ist gemäß
WO 2006/042665 A1 vorgesehen, über einen bildgebenden Sensor Linien zu ermitteln, die an den Kanten des Aufliegers vorbeiführen und aus den Winkeln dieser Linien in Abhängigkeit der Abmessungen des Aufliegers den Knickwinkel zu ermitteln.
-
In
WO 2016/025120 A1 ist beschrieben, eine Ausgleichsgerade in eine kamerabasiert ermittelte Abbildung einer Hinterseite eines Aufliegers zu legen und einen Winkel zu ermitteln, um der diese Ausgleichsgerade von einer Horizontalen abweicht, wobei die Ausgleichsgerade bei einer Geradeausfahrt auf der Horizontalen liegt. Aus geometrischen Betrachtungen lässt sich aus diesem Winkel der Knickwinkel ermitteln.
-
DE 10 2010 006 521 A1 gibt an, dass auf zwei zeitlich aufeinanderfolgenden Kamerabildern Objektpunkte gesucht werden, die miteinander korrespondieren, und daraus eine Dynamik bzw. eine Bewegungsinformation des jeweiligen Objektpunktes ermittelt wird. Darüber kann eine Silhouette des Aufliegers ermittelt werden und daraus der Knickwinkel.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren anzugeben, mit dem eine kamerabasierte Ermittlung eines Knickwinkels einfach und sicher erfolgen kann. Weiterhin ist Aufgabe der Erfindung eine Ermittlungseinrichtung und ein Fahrzeug-Gespann anzugeben, mit dem das Verfahren durchführbar ist.
-
Diese Aufgabe wird durch ein Verfahren nach Anspruch 1, eine Ermittlungseinrichtung nach Anspruch 16 und ein Fahrzeug-Gespann nach Anspruch 17 gelöst. Die Unteransprüche geben bevorzugte Weiterbildungen an.
-
Erfindungsgemäß ist demnach vorgesehen, mit zwei Kameras eines Stereo-Kamerasystems zwei Abbildungen zu erstellen, die ein Fahrzeug-Umfeld in einem Erfassungsbereich des Stereo-Kamerasystems wiedergeben, wobei die Abbildung vorzugsweise zum selben Zeitpunkt erstellt werden. In einem ersten Bildabschnitt einer ersten Abbildung werden anschließend mindestens zwei erste Abbildungspunkte ermittelt, wobei jedem der ersten Abbildungspunkte jeweils ein Objektpunkt am Auflieger zugeordnet ist. Jedem Objektpunkt ist weiterhin ein zweiter Abbildungspunkt in einem zweiten Bildabschnitt der zweiten Abbildung zugeordnet, der ebenfalls ermittelt wird. Somit ist jedem Objektpunkt am Auflieger ein Abbildungspunkt in den jeweiligen Bildabschnitten zugeordnet.
-
Aus den Abbildungspunkten auf den beiden Bildabschnitten können Tiefeninformationen bezüglich des jeweiligen Objektpunktes extrahiert werden, wobei dies mithilfe der Epipolargeometrie stattfindet, bei der die jeweils miteinander über den Objektpunkt verknüpften Abbildungspunkte miteinander korreliert werden können. Da die beiden Abbildungspunkte denselben Objektpunkt aus leicht versetzten Blickwinkeln abbilden, kann eine Tiefeninformation bezüglich des Objektpunktes, insbesondere ein Abstand des Objektpunktes am Auflieger zum Stereo-Kamerasystem, ermittelt werden.
-
Werden für mindestens zwei Objektpunkte Tiefeninformationen auf diese Weise ermittelt, kann erfindungsgemäß eine Ausgleichsgerade durch die beiden Objektpunkte gelegt werden, die eine Orientierung des Aufliegers im Fahrzeug-Umfeld charakterisiert. Zu erwarten ist hierbei, dass die Objektpunkte auf einer Seitenwand des Aufliegers verteilt sind, wenn das Stereo-Kamerasystems seitlich des Zugfahrzeuges, beispielswiese im Bereich eines Seitenspiegels, angeordnet ist. Dazu ist vorzugsweise vorgesehen, dass ein Erfassungsbereich des Stereo-Kamerasystems auf die Seitenwand des Aufliegers ausgerichtet ist, wenn sich das Fahrzeug-Gespann in einer Kurvenfahrt befindet. Über die Objektpunkte bzw. die Ausgleichsgerade kann dann die Orientierung der Seitenwand während einer Kurvenfahrt ermittelt werden.
-
In Kenntnis der Orientierung der Ausgleichsgerade relativ zu einer zugfahrzeugfesten Bezugsachse bei Geradeausfahrt, kann der Knickwinkel aus einem Ausgleichswinkel zwischen der Ausgleichsgeraden und der zugfahrzeugfesten Bezugsachse ermittelt werden, wenn sich das Fahrzeug-Gespann in einer Kurvenfahrt befindet, d.h. das Zugfahrzeug nicht parallel zum Auflieger ausgerichtet ist. Der Knickwinkel ist somit definiert als ein Winkelversatz des Zugfahrzeuges relativ zum Auflieger um die Hochachse, wobei der Knickwinkel beispielsweise aus dem Winkel zwischen der Längsmittelachse des Zugfahrzeuges, die als zugfahrzeugfeste Bezugsachse angesetzt werden kann, und der Längsmittelachse des Aufliegers folgt, wobei dieser Winkel bei einer Geradeausfahrt in etwa 0° beträgt.
-
Somit kann durch Aufnahme von zwei Abbildungen in einfacher Weise mit einem Stereo-Kamerasystem aus gewonnen Tiefeninformationen der Knickwinkel ermittelt werden. Gegenüber dem Stand der Technik wird somit nicht nur auf Informationen in der Ebene, die aus der zweidimensionalen Abbildung hervorgehen, zurückgriffen, sondern zusätzlich auf Informationen bezüglich der Lage des Objektpunktes am Auflieger im Raum. Dadurch lässt sich eine Ausgleichsgerade festlegen, die die Orientierung des Aufliegers im Raum bzw. im Fahrzeug-Umfeld charakterisiert.
-
Die Orientierung der Ausgleichsgerade bei einer Geradeausfahrt, die als Bezug für die Kurvenfahrt dient, kann beispielsweise in einem Kalibriervorgang ermittelt werden, in dem ein Kalibrier-Ausgleichswinkel zwischen der Ausgleichsgerade und der zugfahrzeugfesten Bezugsachse erfasst wird und dieser Kalibrier-Ausgleichswinkel beim Übergang in eine Kurvenfahrt zur Ermittlung des tatsächlichen Knickwinkels aus dem dann vorliegenden Ausgleichwinkel mit einbezogen wird. Somit können auch zugfahrzeugfeste Bezugsachsen verwendet werden, die nicht der Zugfahrzeuglängsmittelachse entsprechen.
-
Vorzugsweise ist vorgesehen, dass die Ausgleichsgerade und die zugfahrzeugfeste Bezugsachse in demselben Koordinatensystem ermittelt bzw. festgelegt werden, vorzugsweise in einem zugfahrzeugfesten ersten Koordinatensystem. Dadurch kann der Datenaufwand minimiert werden, da zur Ermittlung des Ausgleichswinkels einfache geometrische Betrachtungen anzustellen sind und demnach lediglich die Ausgleichsgerade, die zunächst in einem kamerafesten dritten Koordinatensystem über das Stereo-Kamerasystem ermittelt wird, in das erste Koordinatensystem zu transformieren ist. Alternativ kann auch die fahrzeugfeste Bezugsachse in das dritte Koordinatensystem transformiert werden, um darin den Ausgleichswinkel zu ermitteln.
-
Um diesen Vorgang weiter zu optimieren, kann vorgesehen sein, dass die zugfahrzeugfeste Bezugsachse eine x-Achse oder eine y-Achse des ersten Koordinatensystems ist, so dass der Knickwinkel im Wesentlichen gleich dem Ausgleichswinkel zwischen der Ausgleichsgeraden und der x-Achse des ersten Koordinatensystems als Bezugsachse ist oder der Knickwinkel 90° minus dem Ausgleichswinkel zwischen der Ausgleichsgeraden und der y-Achse des ersten Koordinatensystems als Bezugsachse beträgt. Dadurch ist die fahrzeugfeste Bezugsachse, die vorzugsweise eine Fahrzeuglängsmittelachse ist, bereits durch das Koordinatensystem festgelegt. Nach einer Transformation der Ausgleichsgeraden in das zugfahrzeugfeste erste Koordinatensystem ist die Bezugsachse somit nicht erst aufwändig zu ermitteln bzw. zu parametrieren und der Ausgleichswinkel kann einfach und mit wenig Aufwand ermittelt werden.
-
Gemäß einer bevorzugten Ausführungsform ist vorgesehen, dass die Objektpunkte zum Ermitteln der Ausgleichsgerade in einer Ebene beschrieben werden, wobei die Ebene senkrecht zu einer Hochachse ausgerichtet ist, wobei der Auflieger in einer Kurvenfahrt relativ zum Zugfahrzeug um diese Hochachse verschwenkt wird. Die Objektpunkte werden somit aus einem dreidimensionalen Raum in einen zweidimensionalen Raum reduziert. Dadurch kann der Datenaufwand vorteilhafterweise weiterhin minimiert werden, ohne dabei die Genauigkeit maßgeblich zu beeinträchtigen, da die Koordinate des Objektpunktes in Hochrichtung keine weitere Information bezüglich der Orientierung des Aufliegers bei einer Kurvenfahrt liefert und somit für die Berechnung bzw. die Bildung der Ausgleichsgerade vernachlässigt werden kann. Vorzugsweise wird die Ebene bei einer Beschreibung im ersten Koordinatensystem durch die x-Achse und die y-Achse des ersten Koordinatensystems aufgespannt.
-
Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass die Tiefeninformation bezüglich eines Objektpunktes durch einen Objektabstand gegeben ist, wobei der Objektabstand zwischen dem jeweiligen Objektpunkt und einer zweiten Verbindungslinie gemessen wird, wobei die zweite Verbindunglinie zwischen Projektionszentren der beiden Kameras verläuft. Somit kann zur Ermittlung der Orientierung des Aufliegers eine Information ermittelt werden, die den jeweiligen Objektpunkt im Raum, vorzugsweise im dritten Koordinatensystem des Stereo-Kamerasystems, beschreibt, wobei diese Information aufgrund des leicht versetzten Blickwinkels der Kameras ermittelt werden kann. Dazu wird vorzugsweise auf das Prinzip der Epipolargeometrie zurückgegriffen.
-
Um dies zu erreichen, kann vorzugsweise vorgesehen sein, dass der Objektabstand des jeweiligen Objektpunktes in Abhängigkeit einer Brennweite der Kameras, eines Abstandes zwischen den Projektionszentren der Kameras und einer Disparität zwischen den jeweiligen ersten Abbildungspunkten und zweiten Abbildungspunkten ermittelt wird. Mithilfe einer Triangulation sowie unter Rückgriff auf die Strahlensätze ist es somit aus geometrischen Betrachtungen in einfacher Weise möglich, aus den beiden Abbildungen über die Abbildungspunkte den Objektabstand als Tiefeninformation zu den jeweiligen Objektpunkten zu ermitteln.
-
Um dies zu ermöglichen, ist je nach Aufbau des Stereo-Kamerasystems vorgesehen, dass die Bildabschnitte zum Ermitteln der Disparität rektifiziert werden. Unter Rektifizieren wird hierbei eine Transformation der Bildabschnitte bzw. einzelner Bildpunkte der Bildabschnitte verstanden, wobei dadurch erreicht wird, dass die Kameras bei einer nicht-parallelen Ausrichtung zueinander virtuell gedreht werden, so dass diese bzw. deren Bildsensoren parallel zueinander liegen, so dass darüber der Objektabstand in einfacher Weise aus geometrischen Betrachtungen ermittelt werden kann. Die Abbildungspunkte des Bildabschnittes werden somit in rektifizierte Bildabschnitte mit rektifizierten Abbildungspunkten transformiert.
-
Vorzugsweise ist dazu weiterhin vorgesehen, dass die Disparität bezüglich eines Objektpunktes aus einem Unterschied zwischen Abbildungsabständen in den beiden rektifizierten Bildabschnitten folgt, wobei die Abbildungsabstände einen Abstand des jeweiligen rektifizierten Abbildungspunktes zum Projektionszentrum der jeweiligen Kamera in dem rektifizierten Bildabschnitt angeben.
-
Dies kann in vorteilhafter Weise dadurch erfolgen, dass die rektifizierten Abbildungspunkte zunächst in einem rektifizierten vierten Koordinatensystem ermittelt werden, wobei das rektifizierte vierte Koordinatensystem durch Rektifizieren eines vierten Koordinatensystems hervorgeht und das vierte Koordinatensystem jeweils einem Bildsensor der jeweiligen Kamera zugeordnet ist und Bildpunkten des jeweiligen Bildsensors Koordinaten zuordnet, wobei die Abbildungsabstände aus den x-Koordinaten der rektifizierten Abbildungspunkte im rektifizierten vierten Koordinatensystem folgen.
-
Vorzugsweise ist vorgesehen, dass der jeweilige Bildabschnitt über die gesamte Abbildung oder einen Teil der Abbildung ausgedehnt ist, wobei der Bildabschnitt derartig gewählt wird, dass der Auflieger im Bildabschnitt enthalten ist, wobei in dem ersten Bildabschnitt im Wesentlichen derselbe Teil des Aufliegers dargestellt ist wie im zweiten Bildabschnitt. Somit kann je nach Anwendung der Rechenaufwand für die Verarbeitung von Daten zum Ermitteln der Objektpunkte bzw. der Ausgleichsgerade minimiert werden, indem der Bildabschnitt entsprechend gewählt wird und dadurch die Anzahl an zu betrachtenden Abbildungspunkte bzw. Objektpunkten eingeschränkt wird.
-
Vorzugsweise ist weiterhin vorgesehen, dass die mindestens zwei ersten Abbildungspunkte im ersten Bildabschnitt ermittelt werden durch Erfassen von ersten Merkmalen in dem ersten Bildabschnitt, beispielsweise in einer Kantenerkennung, wobei das erste Merkmal durch eine Intensitätsänderung im ersten Bildabschnitt charakterisiert wird und die Intensitätsänderungen im ersten Bildabschnitt beispielsweise verursacht werden durch eine hintere Kante des Aufliegers und/oder eine Falte an einer Seitenwand des Aufliegers und/oder einer Schattierung an der Seitenwand des Aufliegers und/oder einem Muster an der Seitenwand des Aufliegers, wobei sich in etwa dieselben Intensitätsänderungen auch an den mindestens zwei zweiten Abbildungspunkten im zweiten Bildabschnitt ergeben.
-
Vorzugsweise ist weiterhin vorgesehen, dass die mindestens zwei zweiten Abbildungspunkte durch einen Vergleich von Intensitäten an ersten Bildpunkten im ersten Bildabschnitt und zweiten Bildpunkten im zweiten Bildabschnitt ermittelt werden. Dazu werden im zweiten Bildabschnitt zweite Bildpunkte auf einer zweiten Epipolarlinie gesucht, die dieselbe Intensitätsverteilung aufweisen wie den ersten Abbildungspunkten zugeordnete erste Bildpunkte auf einer ersten Epipolarlinie im ersten Bildabschnitt. Somit können die zweiten Abbildungspunkte im zweiten Bildabschnitt vorteilhafterweise durch einen einfachen Vergleich von Intensitäten des ersten Bildabschnittes gefunden werden, nachdem die ersten Abbildungspunkte beispielsweise in der Kantenerkennung im ersten Bildabschnitt bereits erfasst sind.
-
Erfindungsgemäß ist eine Ermittlungseinrichtung zur Durchführung des beschriebenen Verfahrens zum Ermitteln des Knickwinkels insbesondere während einer Kurvenfahrt vorgesehen, wobei die Ermittlungseinrichtung mit dem Stereo-Kamerasystem signalübertragend verbunden ist zur Aufnahme von Kamerasignalen, wobei über die Kamerasignale die Abbildungen und/oder die Bildabschnitte übertragen werden können.
-
Weiterhin ist erfindungsgemäß ein Fahrzeug-Gespann aus einem Zugfahrzeug und einem Auflieger vorgesehen, wobei der Auflieger um eine Hochachse und um einen Knickwinkel um das Zugfahrzeug verschwenkbar ist und am Zugfahrzeug ein Stereo-Kamerasystem angeordnet ist, das eine Aufnahme einer ersten Abbildung und einer zweiten Abbildung aus einem Erfassungsbereich des Stereo-Kamerasystems erlaubt und das mit einer Ermittlungseinrichtung zur Durchführung des beschriebenen Verfahrens signalleitend verbunden ist.
-
Die Erfindung wird im Folgenden anhand der beiliegenden Zeichnungen näher erläutert. Es zeigen:
- 1a eine schematische Draufsicht auf ein Fahrzeug-Gespann;
- 1b eine Detailansicht eines Stereo-Kamerasystems 1a;
- 2a-d unterschiedliche Ansichten zur Definition von Koordinatensystemen;
- 3 eine beispielhafte Abbildung eines mit einer Kamera des Stereo-Kamerasystems erfassten Fahrzeug-Umfeldes mit einem Auflieger des Fahrzeug-Gespanns;
- 4 eine geometrische Ansicht des Stereo-Kamerasystems zur Aufnahme eines Objektpunktes;
- 5a, 5b geometrische Ansichten zur Ermittlung von Tiefeninformationen des Objektpunktes;
- 6 eine Punktewolke aus Objektpunkten zur Ermittlung eines Knickwinkels des Fahrzeug-Gespanns; und
- 7 ein Flussdiagramm gemäß einer Ausführungsform der Erfindung.
-
Gemäß 1a ist ein Fahrzeug-Gespann 100 aus einem Zugfahrzeug 101 und einem Auflieger 102 in einer Draufsicht dargestellt. Das Fahrzeug-Gespann 100 befindet sich in einer Fahrsituation, in der sich ein bestimmter Knickwinkel d zwischen dem Zugfahrzeug 101 und dem Auflieger 102 einstellt. Dies ist beispielsweise während einer Kurvenfahrt 200 der Fall, in der sich der Auflieger 102 um eine mit einem Königszapfen 103 als Drehpunkt zusammenfallende Hochachse H um das Zugfahrzeug 101 verschwenkt.
-
Zum Messen dieses Knickwinkels d ist im Fahrzeug-Gespann 100 ein Stereo-Kamerasystem 1 vorgesehen, das zwei seitlich am Zugfahrzeug 101 angeordnete Kameras 2a, 2b aufweist, die beispielsweise im Bereich eines Rückspiegels 3 des Zugfahrzeuges 101 und dabei in einem Abstand A zueinander angeordnet sind (s. 1b). Mit den beiden Kameras 2a, 2b wird somit ein Stereo-Kamerasystem 1 ausgebildet, mit dem eine räumliche Abbildung eines Fahrzeug-Umfeldes U in einem Erfassungsbereich 4 ermöglicht wird, so dass Tiefeninformationen von Objekten im Erfassungsbereich 4 extrahiert werden können. Der Erfassungsbereich 4 ist hierbei nach hinten in das Fahrzeug-Umfeld U, d.h. in Richtung des Aufliegers 102 ausgerichtet, so dass der Auflieger 102 insbesondere während der Kurvenfahrt 200 zumindest teilweise erfasst werden kann.
-
Der Knickwinkel d kann aus Kamerasignalen S2a, S2b, die von den einzelnen Kameras 2a, 2b ausgegeben werden, in einer Ermittlungseinrichtung 5 wie folgt ermittelt werden:
-
Zunächst sind unterschiedliche Koordinatensysteme K1, K2, K3, K4a, K4b festzulegen, um aus geometrischen Betrachtungen den Knickwinkel d zu erhalten. Demnach ist gemäß 2a als ein erstes Koordinatensystem K1 ein zugfahrzeugfestes Koordinatensystem vorgesehen, wobei ein erster Koordinatenursprung U1 des ersten Koordinatensystems K1 in diesem Ausführungsbeispiel im Schnittpunkt einer Fahrzeuglängsmittelebene 6 mit einer Vorderachse 7 des Zugfahrzeuges 101 liegt. Ausgehend von diesem ersten Koordinatenursprung U1 wird das erste Koordinatensystem K1 in kartesischen Koordinaten x1, y1, z1 aufgespannt, wobei die Fahrzeuglängsmittelebene 6 durch die x1-z1-Achsen aufgespannt wird und die y1-Achse entlang der Vorderachse 7 verläuft.
-
Ein zweites Koordinatensystem K2 ist durch ein kamerafestes Koordinatensystem gegeben, wobei das kamerafeste Koordinatensystem dem Stereo-Kamerasystem 1 als Ganzes zugeordnet ist und ein zweiter Koordinatenursprung U2 des zweiten Koordinatensystems K2 beispielhaft in einem ersten Projektionszentrum 8a der ersten Kamera 2a angeordnet ist. Ausgehend von diesem zweiten Koordinatenursprung U2 wird das zweite Koordinatensystem K2 in kartesischen Koordinaten x2, y2, z2 wie in 2b dargestellt aufgespannt.
-
Ein drittes Koordinatensystem K3 ist durch ein aufliegerfestes Koordinatensystem gegeben, wobei ein dritter Koordinatenursprung U3 des dritten Koordinatensystems K3 im Mittelpunkt des Königszapfens 103 des Aufliegers 102, wie in 2c dargestellt, liegt und durch kartesische Koordinaten x3, y3, z3 aufgespannt wird. Die z3-Achse im Königszapfen 103 fällt hierbei mit der Hochachse H zusammen, um die sich der Auflieger 102 bei einer Kurvenfahrt dreht.
-
Ein viertes Koordinatensystem K4a, K4b ist durch ein kartesisches Koordinatensystem in der Ebene eines Bildsensors 9a, 9b der jeweiligen Kamera 2a, 2b gegeben, wobei jedem Bildsensor 9a, 9b jeweils ein viertes Koordinatensystem K4a, K4b zugeordnet ist. Das vierte Koordinatensystem K4a, K4b ist gemäß 2d ein zweidimensionales Koordinatensystem mit kartesischen Koordinaten x4a, y4a bzw. x4b, y4b. Über das vierte Koordinatensystem K4a, K4b werden einzelnen Bildpunkten 11ai, 11bi, mit i=1,... bzw. Pixeln des jeweiligen Bildsensors 9a, 9b Koordinaten x4a, y4a bzw. x4b, y4b zugeordnet.
-
Im Betrieb des Stereo-Kamerasystems 1 wird das Fahrzeug-Umfeld U im Erfassungsbereich 4 durch die Optik der ersten Kamera 2a auf den ersten Bildpunkten 11ai des ersten Bildsensors 9a abgebildet, so dass je nach Art des ersten Bildsensors 9a am jeweiligen ersten Bildpunkt 11ai ein erster Bildwert 12ai mit i=1,... erzeugt wird. Bei einem CCD-Sensor als erster Bildsensor 9a ist beispielsweise jedem Bildpunkt 11ai eine Fotodiode zugeordnet, die je nach Lichteinfall durch die Abbildung eine bestimmte Ladung erzeugt, wobei die Ladung oder eine dazu proportionale Größe als erster Bildwert 12ai des jeweiligen ersten Bildpunktes 11ai ausgegeben werden kann. Der erste Bildwert 12ai repräsentiert somit beispielsweise eine Intensität I, die sich auf dem jeweiligen ersten Bildpunkt 11ai aufgrund der Abbildung des Fahrzeug-Umfeldes U auf dem ersten Bildsensor 9a einstellt. Somit kann durch die jeweiligen ersten Bildwerte 12ai eine erste des Fahrzeug-Umfeldes U erstellt werden, wobei sich die erste auch im vierten Koordinatensystem K4a beschreiben lässt.
-
Entsprechend wird das Fahrzeug-Umfeld U im Erfassungsbereich 4 des Stereo-Kamerasystems 1 durch die Optik der zweiten Kamera 2b auf den zweiten Bildpunkten 11bi mit i=1,... des zweiten Sensors 9b abgebildet und jedem zweiten Bildpunkt 11bi ein jeweiliger zweiter Bildwert 12bi mit i=1,... zugeordnet, so dass eine zweite des Fahrzeug-Umfeldes U erzeugt wird, die sich im vierten Koordinatensystem K4b darstellen lässt. Über die Kamerasignale S2a, S2b können die jeweiligen Bildwerte 12ai, 12bi mit der Zuordnung zu den jeweiligen Koordinaten x4a, y4a bzw. x4b, y4b übertragen werden, um die daraus resultierende , weiterverarbeiten zu können.
-
Der zu ermittelnde Knickwinkel d entspricht dem Winkel, um den das dritte Koordinatensystems K3 relativ zum ersten Koordinatensystem K1 um die z3-Achse bzw. die Hochachse H verdreht ist bzw. dem Winkel zwischen der x1-Achse und der x3-Achse oder der y1-Achse und der y3-Achse in 1. Dieser Winkel bzw. der Knickwinkel d kann aus den Kamerasignalen S2a, S2b der beiden Kameras 2a, 2b ermittelt werden, wenn die Einbauorientierung der Kameras 2a, 2b in den Koordinaten x1, y1, z1 des ersten Koordinatensystems K1 bekannt ist und sich der Auflieger 102 im Erfassungsbereich 4 des Stereo-Kamerasystems 1 befindet. Dies erfolgt durch Auswertung der beiden über die Kamerasignale S2a, S2b übertragenen , , die aufgrund des Abstandes A zwischen den Kameras 2a, 2b aus leicht versetzten Blickwinkeln aufgenommen werden, so dass sich festgelegte Objektpunkte Pk mit k=1,... am Auflieger 102 mit einer Tiefeninformation bestimmen lassen.
-
In 3 ist dazu eine beispielhafte Fahrsituation gezeigt, die von einer der beiden Kameras 2a, 2b aufgenommen wird, da sich der Auflieger 102 während einer Kurvenfahrt 200 im Erfassungsbereich 4 des Stereo-Kamerasystems 1 befindet. Zur Minimierung der verarbeiteten Daten werden zur Ermittlung des Knickwinkels d lediglich Bildpunkte 11ai, 11bi in einem bestimmten Bildabschnitt 10a, 10b der , der jeweiligen Kamera 2a, 2b betrachtet, wobei der Auflieger 102 in dem Bildabschnitt 10a, 10b zumindest ausschnittsweise abgebildet ist. Die Bildabschnitte 10a, 10b können hierbei in Abhängigkeit eines zu erwartenden Bereiches der jeweiligen , festgelegt werden, in dem der einknickende Auflieger 102 normalerweise bei einer Kurvenfahrt 200 abgebildet ist, oder aber über eine Kantenerkennung E, in der die jeweilige , nach Kanten abgesucht wird, die als dem Auflieger 102 zugehörig angesehen werden können. Der Bildabschnitt 10a, 10b wird dann entsprechend in einem Bereich um diese erfassten Kanten festgelegt, so dass der Auflieger 102 in ausreichendem Maße erfasst werden kann.
-
Die Bildabschnitte 10a, 10b der beiden Kameras 2a, 2b korrespondieren hierbei miteinander, wobei darunter zu verstehen ist, dass von der zweiten Kamera 2b in etwa derselbe Bereich des Fahrzeug-Umfeldes U aufgenommen wird wie von der ersten Kamera 2a, wobei lediglich leicht versetzte Blickwinkel aufgrund des Abstandes A zwischen den Kameras 2a, 2b vorliegen. Die Auswahl der Bildabschnitte 10a, 10b erfolgt somit für beide , aufgrund derselben Kriterien, so dass in beiden Bildabschnitten 10a, 10b in etwa derselbe Bereich des Aufliegers 102 enthalten ist und sich somit eine Tiefeninformation von bestimmten ausgewählten Objektpunkten Pk am Auflieger 102 herleiten lässt. Ist eine Minimierung des Rechenaufwandes nicht erforderlich, können die Bildabschnitte 10a, 10b auch über die gesamte , ausgedehnt sein.
-
Die Auswahl der Bildabschnitte 10a, 10b erfolgt beispielsweise in der Ermittlungseinrichtung 5, die aus den Kamerasignalen S2a, S2b bzw. den darin enthaltenen , den entsprechenden Bildabschnitt 10a, 10b für die weitere Verarbeitung auswählt. Durch Korrelation der beiden aufgenommenen Bildabschnitte 10a, 10b können die Tiefeninformationen von einzelnen ausgewählten Objektpunkten Pk gewonnen werden. Dazu werden die Bildabschnitte 10a, 10b in der Ermittlungseinrichtung 5 in einem Stereo-Algorithmus SA wie folgt verarbeitet:
-
Der Stereo-Algorithmus SA sucht in den beiden Bildabschnitten 10a, 10b jeweils nach bestimmten Merkmalen Mak, Mbk, k = 1, ..., die Objektpunkten Pk am Auflieger 102 zugeordnet sind, wobei die Merkmale Mak, Mbk insbesondere durch Intensitätsänderungen dl zwischen benachbarten Bildpunkten 11 ai, 11bi in den jeweiligen Bildabschnitten 10a, 10b charakterisiert werden können. Intensitätsänderungen dl ergeben sich in den Bildabschnitten 10a, 10b gemäß 3 beispielsweise aus der Abbildung einer hinteren Kante 102a des Aufliegers 102, durch Falten 102b in einer Seitenwand 102c des Aufliegers 102, durch Schattierungen 102d auf der Seitenwand 102c oder durch abgebildete Muster 102e, die jeweils mit unterschiedlichen Intensitäten I auf den Bildsensoren 9a, 9b abgebildet werden, da sich diese von der Abbildung der Seitenwand 102c unterscheiden, und darüber als Merkmale Mak, Mbk identifizierbar sind. Als Intensitätsänderung dl wird somit eine erfassbare Änderung in der Intensität I zwischen Pixeln bzw. Bildpunkten 11 ai, 11bi in einem bestimmten Bereich des jeweiligen Bildabschnittes 10a, 10b verstanden, die aufgrund von Strukturänderungen an der Seitenwand 102c des Aufliegers 102 auftreten.
-
Jedes identifizierte Merkmal Mak, Mbk wird dabei durch einen Objektpunkt Pk direkt am Auflieger 102 beschrieben, wobei jeder Objektpunkt Pk auf einem Abbildungspunkt Qak, Qbk auf dem jeweiligen Bildsensor 9a, 9b abgebildet wird, wobei die Abbildungspunkte Qak, Qbk eine Teilmenge der Bildpunkte 11ai, 11bi des jeweiligen Bildsensors 9a, 9b darstellen (s. 4). Die Merkmale Mak, Mbk bzw. die zugehörigen Abbildungspunkte Qak, Qbk können beispielsweise in einer Kantenerkennung E, beispielsweise in einem Canny-Algorithmus, in den Bildabschnitten 10a, 10b identifiziert werden. Derartig können wie in 4 dargestellt beispielsweise die Objektpunkte Pk im Bereich des Musters 102e auf der Seitenwand 102c im Bildabschnitt 10a, 10b als Merkmale Mak, Mbk bzw. Abbildungspunkte Qak, Qbk auf dem jeweiligen Bildsensor 9a, 9b erfasst werden, wobei die Anzahl k der erkannten Merkmale Mak, Mbk im Bereich des Musters 102e abhängig von der Auflösung bzw. der Einstellung der Kantenerkennung E ist.
-
Weitere Merkmale Mak, Mbk ergeben sich aus dem Bereich der Falte 102b in der Seitenwand 102c, der im Bildabschnitt 10a, 10b liegt, aus dem Bereich der Schattierung 102d, der im Bildabschnitt 10a, 10b liegt, sowie aus dem Bereich des Musters 102e, der im Bildabschnitt 10a, 10b liegt. Somit können über den gesamten jeweiligen Bildabschnitt 10a, 10b mehrere Merkmale Mak, Mbk bzw. Abbildungspunkte Qak, Qbk erfasst werden, wobei diese Objektpunkte Pk idealerweise auf der gesamten Seitenwand 102c des Aufliegers 102 verteilt sind. Aus den Tiefeninformationen zu diesen Objektpunkten Pk, kann auf die Orientierung der Seitenwand 102c im Fahrzeug-Umfeld U bzw. relativ zum Zugfahrzeug 101 und darüber auf den Knickwinkel d geschlossen werden.
-
Um dies zu erreichen, sind die Merkmale Mak, Mbk bzw. die Abbildungspunkte Qak, Qbk aus den Bildabschnitten 10a, 10b beider Kameras 2a, 2b zu korrelieren:
- Wurde demnach auf die oben beschriebene Weise in dem ersten Bildabschnitt 10a ein bestimmtes erstes Merkmal Mak identifiziert und diesem ersten Merkmal Mak ein erster Abbildungspunkt Qak auf dem ersten Bildsensor 9a zugeordnet, so wird der diesem ersten Abbildungspunkt Qak zugehörige Objektpunkt Pk am Auflieger 102 anschließend im zweiten Bildabschnitt 10b der zweiten ebenfalls gesucht, d.h. dem jeweiligen Objektpunkt Pk wird ein zweiter Abbildungspunkt Qbk auf dem zweiten Bildsensor 9b zugeordnet. Diese Zuordnung wird für jedes in dem ersten Bildabschnitt 10a erkannten ersten Merkmals Mak mit dem laufenden Index k durchgeführt.
-
Diese Zuordnung erfolgt nach dem Prinzip der Epipolargeometrie, die in 4 anhand eines Objektpunktes Pk bzw. eines Merkmals Mak, Mbk perspektivisch veranschaulicht ist. Demnach ist einem bestimmten ersten Abbildungspunkt Qak im ersten Bildabschnitt 10a ein entsprechender Objektpunkt Pk im Fahrzeug-Umfeld U zugeordnet, z.B. ein Punkt des Muster 102e am Auflieger 102, aus dem eine Intensitätsänderung dl von der Kantenerkennung E erfasst wurde. Um diesen Objektpunkt Pk im zweiten Bildabschnitt 10b der zweiten in Form eines zweiten Abbildungspunktes Qbk bzw. eines zweiten Merkmals Mbk zu finden, wird zwischen dem jeweiligen Objektpunkt Pk und dem ersten Projektionszentrum 8a der ersten Kamera 2a eine erste Verbindungslinie V1 gezogen und zwischen den beiden Projektionszentren 8a, 8b der beiden Kameras 2a, 2b eine zweite Verbindungslinie V2. Die beiden Verbindungslinien V1, V2 spannen eine Epipolarebene 13 auf, die die beiden Bildsensoren 9a, 9b jeweils in einer Epipolarlinie 14a, 14b schneidet. Der bereits identifizierte erste Abbildungspunkt Qak in dem ersten Bildabschnitt 10a liegt dabei auf der ersten Epipolarlinie 14a des ersten Bildsensors 9a.
-
Um den dem Objektpunkt Pk zugeordneten zweiten Abbildungspunkt Qbk auf dem zweiten Bildsensor 9b zu finden, wird die zweite Epipolarlinie 14b des zweiten Bildsensors 9b nach diesem zweiten Abbildungspunkt Qbk abgesucht. Dazu werden beispielsweise für die zweiten Bildpunkte 11bi auf dem zweiten Bildsensor 9b, die auf der zweiten Epipolarlinie 14b liegen, Intensitäten I bzw. damit zusammenhängende zweite Bildwerte 12bi ermittelt. Stimmen diese mit den Intensitäten I bzw. den ersten Bildwerten 12ai auf der ersten Epipolarlinie 14a beim ersten Abbildungspunkt Qak überein oder sind diesen ähnlich, so kann darauf geschlossen werden, dass der jeweilige Objektpunkt Pk am entsprechenden zweiten Bildpunkt 11bi auf dem zweiten Sensor 9b abgebildet wird, so dass darüber der zweite Abbildungspunkt Qbk identifiziert werden kann. Ist eine eindeutige Zuordnung darüber nicht möglich, können alternativ oder ergänzend auch erste Bildwerte 12ai von direkt benachbarten ersten Bildpunkten 11ai um den ersten Abbildungspunkt Qak mit zweiten Bildwerten 12bi von zweiten Bildpunkten 11bi direkt benachbart zu zweiten Bildpunkten 11bi auf der zweiten Epipolarlinie 14b miteinander verglichen werden, um den zweiten Abbildungspunkt Qbk im zweiten Bildabschnitt 10b zu identifizieren.
-
Um diesen Vorgang ausführen zu können, ist der Abstand A zwischen den Kameras 2a, 2b bzw. den Projektionszentren 8a, 8b der Kameras 2a, 2b genau zu ermitteln, sowie eine Kalibrierung der Kameras 2a, 2b durchzuführen, so dass die Epipolarebene 13 sowie die Epipolarlinien 14a, 14b in eindeutiger Weise ermittelt werden können.
-
Nachdem die Abbildungspunkte Qak, Qbk eines erkannten Merkmals Mak, Mbk für beide Bildabschnitte 10a, 10b erfasst wurden, kann dem zugehörigen Objektpunkt Pk eine Tiefeninformation bezüglich des kamerafesten zweiten Koordinatensystems K2 zugeordnet werden, wobei dazu die Abbildungspunkte Qak, Qbk wie folgt miteinander korreliert werden:
-
Zunächst werden die beiden Bildabschnitte 10a, 10b mit den jeweiligen Abbildungspunkten Qak, Qbk rektifiziert. Dazu werden die Bildabschnitte 10a, 10b mitsamt des vierten Koordinatensystems K4a, K4b virtuell derartig um die jeweiligen Projektionszentren 8a. 8b gedreht, dass diese wie in 5a perspektivisch dargestellt parallel zueinander bzw. in einer Ebene liegen, so dass rektifizierte Bildabschnitte 16a, 16b gebildet werden. Die Drehung erfolgt über eine festgelegte Projektionsmatrix, die auch die Abbildungspunkte Qak, Qbk entsprechend in rektifizierte Abbildungspunkte Qak_r, Qbk_r transformiert. Dadurch wird simuliert, dass die beiden Kameras 2a, 2b exakt parallel zueinander ausgerichtet sind, wobei daraus auch folgt, dass die Epipolarlinien 14a, 14b aufeinanderliegen und die rektifizierten Abbildungspunkte Qak_r, Qbk_r somit in derselben Bildzeile des jeweiligen Bildsensors 9a, 9b liegen. Gleichzeitig liegen die Projektionszentren 8a, 8b vorzugsweise mittig im jeweiligen rektifizierten Bildabschnitt 16a, 16b. Den rektifizierten Abbildungspunkten Qak_r, Qbk_r kann in den rektifizierten Bildabschnitten 16a, 16b jeweils eine rektifizierte Koordinate x4a_r, x4b_r bzw. y4a_r, y4b_r in einem rektifizierten vierten Koordinatensystem K4a_r, K4b_r zugeordnet werden, wobei die rektifizierten Abbildungspunkte Qak_r, Qbk_r in diesem dieselben vertikalen Koordinaten aufweisen, d.h. y4a_r = y4b_r.
-
Damit kann nun wie in
5b dargestellt ein Objekt-Abstand
APk als Tiefeninformation zum jeweiligen Objektpunkt
Pk ermittelt werden, wobei der Objekt-Abstand
APk den Abstand im Raum zwischen dem Objektpunkt
Pk und der zweiten Verbindungslinie
V2 zwischen den beiden Projektionszentren
8a,
8b angibt.
5b stellt hierbei die Situation aus
5a in einer Draufsicht dar, d.h. die
y4a_r- bzw.
y4b_r-Achsen ragen aus der
5b heraus und die rektifizierten Bildabschnitt
16a,
16b schneiden die Figurenebene senkrecht. Der Objekt-Abstand
APk ist somit die
z2-Koordinate des tiefenaufgelösten Objektpunktes
Pk im zweiten Koordinatensystem
K2, dessen zweiter Ursprung
U2 im ersten Projektionszentrum
8a der ersten Kamera
2a festgelegt wurde. Der Objekt-Abstand
APk folgt durch eine Triangulation unter Berücksichtigung des Strahlensatzes aus:
mit einer Brennweite
B sowie einer dem Objektpunkt
Pk zugeordneten Disparität
Wk mit k = 1, ..., wobei die Disparität
Wk aus einer Differenz von Abbildungsabständen
Fak,
Fbk mit k=1, ... folgt aus Wk = Fak - Fbk. Die Abbildungsabstände
Fak,
Fbk geben hierbei gemäß
5b den Abstand zwischen dem jeweiligen Projektionszentrum
8a,
8b und dem rektifizierten Abbildungspunkt
Qak_r,
Qbk_r im jeweiligen rektifizierten Bildabschnitt
16a,
16b in der x4a_r bzw. x4b_r-Richtung des jeweiligen rektifizierten vierten Koordinatensystems
K4a_r,
K4b_r an. Die Abbildungsabstände
Fak,
Fbk können gemäß dieser Ausführung nach der Rektifizierung der Bildabschnitte
10a,
10b aus den Koordinatenwerten
x4a_r bzw.
x4b_r des jeweiligen rektifizierten Abbildungspunktes
Qak_r,
Qbk_r unter Kenntnis der Lage der Projektionszentren
8a,
8b (vorzugsweise mittig) im jeweiligen rektifizierten vierten Koordinatensystem
K4a_r,
K4b_r gewonnen werden, wobei die Lage der Projektionszentren
8a,
8b aus einer Kalibrierung folgt. Die Brennweite
B gibt den Abstand der Projektionszentren
8a,
8b zum Bildsensor
9a,
9b bzw. zum rektifizierten Bildabschnitt
16a,
16b in
z2-Richtung an, wobei die Brennweite
B hier für beide Kameras
2a,
2b identisch ist. Liegen für die beiden Kameras
2a,
2b unterschiedliche Kameraparameter vor, ist die Ermittlung der Abbildungsabstände
Fak,
Fbk entsprechend anzupassen.
-
Mit diesem Objekt-Abstand
APk bzw. der
z2-Koordinate im zweiten Koordinatensystem
K2 lässt sich der jeweilige Objektpunkt
Pk im zweiten Koordinatensystem
K2 unter der Voraussetzung, dass der zweite Ursprung
U2 im ersten Projektionszentrum
8a liegt, folgendermaßen darstellen:
wobei
T eine Transformationsmatrix angibt, die die rektifizierten Koordinaten
x4a_r,
y4a_r des Objektpunktes
Pk aus dem rektifizierten vierten Koordinatensystem
K4a_r zunächst in das vierte Koordinatensystem
K4a und anschließend in das kamerafeste zweite Koordinatensystem
K2 mit dem zweiten Ursprung
U2 im ersten Projektionszentrum
8a transformiert. Die Transformationsmatrix
T besteht somit aus zwei Abbildungsmatrizen, wobei die eine Abbildungsmatrix (invers) auch für die Rektifizierung des Bildabschnittes
10a,
10b in den rektifizierten Bildabschnitt
16a,
16b angewendet wird und die andere Abbildungsmatrix (K4a => K2) aus einem Kalibriervorgang der Kameras
2a,
2b folgt.
-
Aufgrund der bekannten Einbauposition und des Einbauwinkels der Kameras 2a, 2b am Zugfahrzeug 101 und somit der Lage des kamerafesten zweiten Koordinatensystems K2 im ersten Koordinatensystem K1 können die im zweiten Koordinatensystem K2 ermittelten Koordinaten x2, y2, z2 des Objektpunktes Pk in das zugfahrzeugfeste erste Koordinatensystem K1 nach einfachen geometrischen Betrachtungen mit einer weiteren Abbildungsmatrix transformiert werden, so dass daraus die Orientierung der durch die Objektpunkte Pk beschriebenen Seitenwand 102c im ersten Koordinatensystem K1 ermittelt werden kann. Da die z1-Koordinate des Objektpunktes Pk im ersten Koordinatensystem K1 bei einer Drehung des Aufliegers 102 um die Hochachse H vernachlässigt werden kann bzw. diese z1-Koordinate keine weitere Information bezüglich einer Orientierung der Seitenwand 102c bzw. der Drehung des Aufliegers 102 um die Hochachse H liefern kann, werden im Folgenden lediglich die x1, y1-Koordinaten des Objektpunktes Pk im ersten Koordinatensystem K1 betrachtet. Somit findet eine Reduzierung der Objektpunkte Pk in den zweidimensionalen Raum bzw. in eine Ebene 30 (s. 6) statt, die gemäß diesem Ausführungsbeispiel durch die x1, y1-Achsen des ersten Koordinatensystems K1 aufgespannt wird.
-
Für die weitere Betrachtung werden nach der beschriebenen Systematik unterschiedliche Merkmale Mak, Mbk in den Bildabschnitten 10a, 10b der beiden Kameras 2a, 2b des Stereo-Kamerasystems 1 und für diese Merkmale Mak, Mbk die x1, y1-Koordinaten der jeweils zugehörigen Objektpunkte Pk im ersten Koordinatensystem K1 erfasst. Wenn sich die zugehörigen Objektpunkte Pk entlang der Seitenwand 102c des Aufliegers 102 im Bildabschnitt 10a, 10b in etwa gleichmäßig verteilen, entsteht eine in 6 dargestellte Punktwolke 15 von auf den zweidimensionalen Raum bzw. in die Ebene 30 reduzierten Objektpunkten Pk im ersten Koordinatensystem K1 mit den Koordinaten x1, y1, wobei die Objektpunkte Pk die Orientierung der Seitenwand 102c des Aufliegers 102 im ersten Koordinatensystem K1 repräsentieren.
-
Aufgrund von Rauscheinflüssen und Ungenauigkeiten sowie ggf. Unebenheiten in der Seitenwand 102c wird diese durch die Punktewolke 15 nicht exakt in einer Gerade abgebildet. Aufgrund dessen wird eine Regressionsgerade bzw. Ausgleichsgerade C durch die Punktewolke 15 gelegt. Ist die Seitenwand 102c des Aufliegers 102 parallel oder zumindest im Wesentlichen parallel zur x3-Achse des dritten Koordinatensystems K3 ausgerichtet, folgt der Knickwinkel d unmittelbar aus einem Ausgleichswinkel g zwischen der Ausgleichsgerade C und einer Bezugsachse C1, die gemäß diesem Ausführungsbeispiel der x1-Achse des ersten Koordinatensystems K1 (s. 1a und 6) entspricht. Alternativ kann auch die y1-Achse des ersten Koordinatensystems K1 als Bezugsachse C1 gewählt werden, wobei dann der Knickwinkel d entsprechend aus 90° - g folgt. Der Ausgleichswinkel g kann hierbei mathematisch aus geometrischen Betrachtungen ermittelt werden, wenn für die Ausgleichsgerade C eine entsprechende vektorielle Darstellung im ersten Koordinatensystem K1 angesetzt wird.
-
Die Ausgleichsgerade C wird derartig gewählt, dass eine Summe aller Abstände der Objektpunkte Pk zur Ausgleichsgeraden C minimiert ist (Least Squares Optimierung) und die Ausgleichsgerade C durch einen Schwerpunkt der Punktewolke 15 verläuft.
-
Verläuft die Seitenwand 102c nicht in einer Ebene bzw. weist der Auflieger 102 keine Seitenwand 102c auf (z.B. Autotransporter), kann auch vorab eine Kalibrierung durchgeführt werden, in der während einer Geradeausfahrt 201 eine Ausgleichsgerade C durch die erfassten Objektpunkte Pk am Auflieger 102 gelegt wird und ein Kalibrier-Ausgleichswinkel gK zwischen der Ausgleichsgerade C und der jeweiligen zugfahrzeugfesten Bezugsachse C1 ermittelt wird. Dieser Kalibrier-Ausgleichswinkel gK wird anschließend als Bezugswinkel festgelegt und von dem während einer Kurvenfahrt 200 ermittelten Ausgleichswinkel g abgezogen, um den Knickwinkel d zu erhalten.
-
Weiterhin kann gemäß 8 vorgesehen sein, in einem abbildenden Verfahren mit lediglich einer Kamera, beispielsweise der ersten Kamera 2a, aus den ersten Abbildungspunkten Qak einen Knickwinkel d abzuschätzen. Demnach ist vorgesehen, zunächst die hintere Kante 102a des Aufliegers 102 in einer Kantenerkennung E wie oben beschrieben zu ermitteln und dieser hinteren Kante 102a erste Abbildungspunkte Qak auf dem ersten Bildsensor 9a zuzuordnen, die die jeweiligen Objektpunkte Pk auf der hinteren Kante 102a abbilden.
-
Da die Einbauposition der ersten Kamera 2a am Fahrzeug-Gespann 100 bekannt ist, kann durch geometrische Betrachtungen ein Abbildungswinkel n (s. 8) ermittelt werden, der den (Azimut-)Winkel eines Objektpunktes Pk an der hinteren Kante 102a in der x2-z2-Ebene (s. 2b) des kamerafesten zweiten Koordinatensystems K2 angibt. Dieser Abbildungswinkel n folgt aus n = arctan (L/B) (Lochkameramodell), wobei L die in 3 dargestellte Strecke auf dem ersten Bildsensor 9a im vierten Koordinatensystem K4a zwischen der abgebildeten hinteren Kante 102a und einer Schnittlinie 150 angibt und B die Brennweite der ersten Kamera 2a ist. Die Strecke L ist somit der Abstand zwischen den beiden Geraden 102a und 150 auf dem Bildsensor 9a, der unmittelbar aus den x4a, y4a-Koordinaten der jeweils zugeordneten ersten Abbildungspunkte Qak ermittelt werden kann, nachdem die beiden Geraden 102a, 150 erfasst sind.
-
Die Schnittlinie 150 wird hierbei durch Objektpunkte Pk auf der Auflieger-Seitenwand 102c gebildet, deren Koordinaten auf der y2-Achse des kamerafesten zweiten Koordinatensystems K2 liegen. Darüber kann die Schnittlinie 150 im zweiten bzw. vierten Koordinatensystem K2, K4a festgelegt werden. Die hintere Kante 102a folgt aus der Kantenerkennung E.
-
Für den berechneten Abbildungswinkel n kann über tan(n) = Px2/Pz2 nun das Verhältnis der Werte der beiden Punktkoordinaten Px2 und Pz2 (s. 8) im zweiten Koordinatensystem K2 ermittelt werden. Um daraus die absoluten Werte der Punktkoordinaten Px2, Pz2 zu ermitteln, wird zunächst über eine vorab durchgeführte Kalibrierung die Höhe L6 (s. 3) der hinteren Kante 102a im vierten Koordinatensystem K4a abgeschätzt. Diese ändert sich je nach Abstand der hinteren Kante 102 relativ zur ersten Kamera 2a, d.h. in Abhängigkeit der Punktekoordinate Pz2. Über die Kalibrierung kann somit der Wert der Punktekoordinate Pz2 erhalten werden und über das obige Verhältnis tan(n) auch die Punktekoordinate Px2, so dass der Objektpunkt Pk an der hinteren Kante 102a in den Koordinaten des zweiten Koordinatensystems K2 bekannt ist.
-
In Kenntnis der Abmessungen
L2,
L3 des Aufliegers
102 sowie des Einbauwinkels
n1 der ersten Kamera
2a und den Versätzen
L1,
L4,
L5 der Koordinatenursprünge
U1,
U2,
U3 zueinander, lassen sich die Punktkoordinaten
Px2,
Pz2 im zweiten Koordinatensystem
K2 über eine Verkettung von Koordinatensystemen im aufliegerfesten dritten Koordinatensystem
K3 darstellen. Dies erfolgt durch eine Transformation der Punktekoordinaten
Px2,
Pz2 über eine Transformationsmatrix
T in die Punktekoordinaten
Py3,
Px3:
wobei
T eine 4x4 Transformationsmatrix und (
Px3,
Py3) einen Vektor mit den Punktekoordinaten des Objektpunktes
Pk an der hinteren Kante
102a im dritten Koordinatensystem
K3 angeben. Die Transformationsmatrix
T wird hierbei gebildet aus zwei Matrizen, wobei eine der Matrizen die Punkte des kamerafesten zweiten Koordinatensystems
K2 in das zugfahrzeugfeste erste Koordinatensystem
K1 transformiert und die andere Matrix die Punkte des aufliegerfesten dritten Koordinatensystems
K3 in das erste Koordinatensystem
K1. Beide Matrizen sind Drehmatrizen, da zum einen eine Verdrehung zwischen
K1 und
K2 um den Einbauwinkel
n1 vorliegt und zwischen
K1 und
K3 eine Verdrehung um den gesuchten Knickwinkel
d.
-
Über die Transformationsmatrix
T ergibt sich demnach aus geometrischen Betrachtungen:
-
In dieser Gleichung ist lediglich der Knickwinkel
d unbekannt, so dass folgt:
wobei
-
Eine derartige Berechnung kann nicht nur für die hintere Kante 102a erfolgen, sondern auch für weitere Strukturen auf der Seitenwand 102c des Aufliegers 102, für die die Punktekoordinaten im dritten Koordinatensystem K3 bekannt sind und die von der Kamera 2a erfassbar sind.
-
Das erfindungsgemäße Verfahren kann gemäß 7 beispielsweise wie folgt ausgeführt werden:
-
Nachdem die Ermittlungseinrichtung 5 zur Ermittlung des Knickwinkels d in einem anfänglichen Schritt St0 initialisiert wurde und ggf. auch eine Kalibrierung durch Ermitteln eines Kalibrier-Ausgleichswinkels gK stattgefunden hat, werden in einem ersten Schritt St1 von den beiden Kameras 2a, 2b , über den jeweiligen Bildsensor 9a, 9b aufgenommen und über die Kamerasignale S2a, S2b an die Ermittlungseinrichtung 5 ausgegeben.
-
In einem zweiten Schritt St2 werden die , in dem Stereo-Algorithmus SA wie oben beschrieben verarbeitet, wobei dazu in einem ersten optionalen Zwischenschritt St2a Bildabschnitte 10a, 10b der , ausgewählt werden, in denen der Auflieger 102 abgebildet ist. In einem zweiten Zwischenschritt St2b werden anschließend Merkmale Mak, Mbk aus den beiden Bildabschnitten 10a, 10b beispielsweise in einer Kantenerkennung E erfasst und die Abbildungspunkte Qak, Qbk mit Hilfe der Epipolargeometrie zu jedem Merkmal Mak, Mbk in beiden Bildabschnitten 10a, 10b ermittelt. Anschließend werden in einem dritten Zwischenschritt St2c die rektifizierten Bildabschnitte 16a, 16b gebildet und in einem vierten Zwischenschritt St2d die Objekt-Abstände APk der den Merkmalen Mak, Mbk zugeordneten Objektpunkte Pk aus den rektifizierten Abbildungspunkten Qak_r, Qbk_r im rektifizierten Bildabschnitt 16a, 16b ermittelt. Daraus wird der Objektpunkt Pk in einem folgenden Schritt St2e im kamerafesten zweiten Koordinatensystem K2 samt Tiefeninformation ermittelt. Der Stereo-Algorithmus SA zum Extrahieren einer Tiefeninformation von den Merkmalen Mak, Mbk zugeordneten Objektpunkten Pk aus den beiden , ist damit abgeschlossen. Der Stereo-Algorithmus SA wird für eine beliebige Anzahl k an erkannten Merkmalen Mak, Mbk ausgeführt, wobei die Anzahl k vorab begrenzt werden kann, um die Geschwindigkeit der Bearbeitung festzulegen.
-
In einem dritten Schritt St3 werden die im Stereo-Algorithmus SA ermittelten Objektpunkte Pk aus dem kamerafesten zweiten Koordinatensystem K2 in das zugfahrzeugfeste erste Koordinatensystem K1 überführt. In einem vierten Schritt St4 werden die Objektpunkte Pk im ersten Koordinatensystem K1 auf eine Ebene in den x1, y1-Koordinaten reduziert, d.h. die Koordinate parallel zur Hochachse H, um die sich der Auflieger 102 dreht, entfällt. Aus allen reduzierten Objektpunkten Pk wird in einem fünften Schritt eine Punktewolke 15 gebildet, durch die eine Ausgleichsgerade C gelegt wird. In einem abschließenden sechsten Schritt St6 wird der Ausgleichswinkel g zwischen der Ausgleichsgerade C, die in etwa parallel zur x3-Achse des Aufliegers 103 liegt, und der Bezugsachse C1, die beispielsweise durch die x1-Achse des ersten Koordinatensystems K1 gebildet wird, ermittelt. Dieser Ausgleichswinkel g entspricht ggf. unter Berücksichtigung des Kalibrier-Ausgleichswinkels gK dem Knickwinkel d, wenn davon ausgegangen wird, dass die Objektpunkte Pk gleichmäßig auf der Seitenwand 102c des Aufliegers 102 verteilt sind und die Seitenwand 102c in etwa parallel zur x3-Achse des aufliegerfesten dritten Koordinatensystems K3 verläuft.
-
Der Knickwinkel d kann von der Ermittlungseinrichtung 5 im Fahrzeug-Gespann 100 für eine entsprechende Anwendung, z.B. ein Stabilitätssystem (ESC, EBS, etc.) oder eine Navigation, bereitgestellt werden. Insbesondere kann aus dem zeitlichen Verhalten des Knickwinkels d auch eine Knick-Geschwindigkeit vd und/oder eine Knick-Beschleunigung ad ermittelt werden, um auf das Verhalten des Fahrzeug-Gespanns 100 während einer Kurvenfahrt schließen zu können.
-
Nach dem sechsten Schritt St6 beginnt das Verfahren von vor, um eine ständige Abfrage des Knickwinkels d in bestimmten Zeitintervallen zu ermöglichen.
-
Bezugszeichenliste
-
- 1
- Stereo-Kamerasystem
- 2a, 2b
- Kamera
- 3
- Rückspiegel
- 4
- Erfassungsbereich
- 5
- Ermittlungseinrichtung
- 6
- Fahrzeuglängsmittelebene
- 7
- Fahrzeugachse
- 8a, 8b
- Projektionszentrum der jeweiligen Kamera 2a, 2b
- 9a
- erster Bildsensor der ersten Kamera 2a
- 9b
- zweiter Bildsensor der zweiten Kamera 2b
- 10a
- erster Bildabschnitt
- 10b
- zweiter Bildabschnitt
- 11ai
- erste Bildpunkte des ersten Bildsensors 9a
- 11bi
- zweite Bildpunkte des zweiten Bildsensors 9b
- 12ai
- erste Bildwerte der jeweiligen ersten Bildpunkte 11ai
- 12bi
- zweite Bildwerte der jeweiligen zweiten Bildpunkte 11bi
- 13
- Epipolarebene
- 14a
- erste Epipolarlinie des ersten Bildsensors 9a
- 14b
- zweite Epipolarlinie des zweiten Bildsensors 9b
- 15
- Punktewolke
- 16a
- erster rektifizierter Bildabschnitt
- 16b
- zweiter rektifizierter Bildabschnitt
- 30
- Ebene
- 50a
- erste Abbildung
- 50b
- zweite Abbildung
- 100
- Fahrzeug-Gespann
- 101
- Zugfahrzeug
- 102
- Auflieger
- 102a
- hintere Kante des Aufliegers 102
- 102b
- Falte an der Seitenwand 102c
- 102c
- Seitenwand des Aufliegers 102
- 102d
- Schattierungen an der Seitenwand 102c
- 102e
- Muster an der Seitenwand 102c
- 103
- Königszapfen/Drehpunkt150 Schnittlinie
- 200
- Kurvenfahrt
- 201
- Geradeausfahrt
- A
- Abstand zwischen den Projektionszentren 8a, 8b
- APk
- Objekt-Abstand
- ad
- Knick-Beschleunigung
- B
- Brennweite
- C
- Ausgleichsgerade
- C1
- Bezugsachse
- d
- Knickwinkel
- dl
- Intensitätsänderung
- E
- Kantenerkennung
- Fak, Fbk
- Abbildungsabstände
- g
- Ausgleichswinkel
- gK
- Kalibrier-Ausgleichswinkel
- H
- Hochachse
- I
- Intensität
- K1
- erstes Koordinatensystem (zugfahrzeugfest)
- K2
- zweites Koordinatensystem (kamerafest)
- K3
- drittes Koordinatensystem (aufliegerfest)
- K4a, K4b
- viertes Koordinatensystem (Bildsensor 9a, 9b)
- K4a_r, K4b_r
- rektifiziertes viertes Koordinatensystem
- L
- Abstand zwischen den Geraden 102a, 150
- L1, L4, L5
- Versätzen zwischen KoordinatenursprüngenL2, L3 Abmessungen des Aufliegers 102
- L6
- Höhe der hinteren Kante 102a
- Mak, Mbk
- Merkmale im jeweiligen Bildabschnitt 10a, 10b
- n
- Abbildungswinkel
- n1
- Einbauwinkel der Kamera 2a
- Pk
- Objektpunkt
- Pz2, Px2
- Punktekoordinaten im zweiten Koordinatensystem K2
- Px3, Py3
- Punktekoordinaten im dritten Koordinatensystem K3
- Qak
- erster Abbildungspunkt
- Qbk
- zweiter Abbildungspunkt
- Qak_r
- rektifizierter erster Abbildungspunkt
- Qbk_r
- rektifizierter zweiter Abbildungspunkt
- S2a, S2b
- Kamerasignale
- SA
- Stereo-Algorithmus
- T
- Transformationsmatrix
- U
- Fahrzeug-Umfeld
- U1
- erster Koordinatenursprung in K1
- U2
- zweiter Koordinatenursprung in K2
- U3
- dritter Koordinatenursprung in K3
- V1, V2
- Verbindungslinien
- vd
- Knick-Geschwindigkeit
- Wk
- Disparität bezüglich des Objektpunktes Pk
- x1, y1, z1
- Koordinaten des ersten Koordinatensystems K1
- x2, y2, z2
- Koordinaten des zweiten Koordinatensystems K2
- x3, y3, z3
- Koordinaten des dritten Koordinatensystems K3
- x4a, y4a; x4b, y4b
- Koordinaten des jeweiligen vierten Koordinatensystems K4a; K4b
- x4a_r, y4a_r; x4b_r, y4b_r
- Koordinaten des jeweiligen rektifizierten vierten Koordinatensystems K4a_r; K4b_r
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014007900 A1 [0003]
- WO 2006/042665 A1 [0004]
- WO 2016/025120 A1 [0005]
- DE 102010006521 A1 [0006]