DE102022212568A1

DE102022212568A1 - Procedure for determining a relevant traffic light

Info

Publication number: DE102022212568A1
Application number: DE102022212568.1A
Authority: DE
Inventors: Peter Golya; Max Neuner; Jan-Sebastian Gerber; Jose Domingo Esparza Garcia
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-11-24
Filing date: 2022-11-24
Publication date: 2024-05-29

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer relevanten Verkehrsampel (4, 4a) mittels Aufnahmen (3) einer Frontkamera (2) eines Kraftfahrzeugs (1).
Erfindungsgemäß wird dabei in den Aufnahmen (3) ein sich horizontal nach oben trichterförmig erweiternder Aufnahmebereich (6) extrahiert und für Verkehrsampeln (4) im Aufnahmebereich (6) eine Punktezahl vergeben, wobei die Verkehrsampel (4) mit der höchsten Punktezahl als die relevante Verkehrsampel (4, 4a) bestimmt wird.
Die Erfindung betrifft des Weiteren ein Computerprogrammprodukt zur Ausführung des Verfahrens.

The present invention relates to a method for determining a relevant traffic light (4, 4a) by means of images (3) from a front camera (2) of a motor vehicle (1).
According to the invention, a recording area (6) widening horizontally upwards in a funnel shape is extracted in the recordings (3) and a number of points is assigned to traffic lights (4) in the recording area (6), wherein the traffic light (4) with the highest number of points is determined as the relevant traffic light (4, 4a).
The invention further relates to a computer program product for carrying out the method.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer relevanten Verkehrsampel mittels einer Frontkamera eines Kraftfahrzeugs. Die Erfindung betrifft des Weiteren ein Computerprogrammprodukt zur Ausführung des Verfahrens.The present invention relates to a method for determining a relevant traffic light using a front camera of a motor vehicle. The invention further relates to a computer program product for carrying out the method.

Die Erkennung von Verkehrsampeln spielt bei der Fahrerassistenz sowie bei zumindest teilautonomem Fahren eines Kraftfahrzeugs eine wichtige Rolle. Zu diesem Zweck können prinzipiell mittels einer Frontkamera des Kraftfahrzeugs aufgenommene Aufnahmen ausgewertet werden.The detection of traffic lights plays an important role in driver assistance and in at least partially autonomous driving of a motor vehicle. For this purpose, images taken using a front camera of the motor vehicle can in principle be evaluated.

Es ist in der Regel möglich, in den Aufnahmen der Frontkamera Verkehrsampeln zu erkennen. Zu diesem Zweck werden üblicherweise die dreidimensionalen Positionen der Verkehrsampeln bestimmt. Dies hat zur Folge, dass die Verkehrsampeln lediglich aus kurzen Distanzen der Frontkamera und somit des Kraftfahrzeugs zu den Verkehrsampeln erkannt werden können. Zudem erfordert eine derartige Erkennung der Verkehrsampeln einen hohen Rechenaufwand und benötigt folglich erhöhte Ressourcen.It is usually possible to recognize traffic lights in the images from the front camera. For this purpose, the three-dimensional positions of the traffic lights are usually determined. This means that the traffic lights can only be recognized from short distances between the front camera and the vehicle and the traffic lights. In addition, such detection of the traffic lights requires a high level of computing effort and therefore requires increased resources.

Werden Verkehrsampeln erkannt, besteht ferner die Herausforderung der Bestimmung der Relevanz der jeweiligen Verkehrsampeln.If traffic lights are detected, there is also the challenge of determining the relevance of the respective traffic lights.

Die vorliegende Erfindung beschäftigt sich mit der Aufgabe, für ein Verfahren zur Bestimmung einer relevanten Verkehrsampel sowie für ein Computerprogrammprodukt zur Ausführung des Verfahrens verbesserte oder zumindest andere Ausführungsformen anzugeben, welche insbesondere Nachteile aus dem Stand der Technik beseitigen. Insbesondere beschäftigt sich die vorliegende Erfindung mit der Aufgabe, für das Verfahren sowie für das Computerprogrammprodukt verbesserte oder zumindest alternative Ausführungsformen anzugeben, welche sich durch eine zuverlässige Bestimmung einer relevanten Verkehrsampel bei reduziertem Ressourcenbedarf auszeichnen.The present invention is concerned with the task of specifying improved or at least alternative embodiments for a method for determining a relevant traffic light and for a computer program product for carrying out the method, which in particular eliminate disadvantages from the prior art. In particular, the present invention is concerned with the task of specifying improved or at least alternative embodiments for the method and for the computer program product, which are characterized by a reliable determination of a relevant traffic light with reduced resource requirements.

Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhaft Ausführungsformen sind Gegenstand der abhängigen Ansprüche.This object is achieved according to the invention by the subject matter of the independent claims. Advantageous embodiments are the subject matter of the dependent claims.

Die vorliegende Erfindung beruht demnach auf dem allgemeinen Gedanken, eine relevante Verkehrsampel unmittelbar in Aufnahmen einer Frontkamera eines Kraftfahrzeugs und somit im Zweidimensionalen zu erkennen, indem in den Aufnahmen ein relevanter, sich vertikal nach oben verbreitender Bereich extrahiert und lediglich erkannte Verkehrsampeln in diesem Bereich berücksichtigt werden, wobei eine relevante Verkehrsampel mittels Abständen der Verkehrsampeln im relevanten Bereich und somit wiederum in Zweidimensionalen bestimmt wird. Die Erkennung und Bestimmungen im Zweidimensionalen führt zu einem reduzierten Ressourcenbedarf zur Ausführung des Verfahrens. Zudem wird mittels der Berücksichtigung lediglich des sich horizontal nach oben erweiterten Bereichs, nachfolgend auch als Aufnahmebereich bezeichnet, wiederum der Ressourcenbedarf reduziert. Der Aufnahmebereich berücksichtigt ferner, dass eine für ein die Frontkamera aufweisendes Kraftfahrzeug, nachfolgend auch als Egofahrzeug bezeichnet, relevante Verkehrsampel sich bei größerer Entfernung zum Egofahrzeug in einem im wesentlichen rechteckigen Bereich der Aufnahmen befindet und bei abnehmender Entfernung in den Aufnahmen nach oben wandert und relativ zum Zentrum der Aufnahmen seitlich versetzt sein kann. Somit erfolgt also eine zuverlässige Bestimmung der für das Egofahrzeug relevanten Verkehrsampel.The present invention is therefore based on the general idea of recognizing a relevant traffic light directly in images from a front camera of a motor vehicle and thus in two dimensions by extracting a relevant area that extends vertically upwards in the images and only taking into account recognized traffic lights in this area, whereby a relevant traffic light is determined by means of the distances between the traffic lights in the relevant area and thus again in two dimensions. The recognition and determination in two dimensions leads to a reduced resource requirement for carrying out the method. In addition, by taking into account only the area that extends horizontally upwards, hereinafter also referred to as the recording area, the resource requirement is again reduced. The recording area also takes into account that a traffic light relevant for a motor vehicle with the front camera, hereinafter also referred to as the ego vehicle, is located in an essentially rectangular area of the images at a greater distance from the ego vehicle and moves upwards in the images as the distance decreases and can be offset laterally relative to the center of the images. This means that the traffic light relevant for the ego vehicle is reliably determined.

Dem Erfindungsgedanken entsprechend werden beim Verfahren zur Bestimmung einer relevanten Verkehrsampel mittels einer Frontkamera des Kraftfahrzeugs bzw. Egofahrzeugs in aufeinanderfolgenden Aufnahme der Frontkamera Verkehrsampeln detektiert. Anschließend werden für die jeweilige Verkehrsampel Randbedingungen geprüft. Zudem wird ein Kreuzpunkt der Vektoren im optischen Fluss der Aufnahmen bestimmt. Der Aufnahmebereich wird als sich ausgehend vom Kreuzpunkt vertikal nach oben trichterförmig erweiternd extrahiert. Der Aufnahmebereich weist einen Grundabschnitt und einen sich ausgehend vom Grundabschnitt erweiternden Trichterabschnitt auf. Für die jeweilige Verkehrsampel im Aufnahmebereich wird abhängig von Abständen der Verkehrsampel zum Kreuzpunkt eine Punktezahl vergeben, wobei die Verkehrsampel mit der höchsten Punktezahl als die relevante Verkehrsampel bestimmt wird.According to the inventive concept, in the method for determining a relevant traffic light using a front camera of the motor vehicle or ego vehicle, traffic lights are detected in successive images of the front camera. Subsequently, boundary conditions are checked for the respective traffic light. In addition, an intersection point of the vectors in the optical flow of the images is determined. The recording area is extracted as expanding vertically upwards in a funnel shape starting from the intersection point. The recording area has a base section and a funnel section expanding starting from the base section. A number of points is awarded for the respective traffic light in the recording area depending on the distance of the traffic light to the intersection point, with the traffic light with the highest number of points being determined as the relevant traffic light.

Wie vorstehend erläutert, ist der Kreuzpunkt derjenige der Vektoren im optischen Fluss. Bei dem Kreuzpunkt handelt es sich also um den sogenannten „Focus of Expansion“, auch unter der Abkürzung „FOE“ geläufig.As explained above, the intersection point is that of the vectors in the optical flow. The intersection point is therefore the so-called “Focus of Expansion”, also known by the abbreviation “FOE”.

Unter relevante Verkehrsampel ist vorliegend diejenige Verkehrsampel zu verstehen, welche für das Kraftfahrzeug die Verkehrssituation regelt. Die relevante Verkehrsampel ist also insbesondere derjenigen Fahrbahn, auf der sich das Kraftfahrzeug befindet und fährt, nachfolgend auch als Egofahrbahn bezeichnet, zugeordnet.In this case, the relevant traffic light is the traffic light that regulates the traffic situation for the motor vehicle. The relevant traffic light is therefore assigned in particular to the lane on which the motor vehicle is located and driving, hereinafter also referred to as the ego lane.

Die Frontkamera des Kraftfahrzeugs kann einen einzigen Bildsensor aufweisen und somit aufeinanderfolgend lediglich jeweils eine Aufnahme bereitstellen.The front camera of the motor vehicle can have a single image sensor and thus only provide one image at a time.

Es versteht sich, dass die Frontkamera ebenso zwei oder mehr Bildsensoren aufweisen kann, welche zueinander versetzt und/oder beabstandet sind, sodass sie unterschiedliche Perspektiven aufnehmen. Dabei stellen die Bildsensoren gleichzeitig oder nacheinander entsprechende Aufnahmen bereit, welche herangezogen werden können.It is understood that the front camera can also have two or more image sensors that are offset and/or spaced apart from each other so that they capture different perspectives. The image sensors provide corresponding images simultaneously or sequentially, which can be used.

Vorzugsweise wird eine relevante Verkehrsampel lediglich dann bestimmt, wenn zumindest eine untere Grenze der Punktezahl, also eine Mindestpunktezahl vorliegt. Somit wird vermieden, dass im Aufnahmebereich vorhandene, jedoch irrelevante Verkehrsampeln als relevante Verkehrsampel bestimmt werden.Preferably, a relevant traffic light is only determined if there is at least a lower limit of the number of points, i.e. a minimum number of points. This avoids irrelevant traffic lights that are present in the recording area being determined as relevant traffic lights.

Der Grundabschnitt des Aufnahmebereichs erstreckt sich zweckmäßig horizontal über einen Teilabschnitt der Aufnahmen.The basic section of the recording area conveniently extends horizontally over a section of the recordings.

Der Grundabschnitt des Aufnahmebereichs ist zweckmäßig in der Art eines Rechtecks gewählt bzw. extrahiert.The basic section of the recording area is conveniently selected or extracted in the form of a rectangle.

Bei bevorzugten Ausführungsformen wird der Aufnahmebereich derart extrahiert, dass eine horizontale Breite des Grundabschnitts, nachfolgend auch als Grundabschnitt-Breite bezeichnet, im Wesentlichen einer horizontalen Breite der Egofahrbahn entspricht. Das heißt, dass die Grundabschnitt-Breite im Wesentlichen einer horizontalen Fahrbahn-Breite der Egofahrbahn des Kraftfahrzeugs in den Aufnahmen entspricht. Auf diese Weise werden, insbesondere bei größeren Entfernungen zwischen dem Kraftfahrzeug und Verkehrsampeln, diejenigen Verkehrsampeln berücksichtigt, welche sich im Bereich der Egofahrbahn befinden. Folglich kommt es also zu einer Berücksichtigung lediglich relevanter Verkehrsampeln und einer verbesserten Erkennung der relevanten Verkehrsampel. Es wird also neben einem reduzierten Ressourcenbedarf eine verbesserte Erkennung der relevanten Verkehrsampel erreicht.In preferred embodiments, the recording area is extracted in such a way that a horizontal width of the base section, hereinafter also referred to as the base section width, essentially corresponds to a horizontal width of the ego lane. This means that the base section width essentially corresponds to a horizontal lane width of the ego lane of the motor vehicle in the recordings. In this way, especially with greater distances between the motor vehicle and traffic lights, those traffic lights that are in the area of the ego lane are taken into account. Consequently, only relevant traffic lights are taken into account and the relevant traffic lights are detected more effectively. In addition to a reduced need for resources, an improved detection of the relevant traffic lights is achieved.

Als bevorzugt gelten Ausführungsformen, bei denen der Aufnahmebereich derart extrahiert wird, dass der Trichterabschnitt sich mit einem Winkel zwischen 10 Grad und 45 Grad öffnet. Das heißt, dass sich der Trichterabschnitt ausgehend vom Grundabschnitt mit einem Winkel zwischen 15° und 45° öffnet. Insbesondere der öffnet sich der Trichterabschnitt einem Winkel von 15 Grad. sich Dies hat zur Folge, dass, insbesondere bei kürzeren Entfernungen zwischen dem Kraftfahrzeug und Verkehrsampeln, Verschiebungen der relevanten Verkehrsampel relativ zum Kreuzpunkt in horizontaler Richtung berücksichtigt werden, wobei der Trichterabschnitt zugleich klein genug ist, um bei reduziertem Ressourcenbedarf die relevante Verkehrsampel zuverlässig zu bestimmen.Preferred embodiments are those in which the recording area is extracted in such a way that the funnel section opens at an angle between 10 degrees and 45 degrees. This means that the funnel section opens at an angle between 15° and 45° starting from the base section. In particular, the funnel section opens at an angle of 15 degrees. This means that, particularly with shorter distances between the motor vehicle and traffic lights, displacements of the relevant traffic light relative to the intersection point in the horizontal direction are taken into account, with the funnel section at the same time being small enough to reliably determine the relevant traffic light with reduced resource requirements.

Als vorteilhaft gelten Ausführungsformen, bei welchen der Aufnahmebereich derart extrahiert wird, dass der Grundabschnitt eine vertikale Grundhöhe aufweist, welche zwischen ein Drittel und zwei Drittel einer vertikalen Gesamthöhe des Aufnahmebereichs, insbesondere zwei Fünftel der Gesamthöhe, entspricht. Somit werden bei größeren Entfernungen des Kraftfahrzeugs zu Verkehrsampeln lediglich ein kleiner Bereich der Aufnahmen berücksichtigt und bei abnehmender Entfernung des Kraftfahrzeugs zu Verkehrsampeln horizontale Verschiebungen der Verkehrsampel in den Aufnahmen ausreichend berücksichtigt. In der Folge kommt es bei einem reduzierten Ressourcenbedarf zu einer verbesserten Bestimmung der relevanten Verkehrsampel.Embodiments are considered advantageous in which the recording area is extracted in such a way that the base section has a vertical base height which corresponds to between one third and two thirds of a total vertical height of the recording area, in particular two fifths of the total height. Thus, when the distance of the motor vehicle to traffic lights is greater, only a small area of the recordings is taken into account and, when the distance of the motor vehicle to traffic lights decreases, horizontal shifts of the traffic light are sufficiently taken into account in the recordings. As a result, the relevant traffic light is determined more effectively with a reduced need for resources.

Bei den Randbedingungen kann es sich prinzipiell um solche beliebiger Art handeln.In principle, the boundary conditions can be of any kind.

Die Randbedingungen dienen insbesondere dem Zweck, zu erkennen, ob und wie das Kraftfahrzeug auf einer bestimmten Fahrbahn fährt.The boundary conditions serve in particular the purpose of detecting whether and how the motor vehicle drives on a particular road.

Bei bevorzugten Ausführungsformen wird als Randbedingung eine Geradeausfahrt des Kraftfahrzeugs geprüft. Insbesondere ist es vorstellbar, die Bestimmung der relevanten Verkehrsampel durchzuführen, wenn eine solche Geradeausfahrt des Kraftfahrzeugs erkannt wird. Darunter sind neben einer Lenkung von 0° auch Lenkung des Kraftfahrzeugs in einem vorgegebenen, engen Bereich zu verstehen.In preferred embodiments, the boundary condition is that the motor vehicle is travelling straight ahead. In particular, it is conceivable to determine the relevant traffic light when such a straight ahead journey of the motor vehicle is detected. In addition to steering at 0°, this also includes steering the motor vehicle in a predetermined, narrow area.

Vorzugsweise wird als Randbedingung eine Gierrate des Kraftfahrzeugs geprüft. Insbesondere kann mittels der Gierrate eine Geradeausfahrt des Kraftfahrzeugs erkannt werden. Vorzugsweise wird die Bestimmung der relevanten Verkehrsampel durchgeführt, wenn die Gierrate innerhalb eines vorgegebenen Bereichs liegt, welche vorzugsweise 0 enthält.Preferably, a yaw rate of the motor vehicle is checked as a boundary condition. In particular, the yaw rate can be used to detect whether the motor vehicle is traveling straight ahead. Preferably, the relevant traffic light is determined when the yaw rate is within a predetermined range, which preferably contains 0.

Als Randbedingung kann eine Geschwindigkeit des Kraftfahrzeugs geprüft werden. Insbesondere ist es möglich, mittels der Geschwindigkeit und der Gierrate eine Geradeausfahrt des Kraftfahrzeugs zu erkennen.The speed of the vehicle can be checked as a boundary condition. In particular, it is possible to detect whether the vehicle is driving straight ahead using the speed and the yaw rate.

Vorteilhaft wird als Randbedingung geprüft, ob die jeweilige Verkehrsampel in der Aufnahme eine Mindestgröße überschreitet. Das heißt, dass insbesondere geprüft wird, ob die jeweilige Kamera in den Aufnahmen eine Mindestanzahl an Pixel umfasst. Die Mindestgröße ist ein Indiz für die Entfernung des Kraftfahrzeugs zu der Verkehrsampel, sodass lediglich diejenigen Verkehrsampeln berücksichtigt werden, welche sich nahe genug zum Kraftfahrzeug befinden. Auf diese Weise wird neben einer Reduzierung des Ressourcenbedarfs eine zuverlässigere Bestimmung der relevanten Verkehrsampel erreicht.It is advantageous to check as a boundary condition whether the respective traffic light in the recording exceeds a minimum size. This means that it is checked in particular whether the respective camera in the recordings contains a minimum number of pixels. The minimum size is an indication of the distance of the motor vehicle to the traffic light, so that only those traffic lights are taken into account that are close enough to the power vehicle. In this way, in addition to reducing resource requirements, a more reliable determination of the relevant traffic light is achieved.

Die Vergabe der Punktezahl berücksichtigt zweckmäßig Aspekte der relevanten Verkehrsampel.The awarding of the number of points appropriately takes into account aspects of the relevant traffic light.

Bei bevorzugten Ausführungsformen wird für die Punktezahl ein horizontaler und/oder vertikaler Abstand der Verkehrsampel zum Kreuzpunkt berücksichtigt, wobei je kleiner der Abstand, desto höher die Punktezahl ist. Das heißt, dass je näher eine Verkehrsampel zum Kreuzpunkt ist, desto höher ist die Wahrscheinlichkeit, des es sich dabei um die relevante Verkehrsampel handelt, wobei dies mittels der beschriebenen, vom Abstand zum Kreuzpunkt abhängigen Punktezahl berücksichtigt wird.In preferred embodiments, a horizontal and/or vertical distance between the traffic light and the intersection is taken into account for the score, with the smaller the distance, the higher the score. This means that the closer a traffic light is to the intersection, the higher the probability that it is the relevant traffic light, and this is taken into account by means of the described score that depends on the distance to the intersection.

Bei vorteilhaften Ausführungsformen wird für die Punktezahl die Gierrate des Kraftfahrzeugs berücksichtigt, wobei je kleiner die Gierrate, desto höher die Punktezahl ist. Das heißt, dass je mehr das Kraftfahrzeug Geradeausfahrt bzw. je weniger das Kraftfahrzeug Kurven fährt, desto wahrscheinlicher ist die relevante Verkehrsampel im Aufnahmebereich. Dies wird mittels der beschriebenen, von der Gierrate abhängigen Punktezahl berücksichtigt.In advantageous embodiments, the yaw rate of the motor vehicle is taken into account for the score, whereby the smaller the yaw rate, the higher the score. This means that the more the motor vehicle travels straight ahead or the less the motor vehicle corners, the more likely the relevant traffic light is in the recording area. This is taken into account using the described score, which depends on the yaw rate.

Bei vorteilhaft Ausführungsformen geprüft, ob eine Fahrbahnbegrenzung der Fahrbahn, auf welcher das Kraftfahrzeug fährt, gerade verläuft, wobei je gerader die Fahrbahnbegrenzung, desto höher die Punktezahl ist. Dabei wird berücksichtigt, dass eine gerade Fahrbahnbegrenzung eine entsprechende Geradeausfahrt des Kraftfahrzeugs bedeutet oder ein Indiz hierfür ist, sodass die relevante Verkehrsampel mit erhöhter Wahrscheinlichkeit im Aufnahmebereich liegt. Dies wird mittels der beschriebenen, von dem geraden Verlauf der Fahrbahnbegrenzung abhängigen Punktezahl berücksichtigt.In advantageous embodiments, it is checked whether a road boundary of the road on which the motor vehicle is traveling is straight, whereby the straighter the road boundary, the higher the number of points. It is taken into account that a straight road boundary means that the motor vehicle is traveling straight ahead or is an indication of this, so that the relevant traffic light is more likely to be in the recording area. This is taken into account using the described number of points, which depends on the straight course of the road boundary.

Das erfindungsgemäße Verfahren wird vorzugsweise mittels eines Computerprogrammprodukts ausgeführt.The method according to the invention is preferably carried out by means of a computer program product.

Das Computerprogrammprodukt enthält zu diesem Zweck durch ein Computersystem auslesbare Anweisungen, welche bewirken, dass das Computersystem beim Ausführen des Computerprogrammprodukts das Verfahren ausführt.For this purpose, the computer program product contains instructions that can be read by a computer system and that cause the computer system to carry out the method when executing the computer program product.

Das Kraftfahrzeug kann zur Ausführung des Verfahrens eine Steuereinrichtung aufweisen. Die Steuereinrichtung ist zweckmäßig kommunizierend mit der Frontkamera verbunden.The motor vehicle can have a control device for carrying out the method. The control device is expediently connected to the front camera in a communicative manner.

Das Computerprogrammprodukt kann zumindest teilweise im Kraftfahrzeug hinterlegt sein. Insbesondere ist es vorstellbar, dass das Computerprogrammprodukt zumindest teilweise in der Steuereinrichtung des Kraftfahrzeugs hinterlegt ist.The computer program product can be stored at least partially in the motor vehicle. In particular, it is conceivable that the computer program product is stored at least partially in the control device of the motor vehicle.

Das Kraftfahrzeug kann das Computersystem zumindest teilweise umfassen. Insbesondere kann das Computersystem zumindest teilweise Bestandteil der Steuereinrichtung sein.The motor vehicle can at least partially comprise the computer system. In particular, the computer system can at least partially be a component of the control device.

Es versteht sich, dass neben dem Verfahren auch das Computerprogrammprodukt zum Umfang dieser Erfindung gehört.It is understood that in addition to the method, the computer program product also belongs to the scope of this invention.

Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus den Zeichnungen und aus der zugehörigen Figurenbeschreibung anhand der Zeichnungen.Further important features and advantages of the invention emerge from the subclaims, from the drawings and from the associated description of the figures with reference to the drawings.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It is understood that the features mentioned above and those to be explained below can be used not only in the combination specified in each case, but also in other combinations or on their own, without departing from the scope of the present invention.

Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Komponenten beziehen.Preferred embodiments of the invention are illustrated in the drawings and are explained in more detail in the following description, wherein like reference numerals refer to like or similar or functionally identical components.

Dabei zeigen, jeweils schematisch

1 eine Aufnahme einer Frontkamera eines Kraftfahrzeugs mit Ergänzungen,
2 ein Flussdiagramm zur Erläuterung eines Verfahrens zur Bestimmung einer relevanten Verkehrsampel,
3 eine stark vereinfachte Straßenkonstellation mit dem Kraftfahrzeug und Verkehrsampeln in einer Draufsicht.

Showing schematically

1 a picture taken by a front camera of a motor vehicle with additions,
2 a flow chart explaining a procedure for determining a relevant traffic light,
3 a highly simplified road constellation with the motor vehicle and traffic lights in a top view.

Ein Kraftfahrzeug 1, wie es in 3 stark vereinfacht und beispielhaft gezeigt ist, weist eine Frontkamera 2 auf, welche im Betrieb Aufnahmen 3 (siehe 1 und 2) erzeugt. Es wird nachfolgend rein beispielhaft angenommen, dass die Frontkamera 2 einen einzelnen Bildsensor (nicht gezeigt) aufweist, sodass die Frontkamera 2 im Betrieb nacheinander jeweils eine Aufnahme 3 erzeugt.A motor vehicle 1 as described in 3 greatly simplified and shown as an example, has a front camera 2, which in operation takes pictures 3 (see 1 and 2 ). It is assumed below purely by way of example that the front camera 2 has a single image sensor (not shown), so that the front camera 2 generates one image 3 in succession during operation.

Dabei zeigt 1 eine solche Aufnahme 3. 2 zeigt ein Flussdiagramm zur Erläuterung eines Verfahrens zur Bestimmung einer relevanten Verkehrsampel 4, 4a mittels den Aufnahmen 3. 3 zeigt eine stark vereinfachte Draufsicht auf das Kraftfahrzeug 1 in einer Straßenkonstellation bzw. Fahrtkonstellation.This shows 1 such a recording 3. 2 shows a flow chart to explain a method for determining a relevant traffic light 4, 4a using the recordings 3. 3 shows a highly simplified top view of the motor vehicle 1 in a road constellation or driving constellation.

Entsprechend 2 werden zur Bestimmung einer relevanten Verkehrsampel 4, 4a mittels der Frontkamera 2, die in 2 aufeinanderfolgenden dargestellten Aufnahmen 3 der Frontkamera 2 verwendet. Dabei werden in einer Verfahrensmaßnahme 100 in den aufeinanderfolgenden Aufnahmen 3 Verkehrsampeln 4 detektiert. Diese Verfahrensmaßnahme 100 wird nachfolgend auch als Detektionsmaßnahme 100 bezeichnet. In einer Verfahrensmaßnahme 101 werden für die jeweilige Verkehrsampel 4 Randbedingungen geprüft. Diese Verfahrensmaßnahme 101 wird nachfolgend auch als Legitimierungsmaßnahme 101 bezeichnet. In einer Verfahrensmaßnahme 102 wird, wie in 1 dargestellt, ein Kreuzpunkt 5 der nicht gezeigten Vektoren im optischen Fluss bestimmt. Der Kreuzpunkt 5 entspricht dabei dem sogenannten „Focus of Expansion“, auch unter der Abkürzung „FOE“ geläufig. Die Verfahrensmaßnahme 102 wird nachfolgend auch als Extraktionsmaßnahme 102 bezeichnet. In der Extraktionsmaßnahme 102 wird ferner ein sich ausgehend vom Kreuzpunkt 5 vertikal nach oben trichterförmig erweiternder Aufnahmebereich 6 (siehe 1) mit einem Grundabschnitt 7 und einem sich ausgehend vom Grundabschnitt 7 erweiternder Trichterabschnitt 8 extrahiert. Der Grundabschnitt 7 ist, wie in 1 zu sehen ist, im gezeigten Ausführungsbeispiel in der Art eines Rechtecks geformt. In einer Verfahrensmaßnahme 103 wird für die jeweilige Verkehrsampel 4 im Aufnahmebereich 6 abhängig von Abständen der Verkehrsampel 4 zum Kreuzpunkt 5 eine Punktezahl vergeben. Die Verfahrensmaßnahme 103 wird nachfolgend auch als Bewertungsmaßnahmen 103 bezeichnet. In einer Verfahrensmaßnahme 104 wird diejenige Verkehrsampel 4 mit der höchsten Punktezahl und somit die höchstbewertete Verkehrsampel 4 als die relevante Verkehrsampel 4, 4a bestimmt. Die Verfahrensmaßnahme 104 wird nachfolgend auch als Bestimmungsmaßnahmen 104 bezeichnet. Wie in 3 angedeutet wird in der Bestimmungsmaßnahmen 104 eine der Verkehrsampeln 4, in der Darstellung die mittige Verkehrsampel 4, als relevante Verkehrsampel 4 ,4a bestimmt. Die übrigen Verkehrsampel 4 werden demgegenüber verworfen bzw. als irrrelevant eingestuft, wobei dies in 3 mit durchgestrichenen Verkehrsampeln 4 angedeutet ist. In der Bestimmungsmaßnahme 104 wird für die relevante Verkehrsampel 4, 4a eine untere Grenze der Punktezahl vorausgesetzt. Das heißt, dass in der Bestimmungsmaßnahmen 104 eine relevante Verkehrsampel 4, 4a lediglich dann bestimmt wird, wenn für die Verkehrsampel 4 eine Mindest-Punktezahl vergeben wird.Accordingly 2 are used to determine a relevant traffic light 4, 4a by means of the front camera 2, which is in 2 successive images 3 of the front camera 2 are used. In a procedural measure 100, traffic lights 4 are detected in the successive images 3. This procedural measure 100 is also referred to below as detection measure 100. In a procedural measure 101, boundary conditions are checked for the respective traffic light 4. This procedural measure 101 is also referred to below as legitimation measure 101. In a procedural measure 102, as in 1 shown, a crossing point 5 of the vectors not shown in the optical flow is determined. The crossing point 5 corresponds to the so-called "Focus of Expansion", also known by the abbreviation "FOE". The method measure 102 is also referred to below as extraction measure 102. In the extraction measure 102, a recording area 6 (see 1 ) with a base section 7 and a funnel section 8 extending from the base section 7. The base section 7 is, as in 1 can be seen, in the embodiment shown, it is shaped like a rectangle. In a procedural measure 103, a number of points is awarded for the respective traffic light 4 in the recording area 6 depending on the distances of the traffic light 4 to the intersection point 5. The procedural measure 103 is also referred to below as evaluation measures 103. In a procedural measure 104, the traffic light 4 with the highest number of points and thus the highest-rated traffic light 4 is determined as the relevant traffic light 4, 4a. The procedural measure 104 is also referred to below as determination measures 104. As in 3 In the determination measures 104, one of the traffic lights 4, in the illustration the central traffic light 4, is determined as the relevant traffic light 4,4a. The other traffic lights 4 are rejected or classified as irrelevant, whereby this is indicated in 3 with crossed-out traffic lights 4. In the determination measure 104, a lower limit of the number of points is assumed for the relevant traffic light 4, 4a. This means that in the determination measure 104, a relevant traffic light 4, 4a is only determined if a minimum number of points is awarded for the traffic light 4.

Die Legitimierungsmaßnahme 101 umfasst vorzugsweise die Prüfung einer Mindestgröße der Verkehrsampeln 4 in der Aufnahme 3 als Randbedingung. Es wird dabei insbesondere geprüft, ob die Verkehrsampeln 4 in der Aufnahme 3 eine minimale Anzahl an Pixeln (nicht gezeigt) umfasst. Dabei werden Verkehrsampeln 4 nicht berücksichtigt, welche die Mindestgröße nicht erfüllen. Somit werden weiter entfernte Verkehrsampeln 4 ausgeschlossen.The legitimation measure 101 preferably includes checking a minimum size of the traffic lights 4 in the image 3 as a boundary condition. In particular, it is checked whether the traffic lights 4 in the image 3 comprise a minimum number of pixels (not shown). Traffic lights 4 that do not meet the minimum size are not taken into account. Traffic lights 4 that are further away are thus excluded.

Vorzugsweise umfasst auch die Bewertungsmaßnahme 103 die Überprüfung einer Mindestgröße der Verkehrsampeln 4 im Aufnahmebereich 6. Dabei wird in der Bewertungsmaßnahmen 103 eine höhere Punktezahl vergeben, je größer die Verkehrsampel 4 im Aufnahmebereich 6 ist.Preferably, the evaluation measure 103 also includes checking a minimum size of the traffic lights 4 in the recording area 6. In this case, the larger the traffic light 4 in the recording area 6, the higher the number of points is awarded in the evaluation measure 103.

Die Legitimierungsmaßnahme 101 umfasst vorzugsweise die Prüfung einer Gierrate des Kraftfahrzeugs 1. Dabei werden bei Überschreitung einer vorgegebenen Gierrate des Kraftfahrzeugs 1 detektierte Verkehrsampeln 4 nicht berücksichtigt. Somit wird berücksichtigt, dass bei einer Kurvenfahrt des Kraftfahrzeugs 1 mittels der Frontkamera 2 aufgenommene Verkehrsampeln 4 für das Kraftfahrzeug 1 keine Rolle spielen können.The legitimation measure 101 preferably includes checking a yaw rate of the motor vehicle 1. If a predetermined yaw rate of the motor vehicle 1 is exceeded, traffic lights 4 detected are not taken into account. This takes into account that when the motor vehicle 1 is cornering, traffic lights 4 recorded by the front camera 2 cannot play a role for the motor vehicle 1.

Vorzugsweise wird die Gierrate in der Bewertungsmaßnahme 103 berücksichtigt. Dabei gilt, dass je kleiner der Betragswert der Gierrate, desto höher die Punktezahl ist.Preferably, the yaw rate is taken into account in the evaluation measure 103. The smaller the value of the yaw rate, the higher the score.

Die Legitimierungsmaßnahme 101 kann die Prüfung einer Geschwindigkeit des Kraftfahrzeugs 1 umfassen. Insbesondere kann in der Legitimierungsmaßnahme 101 eine Mindestgeschwindigkeit des Kraftfahrzeugs 1 gefordert werden. In der Legitimierungsmaßnahme 101 kann mittels der Geschwindigkeit und der Gierrate eine Kurvenfahrt bzw. Geradeausfahrt des Kraftfahrzeugs 1 erkannt werden. Dabei werden detektierte Verkehrsampeln 4 vorzugsweise lediglich dann berücksichtigt, wenn das Kraftfahrzeug 1 Geradeaus und/oder innerhalb vorgegebener Grenzen eine Kurve fährt.The legitimation measure 101 can include checking the speed of the motor vehicle 1. In particular, the legitimation measure 101 can require a minimum speed of the motor vehicle 1. In the legitimation measure 101, cornering or straight-ahead driving of the motor vehicle 1 can be detected using the speed and the yaw rate. Detected traffic lights 4 are preferably only taken into account when the motor vehicle 1 is driving straight and/or cornering within predetermined limits.

Besagte Ermittlung der Geradeausfahrt und/oder der Kurvenfahrt innerhalb vorgegebener Grenzen wird vorzugsweise zudem in der Bewertungsmaßnahme 103 berücksichtigt. Dabei gilt, dass je gerader das Kraftfahrzeug 1 fährt, desto höher die Punktezahl ist.The said determination of straight-ahead driving and/or cornering within predetermined limits is preferably also taken into account in the assessment measure 103. The straighter the motor vehicle 1 drives, the higher the score.

Bevorzugt wird in der Legitimierungsmaßnahme 101 als Randbedingung geprüft, ob eine Fahrbahnbegrenzung 9 der Fahrbahn 10, auf welcher das Kraftfahrzeug 1 fährt, nachfolgend auch als Egofahrbahn 10 bezeichnet, gerade verläuft. Dabei werden Verkehrsampeln 4 vorzugsweise lediglich dann berücksichtigt, wenn die Fahrbahnbegrenzung 9 im Wesentlichen gerade verläuft. Somit werden Verkehrsampeln 4 lediglich bei einer im Wesentlichen Geradeausfahrt des Kraftfahrzeugs 1 berücksichtigt.Preferably, in the legitimation measure 101, it is checked as a boundary condition whether a lane boundary 9 of the lane 10 on which the motor vehicle 1 is traveling, hereinafter also referred to as the ego lane 10, is straight. Traffic lights 4 are preferably only taken into account if the lane boundary 9 is essentially straight. Traffic lights 4 are therefore only taken into account if the motor vehicle 1 is traveling essentially straight ahead.

Vorzugsweise wird der Verlauf der Fahrbahnbegrenzung 9 der Egofahrbahn 10 in der Bewertungsmaßnahme 103 berücksichtigt. Dabei gilt, dass je gerader die Fahrerbegrenzung 9, desto höher die Punktezahl.Preferably, the course of the lane boundary 9 of the ego lane 10 is taken into account in the assessment ment measure 103 is taken into account. The straighter the driver limit 9, the higher the number of points.

Vorzugsweise wird in der Bewertungsmaßnahmen 103 für die Punktezahl ein horizontaler und/oder vertikaler Abstand der jeweiligen Verkehrsampel 4 im Aufnahmebereich 6 zum Kreuzpunkt 5 berücksichtigt, wobei je kleiner der Abstand, desto höher die Punktezahl ist. Es wird also diejenige Verkehrsampel 4 als relevante Verkehrsampel 4, 4a erkannt, welche möglichst mittig im Aufnahmebereich 6 und/oder möglichst nahe zum Kreuzpunkt 5 angeordnet ist. Dabei wird berücksichtigt, dass die für das Kraftfahrzeug 1 relevante Verkehrsampel 4, 4a üblicherweise möglichst nahe und/oder mittig zum Kraftfahrzeug 1 positioniert ist.Preferably, in the evaluation measures 103, a horizontal and/or vertical distance of the respective traffic light 4 in the recording area 6 to the intersection 5 is taken into account for the number of points, whereby the smaller the distance, the higher the number of points. The traffic light 4 that is thus recognized as the relevant traffic light 4, 4a is that which is arranged as centrally as possible in the recording area 6 and/or as close as possible to the intersection 5. This takes into account that the traffic light 4, 4a relevant for the motor vehicle 1 is usually positioned as close and/or centrally as possible to the motor vehicle 1.

Wie 1 entnommen werden kann, entspricht im gezeigten Ausführungsbeispiel eine horizontale Grundabschnitt-Breite 11 des Grundabschnitts 7 im Wesentlichen einer horizontalen Fahrbahn-Breite 12 der Egofahrbahn 10 des Kraftfahrzeugs 1 in den Aufnahmen 6. Wie 1 ferner entnommen werden kann, öffnet sich im gezeigten Ausführungsbeispiel der Trichterabschnitt 8 ausgehend vom Grundabschnitt 7 mit einem Winkel zwischen 10 Grad und 45 Grad, im gezeigten Ausführungsbeispiel mit einem Winkel von 15 Grad. Wie 1 zudem entnommen werden kann, entspricht im gezeigten Ausführungsbeispiel eine vertikale Grundhöhe 13 des Grundabschnitts 7 zwischen ein Drittel zwei Drittel einer vertikalen Gesamthöhe 14 des Aufnahmebereichs 6, im gezeigten Ausführungsbeispiel zwei Fünftel der Gesamthöhe 14. Somit kommt es zu einer ausreichend hohen Einschränkung des Aufnahmebereichs 6 bei zugleich zuverlässiger Bestimmung der relevanten Verkehrsampel 4, 4a.How 1 can be seen, in the embodiment shown, a horizontal base section width 11 of the base section 7 essentially corresponds to a horizontal lane width 12 of the ego lane 10 of the motor vehicle 1 in the recordings 6. As 1 can also be removed, in the embodiment shown the funnel section 8 opens from the base section 7 at an angle between 10 degrees and 45 degrees, in the embodiment shown at an angle of 15 degrees. As 1 can also be seen, in the embodiment shown, a vertical base height 13 of the base section 7 corresponds to between one third and two thirds of a total vertical height 14 of the recording area 6, in the embodiment shown, two fifths of the total height 14. This results in a sufficiently high restriction of the recording area 6 while at the same time reliably determining the relevant traffic light 4, 4a.

Das erfindungsgemäße Verfahren wird vorteilhaft mittels eines Computerprogramprodukts ausgeführt, welches entsprechende Anweisungen enthält.The method according to the invention is advantageously carried out by means of a computer program product which contains corresponding instructions.

Wie 3 entnommen werden kann, kann das Kraftfahrzeug 1 zur Ausführung des Verfahrens eine Steuereinrichtung 15 umfassen. Die Steuereinrichtung 15 ist kommunizierend mit der Frontkamera 2 verbunden. Dabei kann die Steuereinrichtung 15 das Computerprogrammprodukt zumindest teilweise enthalten. Ebenso kann das Computerprogrammprodukt zumindest teilweise in der Steuereinrichtung 15 ausgeführt werden.How 3 can be removed, the motor vehicle 1 can comprise a control device 15 for carrying out the method. The control device 15 is communicatively connected to the front camera 2. The control device 15 can at least partially contain the computer program product. Likewise, the computer program product can at least partially be executed in the control device 15.

Claims

Method for determining a relevant traffic light (4, 4a) by means of a front camera (2) of a motor vehicle (1), - wherein traffic lights (4) are detected in successive images (3) of the front camera (2), - wherein boundary conditions are checked for the respective traffic light (4), - wherein an intersection point (5) of the vectors in the optical flow is determined and a recording area (6) which widens vertically upwards in a funnel shape starting from the intersection point (5) and has a base section (7) and a funnel section (8) which widens starting from the base section (7) is extracted, - wherein a score is awarded for the respective traffic light (4) in the recording area (6) depending on the distances of the traffic light (4) to the intersection point (5), - wherein the traffic light (4) with the highest score is determined as the relevant traffic light (4, 4a).

Procedure according to Claim 1 , characterized in that the recording area (6) is extracted such that a horizontal base section width (11) of the base section (7) substantially corresponds to a horizontal roadway width (12) of the ego roadway (10) of the motor vehicle (1) in the recordings (3).

Procedure according to Claim 1 or 2 , characterized in that the receiving area (6) is extracted such that the funnel section (8) opens at an angle between 10 degrees and 45 degrees.

Method according to one of the Claims 1 until 3 , characterized in that the receiving area (6) is extracted such that the base section (7) has a vertical base height (13) which corresponds to between one third and two thirds of a total vertical height (14) of the receiving area (6).

Method according to one of the Claims 1 until 4 , characterized in that straight-ahead travel of the motor vehicle (1) is checked as a boundary condition.

Method according to one of the Claims 1 until 5 , characterized in that it is checked as a boundary condition whether the traffic light (4) in the holder (3) exceeds a minimum size.

Method according to one of the Claims 1 until 6 , characterized in that a horizontal and/or vertical distance between the traffic light (4) and the intersection point (5) is taken into account for the score, the smaller the distance, the higher the score.

Method according to one of the Claims 1 until 7 , characterized in that the yaw rate of the motor vehicle (1) is taken into account for the score, whereby the smaller the yaw rate, the higher the score.

Method according to one of the Claims 1 until 8th , characterized in that it is checked as a boundary condition whether a lane boundary (9) of the ego lane (10) is straight, whereby the straighter the lane boundary (9), the higher the number of points.

Computer program product which contains instructions readable by a computer system which cause the computer system, when executing the computer program product, to carry out the method according to one of the Claims 1 until 9 executes.