DE102017215810A1

DE102017215810A1 - Multi-camera system for a vehicle

Info

Publication number: DE102017215810A1
Application number: DE102017215810.7A
Authority: DE
Inventors: Christian Klier; Navid Nourani-Vatani
Original assignee: Siemens AG; Siemens Corp
Current assignee: Siemens AG; Siemens Corp
Priority date: 2017-09-07
Filing date: 2017-09-07
Publication date: 2019-03-07
Also published as: WO2019048205A1

Abstract

Multikamerasystem (10, 20, 30, 40, 50) für ein Fahrzeug. Das Multikamerasystem (10, 20, 30, 40, 50) weist mindestens drei Kameras (K1, K2, K3) zur Aufnahme von Bilddaten (BD) von der Umgebung des Fahrzeugs auf. Die Kameras sind derart angeordnet, dass jede der mindestens drei Kameras (K1, K2, K3) gepaart mit irgendeiner anderen der mindestens drei Kameras (K1, K2, K3) eine Basislinie mit einer unterschiedlichen Position und/oder einer unterschiedlichen Länge und/oder einer unterschiedlichen Orientierung aufweist. Das Multikamerasystem (10, 20, 30, 40, 50) umfasst eine Auswertungseinheit (1) zum Ermitteln eines dreidimensionalen Bildes (BD-3D) auf Basis der von den mindestens drei Kameras (K1, K2, K3) erfassten Bilddaten (BD), wobei zur Tiefenerfassung jeweils zwei Bildaufnahmen von jeweils zwei Kameras (K1, K2; K1, K3; K2, K3) miteinander kombiniert werden. Es wird auch ein Fahrzeug beschrieben. Weiterhin wird ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs beschrieben.Multi-camera system (10, 20, 30, 40, 50) for a vehicle. The multi-camera system (10, 20, 30, 40, 50) has at least three cameras (K1, K2, K3) for capturing image data (BD) from the surroundings of the vehicle. The cameras are arranged such that each of the at least three cameras (K1, K2, K3) paired with any other of the at least three cameras (K1, K2, K3) has a baseline with a different position and / or a different length and / or one has different orientation. The multicamera system (10, 20, 30, 40, 50) comprises an evaluation unit (1) for determining a three-dimensional image (BD-3D) on the basis of the image data (BD) acquired by the at least three cameras (K1, K2, K3), wherein two image recordings of two cameras (K1, K2, K1, K3, K2, K3) are combined with each other for depth detection. It also describes a vehicle. Furthermore, a method for monitoring the environment of a vehicle is described.

Description

Die Erfindung betrifft ein Multikamerasystem für ein Fahrzeug. Weiterhin betrifft die Erfindung ein Fahrzeug. Überdies betrifft die Erfindung ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs.The invention relates to a multi-camera system for a vehicle. Furthermore, the invention relates to a vehicle. Moreover, the invention relates to a method for monitoring the environment of a vehicle.

Um ein automatisiertes oder gar autonomes Fahren zu ermöglichen, ist es wichtig, die Umgebung vor einem Fahrzeug und um das Fahrzeug herum exakt und robust wahrzunehmen. Zu diesem Zweck werden verschiedene Sensoren, wie zum Beispiel Kameras verwendet. Kameras haben Vorteile, weil ihre Auflösung hoch ist und sie die Möglichkeit bieten, Farben zu detektieren. Mit einer einzelnen Kamera kann allerdings nicht die Distanz zu Objekten ermittelt werden sowie verlässliche Tiefeninformationen ermittelt und Redundanz erzeugt werden.In order to enable automated or even autonomous driving, it is important to perceive the environment in front of a vehicle and around the vehicle accurately and robustly. For this purpose, various sensors, such as cameras are used. Cameras have advantages because their resolution is high and they provide the ability to detect colors. With a single camera, however, the distance to objects can not be determined and reliable depth information determined and redundancy generated.

Um Tiefeninformation zu erzeugen, wird entweder ein zweiter Sensor verwendet, der Distanzen messen kann, wie zum Beispiel ein RADAR-System oder LIDAR, und deren Information wird mit dem Kamerabild kombiniert, oder es werden zwei Kameras kombiniert, um ein stereoskopisches Bild zu erzeugen. Probleme bei der Anwendung von LIDAR und RADAR bereiten die niedrige Auflösung dieser Sensoren und die Kalibration. Die Limitierung der stereoskopischen Bilder besteht darin, dass diese nur in einem beschränkten Sichtbereich bzw. Aufnahmebereich eine genaue Tiefeninformation liefern können. Dieser Bereich hängt von dem Abstand zwischen den beiden Kameras und der Brennweite der Linsen ab.To generate depth information, either a second sensor that can measure distances, such as a RADAR system or lidar, is used, and their information is combined with the camera image, or two cameras are combined to produce a stereoscopic image. Problems with the use of LIDAR and RADAR are the low resolution of these sensors and the calibration. The limitation of the stereoscopic images is that they can provide accurate depth information only in a limited field of view or recording area. This range depends on the distance between the two cameras and the focal length of the lenses.

Um einen größeren Aufnahmebereich zu erhalten, werden mehrere Kamerapaare zugleich verwendet. Ein Kamerapaar besitzt eine kürzere Basislinie, wobei die Basislinie die Distanz zwischen den beiden Kameras bildet, und ein anderes Paar weist eine längere Basislinie auf. Auf diese Weise wird der Gesamtaufnahmebereich als Summe der beiden Aufnahmebereiche dargestellt. Als Basislinien soll in diesem Zusammenhang eine Verbindungslinie zwischen den Kameras verstanden werden.To obtain a larger recording area, several camera pairs are used at the same time. One camera pair has a shorter baseline, where the baseline is the distance between the two cameras, and another pair has a longer baseline. In this way, the total recording area is displayed as the sum of the two recording areas. As baselines, a connection line between the cameras should be understood in this context.

Allerdings ist der Einsatz eine Vielzahl von Kameras aufwändig und kostenintensiv.However, the use of a variety of cameras is complex and costly.

Es besteht also die Aufgabe, eine stereoskopische Bildaufnahme mit einem vergrößerten Aufnahmebereich und einer guten Tiefenabbildung, aber einem geringeren Aufwand zu realisieren.Thus, there is the task of realizing a stereoscopic image acquisition with an enlarged imaging area and a good depth image, but less effort.

Diese Aufgabe wird durch ein Multikamerasystem für ein Fahrzeug gemäß Patentanspruch 1, ein Fahrzeug gemäß Patentanspruch 10 sowie ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs gemäß Patentanspruch 11 gelöst.This object is achieved by a multi-camera system for a vehicle according to claim 1, a vehicle according to claim 10 and a method for monitoring the environment of a vehicle according to claim 11.

Das erfindungsgemäße Multikamerasystem für ein Fahrzeug weist mindestens drei Kameras zur Aufnahme von Bilddaten von der Umgebung des Fahrzeugs auf. Die Kameras sind derart angeordnet, dass jede der mindestens drei Kameras gepaart mit irgendeiner anderen der mindestens drei Kameras eine Basislinie mit einer unterschiedlichen Position und/oder einer unterschiedlichen Länge und/oder einer unterschiedlichen Orientierung aufweist. D.h., zwei unterschiedliche Paare von Kameras weisen eine Basislinie mit einer jeweils unterschiedlichen Position und/oder einer unterschiedlichen Länge und/oder einer unterschiedlichen Orientierung auf. Eine Basislinie wird durch Verbindungsstrecken zwischen den einzelnen Kameras gebildet.The multi-camera system according to the invention for a vehicle has at least three cameras for recording image data from the surroundings of the vehicle. The cameras are arranged such that each of the at least three cameras paired with any other of the at least three cameras has a baseline with a different position and / or a different length and / or a different orientation. That is, two different pairs of cameras have a baseline with a different position and / or a different length and / or a different orientation. A baseline is formed by links between each camera.

Das Multikamerasystem umfasst eine Auswertungseinheit zum Ermitteln eines dreidimensionalen Bildes auf Basis der von den mindestens drei Kameras erfassten Bilddaten, wobei zur Tiefenerfassung jeweils zwei Bildaufnahmen von jeweils zwei Kameras miteinander kombiniert werden. Vorteilhaft kann ein Aufnahmebereich im Vergleich zur Anwendung eines Kamerapaars vergrößert werden und/oder es werden redundante Bilddaten aufgenommen, welche das System robuster machen, indem Bilddaten von zwei unterschiedlichen Kameras verglichen werden können.The multi-camera system comprises an evaluation unit for determining a three-dimensional image on the basis of the image data acquired by the at least three cameras, two images of two cameras each being combined for depth detection. Advantageously, a receiving area can be increased in comparison to the use of a camera pair and / or redundant image data are recorded which make the system more robust by allowing image data from two different cameras to be compared.

Das erfindungsgemäße Fahrzeug, vorzugsweise ein Schienenfahrzeug, weist das erfindungsgemäße Multikamerasystem auf. Das erfindungsgemäße Fahrzeug weist die Vorteile des erfindungsgemäßen Kamerasystems auf.The vehicle according to the invention, preferably a rail vehicle, has the multi-camera system according to the invention. The vehicle according to the invention has the advantages of the camera system according to the invention.

Bei dem erfindungsgemäßen Verfahren zur Überwachung der Umgebung eines Fahrzeugs wird ein Umgebungsbereich des Fahrzeugs mit Hilfe von mindestens drei Kameras, welche derart angeordnet sind, dass jede der mindestens drei Kameras gepaart mit irgendeiner anderen der mindestens drei Kameras eine Basislinie mit einer jeweils unterschiedlichen Position und/oder mit einer unterschiedlichen Länge und/oder mit einer unterschiedlichen Orientierung aufweist, bildlich erfasst. Es wird zudem ein dreidimensionales Bild auf Basis von den mindestens drei Kameras erfassten Bilddaten ermittelt, wobei zur Tiefenerfassung jeweils zwei Bildaufnahmen von jeweils zwei Kameras miteinander kombiniert werden. Das erfindungsgemäße Verfahren weist die Vorteile des erfindungsgemäßen Kamerasystems auf.In the method according to the invention for monitoring the surroundings of a vehicle, a surrounding area of the vehicle is arranged with the aid of at least three cameras arranged such that each of the at least three cameras paired with any other of the at least three cameras forms a baseline with a respectively different position and / or with a different length and / or with a different orientation, captured imaged. In addition, a three-dimensional image is determined on the basis of the image data acquired by the at least three cameras, with two image recordings of two cameras each being combined with one another for depth detection. The method according to the invention has the advantages of the camera system according to the invention.

Einige Komponenten des erfindungsgemäßen Multikamerasystems können zum überwiegenden Teil in Form von Softwarekomponenten ausgebildet sein. Dies betrifft insbesondere Teile der Auswertungseinheit. Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.Some components of the multi-camera system according to the invention can be formed predominantly in the form of software components. This concerns in particular parts of the evaluation unit. In principle, however, these components can also be partly implemented, especially when it comes to particularly fast calculations, in the form of software-supported hardware. For example, FPGAs or the like, be realized. Likewise, the required interfaces, for example, if it is only about a transfer of data from other software components, be designed as software interfaces. However, they can also be configured as hardware-based interfaces, which are controlled by suitable software.

Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher in einem Fahrzeug vorhandene Rechnersysteme nach einer eventuellen Ergänzung durch zusätzliche Hardwareelemente auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Insofern wird die Aufgabe auch durch ein entsprechendes Computerprogrammprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersystems ladbar ist, mit Programmabschnitten, um alle Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in dem Rechnersystem ausgeführt wird.A largely software-based implementation has the advantage that already existing in a vehicle computer systems can be retrofitted for a possible supplementation by additional hardware elements in a simple way by a software update to work in the inventive way. In this respect, the object is also achieved by a corresponding computer program product with a computer program which can be loaded directly into a memory device of such a computer system, with program sections in order to execute all steps of the method according to the invention when the computer program is executed in the computer system.

Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassenSuch a computer program product may contain, in addition to the computer program, additional components, e.g. a documentation and / or additional components, also hardware components, such as e.g. Hardware keys (dongles, etc.) for using the software include

Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein computerlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest eingebauter Datenträger dienen, auf welchem die von einer Rechnereinheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikroprozessoren oder dergleichen aufweisen.For transport to the storage device of the computer system and / or for storage on the computer system, a computer-readable medium, for example a memory stick, a hard disk or another portable or permanently installed data carrier can be used, on which the computer program readable and executable program units of a computer unit are stored. The computer unit may e.g. for this purpose have one or more cooperating microprocessors or the like.

Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhängigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rahmen der Erfindung auch die verschiedenen Merkmale unterschiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.The dependent claims and the following description each contain particularly advantageous embodiments and further developments of the invention. In this case, in particular the claims of a claim category can also be developed analogously to the dependent claims of another claim category and their description parts. In addition, in the context of the invention, the various features of different embodiments and claims can also be combined to form new embodiments.

In einer Ausgestaltung des erfindungsgemäßen Multikamerasystems weisen die mindestens drei Kameras jeweils dieselbe Brennweite auf. Vorteilhaft sind die Bildausschnitte der mindestens drei Kameras vergleichbar und können leicht zu dreidimensionalen Bildern kombiniert werden.In one embodiment of the multi-camera system according to the invention, the at least three cameras each have the same focal length. Advantageously, the image sections of the at least three cameras are comparable and can be easily combined to form three-dimensional images.

In einer Variante des erfindungsgemäßen Multikamerasystems sind die mindestens drei Kameras kolinear angeordnet. Vorteilhaft können zwischen unterschiedlichen Kameras unterschiedlich lange Basislinien dazu genutzt werden, um unterschiedlich ausgedehnte Bildbereiche zu erfassen.In a variant of the multi-camera system according to the invention, the at least three cameras are arranged colinearly. Advantageously, baselines of different lengths can be used between different cameras in order to capture differently extended image areas.

In einer Ausgestaltung des erfindungsgemäßen Multikamerasystems sind die Abstände zwischen benachbarten Kameras jeweils gleich. Vorteilhaft sind auch die aufgenommenen Bildbereiche gleich, so dass eine Kombination von Bildern zum Erzeugen von dreidimensionalen Bildern erleichtert ist.In one embodiment of the multi-camera system according to the invention, the distances between adjacent cameras are the same in each case. Advantageously, the recorded image areas are the same, so that a combination of images for generating three-dimensional images is facilitated.

In einer Variante des erfindungsgemäßen Multikamerasystems weist das Multikamerasystem drei Kameras auf, welche in einem Dreieck angeordnet sind.In a variant of the multi-camera system according to the invention, the multi-camera system has three cameras, which are arranged in a triangle.

Das Dreieck kann zum Beispiel ein gleichschenkliges Dreieck umfassen oder gar ein gleichseitiges Dreieck umfassen. Vorteilhaft lassen sich damit im Fall des gleichseitigen Dreiecks redundante Bildaufnahmen erzeugen und im Fall des gleichschenkligen Dreiecks ergeben sich zusätzliche unterschiedlich ausgedehnte Aufnahmebereiche infolge von unterschiedlichen Basislinien mit unterschiedlicher Länge.For example, the triangle may include an isosceles triangle or even an equilateral triangle. In the case of the equilateral triangle, it is thus advantageously possible to generate redundant image recordings, and in the case of the isosceles triangle, additional differently extended recording areas result as a result of different baselines having different lengths.

In einer Ausgestaltung des erfindungsgemäßen Multikamerasystems umfasst das Multikamerasystem vier Kameras, welche in einem Viereck angeordnet sind. Vorzugsweise umfasst das Viereck ein Rechteck. Vorteilhaft ergeben sich drei unterschiedliche Basislinien mit unterschiedlicher Länge sowie Möglichkeiten, redundant Bildaufnahmen durchzuführen.In one embodiment of the multi-camera system according to the invention, the multi-camera system comprises four cameras, which are arranged in a quadrangle. Preferably, the square comprises a rectangle. Advantageously, there are three different baselines with different lengths and ways to perform redundant image capturing.

In einer Variante des erfindungsgemäßen Verfahrens zur Überwachung der Umgebung eines Fahrzeugs werden auf Basis der Bilddaten von unterschiedlichen Paaren von Kameras Tiefeninformationen, welche jeweils auf Basis der Bilddaten der unterschiedlichen Paare von Kameras gewonnen wurden, verglichen und auf Abweichungen geprüft. D.h., es wird geprüft, ob die Tiefenwerte, welche anhand der unterschiedlichen Paare von Kameras ermittelten wurden, übereinstimmen und wie sehr sie gegebenenfalls voneinander abweichen.In a variant of the method according to the invention for monitoring the surroundings of a vehicle, depth information which was respectively obtained on the basis of the image data of the different pairs of cameras is compared on the basis of the image data of different pairs of cameras and checked for deviations. That is, it is checked whether the depth values, which were determined based on the different pairs of cameras, match and how much they may differ.

Basierend auf den unterschiedlichen Informationsquellen können Tiefendaten genauer ermittelt werden und/oder es können fehlerhafte Bildinformationen detektiert und verworfen werden.Based on the different information sources depth data can be determined more accurately and / or erroneous image information can be detected and discarded.

Die Erfindung wird im Folgenden unter Hinweis auf die beigefügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:

1 eine schematische Darstellung eines Multikamerasystems gemäß einem ersten Ausführungsbeispiel der Erfindung,
2 eine schematische Darstellung eines Multikamerasystems gemäß einem zweiten Ausführungsbeispiel der Erfindung,
3 eine schematische Darstellung eines Multikamerasystems gemäß einem dritten Ausführungsbeispiel der Erfindung,
4 eine schematische Darstellung eines Multikamerasystems gemäß einem vierten Ausführungsbeispiel der Erfindung,
5 eine schematische Darstellung eines Multikamerasystems gemäß einem fünften Ausführungsbeispiel der Erfindung,
6 ein Flussdiagramm, welches ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht.

The invention will be explained in more detail below with reference to the accompanying figures with reference to embodiments. Show it:

1 a schematic representation of a multi-camera system according to a first embodiment of the invention,
2 a schematic representation of a multi-camera system according to a second embodiment of the invention,
3 a schematic representation of a multi-camera system according to a third embodiment of the invention,
4 a schematic representation of a multi-camera system according to a fourth embodiment of the invention,
5 a schematic representation of a multi-camera system according to a fifth embodiment of the invention,
6 a flowchart illustrating a method for monitoring the environment of a vehicle according to an embodiment of the invention.

In 1 ist ein Multikamerasystem 10 gemäß einem ersten Ausführungsbeispiel der Erfindung schematisch dargestellt. Das erste Ausführungsbeispiel kann als Spezialfall des in 2 veranschaulichten zweiten Ausführungsbeispiels angesehen werden, wobei die in 2 gezeigten Kameras so weit voneinander entfernt werden, bis sie in einer geraden Linie liegen. Das Multikamerasystem 10 weist drei Kameras K1, K2, K3 auf, wobei einer erste Kamera K1 zwischen einer zweiten Kamera K2 und einer dritten Kamera K3 kolinear angeordnet ist und zu der zweiten Kamera K2 und der dritten Kamera K3 jeweils denselben Abstand d aufweist. Die Kameras sind in dem ersten Ausführungsbeispiel sowie in allen weiteren in 2 bis 5 derart orientiert, dass Bilder im Wesentlichen senkrecht zur Blattebene aufgenommen werden können. D.h., die Darstellung der Kameras K1, K2, K3 kann jeweils als Draufsicht auf die Objektive bzw. die äußere Objektivlinse der Kameras K1, K2, K3 aufgefasst werden. Die Orientierung der Kameras kann aber auch davon abweichen. Beispielsweise können unterschiedliche Kameras K2, K3 einwärts geneigt sind, d.h. nicht ganz parallel zueinander ausgerichtet sind, um einen Aufnahmebereich aus leicht unterschiedlichen Richtungen bzw. Perspektiven aufzunehmen. Es können auch alle drei Kameras K1, K2, K3 in einer anderen Richtung als senkrecht zur Blattebene orientiert sein. Die Kameras K1, K2, K3 sind mit einer Auswertungseinheit 1 über Datenübertragungskabel (durchgezogene Linien) verbunden. Die Auswertungseinheit 1 ermittelt auf Basis der unterschiedlichen Bilddaten der Kameras K1, K2, K3 3D-Bilddaten von einem Bildbereich, der durch die Basislinie der drei Kameras K1, K2, K3 limitiert wird. Der aufzunehmende Bereich ist durch die Länge 2d der Basislinie doppelt so groß wie bei einer stereoskopischen Aufnahme mit nur zwei Kameras.In 1 is a multi-camera system 10 shown schematically according to a first embodiment of the invention. The first embodiment may be considered a special case of in 2 illustrated in the second embodiment, wherein the in 2 shown so far apart, until they lie in a straight line. The multi-camera system 10 has three cameras K1 . K2 . K3 on, being a first camera K1 between a second camera K2 and a third camera K3 colinearly arranged and to the second camera K2 and the third camera K3 each having the same distance d. The cameras are in the first embodiment and in all others in 2 to 5 oriented so that images can be taken substantially perpendicular to the sheet plane. That is, the presentation of the cameras K1 . K2 . K3 can each be a top view of the lenses or the outer objective lens of the cameras K1 . K2 . K3 be understood. The orientation of the cameras may also differ. For example, different cameras K2 . K3 are inwardly inclined, that are not aligned completely parallel to each other to accommodate a receiving area from slightly different directions or perspectives. It can also all three cameras K1 . K2 . K3 be oriented in a different direction than perpendicular to the sheet plane. The cameras K1 . K2 . K3 are with an evaluation unit 1 connected via data transmission cables (solid lines). The evaluation unit 1 determined on the basis of the different image data of the cameras K1 . K2 . K3 3D Image data from an image area taken by the baseline of the three cameras K1 . K2 . K3 is limited. The recorded area is by the length 2d the baseline twice as large as a stereoscopic image with only two cameras.

In 2 ist ein Multikamerasystem 20 gemäß einem zweiten Ausführungsbeispiel der Erfindung schematisch dargestellt. Bei dieser Variante sind die drei Kameras K1, K2, K3 in einem gleichseitigen Dreieck zueinander angeordnet. Bei dieser Variante ist zwar der Aufnahmebereich nicht größer als bei einem Kamerapaar, jedoch liefert die dritte Kamera K3 redundante Informationen, welche dafür genutzt werden können, zu prüfen und sicherzustellen, dass alle Informationen über die überwachte Umgebung identisch sind.In 2 is a multi-camera system 20 shown schematically according to a second embodiment of the invention. In this variant, the three cameras K1 . K2 . K3 arranged in an equilateral triangle to each other. In this variant, although the recording area is not larger than a camera pair, but provides the third camera K3 to check redundant information that can be used and to ensure that all information about the monitored environment is identical.

Kameras liefern nicht direkt 3D-Informationen, sondern 2D-Abbildungen davon. Dabei passiert es oft, dass ein ermitteltes Tiefenbild nicht korrekt ist. Gründe dafür können zum Beispiel kleine Fehler in der Triangulation aufgrund von Abschattungen, Verdeckungen oder dem Fehlen von erkennbaren Strukturen sein. Ein Multikamerasystem ermöglicht es, die ermittelte Tiefe eines ersten Bildpaares mit der eines zweiten Bildpaares zu vergleichen. In dem zweiten Paar sollte dieselbe Szene abgebildet sein wie in dem ersten Paar und aus dem zweiten Paar sollte dieselbe Bildtiefe wie aus dem ersten Paar ermittelt werden. Besteht zwischen den beiden ermittelten Tiefen eine Abweichung, so sollte das dazu veranlassen, Korrekturmaßnahmen zu ergreifen.Cameras do not directly deliver 3D information, but 2D images of it. It often happens that a determined depth image is not correct. Reasons for this can be, for example, small errors in the triangulation due to shadows, occlusions or the lack of recognizable structures. A multi-camera system makes it possible to compare the determined depth of a first image pair with that of a second image pair. The same scene should be imaged in the second pair as in the first pair, and the second pair should have the same image depth as the first pair. If there is a deviation between the two depths, this should prompt corrective action.

Der genannte Effekt eines Multikamerasystems kann auch im Zusammenhang mit anderen Bildverarbeitungsprozessen angewendet werden. Beispielsweise kann bei einer Objektdetektion und einer Objektklassifikation anhand von zwei Bildern von unterschiedlich positionierten Kameras geprüft werden, ob die beiden Bilder dasselbe Objekt, denselben Typ und dieselbe Größe liefern. Die zusätzliche Redundanz macht das System zuverlässig, was für ein ADAS-System und hochautomatisierte oder gar vollautomatisierte Fahrsysteme entscheidend ist.The said effect of a multi-camera system can also be used in connection with other image processing processes. For example, in object detection and object classification, two images of differently positioned cameras can be used to verify that the two images provide the same object, type, and size. The additional redundancy makes the system reliable, which is crucial for an ADAS system and highly automated or even fully automated driving systems.

In 3 ist ein Multikamerasystem 30 gemäß einem dritten Ausführungsbeispiel der Erfindung schematisch dargestellt. Bei diesem Ausführungsbeispiel sind drei Kameras K1, K2, K3 in einem gleichschenkligen Dreieck angeordnet, wobei die erste und die zweite Kamera K1, K2 die Basis des Dreiecks bilden, welche nur halb so lang wie die Schenkel, welche von der ersten und der dritten Kamera K1, K3 bzw. der zweiten und der dritten Kamera K2, K3 gebildet werden. Vorteilhaft ergibt sich neben der Breite d des Aufnahmebereichs eine zweite Breite 0,5 d, welche nur halb so breit ist. Außerdem wird Redundanz für die Basislinie mit der Länge d erreicht.In 3 is a multi-camera system 30 shown schematically according to a third embodiment of the invention. In this embodiment, there are three cameras K1 . K2 . K3 arranged in an isosceles triangle, with the first and the second camera K1 . K2 form the base of the triangle, which is only half as long as the thighs, which from the first and the third camera K1 . K3 or the second and the third camera K2 . K3 be formed. Advantageously, in addition to the width d of the receiving area, a second width 0.5 d, which is only half as wide. In addition, redundancy is achieved for the baseline of length d.

In 4 ist ein Multikamerasystem 40 gemäß einem vierten Ausführungsbeispiel der Erfindung schematisch dargestellt. Bei diesem Ausführungsbeispiel sind drei Kameras K1, K2, K3 in einem gleichschenkligen Dreieck angeordnet, wobei die erste und die zweite Kamera K1, K2 die Basis des Dreiecks bilden, welche 1,5 mal so lang ist wie die Schenkel, welche von der ersten und der dritten Kamera K1, K3 bzw. der zweiten und der dritten Kamera K2, K3 gebildet werden. Vorteilhaft ergibt sich neben der Breite d des Aufnahmebereichs eine zweite Breite 1,5 d, welche 1,5-mal so breit ist. Mithin lassen sich auch bei diesem Ausführungsbeispiel Aufnahmebereiche mit unterschiedlichen Abmessungen realisieren. Zudem wird auch hier Redundanz für die Basislinie mit der Abmessung d erreicht.In 4 is a multi-camera system 40 shown schematically according to a fourth embodiment of the invention. In this embodiment, there are three cameras K1 . K2 . K3 arranged in an isosceles triangle, with the first and the second camera K1 . K2 form the base of the triangle, which is 1.5 times as long as the legs, which are from the first and the third camera K1 . K3 or the second and the third camera K2 . K3 be formed. Advantageously, in addition to the width d of the receiving area, a second width of 1.5 d, which is 1.5 times as wide. Consequently, recording areas with different dimensions can also be realized in this exemplary embodiment. In addition, redundancy for the baseline with the dimension d is also achieved here.

In 5 ist ein Multikamerasystem 50 gemäß einem fünften Ausführungsbeispiel der Erfindung schematisch dargestellt. Bei diesem Ausführungsbeispiel sind vier Kameras K1, K2, K3, K4 in einem Rechteck angeordnet, wobei die erste und die zweite Kamera K1, K2 sowie die dritte und die vierte Kamera K3, K4 die längeren Seiten bilden, und die erste und die vierte Kamera K1, K4 sowie die zweite und die dritte Kamera K2, K3 jeweils die kürzeren Seiten bilden. Die längeren Seiten sind in dem in 5 gezeigten Ausführungsbeispiel doppelt so lang wie die kürzeren Seiten, so dass verschieden breite Aufnahmebereiche möglich sind. Außerdem ergeben die Diagonalen des Rechtecks einen zusätzlichen dritten Aufnahmebereich mit einer Breite von $\sqrt{d^{2} + {(2 d)}^{2}} .$

Überdies ergeben sich Redundanzen durch die parallel zueinander angeordneten Kameras. Es wird angemerkt, dass die angegebenen Längenverhältnisse zwischen unterschiedlichen Basislinien in den unterschiedlichen Ausführungsbeispielen auch anders gewählt werden können.In 5 is a multi-camera system 50 shown schematically according to a fifth embodiment of the invention. In this embodiment, four cameras K1 . K2 . K3 . K4 arranged in a rectangle, with the first and the second camera K1 . K2 as well as the third and the fourth camera K3 . K4 the longer sides form, and the first and the fourth camera K1 . K4 as well as the second and the third camera K2 . K3 each forming the shorter sides. The longer sides are in the in 5 shown embodiment twice as long as the shorter sides, so that different widths receiving areas are possible. In addition, the diagonals of the rectangle provide an additional third pick-up area with a width of

\sqrt{d^{2} + {(2 d)}^{2}},

Moreover, redundancies result from the cameras arranged parallel to one another. It is noted that the stated length ratios between different base lines in the different embodiments can also be chosen differently.

In 6 ist ein Flussdiagramm 600 gezeigt, welches ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Bei dem Schritt 6.I werden mit Hilfe von drei kolinear angeordneten Kameras Bilddaten BD von der Umgebung eines Fahrzeugs erfasst. Die Bilddaten werden bei dem Schritt 6.II zu dreidimensionalen Bilddaten BD-3D kombiniert. Dies ist möglich, da die unterschiedlichen Kameras aus unterschiedlichen Perspektiven Bilddaten aufnehmen. Die beiden äußeren Kameras sind jeweils gleich weit von einer zentral angeordneten Kamera der kolinear angeordneten Kameras entfernt positioniert. Die Kameras weisen jeweils dieselbe Brennweite auf. Auf diese Weise werden von unterschiedlichen Positionen Bilder mit vergleichbaren Abmessungen aufgenommen, die leicht miteinander verglichen und/oder kombiniert werden können.In 6 is a flowchart 600 which illustrates a method for monitoring the environment of a vehicle according to an embodiment of the invention. At the step 6.I With the aid of three colinearly arranged cameras, image data BD are acquired from the surroundings of a vehicle. The image data are converted into three-dimensional image data BD in step 6.II. 3D combined. This is possible because the different cameras record image data from different perspectives. The two outer cameras are each positioned equidistant from a centrally located camera of the co-linearly arranged cameras. The cameras each have the same focal length. In this way, images of comparable dimensions are taken from different positions, which can be easily compared and / or combined.

Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen lediglich um bevorzugte Ausführungsbeispiele der Erfindung handelt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständigkeit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein“ bzw. „eine“ nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit“ nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.It is finally pointed out again that the above-described methods and devices are merely preferred embodiments of the invention and that the invention can be varied by a person skilled in the art without departing from the scope of the invention, as far as it is specified by the claims. For the sake of completeness, it is also pointed out that the use of indefinite articles does not exclude "a" or "one", that the characteristics in question can also be present multiple times. Similarly, the term "unit" does not exclude that it consists of several components, which may also be spatially distributed.

Claims

Multi-camera system (10, 20, 30, 40, 50) for a vehicle, comprising: - At least three cameras (K1, K2, K3) for receiving image data (BD) from the environment of the vehicle, wherein the at least three cameras (K1, K2, K3) are arranged such that each of the at least three cameras (K1, K2 K3) paired with any other of the at least three cameras (K1, K2, K3) has a baseline with a different position and / or a different length and / or a different orientation, an evaluation unit (1) for determining a three-dimensional image (BD-3D) on the basis of the image data (BD) acquired by the at least three cameras (K1, K2, K3), two image recordings of two cameras (K1, K2, K1, K3, K2, K3) are combined with each other.

Multi-camera system (10, 20, 30, 40, 50) after Claim 1 , wherein the at least three cameras (K1, K2, K3) each have the same focal length.

Multi-camera system (10, 20, 30, 40, 50) after Claim 1 or 2 , wherein the at least three cameras (K1, K2, K3) are arranged colinearly.

A multi-camera system (10, 20, 30, 40, 50) according to any one of the preceding claims, wherein the distances between adjacent cameras (K1, K2, K2, K3) are the same.

A multi-camera system (10, 20, 30, 40, 50) according to any one of the preceding claims, comprising three cameras (K1, K2, K3) arranged in a triangle.

Multi-camera system (10, 20, 30, 40, 50) after Claim 5 , where the triangle comprises an isosceles triangle.

Multi-camera system (10, 20, 30, 40, 50) after Claim 6 , where the triangle comprises an equilateral triangle.

Multi-camera system (10, 20, 30, 40, 50) after one of Claims 1 to 7 comprising four cameras (K1, K2, K3, K4) arranged in a quadrangle.

Multi-camera system (10, 20, 30, 40, 50) after Claim 8 , where the square comprises a rectangle.

Vehicle, preferably rail vehicle, comprising a multi-camera system (10, 20, 30, 40, 50) according to one of the preceding claims.

A method of monitoring the environment of a vehicle, comprising the steps of: - Image capturing of an environmental area of the vehicle by means of at least three cameras (K1, K2, K3) for receiving image data (BD), wherein the at least three cameras (K1, K2, K3) are arranged such that each of the at least three cameras (K1, K2, K3) paired with any other of the at least three cameras (K1, K2, K3) has a baseline with a different position and / or a different length and / or a different orientation, Determining a three-dimensional image (BD-3D) on the basis of the image data (BD) captured by the at least three cameras (K1, K2, K3), two images of two cameras (K1, K2, K1, K3; K2, K3) are combined with each other.

Method according to Claim 1 , wherein on the basis of the image data (BD) of different pairs of cameras (K1, K2, K3) depth information, which respectively obtained on the basis of the image data (BD) of the different pairs of cameras (K1, K2, K3) are compared, and be checked for deviations.

Computer program product with a computer program, which is directly loadable into a memory unit of a computer unit of a vehicle, with program sections to all steps of a method according to Claim 11 or 12 when the computer program is executed in the computer unit.

Computer-readable medium on which program sections executable by a computer unit are stored in order to perform all steps of the method Claim 11 or 12 execute when the program sections are executed by the computer unit.