DE102020211154A1

DE102020211154A1 - Method and apparatus for calibrating a vehicle mounted camera

Info

Publication number: DE102020211154A1
Application number: DE102020211154.5A
Authority: DE
Inventors: Mehrdad Nekouei Shahraki; Daniel Schraft; Moritz Kick
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-09-04
Filing date: 2020-09-04
Publication date: 2022-03-10

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer in einem Fahrzeug (100) montierten Kamera (104), deren Sichtfeld (106) sich durch eine Windschutzscheibe (102) hindurch erstreckt. Dabei werden mittels der Kamera (104) aufgenommene Bilddaten (108) eingelesen, die ein Linienmuster repräsentieren, das auf zumindest einer Anzeigefläche (130) in der Umgebung des Fahrzeugs (100) dargestellt ist und gerade Linien repräsentiert. Ferner werden die Bilddaten (108) verarbeitet, wobei zu den geraden Linien des Linienmusters gehörige Punkte in den Bilddaten (108) detektiert werden. Zudem werden Verzerrungsparameter (115) ermittelt, die eine optische Verzerrung der Windschutzscheibe (102) des Fahrzeugs (100) repräsentieren, wobei zum Ermitteln der Verzerrungsparameter (115) die detektierten Punkte unter Verwendung von vorläufigen Verzerrungsparametern auf zumindest eine virtuelle Ebene im Raum projiziert werden, die geraden Linien des Linienmusters repräsentierende Referenzgeraden in der zumindest einen virtuellen Ebene generiert werden und mittels eines Optimierungsprozesses die Verzerrungsparameter (115) gefunden werden, mittels derer die projizierten Punkte relativ zu den Referenzgeraden zumindest eine vorbestimmte Bedingung erfüllen. Auch werden Kalibrierungsdaten (118) zum Kalibrieren der Kamera (104) unter Verwendung der ermittelten Verzerrungsparameter (115) bestimmt.The invention relates to a method for calibrating a camera (104) mounted in a vehicle (100) whose field of view (106) extends through a windshield (102). Image data (108) recorded by the camera (104) are read in, which represent a line pattern which is displayed on at least one display area (130) in the vicinity of the vehicle (100) and represents straight lines. Further, the image data (108) is processed, wherein points corresponding to the straight lines of the line pattern are detected in the image data (108). In addition, distortion parameters (115) are determined, which represent an optical distortion of the windshield (102) of the vehicle (100), in order to determine the distortion parameters (115), the detected points are projected onto at least one virtual plane in space using preliminary distortion parameters, the straight reference lines representing the straight lines of the line pattern are generated in the at least one virtual plane and the distortion parameters (115) are found by means of an optimization process, by means of which the projected points meet at least one predetermined condition relative to the reference line. Calibration data (118) for calibrating the camera (104) is also determined using the determined distortion parameters (115).

Description

Stand der TechnikState of the art

Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.The invention is based on a device or a method according to the species of the independent claims. The subject matter of the present invention is also a computer program.

Bei bekannten Verfahren zum Kalibrieren einer Kamera hinter einer Windschutzscheibe eine s Fahrzeugs, um die Verzerrung bzw. Verzeichnung der Windschutzscheibe zu modellieren, einschließlich oder ausschließlich der optischen Verzerrung der Kamera selbst, kann bei des Weise ein Schachbrettmuster oder ein anderes Testfeld verwendet werden. Dabei kann ein Bild oder können mehrere Bilder von unterschiedlichen Positionen aus aufgenommen werden, wobei unter Verwendung eines Algorithmus Ecken des Schachbretts oder kreisförmige Punkte eines Testfeldes erfasst werden können. Alternativ könnte beispielsweise ein einziges Bild aufgenommen werden, wobei das Fahrzeug einem definierten Testmuster oder einer Tafel mit Punkten mit bekannten Koordinaten zugewandt ist, um eine Einzelaufnahme oder eine Prüfstand-Kalibrierung auszuführen.Known methods for calibrating a camera behind a vehicle windshield to model windshield distortion, including or excluding optical distortion of the camera itself, may use a checkerboard pattern or other test field in this manner. One image or several images can be recorded from different positions, with corners of the chessboard or circular points of a test field being able to be recorded using an algorithm. Alternatively, for example, a single image could be captured with the vehicle facing a defined test pattern or a panel of points with known coordinates to perform a single capture or dyno calibration.

In der DE 10 2018 221 066 A1 wird ein Ansatz offenbart, zur Korrektur einer Verzeichnung oder Verzerrung einer Windschutzscheibe mittels eines Head-Up-Displays ein Gitter an die Windschutzscheibe zu Projizieren und das projizierte Gitter mittels der Kamera auszulesen bzw. zu analysieren, um Korrekturfaktoren oder eine Korrekturkarte zu erhalten.In the DE 10 2018 221 066 A1 discloses an approach for correcting distortion of a windshield using a head-up display to project a grid onto the windshield and to read out or analyze the projected grid using the camera in order to obtain correction factors or a correction map.

Offenbarung der ErfindungDisclosure of Invention

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Vorrichtung, welche dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.Against this background, with the approach presented here, a method, furthermore a device which uses this method, and finally a corresponding computer program according to the main claims are presented. Advantageous developments and improvements of the device specified in the independent claim are possible as a result of the measures listed in the dependent claims.

Gemäß Ausführungsformen kann insbesondere ein beliebiges Muster ungemessener gerader Linien auf einer vor einem Fahrzeug platzierten Anzeige zum Modellieren einer optischen Verzerrung bzw. Verzeichnung einer Windschutzscheibe des Fahrzeugs werden. Anders ausgedrückt kann beispielsweise ein beliebiges Muster ungemessener gerader Linien auf einer Anzeige oder Oberfläche mit einer oder mehreren Ebenen verwendet werden, um eine komplexe und nicht-radialsymmetrische Verzeichnung bzw. Verzerrung modellieren, die durch eine Kamera hinter der Windschutzscheibe des Fahrzeugs gesehen wird.In particular, according to embodiments, any pattern of unmeasured straight lines on a display placed in front of a vehicle can be used to model optical distortion of a windshield of the vehicle. In other words, for example, any pattern of unmeasured straight lines on a display or surface with one or more planes can be used to model complex and non-radially symmetric distortion seen by a camera behind the vehicle windshield.

Insbesondere in Fahrzeugen verwendete Kameras in Systemen für Fahrerassistenz oder automatisiertes Fahren können beispielsweise mehrere Funktionen aufweisen, einschließlich einer Erfassung und Erkennung von Objekten in einer Szene unter Verwendung verschiedener Objekterfassungsalgorithmen. Bei vielen solchen Algorithmen sollte insbesondere eine Welt-zu-Kamera-Transformation oder eine Kamera-zu-Welt-Transformation bekannt sein, was impliziert, dass optische Parameter der Kamera und einer Windschutzscheibe selbst bekannt sein sollten. Solche Parameter können Parameter einer optischen Verzerrung bzw. Verzeichnung umfassen, wie beispielsweise radialsymmetrische und nicht-radialsymmetrische Verzeichnungseffekte. Eine intrinsische Kalibrierung und optische Verzerrung der Kamera könnte bei der Kameraherstellung gemessen werden. Während oder nach einer Montage einer Kamera in einem Fahrzeug kann gemäß Ausführungsformen die Windschutzscheibe hinsichtlich ihrer optischen Effekte auf ein Bild der Kamera berücksichtigt und modelliert werden.In particular, cameras used in vehicles in systems for driver assistance or automated driving can have a number of functions, for example, including the detection and detection of objects in a scene using different object detection algorithms. In many such algorithms, in particular, a world-to-camera transform or a camera-to-world transform should be known, which implies that optical parameters of the camera and a windshield itself should be known. Such parameters may include optical distortion parameters such as radially symmetric and non-radially symmetric distortion effects. Intrinsic calibration and optical distortion of the camera could be measured during camera manufacture. According to embodiments, during or after mounting a camera in a vehicle, the windshield can be taken into account and modeled with regard to its optical effects on an image from the camera.

Es kann ein kostengünstiges und schnelles technisches Verfahren zum Kalibrieren einer in einem Fahrzeug montierten Kamera bereitgestellt werden, um insbesondere eine optische Verzerrung der Windschutzscheibe mit oder ohne der optischen Verzerrung der Kamera zu modellieren. Dieses technische Verfahren kann insbesondere unter Verwendung eines Musters ungemessener gerader Linien durchgeführt werden, die beispielsweise auf einer Anzeige oder dergleichen gezeigt sind. Dabei kann insbesondere eine bedingungsbasierte Optimierungslösung implementiert werden, die auf der räumlichen oder mehrdimensionalen Linearität der sichtbaren geraden Linien in dem Bild beruht. Dies weist den Vorteil auf, dass dafür keine Informationen über Position, Ausrichtung oder Abstand der Anzeige zu der Kamera oder Länge und Ausrichtung der Linien benötigt werden. So kann insbesondere eine optische Verzerrung der Windschutzscheibe genau und kostengünstig gemessen werden.An inexpensive and fast technical method can be provided for calibrating a vehicle-mounted camera, particularly to model optical distortion of the windshield with or without the optical distortion of the camera. Specifically, this technique can be performed using a pattern of unmeasured straight lines shown on a display or the like, for example. In particular, a condition-based optimization solution can be implemented that is based on the spatial or multidimensional linearity of the visible straight lines in the image. This has the advantage that no information about the position, orientation or distance of the display to the camera or length and orientation of the lines is required. In particular, an optical distortion of the windshield can be measured precisely and inexpensively.

Vorteilhafterweise brauchen insbesondere der exakte Abstand, die exakte Position und Ausrichtung des Bildschirms nicht genau bekannt zu sein. Die Geschwindigkeit dieses Kalibrierungsprozesses kann besonders hoch sein, da das Fahrzeug nicht in irgendeiner bestimmten Position oder Ausrichtung relativ zu irgendwelchen Testfeldern platziert zu werden braucht. Die geraden Linien brauchen nicht extra gemessen werden, da ihre Länge und Richtungsinformation nicht bekannt zu sein brauchen. Ihre Linearität ist beispielsweise durch die Verwendung eines üblichen flachen Bildschirms oder dergleichen als Anzeigefläche sichergestellt. Die optische Verzerrung der Windschutzscheibe kann in dem beinahe vollständigen nutzbaren Sichtfeld der Kamera modelliert werden, da die Anzeigefläche das ganze oder meiste nutzbare Sichtfeld der Kamera ausfüllen kann. Das Verfahren kann als ein zumindest teilautomatischer oder als ein vollautomatischer Prozess realisiert sein, wobei insbesondere auf manuelle Schritte verzichtet oder weitestgehend verzichtet werden kann.Advantageously, the exact distance, the exact position and the orientation of the screen in particular do not have to be precisely known. The speed of this calibration process can be particularly high since the vehicle does not need to be placed in any particular position or orientation relative to any test pads. The straight lines do not need to be measured separately since their length and direction information do not need to be known. Their linearity is, for example, through the use of an ordinary flat screen or the like as Display area guaranteed. The optical distortion of the windshield can be modeled in almost all of the camera's usable field of view since the display area can fill all or most of the camera's usable field of view. The method can be implemented as an at least partially automatic or as a fully automatic process, in which case manual steps in particular can be dispensed with or largely dispensed with.

Ferner können beispielsweise ein Erwerb eines speziellen Kalibrierungszielobjektes, eine Positionierung und Bewegung des Zielobjektes vor der Kamera und eine Aufnahme unterschiedlicher Bilder oder eine Vermessung des Zielobjektes zum Erhalten genauer Koordinaten von Zielobjektpunkten vermieden werden, wodurch Kosten, Zeit und Aufwand gespart werden können und eine Verfügbarkeit und Machbarkeit der Kalibrierung erhöht werden können. Gemäß Ausführungsformen kann somit eine einfache, kostengünstige und zeitsparende Kalibrierung am Ende der Fertigungslinie während der Endmontage des Fahrzeugs, aber auch in einer Werkstattumgebung im Rahmen einer Instandhaltung oder nach einer Auslieferung des Fahrzeugs ermöglicht werden. Es können insbesondere Einschränkungen hinsichtlich der Größe und Komplexität der Verzerrung vermieden werden und somit kann eine Eignung für alle Arten einer Einbaukonfiguration und Windschutzscheiben mit hohen oder komplexen Verzerrungen erreicht werden.Furthermore, for example, acquiring a special calibration target, positioning and moving the target in front of the camera, and taking different images, or measuring the target to obtain accurate coordinates of target points can be avoided, thereby saving cost, time, and effort and increasing availability and Calibration feasibility can be increased. According to embodiments, a simple, inexpensive and time-saving calibration at the end of the production line during the final assembly of the vehicle, but also in a workshop environment as part of maintenance or after delivery of the vehicle can be made possible. In particular, restrictions on the size and complexity of the distortion can be avoided and thus suitability for all types of installation configuration and windshields with high or complex distortions can be achieved.

Es wird ein Verfahren zum Kalibrieren einer in einem Fahrzeug montierten Kamera vorgestellt, wobei sich ein Sichtfeld der Kamera durch eine Windschutzscheibe des Fahrzeugs hindurch in eine Umgebung des Fahrzeugs erstreckt, wobei das Verfahren folgende Schritte aufweist:

Einlesen von mittels der Kamera aufgenommenen Bilddaten, wobei die Bilddaten ein Linienmuster repräsentieren, wobei das Linienmuster auf zumindest einer Anzeigefläche in der Umgebung des Fahrzeugs dargestellt ist, wobei das Linienmuster gerade Linien repräsentiert;

A method for calibrating a camera mounted in a vehicle is presented, with a field of view of the camera extending through a windshield of the vehicle into an environment of the vehicle, the method having the following steps:

Reading in image data recorded by the camera, the image data representing a line pattern, the line pattern being displayed on at least one display area in the vicinity of the vehicle, the line pattern representing straight lines;

Verarbeiten der Bilddaten, wobei zu den geraden Linien des Linienmusters gehörige Punkte in den Bilddaten detektiert werden;processing the image data, wherein points in the image data corresponding to the straight lines of the line pattern are detected;

Ermitteln von Verzerrungsparametern, die eine optische Verzerrung der Windschutzscheibe des Fahrzeugs repräsentieren, wobei zum Ermitteln der Verzerrungsparameter die detektierten Punkte unter Verwendung von vorläufigen Verzerrungsparametern auf zumindest eine virtuelle Ebene im Raum projiziert werden, die geraden Linien des Linienmusters repräsentierende Referenzgeraden in der zumindest einen virtuellen Ebene generiert werden und mittels eines Optimierungsprozesses die Verzerrungsparameter gefunden werden, mittels derer die projizierten Punkte relativ zu den Referenzgeraden zumindest eine vorbestimmte Bedingung erfüllen; undDetermination of distortion parameters that represent an optical distortion of the windshield of the vehicle, wherein to determine the distortion parameters, the detected points are projected using preliminary distortion parameters onto at least one virtual plane in space, the straight lines of the line pattern representing reference straight lines in the at least one virtual plane are generated and the distortion parameters are found by means of an optimization process, by means of which the projected points meet at least one predetermined condition relative to the reference lines; and

Bestimmen von Kalibrierungsdaten zum Kalibrieren der Kamera unter Verwendung der ermittelten Verzerrungsparameter.determining calibration data for calibrating the camera using the determined distortion parameters.

Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug handeln, beispielsweise ein Landfahrzeug, insbesondere einen Personenkraftwagen, Lastkraftwagen oder ein anderes Nutzfahrzeug. Die Kamera kann als eine Frontkamera ausgeführt sein, die ausgebildet ist, um ein Umfeld des Fahrzeugs im Bereich einer Front des Fahrzeugs zu erfassen. Die Anzeigefläche kann eine Anzeigevorrichtung aufweisen oder als ein Teil einer Anzeigevorrichtung ausgeführt sein, bei der es sich beispielsweise um einen Monitor, Fernsehbilds oder Beamer mit einer Projektionsoberfläche handeln kann. Die Anzeigefläche kann auf einer Ebene oder auf mehreren Ebenen realisiert sein. Das Linienmuster kann auf der Anzeigefläche angezeigt, dargestellt, gedruckt oder aufgebaut sein. Die Anzeigefläche kann relativ zu der Kamera angeordnet sein, um das nutzbare Sichtfeld der Kamera auszufüllen. Die Verzerrungsparameter können auch eine optische Verzerrung der Kamera repräsentieren. Die vorläufigen Verzerrungsparameter können auch als initial angenommene oder vordefinierte Verzerrungsparameter bezeichnet werden. Der Optimierungsprozess kann ausgebildet sein, um eine Optimierung unter Nebenbedingungen zu bewirken.The vehicle can be a motor vehicle, for example a land vehicle, in particular a passenger car, truck or another commercial vehicle. The camera can be embodied as a front camera, which is designed to capture surroundings of the vehicle in the area of a front of the vehicle. The display surface can have a display device or be designed as part of a display device, which can be a monitor, television picture or beamer with a projection surface, for example. The display area can be realized on one level or on several levels. The line pattern may be displayed, illustrated, printed, or constructed on the display surface. The display area can be positioned relative to the camera to fill the usable field of view of the camera. The distortion parameters can also represent an optical distortion of the camera. The preliminary distortion parameters can also be referred to as initially assumed or predefined distortion parameters. The optimization process can be designed to effect optimization under constraints.

Gemäß einer Ausführungsform kann im Schritt des Ermittelns der Optimierungsprozess iterativ ausgeführt werden. Zusätzlich oder alternativ kann im Schritt des Ermittelns der Optimierungsprozess eine Schätzung nach der Methode kleinster Quadrate umfassen. Eine solche Ausführungsform bietet den Vorteil, dass die Verzerrungsparameter auf einfache, schnelle und zuverlässige Weise ermittelt werden können. Zusätzlich oder alternativ kann im Schritt des Ermittelns der Optimierungsprozess eine Linearisierung umfassen. Wenn der Optimierungsprozess eine Linearisierung umfasst, kann zumindest eine Iteration des Optimierungsprozesses eingespart werden.According to one embodiment, the optimization process can be carried out iteratively in the determination step. Additionally or alternatively, in the step of determining, the optimization process can include an estimation according to the least squares method. Such an embodiment offers the advantage that the distortion parameters can be determined in a simple, fast and reliable manner. Additionally or alternatively, the optimization process can include a linearization in the determination step. If the optimization process includes a linearization, at least one iteration of the optimization process can be saved.

Auch kann das Verfahren einen Schritt des Bewirkens einer Darstellung des Linienmusters auf der zumindest einen Anzeigefläche umfassen. Insbesondere kann dabei das Linienmuster mittels einer Projektionseinrichtung auf die zumindest eine Anzeigefläche projiziert werden. Auch kann eine weitere Darstellung des Linienmusters bewirkt werden, die relativ zu der Darstellung gedreht oder verschoben ist. Eine solche Ausführungsform bietet den Vorteil, dass das Linienmuster zur Kamerakalibrierung auf kostengünstige und einfache Weise bereitgestellt werden kann, beispielsweise in einer Werkstattumgebung.The method can also include a step of causing the line pattern to be displayed on the at least one display area. In particular, the line pattern can be projected onto the at least one display surface by means of a projection device. Also, a further representation of the line pattern can be effected that is rotated or translated relative to the representation. Such an embodiment offers the advantage that the line pattern for camera calibration can be provided in an inexpensive and simple manner, for example in a workshop environment.

Ferner kann als das Linienmuster ein Linienmuster verwendet werden, das gerade Linien repräsentiert, von denen zumindest eine Teilmenge zueinander parallel sind und zusätzlich oder alternativ von denen zumindest eine Teilmenge schräg bezüglich mindestens einer anderen der geraden Linien verlaufen. Zusätzlich oder alternativ kann jede der geraden Linien eine andere Ausrichtung aufweisen. Zusätzlich oder alternativ können die geraden Linien eine geometrische Form bilden. Eine solche Ausführungsform bietet den Vorteil, dass anhand solcher Linien die optische Verzerrung oder Verzeichnung insbesondere der Windschutzscheibe einfach und genau erkannt und modelliert werden kann.Furthermore, as the line pattern, a line pattern can be used that represents straight lines, at least a subset of which are parallel to each other and additionally or alternatively, at least a subset of which are oblique with respect to at least one other of the straight lines. Additionally or alternatively, each of the straight lines may have a different orientation. Additionally or alternatively, the straight lines can form a geometric shape. Such an embodiment offers the advantage that the optical distortion or distortion, in particular of the windshield, can be recognized and modeled easily and precisely on the basis of such lines.

Zudem kann als das Linienmuster ein Linienmuster verwendet werden, das gerade Linien repräsentiert, von denen zumindest eine Teilmenge gleichmäßig voneinander beabstandet sind und zusätzlich oder alternativ von denen zumindest eine Teilmenge ungleichmäßig voneinander beabstandet sind. Zusätzlich oder alternativ können zumindest zwei der geraden Linien einander überlappen. Eine solche Ausführungsform bietet den Vorteil, dass mittels eines solchen Linienmusters die optische Verzerrung zuverlässig, unaufwändig und exakt ermittelt werden kann.In addition, a line pattern can be used as the line pattern, which represents straight lines, at least a subset of which are evenly spaced from one another and additionally or alternatively at least a subset of which are unequally spaced from one another. Additionally or alternatively, at least two of the straight lines may overlap. Such an embodiment offers the advantage that the optical distortion can be determined reliably, inexpensively and exactly by means of such a line pattern.

Auch kann als das Linienmuster ein Linienmuster verwendet werden, das gerade Linien repräsentiert, von denen zumindest eine Teilmenge in einer gemeinsamen Farbe dargestellt sind und zusätzlich oder alternativ von denen zumindest eine Teilmenge in unterschiedlichen Farben dargestellt sind. Eine solche Ausführungsform bietet den Vorteil, dass durch geeignete Farbgebung von durch das Linienmuster repräsentierten Linien die Modellierung der optischen Verzerrung der Windschutzscheibe auf genaue und robuste Weise realisiert kann.A line pattern can also be used as the line pattern, which represents straight lines, of which at least a subset is shown in a common color and, additionally or alternatively, at least a subset of which is shown in different colors. Such an embodiment offers the advantage that the modeling of the optical distortion of the windshield can be implemented in an accurate and robust manner by suitable coloring of lines represented by the line pattern.

Gemäß einer Ausführungsform kann als das Linienmuster ein Linienmuster verwendet werden, das gerade Linien repräsentiert, von denen jede durch eine Mehrzahl von diskreten grafischen Elementen dargestellt ist, die entlang einer geraden Linie angeordnet sind. Die grafischen Elemente können beispielsweise Punkte, Kreise, Striche, Dreiecke, Quadrate, Kreuze, Sterne oder andere geometrische Formen aufweisen.According to an embodiment, as the line pattern, a line pattern representing straight lines each represented by a plurality of discrete graphic elements arranged along a straight line can be used. The graphic elements can have, for example, points, circles, lines, triangles, squares, crosses, stars or other geometric shapes.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.The approach presented here also creates a device that is designed to carry out, control or implement the steps of a variant of a method presented here in corresponding devices. The object on which the invention is based can also be achieved quickly and efficiently by this embodiment variant of the invention in the form of a device.

Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.For this purpose, the device can have at least one computing unit for processing signals or data, at least one memory unit for storing signals or data, at least one interface to a sensor or an actuator for reading in sensor signals from the sensor or for outputting data or control signals to the Have actuator and / or at least one communication interface for reading or outputting data that are embedded in a communication protocol. The arithmetic unit can be, for example, a signal processor, a microcontroller or the like, with the memory unit being able to be a flash memory, an EEPROM or a magnetic memory unit. The communication interface can be designed to read in or output data wirelessly and/or by wire, wherein a communication interface that can read in or output wire-bound data can, for example, read this data electrically or optically from a corresponding data transmission line or can output it to a corresponding data transmission line.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood to mean an electrical device that processes sensor signals and, depending thereon, outputs control and/or data signals. The device can have an interface that can be configured as hardware and/or software. In the case of a hardware design, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible for the interfaces to be separate integrated circuits or to consist at least partially of discrete components. In the case of a software design, the interfaces can be software modules which are present, for example, on a microcontroller alongside other software modules.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.A computer program product or computer program with program code is also advantageous, which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and/or controlling the steps of the method according to one of the above-described particular embodiments, particularly when the program product or program is run on a computer or device.

Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung einer Vorrichtung zum Kalibrieren einer in einem Fahrzeug montierten Kamera;
2 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Kalibrieren einer in einem Fahrzeug montierten Kamera;
3 eine schematische Darstellung von Beispielen für Linienmuster und Bilddaten;
4 ein schematisches Diagramm von aus Bilddaten detektierten Punktdaten;
5 ein schematisches Diagramm der Punktdaten aus 4 nach einer Entzerrung auf einer virtuellen Ebene;
6 eine schematische Darstellung von Beispielen für Linienmuster gemäß einem Ausführungsbeispiel;
7 eine schematische Darstellung von Beispielen für Linienmuster gemäß einem Ausführungsbeispiel;
8 eine schematische Darstellung von Beispielen für Linienmuster gemäß einem Ausführungsbeispiel;
9 eine schematische Darstellung von Beispielen für Linienmuster gemäß einem Ausführungsbeispiel;
10 eine schematische Darstellung eines Beispiels für ein Linienmuster gemäß einem Ausführungsbeispiel; und
11 eine schematische Darstellung von Beispielen für Linienmuster gemäß einem Ausführungsbeispiel.

Exemplary embodiments of the approach presented here are shown in the drawings and explained in more detail in the following description. It shows:

1 a schematic representation of a device for calibrating a camera mounted in a vehicle;
2 FIG. 12 is a flowchart of an embodiment of a method for calibrating a vehicle-mounted camera; FIG.
3 a schematic representation of examples of line patterns and image data;
4 a schematic diagram of point data detected from image data;
5 a schematic diagram of the point data 4 after equalization on a virtual plane;
6 a schematic representation of examples of line patterns according to an embodiment;
7 a schematic representation of examples of line patterns according to an embodiment;
8th a schematic representation of examples of line patterns according to an embodiment;
9 a schematic representation of examples of line patterns according to an embodiment;
10 a schematic representation of an example of a line pattern according to an embodiment; and
11 a schematic representation of examples of line patterns according to an embodiment.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable exemplary embodiments of the present invention, the same or similar reference symbols are used for the elements which are shown in the various figures and have a similar effect, with a repeated description of these elements being dispensed with.

1 zeigt eine schematische Darstellung einer Vorrichtung 110 zum Kalibrieren einer in einem Fahrzeug 100 montierten Kamera 104. Bei dem Fahrzeug 100 handelt es sich um ein Kraftfahrzeug, beispielsweise um ein Landfahrzeug, insbesondere einen Personenkraftwagen oder dergleichen. Die Kamera 104 ist in dem Fahrzeug 100 montiert bzw. angeordnet. Genauer gesagt ist die Kamera 104 im Bereich einer Windschutzscheibe 102 des Fahrzeugs 100 montiert. Ein Sichtfeld 106 (FOV, Field of View) der Kamera 104 erstreckt sich durch die Windschutzscheibe 102 hindurch in ein Umfeld bzw. in eine Umgebung des Fahrzeugs 100. Somit ist die Kamera 104 ausgebildet, um durch die Windschutzscheibe 102 hindurch ein Umfeld bzw. eine Umgebung des Fahrzeugs 100 zu erfassen. 1 shows a schematic representation of a device 110 for calibrating a camera 104 mounted in a vehicle 100. The vehicle 100 is a motor vehicle, for example a land vehicle, in particular a passenger car or the like. The camera 104 is mounted in the vehicle 100 . More precisely, the camera 104 is mounted in the area of a windshield 102 of the vehicle 100 . A field of view 106 (FOV, field of view) of the camera 104 extends through the windshield 102 into an environment or in an environment of the vehicle 100. Thus, the camera 104 is designed to through the windshield 102 through an environment or a Environment of the vehicle 100 to capture.

In dem Sichtfeld 106 der Kamera 104 ist in dem Umfeld bzw. in der Umgebung des Fahrzeugs 100 eine Anzeigefläche 130 angeordnet. Die Anzeigefläche 130 ist ausgebildet, um ein Linienmuster darzustellen, das gerade Linien repräsentiert. Die Anzeigefläche 130 und damit das Linienmuster füllen das Sichtfeld 106 der Kamera 104 hierbei zum Beispiel vollständig aus. Gemäß dem hier dargestellten Ausführungsbeispiel ist die Anzeigefläche 130 als ein Monitor, eine Anzeigevorrichtung, ein Display, ein Fernsehbildschirm oder dergleichen ausgeführt. Gemäß einem anderen Ausführungsbeispiel kann die Anzeigefläche 130 auch mehrere Teileinheiten auf mehreren Ebenen relativ zu der Kamera umfassen. Optional kann die Anzeigefläche 130 zusätzlich oder alternativ auch eine Leinwand, auf die das Linienmuster mittels eines Projektes projizierbar ist, eine Tafel, ein Bild oder dergleichen aufweisen, wobei das Linienmuster darauf gedruckt, aufgebaut oder anderweitig dargestellt ist.A display surface 130 is arranged in the field of view 106 of the camera 104 in the surroundings of the vehicle 100 . The display area 130 is configured to display a line pattern representing straight lines. The display area 130 and thus the line pattern completely fill the field of view 106 of the camera 104, for example. According to the exemplary embodiment illustrated here, the display area 130 is designed as a monitor, a display device, a display, a television screen or the like. According to another embodiment, the display surface 130 can also comprise multiple sub-units on multiple levels relative to the camera. Optionally, the display surface 130 can additionally or alternatively also have a screen onto which the line pattern can be projected by means of a project, a panel, an image or the like, the line pattern being printed, built up or otherwise represented thereon.

In 1 ist somit anders ausgedrückt ein Beispiel für eine Positionierung einer Anzeige bzw. Anzeigefläche 130 vor der Kamera 104 gezeigt, wobei die Kamera 104 hinter der Windschutzscheibe 102 angeordnet ist. Die als Monitor oder Fernsehbildschirm ausgeführte Anzeigefläche 130 zeigt die geraden Linien des Linienmusters. Alternativ können die geraden Linien beispielsweise auf einer Oberfläche einer alternativ ausgeführten Anzeigefläche 130 gedruckt sein. Auf das Linienmuster wird unter Bezugnahme auf nachfolgende Figuren noch detaillierter eingegangen.In 1 In other words, an example of positioning a display or display surface 130 in front of the camera 104 is shown, with the camera 104 being arranged behind the windshield 102 . The display surface 130 embodied as a monitor or television screen shows the straight lines of the line pattern. Alternatively, the straight lines may be printed on a surface of an alternatively configured display area 130, for example. The line pattern will be discussed in more detail with reference to the following figures.

Die Vorrichtung 110 zum Kalibrieren der in dem Fahrzeug 100 montierten Kamera 104 ist gemäß dem hier dargestellten Ausführungsbeispiel in dem Fahrzeug 100 angeordnet. Die Vorrichtung 110 und die Kamera 104 sind signalübertragungsfähig miteinander verbunden. Gemäß einem anderen Ausführungsbeispiel kann zumindest ein Teil der Vorrichtung 110 als ein Teil eines bestehenden Steuergerätes des Fahrzeugs 100 ausgeführt sein. Optional kann zusätzlich oder alternativ zumindest ein Teil der Vorrichtung 110 auch fahrzeugextern in einem Rechner oder Steuergerät realisiert sein.The device 110 for calibrating the camera 104 mounted in the vehicle 100 is arranged in the vehicle 100 according to the exemplary embodiment illustrated here. The device 110 and the camera 104 are connected to one another in a manner capable of transmitting signals. According to another exemplary embodiment, at least part of device 110 can be implemented as part of an existing control unit of vehicle 100 . Optionally, in addition or as an alternative, at least part of the device 110 can also be implemented outside the vehicle in a computer or control unit.

Die Vorrichtung 110 umfasst gemäß dem hier dargestellten Ausführungsbeispiel eine Verarbeitungseinrichtung 112, eine Ermittlungseinrichtung 114 und eine Bestimmungseinrichtung 116. Die Vorrichtung 110 ist ausgebildet, um mittels der Kamera 104 aufgenommene Bilddaten 108 einzulesen. Die Bilddaten repräsentieren das auf der Anzeigefläche 130 dargestellte Linienmuster. Ferner ist die Vorrichtung 110 ausgebildet, um die Bilddaten 108 der Verarbeitungseinrichtung 112 bereitzustellen.According to the exemplary embodiment illustrated here, the device 110 comprises a processing device 112 , a determination device 114 and a determination device 116 . The device 110 is designed to read in image data 108 recorded by the camera 104 . The image data represents the line pattern displayed on the display area 130 . Furthermore, the device 110 is designed to provide the image data 108 to the processing device 112 .

Die Verarbeitungseinrichtung 112 der Vorrichtung 110 ist ausgebildet, um die Bilddaten 108 zu verarbeiten, um zu den geraden Linien des durch die Bilddaten 108 repräsentierten Linienmusters gehörige Punkte in den Bilddaten 108 zu detektieren. Ferner ist die Verarbeitungseinrichtung 112 ausgebildet, um Punktdaten 113, welche die detektierten Punkte repräsentieren, an die Ermittlungseinrichtung 114 weiterzugeben.The processing device 112 of the device 110 is designed to process the image data 108 in order to detect points in the image data 108 that belong to the straight lines of the line pattern represented by the image data 108 . Furthermore, the processing device 112 is designed to forward point data 113, which represent the detected points, to the determination device 114.

Die Ermittlungseinrichtung 114 ist ausgebildet, um unter Verwendung der Punktdaten 113 und mittels eines Optimierungsprozesses Verzerrungsparameter 115 zu ermitteln, die eine optische Verzerrung bzw. Verzeichnung der Windschutzscheibe 102 repräsentieren. Hierzu ist die Ermittlungseinrichtung 114 ausgebildet, um zum Ermitteln der Verzerrungsparameter die detektierten Punkte unter Verwendung von vorläufigen Verzerrungsparametern auf zumindest eine virtuelle Ebene im Raum zu projizieren. Ferner ist die Ermittlungseinrichtung 114 hierzu ausgebildet, um die geraden Linien des Linienmusters repräsentierende Referenzgeraden in der zumindest einen virtuellen Ebene zu generieren. Auch ist die Ermittlungseinrichtung 114 hierzu ausgebildet, um mittels des Optimierungsprozesses die Verzerrungsparameter 115 zu finden, mittels derer die projizierten Punkte relativ zu den Referenzgeraden zumindest eine vorbestimmte Bedingung erfüllen. Bei der zumindest einen vorbestimmten Bedingung handelt es sich beispielsweise um eine Linearitätsbedingung, ein Konvergenzkriterium oder dergleichen. Gemäß einem Ausführungsbeispiel ist die Ermittlungseinrichtung 114 ausgebildet, um den Optimierungsprozess iterativ auszuführen. Insbesondere umfasst der Optimierungsprozess gemäß einem Ausführungsbeispiel eine Schätzung nach der Methode kleinster Quadrate und/oder eine Linearisierung. Die Ermittlungseinrichtung 114 ist auch ausgebildet, um die Verzerrungsparameter 115 an die Bestimmungseinrichtung 116 weiterzugeben.The determination device 114 is designed to determine distortion parameters 115, which represent an optical distortion or distortion of the windshield 102, using the point data 113 and by means of an optimization process. For this purpose, the determination device 114 is designed to project the detected points onto at least one virtual plane in space using preliminary distortion parameters in order to determine the distortion parameters. Furthermore, determination device 114 is designed for this purpose in order to generate straight reference lines representing the straight lines of the line pattern in the at least one virtual plane. The determination device 114 is also designed for this purpose in order to use the optimization process to find the distortion parameters 115 by means of which the projected points meet at least one predetermined condition relative to the reference lines. The at least one predetermined condition is, for example, a linearity condition, a convergence criterion or the like. According to one exemplary embodiment, determination device 114 is designed to carry out the optimization process iteratively. In particular, according to one embodiment, the optimization process includes least squares estimation and/or linearization. The determination device 114 is also designed to forward the distortion parameters 115 to the determination device 116 .

Die Bestimmungseinrichtung 116 ist ausgebildet, um unter Verwendung der ermittelten Verzerrungsparameter 115 dann Kalibrierungsdaten 118 zum kandidieren der Kamera 104 zu bestimmen. Die Vorrichtung 110 ist ausgebildet, um die Kalibrierungsdaten 118 an die Kamera 104 auszugeben oder zur Ausgabe an die Kamera 104 bereitzustellen. Unter Verwendung der Kalibrierungsdaten 118 ist die Kamera 104 kalibrierbar, um die optische Verzerrung bzw. Verzeichnung der Windschutzscheibe 102 zu berücksichtigen.The determination device 116 is designed to then determine calibration data 118 for candidate of the camera 104 using the determined distortion parameters 115 . The device 110 is designed to output the calibration data 118 to the camera 104 or to make them available for output to the camera 104 . Using the calibration data 118, the camera 104 can be calibrated to account for the optical distortion of the windshield 102.

Gemäß einem Ausführungsbeispiel umfasst die Vorrichtung 110 eine Bewirkungseinrichtung 120, die ausgebildet ist, um eine Darstellung des Linienmusters auf der mindestens einen Anzeigefläche 130 zu bewirken. Hierzu ist die Bewirkungseinrichtung 120 ausgebildet, um ein Darstellungssignal 122, welches das darzustellende Linienmuster repräsentiert, an die Anzeigefläche 130 auszugeben. Gemäß einem Ausführungsbeispiel kann das Linienmuster unter Verwendung des Darstellungssignals 122 mittels einer Projektionseinrichtung auf die zumindest eine Anzeigefläche projiziert werden. Die Bewirkungseinrichtung 120 kann alternativ auch getrennt von der Vorrichtung 110 realisiert sein.According to one exemplary embodiment, the device 110 comprises an effecting device 120 which is designed to bring about a representation of the line pattern on the at least one display area 130 . For this purpose, the effecting device 120 is designed to output a display signal 122, which represents the line pattern to be displayed, to the display surface 130. According to one embodiment, the line pattern can be projected onto the at least one display surface using the display signal 122 by means of a projection device. Alternatively, the effecting device 120 can also be implemented separately from the device 110 .

2 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 200 zum Kalibrieren einer in einem Fahrzeug montierten Kamera. Das Verfahren 200 zum Kalibrieren ist hierbei in Verbindung mit dem Fahrzeug aus 1 oder einem ähnlichen Fahrzeug ausführbar. Somit erstreckt sich Sichtfeld der zu kalibrierenden Kamera durch eine Windschutzscheibe des Fahrzeugs hindurch in eine Umgebung des Fahrzeugs. Das Verfahren 200 zum Kalibrieren ist mittels der Vorrichtung aus 1 oder einer ähnlichen Vorrichtung ausführbar. Das Verfahren 200 zum Kalibrieren umfasst einen Schritt 210 des Einlesens, einen Schritt 220 des Verarbeitens, einen Schritt 230 des Ermittelns und einen Schritt 240 des Bestimmens. 2 10 shows a flowchart of an embodiment of a method 200 for calibrating a vehicle-mounted camera. The method 200 for calibrating is here in connection with the vehicle 1 or a similar vehicle executable. The field of view of the camera to be calibrated thus extends through a windshield of the vehicle into surroundings of the vehicle. The method 200 for calibrating using the device is off 1 or a similar device executable. The method 200 for calibrating comprises a step 210 of reading in, a step 220 of processing, a step 230 of ascertaining and a step 240 of determining.

Hierbei werden im Schritt 210 des Einlesens mittels der Kamera aufgenommene Bilddaten eingelesen. Die Bilddaten repräsentieren ein Linienmuster, das auf zumindest einer Anzeigefläche in der Umgebung des Fahrzeugs dargestellt ist. Das Linienmuster repräsentiert gerade Linien. Nachfolgend werden im Schritt 220 des Verarbeitens die eingelesenen Bilddaten verarbeitet, wobei zu den geraden Linien des Linienmusters gehörige Punkte in den Bilddaten detektiert werden. Wiederum nachfolgend werden im Schritt 230 des Ermittelns Verzerrungsparameter ermittelt, die eine optische Verzerrung der Windschutzscheibe des Fahrzeugs repräsentieren. Hierbei werden zum Ermitteln der Verzerrungsparameter im Schritt 230 des Ermittelns die detektierten Punkte unter Verwendung von vorläufigen Verzerrungsparametern auf zumindest eine virtuelle Ebene im Raum projiziert, werden die geraden Linien des Linienmusters repräsentierende Referenzgeraden in der zumindest einen virtuellen Ebene generiert und werden mittels eines Optimierungsprozesses die Verzerrungsparameter gefunden, mittels derer die projizierten Punkte relativ zu den Referenzgeraden zumindest eine vorbestimmte Bedingung erfüllen. Nachfolgend werden im Schritt 240 des Bestimmens unter Verwendung der ermittelten Verzerrungsparameter Kalibrierungsdaten zum Kalibrieren der Kamera bestimmt.Here, in step 210 of reading in, image data recorded by the camera are read in. The image data represents a line pattern that is displayed on at least one display area in the vicinity of the vehicle. The line pattern represents straight lines. Subsequently, in step 220 of processing, the image data read in are processed, points belonging to the straight lines of the line pattern being detected in the image data. Again subsequently, in step 230 of determining, distortion parameters are determined which represent an optical distortion of the windshield of the vehicle. To determine the distortion parameters, in step 230 of determination, the detected points are projected onto at least one virtual plane in space using preliminary distortion parameters, the straight reference lines representing the straight lines of the line pattern are generated in the at least one virtual plane and the distortion parameters are determined by means of an optimization process found, by means of which the projected points relative to the reference line at least one predetermined meet condition. Subsequently, in step 240 of determination, calibration data for calibrating the camera are determined using the determined distortion parameters.

Gemäß einem Ausführungsbeispiel umfasst das Verfahren 200 zum Kalibrieren auch einen Schritt 205 des Bewirkens einer Darstellung des Linienmusters auf der zumindest einen Anzeigefläche. Insbesondere wird dabei das Linienmuster mittels einer Projektionseinrichtung auf die zumindest eine Anzeigefläche projiziert.According to one embodiment, the method 200 for calibrating also includes a step 205 of causing the line pattern to be displayed on the at least one display area. In particular, the line pattern is projected onto the at least one display surface by means of a projection device.

3 zeigt eine schematische Darstellung von Beispielen für Linienmuster 340 und Bilddaten 108. Hierbei sind in 3 vier Beispiele für Linienmuster 340 mit parallelen geraden Linien in unterschiedlichen Winkeln gezeigt, wie sie auf der Anzeigefläche aus 1 oder einer ähnlichen Anzeigefläche dargestellt sind. Ferner sind zugehörige grafische Darstellungen von Bilddaten 108 gezeigt, wie sie durch die Kamera aus 1 oder eine ähnliche Kamera von dem jeweiligen Linienmuster 340 durch eine Windschutzscheibe eines Fahrzeugs hindurch aufgenommen sind. Unterschiede zwischen den Linienmustern 340 und den Bilddaten 108 in Bezug auf eine Darstellung und/oder Geometrie der geraden Linien sind durch eine optische Verzerrung bzw. Verzeichnung der Windschutzscheibe bedingt. 3 shows a schematic representation of examples of line patterns 340 and image data 108. Here, in 3 four examples of line patterns 340 with parallel straight lines at different angles are shown as they appear on the display surface 1 or a similar display area are shown. Also shown are associated graphical representations of image data 108 as viewed by the camera 1 or a similar camera taken from the respective line pattern 340 through a windshield of a vehicle. Differences between the line patterns 340 and the image data 108 in terms of representation and/or geometry of the straight lines are due to optical distortion of the windshield.

4 zeigt aus Bilddaten detektierte Punktdaten 113, veranschaulicht als ein schematisches Diagramm. Bei den Bilddaten handelt es sich um die Bilddaten aus 1 bzw. 2 oder ähnliche Bilddaten. Die Punktdaten 113 sind unter Verwendung der Vorrichtung aus 1 bzw. des Verfahrens aus 2 detektierte Punktdaten. Die Punktdaten 113 repräsentieren erfasste bzw. detektierte Linien bzw. deren Punkte in einem durch die Bilddaten repräsentierten, durch die Windschutzscheibe verzerrten Bild. 4 12 shows point data 113 detected from image data illustrated as a schematic diagram. The image data is the image data from 1 or. 2 or similar image data. The point data 113 is off using the device 1 or the procedure 2 detected point data. The point data 113 represent detected or detected lines or their points in an image represented by the image data and distorted by the windshield.

5 zeigt ein schematisches Diagramm der Punktdaten aus 4 nach einer Entzerrung auf einer virtuellen Ebene. Somit zeigt 5 entzerrte Punktdaten 513, die reprojizierte und entzerrte bzw. begradigte Linien bzw. deren Punkte auf der virtuellen Ebene repräsentieren. Die entzerrten Punktdaten 513 ergeben sich insbesondere bei einer Ausführung des Verfahrens aus 2 oder eines ähnlichen Verfahrens beispielsweise mittels der Vorrichtung aus 1 oder einer ähnlichen Vorrichtung, wenn die Verzerrungsparameter gefunden sind, mittels derer die auf die virtuelle Ebene projizierten Punkte relativ zu Referenzgeraden zumindest eine vorbestimmte Bedingung erfüllen. 5 shows a schematic diagram of the point data 4 after equalization on a virtual plane. Thus shows 5 equalized point data 513 representing reprojected and equalized or straightened lines or their points on the virtual plane. The rectified point data 513 result in particular from an execution of the method 2 or a similar method, for example by means of the device 1 or a similar device, when the distortion parameters are found, by means of which the points projected onto the virtual plane relative to reference lines fulfill at least one predetermined condition.

6 zeigt eine schematische Darstellung von Beispielen für Linienmuster 340 gemäß einem Ausführungsbeispiel. Hierbei sind vier Beispiele für Linienmuster 340 dargestellt. Jedes der Linienmuster 340 ist beispielsweise auf der Anzeigefläche aus 1 oder einer ähnlichen Anzeigefläche darstellbar oder dargestellt. Jedes der in 6 gezeigten Linienmuster 340 repräsentiert gerade Linien, von denen zumindest eine Teilmenge zueinander parallel sind und von denen zumindest eine weitere Teilmenge schräg bezüglich mindestens einer anderen der geraden Linien verlaufen. Gemäß einem anderen Ausführungsbeispiel kann jede der geraden Linien eines solchen Linienmusters 340 eine andere Ausrichtung aufweisen. Gemäß einem weiteren Ausführungsbeispiel können die geraden Linien eines solchen Linienmusters 340 zusätzlich oder alternativ eine geometrische Form bilden. Somit veranschaulicht 6, dass die geraden Linien nicht parallel zueinander zu sein brauchen. Jede Linie kann ihren eigenen Winkel oder ihre eigene Abweichung relativ zu den anderen Linien aufweisen. 6 FIG. 3 shows a schematic representation of example line patterns 340 according to an embodiment. Four examples of line patterns 340 are shown here. Each of the line patterns 340 is off on the display surface, for example 1 or a similar display area can be displayed or displayed. Each of the 6 The line pattern 340 shown represents straight lines, at least a subset of which are parallel to one another and at least another subset of which are oblique with respect to at least one other of the straight lines. According to another embodiment, each of the straight lines of such a line pattern 340 may have a different orientation. According to a further embodiment, the straight lines of such a line pattern 340 can additionally or alternatively form a geometric shape. Thus illustrated 6 that the straight lines need not be parallel to each other. Each line can have its own angle or deviation relative to the other lines.

7 zeigt eine schematische Darstellung von Beispielen für Linienmuster 340 gemäß einem Ausführungsbeispiel. Es sind in 7 vier Beispiele für Linienmuster 340 dargestellt. Jedes der Linienmuster 340 ist beispielsweise auf der Anzeigefläche aus 1 oder einer ähnlichen Anzeigefläche darstellbar oder dargestellt. Jedes der in 7 gezeigten Linienmuster 340 repräsentiert gerade Linien, von denen zumindest eine Teilmenge gleichmäßig voneinander beabstandet sind und von denen zumindest eine Teilmenge ungleichmäßig voneinander beabstandet sind. Alternativ können alle Linien ungleichmäßig voneinander beanstandet sein. Die Linien können unterschiedliche Abstände zueinander aufweisen. Jede Linie kann anders als die anderen Linien platziert sein. 7 FIG. 3 shows a schematic representation of example line patterns 340 according to an embodiment. they are in 7 four example line patterns 340 are shown. Each of the line patterns 340 is off on the display surface, for example 1 or a similar display area can be displayed or displayed. Each of the 7 The line pattern 340 shown represents straight lines, at least a subset of which are evenly spaced from one another and at least a subset of which are unequally spaced from one another. Alternatively, all of the lines may be unevenly spaced from each other. The lines can have different distances to each other. Each line can be placed differently than the other lines.

8 zeigt eine schematische Darstellung von Beispielen für Linienmuster 340 gemäß einem Ausführungsbeispiel. Hierbei sind sechs Beispiele für Linienmuster 340 gezeigt. Jedes der Linienmuster 340 ist beispielsweise auf der Anzeigefläche aus 1 oder einer ähnlichen Anzeigefläche darstellbar oder dargestellt. Jedes der in 8 gezeigten Linienmuster 340 repräsentiert gerade Linien, von denen zumindest zwei gerade Linien einander überlappen und/oder einander schneiden. Die Linien können also überlappen, einschließlich Linien mit dem gleichen Abstand oder mit variierenden Abständen. 8th FIG. 3 shows a schematic representation of example line patterns 340 according to an embodiment. Here, six examples of line patterns 340 are shown. Each of the line patterns 340 is off on the display surface, for example 1 or a similar display area can be displayed or displayed. Each of the 8th The line pattern 340 shown represents straight lines of which at least two straight lines overlap and/or intersect. Thus, the lines can overlap, including lines with the same spacing or with varying spacing.

9 zeigt eine schematische Darstellung von Beispielen für Linienmuster 340 gemäß einem Ausführungsbeispiel. Dabei sind in 9 zwei Beispiele für Linienmuster 340 dargestellt. Jedes der Linienmuster 340 ist beispielsweise auf der Anzeigefläche aus 1 oder einer ähnlichen Anzeigefläche darstellbar oder dargestellt. Jedes der in 9 gezeigten Linienmuster 340 repräsentiert gerade Linien, von denen zumindest eine Teilmenge in einer gemeinsamen Farbe dargestellt sind und von denen zumindest eine Teilmenge in unterschiedlichen Farben dargestellt sind. Anders ausgedrückt können unterschiedliche Gruppen der Linien in einer Farbe dargestellt sein, die sich von einer Farbe einer anderen Gruppe von Linien unterscheidet. Eine solche Farbcodierung ist gemäß einem Ausführungsbeispiel mit den Linienmuster aus einer der vorstehend beschriebenen Figuren kombinierbar. 9 FIG. 3 shows a schematic representation of example line patterns 340 according to an embodiment. are in 9 two example line patterns 340 are shown. Each of the line patterns 340 is off on the display surface, for example 1 or a similar display area can be displayed or displayed. Each of the 9 Line pattern 340 shown represents straight lines, at least a subset of which are shown in a common color and of where at least a subset is shown in different colors. In other words, different groups of the lines can be represented in a color that differs from a color of another group of lines. According to one exemplary embodiment, such a color coding can be combined with the line pattern from one of the figures described above.

10 zeigt eine schematische Darstellung eines Beispiels für ein Linienmuster 340 gemäß einem Ausführungsbeispiel. Das Linienmuster 340 ist beispielsweise auf der Anzeigefläche aus 1 oder einer ähnlichen Anzeigefläche darstellbar oder dargestellt. Das Linienmuster 340 repräsentiert gerade Linien, deren Linienbreite beliebig ausgewählt ist. Die Linien eines solchen Linienmusters 340 können als Streifen mit auswählbarer Breite betrachtet bzw. interpretiert werden. 10 FIG. 3 shows a schematic representation of an example of a line pattern 340 according to an embodiment. For example, the line pattern 340 is off on the display surface 1 or a similar display area can be displayed or displayed. The line pattern 340 represents straight lines whose line width is arbitrarily selected. The lines of such a line pattern 340 can be viewed or interpreted as stripes with a selectable width.

11 zeigt eine schematische Darstellung von Beispielen für Linienmuster 340 gemäß einem Ausführungsbeispiel. Hierbei sind zehn Beispiele für Linienmuster 340 gezeigt. Jedes der Linienmuster 340 ist beispielsweise auf der Anzeigefläche aus 1 oder einer ähnlichen Anzeigefläche darstellbar oder dargestellt. Jedes der in 11 gezeigten Linienmuster 340 repräsentiert gerade Linien, von denen jede durch eine Mehrzahl von diskreten grafischen Elementen dargestellt ist, die entlang einer geraden Linie angeordnet sind. Somit erfolgt bei jedem der in 11 gezeigten Linienmuster 340 eine diskrete Darstellung von Linien anstelle einer kontinuierlichen Darstellung. Die diskreten grafischen Elemente sind diskrete geometrische Objekte, wie beispielsweise Punkte, Kreise, Striche, Dreiecke, Quadrate, Kreuze, Sterne oder andere geometrische Formen mit den Entwurfskriterien. Jedes der Linienmuster 340 repräsentiert gerade Linien, die durch eine Art von diskreten grafischen Elementen dargestellt sind. 11 FIG. 3 shows a schematic representation of example line patterns 340 according to an embodiment. Here, ten examples of line patterns 340 are shown. Each of the line patterns 340 is off on the display surface, for example 1 or a similar display area can be displayed or displayed. Each of the 11 The line pattern 340 shown represents straight lines, each of which is represented by a plurality of discrete graphical elements arranged along a straight line. Thus, with each of the in 11 Line pattern 340, as shown, is a discrete representation of lines rather than a continuous representation. The discrete graphic elements are discrete geometric objects such as points, circles, lines, triangles, squares, crosses, stars or other geometric shapes with the design criteria. Each of the line patterns 340 represents straight lines represented by some type of discrete graphical element.

Somit sind in 11 Beispiele möglicher Elemente bzw. Objekte dargestellt, die auf den gleichen geraden Linien angeordnet sind, wobei die geometrischen Formen derselben einzeln, zum Beispiel deren Mittelpunkt, gemessen werden können. Anders ausgedrückt können diese Linienmuster 340 somit Datensätze bzw. Punktkoordinaten als Punktdaten liefern, die auf den gleichen Linien liegen, um bei den Linearitätsbedingungen verwendet zu werden. Der Unterschied zu kontinuierlich dargestellten geraden Linien besteht in dem Messverfahren, bei dem Kantenerfassung, Mittenerfassung, Mustererfassung etc. zur Anwendung kommen können.Thus are in 11 Shown are examples of possible elements or objects arranged on the same straight lines, the geometric shapes of which can be measured individually, for example their center. In other words, these line patterns 340 can thus provide data sets or point coordinates as point data lying on the same lines to be used in the linearity conditions. The difference to continuously displayed straight lines is the measurement method, which can use edge detection, center detection, pattern detection, etc.

Unter Bezugnahme auf die vorstehend beschriebenen Figuren werden nachfolgend Ausführungsbeispiele ergänzt und/oder zusammenfassend kurz nochmals erläutert.With reference to the figures described above, exemplary embodiments are supplemented below and/or briefly explained again in summary.

Zum Schätzen bzw. Ermitteln der optischen Verzerrungsparameter 115 (A_i) der Windschutzscheibe 102 kann der Kalibrierungsprozess bzw. das Verfahren 200 mit der nachfolgend angegebenen geometrischen Bedingungsgleichung durchgeführt werden. Herkömmliche Optimierungsverfahren wie eine Schätzung nach der Methode der kleinsten Quadrate können unter Einbeziehung der Bedingungsgleichung verwendet werden.To estimate or determine the optical distortion parameters 115 (A _i ) of the windshield 102, the calibration process or the method 200 can be carried out with the geometric condition equation given below. Conventional optimization methods such as least squares estimation can be used with the inclusion of the constraint equation.

I. Edge points of all lines in the image or images of the line pattern 340 represented by the image data 108 are detected by an image processing algorithm or in step 220 of the processing and/or by the processing device 112 and grouped separately for each line with a defined scanning distance. Thus, the point data 113 can be generated.
II. The points are projected onto one or more virtual planes in space using initial Ai parameters and the preliminary distortion parameters, respectively. For each projected line there are x i and y i coordinates on the virtual plane or planes.
III. A straight line fitted to the points on the virtual plane using, for example, a linear least squares estimation for each line. A 0 , b 0 is calculated, where y i =a 0 x i +b 0 applies.
IV. There follows a calculation of the h-function for each point from the estimated straight line according to the following relationship: H 0 = a 0 x i + b 0 − y i 1 + a 0 2
V. The distortion parameters dA i are updated in an iterative least squares estimation or determination, or by numerical derivatives.
VI. This is followed by a performance of II. and III. and a calculation of h 1 , and a calculation of ∂ H ∂ A i ,
whereupon proceed to VII.
VII. Iterative least squares estimation matrices are constructed using the constraint equation: h=0. Perform one cycle of iterative least squares estimation.
VIII: a verification of the convergence criteria follows and a return to II. or termination of the optimization.

Unter Verwendung des vorstehend genannten Prozesses beispielsweise im Rahmen des Verfahrens 200 und/oder mittels der Ermittlungseinrichtung 114 kann die optische Verzerrung einer optischen Einrichtung, wie beispielsweise die Effekte der Windschutzscheibe 102 des Fahrzeugs 100, automatisch, genau, schnell und sehr kostengünstig modelliert werden.Using the above process, for example, as part of the method 200 and/or by the determining device 114, the optical distortion of an optical device, such as the effects of the windshield 102 of the vehicle 100, can be modeled automatically, accurately, quickly, and very inexpensively.

Nachfolgend werden alternative Ausführungsbeispiele kurz erläutert.Alternative exemplary embodiments are briefly explained below.

Mittels der Kamera 104 könnte ein Bild oder könnten mehrere Bilder eines Linienmusters 340 in unterschiedlichen Linienrichtungen aufgenommen werden. Die geraden Linien des Linienmusters 340 brauchen nicht parallel zueinander zu sein. Anstatt separate Linien Filters Linienmuster 340 zu verwenden, können die Linien miteinander verbunden sein und geometrische Formen bilden. Zielobjektpunkte können ebenfalls verwendet werden, um die Stabilisierung der Kalibrierung zu erhöhen, oder zugleich eine von außen wirkende bzw. statische Kamerakalibrierung durchzuführen und eine Kameraausrichtung zu schätzen, etc. Anstatt eine Anzeige als Anzeigefläche 130 zu verwenden, kann das Linienmuster 340 physisch auf einer Ebene vorliegen oder auf einem Papier gedruckt sein und/oder sich vor der Kamera 104 drehen. Das Linienmuster 340 kann sich vor der Kamera drehen, anstatt das Bild der Anzeige zu drehen. Es kann bei dem vorstehend genannten Schritt VI. eine analytische Ableitung verwendet werden.One image or multiple images of a line pattern 340 in different line directions could be recorded by the camera 104 . The straight lines of line pattern 340 need not be parallel to each other. Instead of using separate lines Filter's line pattern 340, the lines can be connected to form geometric shapes. Target points may also be used to increase calibration stabilization, or simultaneously perform external or static camera calibration and estimate camera orientation, etc. Instead of using a display as display surface 130, line pattern 340 may be physically on a plane be present or printed on a piece of paper and/or rotating in front of the camera 104 . The line pattern 340 can rotate in front of the camera instead of rotating the image of the display. In the above step VI. an analytical derivation can be used.

Der Bildverarbeitungsteil zur Erfassung der Linien, d.h. der Schritt 220 des Verarbeitens mittels der Verarbeitungseinrichtung 112 könnte auf der Kamera 104 oder auf einem Steuergerät (ECU) des Fahrzeugs 100 oder der Kamera 104 oder auf einem externen Rechner durchgeführt werden. In diesem Fall gibt die Kamera 104 oder das Steuergerät des Fahrzeugs 100 ein Bild über dessen Kommunikationsschnittstelle aus und der externe Rechner empfängt das Bild und führt die Bildverarbeitung durch. Die Berechnungen für die kleinsten Quadrate, iterativ und nicht-iterativ, könnten auf der Kamera 104 oder auf einem externen Rechner durchgeführt werden. In diesem Fall kann das Steuergerät der Kamera 104 oder des Fahrzeugs 100 ein Bild oder die Ergebnisse der Bildverarbeitung, z. B. erfasste Linien, falls eine Linienerfassung bereits durchgeführt wurde, an den externen Rechner ausgeben und der Rechner führt die restliche vorstehend beschriebene Berechnung durch. Dann sendet derselbe die Ergebnisse, d.h. die modellierte oder gemessene Windschutzscheibenverzerrung, an die Kamera 104 oder an das Steuergerät des Fahrzeugs 100.The image processing part for detecting the lines, i.e. the step 220 of processing by the processing device 112 could be performed on the camera 104 or on a control unit (ECU) of the vehicle 100 or the camera 104 or on an external computer. In this case, the camera 104 or the control device of the vehicle 100 outputs an image via its communication interface and the external computer receives the image and carries out the image processing. The least squares calculations, iterative and non-iterative, could be performed on the camera 104 or on an external computer. In this case, the controller of the camera 104 or the vehicle 100 can display an image or the results of image processing, e.g. B. output detected lines, if a line detection has already been performed, to the external computer and the computer performs the rest of the calculation described above. It then sends the results, i.e. the modeled or measured windshield distortion, to the camera 104 or to the vehicle's controller 100.

Es können in den vorstehend genannten Schritten V., VI. und VII. auch Linienarisierungsverfahren verwendet werden, um eine Durchführung der Iterationen einer iterativen Schätzung nach der Methode kleinster Quadrate zu vermeiden. Die Linien können auf einer oder mehreren Anzeigefläche 130 visualisiert bzw. dargestellt werden. Dies bedeutet, dass beispielsweise so viele Anzeigen wie nötig verwendet werden können, um den notwendigen Teil des Sichtfeldes 106 der Kamera 104 abzudecken. In dem Schritt II. können die Linien oder Punktkoordinaten virtuell auf mehrere Ebenen projiziert werden, falls nötig, basierend auf dem Sichtfeld 106 der Kamera 104, oder falls als die Kamera 104 eine Weitwinkelkamera verwendet wird.In steps V., VI. and VII. linearization methods can also be used to avoid performing the iterations of an iterative least squares estimation. The lines can be visualized or represented on one or more display areas 130 . This means that, for example, as many displays as necessary can be used to cover the necessary part of the field of view 106 of the camera 104 . In step II., the lines or point coordinates can be virtually projected onto multiple planes, if necessary, based on the field of view 106 of the camera 104, or if the camera 104 uses a wide-angle camera.

Anstatt bei kontinuierlichen Linien die Koordinaten der auf jeder Linie gemessenen Punkte oder Pixel kann in dem Linienmuster 340 eine Reihe diskreter geometrischer Objekte auf den gleichen Linien positioniert sein.Instead of continuous lines having the coordinates of the points or pixels measured on each line, the line pattern 340 can have a series of discrete geometric objects positioned on the same lines.

Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an embodiment includes an "and/or" link between a first feature and a second feature, this should be read in such a way that the embodiment according to one embodiment includes both the first feature and the second feature and according to a further embodiment either only that having the first feature or only the second feature.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102018221066 A1 [0003]

Claims

Method (200) for calibrating a camera (104) mounted in a vehicle (100), a field of view (106) of the camera (104) extending through a windshield (102) of the vehicle (100) into an environment of the vehicle (100 ), the method (200) having the following steps: Reading in (210) image data (108) recorded by the camera (104), the image data (108) representing a line pattern (340), the line pattern (340) being displayed on at least one display area (130) in the vicinity of the vehicle (100 ) wherein the line pattern (340) represents straight lines; processing (220) the image data (108), wherein points in the image data (108) corresponding to the straight lines of the line pattern (340) are detected; Determining (230) distortion parameters (115) representing an optical distortion of the windshield (102) of the vehicle (100), wherein for determining the distortion parameters (115) the detected points are projected onto at least one virtual plane in space using preliminary distortion parameters are generated in the at least one virtual plane representing the straight lines of the line pattern (340) and the distortion parameters (115) are found by means of an optimization process, by means of which the projected points meet at least one predetermined condition relative to the reference lines; and Determining (240) calibration data (118) for calibrating the camera (104) using the determined distortion parameters (115).

Method (200) according to claim 1 wherein, in the step (230) of determining, the optimization process is performed iteratively, includes least squares estimation, and/or includes linearization.

Method (200) according to one of the preceding claims, with a step (205) of effecting a representation of the line pattern (340) on the at least one display area (130), in particular wherein the line pattern (340) is projected onto the at least one display area ( 130) is projected.

Method (200) according to one of the preceding claims, in which a line pattern (340) is used as the line pattern (340) which represents straight lines, at least a subset of which are parallel to one another and/or at least a subset of which are oblique with respect to at least a different one of the straight lines, and/or wherein each of the straight lines has a different orientation, and/or wherein the straight lines form a geometric shape.

Method (200) according to one of the preceding claims, in which a line pattern (340) is used as the line pattern (340) which represents straight lines, at least a subset of which are evenly spaced from one another and/or at least a subset of which are unevenly spaced from one another are spaced, and/or wherein at least two of the straight lines overlap.

Method (200) according to one of the preceding claims, in which a line pattern (340) is used as the line pattern (340) which represents straight lines, of which at least a subset are displayed in a common color and/or of which at least a subset are shown in different colors.

A method (200) according to any one of the preceding claims, wherein as the line pattern (340) there is used a line pattern (340) representing straight lines, each of which is represented by a plurality of discrete graphic elements arranged along a straight line are.

Device (110) set up to execute and/or control the steps of the method (200) according to one of the preceding claims in corresponding units (112, 114, 116; 120).

Computer program that is set up to execute and/or control the steps of the method (200) according to one of the preceding claims.

Machine-readable storage medium on which the computer program claim 9 is saved.