DE102019132996A1

DE102019132996A1 - Estimating a three-dimensional position of an object

Info

Publication number: DE102019132996A1
Application number: DE102019132996.5A
Authority: DE
Inventors: Camilo Vejarano; Raphael Rose-Andrieux
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2021-06-10
Also published as: WO2021110497A1

Abstract

Gemäß einem Verfahren zum Schätzen einer dreidimensionalen Position eines Objekts (1) wird ein Rechensystem (2) dazu benutzt, mittels einer nicht-geradlinigen Kamera (3) erzeugte und das Objekt (1) beschreibende, zweidimensionale Bilddaten zu empfangen, für jeden von mindestens zwei charakteristischen Punkten des Objekts jeweilige zweidimensionale Positionen basierend auf den zweidimensionalen Bilddaten zu bestimmen Koordinatentransformation der zweidimensionalen Positionen der mindestens zwei charakteristischen Punkte (4) durchzuführen, wobei die Koordinatentransformation dazu ausgelegt ist, ein von der nicht-geradlinigen Kamera (3) erfasstes Bild (5) in ein virtuelles Bild (5') einer virtuellen geradlinigen Kamera zu transformieren und dreidimensionale Positionen der mindestens zwei charakteristischen Punkte (4) basierend auf den transformierten zweidimensionalen Positionen und dem vordefinierten dreidimensionalen Modell (6) des Objekts (1) zu bestimmen.According to a method for estimating a three-dimensional position of an object (1), a computing system (2) is used to receive two-dimensional image data, generated by means of a non-linear camera (3) and describing the object (1), for each of at least two characteristic points of the object to determine respective two-dimensional positions based on the two-dimensional image data to perform coordinate transformation of the two-dimensional positions of the at least two characteristic points (4), the coordinate transformation being designed to produce an image (5) captured by the non-linear camera (3) to transform into a virtual image (5 ') of a virtual rectilinear camera and to determine three-dimensional positions of the at least two characteristic points (4) based on the transformed two-dimensional positions and the predefined three-dimensional model (6) of the object (1).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Schätzen einer dreidimensionalen Position eines Objekts, wobei ein Rechensystem dazu benutzt wird, mittels einer nicht-geradlinigen Kamera erzeugte und das Objekt beschreibende, zweidimensionale Bilddaten zu empfangen und für jeden von mindestens zwei charakteristischen Punkten des Objekts jeweilige zweidimensionale Positionen basierend auf den zweidimensionalen Bilddaten zu bestimmen. Die Erfindung betrifft des Weiteren ein Verfahren zum Steuern eines Fahrzeugs, ein System zum Schätzen einer dreidimensionalen Position eines Objekts, ein elektronisches Fahrzeugführungssystem und ein Computerprogrammprodukt.The present invention relates to a method for estimating a three-dimensional position of an object, a computing system being used to receive two-dimensional image data generated by a non-linear camera and describing the object and two-dimensional positions for each of at least two characteristic points of the object based on the two-dimensional image data. The invention further relates to a method for controlling a vehicle, a system for estimating a three-dimensional position of an object, an electronic vehicle guidance system and a computer program product.

Für verschiedene Anwendungen, insbesondere Anwendungen zum autonomen Fahren, kann es wichtig sein, die Position eines Objekts, insbesondere in einer Umgebung eines Fahrzeugs, in 3D zu schätzen. Insbesondere kann es notwendig sein, einen Abstand zwischen dem Fahrzeug und dem Objekt für solche Anwendungen zu berechnen. Jedoch kann eine einzige 2D-Kamera die Positionsinformation des Objekts nur in zwei Dimensionen bereitstellen, was nicht ausreichend sein kann.For various applications, in particular applications for autonomous driving, it can be important to estimate the position of an object, in particular in the surroundings of a vehicle, in 3D. In particular, it may be necessary to calculate a distance between the vehicle and the object for such applications. However, a single 2D camera can only provide the position information of the object in two dimensions, which may not be sufficient.

Die Situation kann sogar noch komplexer sein, falls eine nicht-geradlinige Kamera, wie eine Fischaugenkamera, verwendet wird, was bei Automobilanwendungen aufgrund ihres extrem weiten Sichtfeldes üblich ist. Die von derartigen Kameras bereitgestellten 2D-Informationen entsprechen im Allgemeinen nicht genau den Abständen oder Positionen in der realen Welt.The situation can be even more complex if a non-rectilinear camera, such as a fisheye camera, is used, which is common in automotive applications because of their extremely wide field of view. The 2D information provided by such cameras generally does not exactly correspond to the distances or positions in the real world.

Es ist daher Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zum Schätzen einer dreidimensionalen Position eines Objekts mittels einer Kamera, insbesondere mittels einer einzigen 2D-Kamera, insbesondere mittels einer nicht-geradlinigen Kamera, bereitzustellen.It is therefore the object of the present invention to provide an improved concept for estimating a three-dimensional position of an object by means of a camera, in particular by means of a single 2D camera, in particular by means of a non-linear camera.

Diese Aufgabe wird gelöst durch den Gegenstand der unabhängigen Ansprüche. Weitere Ausführungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.This problem is solved by the subject matter of the independent claims. Further designs and preferred embodiments are the subject of the dependent claims.

Das verbesserte Konzept beruht auf dem Gedanken, charakteristische Punkte des Objekts zu identifizieren und jeweilige zweidimensionale Positionen der aus Kameradaten einer nicht-geradlinigen Kamera erhaltenen charakteristischen Punkte derart zu transformieren, als ob die charakteristischen Punkte mittels einer geradlinigen Kamera abgebildet worden wären.The improved concept is based on the idea of identifying characteristic points of the object and transforming respective two-dimensional positions of the characteristic points obtained from camera data from a non-linear camera in such a way as if the characteristic points had been imaged by means of a linear camera.

Gemäß dem verbesserten Konzept wird ein Verfahren zum Schätzen einer dreidimensionalen Position eines Objekts bereitgestellt. Gemäß dem Verfahren wird ein Rechensystem dazu benutzt, mittels einer nicht-geradlinigen Kamera erzeugte zweidimensionale Bilddaten zu empfangen, wobei die zweidimensionalen Bilddaten das Objekt abbilden. Das Rechensystem wird dazu benutzt, jeweilige zweidimensionale Positionen für jeden von mindestens zwei charakteristischen Punkten des Objekts basierend auf den zweidimensionalen Bilddaten zu bestimmen. Das Rechensystem wird dazu benutzt, eine Koordinatentransformation, insbesondere eine vordefinierte Koordinatentransformation, der zweidimensionalen Positionen der mindestens zwei charakteristischen Punkte durchzuführen, wobei die Koordinatentransformation dazu ausgelegt ist, ein von der nicht-geradlinigen Kamera erfasstes Bild in ein virtuelles Bild einer virtuellen geradlinigen Kamera zu transformieren. Das Rechensystem wird dazu benutzt, dreidimensionale Positionen der mindestens zwei charakteristischen Punkte basierend auf den transformierten zwei-dimensionalen Positionen und basierend auf einem vordefinierten dreidimensionalen Modell des Objekts zu bestimmen.According to the improved concept, a method for estimating a three-dimensional position of an object is provided. According to the method, a computing system is used to receive two-dimensional image data generated by means of a non-linear camera, the two-dimensional image data depicting the object. The computing system is used to determine respective two-dimensional positions for each of at least two characteristic points of the object based on the two-dimensional image data. The computing system is used to carry out a coordinate transformation, in particular a predefined coordinate transformation, of the two-dimensional positions of the at least two characteristic points, the coordinate transformation being designed to transform an image captured by the non-rectilinear camera into a virtual image of a virtual rectilinear camera . The computing system is used to determine three-dimensional positions of the at least two characteristic points based on the transformed two-dimensional positions and based on a predefined three-dimensional model of the object.

Die dreidimensionalen Positionen der mindestens zwei charakteristischen Punkte können als die dreidimensionale Position des Objekts darstellend betrachtet werden.The three-dimensional positions of the at least two characteristic points can be regarded as representing the three-dimensional position of the object.

Eine nicht-geradlinige Kamera kann als eine Kamera mit einer nicht-geradlinigen Linseneinheit verstanden werden. Eine nicht-geradlinige Linseneinheit kann als eine Linseneinheit, das heißt eine oder mehrere Linsen, mit einer nicht-geradlinigen, auch als kurvilinear bezeichneten, Abbildungsfunktion verstanden werden. Insbesondere stellen Fischaugenkameras nicht-geradlinige Kameras dar.A non-rectilinear camera can be understood as a camera with a non-rectilinear lens unit. A non-rectilinear lens unit can be understood as a lens unit, that is to say one or more lenses, with a non-rectilinear imaging function, also referred to as curvilinear. In particular, fisheye cameras are non-linear cameras.

Die Abbildungsfunktion der Linseneinheit kann als eine Funktion r(θ) verstanden werden, die einen Winkel θ von der optischen Achse der Linseneinheit auf eine radiale Verschiebung r aus dem Bildzentrum abbildet. Die Funktion hängt parametrisch von der Brennweite f der Linseneinheit ab.The imaging function of the lens unit can be understood as a function r (θ) which maps an angle θ from the optical axis of the lens unit to a radial displacement r from the image center. The function depends parametrically on the focal length f of the lens unit.

Zum Beispiel hat eine geradlinige Linseneinheit eine gnomonische Abbildungsfunktion, insbesondere r(θ) = f tan(Θ). Mit anderen Worten bildet eine geradlinige Linseneinheit gerade Linien in der realen Welt auf gerade Linien in dem Bild ab, zumindest bis auf Li nsenu ngenauig keiten.For example, a rectilinear lens unit has a gnomonic mapping function, in particular r (θ) = f tan (Θ). In other words, a straight lens unit maps straight lines in the real world onto straight lines in the image, at least down to line inaccuracies.

Eine nicht-geradlinige oder kurvilineare Linseneinheit bildet im Allgemeinen gerade Linien nicht auf gerade Linien im Bild ab. Insbesondere kann die Abbildungsfunktion einer nicht-geradlinigen Kamera stereographisch, äquidistant, raumwinkelgleich oder orthographisch sein. Andere Beispiele für Abbildungsfunktionen nicht-geradliniger Linseneinheiten sind Polynomfunktionen.A non-rectilinear or curvilinear lens unit generally does not map straight lines onto straight lines in the image. In particular, the imaging function of a non-rectilinear camera can be stereographic, equidistant, equidistant, or orthographic. Other examples of mapping functions of non-rectilinear lens units are polynomial functions.

Die Erzeugung der zweidimensionalen Daten unter Verwendung der nicht-geradlinigen Kamera ist nicht notwendigerweise Teil des Verfahrens gemäß dem verbesserten Konzept, kann aber Teil des Verfahrens gemäß dem verbesserten Konzept sein.The generation of the two-dimensional data using the non-rectilinear camera is not necessarily part of the method according to the improved concept, but can be part of the method according to the improved concept.

Um die zweidimensionalen Bilddaten zu empfangen, kann das Rechensystem ein jeweiliges Kamerasignal direkt von der Kamera empfangen oder kann Bilddaten von einem Speichergerät empfangen.In order to receive the two-dimensional image data, the computing system can receive a respective camera signal directly from the camera or can receive image data from a storage device.

Die Bilddaten können zum Beispiel als ein Rasterbild oder Pixelbild, insbesondere eine zwei-dimensionale Pixelanordnung, darstellend verstanden werden. Insbesondere beinhalten die Bilddaten keine direkten Abstandsinformationen betreffend eine Entfernung des Objekts von der Kamera. Mit anderen Worten ist die nicht-geradlinige Kamera als eine 2D-Kamera ausgelegt.The image data can be understood, for example, to represent a raster image or a pixel image, in particular a two-dimensional pixel arrangement. In particular, the image data do not contain any direct distance information relating to a distance of the object from the camera. In other words, the non-rectilinear camera is designed as a 2D camera.

Die zweidimensionalen Positionen der mindestens zwei charakteristischen Punkte können daher als entsprechende Positionen in der Pixelanordnung oder mit anderen Worten als zweidimensionale Koordinaten in einem Kamerakoordinatensystem verstanden werden, wobei das Kamerakoordinatensystem insbesondere starr mit der nicht-geradlinigen Kamera verbunden ist.The two-dimensional positions of the at least two characteristic points can therefore be understood as corresponding positions in the pixel arrangement or, in other words, as two-dimensional coordinates in a camera coordinate system, the camera coordinate system in particular being rigidly connected to the non-linear camera.

Dass die Transformation dazu ausgelegt ist, das Bild in das virtuelle Bild zu transformieren, kann so verstanden werden, dass, wenn hypothetisch das mittels der nicht-geradlinigen Kamera erfasste Bild gemäß der Transformation transformiert würde, das Ergebnis der Transformation einem virtuellen Bild oder mit anderen Worten einem Bild der virtuellen geradlinigen Kamera entsprechen würde. Mit anderen Worten entspricht das transformierte Bild einem Bild, das sich aus der Abbildung des Objekts mittels der virtuellen geradlinigen Kamera ergeben würde. Mit anderen Worten entsprechen alle geraden Linien in der realen Umgebung, insbesondere des Objekts, geraden Linien in dem transformierten Bild, insbesondere bis auf Abbildungsfehler.That the transformation is designed to transform the image into the virtual image can be understood to mean that if, hypothetically, the image captured by means of the non-rectilinear camera would be transformed according to the transformation, the result of the transformation would be a virtual image or with others Words would correspond to an image of the virtual rectilinear camera. In other words, the transformed image corresponds to an image that would result from imaging the object by means of the virtual straight-line camera. In other words, all straight lines in the real environment, in particular of the object, correspond to straight lines in the transformed image, in particular apart from imaging errors.

Jedoch erfordert das Verfahren gemäß dem verbesserten Konzept nicht wirklich, dass das ganze Bild oder der volle Satz mittels der nicht-geradlinigen Kamera erzeugter zweidimensionaler Bilddaten gemäß der Koordinatentransformation transformiert wird. Vielmehr ist es ausreichend, nur die zweidimensionalen Positionen der mindestens zwei charakteristischen Punkte zu transformieren. Dies kann den erforderlichen Rechenaufwand signifikant reduzieren.However, the method according to the improved concept does not really require that the whole image or the full set of two-dimensional image data generated by the non-rectilinear camera be transformed according to the coordinate transformation. Rather, it is sufficient to transform only the two-dimensional positions of the at least two characteristic points. This can significantly reduce the computational effort required.

Das dreidimensionale Modell kann als ein Satz von Beziehungen, insbesondere Abständen, zwischen den mindestens zwei charakteristischen Punkten, insbesondere zwischen wechselseitigen Paaren der mindestens zwei charakteristischen Punkte in drei Dimensionen verstanden werden. Die Beziehungen oder Abstände geben die tatsächlichen Positionen der mindestens zwei charakteristischen Punkte auf dem realen Objekt, das heißt dem Objekt in der realen Welt, annähernd wieder.The three-dimensional model can be understood as a set of relationships, in particular distances, between the at least two characteristic points, in particular between reciprocal pairs of the at least two characteristic points in three dimensions. The relationships or distances approximate the actual positions of the at least two characteristic points on the real object, that is to say the object in the real world.

Wenn zusätzlich zu dem dreidimensionalen Modell die transformierten zweidimensionalen Positionen der mindestens zwei charakteristischen Punkte bekannt sind, können die dreidimensionalen Positionen der mindestens zwei charakteristischen Punkte bestimmt werden.If, in addition to the three-dimensional model, the transformed two-dimensional positions of the at least two characteristic points are known, the three-dimensional positions of the at least two characteristic points can be determined.

Daher kann gemäß dem verbesserten Konzept das dreidimensionale Modell, welches auf den realen physischen Entfernungen der charakteristischen Punkte des Objekts beruht, dazu benutzt werden, die dreidimensionalen Positionen aus den zweidimensionalen Bilddaten abzuschätzen, selbst wenn die Kamera eine nicht-geradlinige Kamera ist. Wenn andererseits die dreidimensionalen Positionen direkt aus den zweidimensionalen Bilddaten in Kombination mit dem dreidimensionalen Modell geschätzt würden, ergäben sich signifikante Fehler. Daher steigert das verbesserte Konzept die Genauigkeit der Schätzung.Therefore, according to the improved concept, the three-dimensional model based on the real physical distances of the characteristic points of the object can be used to estimate the three-dimensional positions from the two-dimensional image data even if the camera is a non-linear camera. On the other hand, if the three-dimensional positions were estimated directly from the two-dimensional image data in combination with the three-dimensional model, significant errors would result. Therefore, the improved concept increases the accuracy of the estimation.

Gemäß einigen Ausführungen des Verfahrens enthält das Rechensystem eine oder mehrere Recheneinheiten der Kamera und/oder extern zur Kamera, beispielsweise eines Fahrzeugs. Die eine oder die mehreren Recheneinheiten der Kamera können Schaltkreise eines Imager-Chips der Kamera und/oder eines Bildsignalprozessors, ISP, der Kamera und/oder eine Graphikprozessoreinheit der Kamera enthalten. Die eine oder die mehreren Recheneinheiten des Fahrzeugs können eine oder mehrere elektronische Steuereinheiten, ECUs, des Fahrzeugs enthalten.According to some embodiments of the method, the computing system contains one or more computing units of the camera and / or external to the camera, for example a vehicle. The one or more computing units of the camera can contain circuits of an imager chip of the camera and / or an image signal processor, ISP, the camera and / or a graphics processor unit of the camera. The one or more computing units of the vehicle can contain one or more electronic control units, ECUs, of the vehicle.

Gemäß einigen Ausführungen wird das Rechensystem dazu benutzt, einen Perspektive-n-Punkt-Algorithmus anzuwenden, insbesondere auf die transformierten zweidimensionalen Positionen, um die dreidimensionalen Positionen der mindestens zwei charakteristischen Punkte basierend auf den transformierten zweidimensionalen Positionen und dem dreidimensionalen Modell zu bestimmen.According to some embodiments, the computing system is used to apply a perspective n-point algorithm, in particular to the transformed two-dimensional positions, in order to determine the three-dimensional positions of the at least two characteristic points based on the transformed two-dimensional positions and the three-dimensional model.

Derartige Ausführungen erlauben eine effiziente Bestimmung der dreidimensionalen Positionen der mindestens zwei charakteristischen Punkte basierend auf den transformierten zweidimensionalen Positionen und dem dreidimensionalen Modell.Such designs allow an efficient determination of the three-dimensional positions of the at least two characteristic points based on the transformed two-dimensional positions and the three-dimensional model.

Ein Perspektive-n-Punkt-Algorithmus kann als ein Algorithmus verstanden werden, der das mathematische Problem der Schätzung einer Pose einer kalibrierten Kamera unter Vorgabe eines Satzes von n 3D-Punkten in der realen Welt und derer korrespondierender 2D-Projektionen in dem Bild löst. Während solche Algorithmen im Prinzip bekannt sind, können sie nicht auf mittels einer nicht-geradlinigen Kamera erhaltene Bilddaten angewendet werden, ohne beträchtliche Ungenauigkeiten einzuführen. Solche Ungenauigkeiten würden das Ergebnis für automatisierte Fahranwendungen nutzlos machen.A perspective n-point algorithm can be understood as an algorithm that solves the mathematical problem of estimating a pose of a calibrated camera given a set of n 3D points in the real world and their corresponding 2D projections in the image. While such algorithms are known in principle, they cannot be applied to image data obtained by means of a non-linear camera without introducing considerable inaccuracies. Such inaccuracies would render the result useless for automated driving applications.

Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, einen Bildverarbeitungsalgorithmus auf die zweidimensionalen Bilddaten anzuwenden, um die zweidimensionalen Positionen zu bestimmen.According to some embodiments, the computing unit is used to apply an image processing algorithm to the two-dimensional image data in order to determine the two-dimensional positions.

Der Bildbearbeitungsalgorithmus kann beispielsweise auf einem Computer-Vision-Algorithmus oder einem Maschinen-Vision-Algorithmus basieren. Ein Computer-Vision- oder Maschinen-Vision-Algorithmus kann zum Beispiel verstanden werden als ein Bildverarbeitungsalgorithmus, der mittels maschinellen Lernens trainiert worden ist, insbesondere als ein bildverarbeitender Algorithmus basierend auf einem trainierten künstlichen neuronalen Netzwerk, insbesondere einem faltenden neuronalen Netzwerk, CNN.The image processing algorithm can be based, for example, on a computer vision algorithm or a machine vision algorithm. A computer vision or machine vision algorithm can be understood, for example, as an image processing algorithm that has been trained by means of machine learning, in particular as an image processing algorithm based on a trained artificial neural network, in particular a folding neural network, CNN.

Die mindestens zwei charakteristischen Punkte des Objekts können beispielsweise Eckpunkte geometrischer Figuren, beispielsweise Polygone, enthalten, welche dem Objekt gemäß dem dreidimensionalen Modell annähernd entsprechen. The at least two characteristic points of the object can contain, for example, corner points of geometric figures, for example polygons, which approximately correspond to the object according to the three-dimensional model.

Bildverarbeitungsalgorithmen, insbesondere solche, die auf neuronalen Netzwerken basieren, haben sich als sehr effektiv und effizient bei der Bestimmung solcher charakteristischer Punkte basierend auf zweidimensionalen Bilddaten erwiesen.Image processing algorithms, in particular those based on neural networks, have proven to be very effective and efficient in determining such characteristic points based on two-dimensional image data.

Gemäß einigen Ausführungen wird das Rechensystem dazu benutzt, einen weiteren Bildverarbeitungsalgorithmus auf die zweidimensionalen Bilddaten anzuwenden, um das Objekt zu charakterisieren und das dreidimensionale Modell des Objekts aus einer Vielzahl vordefinierter Modelle basierend auf einem Ergebnis des weiteren Bildverarbeitungsalgorithmus auszuwählen.According to some embodiments, the computing system is used to apply a further image processing algorithm to the two-dimensional image data in order to characterize the object and to select the three-dimensional model of the object from a plurality of predefined models based on a result of the further image processing algorithm.

Insbesondere durch Charakterisieren des Objekts kann das Objekt identifiziert werden oder ein Objekttyp bestimmt werden. Der Objekttyp kann mehr oder weniger allgemein sein. Beispielsweise kann der Objekttyp das Objekt als ein Fahrzeug, eine Person, ein weiteres Objekt, beispielsweise einen Lieferwagen, eine Limousine, einen Kombi, einen Bus, eine erwachsene Person, ein Kind, ein Verkehrszeichen, Verkehrslichter, Fahrspurmarkierungen, Fahrspurbegrenzungen und so weiter definieren.In particular, by characterizing the object, the object can be identified or an object type can be determined. The object type can be more or less general. For example, the object type can define the object as a vehicle, a person, another object, for example a van, a limousine, a station wagon, a bus, an adult, a child, a traffic sign, traffic lights, lane markings, lane boundaries and so on.

Sobald die Identität oder der Typ des Objekts bekannt ist, kann das Rechensystem das passende Modell auswählen, um das Objekt näherungsweise zu beschreiben.As soon as the identity or the type of the object is known, the computing system can select the appropriate model in order to approximately describe the object.

Der weitere Bildverarbeitungsalgorithmus kann ein Teil des Bildverarbeitungsalgorithmus sein oder separat implementiert sein.The further image processing algorithm can be part of the image processing algorithm or can be implemented separately.

Insbesondere kann der weitere Bildverarbeitungsalgorithmus auch auf Computer-Vision oder Maschinen-Vision basieren und/oder auf einem neuronalen Netzwerk, wie einem CNN, basieren.In particular, the further image processing algorithm can also be based on computer vision or machine vision and / or based on a neural network such as a CNN.

Insbesondere kann der weitere Bildverarbeitungsalgorithmus als ein Objektdetektions- oder Objektklassifizierungsalgorithmus ausgestaltet sein.In particular, the further image processing algorithm can be designed as an object detection or object classification algorithm.

Gemäß einigen Ausführungen wird die nicht-geradlinige Kamera dazu benutzt, die zwei-dimensionalen Bilddaten, insbesondere durch Erfassen eines Bildes des Objekts, zu erzeugen.According to some embodiments, the non-rectilinear camera is used to generate the two-dimensional image data, in particular by capturing an image of the object.

Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, die dreidimensionalen Positionen durch Detektieren jeweiliger dreidimensionaler Koordinaten in einem Fahrzeugkoordinatensystem eines Fahrzeugs zu bestimmen.According to some embodiments, the computing unit is used to determine the three-dimensional positions by detecting respective three-dimensional coordinates in a vehicle coordinate system of a vehicle.

Dabei ist das Fahrzeugkoordinatensystem zum Beispiel starr mit dem Fahrzeug verbunden.The vehicle coordinate system is rigidly connected to the vehicle, for example.

Die nicht-geradlinige Kamera kann an oder in dem Fahrzeug montiert sein. Folglich kann das Fahrzeugkoordinatensystem auch starr mit der Kamera verbunden sein.The non-linear camera can be mounted on or in the vehicle. Consequently, the vehicle coordinate system can also be rigidly connected to the camera.

In derartigen Ausführungen beinhalten die dreidimensionalen Positionen der mindestens zwei charakteristischen Punkte Informationen bezüglich einer Position des Fahrzeugs beziehungsweise der nicht-geradlinigen Kamera. Derartige Informationen können besonders geeignet für das Steuern des Fahrzeugs sein.In such embodiments, the three-dimensional positions of the at least two characteristic points contain information relating to a position of the vehicle or the non-linear camera. Such information can be particularly suitable for controlling the vehicle.

Gemäß einigen Ausführungen hängt die Koordinatentransformation von einer Abbildungsfunktion der Linseneinheit der nicht-geradlinigen Kamera ab, wird insbesondere mittels des Rechensystems abhängig von dieser bestimmt.According to some embodiments, the coordinate transformation depends on an imaging function of the lens unit of the non-rectilinear camera and is determined in particular by means of the computing system as a function of this.

Die Linseneinheit enthält insbesondere eine oder mehrere optische Linsen, die derart kombiniert sind, dass sie die Abbildungsfunktion als eine gemeinsame Abbildungsfunktion aufweisen.The lens unit contains in particular one or more optical lenses which are combined in such a way that they have the imaging function as a common imaging function.

Wenn die Abbildungsfunktion der Linseneinheit bekannt ist, kann das Rechensystem das virtuelle Bild aus dem Bild der nicht-geradlinigen Kamera oder insbesondere die transformierten zweidimensionalen Positionen aus den ursprünglichen zweidimensionalen Positionen der mindestens zwei charakteristischen Punkte erhalten.If the imaging function of the lens unit is known, the computer system can use the virtual image from the image of the non-linear camera or, in particular, the transformed two-dimensional positions from the original two-dimensional positions of the at least two characteristic points are obtained.

Gemäß einigen Ausführungen wird das Rechensystem dazu benutzt, einen Abstand des Objekts von der nicht-geradlinigen Kamera abhängig von den dreidimensionalen Positionen zu bestimmen.According to some implementations, the computing system is used to determine a distance of the object from the non-rectilinear camera as a function of the three-dimensional positions.

Im Falle, dass die nicht-geradlinige Kamera in oder an dem Fahrzeug montiert ist, überträgt sich der Abstand zwischen dem Objekt und der nicht-geradlinigen Kamera direkt auf einen Abstand des Objekts zu dem Fahrzeug. Dieser Abstand kann eine wichtige Eingabeinformation für Systeme zur Steuerung des Fahrzeugs darstellen, insbesondere für Fahrerassistenzsystem oder Systeme zur Unterstützung automatischen Fahrens.In the event that the non-rectilinear camera is mounted in or on the vehicle, the distance between the object and the non-rectilinear camera is transferred directly to a distance between the object and the vehicle. This distance can represent important input information for systems for controlling the vehicle, in particular for driver assistance systems or systems for supporting automatic driving.

Jedoch können zweidimensionale Kameras den Abstand nicht per se zuverlässig bestimmen. Das verbesserte Konzept liefert Mittel, um den Abstand dennoch basierend auf zweidimensionalen Bilddaten in Kombination mit dem dreidimensionalen Modell zu schätzen.However, two-dimensional cameras cannot reliably determine the distance per se. The improved concept provides a means of nevertheless estimating the distance based on two-dimensional image data in combination with the three-dimensional model.

Gemäß dem verbesserten Konzept wird ein Verfahren zum zumindest teilweise automatischen Steuern eines Fahrzeugs bereitgestellt. Dabei wird eine an oder in dem Fahrzeug montierte, nicht-geradlinige Kamera dazu benutzt, ein Objekt in einer Umgebung des Fahrzeugs beschreibende, zweidimensionale Bilddaten zu erzeugen. Dreidimensionale Positionen von mindestens zwei charakteristischen Punkten des Objekts werden bestimmt, indem ein Verfahren zum Schätzen der dreidimensionalen Position eines Objekts gemäß dem verbesserten Konzept durchgeführt wird. Eine Steuereinheit des Fahrzeugs, insbesondere des Rechensystems, wird dazu benutzt, das Fahrzeug zumindest teilweise automatisch in Abhängigkeit von den bestimmten dreidimensionalen Positionen, insbesondere in Abhängigkeit von dem Abstand des Objekts zu der nicht-geradlinigen Kamera, zu steuern.According to the improved concept, a method for at least partially automatic control of a vehicle is provided. In this case, a non-linear camera mounted on or in the vehicle is used to generate two-dimensional image data describing an object in the surroundings of the vehicle. Three-dimensional positions of at least two characteristic points of the object are determined by performing a method for estimating the three-dimensional position of an object according to the improved concept. A control unit of the vehicle, in particular the computing system, is used to control the vehicle at least partially automatically as a function of the determined three-dimensional positions, in particular as a function of the distance between the object and the non-linear camera.

Das Rechensystem oder eine oder mehrere einzelne Recheneinheiten des Rechensystems können in dem Fahrzeug und/oder der Kamera enthalten sein.The computing system or one or more individual computing units of the computing system can be contained in the vehicle and / or the camera.

Die Steuereinheit kann in dem Rechensystem enthalten sein.The control unit can be included in the computing system.

Das zumindest teilweise automatische Steuern des Fahrzeugs kann insbesondere das Steuern einer Längsgeschwindigkeit, einer Quergeschwindigkeit, oder einer lateralen Position des Fahrzeugs, das Steuern eines Lenksystems des Fahrzeugs, eines Bremssystems des Fahrzeugs und so weiter beinhalten.The at least partially automatic control of the vehicle can in particular include controlling a longitudinal speed, a lateral speed, or a lateral position of the vehicle, controlling a steering system of the vehicle, a braking system of the vehicle and so on.

Gemäß dem verbesserten Konzept wird ein Positionsschätzungssystem zum Schätzen einer dreidimensionalen Position eines Objekts bereitgestellt. Das Positionsschätzungssystem enthält ein Rechensystem, das dazu eingerichtet ist, zweidimensionale Bilddaten zu empfangen, die mittels einer nicht-geradlinigen Kamera erzeugt werden, welche ein Objekt, insbesondere in einer Umgebung des Positionsschätzungssystems, beispielsweise der nicht-geradlinigen Kamera, abbildet. Das Rechensystem ist dazu eingerichtet, für jeden von mindestens zwei charakteristischen Punkten des Objekts jeweilige zweidimensionale Positionen basierend auf den zweidimensionalen Bilddaten zu bestimmen und eine Koordinatentransformation der zweidimensionalen Positionen der mindestens zwei charakteristischen Punkte durchzuführen, wobei die Koordinatentransformation dazu ausgelegt ist, ein mittels der nicht-geradlinigen Kamera erfasstes Bild in ein virtuelles Bild einer virtuellen geradlinigen Kamera zu transformieren. Das Rechensystem ist dazu eingerichtet, dreidimensionale Positionen der mindestens zwei charakteristischen Punkte basierend auf den transformierten zweidimensionalen Positionen und basierend auf einem vordefinierten dreidimensionalen Modell des Objekts zu bestimmen.According to the improved concept, a position estimation system for estimating a three-dimensional position of an object is provided. The position estimation system contains a computing system that is set up to receive two-dimensional image data that are generated by means of a non-rectilinear camera, which images an object, in particular in the vicinity of the position estimation system, for example the non-rectilinear camera. The computing system is set up to determine respective two-dimensional positions based on the two-dimensional image data for each of at least two characteristic points of the object and to carry out a coordinate transformation of the two-dimensional positions of the at least two characteristic points, the coordinate transformation being designed to provide a rectilinear camera to transform the captured image into a virtual image of a virtual rectilinear camera. The computing system is set up to determine three-dimensional positions of the at least two characteristic points based on the transformed two-dimensional positions and based on a predefined three-dimensional model of the object.

Gemäß einigen Ausführungen des Positionsschätzungssystems, ist das Rechensystem dazu eingerichtet, einen Perspektive-n-Algorithmus anzuwenden, um die dreidimensionalen Positionen der mindestens zwei charakteristischen Punkte zu bestimmen.According to some embodiments of the position estimation system, the computing system is set up to apply a perspective-n algorithm in order to determine the three-dimensional positions of the at least two characteristic points.

Gemäß einigen Ausführungen beinhaltet das Positionsschätzungssystem die nicht-geradlinige Kamera.In some implementations, the position estimation system includes the non-rectilinear camera.

Gemäß einigen Ausführungen beinhaltet die nicht-geradlinige Kamera eine Linseneinheit mit einer Abbildungsfunktion, wobei die Koordinatentransformation von der Abbildungsfunktion abhängt.According to some embodiments, the non-rectilinear camera includes a lens unit with an imaging function, the coordinate transformation being dependent on the imaging function.

Weitere Ausführungen des Positionsschätzungssystems gemäß dem verbesserten Konzept ergeben sich unmittelbar aus den verschiedenen Ausführungen des Verfahrens zum Schätzen einer dreidimensionalen Position gemäß dem verbesserten Konzept und den verschiedenen Ausführungen des Verfahrens zum Steuern eines Fahrzeugs gemäß dem verbesserten Konzept und jeweils umgekehrt. Insbesondere kann ein Positionsschätzungssystem gemäß dem verbesserten Konzept dazu eingerichtet oder programmiert sein, ein Verfahren gemäß dem verbesserten Konzept durchzuführen, oder das Positionsschätzungssystem führt ein solches Verfahren durch.Further embodiments of the position estimation system according to the improved concept result directly from the different embodiments of the method for estimating a three-dimensional position according to the improved concept and the different embodiments of the method for controlling a vehicle according to the improved concept and in each case vice versa. In particular, a position estimation system according to the improved concept can be set up or programmed to carry out a method in accordance with the improved concept, or the position estimation system carries out such a method.

Gemäß dem verbesserten Konzept wird auch ein elektronisches Fahrzeugführungssystem umfassend ein Positionsschätzungssystem gemäß dem verbesserten Konzept bereitgestellt. Dabei ist das Rechensystem dazu eingerichtet, die dreidimensionalen Positionen durch Bestimmen jeweiliger dreidimensionaler Koordinaten in einem Fahrzeugkoordinatensystem eines Fahrzeugs zu bestimmen.According to the improved concept, there is also an electronic vehicle guidance system comprising provided a position estimation system according to the improved concept. The computing system is set up to determine the three-dimensional positions by determining respective three-dimensional coordinates in a vehicle coordinate system of a vehicle.

Ein elektronisches Fahrzeugführungssystem kann verstanden werden als ein elektronisches System, welches dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne die Notwendigkeit einer manuellen Intervention oder Steuerung durch den Fahrer oder Benutzer des Fahrzeugs. Das Fahrzeug führt erforderliche Lenkmanöver, Bremsmanöver und/oder Beschleunigungsmanöver und so weiter automatisch aus. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus gemäß Stufe 5 der SAE J3016 Klassifizierung implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als ein Fahrerassistenzsystem, ADAS, implementiert sein, welches einen Fahrer beim teilautomatischen oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilautomatischen oder teilautonomen Fahrmodus gemäß Stufen 1 bis 4 der SAE J3016 Klassifizierung implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den jeweiligen Standard mit Datum vom Juni 2018.An electronic vehicle guidance system can be understood as an electronic system which is set up to guide a vehicle fully automatically or fully autonomously, in particular without the need for manual intervention or control by the driver or user of the vehicle. The vehicle automatically carries out required steering maneuvers, braking maneuvers and / or acceleration maneuvers and so on. In particular, the electronic vehicle guidance system can implement a fully automatic or fully autonomous driving mode according to level 5 of the SAE J3016 classification. An electronic vehicle guidance system can also be implemented as a driver assistance system, ADAS, which supports a driver in semi-automatic or semi-autonomous driving. In particular, the electronic vehicle guidance system can implement a partially automatic or partially autonomous driving mode according to levels 1 to 4 of the SAE J3016 classification. Here and in the following, SAE J3016 refers to the respective standard dated June 2018.

Gemäß einigen Ausführungen des elektronischen Fahrzeugführungssystem ist das Rechensystem dazu eingerichtet, das Fahrzeug zumindest teilweise automatisch abhängig von den bestimmten dreidimensionalen Positionen, insbesondere abhängig von dem Abstand zwischen dem Objekt und der nicht-geradlinigen Kamera, zu steuern.According to some embodiments of the electronic vehicle guidance system, the computing system is set up to control the vehicle at least partially automatically as a function of the determined three-dimensional positions, in particular as a function of the distance between the object and the non-linear camera.

Gemäß dem verbesserten Konzept wird auch ein Befehle beinhaltendes Computerprogramm bereitgestellt. Wenn die Befehle beziehungsweise das Computerprogramm von einem Computersystem, insbesondere einem Positionsschätzungssystem gemäß dem verbesserten Konzept, beispielsweise von dem Rechensystem des Positionsschätzungssystems, ausgeführt werden, veranlassen die Befehle das Computersystem dazu, ein Verfahren gemäß dem verbesserten Konzept durchzuführen.According to the improved concept, a computer program containing instructions is also provided. If the commands or the computer program are executed by a computer system, in particular a position estimation system according to the improved concept, for example by the computing system of the position estimation system, the commands cause the computer system to carry out a method according to the improved concept.

Gemäß dem verbesserten Konzept wird auch ein computerlesbares Speichermedium bereitgestellt, wobei das computerlesbare Speichermedium ein Computerprogramm gemäß dem verbesserten Konzept speichert.According to the improved concept, a computer-readable storage medium is also provided, the computer-readable storage medium storing a computer program according to the improved concept.

Das Computerprogrammprodukt sowie das computerlesbare Speichermedium gemäß dem verbesserten Konzept können als jeweilige, Befehle beinhaltende Computerprogrammprodukte angesehen werden.The computer program product and the computer-readable storage medium according to the improved concept can be viewed as respective computer program products containing commands.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder davon abweichen.Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the specified combination, but also in other combinations without departing from the scope of the invention . There are thus also embodiments of the invention to be considered as encompassed and disclosed, which are not explicitly shown and explained in the figures, but emerge and can be generated from the explained embodiments by means of separate combinations of features. Designs and combinations of features are also to be regarded as disclosed, which therefore do not have all the features of an originally formulated independent claim. Furthermore, designs and combinations of features, in particular through the statements set out above, are to be regarded as disclosed that go beyond the combinations of features set forth in the back references of the claims or differ therefrom.

In den Zeichnungen zeigen

1 schematisch ein Fahrzeug mit einer beispielhaften Ausführung eines elektronischen Fahrzeugführungssystems gemäß dem verbesserten Konzept;
2 schematisch ein mittels einer nicht-geradlinigen Kamera erfasstes Bild;
3 schematisch eine Transformation des Bildes aus 2; und
4 schematisch ein dreidimensionales Modell eines Objekts.

Show in the drawings

1 schematically a vehicle with an exemplary embodiment of an electronic vehicle guidance system according to the improved concept;
2 schematically an image captured by a non-rectilinear camera;
3rd schematically transforms the image 2 ; and
4th schematically a three-dimensional model of an object.

1 zeigt ein Fahrzeug 7 und ein Objekt 1 in einer Umgebung eines Fahrzeugs 7. 1 shows a vehicle 7th and an object 1 in an environment of a vehicle 7th .

Das Fahrzeug 7 enthält ein elektronisches Fahrzeugführungssystem 9 gemäß einer beispielhaften Ausführung des verbesserten Konzepts. Das elektronische Fahrzeugführungssystem 9 enthält ein Positionsschätzungssystem 8 gemäß einer beispielhaften Ausführung des verbesserten Konzepts.The vehicle 7th contains an electronic vehicle guidance system 9 according to an exemplary implementation of the improved concept. The electronic vehicle guidance system 9 includes a position estimation system 8th according to an exemplary implementation of the improved concept.

Das Positionsschätzungssystem 8 enthält eine nicht-geradlinige Kamera, die als eine Fischaugenkamera 3 ausgestaltet sein kann, sowie ein Rechensystem 2.The position estimation system 8th includes a non-rectilinear camera that acts as a fisheye camera 3rd can be designed, as well as a computing system 2 .

Das Rechensystem 2 kann eine oder mehrere ECUs und/oder andere Verarbeitungseinheiten des Fahrzeugs 7 und/oder eine oder mehrere Verarbeitungsschaltkreise der Fischaugenkamera 3, beispielsweise Schaltkreise eines Imagers der Fischaugenkamera 3, eines ISP der Fischaugenkamera 3 und/oder eines Graphikprozessors der Fischaugenkamera 3 enthalten.The computing system 2 can be one or more ECUs and / or other processing units of the vehicle 7th and / or one or more processing circuits of the fisheye camera 3rd , for example, circuitry of an imager of the fisheye camera 3rd , a fisheye camera ISP 3rd and / or a graphics processor of the fisheye camera 3rd contain.

Die Fischaugenkamera 3 enthält eine Fischaugenlinse 3' mit einer nicht-geradlinigen Abbildungsfunktion. Das Objekt 1 befindet sich insbesondere innerhalb eines Sichtfeldes der Fischaugenkamera 3.The fisheye camera 3rd contains a fisheye lens 3 ' with a non-rectilinear mapping function. The object 1 is located in particular within a field of view of the fisheye camera 3rd .

Das Fahrzeug 7, insbesondere das elektronische Fahrzeugführungssystem 9, zum Beispiel das Positionsschätzungssystem 8, kann eine Steuerungseinheit 2' enthalten, die zum Beispiel in dem Rechensystem 2 enthalten sein kann.The vehicle 7th , especially the electronic vehicle guidance system 9 , for example the position estimation system 8th , can be a control unit 2 ' included, for example, in the computing system 2 may be included.

Das elektronische Fahrzeugführungssystem 9 ist insbesondere dazu eingerichtet, ein Verfahren zum Steuern des Fahrzeugs 7 zumindest teilweise automatisch gemäß dem verbesserten Konzept durchzuführen. Zu diesem Zweck kann das Positionsschätzungssystem 8 zum Beispiel dazu eingerichtet sein, eine beispielhafte Ausführung eines Verfahrens zum Schätzen einer dreidimensionalen Position des Objekts 1 gemäß dem verbesserten Konzept durchzuführen.The electronic vehicle guidance system 9 is set up in particular to provide a method for controlling the vehicle 7th to be carried out at least partially automatically according to the improved concept. To this end, the position estimation system 8th For example, be set up to an exemplary embodiment of a method for estimating a three-dimensional position of the object 1 to be carried out according to the improved concept.

Zum Beispiel kann die Fischaugenkamera 3 ein Bild 5 der Umgebung des Fahrzeugs einschließlich des Objekts 1 erfassen. Ein solches Bild 5 ist in 2 schematisch gezeigt.For example, the fisheye camera 3rd a picture 5 the surroundings of the vehicle including the object 1 capture. Such a picture 5 is in 2 shown schematically.

Da die Abbildungsfunktion der Fischaugenlinse 3' eine nicht-geradlinige Abbildungsfunktion ist, werden gerade Linien in der realen Umgebung des Fahrzeugs 7 im Allgemeinen in dem Bild 5 nicht als gerade Linien abgebildet, wie in 2 zu sehen ist.Because the imaging function of the fisheye lens 3 ' is a non-rectilinear mapping function, straight lines become in the real environment of the vehicle 7th generally in the picture 5 not shown as straight lines, as in 2 you can see.

In 2 sind auch einige charakteristische Punkte 4 des Objekts 1 in dem Bild 5 angezeigt. In dem Beispiel von 2 ist das Objekt 1 zum Beispiel ein Lieferwagen und die charakteristischen Punkte 4 können spezifische Eckpunkte von Polygonen beinhalten, die den Lieferwagen annähernd beschreiben.In 2 are also some characteristic points 4th of the object 1 in the picture 5 displayed. In the example of 2 is the object 1 for example a delivery truck and the characteristic points 4th can contain specific corner points of polygons that approximately describe the delivery van.

Das Rechensystem 2 wendet einen Bildverarbeitungsalgorithmus auf das Bild 5 an, um die charakteristischen Punkte 4 zu identifizieren und deren zweidimensionale Positionen zu bestimmen.The computing system 2 applies an image processing algorithm to the image 5 at the characteristic points 4th to identify and determine their two-dimensional positions.

Das Rechensystem 2, insbesondere eine Speichereinheit des Rechensystems 2, speichert eine Projektion, zum Beispiel eine Projektionsfunktion oder eine Projektionsmatrix, die das Bild 5 in ein virtuelles Bild einer virtuellen geradlinigen Kamera transformieren würde. Dabei würde das virtuelle Bild 5' aussehen, als ob es mittels einer geradlinigen Kamera, insbesondere der virtuellen geradlinigen Kamera, erfasst worden sei. Die Projektion entspricht jedoch einer Koordinatentransformation. Insbesondere existiert die virtuelle geradlinige Kamera nicht tatsächlich und wird nicht tatsächlich zum Erfassen irgendeines Bildes benutzt.The computing system 2 , in particular a memory unit of the computing system 2 , stores a projection, for example a projection function or a projection matrix, that contains the image 5 would transform into a virtual image of a virtual rectilinear camera. This would be the virtual image 5 ' look as if it has been captured by means of a rectilinear camera, especially the virtual rectilinear camera. However, the projection corresponds to a coordinate transformation. In particular, the virtual rectilinear camera does not actually exist and is not actually used for capturing any image.

Für das Verfahren gemäß dem verbesserten Konzept transformiert die Recheneinheit 2 jedoch nicht notwendigerweise das ganze Bild 5 gemäß der Koordinatentransformation. Vielmehr ist es ausreichend, die Koordinatentransformation der zweidimensionalen Positionen der charakteristischen Punkte 4 durchzuführen.The computing unit transforms for the method according to the improved concept 2 but not necessarily the full picture 5 according to the coordinate transformation. Rather, it is sufficient to carry out the coordinate transformation of the two-dimensional positions of the characteristic points 4th perform.

3 zeigt schematisch das virtuelle Bild 5', das sich aus der Transformation des gesamten Bildes 5 gemäß der Koordinatentransformation ergibt. Zusätzlich zeigt 3 die charakteristischen Punkte 4 an ihren jeweiligen transformierten zweidimensionalen Positionen. 3rd shows schematically the virtual image 5 ' resulting from the transformation of the entire picture 5 according to the coordinate transformation. Additionally shows 3rd the characteristic points 4th at their respective transformed two-dimensional positions.

In 4 ist ein dreidimensionales Modell 6 des Objekts 1 schematisch dargestellt.In 4th is a three-dimensional model 6th of the object 1 shown schematically.

Das Modell 6 enthält Abstände gegenseitiger Paare charakteristischer Punkte 4 in drei Dimensionen, so dass das Modell 6 dem Objekt 1 annähernd entspricht.The model 6th contains distances between mutual pairs of characteristic points 4th in three dimensions so that the model 6th the object 1 corresponds approximately.

Insbesondere enthält das Modell 6 für eine Vielzahl von Paaren charakteristischer Punkte 4 jeweilige dreidimensionale Abstandsvektoren. Das Modell 6 ist insbesondere auf dem Speicher des Rechensystems 2 gespeichert.In particular, the model contains 6th for a variety of pairs of characteristic points 4th respective three-dimensional distance vectors. The model 6th is in particular on the memory of the computing system 2 saved.

Das Rechensystem 2 kann einen Perspektive-n-Punkt-Algorithmus auf die transformierten zweidimensionalen Positionen der charakteristischen Punkte 4 anwenden, indem ein Modell 6 verwendet wird, um die dreidimensionalen Positionen der charakteristischen Punkte 4 zu bestimmen.The computing system 2 can apply a perspective n-point algorithm to the transformed two-dimensional positions of the characteristic points 4th apply by a model 6th is used to show the three-dimensional positions of the characteristic points 4th to determine.

Optional kann das Rechensystem 2 einen Abstand zwischen dem Objekt 1 und der Fischaugenkamera 3 beziehungsweise zwischen dem Objekt 1 und dem Fahrzeug 7 basierend auf den dreidimensionalen Positionen der charakteristischen Punkte 4 bestimmen.Optionally, the computing system 2 a distance between the object 1 and the fisheye camera 3rd or between the object 1 and the vehicle 7th based on the three-dimensional positions of the characteristic points 4th determine.

Die Steuereinheit 2' kann die dreidimensionalen Positionen und/oder den Abstand empfangen und das Fahrzeug 7 zumindest teilweise automatisch basierend auf den dreidimensionalen Positionen der charakteristischen Punkte 4 und/oder dem Abstand steuern.The control unit 2 ' can receive the three-dimensional positions and / or the distance and the vehicle 7th at least partially automatically based on the three-dimensional positions of the characteristic points 4th and / or control the distance.

Wie beschrieben, stellt das verbesserte Konzept ein Mittel zum Schätzen dreidimensionaler Positionen eines Objekts basierend auf mittels einer einzigen nicht-geradlinigen 2D-Kamera erzeugten Kameradaten bereit.As described, the improved concept provides a means for estimating three-dimensional positions of an object based on camera data generated by a single non-linear 2D camera.

Insbesondere sind gemäß dem verbesserten Konzept weder mehr als eine 2D-Kamera zum Abrufen von Tiefeninformation aus stereographischen Algorithmen, noch eine 3D-Kamera, ein Lidar-Sensorsystem oder ein Radar-Sensorsystem erforderlich.In particular, according to the improved concept, neither more than a 2D camera for retrieving depth information from stereographic algorithms, nor a 3D camera, a lidar sensor system or a radar sensor system are required.

Insbesondere ermöglicht das verbesserte Konzept die Verwendung eines Perspektive-n-Punkt-Algorithmus im Falle von nicht-geradlinigen Kameras.In particular, the improved concept enables the use of a perspective n-point algorithm in the case of non-rectilinear cameras.

Das verbesserte Konzept kann zum Beispiel als einen Ansatz zur Simulation einer perspektivischen oder geradlinigen Kamera um das Objekt von Interesse, ohne notwendigerweise entsprechende perspektivische Bilder zu erzeugen beinhaltend erachtet werden.For example, the improved concept can be viewed as an approach to simulating a perspective or rectilinear camera around the object of interest without necessarily generating corresponding perspective images.

In manchen Ausführungen wird zuerst eine Transformation auf das Fischaugenbild angewendet, um ein Bild aus der virtuellen geradlinigen Kamera zu simulieren, die auf das Objekt blickt, um danach die Perspektive-n-Punkt-Algorithmen anzuwenden. Die virtuelle geradlinige Kamera ist einer entsprechenden Projektionsmatrix zugeordnet. Wenn die charakteristischen Punkte projiziert werden oder das Modell entsprechend projiziert wird, kann der Perspektive-n-Punkt-Algorithmus dazu benutzt werden, die dreidimensionalen Positionen der charakteristischen Punkte ausfindig zu machen.In some implementations, a transform is first applied to the fisheye image to simulate an image from the virtual rectilinear camera looking at the object and then the perspective n point algorithms are applied. The virtual rectilinear camera is assigned to a corresponding projection matrix. When the characteristic points are projected or the model is projected accordingly, the perspective n-point algorithm can be used to find the three-dimensional positions of the characteristic points.

In der Praxis besteht keine Notwendigkeit, das gesamte perspektivische Bild zu erzeugen, was rechenaufwändig wäre. Lediglich die zweidimensionalen Positionen der charakteristischen Punkte müssen in dem virtuellen perspektivischen Bild bestimmt werden. Dies kann für jedes Objekt im Sichtfeld der nicht-geradlinigen Kamera spontan erfolgen.In practice there is no need to generate the entire perspective image, which would be computationally expensive. Only the two-dimensional positions of the characteristic points have to be determined in the virtual perspective image. This can be done spontaneously for any object in the field of view of the non-rectilinear camera.

Claims

A method for estimating a three-dimensional position of an object (1), wherein a computing system (2) is used to - receive two-dimensional image data which is generated by means of a non-linear camera (3) and describes the object (1); and - for each of at least two characteristic points (4) of the object (1) to determine respective two-dimensional positions based on the two-dimensional image data; characterized in that the computing system (2) is used to - carry out a coordinate transformation of the two-dimensional positions of the at least two characteristic points (4), the coordinate transformation being designed to produce an image (5 ) to transform into a virtual image (5 ') of a virtual rectilinear camera; and - to determine three-dimensional positions of the at least two characteristic points (4) based on the transformed two-dimensional positions and a predefined three-dimensional model (6) of the object (1).

Procedure according to Claim 1 , characterized in that the computing system (2) is used to apply a perspective n-point algorithm in order to determine the three-dimensional positions of the at least two characteristic points (4).

Method according to one of the Claims 1 or 2 , characterized in that the computing system (2) is used to apply an image processing algorithm to the two-dimensional image data in order to determine the two-dimensional positions.

Method according to one of the Claims 1 to 3rd , characterized in that the computing system (2) is used to - apply a further image processing algorithm to the two-dimensional image data in order to characterize the object (1); and - to select the three-dimensional model (6) of the object from a multiplicity of predefined models based on a result of the further image processing algorithm.

Method according to one of the Claims 1 to 4th , characterized in that the non-rectilinear camera (3) is used to generate the two-dimensional image data.

Method according to one of the Claims 1 to 5 , characterized in that the computing system (2) is used to determine the three-dimensional positions by determining respective three-dimensional coordinates in a vehicle coordinate system of a vehicle (7).

Method according to one of the Claims 1 to 6th , characterized in that the coordinate transformation depends on an imaging function of a lens unit (3 ') of the non-rectilinear camera (3).

Method according to one of the Claims 1 to 7th , characterized in that the computing system (2) is used to determine a distance of the object (1) from the non-rectilinear camera (3) as a function of the three-dimensional positions.

Method for at least partially automatic control of a vehicle (7), wherein a non-linear camera (3), which is mounted on or in the vehicle (7), is used to detect an object (1) in the surroundings of the vehicle (7 ) generate imaging, two-dimensional image data; characterized in that - three-dimensional positions of at least two characteristic points (4) of the object (1) by performing a method according to one of the Claims 1 to 8th to be determined; and - a control unit (2 ') of the vehicle (7) is used to control the vehicle at least partially automatically as a function of the determined three-dimensional positions.

Position estimation system for estimating a three-dimensional position of an object (1), the position estimation system (8) having a computing system (2) which is set up to - two-dimensionally generated by means of a non-linear camera (3) and imaging an object (1) Receive image data; and - for each of at least two characteristic points (4) of the object (1) to determine respective two-dimensional positions based on the two-dimensional image data; characterized in that the computing system (2) is used to - carry out a coordinate transformation of the two-dimensional positions of the at least two characteristic points (4), the coordinate transformation being designed to produce an image (5 ) to transform into a virtual image (5 ') of a virtual rectilinear camera; and - to determine three-dimensional positions of the at least two characteristic points (4) based on the transformed two-dimensional positions and a predefined three-dimensional model (6) of the object (1).

Position estimation system according to Claim 9 , characterized in that the computing system (2) is set up to use a perspective n-point algorithm in order to determine the three-dimensional positions of the at least two characteristic points (4).

Position estimation system according to one of the Claims 9 or 10 characterized in that - the position estimation system (8) comprises the non-rectilinear camera (3); and / or - the non-rectilinear camera (3) has a lens unit (3 ') with an imaging function, the coordinate transformation being dependent on the imaging function.

Electronic vehicle guidance system comprising a position estimation system (8) according to one of Claims 9 to 12th , wherein the computing system (2) is set up to determine the three-dimensional positions by determining respective three-dimensional coordinates in a vehicle coordinate system of a vehicle (7).

Electronic vehicle guidance system according to Claim 13 , characterized in that the computing system (2) is set up to control the vehicle (7) at least partially automatically as a function of the determined three-dimensional positions.

Computer program product which contains instructions, wherein, if the instructions are executed by a computer system, the instructions cause the computer system to implement a method according to one of the Claims 1 to 4th or after one of the Claims 6 to 8th perform; and / or - if the commands from a position estimation system (8) according to Claim 12 are executed, the commands cause the position estimation system (8) to use a method according to one of the Claims 1 to 9 perform.