DE102021111417A1

DE102021111417A1 - Method and system for determining the position of a marker in a 2D image and marker designed therefor

Info

Publication number: DE102021111417A1
Application number: DE102021111417.9A
Authority: DE
Inventors: Ivo Ihrke
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2021-05-03
Filing date: 2021-05-03
Publication date: 2022-11-03

Abstract

Die Erfindung betrifft ein Verfahren zur 3D-Lokalisierung von Markern (10a-10d) mittels 2D-Bildaufnahmen, umfassend folgende Schritte: Bereitstellen von mehreren Markern (10a-10d) in einem 3D-Raum, wobei jeder Marker (10a-10d) eine 2D-Markerfläche (12) hat, die eine optisch detektierbare Struktur aufweist, Aufnehmen von mehreren 2D-Bildern des 3D Raumes aus verschiedenen Perspektiven mittels mindestens eines optischen Bildsensors (6), wobei Abbilder der Markerflächen (12) in den 2D-Bildern enthalten sind, Ermitteln der 3D-Lokalisierung der Marker (1 Oa-1 Od) im 3D-Raum durch subpixelgenaues Auswerten der Abbilder der Markerflächen (12) in den 2D-Bildern, wobei der Schritt des Bereitstellens von mehreren Markern (10a-10d) es umfasst, dass die optisch detektierbare Struktur von mindestens einem ersten Marker (10a) so ausgebildet ist, dass sie die Markerfläche (12) mit einem Muster (16) bedeckt, in dem mindestens ein vom Bildsensor (6) optisch detektierbarer Parameter über die Markerfläche (12) hinweg so variiert ist, dass Orte der Markerfläche (12) individuelle Werte des Parameters haben und dass das Muster (16) die Markerfläche (12) mit einem lokalen Koordinatensystem kodiert, der Schritt des Aufnehmens es umfasst, dass der mindestens eine optische Bildsensor (6) die Kodierung auflöst, und der Schritt des Ermittelns der 3D-Lokalisierung es umfasst, in einem Bereich des Bildsensors (6), auf dem das Abbild der Markerfläche (12) des ersten Markers (10a) liegt, anhand des Musters (16) und des lokalen Koordinatensystems eine lokale Bildverzeichnung des Abbildes der Markerfläche (12) in dem Bereich des Bildsensors (6) zu ermitteln und die lokale Bildverzeichnung beim Ermitteln der 3D-Lokalisierung zu berücksichtigen.The invention relates to a method for the 3D localization of markers (10a-10d) using 2D images, comprising the following steps: providing a plurality of markers (10a-10d) in a 3D space, each marker (10a-10d) having a 2D - has a marker surface (12) which has an optically detectable structure, recording a plurality of 2D images of the 3D space from different perspectives using at least one optical image sensor (6), images of the marker surfaces (12) being contained in the 2D images, Determining the 3D localization of the markers (10a-10d) in 3D space by evaluating the images of the marker areas (12) in the 2D images with subpixel accuracy, the step of providing a plurality of markers (10a-10d) comprising it, that the optically detectable structure of at least one first marker (10a) is designed in such a way that it covers the marker area (12) with a pattern (16) in which at least one parameter that can be optically detected by the image sensor (6) over the marker area e (12) is varied across such that locations of the marker area (12) have individual values of the parameter and that the pattern (16) encodes the marker area (12) with a local coordinate system, the step of recording comprises that the at least one optical image sensor (6) resolves the coding, and the step of determining the 3D localization includes it in a region of the image sensor (6) on which the image of the marker surface (12) of the first marker (10a) lies, based on the pattern (16) and the local coordinate system to determine a local image distortion of the image of the marker surface (12) in the area of the image sensor (6) and to take the local image distortion into account when determining the 3D localization.

Description

Die Erfindung bezieht sich auf ein Verfahren und ein System zur Bestimmung der Lage eines Markers in einem 2D-Bild und auf einen Marker, der dafür ausgebildet sind.The invention relates to a method and a system for determining the position of a marker in a 2D image and to a marker designed for this.

Lokalisierungsaufgaben stellen sich u.a. bei der Vermessung von Gegenständen, bei der Triangulation oder bei der Kalibration von Kameras und Inspektionssystemen. Hierbei werden Marker in einem 3D-Raum angeordnet und mittels mindestens eines Bildsensors aus verschiedenen Perspektiven abgebildet, so dass mehrere zweidimensionale (2D) Aufnahmen erhalten werden. Hierfür sind Algorithmen bekannt, um die genaue Lage der Marker im dreidimensionalen Raum mit einer Sub-Pixelgenauigkeit aus den erhaltenen 2D-Bildern zu ermitteln. Dazu ist die Größe des Markers so bemessen, dass die von ihm bereitgestellte Markerfläche auf mehrere Sensorpixel des Bildsensors abgebildet wird. Hierdurch ist beispielsweise eine Schwerpunktbestimmung möglich. Aspekte dieses Ansatzes sind in B. Atcheson und W. Heidrich, „Non-parametric acquisition of near-Dirac pixel correspondences“, VISAPP (2), 2012; K. Kutulakos und E. Steger, „A theory of refractive and specular 3D shape by light-path triangulation“, International Journal of Computer Vision, 76.1 (2008): 13-29; M. Hullin et al., „Fluorescent immersion range scanning“, ACM Trans. Graph, 27.3 (2008): 87-1; B. Trifonov et al., Tomographie reconstruction of transparent objects, ACM, 2006; M. Grossberg und S. Nayar, „The raxel imaging model and ray-based calibration“, International Journal of Computer Vision, 61.2 (2005): 119-137, angesprochen.Localization tasks arise, among other things, when measuring objects, triangulating or calibrating cameras and inspection systems. Here, markers are arranged in a 3D space and imaged from different perspectives using at least one image sensor, so that several two-dimensional (2D) images are obtained. Algorithms are known for this purpose in order to determine the exact position of the markers in three-dimensional space with sub-pixel accuracy from the 2D images obtained. For this purpose, the size of the marker is dimensioned in such a way that the marker area provided by it is mapped onto a number of sensor pixels of the image sensor. This makes it possible, for example, to determine the center of gravity. Aspects of this approach are discussed in B. Atcheson and W. Heidrich, "Non-parametric acquisition of near-Dirac pixel correspondences", VISAPP (2), 2012; K Kutulakos and E Steger, "A theory of refractive and specular 3D shape by light-path triangulation", International Journal of Computer Vision, 76.1 (2008): 13-29; M. Hullin et al., "Fluorescent immersion range scanning", ACM Trans. Graph, 27.3 (2008): 87-1; B. Trifonov et al., Tomography reconstruction of transparent objects, ACM, 2006; M. Grossberg and S. Nayar, "The raxel imaging model and ray-based calibration", International Journal of Computer Vision, 61.2 (2005): 119-137.

Der Erfindung liegt die Aufgabe zugrunde, die Genauigkeit bei der Ermittlung der Lage eines Markers in einem 2D-Bild zu verbessern.The object of the invention is to improve the accuracy when determining the position of a marker in a 2D image.

Die Erfindung ist in den Ansprüchen 1, 7 und 13 definiert. Die abhängigen Ansprüche betreffen bevorzugte Weiterbildungen.The invention is defined in claims 1, 7 and 13. The dependent claims relate to preferred developments.

Im Verfahren wird mind. ein, bevorzugt mehrere Marker bereitgestellt, z.B. in einem 3D-Raum angeordnet. Jeder Marker hat eine 2D-Markerfläche, die eine optisch detektierbare Struktur aufweist. Diese ist so ausgebildet, dass sie die Markerfläche bedeckt. Ein in der Struktur ausgebildetes Muster kodiert Orte der Markerfläche eindeutig als vorbestimmtes lokales Koordinatensystem. Das Muster kennzeichnet jeden Ort auf der Markerfläche durch ortsabhängige Variation mind. eines Parameters eindeutig, wobei natürlich eine gewisse Pixelierung bestehen kann, d.h. die Variation kann gemäß Markerpixeln erfolgen. Aufgrund des Musters kann somit eine Zuordnung zwischen Orten in einem Abbild der Markerfläche und den tatsächlichen Orten auf der Markerfläche erfolgen.At least one, preferably several markers are provided in the method, e.g. arranged in a 3D space. Each marker has a 2D marker area that has an optically detectable structure. This is designed in such a way that it covers the marker area. A pattern formed in the structure clearly encodes locations of the marker area as a predetermined local coordinate system. The pattern uniquely identifies each location on the marker surface by varying at least one parameter depending on the location, whereby a certain pixelation can of course exist, i.e. the variation can take place according to marker pixels. Based on the pattern, locations in an image of the marker area and the actual locations on the marker area can thus be assigned.

Anschließend wird mind. ein 2D-Bild aufgenommen, das das Abbild des Markers enthält. Hierzu wird mindestens ein optischer Bildsensor verwendet, der Sensorpixel aufweist. Im 2D-Bild ist das Abbild der Marker i.d.R. perspektivisch verzerrt. Die Ortsauflösung des Bildsensors ist dabei so, dass das Abbild der Markerfläche mehrere Sensorpixel überdeckt. Weiter ist der optische Bildsensor so ausgestaltet, dass er in der Lage ist, die Kodierung aufzulösen. Darunter ist zu verstehen, dass der optische Bildsensor denjenigen oder diejenigen Parameter, welche für die Kodierung variiert werden, auflöst, also unterschiedliche Werte des Parameters detektiert. Er kann damit die zur Kodierung genutzte Größe in Messwerte wandeln.At least one 2D image containing the image of the marker is then recorded. At least one optical image sensor that has sensor pixels is used for this purpose. In the 2D image, the image of the marker is usually distorted in terms of perspective. The spatial resolution of the image sensor is such that the image of the marker area covers several sensor pixels. Furthermore, the optical image sensor is designed in such a way that it is able to resolve the coding. This means that the optical image sensor resolves that or those parameters that are varied for the coding, ie detects different values of the parameter. It can thus convert the variable used for coding into measured values.

Anschließend wird die Lage des Markers durch sub-pixelgenaues (bezogen auf die Sensorpixel) Auswerten der Abbilder der Markerfläche im 2D-Bild ermittelt. Hierbei wird nun zusätzlich zur perspektivischen Verzerrung auch eine lokale Bildverzeichnung des Abbildes der Markerflächen auf denjenigen Bereichen des Bildsensors, auf denen die Abbilder der Markerflächen liegen, ermittelt und berücksichtigt. Hierzu werden das Muster und das von ihm bewirkte lokale Koordinatensystem entsprechend herangezogen. Aus dem Muster und dem lokalen Koordinatensystem ist es bekannt, wo die einzelnen Orte im zweidimensionalen Abbild auf der Markerfläche liegen.The position of the marker is then determined by evaluating the images of the marker area in the 2D image with sub-pixel accuracy (related to the sensor pixels). Here, in addition to the perspective distortion, a local image distortion of the image of the marker areas on those areas of the image sensor on which the images of the marker areas lie is determined and taken into account. For this purpose, the pattern and the local coordinate system caused by it are used accordingly. From the pattern and the local coordinate system, it is known where the individual locations are in the two-dimensional image on the marker surface.

Das ermöglicht eine hochpräzise Bestimmung der Lage des Markers im 2D-Bild, die zusätzlich zur Korrektur der perspektivischen Verzerrung auch die genannte lokale Bildverzeichnung berücksichtigt und kompensiert. „Lokal“ bezieht sich dabei auf die Bildverzeichnung, die innerhalb des Abbildes auftritt, z. B. durch Bildfehler einer Optik. Ermittelt wird deshalb die lokale Bildverzeichnung, d. h. die Bildverzeichnung in dem Bereich des Bildsensors, auf dem das Abbild der jeweiligen Markerfläche liegt. Die lokale Bildverzeichnung ist zu unterscheiden von einer perspektivischen, d. h. globalen Verzerrung, die sich durch die Perspektive der Bildaufnahme und/oder die Ausrichtung der Marker ergibt. Zwar wird diese natürlich ebenfalls berücksichtigt, sie ist jedoch zu unterscheiden von der lokalen Bildverzeichnung, welche zu Abweichungen innerhalb des Bereichs des Bildsensors führt, auf dem das Abbild der Markerfläche des ersten Markers liegt und die zur perspektivischen, d. h. globalen Verzerrung hinzutritt.This enables the position of the marker in the 2D image to be determined with high precision, which, in addition to correcting the perspective distortion, also takes into account and compensates for the local image distortion mentioned. "Local" refers to the image distortion that occurs within the image, e.g. B. by aberrations of a lens. The local image distortion is therefore determined, i. H. the image distortion in the area of the image sensor on which the image of the respective marker area lies. The local image distortion is to be distinguished from a perspective, i. H. global distortion resulting from the perspective of the image acquisition and/or the orientation of the markers. Although this is of course also taken into account, it must be distinguished from the local image distortion, which leads to deviations within the area of the image sensor on which the image of the marker surface of the first marker lies and which leads to perspective, i. H. global distortion is added.

Durch Berücksichtigung der lokalen Bildverzeichnung ist die Ermittlung der Lage des Markers im 2D-Bild genauer, insbesondere ist die Sub-Pixelgenauigkeit (bezogen auf Sensorpixel) gesteigert, denn die lokale Bildverzeichnung kann je nach Anwendung, insbesondere je nach Verhältnis zwischen Auflösung des Bildsensors, Abstand zum Marker und Größe und Orientierung der Markerfläche, eine starke Beschränkung für Sub-Pixelgenauigkeit sein.By taking the local image distortion into account, the determination of the position of the marker in the 2D image is more precise, in particular the sub-pixel accuracy (related to sensor pixels) is increased, because the local image distortion can be a strong limitation for sub-pixel accuracy depending on the application, especially depending on the relationship between the resolution of the image sensor, the distance to the marker and the size and orientation of the marker area.

Das lokale Koordinatensystem kann durch das Muster als zweidimensionale Variation, die vom Ort auf der Markerfläche abhängt, mindestens eines der folgenden Parameter bereitgestellt werden: Wellenlänge, Polarisation, Strahlungsintensität oder Größe eines farbmetrischen Bezugssystems, Hellbezugswert, Sättigung, bunttongleiche Wellenlänge, Farbangabe. Mit Hilfe dieser Parameter kann das Muster so variiert werden, dass jeder Ort des Musters auf der Markerfläche durch einen eindeutigen Wert des entsprechenden Parameters gekennzeichnet ist.The local coordinate system can be provided by the pattern as a two-dimensional variation that depends on the location on the marker surface, at least one of the following parameters: wavelength, polarization, radiation intensity or size of a colorimetric reference system, lightness reference value, saturation, wavelength of the same hue, color specification. With the help of these parameters, the pattern can be varied in such a way that each location of the pattern on the marker area is characterized by a unique value of the corresponding parameter.

In Ausführungsformen hat der Marker eine unbekannte Lage und/oder Orientierung in dem Raum, der mit dem 2D-Bild abgebildet wird.In embodiments, the marker has an unknown location and/or orientation in the space mapped with the 2D image.

Zusätzlich oder alternativ kann das Muster abhängig vom Ort auf der Markerfläche auch auf zeitlich vorbestimmte Weise variiert werden, so dass man durch Berücksichtigung der zeitlichen Veränderung der Abbilder ebenfalls ein lokales Koordinatensystem erhält, welches jeden Ort auf der Markerfläche eindeutig kennzeichnet. Diese zeitliche Variation kann dadurch erreicht werden, dass die Markerfläche ein steuerbares Display aufweist, welches das zeitlich variierende Muster anzeigt, oder dass die Markerfläche mit einem Projektor beleuchtet wird, der ein zeitlich variierendes Muster projiziert.Additionally or alternatively, the pattern can also be varied in a temporally predetermined manner depending on the location on the marker area, so that by taking into account the temporal change in the images, a local coordinate system is also obtained which uniquely identifies each location on the marker area. This variation over time can be achieved by the marker area having a controllable display that shows the pattern that varies over time, or by illuminating the marker area with a projector that projects a pattern that varies over time.

Die Berücksichtigung der lokalen Bildverzeichnung kann in einem der Lokalisierungsberechnung vorgelagertem Schritt ausgeführt werden. In diesem Fall wird zuerst die lokale Bildverzeichnung ermittelt und ein lokal unverzeichnetes Abbild der Markerfläche errechnet, auf dessen Basis dann die Lokalisierungsberechnung stattfindet. Gleichermaßen ist es als Alternative möglich, das lokale Koordinatensystem bei der Lokalisierungsberechnung direkt einfließen zu lassen.The local image distortion can be taken into account in a step preceding the localization calculation. In this case, the local image distortion is determined first and a locally undistorted image of the marker area is calculated, on the basis of which the localization calculation then takes place. Likewise, as an alternative, it is possible to include the local coordinate system directly in the localization calculation.

Letztere Alternative ist besonders einfach und rechensparsam, wenn die lokale Bildverzeichnung mittels eines Modells aus dem Abbild des Musters ermittelt wird, da dieses Modell dann in bevorzugten Ausführungsvarianten direkt in der Lokalisierungsberechnung eingesetzt wird. Der Einsatz eines Modells ist aber auch anderweitig, d.h. mit dem erwähnten mehrstufigen Ansatz mit dem vorgelagerten Schritt möglich.The latter alternative is particularly simple and computationally economical if the local image distortion is determined using a model from the image of the pattern, since this model is then used directly in the localization calculation in preferred embodiment variants. However, a model can also be used in other ways, i.e. with the aforementioned multi-stage approach with the upstream step.

Die Ermittlung der Lage des Markers kann besonders bevorzugt für eine 3D-Triangulation eingesetzt werden. Dann werden mehrere 2D-Bilder von bevorzugt mehreren Markern aus verschiedenen Perspektiven aufgenommen.The determination of the position of the marker can be used particularly preferably for a 3D triangulation. Then multiple 2D images of preferably multiple markers are recorded from different perspectives.

Die geschilderten Aspekte gelten gleichermaßen für das genannte Verfahren wie auch für das System. In diesem werden entsprechende Auswertungs- und Berechnungsschritte von einem Bildprozessor ausgeführt, der insbesondere einen Rechenprozessor und einen entsprechenden Speicher aufweisen kann. Der Bildsensor kann insbesondere einen lichtempfindlichen Chip aufweisen, welcher entsprechende Sensorpixel hat. Die Marker umfassen insbesondere einen Markerkörper, der eine Oberfläche hat, welche die Markerfläche bereitstellt, die bevorzugt Markerpixel hat.The aspects described apply equally to the method mentioned and to the system. In this, corresponding evaluation and calculation steps are carried out by an image processor, which in particular can have an arithmetic processor and a corresponding memory. The image sensor can in particular have a light-sensitive chip which has corresponding sensor pixels. In particular, the markers comprise a marker body having a surface providing the marker area, which preferably has marker pixels.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It goes without saying that the features mentioned above and those still to be explained below can be used not only in the specified combinations, but also in other combinations or on their own, without departing from the scope of the present invention.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen, die ebenfalls erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Elementen oder Komponenten nicht dahingehend auszulegen, dass alle diese Elemente oder Komponenten zur Implementierung notwendig sind. Vielmehr können andere Ausführungsbeispiele auch alternative Elemente und Komponenten, weniger Elemente oder Komponenten oder zusätzliche Elemente oder Komponenten enthalten. Elemente oder Komponenten verschiedener Ausführungsbespiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Modifikationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein. Zur Vermeidung von Wiederholungen werden gleiche oder einander entsprechende Elemente in verschiedenen Figuren mit gleichen Bezugszeichen bezeichnet und nicht mehrmals erläutert. Von den Figuren zeigen:

1 eine Schemadarstellung eines Systems zur 3D-Lokalisierung,
2 eine Schemadarstellung eines Markers,
3 eine Darstellung zur Erläuterung der Wirkung einer lokalen Bildverzerrung und
4 ein Ablaufschema eines Verfahrens zur Ermittlung der Lage des Markers.

The invention is explained in more detail below on the basis of exemplary embodiments with reference to the accompanying drawings, which also disclose features that are essential to the invention. These embodiments are provided for illustration only and are not to be construed as limiting. For example, a description of an embodiment having a plurality of elements or components should not be construed as implying that all of those elements or components are necessary for implementation. Rather, other embodiments may include alternative elements and components, fewer elements or components, or additional elements or components. Elements or components of different exemplary embodiments can be combined with one another unless otherwise stated. Modifications and variations that are described for one of the embodiments can also be applicable to other embodiments. To avoid repetition, the same or corresponding elements in different figures are denoted by the same reference symbols and are not explained more than once. From the figures show:

1 a schematic representation of a system for 3D localization,
2 a schematic representation of a marker,
3 a representation to explain the effect of local image distortion and
4 a flow chart of a method for determining the position of the marker.

1 zeigt schematisch ein System 1 zur 3D-Lokalisierung, z.B. eines Objektes 2, durch Triangulation mittels mehrerer Marker. Das System 1 umfasst mehrere Kameras 4a, 4b, 4c, die jeweils einen Bildsensor 6 und eine Optik 8 sowie ein schematisch angedeutetes Bildfeld aufweisen. Der Bildsensor 6 ist zur Vereinfachung ausschließlich für die Kamera 4a eingezeichnet. Alle Kameras haben einen Bildsensor, der i.d.R. Sensorpixel aufweist. Auf oder am Objekt 2 sind Marker 10a, 10b, 10c, 10d angebracht. Das System 1 ist so ausgerichtet, dass jeder Marker 10a-10d von min. einem, bevorzugt von mind. zwei, besonders bevorzugt von allen Bildfeldern der Kameras 4a-4c erfasst werden. Jeder Marker 10a-10d hat eine Markerfläche 12, die zur Vereinfachung hinsichtlich des Bezugszeichens nur für den Marker 10a bezeichnet ist. Sie sind so angeordnet, dass die Kameras mit ihrem Bildfeld das Objekt 2 bzw. die Marker 10a-10d erfassen. Die Marker 10a-10d liegen in unterschiedlichen geometrischen Lagen am oder auf dem Objekt 2, was in der Schemadarstellung der 1 durch unterschiedliche perspektivische Verzerrungen symbolisiert ist. 1 shows schematically a system 1 for 3D localization, for example an object 2, by triangulation using a plurality of markers. The system 1 comprises several cameras 4a, 4b, 4c, each of which has an image sensor 6 and an optical system 8 as well as a schematically indicated image field. For reasons of simplification, the image sensor 6 is shown exclusively for the camera 4a. All cameras have an image sensor, which usually has sensor pixels. Markers 10a, 10b, 10c, 10d are attached to or on object 2. The system 1 is aligned in such a way that each marker 10a-10d is captured by at least one, preferably by at least two, particularly preferably by all image fields of the cameras 4a-4c. Each marker 10a-10d has a marker area 12 which, for ease of reference, is identified for marker 10a only. They are arranged in such a way that the cameras capture the object 2 or the markers 10a-10d with their field of view. The markers 10a-10d are in different geometric positions on or on the object 2, which is in the schematic representation of 1 is symbolized by different perspective distortions.

Die Kameras 4a-4c sind mit einer Steuereinrichtung 14 verbunden, die insbesondere einen Bildprozessor 14.1 und einen RAM 14.2 aufweist. Die Steuereinrichtung 14 steuert die Kameras 4a-4c zur Aufnahme von Bildern an. Aufgrund der unterschiedlichen Lagen der Kameras 4a-4c nehmen die Kameras die Marker 10-10d aus unterschiedlichen Perspektiven auf. Es handelt sich dabei jeweils um 2D-Aufnahmen. Diese 2D-Aufnahmen werden von der Steuereinrichtung 14, insbesondere dem Bildprozessor 14.1, verwendet, um anhand der Abbilder der Marker 10a-10d mittels Triangulation eine exakte 3D-Lokalisierung der Marker und damit beispielsweise der Oberflächenform des Objektes 2 zu ermitteln.The cameras 4a-4c are connected to a control device 14, which has in particular an image processor 14.1 and a RAM 14.2. The control device 14 controls the cameras 4a-4c to record images. Due to the different positions of the cameras 4a-4c, the cameras record the markers 10-10d from different perspectives. These are all 2D images. These 2D recordings are used by the control device 14, in particular the image processor 14.1, in order to use the images of the markers 10a-10d to determine an exact 3D localization of the markers and thus, for example, the surface shape of the object 2 by means of triangulation.

Die Triangulation ist nachfolgend nicht weiter von Bedeutung; es geht hier vielmehr um die genaue Bestimmung der Lage eines der Marker im 2D-Bild, das einer der Bildsensoren 6 erzeugt. Selbstverständlich ist auch die Zahl der Marker in der Schemadarstellung der 1 nur exemplarisch zu verstehen. Es muss sich auch nicht zwingend um ein unbekanntes Objekt 2 handeln. Vielmehr kann auch ein Kalibrierobjekt verwendet werden, auf/an dem die Marker 10a-10d in bekannter Lage zueinander im 3D-Raum angeordnet sind, so dass aus der 3D-Lokalisierung eine Kalibrierung der Position der Kameras 4a-4c erhalten wird. Auch ist es möglich, die Marker 10a-10d in bekannter Lage im 3D-Raum anzuordnen, ohne ein Objekt 2 vorzusehen. Auch damit kann z.B. das System 1 kalibriert werden. Die Marker können auf einer Basis aufgeständert sein. Dies ist insbesondere dann von Vorzug, wenn es um die Kalibrierung eines Systems 1 geht. Die Ständer können dann unterschiedlich und definiert hoch sein. Stellt man solche Marker an definierten Orten im 3D-Raum auf, kann ebenfalls kalibriert werden. Weiter ist die Zahl der Kameras 4a-4c in 1 rein exemplarisch. Es ist sogar möglich, nur eine einzige Kamera 4a zu verwenden und diese im 3D-Raum auf vorgegebene Weise zu bewegen, beispielsweise mittels eines ansteuerbaren Arms (nicht dargestellt). Hiermit kann sowohl eine Vermessung eines unbekannten Objekts, als auch eine Kalibrierung eines Armantriebs erfolgen.The triangulation is of no further importance below; Rather, it is a matter of precisely determining the position of one of the markers in the 2D image that one of the image sensors 6 generates. Of course, the number of markers in the schematic representation of the 1 only to be understood as an example. It does not necessarily have to be an unknown object 2 either. Rather, a calibration object can also be used on which the markers 10a-10d are arranged in a known position relative to one another in 3D space, so that a calibration of the position of the cameras 4a-4c is obtained from the 3D localization. It is also possible to arrange the markers 10a-10d in a known position in 3D space without providing an object 2. This can also be used to calibrate system 1, for example. The markers may be elevated on a base. This is particularly advantageous when a system 1 is to be calibrated. The stands can then have different and defined heights. If you set up such markers at defined locations in 3D space, you can also calibrate. Next is the number of cameras 4a-4c in 1 purely exemplary. It is even possible to use only a single camera 4a and to move it in a predetermined manner in 3D space, for example by means of a controllable arm (not shown). This can be used to measure an unknown object and to calibrate an arm drive.

Nachfolgend wird die hier wesentliche hochgenaue Bestimmung der Lage der Marker aus einem der 2D-Bilder erläutert.The high-precision determination of the position of the markers from one of the 2D images, which is essential here, is explained below.

Jeder Marker 10a-10d weist eine Markerfläche 12 auf. Die Ausgestaltung dieser Markerfläche 12 ist in 2 für den Marker 10a exemplarisch gezeigt. Auf der Markerfläche 12 befindet sich ein Muster 16, das in dieser Ausführungsform aus einer Vielzahl von Markerpixeln 18 besteht. Die Pixel unterscheiden sich im Wert eines optisch detektierbaren Parameters. In 2 ist dieser Wert schematisch mit W11 bis W55 bezeichnet, wobei die erste Ziffer nach dem Buchstaben „W“ die Zeile und die zweite Ziffer die Spalte bezeichnet, in welcher das jeweilige Markerpixel liegt. Der Wert Wxy kennzeichnet damit den Ort (x,y) des Markerpixels im Muster 16 und damit auf der Markerfläche 12.Each marker 10a-10d has a marker area 12. FIG. The design of this marker area 12 is in 2 shown as an example for the marker 10a. There is a pattern 16 on the marker area 12, which consists of a large number of marker pixels 18 in this embodiment. The pixels differ in the value of an optically detectable parameter. In 2 this value is designated schematically as W11 to W55, with the first digit after the letter "W" designating the row and the second digit designating the column in which the respective marker pixel is located. The value Wxy thus identifies the location (x,y) of the marker pixel in pattern 16 and thus on marker area 12.

Beim Parameter, der die unterschiedlichen Werte W11-W55 einnimmt, kann es sich beispielsweise um einen Hellbezugswert, eine Farbe oder eine Polarisation handeln. Möglich sind insbesondere die Variation einer ersten Größe eines farbmetrischen Bezugssystems (z.B. bunttongleiche Wellenlänge oder Rot-Wert) entlang einer ersten Richtung und die Variation einer zweiten Größe des farbmetrischen Systems (z.B. Hellbezugswert oder Grün-Wert) entlang einer zweiten Richtung. Auch kann eine Kodierung in Form einer Richtungsmodulation der Abstrahl-/Reflexionsintensität verwendet werden, z.B. mittels eines Hologramms oder einer Blaze-Spiegelstruktur. Im Falle der Farbe ist es beispielsweise möglich, dass mit zunehmender Spalte eine rote Intensität zunimmt, mit zunehmender Zeile eine grüne Intensität. Auch können die Werte W11- W55 unterschiedliche, individuelle Grauwerte sein.The parameter, which takes on the different values W11-W55, can be, for example, a brightness reference value, a color or a polarization. In particular, it is possible to vary a first variable of a colorimetric reference system (e.g. wavelength of the same hue or red value) along a first direction and vary a second variable of the colorimetric system (e.g. lightness reference value or green value) along a second direction. Coding in the form of directional modulation of the emission/reflection intensity can also be used, e.g. by means of a hologram or a blazed mirror structure. In the case of color, for example, it is possible for a red intensity to increase as the column increases, and a green intensity as the row increases. The values W11-W55 can also be different, individual gray values.

Im Falle des Hellbezugswertes können sich die Markerpixel 18 z.B. im Grauwert unterscheiden. Verteilt man einen Graubereich von 0% bis 100%, so haben z.B. die Pixel 18 folgende Grauwerte: W11 4% W12 8% W13 12% W14 16% W15 20% W21 24% W22 28% W23 32% W24 36% W25 40% W31 44% W32 48% W33 52% W34 56% W35 60% W41 64% W42 68% W43 72% W44 76% W45 80% W51 84% W52 88% W53 92% W54 96% W55 100% In the case of the light reference value, the marker pixels 18 can differ, for example, in the gray value. If you distribute a gray area from 0% to 100%, then, for example, pixels 18 have the following gray values: W11 4% w12 8th% W13 12% W14 16% W15 20% W21 24% W22 28% W23 32% W24 36% W25 40% W31 44% W32 48% W33 52% W34 56% W35 60% W41 64% W42 68% W43 72% W44 76% W45 80% W51 84% W52 88% W53 92% W54 96% W55 100%

Auf diese Weise hat jedes Markerpixel 18 einen individuellen Grauwert. Dies ergibt diskretisiert steigende Werte auf einer Achse, z.B. in x-Richtung, aber nicht in der anderen Achse, d.h. in y-Richtung. Optional sind die Werte auch auf der zweiten Achse zunehmend.In this way, each marker pixel 18 has an individual gray value. This results in discretized increasing values on one axis, e.g. in the x-direction, but not in the other axis, i.e. in the y-direction. Optionally, the values are also increasing on the second axis.

Besonders bevorzugt ist es, wie später noch erläutert, dass die Markerkodierung in 2D steigende Werte hat - entweder in Form von diskreten Pixeln oder stetig. Dies ist besonders von Vorteil, wenn zugleich der Marker auf weniger Sensorpixel abgebildet wird, als Markerpixel vorhanden sind, und jedes Sensorpixel über einen ihm durch die Abbildungsgeometrie zugeordenten Flächenbereich und damit z.B. mehrere nebeneinanderliegende Markerpixel der Markerfläche integriert, z.B. eine Summierung. Diese Integralbildung hat einen geringeren Effekt, wenn die Kodierung in 2D kontinuierlich, z.B. im Sinne von stetig, variiert. Dann wird bei der Integration ein Mittelwert erreicht. Diese ist auch unabhängig von der Pixelierung des Sensors, da schon die optische Lichtverteilung durch die PSF der Optik eine Verschmierung aufweist.As will be explained later, it is particularly preferred that the marker coding in 2D has increasing values—either in the form of discrete pixels or continuously. This is particularly advantageous if at the same time the marker is imaged on fewer sensor pixels than there are marker pixels, and each sensor pixel is integrated over an area assigned to it by the imaging geometry and thus e.g. several adjacent marker pixels of the marker area, e.g. a summation. This integral formation has a smaller effect if the coding in 2D varies continuously, e.g. in the sense of continuously. A mean value is then reached during integration. This is also independent of the pixelation of the sensor, since the optical light distribution already shows smearing due to the PSF of the optics.

Das Muster 16 kann auf dem Marker fest angebracht, beispielsweise aufgedruckt sein. Gleichermaßen ist es möglich, dass die Musterfläche 12 ein Display ist, das die entsprechenden Werte W11-W55 erzeugt. Ebenso ist es möglich, dass das Muster 16 auf die Markerfläche 12 von einem externen Projektor projiziert wird.The pattern 16 can be permanently attached to the marker, for example printed on it. Likewise, it is possible for the sample area 12 to be a display that generates the corresponding values W11-W55. It is also possible for pattern 16 to be projected onto marker surface 12 by an external projector.

In den letzten beiden Varianten kann das Muster auch zeitveränderlich sein, wobei die Zeitveränderung entweder einem vorbestimmten festen Muster, gekoppelt an eine Normzeit, entspricht oder durch die Steuereinrichtung 14 oder einer mit ihr verbundenen Subeinheit vorgegeben wird.In the last two variants, the pattern can also vary over time, with the change in time either corresponding to a predetermined fixed pattern coupled to a standard time, or being specified by the control device 14 or a subunit connected to it.

Die genannte optionale Aufständerung ist in 2 gestrichelt dargestellt und mit 20 bezeichnet.The mentioned optional mount is in 2 shown in dashed lines and denoted by 20.

Das Muster 16 spannt ein lokales Koordinatensystem auf, indem es die einzelnen Orte auf der Musterfläche 12 durch Variation des Parameters, der vom Bildsensor 6 detektierbar ist, individuell kennzeichnet. In allen Ausführungsformen ist sichergestellt, dass der Parameter vom Bildsensor 6 in der Kamera 4a (und gegebenenfalls 4b und 4c) aufgelöst werden kann, d.h. dass die Kamera in der Lage ist, unterschiedliche Werte des Parameters und insbesondere die Unterschiede in den Werten W11-W55 zu erkennen. Damit ist nicht zwingend verbunden, dass die optische Auflösung der Kamera genügt, die Markerpixel 18 des Musters 16 individuell aufzulösen. Dies ist bei manchen Ausführungsformen nicht der Fall, da die 3D-Lokalisierung mittels der Kameras erst durch eine rechnerische Auswertung der 2D-Bilder erfolgt und die Orte der Marker 10a-10d im 3D-Raum mit einer Genauigkeit angibt, die bezogen auf die Ortsauflösung der Bildsensoren 6 mit Subpixel-Genauigkeit gegeben ist. Üblicherweise fällt damit das Abbild einer Markerfläche 12 nur auf wenige Sensorpixel des Bildsensors 6.The pattern 16 spans a local coordinate system in that it individually characterizes the individual locations on the pattern surface 12 by varying the parameter that can be detected by the image sensor 6 . In all embodiments it is ensured that the parameter can be resolved by the image sensor 6 in the camera 4a (and possibly 4b and 4c), i.e. that the camera is able to detect different values of the parameter and in particular the differences in the values W11-W55 to recognize. This does not necessarily mean that the optical resolution of the camera is sufficient to resolve the marker pixels 18 of the pattern 16 individually. This is not the case in some embodiments, since the 3D localization using the cameras only takes place through a computational evaluation of the 2D images and indicates the locations of the markers 10a-10d in the 3D space with an accuracy that is based on the spatial resolution of the Image sensors 6 are given with subpixel accuracy. The image of a marker surface 12 usually only falls on a few sensor pixels of the image sensor 6.

Dieses lokale Koordinatensystem dient dazu, lokale Bildverzeichnungen auf dem Bildsensor 6 zu ermitteln. Die Bedeutung dieser Bildverzerrungen ist schematisch in 3 dargestellt. 3 zeigt eine frontal parallele Abbildung der Markerfläche 12, die zur Veranschaulichung hier ein regelmäßiges Punktmuster aufweist. Dies stellt die perfekte Abbildungssituation dar, da sowohl die optische Achse der Abbildung senkrecht zur Markerfläche 12 liegt und durch das Zentrum der Markerfläche 12 läuft. Die Erläuterung anhand der eingezeichneten Punkte bzw. des Punktmusters ist rein zur Veranschaulichung, denn tatsächlich umfasst die Markerfläche 12 nicht ein solches Punktmuster. Die Lokalisierung der einzelnen Punkte ist aufgrund der begrenzten Auflösung des Bildsensors 6 mit einer Ortsungenauigkeit behaftet. Die eingezeichneten Ellipsen symbolisieren die Ortsungenauigkeit der optischen Abbildung der einzelnen Punkte auf den Bildsensor. Diese wird üblicherweise durch die Punktbildverwaschungsfunktion (PSF) beschrieben. Das hier gezeigte spot diagram ist ein Weg, die wellenoptische PSF approximativ durch eine Menge von Strahldurchstoßpunkten zu visualisieren.This local coordinate system is used to determine local image distortions on the image sensor 6 . The meaning of these image distortions is shown schematically in 3 shown. 3 shows a frontal parallel image of the marker surface 12, which has a regular dot pattern here for illustration purposes. This represents the perfect imaging situation, since both the optical axis of the image is perpendicular to the marker area 12 and runs through the center of the marker area 12. The explanation based on the drawn points or the point pattern is purely for illustration purposes, because the marker area 12 does not actually include such a point pattern. Due to the limited resolution of the image sensor 6, the localization of the individual points is associated with a location inaccuracy. The drawn ellipses symbolize the spatial inaccuracy of the optical imaging of the individual points on the image sensor. This is usually described by the point spread function (PSF). The spot diagram shown here is a way of visualizing the wave-optical PSF approximately through a set of ray penetration points.

In der Darstellung der 3 ist die globale Verzerrung, d. h. eine Verzerrung durch die Perspektive, mit welcher die Kamera auf den Marker blickt, und/oder durch eine eventuelle Orientierung des Markers im 3D-Raum, bereits dadurch ausgeglichen, dass der ideale Fall betrachtet wird, in dem die Kamera genau senkrecht auf das Zentrum des Markers blickt - wie oben erwähnt. Dennoch ist im Abbild der Punkte, d.h. dem sich ergebenden Muster der Ellipsen, eine lokale Bildverzeichnung festzustellen, denn das Muster der Ellipsen erscheint auf dem Bildsensor 8 nicht regelmäßig, obwohl die zugehörigen, objektseitigen Punkte auf dem Marker regelmäßig angeordnet sind. Ursache ist eine lokale Bildverzeichnung, welche durch die optischen Elemente der Abbildung bedingt ist. Die Unterschiede zwischen diesen Effekten werden hierdurch die unterschiedlichen Begriffe, (globale) Verzerrung und (lokale) Bildverzeichnung, betont.In the representation of 3 the global distortion, ie a distortion caused by the perspective from which the camera looks at the marker and/or by a possible orientation of the marker in 3D space, is already compensated for by considering the ideal case in which the camera exactly perpendicular to the center of the marker - as mentioned above. Nevertheless, local image distortion can be observed in the image of the points, ie the resulting pattern of the ellipses, because the pattern of the ellipses does not appear regularly on the image sensor 8, although the associated points on the object side are arranged regularly on the marker. The cause is a local image distortion caused by the optical elements of the image. The differences between these effects are emphasized by the different terms, (global) distortion and (local) image distortion.

Nun wird das Zentrum der Markerfläche 12 ermittelt (zentraler Punkt in 3). Es wäre auch ein anderer ausgezeichneter Punkt geeignet. Es ist ersichtlich, dass die lokale Bildverzeichnung auf dem Abbild der Markerfläche auf dem Bildsensor 8 hierbei eine Lage des Zentrums der Markerfläche 12 ergibt, welche von der tatsächlichen Lage abweicht. Die lokale Bildverzeichnung erzeugt eine Ungenauigkeit, die durchaus in der Größenordnung der Ortsungenauigkeit der einzelnen Objektpunkte, d.h. der Größe der einzelnen Ellipsen führen kann.Now the center of the marker area 12 is determined (central point in 3 ). Another excellent point would also be appropriate. It can be seen that the local image distortion on the image of the marker area on the image sensor 8 results in a position of the center of the marker area 12 which deviates from the actual position. The local image distortion creates an inaccuracy that can result in the magnitude of the location inaccuracy of the individual object points, ie the size of the individual ellipses.

Im dargestellten Beispiel der 3 hätte die lokale Bildverzeichnung beispielsweise einen Fehler für das Zentrum der Markerfläche 12 zur Folge, der in der Größenordnung von 1/15 eines Sensorpixels liegt. Zusätzlich erfolgt in dieser Ausführungsform eine Mittelung über die Markerfläche, die zur Rauschreduktion (in den detektierten Orten) führt.In the example shown 3 the local image distortion would result, for example, in an error for the center of the marker area 12 that is on the order of 1/15 of a sensor pixel. In addition, in this embodiment, an averaging takes place over the marker area, which leads to noise reduction (in the detected locations).

Diese Problematik kann auch nicht dadurch behoben werden, dass die Zahl der Sensorpixel verändert wird. Reduziert man die Zahl der Sensorpixel und damit die Sensorfläche, würde zwar die Wirkung der lokalen Bildverzeichnung abnehmen, die Ortsgenauigkeit für das Zentrum der Markerfläche würde jedoch aufgrund der geringeren Sensorpixelzahl ebenfalls abnehmen. Erhöht man die Sensorpixelzahl und damit die Sensorfläche, steigt hingegen die Problematik der lokalen Bildverzeichnung.This problem cannot be solved by changing the number of sensor pixels. If you reduce the number of sensor pixels and thus the sensor area, the effect of local image distortion would decrease, but the location accuracy for the center of the marker area would also decrease due to the lower number of sensor pixels. If you increase the number of sensor pixels and thus the sensor area, the problem of local image distortion increases.

Durch das Muster 16 auf der Markerfläche 12 kann nun der Bildprozessor die lokale Bildverzeichnung korrigieren, so dass bei der Ermittlung der Lage des Marker(zentrums) im 2D-Bild die in 3 gezeigte Bildverzeichnung ausgeglichen ist. Aus Sicht der Lageermittlung steht ein lokales Koordinatensystem für die Markerfläche 12 zur Verfügung.The image processor can now use the pattern 16 on the marker surface 12 to correct the local image distortion, so that when the position of the marker (centre) in the 2D image is determined, the in 3 image distortion shown is compensated. A local coordinate system for the marker area 12 is available from the position determination point of view.

In 2 wurde dieses lokale Koordinatensystem anhand einer markerpixelweisen Variation eines optischen Parameters, d.h. einer Markerfläche 12 mit Markerpixeln 18, erläutert. Natürlich ist gleichermaßen auch eine kontinuierliche Variation möglich. Auch muss das Koordinatensystem nicht, wie in 2 dargestellt, ein rechtwinkliges Koordinatensystem sein, obwohl dies aus Gründen der Berechnung vorteilhaft sein kann. Gleichermaßen sind schiefwinklige Koordinatensysteme, Koordinatensysteme mit ungeraden Achsen, insbesondere euklidische oder polare Koordinatensysteme, möglich. Eine nicht-lineare Aufteilung entlang der Achsen kann ebenfalls vorteilhaft sein. Letztlich wird die Markerfläche 12 mit einem Muster 16 versehen, das die Orte auf der Markerfläche 12 eindeutig kodiert. Auf diese Weise kann das Zentrum der Markerfläche 12 im 2D-Bild mit erhöhter Genauigkeit ermittelt werden. Die optional folgende 3D-Triangulation wird damit ebenfalls genauer.In 2 this local coordinate system was explained using a marker-pixel variation of an optical parameter, ie a marker surface 12 with marker pixels 18 . Of course, a continuous variation is equally possible. Also, the coordinate system does not have to be as in 2 shown to be a rectangular coordinate system, although this may be advantageous for computational reasons. Likewise, oblique coordinate systems, coordinate systems with odd axes, in particular Euclidean or polar coordinate systems, are possible. A non-linear division along the axes can also be advantageous. Ultimately, the marker area 12 is provided with a pattern 16 that unambiguously encodes the locations on the marker area 12 . In this way, the center of the marker area 12 in the 2D image can be determined with increased accuracy. The optional 3D triangulation that follows is also more precise.

Die Ausführungsformen stellen bildverzeichnungs-invariante Marker bereit. Dieser Begriff heißt natürlich nicht, dass die Marker bei der Abbildung auf den Bildsensor 8 selbst keiner Bildverzeichnung unterworfen sind. Er stellt vielmehr darauf ab, dass die Marker durch das Muster der Markerfläche und das dadurch bereitgestellte lokale Koordinatensystem eine Korrektur der lokalen Bildverzeichnungen ermöglichen und damit letztlich ein Abbild des Markers zur Lageermittlung verwendet werden kann, das eine Invarianz gegen lokale Bildverzeichnungen ermöglicht, welche auf dem Bildsensor 8 im Abbild des Markers auftreten.The embodiments provide image distortion invariant markers. Of course, this term does not mean that the markers themselves are not subject to any image distortion when they are imaged on the image sensor 8 . Rather, it is based on the fact that the markers enable correction of the local image distortions through the pattern of the marker area and the local coordinate system provided thereby, and thus ultimately an image of the marker can be used to determine the position, which enables invariance with respect to local image distortions, which are based on the Image sensor 8 occur in the image of the marker.

4 zeigt schematisch den Ablauf eines Verfahrens zur Lageermittlung bei dem genannten bildverzeichnungs-invarianten Marker. Das Verfahren wird in einem Schritt S0 gestartet. Anschließend werden in einem Schritt S1 die Marker in einem 3D-Raum angeordnet. In einem Schritt S2 werden mehrere Bilder des 3D-Raumes mit den Markern erzeugt, so dass mehrere 2D-Aufnahmen aus unterschiedlichen Perspektiven vorliegen. Für die Aufnahmen wird ein optischer Bildsensor 6 verwendet, der den Parameter, welcher zur Erzeugung des lokalen Koordinatensystems auf den Markerflächen 12 ortsabhängig variiert ist, auflöst. In einem Schritt S3 wird eine lokale Bildverzeichnung, der die Abbilder der Markerflächen 12 auf dem Bildsensor 6 unterworfen sind, ermittelt und korrigiert. Anschließend wird in einem Schritt S4 für jeden Marker das Zentrum der Markerfläche 12 ermittelt und damit die Lageermittlung für den/die Marker in jedem 2D-Bild ermittelt. Anschließend erfolgt eine Triangulation. Dabei erfolgt eine Assoziation eines 2D-Punktes mit einer 3D-Kurve (Strahl), die üblicherweise aus einer Kalibrierung stammt. Die 3D-Kurven verschiedener Kameras bestimmen dann im Schnitt die Lokalisation des 3D-Punktes, an dem sich das Zentrum (oder ein anderer Bezugspunkt) des Markers befindet. In einem Schritt S5 ist das Verfahren abgeschlossen. 4 shows schematically the course of a method for determining the position of the said image distortion-invariant marker. The method is started in a step S0. Subsequently, in a step S1, the markers are arranged in a 3D space. In a step S2, multiple images of the 3D space are generated with the markers, so that multiple 2D recordings from different perspectives are available. An optical image sensor 6 is used for the recordings, which resolves the parameter which is varied depending on the location in order to generate the local coordinate system on the marker areas 12 . In a step S3, a local image distortion to which the images of the marker areas 12 on the image sensor 6 are subjected is determined and corrected. Then, in a step S4, the center of the marker surface 12 is determined for each marker and the position determination for the marker(s) in each 2D image is thus determined. A triangulation is then carried out. A 2D point is associated with a 3D curve (ray), which usually comes from a calibration. The 3D curves of different cameras then determine on average the localization of the 3D point at which the center (or a other reference point) of the marker. The method is completed in a step S5.

Die Lageermittlung mit einer (auf den Bildsensor bezogenen) Sub-Pixelgenauigkeit ist beispielsweise auch aus der Tommaselli, A.M.G. and Berveglieri, A., „Measuring photogrammetric control targets in low contrast images“, Bulletin of Geodetic Sciences, Vol. 24, Issue 2, 171-185, Apr.-Jun., 2018, bekannt, die diesbezüglich hier vollumfänglich eingebunden wird.Position determination with sub-pixel accuracy (related to the image sensor) is also known, for example, from Tommaselli, A.M.G. and Berveglieri, A., "Measuring photogrammetric control targets in low contrast images", Bulletin of Geodetic Sciences, Vol. 24, Issue 2, 171-185, Apr.-Jun., 2018, which is fully incorporated here in this regard.

Der Schritt S3 und allgemein die Berücksichtigung bzw. Ermittlung der lokalen Bildverzeichnung kann auf Basis des lokalen Koordinatensystems gemäß folgendem Formalismus ausgeführt werden:Step S3 and in general the consideration or determination of the local image distortion can be carried out on the basis of the local coordinate system according to the following formalism:

Grundsätzlich erzeugt jedes Pixel des Bildsensors, auf das ein Abbild der Markerfläche fällt, eine x/y-Messung der Lage der Markerfläche in deren Ebene. Bezeichnet man die Sensorpixelorte mit (x_i,y_i) und die dekodierten, d.h. aus den 2D-Aufnahmen rekonstruierten Positionen in der Markerfläche, mit (x̂_i,ŷ_i), wobei i den Zählindex der Sensorpixel benennt, kann man eine Funktion, deren Parameter ein Vektor ist, wie folgt angeben: $(\begin{matrix} f (x_{i}, y_{i}) \\ g (x_{y}, y_{i}) \end{matrix}) = (\begin{matrix} {\hat{x}}_{i} \\ {\hat{y}}_{i} \end{matrix})$

f und g sind beispielsweise Polynome niederer Ordnung. Diese Gleichung kann rechts des Ursprungs (0,0) gelöst werden, um die Position des Zentrums der Markerfläche mit Subpixelgenauigkeit zu ermitteln. Dabei spielt die lokale Bildverzeichnung aufgrund der Funktionen f und g keine Rolle.In principle, each pixel of the image sensor onto which an image of the marker area falls generates an x/y measurement of the position of the marker area in its plane. If one designates the sensor pixel locations with (x _i ,y _i ) and the decoded, ie reconstructed from the 2D images, positions in the marker area with (x̂ _i ,ŷ _i ), where i designates the counting index of the sensor pixels, one can create a function, whose parameter is a vector, specify as follows:

(\begin{matrix} f (x_{i}, y_{i}) \\ G (x_{y}, y_{i}) \end{matrix}) = (\begin{matrix} {\hat{x}}_{i} \\ {\hat{y}}_{i} \end{matrix})

For example, f and g are low-order polynomials. This equation can be solved to the right of the origin (0,0) to find the position of the center of the marker area with sub-pixel accuracy. The local image distortion is irrelevant due to the functions f and g.

Im Folgenden wird die Wahl der Funktionen f und g diskutiert, wobei diese Diskussion darauf abzielt, die zu beachtenden Bedingungen herauszustellen. Sie ist nicht als einschränkend für die Erfindung zu verstehen.In the following, the choice of the functions f and g will be discussed, with this discussion aiming at emphasizing the conditions to be observed. It is not to be understood as limiting the invention.

In einem einfachen Fall können f und g affine Funktionen sein: $\begin{matrix} f (x, y) = a x + b y + c \\ g (x, y) = d x + e y + φ \end{matrix}$

In a simple case f and g can be affine functions:

\begin{matrix} f (x, y) = a x + b y + c \\ G (x, y) = i.e x + e y + φ \end{matrix}

Um diese Funktionen an die Messdaten anzufitten, werden mindestens 6 unabhängige Messwertpaare $(x_{i}, y_{i}) \leftrightarrow ({\hat{x}}_{i}, {\hat{y}}_{i}),$

mit i=1, ..., N und N >= 6
benötigt. Für die folgende Darstellung sind die Parameter a, b, c, d, e, φ in einem Parametervektor

\vec{ϑ}

gesammelt. Mittels (evtl. nicht-linearer) Optimierung kann

\vec{ϑ}

aus den Messwertpaaren bestimmt werden:

\vec{ϑ *} = a r g m i n_{\vec{ϑ}} \sum_{i} ‖ f (x_{i}, y_{i}; \vec{ϑ}) - {\hat{x}}_{i} ‖ ‖ g (x_{i}, y_{i}; \vec{ϑ}) - {\hat{y}}_{i} ‖

wobei die Norm ||..|| quadratisch sein kann, wenn Gauss'sche Fehler erwartet werden. Alternativ können robuste Normen und Schätzverfahren zum Einsatz kommen, wenn Ausreißer erwartet werden.In order to fit these functions to the measurement data, at least 6 independent measurement value pairs are used

(x_{i}, y_{i}) \leftrightarrow ({\hat{x}}_{i}, {\hat{y}}_{i}),

with i=1, ..., N and N >= 6
needed. For the following representation, the parameters a, b, c, d, e, φ are in a parameter vector

\vec{ϑ}

collected. By means of (possibly non-linear) optimization

\vec{ϑ}

can be determined from the pairs of measured values:

\vec{ϑ *} = a right G m i n_{\vec{ϑ}} \sum_{i} ‖ f (x_{i}, y_{i}; \vec{ϑ}) - {\hat{x}}_{i} ‖ ‖ G (x_{i}, y_{i}; \vec{ϑ}) - {\hat{y}}_{i} ‖

where the norm ||..|| can be quadratic if Gaussian errors are expected. Alternatively, robust norms and estimation methods can be used when outliers are expected.

Bei komplexeren lokalen Verzeichnungen können mächtigere Modelle für f und g zum Einsatz kommen, z.B. : $\begin{matrix} f (x, y) = a x^{2} + b x y + c y^{2} + d x + e y + φ \\ g (x, y) = y x^{2} + h x y + i y^{2} + j x + k y + l \end{matrix}$

With more complex local distortions, more powerful models for f and g can be used, e.g.:

\begin{matrix} f (x, y) = a x^{2} + b x y + c y^{2} + i.e x + e y + φ \\ G (x, y) = y x^{2} + H x y + i y^{2} + j x + k y + l \end{matrix}

Da bei komplexeren lokalen Verzeichnungsmodellen für f, g, mehr Messwerte benötigt werden, um zu einer eindeutigen Lösung zu gelangen, andererseits die lokale optische Verzeichnung umso stärker ausfallen wird, je grösser das Abbild des Markers auf dem Sensor erscheint, bietet es sich an, das Verzeichnungsmodell dynamisch nach der Abbildungsgröße des Markers zu wählen:

- Wenn der Marker klein erscheint, gibt es wenige Messwertpaare, aber auch die lokale Verzeichnung ist einfach, d.h. ein einfaches Modell, z.B. nach Gleichung (1), reicht zur Beschreibung aus
- Wenn der Marker groß erscheint, gibt es viele Messwertpaare, aber auch die lokale Verzeichnung ist nun komplexer und ein aufwendigeres Modell, z.B. nach Gleichung (2), kann zum Einsatz kommen.

Since, with more complex local distortion models for f, g, more measured values are required in order to arrive at a clear solution, and on the other hand the local optical distortion will be all the greater the larger the image of the marker appears on the sensor, it makes sense to select the distortion model dynamically based on the image size of the marker:

- If the marker appears small, there are few pairs of measured values, but the local distortion is also simple, ie a simple model, eg according to equation (1), is sufficient for the description
- If the marker appears large, there are many pairs of measured values, but the local distortion is now more complex and a more complex model, eg according to equation (2), can be used.

Dabei sollen für N Parameter im Verzeichnungsmodell mindestens N Messwertpaare vorhanden sein. Überbestimmte Modelle führen zu einer gewünschten fehlerreduzierenden Mittelung, die die Detektionsgenauigkeit, wie erwünscht, erhöht.At least N pairs of measured values should be available for N parameters in the distortion model. Overdetermined models lead to a desired error-reducing averaging that increases the detection accuracy as desired.

Wie man sieht, ist die Grundvoraussetzung für die Anwendung des Verfahrens die Verfügbarkeit der Messwertpaare (x_i,y_i) ↔(x̂_j,ŷ_i), i=1, ..., N, die gerade durch die erfindungsgemäße Einführung des lokalen Markerkoordinatensystems ermöglicht wird.As can be seen, the basic prerequisite for the application of the method is the availability of the pairs of measured values (x _i ,y _i ) ↔(x̂ _j ,ŷ _i ), i=1, ..., N, which are precisely due to the inventive introduction of the local Marker coordinate system is made possible.

Alternativ kann die inverse Funktion angefittet werden. Dann muss nur (ƒ^-1(0,0),g^-1(0,0)) ausgewertet werden. Die inverse Funktion lautet: $(\begin{matrix} f^{- 1} ({\hat{x}}_{i}, {\hat{y}}_{i}) \\ g^{- 1} ({\hat{x}}_{i}, {\hat{y}}_{i}) \end{matrix}) = (\begin{matrix} x_{i} \\ y_{i} \end{matrix})$

Natürlich können auch andere Punkte anstelle (0,0) verwendet werden.Alternatively, the inverse function can be fitted. Then only (ƒ ^-1 (0,0),g ^-1 (0,0)) has to be evaluated. The inverse function is:

(\begin{matrix} f^{- 1} ({\hat{x}}_{i}, {\hat{y}}_{i}) \\ G^{- 1} ({\hat{x}}_{i}, {\hat{y}}_{i}) \end{matrix}) = (\begin{matrix} x_{i} \\ y_{i} \end{matrix})

Of course, other points can be used instead of (0,0).

Claims

Method for determining the position of a marker in a 2D image and markers designed for this purpose, comprising the following steps: - providing at least one marker (10a-10d), the marker (10a-10d) having a 2D marker area (12), which has an optically detectable structure, - recording at least one 2D image by means of an optical image sensor (6) having at least one sensor pixel, with an image of the marker surface (12) being contained in the 2D image, - determining the position of the image of the marker surface (12) in the 2D image with subpixel-precise position information related to the sensor pixels, taking into account any perspective distortion that may be present, characterized in that - the step of providing the marker (10a-10d) includes that the optically detectable structure of the Marker (10a-10d) is designed so that it covers the marker surface (12) with a 2D pattern (16) in which at least one of the image sensor (6) optically detectable parameter on the marker area (12) is varied such that locations of the marker area (12) have individual values of the parameter and that the pattern (16) encodes the marker area (12) with a local coordinate system, - the recording step includes that the at least an optical image sensor (6) resolves the coding, and - the step of determining comprises, in an area of the image sensor (6) on which the image of the marker surface (12) of the marker (10a-10d) lies, based on the pattern ( 16) and the local coordinate system, in addition to the perspective distortion, also to determine a local image distortion of the image of the marker area (12) in the area of the image sensor (6) and the local image distortion when determining the position of the image of the marker area (12) in the 2D image to consider.

procedure after claim 1 , characterized in that the pattern (16) has a two-dimensional, location-dependent variation of at least one of the following parameters, preferably executed in marker pixels (18): wavelength, polarization, radiation intensity or size of a colorimetric reference system, lightness reference value, saturation, wavelength of the same hue, color specification.

procedure after claim 1 or 2 , characterized in that the pattern (16) is varied over time, the pattern surface (12) having a controllable display or the pattern (16) is controllably projected onto the pattern surface (12).

Method according to one of the above claims, characterized in that in the step of determining the 3D localization, first the local image distortion is determined and then the image is corrected with regard to this local image distortion.

Method according to one of the above claims, characterized in that the local image distortion is determined by means of a model from the image of the pattern (16).

Method according to one of the above claims, characterized in that the step of determining the 3D localization further comprises determining a perspective distortion in addition to the local image distortion.

System for determining the position of a marker in a 2D image and markers designed therefor, comprising: - a marker (10a-10d) to be arranged in a 3D space, the marker (10a-10d) having a 2D marker area (12). which has an optically detectable structure, - at least one optical image sensor (6) having sensor pixels and configured to record at least one 2D image in order to obtain an image of the marker surface (12) in the 2D image, - one Image processor (14.1), which is configured to determine the position of the marker surface (12) in the image with subpixel-precise position information in the 2D image related to the sensor pixels, the image processor being configured to take any perspective distortion into account, characterized in that - The optically detectable structure of the marker (10a) is designed so that it covers the marker surface (12) with a 2D pattern (16) in which at least one of the image sensor (6) optically detectable Param eter is varied over the marker area (12) in such a way that locations of the marker area (12) have individual values of the parameter and that the pattern (16) encodes the marker area (12) with a local coordinate system, - the at least one optical image sensor (6 ) resolves the coding, and - the image processor (14.1) is configured, when determining the position in an area of the image sensor (6) on which the image of the marker surface (12) of the marker (10a) lies, based on the pattern (16) and of the local coordinate system, in addition to the perspective distortion, a local image distortion of the image of the marker surface (12) in the area of the image sensor (6) must also be taken into account.

system after claim 7 , characterized in that the pattern (16) has a two-dimensional, location-dependent variation of at least one of the following parameters, preferably executed in marker pixels (18): wavelength, polarization, radiation intensity or size of a colorimetric reference system, lightness reference value, saturation, wavelength of the same hue, color specification.

system after claim 7 or 8th , characterized in that the pattern (16) is varied over time, the pattern area (12) having a time-varying display that shows the pattern (16) in a time-varying manner, or the system has at least one projector that displays the pattern (16) projected onto the pattern surface (12) in a time-varying manner.

system according to one of the Claims 7 until 9 , characterized in that the image processor (14.1) is configured to first determine the local image distortion and then to correct the image with regard to this local image distortion.

system according to one of the Claims 7 until 10 , characterized in that the image processor (14.1) is configured to determine the local image distortion by means of a model from the image of the pattern (16).

system according to one of the Claims 7 until 11 , characterized in that the image processor (14.1) is further configured to determine, in addition to the local image distortion, a perspective distortion caused by the respective perspective and/or the spatial alignment of the markers (10a-10d).

Marker for use in the method according to any one of Claims 1 until 6 or with the system according to one of the Claims 7 until 12 , wherein the marker (10a-10d) has a 2D marker area (12) which has an optically detectable structure, characterized in that - the optically detectable structure is designed in such a way that it covers the marker area (12) with a pattern (16th ) covered, in which at least one optically detectable parameter is varied across the marker area (12) in such a way that locations of the marker area (12) have individual values of the parameter and that the pattern (16) encodes the marker area (12) with a local coordinate system .

markers after Claim 13 , characterized in that the pattern (16) has a two-dimensional, location-dependent variation of at least one of the following parameters, preferably executed in marker pixels (18): wavelength, polarization, radiation intensity or size of a colorimetric reference system, lightness reference value, saturation, wavelength of the same hue, color specification.

markers after Claim 13 or 14 , characterized in that the parameter varies continuously in the pattern (16).