[go: up one dir, main page]

WO2017220598A1 - Verfahren zur dreidimensionalen vermessung bewegter objekte bei einer bekannten bewegung - Google Patents

Verfahren zur dreidimensionalen vermessung bewegter objekte bei einer bekannten bewegung Download PDF

Info

Publication number
WO2017220598A1
WO2017220598A1 PCT/EP2017/065118 EP2017065118W WO2017220598A1 WO 2017220598 A1 WO2017220598 A1 WO 2017220598A1 EP 2017065118 W EP2017065118 W EP 2017065118W WO 2017220598 A1 WO2017220598 A1 WO 2017220598A1
Authority
WO
WIPO (PCT)
Prior art keywords
sequence
camera
image
pixels
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2017/065118
Other languages
English (en)
French (fr)
Inventor
Bastian HARENDT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Enshape GmbH
Cognex Corp
Original Assignee
Enshape GmbH
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enshape GmbH, Cognex Corp filed Critical Enshape GmbH
Priority to KR1020197001701A priority Critical patent/KR102268151B1/ko
Priority to CN202110279687.7A priority patent/CN113160282B/zh
Priority to KR1020217018627A priority patent/KR102345886B1/ko
Priority to CN201780045560.0A priority patent/CN109791044B/zh
Publication of WO2017220598A1 publication Critical patent/WO2017220598A1/de
Priority to US16/224,693 priority patent/US10502557B2/en
Anticipated expiration legal-status Critical
Priority to US16/653,928 priority patent/US10823552B2/en
Priority to US17/087,506 priority patent/US11243072B2/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the invention relates to a method for the three-dimensional measurement of moving objects in a known movement according to claim 1.
  • An example of this is a measurement of moving parts on a conveyor belt, the sensor itself is fixed to the assembly line or a measurement of large objects, the 3D sensor continuously by a device, in particular a robot or a coordinate measuring machine, is moved over the measurement object.
  • each pixel depicts the same object point during the entire recording time. Neither the object to be measured nor the sensor must be able to move during the
  • the object is achieved by a method according to claim 1.
  • Movement of the measuring object to the sensor are known (for example, when measuring an object on a conveyor belt or when measuring a static object with a sensor that is moved by a robot on the measuring object).
  • the method for three-dimensional measurement of a moving object with known motion data is carried out with the following method steps
  • a projection of a pattern sequence of N patterns on the moving object Thereupon, a first image sequence of N images is acquired by a first camera, and a second image sequence of N images, which is synchronous with the first image sequence, is captured by a second camera. It then takes place to determine corresponding pixels in the first image sequence and in the second image sequence, where trajectories of potential object points are calculated from the known motion data and specific object positions are projected onto the image planes respectively of the first and the second camera, the positions being corresponding
  • Pixels as a first pixel trajectory in the first camera and a second pixel trajectory in the second camera are determined in advance.
  • the pixels are compared along the predetermined pixel trajectories and checked for correspondence.
  • the three-dimensional measurement of the moving object takes place from the corresponding pixels by means of triangulation.
  • a first pixel trajectories In comparing the pixels along the predetermined first and second pixel trajectories, in one embodiment, a first
  • Gray value sequence in the first camera and a second gray value sequence in the second camera is determined and there is a similarity of the first and the second
  • a sequence of statistical patterns is used as the projected pattern sequence.
  • a projected pattern sequence for example, a sequence
  • phase-shifted, sinusoidal striped pattern can be used.
  • Fig. 1 shows a geometrical representation of the method
  • FIGS. 2 and 3 show exemplary pixel trajectories as a function of
  • the method according to the invention is based on the following basic idea:
  • Object points are the same. In an assembly line, this movement can be determined by looking at the direction of movement of the
  • Image capture device is removed, the lower the displacement of the pixel in the image plane.
  • motion information In addition to the motion information, one also needs information about the position of the object point in order to compensate for its movement.
  • the trajectory of the object point is first constructed from the position vector of the object point and the motion data. The trajectory is then projected back into the image planes of both cameras using the calibration data from the camera system. It is thus calculated at each recording time of the cameras, where the potential object point would be at this time and inserted this somewhat simulated 3D position in the image planes of both cameras, d. H. projected.
  • this procedure is not limited to translatory movements. Any movements of rigid measuring objects, including rotatory movements, can be compensated if the corresponding
  • Movement data are known. Theoretically, deformations of the Object can be compensated if appropriate motion data can be obtained.
  • information about the movement of the measurement objects is specified from the outside.
  • the direction of movement can be calibrated beforehand.
  • the current movement speed and / or position of the assembly line can also be determined by an encoder of the assembly line or another position measuring device.
  • a pattern image sequence of N images is projected and recorded with two synchronous cameras. Each camera thus captures an image sequence with N images of the measurement object with projected patterns. During recording, the measurement object moves with known motion.
  • the pattern image sequence of N images may consist, for example, of phase-shifted sinusoidal stripe patterns and / or of random patterns, e.g. B. band limited statistical patterns.
  • the pattern sequence can also be generated in which a single pattern is projected onto the measurement object and changed there in any way in position and / or shape, ie, for. B. a statistical pattern that is continuously moved on a circular path over the measuring object.
  • the latter example shows that the term "pattern image sequence" is not to be understood so narrowly that a pattern image sequence must always consist of a discrete sequence of N different pattern images projected onto the measurement object.
  • corresponding pixels i.e., pixels that map the same object point
  • searching for each pixel of the one camera of the pixel in the other camera most closely resembling the former.
  • Object point 5 would be if the two pixels 9 and 16 were actually mapping the same object point.
  • pixel trajectories 21 and 20 are indicated here in a spatiotemporal representation.
  • the place of this excitation shifts thus on the recording field of the corresponding camera.
  • 2 shows a spatiotemporal trajectory curve, in which the pixels always remain locally constant as the recording time progresses, as is the case with static measurement objects.
  • corresponding gray value sequences are assigned and both trajectories can be processed completely equally on the method side.
  • Phase-shifted sinusoidal stripe patterns are particularly suitable for phase evaluation.
  • a pixel in camera 2 is a pixel in camera 1 as
  • the search range in camera 2 can be limited to a visually or geometrically meaningful section z. B. on a so-called epipolar line.
  • the complexity of the pixel trajectories 21 and 20 depends on the complexity of the movement. For arbitrary translations and rotation, the position and shape of the trajectories depend on the respective pixel pair 9, 16. In the case of a linear translational movement, z. For example, in the case of measurement objects on one
  • the robot can signal the current position and orientation of the sensor in the robot coordinate system at any time. From this information, one can determine its trajectory in the moving sensor coordinate system for an object point which is stationary relative to the robot coordinate system.
  • the measurement object can also be determined synchronously to the detection of the measurement object by the 3D sensor with the help of additional sensors (not necessarily optical sensors).
  • additional sensors not necessarily optical sensors
  • markers could be mounted on the primary 3D sensor, whose movement is tracked by additional cameras and whose movement determines the positional change of the 3D sensor relative to the static measurement object.
  • This motion information can then be compensated in the context of the described method in the three-dimensional reconstruction of the measurement object.
  • the relative movement of the 3D sensor and the measurement object can also be determined by the 3D sensor itself.
  • Movement information the movement of the measuring object relative to the SD sensor can also be determined by an additional rigidly connected to the 3D sensor and calibrated for this sensor. This additional sensor captures the measurement object synchronously with the actual 3D sensor and delivers to each one
  • Task to deliver accurate motion information could be aligned. This could be based on motion-insensitive methods that provide either a few precise or many imprecise measurement points of the object under test, depending on which method provides the best motion information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur dreidimensionalen Vermessung eines bewegten Objektes bei einer bekannten Bewegung mit folgenden Verfahrensschritten : Projektion einer Mustersequenz aus N Mustern auf das bewegte Objekt, Erfassen einer ersten Bildsequenz aus N Bildern durch eine erste Kamera und Erfassen einer zur ersten Bildsequenz synchronen zweiten Bildsequenz aus N Bildern durch eine zweite Kamera, Ermitteln miteinander korrespondierender Bildpunkte in der ersten Bildsequenz und in der zweiten Bildsequenz, wobei aus den bekannten Bewegungsdaten Trajektorien potentieller Objektpunkte errechnet werden und daraus bestimmte Objektpositionen auf die Bildebenen jeweils der ersten und der zweiten Kamera projiziert werden, wobei die Positionen entsprechender Bildpunkte als eine erste Bildpunkttrajektorie in der ersten Kamera und eine zweite Bildpunkttrajektorie in der zweiten Kamera vorab bestimmt werden und die Bildpunkte entlang der vorab bestimmten Bildpunkttrajektorien miteinander verglichen und auf Korrespondenz geprüft werden und in einem abschließenden Schritt aus den korrespondierenden Bildpunkten mittels Triangulation die dreidimensionale Vermessung des bewegten Objektes erfolgt.

Description

Verfahren zur dreidimensionalen Vermessung bewegter Objekte bei einer bekannten Bewegung
Beschreibung
Die Erfindung betrifft ein Verfahren zur dreidimensionalen Vermessung bewegter Objekte bei einer bekannten Bewegung nach Anspruch 1. Ein Beispiel hierfür ist eine Vermessung bewegter Teile auf einem Fließband, wobei der Sensor selbst fest zum Fließband angeordnet ist oder eine Vermessung großer Objekte, wobei der 3D-Sensor kontinuierlich von einer Vorrichtung, insbesondere einem Roboter oder einer Koordinatenmessmaschine, über das Messobjekt bewegt wird.
Für die genannten Anwendungen verwendet man üblicherweise 3D-Sensoren mit Laser-Linien-Triangulation. Diese sind unempfindlich gegenüber relativen
Bewegungen zwischen Objekt und Sensor. Bei derartigen Sensoren wird allerdings stets nur eine Linie auf dem Messobjekt vermessen. Durch die Bewegung des Sensors oder des Objekts können jedoch viele einzelne Messungen ausgeführt werden, die zu einer flächenhaften Vermessung zusammengesetzt werden können.
Möglich ist auch die Verwendung eines flächenhaften 3D-Sensors mit zwei Kameras und einem Projektor, mit dem eine Mustersequenz projiziert wird. Es handelt sich dabei um ein photogrammetrisches Verfahren mit zeitlich
variierender strukturierter Beleuchtung. Mit einer Vermessung kann dabei eine große Fläche erfasst werden, sodass innerhalb kürzester Zeiten (besonders im Vergleich zu Verfahren auf der Basis von Laser-Linien-Triangulation) eine flächenhafte 3D-Vermessung möglich ist. Allerdings sind solche Verfahren gegenüber Bewegungen sehr empfindlich.
Eine wesentliche Voraussetzung für dieses Verfahren ist es somit, dass jeder Bildpunkt während der gesamten Aufnahmezeit den gleichen Objektpunkt abbildet. Weder das Messobjekt noch der Sensor dürfen sich während der
Vermessung relativ zueinander bewegen. Es gibt bereits Ansätze, Bewegungen während der Aufnahme der Musterbildsequenz zu kompensieren. Einer dieser Ansätze wird beispielsweise in Harendt, B. ; Große, M .; Schaffer, M . & Kowarschik, R. "3D shape measurement of static and moving objects with adaptive spatiotemporal correlation Applied Optics", 2014, 53, 7507-7515 oder in Breitbarth, A. ; Kühmstedt, P. ; Notni, G. & Denzler, J. "Motion compensation for three-dimensional measurements of macroscopic objects using fringe projection" DGaO Proceedings, 2012, 113 beschrieben. Diese bekannten Ansätze arbeiten iterativ. Es wird dort zunächst eine grobe bewegungsunempfindliche Vermessung durchgeführt. Die Ergebnisse dieser Vermessung werden anschließend verwendet, um die Bewegung zu kompensieren und eine Punktzuordnung unter Nutzung zeitlicher Merkmale durchzuführen. Ein Nachteil dieser Ansätze besteht in dem iterativen Vorgehen, das die
Genauigkeit der 3D-Vermessung stark limitiert.
Es besteht somit die Aufgabe, zum einen die flächenhafte 3D-Erfassung unempfindlich gegenüber Bewegungen auszubilden und zum anderen die
Nachteile der iterativen Erfassung zu beseitigen.
Die Lösung der Aufgabe erfolgt mit einem Verfahren nach Anspruch 1.
Voraussetzung für diese Lösung ist, dass Informationen über die relative
Bewegung des Messobjekts zum Sensor bekannt sind (beispielsweise bei der Vermessung eines Objektes auf einem Fließband oder bei der Vermessung eines statischen Objekts mit einem Sensor, der von einem Roboter über das Messobjekt bewegt wird).
Das Verfahren zur dreidimensionalen Vermessung eines bewegten Objektes bei bekannten Bewegungsdaten wird mit folgenden Verfahrensschritten ausgeführt
Es erfolgt eine Projektion einer Mustersequenz aus N Mustern auf das bewegte Objekt. Daraufhin erfolgt ein Erfassen einer ersten Bildsequenz aus N Bildern durch eine erste Kamera und Erfassen einer zur ersten Bildsequenz synchronen zweiten Bildsequenz aus N Bildern durch eine zweite Kamera. Es erfolgt dann ein Ermitteln miteinander korrespondierender Bildpunkte in der ersten Bildsequenz und in der zweiten Bildsequenz, wobei aus den bekannten Bewegungsdaten Trajektorien potentieller Objektpunkte errechnet werden und daraus bestimmte Objektpositionen auf die Bildebenen jeweils der ersten und der zweiten Kamera projiziert werden, wobei die Positionen entsprechender
Bildpunkte als eine erste Bildpunkttrajektorie in der ersten Kamera und eine zweite Bildpunkttrajektorie in der zweiten Kamera vorab bestimmt werden.
Die Bildpunkte werden entlang der vorab bestimmten Bildpunkttrajektorien miteinander verglichen und auf Korrespondenz geprüft. In einem abschließenden Schritt erfolgt aus den korrespondierenden Bildpunkten mittels Triangulation die dreidimensionale Vermessung des bewegten Objektes.
Bei dem Vergleich der Bildpunkte entlang der vorab bestimmten ersten und zweiten Bildpunkttrajektorien wird bei einer Ausführungsform eine erste
Grauwertfolge in der ersten Kamera und eine zweite Grauwertfolge in der zweiten Kamera ermittelt und es wird eine Ähnlichkeit der ersten und der zweiten
Grauwertfolge bestimmt.
Ja nach Ausführungsform werden bei der Bestimmung der Ähnlichkeit der Grauwertfolgen eine normierte Kreuzkorrelation, eine Summe absoluter
Differenzen und/oder eine Phasenauswertung ausgeführt.
Bei einer Ausführungsform wird als projizierte Mustersequenz eine Sequenz statistischer Muster verwendet.
Als projizierte Mustersequenz kann beispielsweise eine Sequenz
phasengeschobener, sinusförmiger Streifenmuster verwendet werden.
Als projizierte Mustersequenz kann auch ein statistisches Muster verwendet werden, dessen Projektion auf dem Messobjekt in beliebiger Art in Lage und/oder Form verändert wird. Nachfolgend soll das Verfahren anhand von Ausführungsbeispielen näher erläutert werden. Fig . 1 zeigt eine geometrische Darstellung des Verfahrens,
Fig. 2 und 3 zeigen beispielhafte Bildpunkttrajektorien in Abhängigkeit von der
Zeit. Dem erfindungsgemäßen Verfahren liegt folgender Grundgedanke zugrunde:
Unter der Voraussetzung, dass bekannt ist, an welchem Ort sich ein Objektpunkt zu einem Zeitpunkt befindet (Positionsvektor) und wie er sich von da an bewegt (Verschiebungsvektoren), lässt sich voraussagen, wie sich der entsprechende Bildpunkt jenes Objektpunktes in einer Kamera eines kalibrierten Kamerasystems bewegen wird . Diese Information über die Bewegung kann genutzt werden, indem bei der Zuordnung korrespondierender Bildpunkte nicht die zeitlichen Grauwertfolgen fester Pixel miteinander verglichen werden, sondern indem zeitliche Grauwertfolgen entlang den Trajektorien der Bildpunkte eines
Objektpunktes in den Bildebenen beider Kameras verglichen werden.
Liegt eine starre translatorische Bewegung vor, so ist die Bewegung aller
Objektpunkte (also ihr Verschiebungsvektor) gleich. Bei einem Fließband kann man diese Bewegung bestimmen, indem man die Bewegungsrichtung des
Fließbands kalibriert. Dennoch ist die Bewegung eines Bildpunktes in der Kamera nicht voraussagbar, wenn die Entfernung des entsprechenden Objektpunktes unbekannt ist, denn je weiter der Objektpunkt von einer
Bilderfassungsvorrichtung entfernt ist, desto geringer ist die Verschiebung des Bildpunktes in der Bildebene. Man benötigt neben der Bewegungsinformation also auch Informationen über die Lage des Objektpunktes um dessen Bewegung zu kompensieren.
Prinzipiell ist es zwar möglich, dieses Problem iterativ zu lösen und zunächst mit einem bewegungsunempfindlichen Verfahren grob die Positionsvektoren aller Objektpunktes bestimmen und so ihre Trajektorien in den Bildern beider der Sensorkameras schätzen. Dies ist jedoch sehr ungenau . Das erfindungsgemäße Verfahren kommt ohne ein derartiges iteratives Vorgehen aus. Vielmehr wird hier der Umstand angewendet, dass immer dann, wenn die Grauwertfolgen zweier Bildpunkte miteinander verglichen werden, tatsächlich auch implizit überprüft wird, ob diese zwei Bildpunkte den gleichen Objektpunkt abbilden. Implizit wird somit geprüft, ob sich dieser mögliche Objektpunkt an einer ganz bestimmten Stelle im Raum befindet - nämlich an der Stelle, wo sich die Sehstrahlen der beiden Bildpunkte schneiden. Bei windschiefen Sehstrahlen entspricht dies der Stelle, die den geringsten Abstand zu beiden Sehstrahlen hat. Bei jedem Vergleich von Bildpunkten wird also die Annahme überprüft, ob sich ein Objektpunkt an der entsprechenden Position im Raum befindet.
Wenn nun bei dem Vergleich zweier Bildpunkte angenommen wird, dass sich an der Position, an der sich ihre Sehstrahlen zumindest näherungsweise schneiden, tatsächlich der gesuchte Objektpunkt befindet, kann bei Kenntnis der Bewegung des Messobjekts vorausgesagt werden, wie sich die entsprechenden Bildpunkte in beiden Kameras bei der Bewegung des Objektpunktes verändern. Hierzu wird aus dem Positionsvektor des Objektpunktes und den Bewegungsdaten zunächst die Trajektorie des Objektpunkts konstruiert. Die Trajektorie wird dann mithilfe der Kalibrierungsdaten des Kamerasystems zurück in die Bildebenen beider Kameras projiziert. Es wird also zu jedem Aufnahmezeitpunkt der Kameras berechnet, wo sich der potentielle Objektpunkt zu diesem Zeitpunkt befinden würde und diese gewissermaßen simulierte 3D-Position in die Bildebenen beider Kameras eingefügt, d. h. projiziert.
Um die Ähnlichkeit zweier Bildpunkte zu überprüfen, vergleicht man somit erfindungsgemäß nicht wie bei statischen Objekten die zeitlichen Grauwerte an diesen in der Bildebene feststehenden Bildpunkten gemäß Fig . 2. Vielmehr werden die Grauwerte entlang den zeitlichen Bildpunkt-Trajektorien gemäß Fig. 1 und 3 verglichen.
Dieses Vorgehen ist natürlich nicht nur auf translatorische Bewegungen eingeschränkt. Beliebige Bewegungen starrer Messobjekte, also auch rotatorische Bewegungen, können kompensiert werden, sofern die entsprechenden
Bewegungsdaten bekannt sind . Theoretisch können auch Deformationen des Objektes kompensiert werden, falls entsprechende Bewegungsdaten gewonnen werden können.
Das Vorgehen wird wie folgt ausgeführt.
Als erstes werden Information über die Bewegung der Messobjekte von außen vorgegeben. Bei einem Fließband kann hierzu die Bewegungsrichtung vorab kalibriert werden. Die aktuelle Bewegungsgeschwindigkeit und/oder Position des Fließbandes kann außerdem durch einen Encoder des Fließbandes oder eine andere Positionsmesseinrichtung ermittelt werden.
Als nächstes wird eine Musterbildsequenz aus N Bildern projiziert und mit zwei synchronen Kameras aufgenommen. Jede Kamera erfasst also eine Bildsequenz mit jeweils N Bildern des Messobjekts mit aufprojizierten Mustern. Während der Aufnahme bewegt sich das Messobjekt mit bekannter Bewegung .
Die Musterbildsequenz aus N Bildern kann beispielsweise aus phasengeschobenen sinusförmigen Streifenmustern bestehen und/oder aus zufälligen Mustern, z. B. bandbegrenzten statistischen Mustern. Die Mustersequenz kann auch erzeugt werden, in dem ein einzelnes Muster auf das Messobjekt projiziert und dort in beliebiger Art in Lage und/oder Form verändert wird, also z. B. ein statistisches Muster, das kontinuierlich auf einer Kreisbahn über das Messobjekt verschoben wird . Letzteres Beispiel zeigt, dass der Begriff "Musterbildsequenz" nicht so eng zu verstehen ist, dass eine Musterbildsequenz stets aus einer diskreten Sequenz von N verschiedenen Musterbildern, die auf das Messobjekt projiziert werden, bestehen muss.
In den aufgenommenen Bildsequenzen werden korrespondierende Bildpunkte (d .h. Bildpunkte, die den gleichen Objektpunkt abbilden) gesucht, indem zu jedem Pixel der einen Kamera der Pixel in der anderen Kamera gesucht wird, der die höchste Ähnlichkeit mit ersterem aufweist.
Die Ähnlichkeit zweier Pixel aus zwei Kameras wird beispielsweise
folgendermaßen bestimmt, wobei an dieser Stelle auf die Darstellung aus Fig. 1 verwiesen wird. Zunächst wird durch Triangulation ermittelt, wo sich ein entsprechender
Objektpunkt 5 befände, wenn die beiden Pixel 9 und 16 tatsächlich den gleichen Objektpunkt abbilden würden. Es wird aus den bekannten Bewegungsinformationen des Messobjektes (u .a . 17 und 18) die Trajektorie 19 des potentiellen Objektpunktes 5 in drei Dimensionen rekonstruiert, sodass zu jedem Aufnahmezeitpunkt t= l, 2, 3,..., N der
aufgenommenen Musterbildsequenz 5, 6, 7, 8 die potentielle Lage des bewegten Objektpunktes bekannt ist: P(t= l), P(t=2), P(t=3), P(t=N). Dies ist hier verdeutlicht durch die Bezugszeichen 5, 6, 7, ... 8.
Die nun zu jedem Aufnahmezeitpunkt der Musterbildsequenz bekannte Position des Objektpunktes wird jeweils in die Bildebenen 1 und 2 der Kameras mit den Projektionszentren 3 und 4 zurück projiziert. Bei dem hier gezeigten Beispiel kommt optisch das Lochkameramodell zur Anwendung, prinzipiell sind aber auch andere Kameramodelle möglich.
Durch diese Projektion erhält man Trajektorien 21 und 20 der Bildpunkte des potentiellen Objektpunktes in den Kamerabildern. Dadurch ist die Position der Bildpunkte, die den potentiellen Objektpunkt abbilden würden, für beide Kameras und jeden Aufnahmezeitpunkt t bekannt. Im Einzelnen sind dies für Kamera 1 die Bildpunkte Bl(t= l), Bl(t= 2), Bl(t=3), Bl(t=N), hier verdeutlicht durch die Bezugszeichen 9, 10, 11, 12 und für die Kamera 2 die Bildpunkte B2(t= l), B2(t=2), B2(t=3), B2(t=N), hier verdeutlicht durch die Bezugszeichen 16, 15, 14 und 13.
Als nächstes werden Grauwertfolgen entlang beider Bildpunkt-Trajektorien 21, 20 extrahiert und zwar für Kamera 1 die Grauwertfolge G l(t= l), G l(t=2), Gl(t=3), G l(t= N) und für Kamera 2 die Grauwertfolge G2(t= l), G2(t=2), G2(t=3), G2(t= N). Beispielsweise bezeichnet G2(t=3) den Grauwert am Bildpunkt B2(t=3) in Kamera 2 im 3. Bild der Aufnahmesequenz.
In Fig . 3 sind hier die Bildpunkt-Trajektorien 21 und 20 in einer raumzeitlichen Darstellung angegeben. Mit fortschreitender Aufnahmezeit werden somit unterschiedliche Bildpunkte angeregt, der Ort dieser Anregung verschiebt sich somit über das Aufnahmefeld der entsprechenden Kamera. Zum Vergleich zeigt Fig. 2 einen raumzeitlichen Trajektorienverlauf, bei dem die Bildpunkte bei fortschreitender Aufnahmezeit örtlich jeweils konstant verbleiben, wie es bei statischen Messobjekten der Fall ist. Beiden Trajektorien aus Fig . 2 wie aus Fig. 3 sind entsprechende Grauwertfolgen zugeordnet und beide Trajektorien können verfahrensseitig völlig gleichwertig verarbeitet werden.
Da die Bildpunkte üblicherweise an Subpixelstellen liegen, können die
entsprechenden Intensitätswerte aus den Intensitätswerten der Nachbarpixel auch interpoliert werden.
Als nächstes wird die Ähnlichkeit der Grauwertfolgen bestimmt. Als
Ähnlichkeitsmaß kann eine normierte Kreuzkorrelation dienen. Andere
Ähnlichkeitsmaße, wie z. B. die Summe absoluter Differenzen oder eine
Phasenauswertung, sind jedoch ebenfalls möglich. Die Wahl des
Ähnlichkeitsmaßes hängt von der Art der projizierten Muster ab. Bei statistischen Mustern bietet sich u .a. eine normierte Kreuzkorrelation an, bei
phasengeschobenen sinusförmigen Streifenmustern bietet sich besonders eine Phasenauswertung an. Ein Bildpunkt in Kamera 2 wird einem Bildpunkt in Kamera 1 als
korrespondierender Bildpunkt zugewiesen, wenn er die höchste Ähnlichkeit aller Bildpunkte in Kamera 2 in Bezug auf jenen Bildpunkt in Kamera 1 aufweist.
Gegebenenfalls kann der Suchbereich in Kamera 2 auf einen optisch oder geometrisch sinnvollen Ausschnitt eingeschränkt werden z. B. auf eine sogenannte Epipolarlinie.
Bei Bedarf können Punktkorrespondenzen mit maximaler Ähnlichkeit auch subpixelgenau bestimmt werden. Es ist offensichtlich, dass das beschriebene Verfahren zur Bewertung der Ähnlichkeit zweier Bildpunkte auch auf
Subpixelstellen angewendet werden kann.
Aus korrespondierenden Bildpunkten werden dann in gewohnter Weise mittels Triangulation 3D-Punkte rekonstruiert. Je nachdem, zu welchem Zeitpunkt t= l, 2, 3, ... oder N das Messobjekt rekonstruiert werden soll, müssen bei der Triangulation als korrespondierende Bildpunktpaare (Bl(t= l), B2(t= l)), (Bl(t=2), B2(t= 2)), (Bl(t=3), B2(t=3)), ... bzw. (Bl(t= N), B2(t=N)), hier verdeutlicht durch die Bezugszeichen (9,16), (10, 15), (11, 14), ... bzw. (12, 13), verwendet werden. Das beschriebene Verfahren ist nicht nur auf translatorische Bewegungen eingeschränkt. Auch Rotationen oder Kombinationen aus Translation und Rotation können kompensiert werden.
Die Komplexität der Bildpunkttrajektorien 21 und 20 hängt von der Komplexität der Bewegung ab. Bei beliebigen Translationen und Rotation hängen Lage und Form der Trajektorien vom jeweiligen Bildpunktpaar 9, 16 ab. Im Falle einer geradlinigen translatorischen Bewegung, z. B. bei Messobjekten auf einem
Fließband, vereinfachen sich die Bildpunkttrajektorien zu Geraden. Dies ist zumindest bei verzeichnungsfreien Kameras der Fall, die dem Lochkameramodell genügen.
Theoretisch können sogar beliebige Bewegungen kompensiert werden, also auch Deformationen, sofern entsprechende Bewegungsinformationen ermittelt werden können und vorliegen. Bei Translation und Rotation ist dies ohne weiteres möglich. Befestigt man beispielsweise einen Sensor auf einem Roboter und kalibriert die Lage und Orientierung des Sensors zum Roboterflansch,
insbesondere im Rahmen einer so genannten Hand-Eye-Kalibration, so kann der Roboter zu jedem Zeitpunkt die aktuelle Position und Orientierung des Sensors im Roboterkoordinatensystem signalisieren. Aus dieser Information kann man für einen bezüglich des Roboterkoordinatensystems unbewegten Objektpunkt dessen Trajektorie im bewegten Sensorkoordinatensystem bestimmen.
Die Bewegung eines beweglichen 3D-Sensors relativ zu einem statischen
Messobjekt kann auch synchron zur Erfassung des Messobjektes durch den 3D- Sensor mithilfe zusätzlicher Sensoren (nicht notwendigerweise optische Sensoren) bestimmt werden. Beispielsweise könnten Marker auf dem primären 3D-Sensor befestigt werden, deren Bewegung von zusätzlichen Kameras verfolgt wird und aus deren Bewegung die Lageveränderung des 3D-Sensors relativ zum statischen Messobjekt ermittelt wird. Diese Bewegungsinformation kann dann im Rahmen des beschriebenen Verfahrens bei der dreidimensionalen Rekonstruktion des Messobjektes kompensiert werden. Die relative Bewegung von 3D-Sensor und Messobjekt kann auch durch den 3D- Sensor selbst bestimmt werden. Beispielsweise können zur Musterprojektion im Rahmen des beschriebenen Verfahrens statistische Muster eingesetzt werden und jedes synchron aufgenommene Stereobildpaar (t= l, t=2, t= N) kann zusätzlich separat mit zwar bewegungsunempfindlicher, aber grober räumlicher Korrelation ausgewertet werden. Im Ergebnis erhält man zu jedem Aufnahmezeitpunkt t= l, t=2, t=N eine gelativ grobe, d. h. dicht aber unpräzise rekonstruierte
Punktwolke des Messobjektes. Bringt man die Punktwolken aus jeweils
aufeinanderfolgenden Aufnahmezeitpunkten t= i und t= i+ l (i = l, 2, N-l) mithilfe eines ICP-Verfahrens (Iterative Closest Point) in Übereinstimmung, erhält man Informationen über die relative Bewegung, d. h. Verschiebung und Rotation, des Messobjektes zwischen t=i und t=i + l und damit, wenn dieser Schritt für i = l bis i = N-l durchgeführt wird, über die gesamte Trajektorie des Messobjektes von t= l bis t= N. Diese Bewegungsinformation kann dann im Rahmen des
beschriebenen Verfahrens bei der dreidimensionalen Rekonstruktion des
Messobjektes kompensiert werden.
Analog zum zuvor beschriebenen Ansatz zur Gewinnung von
Bewegungsinformationen kann die Bewegung des Messobjekts relativ zum SD- Sensor auch durch einen zusätzlichen starr mit dem 3D-Sensor verbundenen und zu diesem kalibrierten Sensor ermittelt werden. Dieser zusätzliche Sensor erfasst das Messobjekt synchron zum eigentlichen 3D-Sensor und liefert zu jedem
Aufnahmezeitpunkt t= l, t= 2, t=N eine grobe Punktwolke des Messobjektes. Aus diesen groben Punktwolken können in der zuvor beschriebenen Art und Weise mithilfe eines ICP-Verfahrens Bewegungsinformationen gewonnen werden. Der Vorteil des zusätzlichen Sensors besteht darin, dass dieser speziell auf die
Aufgabe, präzise Bewegungsinformationen zu liefern, ausgerichtet sein könnte. Dieser könnte auf bewegungsunempfindlichen Verfahren basieren, die entweder wenige präzise oder viele unpräzise Messpunkte des untersuchten Messobjektes liefern - je nachdem, welches Verfahren die besten Bewegungsinformationen liefert.
Das erfindungsgemäße Verfahren wurde anhand von Ausführungsbeispielen erläutert. Im Rahmen fachmännischen Handelns sind weitere Ausführungsformen möglich.

Claims

Ansprüche
Verfahren zur dreidimensionalen Vermessung eines bewegten Objektes bei einer bekannten Relativbewegung zwischen dem Objekt und einem vermessenden Sensor mit folgenden Verfahrensschritten:
- Projektion einer Mustersequenz aus N Mustern auf das bewegte Objekt,
- Erfassen einer ersten Bildsequenz aus N Bildern durch eine erste
Kamera und Erfassen einer zur ersten Bildsequenz synchronen zweiten Bildsequenz aus N Bildern durch eine zweite Kamera,
- Ermitteln miteinander korrespondierender Bildpunkte in der ersten
Bildsequenz und in der zweiten Bildsequenz, wobei
- für jedes Paar von Bildpunkten beider Kameras, das auf Korrespondenz überprüft werden soll, aus den Abbildungsparametern des
Kamerasystems und aus den bekannten Bewegungsdaten die
Trajektorie des potentiellen Objektpunktes, der von beiden Bildpunkten abgebildet würde, wenn diese tatsächlich korrespondieren würden, errechnet wird und daraus die zu jedem der N Aufnahmezeitpunkte der Kameras bestimmten (simulierten) Objektpunktpositionen simulativ in die Bildebenen jeweils der ersten und der zweiten Kamera abgebildet werden, wobei die Positionen entsprechender Bildpunkte als eine erste Bildpunkttrajektorie in der ersten Kamera und eine zweite
Bildpunkttrajektorie in der zweiten Kamera bestimmt werden, und die Bildpunkte entlang der zuvor bestimmten raumzeitlichen
Bildpunkttrajektorien in den aufgenommenen Bildsequenzen
miteinander verglichen und auf Korrespondenz geprüft werden,
- in einem abschließenden Schritt aus den korrespondierenden
Bildpunkten mittels Triangulation die dreidimensionale Vermessung des bewegten Objektes erfolgt.
Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass
bei dem Vergleich der Bildpunkte entlang der vorab bestimmten ersten und zweiten Bildpunkttrajektorien eine erste Folge von Intensitätswerten (Grauwertfolge) aus der aufgenommenen Bildsequenz der ersten Kamera und eine zweite Grauwertfolge aus der aufgenommenen Bildsequenz der zweiten Kamera ermittelt wird und eine Ähnlichkeit der ersten und der zweiten Grauwertfolge bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
bei der Bestimmung der Ähnlichkeit der Grauwertfolgen eine normierte Kreuzkorrelation, eine Summe absoluter Differenzen, eine
Phasenauswertung und/oder ein vergleichbares bekanntes Ähnlichkeitsmaß zur Bestimmungen der Korrelation von Grauwertfolgen angewendet wird .
Verfahren nach einem der Ansprüche 1 bis 3,
dadurch gekennzeichnet, dass
als projizierte Mustersequenz eine Sequenz statistischer Muster verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 3,
dadurch gekennzeichnet, dass
als projizierte Mustersequenz eine Sequenz phasengeschobener, sinusförmiger Streifenmuster verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 3,
dadurch gekennzeichnet, dass
als projizierte Mustersequenz ein statistisches Muster verwendet wird, dessen Projektion auf dem Messobjekt in beliebiger Art in Lage und/oder Form verändert wird .
PCT/EP2017/065118 2016-06-20 2017-06-20 Verfahren zur dreidimensionalen vermessung bewegter objekte bei einer bekannten bewegung Ceased WO2017220598A1 (de)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020197001701A KR102268151B1 (ko) 2016-06-20 2017-06-20 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법
CN202110279687.7A CN113160282B (zh) 2016-06-20 2017-06-20 用于对运动的对象进行三维测量的方法和装置
KR1020217018627A KR102345886B1 (ko) 2016-06-20 2017-06-20 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법
CN201780045560.0A CN109791044B (zh) 2016-06-20 2017-06-20 用于在已知运动的情况下对运动的对象进行三维测量的方法
US16/224,693 US10502557B2 (en) 2016-06-20 2018-12-18 Method for the three dimensional measurement of a moving objects during a known movement
US16/653,928 US10823552B2 (en) 2016-06-20 2019-10-15 Method for the three dimensional measurement of moving objects during a known movement
US17/087,506 US11243072B2 (en) 2016-06-20 2020-11-02 Method for the three dimensional measurement of moving objects during a known movement

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102016111229.1 2016-06-20
DE102016111229 2016-06-20
DE102017113473.5 2017-06-20
DE102017113473.5A DE102017113473A1 (de) 2016-06-20 2017-06-20 Verfahren zur dreidimensionalen Vermessung bewegter Objekte bei einer bekannten Bewegung

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/224,693 Continuation US10502557B2 (en) 2016-06-20 2018-12-18 Method for the three dimensional measurement of a moving objects during a known movement

Publications (1)

Publication Number Publication Date
WO2017220598A1 true WO2017220598A1 (de) 2017-12-28

Family

ID=60481539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/065118 Ceased WO2017220598A1 (de) 2016-06-20 2017-06-20 Verfahren zur dreidimensionalen vermessung bewegter objekte bei einer bekannten bewegung

Country Status (5)

Country Link
US (3) US10502557B2 (de)
KR (2) KR102345886B1 (de)
CN (2) CN113160282B (de)
DE (1) DE102017113473A1 (de)
WO (1) WO2017220598A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160012743A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 촬영 장치 및 그 촬영 방법
DE102019205783A1 (de) 2018-04-23 2019-10-24 Cognex Corporation Systeme und Verfahren für verbesserte 3D-Daten-Rekonstruktion aus stereo-temporalen Bildsequenzen
US11288819B2 (en) 2019-06-28 2022-03-29 Cognex Corporation Systems and methods for detecting motion during 3D data reconstruction

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017113473A1 (de) 2016-06-20 2017-12-21 Cognex Corporation Verfahren zur dreidimensionalen Vermessung bewegter Objekte bei einer bekannten Bewegung
WO2018198634A1 (ja) * 2017-04-28 2018-11-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
US11188765B2 (en) * 2018-12-04 2021-11-30 Here Global B.V. Method and apparatus for providing real time feature triangulation
WO2022132828A1 (en) 2020-12-14 2022-06-23 Summer Robotics, Inc. Perceiving objects based on sensing surfaces and sensing surface motion
KR102479120B1 (ko) * 2020-12-18 2022-12-16 한국공학대학교산학협력단 가변 초점 방식의 3d 텐서 기반 3차원 영상 획득 방법 및 장치
CN113205119B (zh) * 2021-04-20 2023-10-31 北京百度网讯科技有限公司 数据标注方法、装置、电子设备及可读存储介质
CN113192115B (zh) * 2021-04-23 2022-07-19 湖南大学 一种基于时间函数的三维复杂工件测量方法及系统
US12510649B2 (en) * 2021-06-25 2025-12-30 Sensormetrix Camera and projectile detector systems and devices for ballistic parameter measurements of a projectile in a target volume
WO2023278868A1 (en) * 2021-07-01 2023-01-05 Summer Robotics, Inc. Calibration of sensor position offsets based on rotation and translation vectors for matched trajectories
WO2023288067A1 (en) 2021-07-15 2023-01-19 Summer Robotics, Inc. Automatic parameter adjustment for scanning event cameras
WO2023009755A1 (en) 2021-07-29 2023-02-02 Summer Robotics, Inc. Dynamic calibration of 3d acquisition systems
CN113465548B (zh) * 2021-08-23 2022-06-07 广东维正科技有限公司 条纹投影三维测量系统的标定及精度评估方法
WO2023028226A1 (en) 2021-08-27 2023-03-02 Summer Robotics, Inc. Multi-sensor superresolution scanning and capture system
US12511864B2 (en) 2022-02-27 2025-12-30 Summer Robotics, Inc. Association of concurrent tracks using graph crossings
US11785200B1 (en) 2022-03-14 2023-10-10 Summer Robotics, Inc. Stage studio for immersive 3-D video capture
US12401905B2 (en) 2022-07-14 2025-08-26 Summer Robotics, Inc. Foveated robotic vision system
US11974055B1 (en) 2022-10-17 2024-04-30 Summer Robotics, Inc. Perceiving scene features using event sensors and image sensors
US12276730B2 (en) 2022-11-08 2025-04-15 Summer Robotics, Inc. Virtual fences in air, water, and space
US12416804B1 (en) 2024-05-08 2025-09-16 Summer Robotics, Inc. Kaleidoscopic laser beam projection system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011101476A1 (de) * 2011-05-11 2012-11-15 Friedrich-Schiller-Universität Jena Verfahren zur 3D-Messung von Objekten
DE102011121696A1 (de) * 2011-12-16 2013-06-20 Friedrich-Schiller-Universität Jena Verfahren zur 3D-Messung von tiefenlimitierten Objekten
US20150229911A1 (en) * 2014-02-13 2015-08-13 Chenyang Ge One method of binocular depth perception based on active structured light

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100234986B1 (ko) * 1997-12-30 1999-12-15 윤종용 이동물체의 폭 및 높이 측정 방법 및 장치
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
CN101373135B (zh) * 2008-07-01 2010-06-23 南京航空航天大学 基于瞬时随机光照的三维曲面测量装置及方法
EP2400261A1 (de) * 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
AU2011265430B2 (en) * 2011-12-21 2015-03-19 Canon Kabushiki Kaisha 3D reconstruction of partially unobserved trajectory
GB2506411B (en) * 2012-09-28 2020-03-11 2D3 Ltd Determination of position from images and associated camera positions
CN104424630A (zh) * 2013-08-20 2015-03-18 华为技术有限公司 三维重建方法及装置、移动终端
DE102017113473A1 (de) 2016-06-20 2017-12-21 Cognex Corporation Verfahren zur dreidimensionalen Vermessung bewegter Objekte bei einer bekannten Bewegung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011101476A1 (de) * 2011-05-11 2012-11-15 Friedrich-Schiller-Universität Jena Verfahren zur 3D-Messung von Objekten
DE102011121696A1 (de) * 2011-12-16 2013-06-20 Friedrich-Schiller-Universität Jena Verfahren zur 3D-Messung von tiefenlimitierten Objekten
US20150229911A1 (en) * 2014-02-13 2015-08-13 Chenyang Ge One method of binocular depth perception based on active structured light

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANDREAS BREITBARTH ET AL: "Lighting estimation in fringe images during motion compensation for 3D measurements", SPIE - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING. PROCEEDINGS, vol. 8791, 23 May 2013 (2013-05-23), US, pages 87910P, XP055397917, ISSN: 0277-786X, ISBN: 978-1-5106-0753-8, DOI: 10.1117/12.2020500 *
ANDREAS BREITBARTH ET AL: "Motion compensation for three-dimensional measurements of macroscopic objects using fringe projection", N.A., 30 May 2012 (2012-05-30), online, pages 1 - 2, XP055396022, Retrieved from the Internet <URL:http://www.dgao-proceedings.de/download/113/113_a11.pdf> [retrieved on 20170803], DOI: n.a. *
ANDREAS BREITBARTH: "Entwicklung von Mehtoden zur optischen 3D-Vermessung in Bewegung", 13 November 2015 (2015-11-13), online, pages 1 - 166, XP055397777, Retrieved from the Internet <URL:https://www.researchgate.net/profile/Andreas_Breitbarth/publication/273127316_Entwicklung_von_Methoden_zur_optischen_3D-Vermessung_in_Bewegung/links/56a2235208ae27f7de29fe0d.pdf> [retrieved on 20170810] *
BREITBARTH, A.; KÜHMSTEDT, P.; NOTNI, G.; DENZLER, J.: "Motion compensation for three-dimensional measurements of macroscopic objects using fringe projection", DGAO PROCEEDINGS, 2012, pages 113
HARENDT, B.; GROSSE, M.; SCHAFFER, M.; KOWARSCHIK, R.: "3D shape measurement of static and moving objects with adaptive spatiotemporal correlation", APPLIED OPTICS, vol. 53, 2014, pages 7507 - 7515, XP001592694, DOI: doi:10.1364/AO.53.007507

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
KR20160012743A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US11069074B2 (en) 2018-04-23 2021-07-20 Cognex Corporation Systems and methods for improved 3-D data reconstruction from stereo-temporal image sequences
US11074700B2 (en) 2018-04-23 2021-07-27 Cognex Corporation Systems, methods, and computer-readable storage media for determining saturation data for a temporal pixel
CN110390645A (zh) * 2018-04-23 2019-10-29 康耐视公司 用于立体瞬时图像序列的改善3d数据重构的系统和方法
KR102187211B1 (ko) * 2018-04-23 2020-12-04 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
KR20200136873A (ko) * 2018-04-23 2020-12-08 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
KR102231496B1 (ko) 2018-04-23 2021-03-24 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
KR20210032367A (ko) * 2018-04-23 2021-03-24 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
US11017540B2 (en) 2018-04-23 2021-05-25 Cognex Corporation Systems and methods for improved 3-d data reconstruction from stereo-temporal image sequences
DE102019205783A1 (de) 2018-04-23 2019-10-24 Cognex Corporation Systeme und Verfahren für verbesserte 3D-Daten-Rekonstruktion aus stereo-temporalen Bildsequenzen
KR20200067719A (ko) * 2018-04-23 2020-06-12 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
US20210407110A1 (en) * 2018-04-23 2021-12-30 Cognex Corporation Systems and methods for improved 3-d data reconstruction from stereo-temporal image sequences
KR102360773B1 (ko) 2018-04-23 2022-02-14 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
KR20220024255A (ko) * 2018-04-23 2022-03-03 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
CN110390645B (zh) * 2018-04-23 2024-04-16 康耐视公司 用于立体瞬时图像序列的改善3d数据重构的系统和方法
US11593954B2 (en) 2018-04-23 2023-02-28 Cognex Corporation Systems and methods for improved 3-D data reconstruction from stereo-temporal image sequences
KR102516495B1 (ko) 2018-04-23 2023-04-03 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
US11776137B2 (en) 2019-06-28 2023-10-03 Cognex Corporation Systems and methods for detecting motion during 3D data reconstruction
US11288819B2 (en) 2019-06-28 2022-03-29 Cognex Corporation Systems and methods for detecting motion during 3D data reconstruction
DE102020207974B4 (de) 2019-06-28 2024-05-08 Cognex Corporation Systeme und verfahren zum nachweis von bewegung während 3d-datenrekonstruktion

Also Published As

Publication number Publication date
CN109791044B (zh) 2021-03-16
US20200217650A1 (en) 2020-07-09
US11243072B2 (en) 2022-02-08
CN113160282B (zh) 2025-11-28
DE102017113473A1 (de) 2017-12-21
CN109791044A (zh) 2019-05-21
KR102345886B1 (ko) 2022-01-03
US10502557B2 (en) 2019-12-10
KR20210076205A (ko) 2021-06-23
US10823552B2 (en) 2020-11-03
CN113160282A (zh) 2021-07-23
KR20190020087A (ko) 2019-02-27
KR102268151B1 (ko) 2021-06-23
US20210063144A1 (en) 2021-03-04
US20190128665A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
WO2017220598A1 (de) Verfahren zur dreidimensionalen vermessung bewegter objekte bei einer bekannten bewegung
DE19928341C2 (de) Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen
EP1497613B1 (de) Verfahren und vorrichtung zur bestimmung der räumlichen koordinaten eines gegenstandes
DE69213749T2 (de) Verfahren und vorrichtung zur punktualmessung von raumkoordinaten
DE10020893B4 (de) Verfahren zur optischen Formerfassung von Gegenständen
DE102015205738A1 (de) Bewegungsmesssystem einer Maschine und Verfahren zum Betreiben des Bewegungsmesssystems
DE19623172C1 (de) Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen
DE19637682B4 (de) Verfahren zur Bestimmung der räumlichen Koordinaten von Gegenständen und/oder deren zeitlicher Änderung und Vorrichtung zur Anwendung dieses Verfahrens
EP1711777A1 (de) Verfahren zur bestimmung der lage eines objekts im raum
DE102006055758B4 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
WO2019197656A1 (de) Verfahren und system zur vermessung eines objekts mittels stereoskopie
EP2133659A1 (de) Verfahren und Vorrichtung zur Ermittlung der Lage eines Sensors
DE19626889A1 (de) Verfahren und Vorrichtung zur Erfassung von Geometriedaten aus unterschiedlichen Beobachtungspositionen
DE102007038785A1 (de) Verfahren und Vorrichtung zum Bestimmen von Geometriedaten eines Messobjekts
EP1098268A2 (de) Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen
DE102017122627A1 (de) Optisches Messsystem und Messverfahren
EP3719539A1 (de) Vorrichtung und verfahren zum dreidimensionalen erfassen wenigstens eines objekts
DE102013208466B4 (de) Vorrichtung und Verfahren zum berührungslosen Vermessen von Oberflächenkonturen
DE102011000088A1 (de) Verfahren zur Ermittlung eines Verfahrweges bei der Messung von Strukturen eines Objekts
DE102012022952A1 (de) Verfahren und System zum berührungslosen Erfassen einer dreidimensionalen Oberfläche eines Objekts
DE102010029627B4 (de) Vorrichtung und Verfahren zur Bestimmung der Struktur einer spiegelnden Oberfläche eines Objekts
DE102014117498B4 (de) Optische Vermessungsvorrichtung und Verfahren zur optischen Vermessung
AT524118B1 (de) Computer-implementiertes Verfahren zur Erstellung von mehrdimensionalen Gegenstands-Datenstrukturen
DE10328145A1 (de) Verfahren und Vorrichtung zur Vermessung der Abbildungseigenschaften von transparenten Objekten
DE102021103086A1 (de) Verfahren zum Betreiben eines Koordinatenmessgeräts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17731557

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197001701

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17731557

Country of ref document: EP

Kind code of ref document: A1