DE102011101476A1

DE102011101476A1 - Verfahren zur 3D-Messung von Objekten

Info

Publication number: DE102011101476A1
Application number: DE102011101476A
Authority: DE
Inventors: Richard Kowarschik; Marcus Große; Martin Schaffer; Bastian Harendt
Original assignee: Friedrich Schiller Universtaet Jena FSU
Current assignee: Cognex Ireland Ltd
Priority date: 2011-05-11
Filing date: 2011-05-11
Publication date: 2012-11-15
Anticipated expiration: 2031-05-12
Also published as: DE102011101476C5; DE102011101476B4; WO2012152261A1

Abstract

Aufgabe war es, Objekte mit geringem Aufwand, schnellstmöglich und hochgenau dreidimensional zu vermessen.
Erfindungsgemäß wird zumindest ein statistisches optisches Muster, vorzugsweise eines Lichtbilds (3) von einem Projektor (4), zur standortunterschiedlichen Detektion und dreidimensionalen Auswertung auf die zu vermessende Oberfläche (2) eines Objekt (1) abgebildet und dort in Lage und/oder Form, beispielsweise durch einen motorisch (6) bewegten Umlenkspiegel (5) beliebig verändert.
Das Verfahren wird zur schnellen und hochauflösenden optische Oberflächenvermessung, wie der Qualitätskontrolle, eingesetzt.

Description

Die Erfindung betrifft ein Verfahren zur schnellstmöglichen und hochgenauen 3D-Messung von Objekten, bei dem statistische Muster auf das zu vermessende Objekt projiziert werden, die von im Standort unterschiedlichen Bildansichten als korrespondierende Bildmuster des Objekts, beispielsweise durch Kameras, detektiert werden. Aus dem Vergleich dieser unterschiedlichen Bildmuster werden Rauminformationen für die dreidimensionale Rekonstruktion des Objektes gewonnen.
In vielen Bereichen sind schnell messende optische 3D-Messsysteme erforderlich. So werden zur Analyse von Airbag-Entfaltungen, Schadensanalyse von Unfallszenarien, und Fahrzeugcrashs bereits optische Verfahren eingesetzt, wobei jedoch nur wenige Zielmarken und damit 3D-Punkte der Szene verfolgt werden bzw. bei dicht messenden Verfahren nur sehr ungenaue 3D-Daten gewonnen werden können. Für die Qualitätskontrolle von Industriegütern im Fließbandbetrieb sind eine hohe Messrate, sowie die Toleranz gegenüber Objektbewegungen entscheidend. Hochgenaue Verfahren zur 3D-Vermessung konnten für diese Messaufgaben bisher nicht eingesetzt werden, da die geforderten, kurzen Messzeiten technisch nicht realisierbar waren. Für medizinische Zwecke ist die Vermessung von bewegten Körperteilen zur Diagnose von Fehlstellungen hilfreich. Im Bereich der Sportwissenschaft kann die Analyse der Bewegung von Körperteilen und/oder Personen zur Optimierung von Bewegungsabläufen eingesetzt werden, wobei bisher lediglich Zielmarken eingesetzt werden konnten, und damit nur vereinfachte Modelle mit Daten gespeist werden konnten. Das gleiche Problem besteht bei der Digitalisierung bewegter Szenen für die multimediale Nutzung, sei es die Bewegung von Schauspielern oder von bewegten Gegenständen. Insbesondere durch die immer stärkere Verbreitung von 3D-Fernsehen wird die 3D-Digitalisierung in der nahen Zukunft an Bedeutung gewinnen, und damit die Anforderungen an die Qualität von 3D-Aufnahmen zunehmen. Weiterhin werden in den nächsten Jahren hochauflösende Hochgeschwindigkeitskameras verfügbar sein, da die aktuelle Schnittstellengeneration (z. B. USB 3.0, LightPeak) höhere Aufnahmeraten zulässt (bis 1000 Hz bei VGA-Auflösung), und damit die bisher hohen Kamerasystemkosten deutlich sinken werden. In diesem Kontext ist daher die Entwicklung eines schnell und hochgenau messenden Systems für viele Anwendungsbereiche gewünscht.
Bekannt sind Verfahren zur hochgenauen (relative Messunsicherheit < 10^–4) und dichten 3D-Vermessung von Objekten unter Verwendung strukturierter Beleuchtung. Dazu zählen beispielsweise Verfahren der Streifenprojektion (W. Schreiber and G. Notni: Theory and arrangements of self-calibrating whole-body three-dimensional measurement systems using fringe projection technique, Optical Engineering 39, 2000, 159–169; J. Gühring, Dense 3-D surface acquisition by structured light using off-the-shelf components, videometrics and optical methods for 3D shape measurement 4309, 2001, 220–231) oder Verfahren unter Verwendung statistischer Muster ( DE 196 23 172 C1 ; A. Wiegmann, H. Wagner, R. Kowarschik: Human face measurement by projecting bandlimited random patterns, Optics Express 14, 2006, 7692–7698).
Die Verfahren, welche höchsten Genauigkeitsanforderungen genügen, benötigen zur Realisierung der Messgenauigkeit für beliebige also auch unstetige und getrennte Objekte längere Bildsequenzen (zwischen zehn und 50 Bildern pro Kamera). Aus der Literatur sind keine hochgenau und dicht messenden Verfahren bekannt, welche mit mehr als 15 Hz Aufnahme- und Projektionsrate betrieben werden können, wobei der limitierende Faktor die Projektionstechnik darstellt (M. Schaffer, M. Große, and R. Kowarschik: High-speed pattern projection for three-dimensional shape measurement using laser speckles, Applied Optics 49(18), 2010, 3622–3629; S. Zhang: Recent progresses an real-time 3d shape measurement using digital fringe projection techniques, Optics and Lasers in Engineering 48, 2010, 149–158).
Bekannt sind auch Verfahren zur genauen 3D-Vermessung (relative Messunsicherheit 10^–3 bis 10^–4), welche mit Sequenzlängen von fünf bis zwanzig Bildern dichte Rekonstruktionen erlauben. Durch speziell angepasste Hardware wurden hier Projektionsraten von bis zu 180 Hz (S. König and S. Gumhold: Image-based motion compensation for structured light scanning of dynamic surfaces, EG Workshop an Dynamic 3D Imaging, 2007; Z. Wang, H. Du, S. Park and H. Xie: Three-dimensional shape mea-surement with a fast and accurate approach, Appl. Opt. 48(6), 2009, 1052–1061)realisiert, da bei der genannten relativen Unsicherheit Einbußen in der Qualität der Musterstruktur tolerierbar sind.
Weiterhin sind neuere Arbeiten zur Hochgeschwindigkeitsvermessung bekannt (Y. Gong and S. Zhang: Ultrafast 3-d shape measurement with an off-the-shelf dlp projector, Optics Express 18(19), 2010, 19743–19754; Y. Wang and S. Zhang: Superfast multifrequency phase-shifting technique with optimal pulse width modulation, Optics Express 19, 2011, 5149–5155; S. S. Gorthi and P. Rastogi: Fringe projection techniques: Whither we are?, Optics and Lasers in Engineering 48, 2010, 133–140; J. Salvi, S. Fernandez, T. Pribanic, and X. Llado: A state of the art in structured light patterns for surface profilometry. Pattern Recognition 43(8), 2010, 2666–2680), welche durch Verwendung spezieller Ansteuersoftware und/oder Mustererzeugungseinheiten Projektionsraten von bis zu 10.000 Hz ermöglichen. Aufgrund der eingesetzten Technik sind bei diesen Projektionsraten nur Binärbilder darstellbar, so dass herkömmliche Verfahren angepasst oder komplett neue Verfahren zur strukturierten Beleuchtung entwickelt werden müssen. Die bisher realisierten relativen Messgenauigkeiten (10^–2 bis 10^–3) sind allerdings für viele Anwendungen zu ungenau, und oftmals sind unstetige Objekte nicht in ihrer kompletten Form vermessbar.
Alle beschriebenen Verfahren benötigen für die Signalisierung der Objektoberfläche bei komplexen Objekten verschiedene Musterstrukturen, so dass der Einsatz von digitalen Projektoren wie DMD oder LCD-Projektoren zwingend ist, und folglich die maximale Projektionsrate für hohe Messgenauigkeiten technisch auf 255 Hz sowie für schlechtere Messgenauigkeiten durch Projektion von Binärbildern auf 10.000 Hz begrenzt ist. Mit diesem bekannten Stand der Technik sind deshalb hochgenaue, dichte 3D-Vermessungen mit kurzen Messzeiten bisher nicht realisierbar.
Der Erfindung liegt die Aufgabe zu Grunde, das Objekt mit geringem Aufwand, schnellstmöglich und hochgenau dreidimensional zu vermessen.
Dabei sollen bei hohen Messgenauigkeiten (relative Messgenauigkeit besser als 1.0·10^–4) sehr schnelle 3D Aufnahmeraten (höher als 200 Hz, d. h. mehr als 200 3D Aufnahmen pro Sekunde) erzielbar sein.
Diese Aufgabe wird gelöst durch ein Verfahren zur 3D-Vermessung von Objekten, bei dem mindestens ein statistisches optisches Muster zur standortunterschiedlichen Detektion und dreidimensionalen Auswertung auf das Objekt abgebildet und dort in Lage und/oder Form beliebig verändert wird.
Bei einer Vorrichtung zur Durchführung dieses Verfahrens ist zumindest eine Lichtquelle (Konstantlichtquelle oder steuerbare Pulslichtquelle) zur Erzeugung des zumindest einen statistischen und standortunterschiedlich zu dektektierenden optischen Musters vorgesehen, wobei im Strahlengang der Lichtquelle zum Objekt wenigstens ein den Strahlengang veränderndes Element angeordnet ist.
Im Gegensatz zu allen im Stand der Technik beschriebenen Verfahren wird die Messgenauigkeit unter Verwendung einer einzigen statistischen Musterstruktur, welche in Form und/oder Lage auf dem Objekt kontinuierlich verändert wird, realisiert. Durch den Verzicht auf die Verwendung einer definierten Mustersequenz verschiedenartiger Musterstrukturen wird keine flexible Projektionseinheit benötigt. Damit werden alle Limitierungen, welche durch den Bildaufbau sowie die Projektionsrate üblicher Projektionseinheiten bestehen, umgangen. Das heißt insbesondere, dass mit beliebiger Aufnahmerate gearbeitet werden kann, da sich zum Beispiel eine Bewegung des Musters über das Objekt mit hinreichender großer Geschwindigkeit realisieren lässt, und somit das größte momentane Problem schnell messender Systeme behoben wird. Weiterhin wird durch die Art der Projektion auch im Fall schnell messender Systeme stets eine grauwertige Musterstruktur erzeugt, und somit die Messgenauigkeit bisheriger schnell messender Verfahren unter Verwendung hochfrequenter Binärbilder deutlich verbessert (in etwa um den Faktor 10). Des Weiteren ist die übliche Synchronisierung zwischen den Kameras und der Projektionseinheit nicht notwendig, da keine exakte Bildreihenfolge und/oder Lage des Musters eingehalten werden muss. Lediglich die Synchronisierung der Kameras untereinander muss sichergestellt werden. Dies erhöht die Flexibilität möglicher Messanordnungen, da keine Verbindung und kein direkter Informationsaustausch zwischen der Projektionsquelle und den Aufnahmegeräten mehr bestehen muss. Da zur Projektion des festen Musters hochwertige Projektionsgeräte, beispielsweise Dia-Projektoren, verwendet werden können, die im Vergleich mit anderen Projektoren, insbesondere modernen DLP-Projektoren, noch immer den höchsten Kontrastumfang sowie die größte Auflösung realisieren, ließen sich mit dem beschriebenen Verfahren auch langsam messende Verfahren bzgl. ihrer Messgenauigkeit verbessern. Darüber hinaus ist keine Korrektur der Gammafunktion des Projektionsgerätes notwendig, wie es bei digitalen Projektionsgeräten erforderlich ist. Weiterhin werden kein Ansteuerungsrechner und keine Ansteuerelektronik für die Projektionseinheit benötigt, was den Verfahrensaufwand weiter reduziert.
Die Erfindung soll nachstehend anhand einer in der Zeichnung dargestellten Vorrichtung zur schnellen und hochgenauen 3D-Messung von Objekten als Ausführungsbeispiel näher erläutert werden.
Von einem Objekt 1 soll die Oberfläche 2 dreidimensional vermessen und rekonstruiert werden. Zu diesem Zweck wird ein statistisches Muster von einem Lichtbild 3 in einem Projektor 4 über einen Umlenkspiegel 5 auf die Oberfläche 2 projiziert. Der Umlenkspiegel 5 ist an einem Motor 6 befestigt, und zwar derart, dass dessen Achse 7 die Ebene des Umlenkspiegels 5 nahezu, aber nicht ganz, senkrecht schneidet. Durch Rotation des Motors 6 wird der Umlenkspiegel 5 in Bewegung versetzt, und durch die leichte Verkippung der Spiegelebenennormale zur Achse 7 des Motors 6 wird eine taumelnde Bewegung des Umlenkspiegels 5 erreicht. Aufgrund dieser taumelnden Bewegung des Umlenkspiegels 5 bewegt sich das projizierte Bild des Lichtbilds 3 nun ebenfalls in taumelnder Art und Weise über die zu vermessende Oberfläche 2 des Objekts 1. Der dabei während einer vollständigen Umdrehung des Spiegels stets beleuchtete Bereich stellt dabei die Begrenzung des Messvolumens dar.
Mit zwei zueinander synchronisierten Kameras 8, 9, welche vorab bezüglich der inneren und äußeren Parameter des Stereosystems kalibriert worden sind, wird von unterschiedlichen Standorten eine Anzahl von beispielsweise 12 Bildern aufgenommen. Diese Stereobildsequenz wird an einen Rechner (aus Gründen der Übersichtlichkeit nicht dargestellt) übertragen. Bei der rechentechnischen Auswertung der besagten Stereobildsequenz werden unter Verwendung der etablierten Methode der Zeitkorrelation homologe Punkte in bekannter Weise einander zugeordnet und aus diesen mit Hilfe der ebenfalls bekannten Kalibrierparameter 3D-Punkte im Raum bestimmt, welche nun je nach Anwendung weiterverarbeitet werden können. Durch die motorgesteuerte Bewegung des Umlenkspiegels 5 kann eine sehr schnelle Veränderung des projizierten statistischen Musters auf der zu vermessenden Oberfläche 2 und damit eine sehr schnelle hochauflösende Rekonstruktion der Oberfläche 2 erreicht werden. Anstatt des motorgesteuerten Spiegels könnten zur Mustervariation beispielsweise ein automatisches Zoomobjektiv, eine Dia-verschiebende Mechanik oder ein lichtveränderndes Element, beispielsweise ein lichtbeugendes oder lichtbrechendes Element, zum Einsatz kommen. Insbesondere könnten Diffraktiv-Optische Elemente (DOE) als lichtbeugendes Element verwendet werden, sei es durch Verwendung von digital schaltbaren Spatial-Light-Modulatoren oder im einfachsten Fall durch mechanische Verschiebung des DOE, wobei hier jeweils eine kohärente Lichtquelle verwendet werden sollte. Zur Realisierung einer Strahlablenkung mittels lichtbrechendem Element könnte beispielsweise ein drehbarer Keil Verwendung finden.
Bezugszeichenliste

1: Objekt
2: Oberfläche des Objekts 1
3: Lichtbild
4: Projektor
5: Umlenkspiegel
6: Motor
7: Achse des Motors 6
8, 9: Kamera

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 19623172 C1 [0003]

Zitierte Nicht-Patentliteratur

W. Schreiber and G. Notni: Theory and arrangements of self-calibrating whole-body three-dimensional measurement systems using fringe projection technique, Optical Engineering 39, 2000, 159–169 [0003]
J. Gühring, Dense 3-D surface acquisition by structured light using off-the-shelf components, videometrics and optical methods for 3D shape measurement 4309, 2001, 220–231 [0003]
A. Wiegmann, H. Wagner, R. Kowarschik: Human face measurement by projecting bandlimited random patterns, Optics Express 14, 2006, 7692–7698 [0003]
M. Schaffer, M. Große, and R. Kowarschik: High-speed pattern projection for three-dimensional shape measurement using laser speckles, Applied Optics 49(18), 2010, 3622–3629 [0004]
S. Zhang: Recent progresses an real-time 3d shape measurement using digital fringe projection techniques, Optics and Lasers in Engineering 48, 2010, 149–158 [0004]
S. König and S. Gumhold: Image-based motion compensation for structured light scanning of dynamic surfaces, EG Workshop an Dynamic 3D Imaging, 2007 [0005]
Z. Wang, H. Du, S. Park and H. Xie: Three-dimensional shape mea-surement with a fast and accurate approach, Appl. Opt. 48(6), 2009, 1052–1061 [0005]
Y. Gong and S. Zhang: Ultrafast 3-d shape measurement with an off-the-shelf dlp projector, Optics Express 18(19), 2010, 19743–19754 [0006]
Y. Wang and S. Zhang: Superfast multifrequency phase-shifting technique with optimal pulse width modulation, Optics Express 19, 2011, 5149–5155 [0006]
S. S. Gorthi and P. Rastogi: Fringe projection techniques: Whither we are?, Optics and Lasers in Engineering 48, 2010, 133–140 [0006]
J. Salvi, S. Fernandez, T. Pribanic, and X. Llado: A state of the art in structured light patterns for surface profilometry. Pattern Recognition 43(8), 2010, 2666–2680 [0006]

Claims

Verfahren zur 3D-Messung von Objekten, bei dem zumindest ein statistisches optisches Muster zur standortunterschiedlichen Detektion und dreidimensionalen Auswertung auf das Objekt abgebildet und dort in Lage und/oder Form beliebig verändert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das zumindest eine statistische optische Muster auf das Objekt projiziert und über dieses verschoben wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das zumindest eine statistische optische Muster in Rotationsbewegung auf dem Objekt verschoben wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das zumindest eine statistische optische Muster auf das Objekt projiziert und auf diesem beliebig und ohne vorgegebene Koordinatenrichtung bewegt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das zumindest eine statistische optische Muster auf dem Objekt hin und her bewegt wird.
Vorrichtung zur Durchführung des Verfahrens gemäß einem oder mehreren der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zumindest eine Lichtquelle zur Erzeugung des zumindest einen statistischen und standortunterschiedlich zu dektektierenden optischen Musters vorgesehen ist, wobei im Strahlengang der Lichtquelle zum Objekt wenigstens ein den Lichtstrahl veränderndes Element angeordnet ist.
Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass als wenigstens ein den Lichtstrahl veränderndes Element ein rotierender oder vibrierender Spiegel vorgesehen ist.
Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass als wenigstens ein den Lichtstrahl veränderndes Element ein veränderliches lichtbeugendes oder lichtbrechendes Element, vorgesehen ist.
Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass als zumindest eine Lichtquelle eine steuerbare Pulslichtquelle vorgesehen ist.
Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass als zumindest eine Lichtquelle eine Konstantlichtquelle vorgesehen ist.