DE102009015921A1

DE102009015921A1 - Verfahren zum optischen Abtasten und Vermessen einer Umgebung

Info

Publication number: DE102009015921A1
Application number: DE102009015921A
Authority: DE
Inventors: Martin Dr. Ossig; Norbert Dr. Bücking; Ivan Bogicevic
Original assignee: Faro Technologies Inc
Current assignee: Faro Technologies Inc
Priority date: 2009-03-25
Filing date: 2009-03-25
Publication date: 2010-09-30
Also published as: GB2481557A; CN102232176A; GB201118130D0; DE112010000019T5; US20120070077A1; JP5891280B2; GB2481557B; WO2010108643A1; JP2012521545A; CN102232176B; JP2015017992A

Abstract

Bei einem Verfahren zum optischen Abtasten und Vermessen einer Umgebung, mittels eines ein Zentrum (C) aufweisenden Laserscanners (10), welcher zur Erstellung eines Scans seine Umgebung mittels Lichtstrahlen (18, 20) optisch abtastet und vermisst und mittels einer Steuer- und Auswertevorrichtung auswertet, wobei eine ein Zentrum (C) aufweisende Farbkamera (33) Farbbilder (i) der Umgebung aufnimmt, die mit dem Scan (s) zu verknüpfen sind, verknüpft die Steuer- und Auswertevorrichtung (22) des Laserscanners (10), an welche die Farbkamera (33) angeschlossen ist, den Scan (s) und die Farbbilder (i) miteinander und korrigiert Abweichungen des Zentrums (C) und/oder der Orientierung der Farbkamera (33) vom Zentrum (C) und/oder der Orientierung des Laserscanners (10), indem für jedes Farbbild (i) iterativ die Farbkamera (33) virtuell bewegt und wenigstens ein Teil des Farbbildes (i) für diese neue virtuelle Position und/oder Orientierung der Farbkamera (33) transformiert wird, bis die Projektion (i) des Farbbildes (i) und die Projektion des Scans (s) auf eine gemeinsame Referenzfläche bestmöglich übereinstimmen.

Description

Die Erfindung betrifft ein Verfahren mit den Merkmalen des Oberbegriffs des Anspruches 1.
Gemäß einem aus der DE 20 2006 005 643 U1 bekannten Verfahren kann mittels eines Laserscanners die Umgebung des Laserscanners optisch abgetastet und vermessen werden. Für zusätzliche Informationen ist auf dem Laserscanner eine Kamera montiert, die RGB-Signale aufnimmt, so dass die Messpunkte des Scans um eine Farbinformation ergänzt werden können. Der Halter der Kamera ist schwenkbar ausgebildet. Um Parallaxenfehler zu vermeiden, wird die Kamera für ihre Aufnahmen auf die vertikale Drehachse des Laserscanners geschwenkt und der Laserscanner abgesenkt, bis die Kamera die horizontale Drehachse erreicht hat. Dieses Verfahren erfordert eine hohe Präzision der Bauteile.
Der Erfindung liegt die Aufgabe zu Grunde, eine Alternative zum Verfahren der eingangs genannten Art zu schaffen. Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruches 1 gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.
Mit dem erfindungsgemäßen Verfahren ist es möglich, bei ungefährer Kenntnis von Position und Orientierung der Kamera, vorzugsweise relativ zum Zentrum und zur Orientierung des Laserscanners, die für eine direkte Verknüpfung aber nicht ausreicht, die Abweichungen der Zentren und Orientierungen mittels der Steuer- und Auswertevorrichtung zu korrigieren und den Scan und die Farbbilder miteinander zu verknüpfen. Anstelle einer tatsächlichen, stark von der mechanischen Präzision abhängigen Bewegung der Farbkamera erfolgt lediglich eine virtuelle Bewegung, also eine Transformation der Farbbilder. Die Korrektur erfolgt iterativ für jedes einzelne Farbbild. Der Vergleich zwischen Scan und Farbbildern finden auf einer gemeinsamen Projektionsfläche als Referenzfläche statt. Soweit die Farbkamera montiert und demontiert, also vor Erstellung des Scans in einen bestimmten Abstand zum Laserscanner gebracht wird,. oder doch mittels eines verstellbaren Halters bewegt wird, korrigiert das erfindungsgemäße Verfahren die dadurch bedingten Veränderungen von Position und Orientierung.
Vorzugsweise werden zunächst nur relevante Bereiche des jeweiligen Farbbildes mit den entsprechenden relevanten Bereichen des Scans zur Übereinstimmung gebracht, was die Performance verbessert. Die relevanten Bereiche sollen solche mit großen Änderungen über kurze Strecken hinweg sein und werden vorzugsweise automatisch aufgesucht, beispielsweise über Gradienten. Alternativ könnten Targets, also Kontrollmarken, verwendet werden, welche jedoch den Nachteil haben, die Fläche hinter sich zu verdecken.
Innerhalb der Iterationsschleife werden nach jeder virtuellen Bewegung für die relevanten Bereiche die Verschiebungsvektoren berechnet, die notwendig sind, um die Projektionen der relevanten Bereiche von Farbbild und Scan zur Übereinstimmung zu bringen. Der Begriff ”Verschiebung” soll auch die Fälle bezeichnen, in denen zusätzlich eine Drehung des relevanten Bereichs erfolgen muss.
Bei allen Schritten des Verfahrens wird das Problem bestehen, dass durch Rauschen oder Ähnliches keine exakte Übereinstimmung, insbesondere keine pixelgenaue Übereinstimmung der Farbbilder und des Scans vorliegt. Dafür können jeweils Schwellwerte und/oder Intervalle bestimmt werden, welche der Diskriminierung und der Definition der Genauigkeit dienen. Statistische Methoden können ebenso Anwendung finden.
Im folgenden ist die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert. Es zeigen
1 eine schematische Darstellung des optischen Abtasten und Vermessen mit Laserscanner und Farbkamera,
2 eine schematische Darstellung eines Laserscanners ohne Farbkamera, und
3 eine teilweise geschnittene Darstellung des Laserscanners mit Farbkamera.
Ein Laserscanner 10 ist als Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung des Laserscanners 10 vorgesehen. Der Laserscanner 10 weist einen Messkopf 12 und ein Stativ 14 auf. Der Messkopf 12 ist als eine um eine vertikale Achse drehbare Einheit auf dem Stativ 14 montiert. Der Messkopf 12 weist einen um eine horizontale Achse drehbaren Spiegel 16 auf. Der Schnittpunkt der beiden Drehachsen sei als Zentrum Cm des Laserscanners 10 bezeichnet.
Der Messkopf 12 weist ferner einen Lichtsender 17 zum Aussenden eines Sendelichtstrahls 18 auf. Der Sendelichtstrahl 18 ist vorzugsweise ein Laserstrahl im sichtbaren Bereich von ca. 300 bis 1000 nm Wellenlänge, beispielsweise 790 nm, jedoch sind prinzipiell auch andere elektromagnetische Wellen mit beispielsweise größerer Wellenlänge verwendbar. Der Sendelichtstrahl 18 ist mit einem – beispielsweise sinusförmigen oder rechteckförmigen – Modulationssignal amplitudenmoduliert. Der Sendelichtstrahl 18 wird vom Lichtsender 17 auf den Spiegel 16 gegeben, dort umgelenkt und in die Umgebung ausgesandt. Ein von einem Objekt O in der Umgebung reflektierter oder sonst irgendwie gestreuter Empfangslichtstrahl 20 wird vom Spiegel 16 wieder eingefangen, umgelenkt und auf einen Lichtempfänger 21 gegeben. Die Richtung des Sendelichtstrahls 18 und des Empfangslichtstrahls 20 ergibt sich aus den Winkelstellungen des Spiegels 16 und des Messkopfes 12, welche von den Stellungen ihrer jeweiligen Drehantriebe abhängen, die wiederum von jeweils einem Encoder erfasst werden. Eine Steuer- und Auswertevorrichtung 22 steht mit dem Lichtsender 17 und dem Lichtempfänger 21 im Messkopf 12 in Datenverbindung, wobei Teile derselben auch außerhalb des Messkopfes 12 angeordnet sein, beispielsweise als ein am Stativ 14 angeschlossener Computer. Die Steuer- und Auswertevorrichtung 22 ist dazu ausgebildet, für eine Vielzahl von Messpunkten X die Distanz d des Laserscanners 10 (d. h. des Zentrums C₁₀) zu dem (beleuchteten Punkt am) Objekt O aus der Laufzeit des Sendelichtstrahls 18 und des Empfangslichtstrahls 20 zu ermitteln. Hierzu, wird die Phasenverschiebung zwischen den beiden Lichtstrahlen 18, 20 bestimmt und ausgewertet.
Mittels der (schnellen) Drehung des Spiegels 16 wird entlang einer Kreislinie abgetastet. Mittels der (langsamen) Drehung des Messkopfes 12 relativ zum Stativ 14 wird mit den Kreislinien nach und nach der gesamte Raum abgetastet. Die Gesamtheit der Messpunkte X einer solchen Messung sei als Scan s bezeichnet. Das Zentrum C₁₀ des Laserscanners 10 definiert für einen solchen Scan s das stationäre Bezugssystem des Laserscanners 10, in welchem das Stativ 14 ruht. Nähere Einzelheiten des Laserscanners 10, insbesondere des Aufbaus des Messkopfes 12, sind beispielsweise in der US 7,430,068 B2 und der DE 20 2006 005 643 U1 beschrieben, deren diesbezüglicher Offenbarungsgehalt ausdrücklich einbezogen wird.
Jeder Messpunkt X umfasst außer der Distanz d zum Zentrums C₁₀ des Laserscanners 10 noch eine Helligkeit, welche ebenfalls von der Steuer- und Auswertevorrichtung 22 ermittelt wird. Die Helligkeit ist ein Graustufenwert, welcher beispielsweise durch Integration des bandpass-gefilterten und verstärkten Signal des Lichtempfängers 21 über eine dem Messpunkt X zugeordnete Messperiode ermittelt wird.
Für bestimmte Anwendungsfälle wäre es wünschenswert, wenn zusätzlich zum Graustufenwert noch Farbinformationen vorhanden wären. Erfindungsgemäß gehört zur Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung noch eine Farbkamera 33, die ebenfalls an die Steuer- und Auswertevorrichtung des Laserscanners 10 angeschlossen ist. Die Farbkamera 33 weist vorzugsweise ein Fisheye- Objektiv auf, das eine Bildaufnahme in einem großen Winkelbereich ermöglicht. Die Farbkamera 33 ist beispielsweise als eine CCD-Kamera oder CMOS-Kamera ausgebildet und liefert ein im Farbraum dreidimensionales Signal, vorzugsweise ein RGB-Signal, für ein im Ortsraum zweidimensionales Bild, was im folgenden als Farbbild i₀ bezeichnet sei. Das Zentrum C₃₃ der Farbkamera 33 sei derjenige Punkt, von dem aus das Farbbild i₀ aufgenommen scheint, beispielsweise die Mitte der Blende.
Die Farbkamera 33 ist im Ausführungsbeispiel mittels eines Halters 35 am Messkopf 12 montiert, dass sie mit diesem um die vertikale Achse rotieren kann, um mehrere Farbbilder i₀ aufzunehmen und dadurch den gesamten Winkelbereich abzudecken. Die Aufnahmerichtung bezüglich dieser Rotation kann von den Encodern erfasst werden. In der DE 20 2006 005 643 U1 ist eine vergleichbare Anordnung für einen Zeilensensor beschrieben, welcher auch Farbbilder aufnimmt und welcher mittels eines verstellbaren Halters in der Höhe verschieblich ist, damit sein Zentrum mit dem Zentrum C₁₀ des Laserscanners 10 zur Übereinstimmung gebracht werden kann. Für die erfindungsgemäße Lösung ist dies nicht erforderlich und eher unerwünscht, da bei einer unpräziser Verschiebe-Mechanik Parallaxenfehler auftreten können. Es genügt, die ungefähren Relativpositionen der beiden Zentren C₁₀ und C₃₃ zu kennen, was bei einer Montage mit einem starren Halter 35 gut abzuschätzen ist, weil dann die Zentren C₁₀ und C₃₃ einen festen Abstand zueinander einnehmen. Es ist aber auch möglich, einen verstellbaren Halter 35 zu verwenden, der beispielsweise die Farbkamera 33 schwenkt.
Die Steuer- und Auswertevorrichtung 22 verknüpft den (im Ortsraum dreidimensionalen) Scan s des Laserscanners 10 mit den (im Ortsraum zweidimensionalen) Farbbildern i₀ der Farbkamera 33, was als ”Mapping” bezeichnet wird. Die Abweichungen der Zentren C₁₀ und C₃₃ und gegebenenfalls der Orientierungen werden damit korrigiert. Die Verknüpfung erfolgt bildweise für jedes der aufgenommenen Farbbilder i₀, um im Endergebnis jedem Messpunkt X des Scans s eine Farbe (in RGB-Anteilen) zu geben, d. h. den Scan s einzufärben. In einer Vorverarbeitung werden in den Farbbildern i₀ die bekannten Kameraverzerrungen eliminiert. Bei der eigentlichen Verknüpfung (Mapping) werden erfindungsgemäß der Scan s und jedes Farbbild i₀ auf eine gemeinsame Referenzfläche projiziert, vorzugsweise eine Sphäre (Kugelhaut). Da der Scan s vollständig auf die Referenzfläche projizierbar ist, ist in der Zeichnung nicht zwischen dem Scan s und der Referenzfläche unterschieden. Die Projektion des Farbbildes i₀ auf die Referenzfläche Fläche s sei als i₁ bezeichnet. Für jedes Farbbild i₀ wird die Farbkamera 33 virtuell bewegt und das Farbbild i₀ für diese neue virtuelle Position (und gegebenenfalls Orientierung) der Farbkamera 33 (wenigstens partiell) transformiert (einschließlich Projektion i₁ auf die Referenzfläche), bis das Farbbild i₀ und der Scan s (genauer gesagt deren Projektionen auf die Referenzfläche) bestmöglich übereinstimmen. Das Verfahren wird dann für alle anderen Farbbilder i₀ wiederholt.
Um das jeweilige Farbbild i₀ mit dem Scan s zu vergleichen, werden im Farbbild i₀ relevante Bereiche r_i definiert (region of interest). Es soll sich hierbei um Bereiche handeln, die starke Änderungen (in der Helligkeit und/oder Farbe) aufweisen, wie Ecken und Kanten oder sonstige Teil des Umrisses des Objekts O. Diese können beispielsweise durch Bildung von Gradienten und Suche nach Extrema automatisch aufgesucht werden. An den Ecken ändert sich beispielsweise der Gradient in mehr als eine Richtung. In der Projektion des Scans s auf die Referenzfläche werden die entsprechenden relevanten Bereiche r_s aufgesucht. Die relevanten Bereiche r_i werden exemplarisch für das Mapping benutzt.
In einer Schleife wird für jeden einzelnen relevanten Bereich r_i des Farbbildes i₀ der relevante Bereich r_i bezüglich der jeweiligen virtuellen Position der Farbkamera 33 transformiert und auf die Referenzfläche s projiziert. Die Projektion des relevanten Bereichs r_i sei als r₁ bezeichnet. Dann wird der Verschiebungsvektor v auf der Referenzfläche ermittelt, d. h. um wieviel die Projektion r₁ des relevanten Bereichs r_i verschoben (und gedreht) werden muss, um den entsprechenden relevanten Bereich r_s in der Projektion des Scans s auf die Referenzfläche zu treffen. Dann wird die Farbkamera 33 virtuell bewegt, d. h. deren Zentrum C₃₃ und gegebenenfalls Orientierung geändert, und die Verschiebungsvektoren v neu berechnet. Die Iteration bricht ab, wenn die Verschiebungsvektoren v minimal werden. Mit der dann aufgefundenen, virtuellen Position und gegebenenfalls Orientierung der Farbkamera 33 passen die Projektion i₁ des vollständigen Farbbildes und die Projektion des Scans s auf die Referenzfläche in allen Bereichen bestmöglich zueinander. Optional kann dies noch mit Projektion i₁ des vollständigen Farbbildes und die Projektion des Scans s geprüft werden.
Für die diversen Vergleiche werden Schwellwerte und/oder Intervalle bestimmt, welche der Diskriminierung und der Definition der Genauigkeit dienen. Auch die bestmögliche Übereinstimmung von Scan s und Farbbild i₀ ist lediglich innerhalb solcher Schranken gegeben. Digitalisierungseffekte, die zu Nebenminima führen, können durch Verschmierungen mit Gaußverteilungen eliminiert werden.

10: Laserscanner
12: Messkopf
14: Stativ
16: Spiegel
17: Lichtsender
18: Sendelichtstrahl
20: Empfangslichtstrahl
21: Lichtempfänger
22: Steuer- und Auswertevorrichtung
33: Farbkamera
35: Halter
C₁₀: Zentrum des Laserscanners
C₃₃: Zentrum der Farbkamera
d: Distanz
i₀: Farbbild Projektion des Farbbildes
O: Objekt
r_i: relevanter Bereich des Farbbildes
r₁: Projektion des relevanten Bereichs des Farbbildes
r_s: relevanter Bereich des Scans
s: Scan
v: Verschiebungsvektor
X: Messpunkt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- DE 202006005643 U1 [0002, 0014, 0017]
- US 7430068 B2 [0014]

Claims

Verfahren zum optischen Abtasten und Vermessen einer Umgebung, mittels eines ein Zentrum (C₁₀) aufweisenden Laserscanners (10), welcher zur Erstellung eines Scans (s) seine Umgebung mittels Lichtstrahlen (18, 20) optisch abtastet und vermisst und mittels einer Steuer- und Auswertevorrichtung (22) auswertet, wobei eine ein Zentrum (C₃₃) aufweisende Farbkamera (33) Farbbilder (i₀) der Umgebung aufnimmt, die mit dem Scan (s) zu verknüpfen sind, dadurch gekennzeichnet, dass die Steuer- und Auswertevorrichtung (22) des Laserscanners (10), an welche die Farbkamera (33) angeschlossen ist, den Scan (s) und die Farbbilder (i₀) miteinander verknüpft und Abweichungen des Zentrum (C₃₃) und/oder der Orientierung der Farbkamera (33) vom Zentrum (C₁₀) und/oder der Orientierung des Laserscanners (10) korrigiert, indem für jedes Farbbild (i₀) iterativ die Farbkamera (33) virtuell bewegt und wenigstens ein Teil des Farbbildes (i₀) für diese neue virtuelle Position und/oder Orientierung der Farbkamera (33) transformiert wird, bis die Projektion (i₁) des Farbbildes (i₀) und die Projektion des Scans (s) auf eine gemeinsame Referenzfläche bestmöglich übereinstimmen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass innerhalb des Farbbildes (i₀) wenigstens ein relevanter Bereich (r_i) definiert wird, der mit dem entsprechenden relevanten Bereich (r_s) der Projektion des Scans (s) auf der Referenzfläche verglichen wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass als relevanter Bereich (r_i) eine Ecke, Kante oder sonstiger Teil des Umrisses eines Objekts (O) definiert wird.
Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass nach jeder virtuellen Bewegung der Farbkamera (33) der relevante Bereich (r_i) des Farbbildes (i₀) transformiert und auf die Referenzfläche projiziert wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Verschiebungsvektor (v) der Projektion (r₁) des relevanten Bereichs (r_i) des Farbbildes (i₀) auf den entsprechenden relevanten Bereich (r_s) der Projektion des Scans (s) auf der Referenzfläche ermittelt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die virtuelle Bewegung der Farbkamera (33), die Transformation des relevanten Bereichs (r_i) und die Ermittelung des Verschiebungsvektors (v) iteriert wird, bis die Projektion (i₁) des Farbbildes (i₀) und die Projektion des Scans (s) bestmöglich übereinstimmen.
Vorrichtung zum Durchführen eines Verfahresn nach einem der vorhergehenden Ansprüche, gekennzeichnet durch einen Laserscanner (10), der eine Steuer- und Auswertevorrichtung aufweist, und durch eine Farbkamera (33), die an die Steuer- und Auswertevorrichtung des Laserscanners (10) angeschlossen ist.
Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass die Farbkamera (33) mittels eines Halters (35) am Laserscanner (10), insbesondere an einem rotierenden Teil (12) des Laserscanners (10), montiert ist.
Vorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass das Zentrum (C₁₀) des Laserscanners (10) und das Zentrum (C₃₃) der Farbkamera (33) einen festen Abstand zueinander einnehmen oder vor Erstellung des Scans (s) in einen bestimmten Abstand zueinander gebracht werden.
Vorrichtung nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Farbkamera (33) als eine CCD-Kamera oder CMOS-Kamera ausgebildet ist.