DE102008002730B4

DE102008002730B4 - Verfahren und Vorrichtung zur 3D-Rekonstruktion

Info

Publication number: DE102008002730B4
Application number: DE102008002730.8A
Authority: DE
Inventors: Christian Knoll
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2008-06-27
Filing date: 2008-06-27
Publication date: 2021-09-16
Anticipated expiration: 2028-06-28
Also published as: DE102008002730A1

Abstract

Verfahren zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche (10) aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors (20), der die Szene aufnimmt, wobei mittels eines Projektors mit einer Strukturblende (90) Muster mit Strukturelementen in Form von streifenförmigen Farbmustern konstanter Streifenbreite und mit definierten lokal unterschiedlichen Helligkeiten auf die Objektoberfläche (10) projiziert werden, wobei die Muster mit einer konstanten spatialen Auflösung in x-y-Ebene projiziert werden und jedes Strukturelement derart gewählt wird, dass jedes einen von seinem benachbarten Strukturelement stark unterschiedlichen Helligkeitswert besitzt, und wobei zwischen den Farbstreifen eindeutig unterscheidbare Streifen als Seperatoren eingefügt werden,dadurch gekennzeichnet,dass zur Generierung der Streifenmuster eine De Bruijn-Zahlenfolge verwendet wird, mit denen verschiedene Kombinationen einer Untermenge von n benachbarten Streifen bei k verschiedenen Farben nebeneinander umgesetztwerden, dass die Farbstreifenmuster mit einer Anzahl von verschiedenen Helligkeitswerten in einem oder zwei von drei Kanälen einer Farbkamera kodiert werden und in dem dritten Kanal eine gleichmäßige Referenzhelligkeit erzeugt wird,dass die Objektoberfläche (10) mit den Bildsensoren (20, 30) bei einer gleichförmigen Referenzhelligkeit als Referenzbild R(x,y) (110) und die Objektoberfläche (10) mit projiziertem Muster als Strukturbild S(x,y) (120) aufgenommen wird, wobei die Blickwinkel der Bildsensoren (20, 30) sowohl bei einer zeitlich nacheinander folgenden als auch bei einer gleichzeitigen Aufnahme beider Bilder gleich bleibenund das Strukturbild S(x,y) (120) und das Referenzbild R(x,y) (110) zueinander pixelweise zu einem Verhältnisbild SR(x,y) (130) ins Verhältnis gesetzt werden.

Description

Stand der Technik
Die Erfindung betrifft ein Verfahren zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors, der die Szene aufnimmt, wobei mittels eines Projektors mit einer Strukturblende Grauwertmuster oder Farbmuster mit definierten lokal unterschiedlichen Helligkeiten oder Farben auf die Objektoberfläche projiziert werden.
Die Erfindung bezieht sich weiterhin auf eine entsprechende Vorrichtung mit einer Sensorikanordnung zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors, wobei mittels einer Lichtquelle homogenes Licht auf die Objektoberfläche projizierbar ist und mit derselben oder einer zweiten Lichtquelle und einer Strukturblende Grauwertmuster oder Farbmuster mit definierten lokal unterschiedlichen Helligkeiten oder Farben auf die Objektoberfläche projizierbar sind.
Ein Verfahren und eine Vorrichtung dieser Art sind in der WO 2005/ 064 525 A1 offenbart. Salvi, J.; Pagès, J.; Battle, J.: „Pattern codification strategies in structured light systems". In: Pattern Recognition 37 (2004), Seiten 827-849 zeigt Strategien zur Codierung von strukturiertem Licht, u. a. zum Erzeugen von Streifenmustern, wie z. B. nach der Methode von De Bruijn, die für eine 3D-Rekonstruktion einer Objektoberfläche verwendet werden können.
Bei einem in der WO 2007/059 780 A1 gezeigten weiteren Verfahren zur Rekonstruktion einer Objektoberfläche werden ebenfalls Streifenmuster erzeugt und auf die Objektoberfläche projiziert, wobei diese Streifen jedoch unterschiedliche Breiten und geometrische Formelemente aufweisen.
Die US 6,549,288 B1 zeigt ein weiteres Verfahren für die 3D-Rekonstruktion einer Objektoberfläche mittels einer Projektion von Streifenmustern und Auswertung der Bilder mittels einer Kamera. Hierbei besteht das Muster aus Streifen, die einen graduellen, z. B. linearen Übergang von dunklen zu hellen Streifen aufweisen, wobei alle Streifen grau sind mit Ausnahme einer oder mehrerer Linien.
In der DE 100 63 293 A1 ist ebenfalls ein Verfahren zur 3D-Rekonstruktion einer Objektoberfläche mit strukturiertem Licht vorgeschlagen, wobei auch eine Beleuchtung mit homogenem weißem Licht erfolgt. Dabei wird mit dem strukturierten (z. B. roten) Licht die Höheninformation gewonnen, während das homogene weiße Licht die Information über die Farbe der Oberfläche enthält. Auf diese Weise wird eine multisensorielle Information von Oberflächen, insbesondere Farbe und Höhenprofil, gewonnen.
In der US 2007/0075997 A1 ist die 3D-Rekonstruktion einer Oberfläche über den Weg einer Punktwolke offenbart.
In der WO 2007/079805 A1 ist die berührungslose Gewinnung eines Abstandsbilds mittels Triangulation mit Stereo-Kameras vorgeschlagen.
Die klassische Streifenprojektion mit einer Kamera und dazu kalibriertem Streifenprojektor führt die Erzeugung einer 3D-Punktewolke zur 3D-Rekonstruktion von Objektoberflächen durch die Aufnahme mehrerer Bilder mit Hilfe des Phasenshift-Verfahrens und des Graycode-Verfahrens, wobei jeweils die Streifenbreite zum vorherigen Bild halbiert wird und dadurch jede Streifenkante eindeutig einem Projektorstrahl zugeordnet werden kann, durch.
Eine Erweiterung ist die Kombination von Streifenprojektoren mit einer Stereokameraanordnung, wobei die beiden Stereokameras zueinander kalibriert sind, so dass durch Korrespondenzpunktzuordnung des linken und des rechten Bildes aus der Stereo-Triangulation der Abstand in jedem Korrespondenzpunkt bestimmt werden kann. Die Korrespondenzpunkte liegen dabei auf den Epipolarlinien nach der Stereokalibrierung und Bildrektifizierung. Die Ebene, welche die beiden Projektionszentren der Kameras und der aufgenommene Objektpunkt aufspannen, wird dabei Epipolarebene genannt. Diese schneidet die beiden Bilder in jeweils einer Geraden, der so genannten Epipolarlinie. Der Projektor kann zusätzlich zu den beiden Kameras kalibriert sein. Die Projektorkalibrierung ist nicht notwendig und zudem aufwendig, erhöht aber in der Regel die Robustheit und Genauigkeit.
Die Streifen werden binär im Schwarz-Weiß-Wechsel mit Graubildkameras oder mit einer eigenen Farbe für jeden Streifen mit Farbkameras aufgenommen. Die Farbvariante vereinfacht die Korrespondenzpunktzuordnung, besitzt aber andere Probleme der Farbauswertung (z.B. u.a. Weißabgleich). Bei den genannten Verfahren werden statt Streifen auch andere geometrische oder texturierte Muster verwendet.
In der WO 2007/079805 A1 [1] wird ein Verfahren und eine Vorrichtung zum Erstellen eines Abstandbildes einer Szene aus der Korrespondenz von Pixeln der Bilder einer ersten Kamera und mindestens einer zweiten Kamera, die die Szene in Stereo-Anordnung aufnehmen, beschrieben. Dabei ist vorgesehen, dass die Szene bei einer ersten Beleuchtung mit einem Zufalls- oder Pseudozufallsmuster beleuchtet wird, das hinsichtlich wenigstens eines Modulationsmerkmals in zumindest einer räumlichen Dimension als Zufallsfolge bzw. Pseudozufallsfolge ausgebildet ist. Dabei ist vorgesehen, dass bei der ersten Beleuchtung ein erstes Bild von mindestens zwei Kameras aufgenommen wird, die Szene bei einer zweiten Beleuchtung beleuchtet wird, wobei ein zweites Bild mit der zweiten Beleuchtung von mindestens zwei Kameras aufgenommen wird. Für mindestens zwei Kameras wird aus dem ersten und dem zweiten von der jeweiligen Kamera aufgenommenen Bild pixelweise ein Verhältnis berechnet, bei dem ein in dem Pixel aufgenommener Wert des Modulationsmerkmals aus dem einen Bild in den Zähler und das Modulationsmerkmal aus dem anderen Bild in den Nenner des Verhältniswertes gesetzt wird. Die Korrespondenz von Pixeln der Szene wird auf Basis eines Vergleichs der Modulationsmerkmal-Verhältnisse von Pixeln verschiedener Kameras bestimmt.
Dies erfolgt insbesondere auf zugeordneten Epipolarlinien der Stereo-Kameras. Das Quotientenbild aus beiden Bildern unterschiedlicher Helligkeit ist weitgehend unabhängig vom Betrachtungswinkel und gegenüber der Farbe, Helligkeit, Oberflächenrauigkeit und -neigung sowie der Textur der betrachteten Oberfläche.
Die in der WO 2007/079805 A1 vorgeschlagene Verfahrensvarianten umfassen sowohl Graubild- als auch Farbkameras, wobei die erste und zweite Beleuchtung mit unterschiedlichen Farben vorzugsweise gleichzeitig oder mit unterschiedlicher Polarisation bei Verwendung eines Strahlteilers mit Polarisationsfilter erfolgt. Die Zufallsmuster werden vorzugsweise durch zwei überlagerte Gittermuster mit einem definierten Abstand projiziert, wobei die lokale Gitterkonstante mindestens eines Musters pseudo-zufällig variiert wird. Diese Muster werden von mindestens zwei Lichtquellen beleuchtet und ergeben dadurch unterschiedliche Moiremuster. Diese Muster können auch mit nur einer Projektionseinheit durch Überlagerung zweier der gegeneinander verschiebbaren Masken oder mit nur einer derartigen Maske durch rotatorische oder translatorische Bewegungen erzeugt werden.
Zur Erzeugung einer 3D-Punktewolke aus der 3D-Rekonstruktion von Objektoberflächen kann auch nach dem Stand der Technik vorgesehen sein, die zu vermessende Objektoberfläche mit farbigen Mustern zu beleuchten. Die relevanten Verfahren zur kodierten Musterprojektion sind in den nachfolgenden Schriften behandelt.
L. Zhang, B. Curless und S.M. Seitz („Rapid shape acquisition using color structured light and multipass dynamic programming" / Inf. Symposium on 3D Data Processing Visualization and Transmission, Padova, Italy, June 2002) [2] generieren aus den 8 möglichen RGB-Farben p_j = {000, 001, ..., 111} durch eine bitweise XOR-Verknüpfung mit k = 7 möglichen Farbkanalübergängen d_j = {001, 010, 011, 100, 101, 111} über die Formel $P_{j} {+1=p}_{j} {XOR d}_{j}$
und einer beliebigen Startphase p₀ aus {000, 001, ..., 111} von einem Streifen zum nächsten eine Folge von kⁿ Streifen, wobei jeweils eine Untermenge von n benachbarten Streifen in Kombination nur jeweils ein einziges Mal auftritt. Dazu werden De Bruijn-Zahlenfolgen verwendet, die sich dadurch auszeichnen, dass sich jeweils eine Sub-Sequenz von n Werten aus k möglichen Zahlen nie wiederholt (H. Fredricksen: „The lexicographically least debruijn cycle"/ Journal of Combintorial Theory, 9 (1), S. 509-510, 1970) [3].
J. Tajima und M. Iwakawa („3D Data acquisition by rainbow range finder"/ International Conference on Pattern Recognition, S. 309 - 313, 1990) [4] projizieren ein Regenbogen-Muster mit kontinuierlichem Farbspektrum über die Bildspalten. Es werden zwei Bilder zeitlich hintereinander mit einer Grauwertkamera mit zwei verschiedenen Farbfiltern aufgenommen. Aus den beiden Bildern wird zur Erhöhung der Robustheit gegenüber unterschiedlichen Oberflächenreflektionseigenschaften die Intensitätsrelation für jeden Bildpunkt berechnet.
In der Schrift [5] US 6,147,760 A wird das zuvor beschriebene Verfahren durch Verwendung einer Farbkamera und einem so genannten linear variablen Wellenlängenfilter, der ein kontinuierliches Farbspektrum als Regenbogen über die Bildspalten erzeugt, verbessert.
B. Carrihill und R. Hummel („Experiments with the intensity ratio depth sensor"/ Computer Vision, Graphics and Image Processing, Vol. 32, S. 337 - 358, Academic Press, 1985) [6] nehmen mit einem Intensitätsverhältnis-Sensor das erste Bild mit konstanter homogener Beleuchtung und ein zweites Bild mit kontinuierlich ansteigendem Grauwert von einer Bildspalte zur nächsten mit weichem Grauwertübergang und vielen verschiedenen Grauwerten auf und setzen dann die beiden Bilder zueinander ins Verhältnis zur Erhöhung der Robustheit gegenüber beliebigen Oberflächeneinflüssen.
Aus der Patentanmeldung DE 10 2006 048 726 A1 [7] der Anmelderin ist als Anwendungsbeispiel ein Verfahren zum Vermessen der Rad- oder Achsgeometrie eines Fahrzeuges bekannt, bei dem während der Drehung des Rades mindestens ein an diesem vorhandenes oder für die Messung eigens angebrachtes Merkmal optisch mittels mindestens einer bildgebenden Sensoreinheit unter unstrukturierter Beleuchtung erfasst und auf der Basis der so erhaltenen Bilddaten eine Auswertung zum Bestimmen der Rad- oder Achsgeometrie durchgeführt wird. Dabei ist vorgesehen, dass während der Drehung zusätzlich zu der unstrukturierten Beleuchtung gleichzeitig oder in zeitlicher Abfolge strukturiert beleuchtet wird und dass in die Auswertung auch die aus der strukturierten Beleuchtung erhaltenen Bilddaten einbezogen werden.
Eine weitere Patentanmeldung der Anmelderin ( DE 10 2006 048 725 A1 ) [8] beschreibt zum Ermitteln der Drehachse eines Fahrzeugrades, bei dem während der Drehung des Rades Lichtmuster zumindest auf das Rad projiziert und von dem reflektierte Lichtmuster von einer kalibrierten bildgebenden Sensorik aufgenommen und in einer Auswerteeinrichtung ausgewertet wird. Dabei wird bei der Auswertung eine radbezogene 3D-Punktwolke bestimmt und an diese ein parametrisches Oberflächenmodell des Rades angepasst. Zum Erhalten der Radachsen werden Radnormalenvektoren für verschiedene Drehlagen des Rades berechnet und aus der räumlichen Bewegung des Radnormalenvektors der Drehachsvektor als Drehachse berechnet.
Nachteilig beim oben zitierten Stand der Technik nach [1] ist einerseits, dass keine durch die Projektion der Zufalls-Lichtmuster auf die Objektoberfläche definierte Auflösung in der x-y-Ebene erreicht werden kann, wodurch die Helligkeitsauflösung nicht immer unterscheidbar und dadurch die Zuordnung nicht sicher gewährleistet ist. Dabei verringern die kontinuierlichen Farbspektren mit vielen Farben oder Grauwerten nach [2], [3], [4] bei schwachem Kontrast zwischen benachbarten Streifen die Stabilität der Korrespondenzpunktzuordnung.
Es ist daher Aufgabe der Erfindung, ein Verfahren zur Erzeugung eines Abstandbildes aus der 3D-Rekonstruktion von Objektoberflächen bereitzustellen, welches gegenüber dem Stand der Technik die Stabilität der Korrespondenzpunktzuordnung erhöht.
Es ist weiterhin Aufgabe der Erfindung, eine entsprechende Vorrichtung bereitzustellen, mit der das erfindungsgemäße Verfahren durchführbar ist.
Vorteile der Erfindung
Die das Verfahren betreffende Aufgabe wird dadurch gelöst, dass die Grauwertmuster oder Farbmuster mit einer konstanten spatialen, d.h. räumlichen Auflösung in x-y-Ebene projiziert werden und dass jedes Strukturelement der Muster derart gewählt wird, dass jedes einen von seinen Nachbarelementen stark unterschiedlichen Helligkeitswert besitzt.
Die die Vorrichtung betreffende Aufgabe wird dadurch gelöst, dass die Strukturblende Grauwertmuster oder Farbmuster mit einer konstanten spatialen Auflösung in x-y-Ebene aufweist und jedes Strukturelement der Muster einen von seinen Nachbarelementen stark unterschiedlichen und großen, von dem mindestens einen Bildsensor sicher unterscheidbaren Helligkeitswert besitzt.
Im Gegensatz zu den im Stand der Technik erwähnten Verfahren mit Musterprojektoren ist die vorgeschlagene Verfahrensart weitgehend unabhängig vom Betrachtungswinkel und gegenüber der Farbe, Helligkeit, Oberflächenrauhigkeit und Oberflächenneigung sowie einer Textur der betrachteten Objektoberfläche, so dass keine aufwändige Bildanalyse zur Korrespondenzpunktfindung mangels eindeutiger Bildmerkmale und ausreichenden Kontrasts notwendig ist. Gegenüber der WO 2007/ 079805 A1 [1] werden in dem, in dieser Erfindung vorgeschlagenen Verfahren die projizierten Gittermuster nicht durch lokal unterschiedliche Gitterkonstanten in ihrer spatialen Ausdehnung variiert, sondern Muster mit konstanter Größe und Ausdehnung auf die Objekte projiziert, so dass in jedem Bildabschnitt die gleiche konstante spatiale und definierte Auflösung in der x-y-Ebene sichergestellt ist.
Eine Verfahrensvariante sieht dabei vor, dass mit mindestens einem ersten Bildsensor und mindestens einem zweiten Bildsensor, die die Szene in Stereo-Anordnung aufnehmen, oder mit nur einem Bildsensor und einem dazu kalibrierten Projektor zur Projektion der Grauwert- oder Farbmuster auf die Objektoberfläche die Abstandsbilder erzeugt werden.
Streifenmuster mit wenigen sich voneinander stark unterscheidenden Farben oder Grauwerten und einer konstanten Streifenbreite als projizierte Muster bieten hierbei besondere Vorteile hinsichtlich des Kontrastes auf der Objektoberfläche.
Eine Verfahrensvariante sieht dabei vor, dass die Strukturelemente der Muster derart gewählt werden, dass diese eine vom linken und rechten Rand der projizierten Musterfläche zur Mitte der projizierten Musterfläche hin symmetrische gegenläufige Helligkeitsabstufung mit hohem Kontrast aufweisen. Durch die für jedes Musterelement, hier insbesondere für die Streifen, fest definierte Helligkeit kann die Helligkeit gegenläufig derart verteilt werden, dass der Kontrast je zweier benachbarter Strukturelemente immer möglichst hoch ist. Das ist mit der im Stand der Technik [1] vorgeschlagenen pseudo-zufälligen Verteilung nicht gegeben, die durch pseudo-zufällige Helligkeitsvariation häufig benachbarte Strukturelemente mit sehr geringem Kontrastunterschied erzeugt. Diese sind hier gegenüber [1] eindeutig definiert, so dass damit die lokale spatiale Auflösung in der x-y-Ebene weiter erhöht werden kann.
Zur Generierung der Streifenmuster wird eine De Bruijn-Zahlenfolge (siehe [3]) verwendet, mit denen verschiedene Kombinationen einer Untermenge von n benachbarten Streifen bei k verschiedenen Farben nebeneinander umgesetzt werden. Damit kann gegenüber dem Stand der Technik [2] die Anzahl der unterschiedlichen Farben frei definiert werden (z.B. 3, 4 oder 5 Farben), so dass sich voneinander stark unterscheidende Farben oder Grauwerte verwendet werden können. Dabei ist nach der Erfindung vorgesehen, dass zwischen den Farbstreifen eindeutig unterscheidbare, z.B. dunkle bzw. schwarze Streifen als Seperatoren eingefügt werden, so dass in jeder Kante ein hoher Kontrast sichergestellt ist. Dabei kann zur zusätzlichen Erhöhung der Streifenzahl dieses Muster wiederholt werden, da die sich wiederholenden Streifen-Untermengen genügend weit auseinander liegen. Die Schnittpunkte aus vertikalen Streifen und Stereo-Epipolarlinien aus rektifizierten Bildern ergeben eine relativ dichte Tiefenkarte.
Zur Erhöhung der Robustheit gegenüber unterschiedlichen Oberflächenreflexionseigenschaften können als Variante der Farbstreifenmuster die De Bruijn-Zahlenfolge nicht mit k Farben sondern mit k verschiedenen Helligkeitswerten in einer oder zwei von drei Kanälen einer Farbkamera, insbesondere den Primärfarben Rot, Grün und Blau kodiert werden. Statt kontinuierlicher Farb- oder Grauwertübergänge werden in dem hier vorgeschlagenen Verfahren eine definierte Anzahl von wenigen stark voneinander unterschiedlichen Farben oder Grauwerten verwendet, so dass die Identifikation der einzelnen Farben bzw. Grauwerte in den aufgenommenen Bildern und die Zuordnung der Streifen im linken und rechten Bild robust erfolgen können. Dies wird durch die sich nicht wiederholenden Subsequenzen benachbarter Streifen erreicht. Im Gegensatz zu den im Stand der Technik [4], [5] bzw. [6] beschriebenen Verfahren wird mit dem erfindungsgemäßen Verfahren erreicht, dass eine Unterscheidung der einzelnen Streifen oder Bildspalten und damit eine eindeutige Korrespondenzpunktzuordnung vom rechten zum linken Bild ermöglicht wird. Die Nachteile hinsichtlich der geringen Kontraste und der Abhängigkeit der Intensitätsverhältnisse von der Streifenfarbe sowie der Farbauflösung der verwendeten Bildsensoren werden damit verringert. Ebenso kann eine Abhängigkeit von den Oberflächeneigenschaften minimiert werden.
In einfacher Weise ist vorgesehen, dass zur Erzeugung der Muster ein Dia verwendet wird, auf dem die Strukturelemente in Form von Bandsperrfiltern unterschiedlicher Dämpfung oder in Form von lichtundurchlässigen Bereichen aufgebracht sind. Die Bandsperrfilter lassen z.B. bei einer Weißlichtquelle alle Lichtwellenlängen außer den Lichtwellenlängen einer bestimmten Farbe (z.B. rot) ungehindert durch. Die einzelnen Strukturelemente dämpfen jeweils unterschiedlich stark lediglich den einen Wellenlängenbereich des Bandsperrfilters ab (hier z.B. rot), so dass dadurch ein strukturiertes Muster mit unterschiedlichen Helligkeitsstufen z.B. der Farbe Rot erzeugt werden kann. Dieses Dia kann im Strahlengang zwischen einer Lichtquelle und der Objektoberfläche platziert werden. So können sowohl Dias mit Farbmustern als auch zueinander ins Verhältnis gesetzte Grauwertmuster in unterschiedlichen Farbkanälen gewählt werden. Je nach Objektbeschaffenheit können durch Wechsel des Dias unterschiedliche Muster projiziert werden. Damit kann beispielsweise die Gitterkonstante oder die Helligkeitsabstufungen an die Messaufgabe angepasst werden. Ebenso lässt sich auch die Farbe der Muster an die Objektfarbe anpassen. Grundsätzlich sind auch rechnergestützte Mustergeneratoren denkbar, mit denen ein oder mehrere LCD-Filter im Strahlengang zwischen Lichtquelle und Objektoberfläche angesteuert werden können.
Eine Verfahrensvariante sieht vor, dass die Objektoberfläche mit den Bildsensoren bei einer gleichförmigen Referenzhelligkeit als Referenzbild R(x,y) und das Bild der Objektoberfläche mit projiziertem Muster als Strukturbild S(x,y) aufgenommen wird, wobei die Blickwinkel der Bildsensoren bei beiden Aufnahmen nacheinander oder gleichzeitiger Aufnahme gleich bleiben, und das Strukturbild S(x,y) und das Referenzbild R(x,y) zueinander pixelweise zu einem Verhältnisbild SR(x,y) ins Verhältnis gesetzt werden. Das Verhältnisbild SR(x,y) verstärkt den Kontrast und ist wesentlich unabhängiger von Oberflächeneigenschaften wie Betrachtungswinkel, Farbe, Helligkeit, Oberflächenrauhigkeit und -neigung oder Textur, wodurch eine eindeutige Zuordnung der einzelnen Strukturelemente im linken zum rechten Stereo-Bild ermöglicht wird. Eine Korrespondenzpunktzuordnung ist wesentlich robuster gegenüber Störeinflüssen und Variationen der Objektoberfläche und wird damit wesentlich erleichtert.
Dabei wird die pixelweise Verhältnisbildung anhand einer experimentell oder rechnerisch ermittelten Tabelle bestimmt, die einer Lichtempfindlichkeitskennlinie der Bildsensoren für den jeweiligen Wellenlängenbereich des projizierten Strukturelementes entspricht. Mit diesem LUT-Verfahren (Look-up Table) können diese Rechenoperationen sehr schnell durchgeführt werden, so dass sehr schnelle Bildfolgen realisiert werden können.
Als Bildsensoren werden bevorzugt hochdynamische Graubildkameras (z.B. 10 bis 16 bit CCD oder CMOS-Kameras) oder Farbbildkameras (z.B. mit 8 bis 10 bit Farbtiefe) eingesetzt, die einerseits eine hohe Auflösung und andererseits eine hohe Empfindlichkeit sowie ein geringes Rauschen aufweisen.
Zur zusätzlichen Erhöhung der Robustheit bei der Identifikation der einzelnen Musterelemente, z.B. des zuvor beschriebenen Streifenmusters, können die Strukturelemente des projizierten Musters zusätzlich mit Texturmerkmalen, wie schraffierte Schräglinien, Kreise, Kreuze etc., überlagert werden, welche ebenfalls auf dem Projektionsdia aufgebracht sind.
Eine besonders bevorzugte Verfahrensvariante sieht in einem so genannten One-Shot-Verfahren vor, dass das Strukturbild S(x,y) und das Referenzbild R(x,y) gleichzeitig mit den Bildsensoren aufgenommen werden, wobei das Referenzbild R(x,y) mittels einer homogenen farbigen Beleuchtung in einem bestimmten Wellenlängenbereich des sichtbaren Lichtes und das Strukturbild S(x,y) mittels der Strukturblende in einem dazu komplementären Wellenlängenbereich des sichtbaren Lichtes aufgenommen wird. Das Referenzbild R(x,y) wird beispielsweise generiert, indem eine unstrukturierte homogene Beleuchtung im grünen und/ oder blauen Wellenlängenbereich erzeugt wird und gleichzeitig das Strukturbild S(x,y) mittels einer strukturierten Beleuchtung im roten Wellenlängenbereich generiert wird. Diese Verfahrensvariante ermöglicht eine Shading-Korrektur insbesondere bei dynamischen Bildszenen mit bewegten Objekten. Damit werden beispielsweise auch schnelle Objektanalysen während Fertigungsabläufen mit kurzen Fertigungstaktzeiten ermöglicht. Dies bietet zusätzliche Vorteile gegenüber dem Stand der Technik [4] bzw. [6].
Dabei kann das homogene farbige Licht zur Aufnahme des Referenzbildes R(x,y) und das strukturierte Licht zur Aufnahme des Strukturbildes S(x,y) durch einen semitransparenten Strahlteiler auf die Objektoberfläche projiziert werden, womit sich insgesamt für einen derartigen Projektor ein kompakter und auch kostengünstiger Aufbau, ohne mechanisch bewegte Teile, ergibt.
Für die Projektion zur Aufnahme des Referenzbildes R(x,y) und des Strukturbildes S(x,y) wird näherungsweise monochromatisches Licht unterschiedlicher Farbe oder Weißlicht mit verschiedenen Farbfiltern in getrennten oder im selben Lichtweg verwendet. Als näherungsweise monochromatische Lichtquellen werden insbesondere farbige LEDs eingesetzt, mit denen sich inzwischen sehr kompakte, leistungsfähige und zudem kostengünstige Lichtquellen für die Projektion realisieren lassen.
Zur Bestimmung einer 3D-Objektlage im Raum kann vorgesehen sein, dass vor den zu detektierenden Bauteilen bzw. Objektoberflächen jeweils ein Trainingsobjekt in einer Einlernphase von verschiedenen Seiten mit einem oder mehreren Bildsensoren mit Farbstreifen oder alternativ dazu zum einen mit dem projizierten Muster und zum anderen mit unstrukturierter Beleuchtung nacheinander oder gleichzeitig aufgenommen und eine 3D-Punktewolke für jede Ansicht aus dem jeweiligen Verhältnisbild SR(x,y) oder dem Strukturbild S(x,y) bestehend aus dem Farbstreifenbild rekonstruiert wird und die 3D-Punktewolke der verschiedenen Ansichten zu einem Trainingsmodell im 3D-Raum überlagert werden. Weiterhin ist vorgesehen, dass zur Objektlagebestimmung eine 3D-Punktewolke aus einer bestimmten Ansicht generiert und in diese 3D-Punktewolke das Trainingsmodell angepasst wird, indem das Trainingsmodell durch Transformation skaliert, gedreht und/ oder verschoben wird. Die Endlage des Trainingsmodells in der 3D-Punktewolke entspricht der 3D-Lage im Raum des zu detektierenden Zielobjektes. Man erhält damit eine 3D-Objektlageerkennung durch ein so genanntes 3D-Matching eines trainierten Modells.
Besonders bevorzugt wird das Abstandsbild aus den Bildern wie folgt berechnet: Aus den segmentierten Farb-/Grauwertstreifen der Kamerabilder und der als Strukturblende vorliegenden Diavorlage (z.B. BMP-Bild) werden die Mittellinien beispielsweise mit dem Skeleton-Operator und/ oder die Streifenkanten extrahiert und daraus zeilenweise Zahlenreihen generiert, welche den jeweiligen Farb/Grauwert der Streifenbildmittellinie repräsentieren, beispielsweise 0 = Schwarz, 1 = Gelb, 2 = Magenta, 3 = Blaugrün bzw. Cyan, 4 = Weiß. Jeweils n benachbarte Zahlen der vollständigen Diavorlage werden mit den Zahlenreihen aller Bilder für jede einzelne Bildzeile separat gematcht. Bei einem Stereoaufbau werden jeweils die sich entsprechenden Epipolarlinien in den rektifizierten Bildern gematcht.
Treten Lücken in den Zahlenreihen auf, z.B. durch Verdeckung oder Zusammenwachsen einzelner Streifen, so dass dort keine Mittellinie und/ oder Streifenkanten extrahiert wurde, so werden diese anhand der vollständigen Diavorlage aufgefüllt, so dass eine möglichst vollständige korrekte Zuordnung der Streifenmittellinien und/ oder Streifenkanten sichergestellt ist. Aus dieser Zuordnung können die Disparitäten für jeden Mittelstreifenpunkt und/ oder Streifenkantenpunkt in jeder Bildzeile entweder aus der pixelweisen Verschiebung der Bildgeber oder aus der Triangulation mit den kalibrierten Streifen des Projektors berechnet werden.
Optional kann z.B. mit Dynamic Programming Methoden zeilenweise die Zuordnung verbessert werden. Fehlzuordnungen oder fehlerhafte Korrespondenzen in einzelnen Linien können durch eine vertikale Ausreißerkorrektur (z.B. Medianfilterung) interpoliert werden.
Das erfindungsgemäße Verfahren, wie es in seinen verschiedenen Varianten zuvor beschrieben wurde, kann beispielsweise zur Oberflächenprüfung, Oberflächenvermessung, beispielsweise bei Sichtprüfplätzen oder Oberflächenqualitätsprüfsystemen, zur Objektlagebestimmung, insbesondere für Fügeprozesse, Greif- und Ablegeaufgaben oder Sortieraufgaben beim Einsatz von Roboter-Handlingssystemen, oder für einen 3D-Scanner eingesetzt werden. Insbesondere kann das Verfahren auch als schnelles 3D-Scanning-System beispielsweise zur Lagekontrolle von bewegten Bauteilen bzw. Objektoberflächen eingesetzt werden.
Figurenliste
Die Erfindung wird im Folgenden anhand der in den Figuren dargestellten Ausführungsbeispiele näher erläutert. Es zeigen:

1 in schematischer Darstellung eine Sensorikanordnung zur 3D-Rekonstruktion aus Stereobildern mit Referenzarm,
2 in schematischer Darstellung ein weiteres Ausführungsbeispiel für eine Sensorikanordnung ohne Referenzarm,
3 eine Strukturblende zur Erzeugung eines Projektionsmusters mit Streifen unterschiedlicher, fest definierter Helligkeiten,
4 ein Referenzbild R(x,y), aufgenommen von einer linken und einer rechten Kamera,
5 ein Strukturbild S(x,y) der gleichen Szenerie wie in 4,
6 ein Verhältnisbild SR(x,y), welches aus dem Referenzbild R(x,y) aus 4 und dem Strukturbild S(x,y) aus 5 gebildet wurde,
7 eine Strukturblende zur Erzeugung farbiger Streifenfolgen gemäß dem Stand der Technik,
8 eine Strukturblende zur Erzeugung einer farbigen Streifenfolge gemäß der Erfindung,
9 eine Strukturblende zur Erzeugung von entsprechend den Farbkanälen einer Kamera kodierten Streifen und entsprechend anderen Farbkanälen homogener Helligkeit,
10 eine Strukturblende zur Erzeugung einer Streifenfolge mit zusätzlichen Mustern,
11 eine Szenerie, dargestellt als Strukturbild S(x,y) (11a), als Referenzbild R(x,y) (11b) sowie als Verhältnisbild SR(x,y) (11c) und
12 eine zweite Szenerie, dargestellt wie in 11.

Beschreibung der Ausführungsbeispiele
1 zeigt eine Sensorikanordnung 1 zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche 10 aus der Korrespondenz von Pixeln der Bilder eines ersten Bildsensors 20 (links) und mindestens eines zweiten Bildsensors 30 (rechts), die zueinander in einer Stereo-Anordnung stehen, wobei mittels einer ersten Lichtquelle 60 und einer dazu korrespondierenden Linsenanordnung 50 homogenes Licht auf die Objektoberfläche 10 projizierbar ist und mit einer zweiten Lichtquelle 80, einer zur zweiten Lichtquelle 80 korrespondierenden Linsenanordnung 70 und einer Strukturblende 90 Grauwertmuster oder Farbmuster mit definierten lokal unterschiedlichen Helligkeiten oder Farben auf die Objektoberfläche 10 projizierbar sind.
Die Strukturblende 90 weist Grauwertmuster oder Farbmuster mit einer konstanten spatialen Auflösung in x-y-Ebene auf. Jedes Strukturelement der Muster besitzt einen von seinen Nachbarelementen stark unterschiedlichen Helligkeitswert. Die Strukturelemente sind in Form von Bandsperrfiltern unterschiedlicher Dämpfung oder in Form von lichtundurchlässigen Bereichen auf einem Dia, welches sich im Strahlengang zwischen der zweiten Lichtquelle 80 und der Objektoberfläche 10 befindet, aufgebracht.
Erfindungsgemäß weist die Sensorikanordnung 1 einen semitransparenten Strahlteiler 40 auf, durch den das homogene Licht der ersten Lichtquelle 60 und das strukturierte Licht der zweiten Lichtquelle 80 gleichzeitig auf die Objektoberfläche 10 projizierbar ist.
Bei dem bevorzugten Ausführungsbeispiel der Vorrichtung nach 2 ist eine Sensorikanordnung 1 mit einem sehr kompakten Aufbau eines Projektors gezeigt, wobei gegenüber 1 ein Referenzarm eingespart ist. Dieser Aufbau umfasst eine Hochleistungs-Leuchtdiode (LED) als Lichtquelle 60, deren Licht die als Farb-Dia ausgebildete Strukturblende 90 durchstrahlt. Die Linsenanordnung 50 dient als Objektiv des Projektors. Zum Schutz der Strukturblende 90 ist zwischen Lichtquelle 60 und Strukturblende 90 ein IR-Filter 100 angeordnet, der insbesondere den Temperatureintrag auf die Strukturblende 90 reduzieren soll. Die Objektoberfläche 10 wird mittels zweier Farbkameras (Bildsensoren 20, 30) erfasst.
3 zeigt eine Strukturblende 90 in einer beispielhaften Ausgestaltung. Dabei sind die Strukturelemente eines Streifenmusters derart gewählt, dass diese eine vom linken und rechten Rand der projizierten Musterfläche zur Mitte der projizierten Musterfläche hin symmetrische gegenläufige Helligkeitsabstufung mit hohem Kontrast aufweist. Die Streifenfarben bzw. Grauwerte können für ein effizientes und robustes Matching von Zahlenfolgen des rechten und linken Bildes mit den vollständigen Zahlenfolgen der Streifen des projizierten Musters z.B. wie folgt kodiert werden, dass der Wert „+2“ für ein Kontrastverhältnis steht, wenn der linke und rechte Nachbarstreifen, jeweils getrennt durch einen schwarzen Streifen, heller ist als der betrachtete Streifen. Der Wert „-2“ bedeutet, dass der linke und rechte Nachbarstreifen dunkler ist. Ein Wert ,,-1" bedeutet, dass der linke Nachbarstreifen dunkler und der rechte Nachbarstreifen heller ist. Ein Wert ,,+1" bedeutet schließlich, dass der linke Nachbarstreifen heller und der rechte Nachbarstreifen dunkler ist.
In einfacher Weise ist vorgesehen, dass als Strukturblende 90 ein Dia verwendet wird, auf dem die Strukturelemente in Form von Bandsperrfiltern unterschiedlicher Dämpfung oder in Form von lichtundurchlässigen Bereichen aufgebracht sind. Das Dia ist dabei, wie in 1 gezeigt, im Strahlengang zwischen der Lichtquelle 80 und dem Strahlteiler 40 angeordnet. Eine einfache Realisierung des Dias ergibt sich mit einem mittels Dia-Belichter projizierten BMP-Bildes, mit dem ein Standard-Kleinbild-Diafilm belichtet wird. Alternativ kann auf eine Glasscheibe mittels eines Lasers die Farbe in verschiedenen Schichten aufgebracht werden.
Mit der Sensorikanordnung und der verwendeten Strukturblende lässt sich eine Kontrastverbesserung und Unabhängigkeit gegenüber Objektoberflächeneinflüssen realisieren. Dazu ist lediglich eine Aufnahme der Objektoberfläche 10 erforderlich, so dass vorteilhaft das Verfahren bzw. die Vorrichtung bei dynamischen Bildszenen anwendbar ist.
Dieses so genannten One-Shot-Verfahren sieht vor, dass ein Referenzbild R(x,y) 110 (siehe 4) und ein Strukturbild S(x,y) 120 (siehe 5) gleichzeitig mit den Bildsensoren 20, 30 aufgenommen werden, wobei das Referenzbild R(x,y) 110 mittels einer homogenen farbigen Beleuchtung in einem bestimmten Wellenlängenbereich des sichtbaren Lichtes und das Strukturbild S(x,y) 120 mittels der Strukturblende 90 in einem dazu komplementären Wellenlängenbereich des sichtbaren Lichtes aufgenommen wird. Das Referenzbild R(x,y) 110 wird, wie in 1 gezeigt, beispielsweise generiert, indem eine unstrukturierte homogene Beleuchtung im grünen und/ oder blauen Wellenlängenbereich erzeugt wird und gleichzeitig das Strukturbild S(x,y) 120 mittels einer strukturierten Beleuchtung im roten Wellenlängenbereich generiert wird. Dabei werden das homogene farbige Licht zur Aufnahme des Referenzbildes R(x,y) 110 und das strukturierte Licht zur Aufnahme des Strukturbildes S(x,y) 120 z.B. durch den semitransparenten Strahlteiler 40 oder durch das One-Shot-Dia nach 2 auf die Objektoberfläche 10 projiziert.
Für die Projektion zur Aufnahme des Referenzbildes R(x,y) 110 und des Strukturbildes S(x,y) 120 wird bevorzugt näherungsweise monochromatisches Licht unterschiedlicher Farbe oder Weißlicht mit verschiedenen Farbfiltern verwendet. Als näherungsweise monochromatische Lichtquellen 60, 80 in 1 werden bevorzugt farbige LEDs eingesetzt. Die Lichtquelle 60 ist dabei als blau bzw. blau-grün leuchtende LED und die Lichtquelle 80 als rot leuchtende LED ausgebildet.
Als Bildsensoren 20, 30 werden bevorzugt hochdynamische Graubildkameras (z.B. 10 bis 16 bit CCD- oder CMOS-Kameras) oder Farbbildkameras (z.B. mit 8 bis 12 bit Farbtiefe) eingesetzt.
Für eine Shading-Korrektur werden das Strukturbild S(x,y) 120 (5) und das Referenzbild R(x,y) 110 (4) zueinander pixelweise zu einem Verhältnisbild SR(x,y) 130 (6) mittels der Beziehung $SR (x,y) {=S}_{rot} (x,y) {/R}_{blau/gr \ddot{u} n} (x,y)$
ins Verhältnis gesetzt. Dabei wird die pixelweise Verhältnisbildung anhand einer experimentell oder rechnerisch ermittelten Tabelle bestimmt, die einer Lichtempfindlichkeitskennlinie der Bildsensoren 20, 30 für den jeweiligen Wellenlängenbereich des projizierten Strukturelementes entspricht. Mit diesem LUT-Verfahren (Look-up Table) können diese Rechenoperationen sehr schnell durchgeführt werden, so dass sehr schnelle Bildfolgen realisiert werden können.
Das Verhältnisbild SR(x,y) 130 verstärkt den Kontrast und ist wesentlich unabhängiger von Oberflächeneigenschaften wie Betrachtungswinkel, Farbe, Helligkeit, Oberflächenrauhigkeit und -neigung oder Textur, wodurch eine eindeutige Zuordnung der einzelnen Strukturelemente im linken zum rechten Stereo-Bild ermöglicht wird. Durch die Unterdrückung von Oberflächeninformationen ist eine Korrespondenzpunktzuordnung wesentlich robuster gegenüber Störeinflüssen und Variationen der Objektoberfläche und wird damit wesentlich erleichtert.
7 zeigt eine Strukturblende 90 zur Erzeugung farbiger Streifenfolgen gemäß dem Stand der Technik [2]. Zur Generierung der Streifenmuster wird eine De Bruijn-Zahlenfolge verwendet, mit denen kⁿ verschiedene Kombinationen einer Untermenge von n benachbarten Streifen bei k verschiedenen Farben nebeneinander umgesetzt werden. Hier ist die Anzahl der Farben, mit denen die Streifenmuster generiert werden, auf acht Streifenfarben festgelegt. Lediglich die Anzahl der möglichen Farbübergänge kann variiert werden. Die Streifenfolge ist generiert in Anlehnung an [2] mit n = 3 benachbarten Streifen, die je eine Subsequenz bilden und k = 5 erlaubten Farbübergängen. Im Bild kommen alle möglichen 8 Farben vor, aber nur 5 Farbübergänge. Jede 3er Streifen-Subsequenz tritt nur einmal in der ganzen Streifenfolge bestehend aus kⁿ = 125 Streifen auf. Benachbarte Streifen können dabei auch sich ähnelnde Farben wie Magenta (Rosa) und Rot oder Weiß und Gelb aufweisen, die sich in einem Farbkanal, d.h. erlaubte Farbübergänge in mindestens einem Kanal d_j, unterscheiden. Diese Streifenübergänge können im Reflexionsbild bei beliebigen Objektoberflächen 10 oft nicht mehr voneinander unterschieden werden.
Erfindungsgemäß ist daher vorgesehen, dass zwischen den Farbstreifen dunkle bzw. schwarze Streifen als Seperatoren eingefügt werden.
8 zeigt eine Strukturblende 90 zur Erzeugung farbiger Streifenfolgen, wobei zur Generierung der Streifenmuster nach [6] eine De Bruijn-Zahlenfolge verwendet wird. Diese weist eine Subsequenz mit n = 3 benachbarten Streifen auf, wobei zwischen diesen Farbstreifen schwarze Streifen eingefügt sind. Für die De Bruijn-Zahlenfolge wurde hier k = 4 in diesem Beispiel zulässigen Farben Blau, Grün, Rot und Weiß sowie n = 3 für die Streifen-Nachbarschaft gewählt, so dass es insgesamt 2 * kⁿ = 128 Streifen inkl. der schwarzen Zwischenstreifen gibt.
9 zeigt eine Strukturblende 90 zur Erzeugung einer weiteren farbigen Streifenfolge. Diese wurde analog der in 8 dargestellten Streifenfolge generiert, wobei statt der k = 4 Farben 4 verschiedene Helligkeitswerte im Rot- und im Blau-Kanal des RGB-Bildes kodiert sind, während der Grün-Kanal einen homogenen Referenzgrauwert (hier 128) aufweist. Zudem werden die Farbstreifenmuster mit k verschiedenen Farbsättigungswerten in nur einer oder zwei der drei Primärfarben Rot, Grün und Blau kodiert.
Die in den 7, 8 und 9 dargestellten farbigen Strukturblenden 90 eignen sich besonders, wenn als Lichtquellen 60, 80 Weißlichtquellen verwendet werden.
In 10 ist eine weitere Streifenfolge als Strukturblende 90 dargestellt, bei der zur zusätzlichen Erhöhung der Robustheit bei der Identifikation der einzelnen Musterelemente die Strukturelemente des projizierten Musters zusätzliche Texturmerkmale, z.B. schraffierte Schräglinien, Kreise, Kreuze etc., aufweisen. Diese können ebenfalls auf dem Projektionsdia aufgebracht sein.
11 zeigt in einer Abfolge ein Objekt, welches mit einem projiziertem Muster, wie es beispielsweise als Strukturblende 90 in 9 dargestellt ist, zum einen als Strukturbild S(x,y) 120, siehe 11a, und unter Beibehaltung der Blickwinkel der Bildsensoren 20, 30, bei einer gleichförmigen unstrukturierten Beleuchtung als Referenzbild R(x,y) 110, siehe 11b, aufgenommen wurde. Durch Anwendung einer pixelweisen Verhältnisbildung nach der Gleichung $SR (x,y) =S (x,y) /R (x,y)$
analog Gleichung (2) erhält man ein normiertes Verhältnisbild SR(x,y) 130, siehe 11c, wodurch ebenfalls eine Unterdrückung von Oberflächeninformationen für eine robustere Korrespondenzpunktzuordnung erzielt werden kann. Beide Aufnahmen wurden im gezeigten Beispiel zeitlich versetzt mit 10bit CCD-Kameras aufgenommen.
12 zeigt eine andere Szenerie, aufgenommen wie die Szenerie aus 11, wobei 12a das Strukturbild S(x,y) 120, 12b das Referenzbild R(x,y) 110 und 12c das normierte Verhältnisbild SR(x,y) 130 zeigen.
Mit dem erfindungsgemäßen Verfahren und der erfinderischen Ausgestaltung der Vorrichtung kann ein preiswertes 3D-Scanning-System realisiert werden, welches ein breites Anwendungsspektrum im Bereich der Oberflächenqualitätskontrolle sowie im Bereich von Objektlageerkennungssystemen, insbesondere bei bewegten Bauteilen bzw. Objektoberflächen, ermöglicht. Die Einsatzgebiete können u.a. sein: Roboter-Handlingssysteme, automatisierte Fügeprozesse, 3D-Handscanner z.B. für die Medizintechnik oder allgemein zur 3D-Digitalisierung beliebiger Objekte oder Anwendungen im Bereich der Virtual Reality.
Gegenüber dem Stand der Technik kann mit dem Verfahren und der Vorrichtung die Stabilität der Korrespondenzpunktzuordnung insbesondere bei der Oberflächenprüfung, bei Oberflächenvermessungen oder bei der Lagekontrolle von Bauteilen bzw. Objektoberflächen erhöht werden.

Claims

Verfahren zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche (10) aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors (20), der die Szene aufnimmt, wobei mittels eines Projektors mit einer Strukturblende (90) Muster mit Strukturelementen in Form von streifenförmigen Farbmustern konstanter Streifenbreite und mit definierten lokal unterschiedlichen Helligkeiten auf die Objektoberfläche (10) projiziert werden, wobei die Muster mit einer konstanten spatialen Auflösung in x-y-Ebene projiziert werden und jedes Strukturelement derart gewählt wird, dass jedes einen von seinem benachbarten Strukturelement stark unterschiedlichen Helligkeitswert besitzt, und wobei zwischen den Farbstreifen eindeutig unterscheidbare Streifen als Seperatoren eingefügt werden, dadurch gekennzeichnet, dass zur Generierung der Streifenmuster eine De Bruijn-Zahlenfolge verwendet wird, mit denen verschiedene Kombinationen einer Untermenge von n benachbarten Streifen bei k verschiedenen Farben nebeneinander umgesetzt werden, dass die Farbstreifenmuster mit einer Anzahl von verschiedenen Helligkeitswerten in einem oder zwei von drei Kanälen einer Farbkamera kodiert werden und in dem dritten Kanal eine gleichmäßige Referenzhelligkeit erzeugt wird, dass die Objektoberfläche (10) mit den Bildsensoren (20, 30) bei einer gleichförmigen Referenzhelligkeit als Referenzbild R(x,y) (110) und die Objektoberfläche (10) mit projiziertem Muster als Strukturbild S(x,y) (120) aufgenommen wird, wobei die Blickwinkel der Bildsensoren (20, 30) sowohl bei einer zeitlich nacheinander folgenden als auch bei einer gleichzeitigen Aufnahme beider Bilder gleich bleiben und das Strukturbild S(x,y) (120) und das Referenzbild R(x,y) (110) zueinander pixelweise zu einem Verhältnisbild SR(x,y) (130) ins Verhältnis gesetzt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mit mindestens einem ersten Bildsensor (20) und mindestens einem zweiten Bildsensor (30), die die Szene in Stereo-Anordnung aufnehmen, oder mit nur einem Bildsensor (20) und einem dazu kalibrierten Projektor zur Projektion der Muster auf die Objektoberfläche (10) das Abstandsbild erzeugt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Strukturelemente der Muster derart gewählt werden, dass diese eine vom linken und rechten Rand der projizierten Musterfläche zur Mitte der projizierten Musterfläche hin symmetrische gegenläufige Helligkeitsabstufung mit hohem Kontrast aufweisen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die drei Kanäle der Farbkamera den Primärfarben Rot, Grün und Blau entsprechen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erzeugung der Muster ein Dia verwendet wird, auf dem die Strukturelemente in Form von Bandsperrfiltern unterschiedlicher Dämpfung oder in Form von lichtundurchlässigen Bereichen aufgebracht sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die pixelweise Verhältnisbildung anhand einer experimentell oder rechnerisch ermittelten Tabelle bestimmt wird, die einer Lichtempfindlichkeitskennlinie der Bildsensoren (20, 30) für den jeweiligen Wellenlängenbereich des projizierten Strukturelementes entspricht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass den Strukturelementen des projizierten Musters zusätzlich Texturmerkmale überlagert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Strukturbild S(x,y) (120) und das Referenzbild R(x,y) (110) gleichzeitig mit mindestens einem der Bildsensoren (20, 30) aufgenommen werden, wobei das Referenzbild R(x,y) (110) mittels einer homogenen farbigen Beleuchtung in einem bestimmten Wellenlängenbereich des sichtbaren Lichtes und das Strukturbild S(x,y) (120) mittels der Strukturblende (90) in einem dazu komplementären Wellenlängenbereich des sichtbaren Lichtes aufgenommen wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das homogene farbige Licht zur Aufnahme des Referenzbildes R(x,y) (110) und das strukturierte Licht zur Aufnahme des Strukturbildes S(x,y) (120) durch einen semitransparenten Strahlteiler (40) auf die Objektoberfläche (10) projiziert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Projektion zur Aufnahme des Referenzbildes R(x,y) (110) und des Strukturbildes S(x,y) (120) näherungsweise monochromatisches Licht unterschiedlicher Farbe oder Weißlicht mit verschiedenen Farbfiltern in getrennten oder im selben Lichtweg verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung einer 3D-Objektlage im Raum vor den zu detektierenden Bauteilen bzw. Objektoberflächen (10) jeweils ein Trainingsobjekt in einer Einlernphase von verschiedenen Seiten mit einem oder mehreren Bildsensoren (20, 30) zum einen mit dem projizierten Muster und zum anderen mit unstrukturierter Beleuchtung nacheinander oder gleichzeitig aufgenommen und eine 3D-Punktewolke für jede Ansicht aus dem jeweiligen Verhältnisbild SR(x,y) (130) oder dem Strukturbild S(x,y) (120) rekonstruiert wird und die 3D-Punktewolke der verschiedenen Ansichten zu einem Trainingsmodell im 3D-Raum überlagert werden.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass zur Objektlagebestimmung eine 3D-Punktewolke aus einer bestimmten Ansicht generiert und in diese 3D-Punktewolke das Trainingsmodell eingepasst wird, indem das Trainingsmodell durch Transformation skaliert, gedreht und/ oder verschoben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den Streifenmustern der mit den Bildsensoren (20, 30) aufgenommenen Kamerabilder und der Strukturblende (90) mittels Rechenoperationen Mittellinien und/ oder Streifenkantenlinien extrahiert und daraus zeilenweise Zahlenreihen generiert werden, welche den jeweiligen Farb- bzw. Grauwert der Streifenmittellinie und/ oder Streifenkantenlinien repräsentieren, wobei jeweils n benachbarte Zahlen der vollständigen als Strukturblende (90) vorliegenden Diavorlage mit den Zahlenreihen aller Bilder für jede einzelne Bildzeile korreliert oder bei einer Stereo-Anordnung der Bildsensoren (20, 30) jeweils die sich entsprechenden Epipolarlinien in den Bildern nach Rektifizierung derselben korreliert werden.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass beim Auftreten von Lücken in den Zahlenreihen diese anhand der vollständigen als Strukturblende (90) vorliegenden Diavorlage aufgefüllt werden.
Verfahren nach einem der Ansprüche 13 oder 14, dadurch gekennzeichnet, dass mittels Ausreißerkorrekturen einzelne Zahlenreihen interpoliert werden.
Anwendung des Verfahrens nach einem der Ansprüche 1 bis 15 zur Oberflächenprüfung, Oberflächenvermessung, zur Objektlagebestimmung, insbesondere für Fügeprozesse, Greif- und Ablegeaufgaben oder Sortieraufgaben, oder für einen 3D-Scanner.
Vorrichtung mit einer Sensorikanordnung (1) zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche (10) aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors (20, 30), wobei mindestens eine Lichtquelle (60, 80) vorgesehen ist, welche ein homogenes Licht und zusammen mit einer Strukturblende (90) ein Muster in Form von Farbmustern mit definierten lokal unterschiedlichen Helligkeiten auf die Objektoberfläche (10) projizierend ausgebildet ist, wobei die Strukturblende (90) Muster mit einer konstanten spatialen Auflösung in x-y-Ebene aufweist und jedes Strukturelement der Muster einen von seinem benachbarten Strukturelement stark unterschiedlichen und großen, in mindestens einem Bildsensor (20, 30) sicher unterscheidbaren Helligkeitswert besitzt, dadurch gekennzeichnet, dass die Vorrichtung in der Weise ausgebildet ist, dass zur Generierung der Streifenmuster eine De Bruijn-Zahlenfolge verwendet wird und die Farbstreifenmuster mit einer Anzahl von verschiedenen Helligkeitswerten in einem oder zwei von drei Kanälen einer Farbkamera kodiert werden und in dem dritten Kanal eine gleichmäßige Referenzhelligkeit erzeugt wird, dass die Objektoberfläche (10) mit den Bildsensoren (20, 30) bei einer gleichförmigen Referenzhelligkeit als Referenzbild R (x, y) (110) und die Objektoberfläche (10) mit projiziertem Muster als Strukturbild S(x,y) (120) aufgenommen wird, wobei die Blickwinkel der Bildsensoren (20, 30) sowohl bei einer zeitlich nacheinander folgenden als auch bei einer gleichzeitigen Aufnahme beider Bilder gleich bleiben und das Strukturbild S(x,y) (120) und das Referenzbild R(x,y) (110) zueinander pixelweise zu einem Verhältnis SR(x,y) (130) ins Verhältnis gesetzt werden.
Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die Strukturelemente in Form von Bandsperrfiltern unterschiedlicher Dämpfung oder in Form von lichtundurchlässigen Bereichen auf einem Dia, welches sich im Strahlengang zwischen einer Lichtquelle (60,80) und der Objektoberfläche (10) befindet, aufgebracht sind.
Vorrichtung nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass die Sensorikanordnung (1) einen semitransparenten Strahlteiler (40) aufweist, durch den das homogene Licht einer ersten Lichtquelle (60) und das strukturierte Licht einer zweiten Lichtquelle (80) gleichzeitig auf die Objektoberfläche (10) projizierbar ist.
Vorrichtung nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass die erste bzw. die zweite Lichtquelle (60, 80) näherungsweise monochromatisch oder als Weißlichtquellen, denen unterschiedliche Farbfilter insbesondere mit einem Dia zugeordnet sind, ausgebildet sind.
Vorrichtung nach einem der Ansprüche 17 bis 20, dadurch gekennzeichnet, dass die Bildsensoren (20, 30) hochdynamische Graubildkameras oder Farbbildkameras sind.