[go: up one dir, main page]

WO2008141924A1 - Method and device for detecting the surface of a spatial object - Google Patents

Method and device for detecting the surface of a spatial object Download PDF

Info

Publication number
WO2008141924A1
WO2008141924A1 PCT/EP2008/055558 EP2008055558W WO2008141924A1 WO 2008141924 A1 WO2008141924 A1 WO 2008141924A1 EP 2008055558 W EP2008055558 W EP 2008055558W WO 2008141924 A1 WO2008141924 A1 WO 2008141924A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
different
object point
lighting
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2008/055558
Other languages
German (de)
French (fr)
Inventor
Günter DOEMENS
Claudio Laloni
Michael Stockmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Publication of WO2008141924A1 publication Critical patent/WO2008141924A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Definitions

  • the invention relates to a method and a device for surface detection of a three-dimensional object surface, wherein generally image acquisition with structured illumination and triangulation takes place.
  • the simplest generation of defined spatial levels are Patoscuro stripes in the object lighting. At this point, however, unambiguousness is disturbed very quickly with corresponding depth jumps on the object surface. This problem is reversed gene by the so-called gray code, each lighting level in space is clearly defined by the one temporal sequence of binary patterns.
  • the disadvantage lies in the significantly lower data rate in relation to systems without this coding, since the coding requires a large number of video images, such as eight images.
  • the methods based on stripe patterns also have the disadvantage that the depth information can only be determined at edge transitions, but not within the structures.
  • phase shift method can be used.
  • a sinusoidally modulated brightness distribution in different phase angles and periods is sequentially applied to the
  • the invention is thus based on the object of describing a method and a device for three-dimensional object detection, which avoids disadvantages according to the prior art.
  • the invention is based on the finding that, while maintaining the general procedure for the surface Formation of a spatial object by means of structured illumination and different lighting and recording direction can achieve a significant procedural simplification, acceleration and reproduction security by the application of a coding of the structured light according to the invention.
  • This structuring of the light is represented by a temporal coding of the optical triangulation, whereby the complete acquisition of a three-dimensional image can be achieved by means of only two video images.
  • the spatial coordinates of an object point are determined from the intersection of a plane and a ray. This is the case if a camera beam / line of sight intersects a plane, an illumination plane for which a specific time code applies and which is thus uniquely identifiable.
  • the object point lies both on the line of sight and on the lighting level.
  • the spatial position of the one or, in the case of further combinations for the multiplicity of object surface points, in each case their position results from the visual ray and its direction through the determined illumination plane. Overall, it can be a complete three-dimensional image composed.
  • time coding and optical triangulation to fully capture a three-dimensional image provides significant benefits. For industrial applications, significant advantages in terms of a higher data rate compared to existing methods can be expected.
  • the spatial position of a plane can be detected by means of the time coding of the illumination on the camera image. Since previous methods have long used color or different black-and-white sequences or phase shifts as a coding criterion, although they had different disadvantages, the use of time-coded structured illumination represents an essential inventive step Step by step. With the time coding, the spatial plane or the beam on which the object point lies is clearly coded or identified by the illumination duration T n prevailing at the object point. In order to verify illumination levels with different illumination durations, for example, a bright-dark edge is moved in front of the illumination in such a way that a unique but different illumination duration T n arises for each position on the object surface.
  • DMD digital mirror device
  • Essential for the invention is the detection of the illumination duration for each individual object point or for each pixel in a camera image and thus the determination of the spatial level or of the beam on which the individual object point is located.
  • Essential for the invention is advantageously an integrating
  • the illumination of the field of view is started by the movement of the light-dark edge synchronously with the beginning of the integration of the semiconductor camera.
  • the full illumination is achieved well before the end of the integration time in order to duration of the individual pixels should not be too different. For example, can
  • T S ⁇ ⁇ / 2.
  • the illumination duration T n of any object point then depends uniquely on its position and the temporal movement behavior of the light-dark edge.
  • the time T n is calculated from the respective voltage U n in the case of dynamic illumination and from the respective voltage Ug n during the complete illumination over the entire integration time Tg, the latter being known from the first recorded camera image.
  • Illuminating beam on which the single object point is located.
  • FIG. 1 shows the principle of a method for recording three-dimensional object surfaces, wherein a so-called light-dark edge 3 passes by a lighting unit
  • Figure 2 shows a representation corresponding to Figure 1, wherein the geometric assignment of planes is represented by discrete light sources arranged side by side.
  • FIG. 3 shows three essential method steps which, by means of triangulation and the acquisition of two different video images of a scene, produce an image with a three-dimensional character.
  • the advantages of the invention are, in particular, that a high data rate can be processed, since only three video images are required per recorded three-dimensional image, if ambient-independent three-dimensional measurements for each pixel are possible, a monochromatic process is possible, which in particular has high stability or robustness has ambient light, - the method is largely independent of the imaging quality of the active illumination, which is represented for example by a light-dark edge, the edge sharpness is considered.
  • the principle of the invention can be sketched in such a way that each illumination plane in the three-dimensional object image is clearly coded or assigned over the illumination duration or the temporal beginning of the illumination, and the pixel-specific illumination duration or the temporal start of the illumination directly from the video signal of the individual pixel is determined.
  • gray code method phase shift method
  • color-coded triangulation so-called time-coded triangulation / time-coded triangulation has advantages:
  • the time-coded triangulation thus has a total of a larger number of significant advantages over the method known in the art at the same cost.
  • So-called phase-shift methods are associated with the disadvantage of a low data rate.
  • so-called color-coded triangulation method has a high data rate, but is disadvantageous in other respects.
  • FIG. 1 shows a broken, three-dimensional / spatial object 1 shown in section. Furthermore, an integrating semiconductor camera 2 is indicated. The object surface is designated 4. A visual ray or measuring beam or camera beam with the corresponding direction bears the reference numeral 5. Illumination rays 7 are directed from the illumination 8 onto the object 1. To generate a coding, a not-shown element, such as a light-dark edge can be moved to the lighting 8, the entire arrangement shown is illuminated and by the movement of the edge a predetermined path-time behavior for the structured illumination of Object surface can be generated.
  • a not-shown element such as a light-dark edge can be moved to the lighting 8, the entire arrangement shown is illuminated and by the movement of the edge a predetermined path-time behavior for the structured illumination of Object surface can be generated.
  • FIG. 2 shows a representation corresponding to FIG. 1, wherein the illumination 8 has been replaced by an arrangement of individual light sources 6, so that a temporal coding for the
  • Generation of the structured illumination of the object surface 4 by optional switching of the discrete light sources can be generated.
  • the different positions the individual light sources as well as a time-variable switching on and off of the generation of different operating times or different operating start or end of operation are exploited.
  • FIG. 3 shows three main steps for carrying out the method described, wherein in step 1 a semiconductor camera is first used with a different illumination start and fixed integration time with full illumination to form an image acquisition.
  • the formula for the slope of the corresponding recorded voltage UQ n in the form of a tan ⁇ is shown.
  • Tg the integration time
  • a device for evaluating this time profile of the illumination contains a particularly suitable semiconductor chip which outputs this value or these values to each pixel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The invention relates to a method and a device for detecting the surface of a spatial object (1) by means of imaging over an area or along a line, structured illumination, and different directions of illumination (7) and imaging (5), characterized in that, by means of different temporal illumination processes of object points or object point groups, the illumination direction (7) present at the respective object point (P) is determined and based thereon, in conjunction with the direction of the line of sight (5) of the imaging, the room coordinates of the object point are calculated.

Description

Beschreibungdescription

Verfahren und Vorrichtung zur Oberflachenerfassung eines raumlichen ObjektesMethod and device for surface detection of a spatial object

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Oberflachenerfassung einer dreidimensionalen Objektoberflache, wobei allgemein eine Bilderfassung mit strukturierter Beleuchtung und Triangulation erfolgt.The invention relates to a method and a device for surface detection of a three-dimensional object surface, wherein generally image acquisition with structured illumination and triangulation takes place.

In der industriellen Bildverarbeitung wird zunehmend die Erfassung und Verarbeitung dreidimensionaler Bilder aufgrund der Komplexität der Aufgabenstellung sowie der notwendigen Zuverlässigkeit erforderlich. Ahnliches gilt für die Bereiche Safety / Sicherheitstechnik zum Schutz von Personen und Secu- rity / Sicherheitstechnik zur Zugangsuberwachung, sowie auch für den Bereich Medizintechnik. Dabei werden hohe Anforderungen an die Datenrate, die Dynamik sowie die Auflosung der dreidimensionalen Bildinformationen gestellt. Zusatzlich sollten aus Kostengrunden weitgehend Standardkomponenten Verwendung finden. Derzeit kommen hierfür in erster Linie Verfahren der Videobildverarbeitung in Verbindung mit aktiver Beleuchtung und Triangulation zur Anwendung. Unter aktiver Beleuchtung ist insbesondere eine strukturierte Beleuchtung zu verstehen.In industrial image processing, the acquisition and processing of three-dimensional images is increasingly required due to the complexity of the task and the necessary reliability. The same applies to the areas of safety / security technology for the protection of persons and security / security technology for access control, as well as for medical technology. High demands are placed on the data rate, the dynamics and the resolution of the three-dimensional image information. In addition, for reasons of cost, largely standard components should be used. At present, methods of video image processing in conjunction with active illumination and triangulation are used primarily for this purpose. Active illumination is to be understood in particular as structured illumination.

Die heute in der Regel eingesetzten dreidimensionalen (3D)- Verfahren auf der Basis von Videokameras und Triangulation unterscheiden sich im Wesentlichen durch die Art der aktiven Beleuchtung. Allen Verfahren ist dabei gemeinsam, dass die Raumkoordinaten eines Objektpunktes durch den Schnitt eines Sehstrahls (Beobachtungsstrahl) der Videokamera und einer Raumebene, welche durch die aktive Beleuchtung vorgegeben und bekannt ist, bestimmt wird. Die einfachste Generierung von definierten Raumebenen stellen Hell-Dunkel-Streifen bei der Objektbeleuchtung dar. An dieser Stelle wird jedoch sehr schnell bei entsprechenden Tiefensprungen an der Objektoberflache die Eindeutigkeit gestört. Dieses Problem wird umgan- gen durch den so genannten Grey-Code, wobei jede Beleuchtungsebene im Raum durch die eine zeitliche Sequenz von Binärmustern eindeutig definiert ist. Der Nachteil liegt in der deutlich geringeren Datenrate im Verhältnis zu Systemen ohne diese Codierung, da mit der Codierung eine Vielzahl von Videobildern erforderlich wird, wie beispielsweise acht Bilder. Auch haben die auf Streifenmustern basierenden Verfahren grundsätzlich den Nachteil, dass die Tiefeninformation nur an Kantenübergängen bestimmt werden kann, nicht jedoch innerhalb der Strukturen.The three-dimensional (3D) methods based on video cameras and triangulation, which are generally used today, differ essentially in the type of active illumination. Common to all methods is that the spatial coordinates of an object point are determined by the intersection of a visual ray (observation beam) of the video camera and a spatial plane which is predetermined and known by the active illumination. The simplest generation of defined spatial levels are chiaroscuro stripes in the object lighting. At this point, however, unambiguousness is disturbed very quickly with corresponding depth jumps on the object surface. This problem is reversed gene by the so-called gray code, each lighting level in space is clearly defined by the one temporal sequence of binary patterns. The disadvantage lies in the significantly lower data rate in relation to systems without this coding, since the coding requires a large number of video images, such as eight images. In principle, the methods based on stripe patterns also have the disadvantage that the depth information can only be determined at edge transitions, but not within the structures.

Zur Lösung des oben angesprochenen Problems kann das so genannte Phasen-Shift-Verfahren eingesetzt werden. Hier wird eine sinusförmig modulierte Helligkeitsverteilung in unter- schiedlichen Phasenlagen und Perioden sequentiell auf dasTo solve the above-mentioned problem, the so-called phase shift method can be used. Here, a sinusoidally modulated brightness distribution in different phase angles and periods is sequentially applied to the

Projekt projiziert. Nachteilig gestaltet sich hier allerdings auch die Vielzahl von erforderlichen Videobildern zur Gewinnung eines einzigen dreidimensionalen Bildes. Durch unterschiedliche farbige Gestaltung der Beleuchtungsebenen kann aus einem einzigen Videobild auch die Lage der Beleuchtungsebenen im Raum bestimmt werden. Die daraus resultierende hohe Datenrate für die 3D-Bilder hat jedoch den Nachteil, dass nur an den Kanten 3D-Informationen gewonnen werden können. Ferner führt die Verwendung eines breiten Farbspektrums zu einer hö- heren Empfindlichkeit gegenüber Tageslicht.Project projected. However, the variety of required video images for obtaining a single three-dimensional image is disadvantageous here. By different colored design of lighting levels can be determined from a single video image, the location of the lighting levels in the room. However, the resulting high data rate for the 3D images has the disadvantage that only at the edges 3D information can be obtained. Furthermore, the use of a broad color spectrum leads to a higher sensitivity to daylight.

Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur dreidimensionalen Objekterfassung zu beschreiben, welche/s Nachteile entsprechend dem Stand der Technik vermeidet.The invention is thus based on the object of describing a method and a device for three-dimensional object detection, which avoids disadvantages according to the prior art.

Die Lösung dieser Aufgabe geschieht durch die Merkmalskombination des Patentanspruchs 1 bzw. des Anspruchs 16. Vorteilhafte Ausgestaltungen sowie Verwendungen sind den Unteran- Sprüchen zu entnehmen.The solution of this problem is achieved by the combination of features of claim 1 and claim 16. Advantageous embodiments and uses are given in the subclaims.

Der Erfindung liegt die Erkenntnis zugrunde, dass unter Beibehaltung der allgemeinen Verfahrensweise zur Oberflächener- fassung eines räumlichen Objektes mittels strukturierter Beleuchtung und unterschiedlicher Beleuchtungs- und Aufnahmerichtung eine wesentliche Verfahrensvereinfachung, Beschleunigung und Reproduktionssicherheit durch die Anwendung einer erfindungsgemäßen Codierung des strukturierten Lichtes erzielen lässt. Diese Strukturierung des Lichtes wird durch eine zeitliche Codierung der optischen Triangulation dargestellt, wodurch mittels lediglich zweier Videobilder die vollständige Erfassung eines dreidimensionalen Bildes erzielbar ist. Die räumlichen Koordinaten eines Objektpunktes werden aus dem Schnittpunkt einer Ebene und eines Strahls bestimmt. Dies liegt vor, falls ein Kamerastrahl/Sehstrahl eine Ebene schneidet, eine Beleuchtungsebene, für die eine bestimmte Zeitcodierung zutrifft und die somit eindeutig identifizier- bar ist. Der Objektpunkt liegt dabei sowohl auf dem Sehstrahl als auch auf der Beleuchtungsebene. An dieser Stelle kann ein geometrisches Berechnungsverfahren ansetzen, wobei in der Regel zweckmäßigerweise die Triangulation verwendet wird. Somit ergibt sich aus dem Sehstrahl und dessen Richtung durch die ermittelte Beleuchtungsebene eindeutig die räumliche Position des einen oder bei weiteren Kombinationen für die Vielzahl von Objektoberflächenpunkten jeweils deren Position. Insgesamt lässt sich daraus ein vollständiges dreidimensionales Bild zusammensetzen.The invention is based on the finding that, while maintaining the general procedure for the surface Formation of a spatial object by means of structured illumination and different lighting and recording direction can achieve a significant procedural simplification, acceleration and reproduction security by the application of a coding of the structured light according to the invention. This structuring of the light is represented by a temporal coding of the optical triangulation, whereby the complete acquisition of a three-dimensional image can be achieved by means of only two video images. The spatial coordinates of an object point are determined from the intersection of a plane and a ray. This is the case if a camera beam / line of sight intersects a plane, an illumination plane for which a specific time code applies and which is thus uniquely identifiable. The object point lies both on the line of sight and on the lighting level. At this point can set a geometric calculation method, which is usually expediently triangulation used. Thus, the spatial position of the one or, in the case of further combinations for the multiplicity of object surface points, in each case their position results from the visual ray and its direction through the determined illumination plane. Overall, it can be a complete three-dimensional image composed.

Die Kombination der Zeitcodierung und der optischen Triangulation zur vollständigen Erfassung eines dreidimensionalen Bildes ergibt wesentliche Vorteile. Für industrielle Anwendungen sind wesentliche Vorteile hinsichtlich einer höheren Datenrate im Vergleich zu bestehenden Verfahren zu erwarten.The combination of time coding and optical triangulation to fully capture a three-dimensional image provides significant benefits. For industrial applications, significant advantages in terms of a higher data rate compared to existing methods can be expected.

Die räumliche Lage einer Ebene kann mittels der Zeitcodierung der Beleuchtung am Kamerabild erkannt werden. Da bisherige Verfahren lange Zeit als Codierungskriterium Farbe oder un- terschiedliche Schwarz-Weiß-Sequenzen oder Phasenverschiebungen eingesetzt haben, obwohl damit unterschiedliche Nachteile vorhanden waren, stellt der Einsatz einer zeitcodierten strukturierten Beleuchtung einen wesentlichen erfinderischen Schritt dar. Mit der Zeitcodierung wird die Raumebene oder der Strahl, auf dem der Objektpunkt liegt, eindeutig durch die an dem Objektpunkt herrschende Beleuchtungsdauer Tn codiert bzw. gekennzeichnet. Zur Verifizierung von Beleuch- tungsebenen mit jeweils unterschiedlicher Beleuchtungsdauer wird beispielsweise eine Hell-Dunkelkante derart vor der Beleuchtung bewegt, dass für jede Position auf der Objektoberfläche eine eindeutige, aber unterschiedliche Beleuchtungsdauer Tn entsteht.The spatial position of a plane can be detected by means of the time coding of the illumination on the camera image. Since previous methods have long used color or different black-and-white sequences or phase shifts as a coding criterion, although they had different disadvantages, the use of time-coded structured illumination represents an essential inventive step Step by step. With the time coding, the spatial plane or the beam on which the object point lies is clearly coded or identified by the illumination duration T n prevailing at the object point. In order to verify illumination levels with different illumination durations, for example, a bright-dark edge is moved in front of the illumination in such a way that a unique but different illumination duration T n arises for each position on the object surface.

Die Aufbringung einer derartig strukturierten Beleuchtung auf einer Objektoberfläche kann vorteilhafterweise durch eine dynamische Beleuchtung über einen Digital Mirror Device (DMD) realisiert werden, wobei simuliert wird, dass eine optische Kante, die sich bewegt, erzeugt wird, insbesondere bei makroskopischen Anwendungen im Bereich von Safety und Securi- ty ist auch eine Anordnung von Halbleiter-Lichtquellen sinnvoll, die definierte Beleuchtungsstrahlen erzeugen und deren Codierung bzw. die Codierung des Lichtes wird durch eine zeitlich versetzte Einschaltung erzeugt.The application of such a structured illumination on an object surface can advantageously be realized by means of dynamic illumination via a digital mirror device (DMD), wherein it is simulated that an optical edge that moves is generated, in particular in the case of macroscopic applications in the field of safety and Securi- ty is also an arrangement of semiconductor light sources makes sense, the defined light beams generate and their coding or the coding of the light is generated by a time-delayed activation.

Wesentlich für die Erfindung ist die Erkennung der Beleuchtungsdauer für jeden einzelnen Objektpunkt bzw. für jedes Pixel in einem Kamerabild und damit die Bestimmung der Raumebe- ne oder des Strahls, auf dem der einzelne Objektpunkt sich befindet. Hierzu wird vorteilhafterweise eine integrierendeEssential for the invention is the detection of the illumination duration for each individual object point or for each pixel in a camera image and thus the determination of the spatial level or of the beam on which the individual object point is located. For this purpose is advantageously an integrating

Halbleiterkamera mit m mal n Elementen eingesetzt, die über eine Integrationszeit Tg an jedem Pixel die lokale Beleuchtungsstärke aufintegriert und als Ergebnis eine Spannung Ugn liefert. Die Steigung dieses Anstiegs an einem beliebigen Pixel n beträgt dann bei exakter Integration und konstanter Beleuchtung innerhalb der Integrationszeit Tg: tan α = UgnZTg^ Semiconductor camera with m times n elements used, which integrates over an integration time Tg at each pixel, the local illuminance and as a result provides a voltage Ug n . The slope of this rise at any pixel n is then, with exact integration and constant illumination within the integration time Tg: tan α = Ug n ZTg ^

In einem weiteren Kamerabild wird nun synchron zum Beginn der Integration der Halbleiter-Kamera die Beleuchtung des Gesichtsfeldes über die Bewegung der Hell-Dunkel-Kante gestartet. Zweckmäßigerweise wird die volle Beleuchtung deutlich vor dem Ende der Integrationszeit erreicht, um die Beleuch- tungsdauer der einzelnen Pixel nicht zu unterschiedlich ausfallen zu lassen. Beispielsweise kannIn another camera image, the illumination of the field of view is started by the movement of the light-dark edge synchronously with the beginning of the integration of the semiconductor camera. Conveniently, the full illumination is achieved well before the end of the integration time in order to duration of the individual pixels should not be too different. For example, can

TS = τθ/2 sein. Die Beleuchtungsdauer Tn eines beliebigen Objektpunktes hängt dann eindeutig von dessen Lage sowie dem zeitlichen Bewegungsverhalten der Hell-Dunkel-Kante ab. Für jeden einzelnen Objektpunkt errechnet sich die Zeit Tn aus der jeweiligen Spannung Un bei dynamischer Beleuchtung sowie aus der jeweiligen Spannung Ugn bei der vollständigen Beleuchtung über die gesamte Integrationszeit Tg hinweg, wobei letztere aus dem ersten aufgenommenen Kamerabild bekannt ist. T S = τ θ / 2. The illumination duration T n of any object point then depends uniquely on its position and the temporal movement behavior of the light-dark edge. For each individual object point, the time T n is calculated from the respective voltage U n in the case of dynamic illumination and from the respective voltage Ug n during the complete illumination over the entire integration time Tg, the latter being known from the first recorded camera image.

Eine mathematische Beziehung für den Zusammenhang entsprechend dem letzten Absatz ist wie folgtA mathematical relationship for the context according to the last paragraph is as follows

Figure imgf000007_0001
Figure imgf000007_0001

Durch die beschriebene Kombination einer dynamischen Beleuchtung und einer Vollbildbeleuchtung wird für jeden einzelnen Bildpunkt die Beleuchtungsdauer aus dem resultierenden Karae- rabild bestimmbar und damit die Beleuchtungsebenen bzw. derThe described combination of dynamic lighting and full-screen illumination makes it possible to determine the illumination duration from the resulting carcase image for each individual pixel and thus the lighting levels or the illumination level

Beleuchtungsstrahl, auf dem sich der einzelne Objektpunkt befindet .Illuminating beam on which the single object point is located.

Der Einsatz einer bewegbaren Hell-Dunkel-Kante zur Erzeugung einer Lichtcodierung erlaubt darüber hinaus eine lückenloseThe use of a movable light-dark edge to generate a light coding also allows a gapless

Erfassung der dreidimensionalen Koordinaten aller Objektpunkte. Die Verwendung von monochromatischem Licht, vorzugsweise im nahen Infrarotbereich macht das Verfahren insgesamt gegenüber Umgebungsbeleuchtung robust. Ein zusätzlicher Vorteil liegt in einer weiteren Unempfindlichkeit gegenüber einer unscharfen Abbildung aufgrund der Quotientenbildung zweier integraler Intensitätswerte am gleichen Ort.Acquisition of the three-dimensional coordinates of all object points. The use of monochromatic light, preferably in the near infrared range, renders the process overall robust to ambient lighting. An additional advantage lies in a further insensitivity to a blurred image due to the quotient of two integral intensity values at the same location.

Im Folgenden werden anhand der schematischen begleitenden Figuren Ausführungsbeispiele beschrieben: Figur 1 zeigt das Prinzip eines Verfahrens zur Aufnahme von dreidimensionalen Objektoberflächen, wobei an einer Beleuchtungseinheit eine so genannte Hell-Dunkel- Kante 3 vorbeiläuft,Exemplary embodiments are described below with reference to the schematic accompanying figures: FIG. 1 shows the principle of a method for recording three-dimensional object surfaces, wherein a so-called light-dark edge 3 passes by a lighting unit,

Figur 2 zeigt eine Darstellung entsprechend Figur 1, wobei die geometrische Zuordnung von Ebenen durch diskrete nebeneinander angeordnete Lichtquellen dargestellt wird.Figure 2 shows a representation corresponding to Figure 1, wherein the geometric assignment of planes is represented by discrete light sources arranged side by side.

Figur 3 zeigt drei wesentliche Verfahrensschritte, die mittels Triangulation und der Aufnahme von zwei unterschiedlichen Videobildern einer Szene ein Bild mit dreidimensionalem Charakter ergibt.FIG. 3 shows three essential method steps which, by means of triangulation and the acquisition of two different video images of a scene, produce an image with a three-dimensional character.

Die Vorteile der Erfindung liegen insbesondere darin, dass eine hohe Datenrate verarbeitbar ist, da pro aufgenommenem dreidimensionalen Bild lediglich zwei Videobilder erforderlich sind, - umgebungsunabhängige dreidimensionale Messungen für jedes Pixel möglich sind, ein monochromatisches Verfahren möglich ist, welches insbesondere eine hohe Stabilität bzw. Robustheit gegenüber Umgebungslicht aufweist, - das Verfahren weitgehend unabhängig von der Abbildungsqualität der aktiven Beleuchtung ist, die beispielsweise durch eine Hell-Dunkel-Kante dargestellt ist, wobei die Kantenschärfe betrachtet wird.The advantages of the invention are, in particular, that a high data rate can be processed, since only three video images are required per recorded three-dimensional image, if ambient-independent three-dimensional measurements for each pixel are possible, a monochromatic process is possible, which in particular has high stability or robustness has ambient light, - the method is largely independent of the imaging quality of the active illumination, which is represented for example by a light-dark edge, the edge sharpness is considered.

Das Prinzip der Erfindung lässt sich derart skizzieren, dass jede Beleuchtungsebene bei der dreidimensionalen Objektaufnahme eindeutig über die Beleuchtungsdauer bzw. den zeitlichen Beginn der Beleuchtung codiert bzw. zugeordnet wird, und die pixelspezifische Beleuchtungsdauer bzw. der zeitliche Be- ginn der Beleuchtung unmittelbar aus dem Videosignal des einzelnen Pixels bestimmt wird. Im Vergleich zur bekannten Grey-Code-Verfahren, Phasen-Shift- Verfahren, Colour-coded Triangulation, weist die so genannte Time-coded Triangulation/zeitcodierte Triangulation Vorteile auf:The principle of the invention can be sketched in such a way that each illumination plane in the three-dimensional object image is clearly coded or assigned over the illumination duration or the temporal beginning of the illumination, and the pixel-specific illumination duration or the temporal start of the illumination directly from the video signal of the individual pixel is determined. Compared to the well-known gray code method, phase shift method, color-coded triangulation, so-called time-coded triangulation / time-coded triangulation has advantages:

Es können höhere Datenraten erzielt werden, es wird ein gesamtes dreidimensionales Bild erzeugt, die Robustheit gegen Umgebungsbeleuchtung ist groß und die Robustheit gegenüber Unscharfen im System ist ebenfalls groß.Higher data rates can be achieved, an entire three-dimensional image is generated, the robustness against ambient lighting is high and the robustness against fuzziness in the system is also great.

Die zeitcodierte Triangulation hat somit insgesamt eine größere Anzahl von wesentlichen Vorteilen gegenüber dem im Stand der Technik bekannten Verfahren bei gleichem Kostenaufwand. So genannte Phasen-Shift-Verfahren sind mit dem Nachteil ei- ner niedrigen Datenrate verbunden. So genanntes Colour-coded Triangulations-Verfahren weist zwar eine hohe Datenrate auf, ist jedoch in anderen Punkten nachteilig.The time-coded triangulation thus has a total of a larger number of significant advantages over the method known in the art at the same cost. So-called phase-shift methods are associated with the disadvantage of a low data rate. Although so-called color-coded triangulation method has a high data rate, but is disadvantageous in other respects.

Die Figur 1 zeigt ein aufgebrochenes, im Schnitt dargestell- tes dreidimensionales/räumliches Objekt 1. Weiterhin ist eine integrierende Halbleiter-Kamera 2 angedeutet. Die Objektoberfläche ist mit 4 bezeichnet. Ein Sehstrahl bzw. Messstrahl oder Kamerastrahl mit entsprechender Richtung trägt das Bezugszeichen 5. Beleuchtungsstrahlen 7 werden ausgehend von der Beleuchtung 8 auf das Objekt 1 gerichtet. Zur Erzeugung einer Codierung kann an der Beleuchtung 8 ein nicht näher dargestelltes Element, beispielsweise eine Hell-Dunkel-Kante bewegt werden, wobei die gesamte dargestellte Anordnung beleuchtet ist und durch die Bewegung der Kante ein vorgebbares Weg-Zeit-Verhalten für die strukturierte Beleuchtung der Objektoberfläche erzeugbar ist.FIG. 1 shows a broken, three-dimensional / spatial object 1 shown in section. Furthermore, an integrating semiconductor camera 2 is indicated. The object surface is designated 4. A visual ray or measuring beam or camera beam with the corresponding direction bears the reference numeral 5. Illumination rays 7 are directed from the illumination 8 onto the object 1. To generate a coding, a not-shown element, such as a light-dark edge can be moved to the lighting 8, the entire arrangement shown is illuminated and by the movement of the edge a predetermined path-time behavior for the structured illumination of Object surface can be generated.

Figur 2 zeigt eine zur Figur 1 korrespondierende Darstellung, wobei die Beleuchtung 8 durch eine Anordnung von Einzellicht- quellen 6 ersetzt ist, so dass eine zeitliche Codierung zurFIG. 2 shows a representation corresponding to FIG. 1, wherein the illumination 8 has been replaced by an arrangement of individual light sources 6, so that a temporal coding for the

Erzeugung der strukturierten Beleuchtung der Objektoberfläche 4 durch wahlfreies Schalten der diskreten Lichtquellen erzeugbar ist. Hierzu können die unterschiedlichen Positionen der einzelnen Lichtquellen sowie ein zeitvariables An- und Ausschalten der Erzeugung unterschiedlicher Betriebszeiten bzw. unterschiedlichem Betriebs-Beginn bzw. Betriebs-Ende ausgenutzt werden.Generation of the structured illumination of the object surface 4 by optional switching of the discrete light sources can be generated. For this, the different positions the individual light sources as well as a time-variable switching on and off of the generation of different operating times or different operating start or end of operation are exploited.

Figur 3 zeigt drei hauptsächliche Schritte zur Durchführung des beschriebenen Verfahrens, wobei im Schritt 1 eine Halbleiter-Kamera zunächst mit unterschiedlichem Beleuchtungsbeginn und fester Integrationszeit bei voller Beleuchtung zu einer Bildaufnahme herangezogen werden. Dabei ist die Formel für die Steigung der entsprechend aufgenommenen Spannung UQn in Form eines tan α dargestellt. In einem zweiten Bild entsprechend dem zweiten Schritt wird mit der Integrationszeit Tg wiederum an jedem Pixel innerhalb der Integrationszeit aufintegriert, wobei der Beleuchtungsbeginn Tn für jedes Pixel unterschiedlich sein kann.FIG. 3 shows three main steps for carrying out the method described, wherein in step 1 a semiconductor camera is first used with a different illumination start and fixed integration time with full illumination to form an image acquisition. In this case, the formula for the slope of the corresponding recorded voltage UQ n in the form of a tan α is shown. In a second image corresponding to the second step, with the integration time Tg, in turn, integrated up at each pixel within the integration time, wherein the lighting start of T n for each pixel may be different.

Wesentlich ist die Erfassung des zeitlichen Verlaufs der Beleuchtung je Pixel in der Bildaufnahme. Dabei sind zumindest die Erfassung von Beleuchtungsanfang und Beleuchtungsende, bzw. die Dauer der Beleuchtung zu verstehen. Eine Vorrichtung zur Auswertung dieses zeitlichen Verlaufs der Beleuchtung enthält einen besonders geeigneten Halbleiterchip, der Pro Pixel diesen Wert bzw. diese Werte ausgibt.It is essential to record the time course of the illumination per pixel in the image recording. At least the detection of lighting start and end of lighting, or the duration of the lighting to understand. A device for evaluating this time profile of the illumination contains a particularly suitable semiconductor chip which outputs this value or these values to each pixel.

Die in den Formeln in Figur 3 verwendeten Formelzeichen bedeuten im Einzelnen:The formula symbols used in the formulas in FIG. 3 specifically mean:

Un mittlere Beleuchtungsebene,U n middle lighting level,

Ugn Spannung an beliebigem Pixel n, Tn Beleuchtungsdauer,Ug n voltage at any pixel n, T n illumination duration,

Tg IntegrationszeitTg integration time

P Objektpunkt. P object point.

Claims

Patentansprüche claims 1. Verfahren zur Oberflächenerfassung eines räumlichen Objektes (1) mittels Bildaufnahme über eine Fläche oder entlang einer Linie, strukturierter Beleuchtung, sowie unterschiedlicher Beleuchtungs- (7) und Aufnahmerichtung (5), dadurch gekennzeichnet, dass mittels unterschiedlichem zeitlichen Beleuchtungsverlauf von Objektpunkten oder Objektpunktgruppen die am jeweiligen Ob- jektpunkt (P) vorliegende Beleuchtungsrichtung (7) bestimmt wird und daraus in Verbindung mit der Sehstrahlrichtung (5) der Bildaufnahme die Raumkoordinaten des Objektpunktes berechnet werden.1. A method for surface detection of a spatial object (1) by means of image recording over a surface or along a line, structured illumination, and different lighting (7) and recording direction (5), characterized in that by means of different temporal illumination course of object points or object point groups the the illumination direction (7) present at the respective object point (P) is determined and from this in conjunction with the visual beam direction (5) of the image recording the spatial coordinates of the object point are calculated. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine unterschiedliche Beleuchtungsdauer oder unterschiedlicher Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels einer vor einer Beleuchtungseinheit im Strah- lengang quer bewegten Dunkel/Hell-Kante mit definierter Weg/Zeit-Verhalten erzeugt werden.2. The method according to claim 1, characterized in that a different illumination duration or different illumination start of object points or object point groups are generated by means of a transversely in front of a lighting unit in the beam transversely moving dark / bright edge with a defined path / time behavior. 3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine unterschiedliche Beleuchtungsdauer oder unterschiedlicher Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels einer Digital-Mikrospiegel-Anordnung/DMD zwischen einer Lichtquelle und einem Objekt erzeugt werden.3. The method according to claim 1, characterized in that a different illumination duration or different illumination start of object points or object point groups by means of a digital micromirror arrangement / DMD between a light source and an object are generated. 4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine unterschiedliche Beleuchtungsdauer oder unterschiedlicher Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels einer vorgegebenen Anordnung von Halbleiter- lichtquellen zur aufeinanderfolgenden Generierung von Beleuchtungsstrahlen erzeugt werden. 4. The method according to claim 1, characterized in that a different illumination duration or different illumination start of object points or object point groups by means of a predetermined arrangement of semiconductor light sources for successive generation of illumination beams are generated. 5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der unterschiedliche zeitliche Beleuchtungsbeginn von Objektpunkten oder Objektpunktgruppen mittels unterschiedlichem Beleuchtungsbeginn realisiert wird.5. The method according to any one of the preceding claims, characterized in that the different temporal start of illumination of object points or object point groups is realized by means of different lighting start. 6. Verfahren nach Anspruch 1 - 5, dadurch gekennzeichnet, dass zur Bildaufnahme eine integrierende Halbleiterkamera mit ei- ner Integrationszeit T0 eingesetzt wird, wobei der Beginn einer Beleuchtung innerhalb der Integrationszeit T0 liegt.6. The method of claim 1-5, characterized in that for image recording an integrating semiconductor camera is used with an integration time T 0 , wherein the beginning of a lighting within the integration time T 0 is located. 7. Verfahren nach eine der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Beleuchtungsbeginn Tn für ein Pixel n mittels der Ausgangsspannung Uon berechnet wird, die sich aus der Beleuchtung über die gesamte Integrationszeit TO ergibt, sowie aus der Ausgangsspannung Un , die sich bei der gleichen Beleuchtung mit zeitlicher Verzögerung Tn ergibt, und dass daraus die Beleuchtungsrichtung für diesen Objektpunkt festgelegt ist und in Verbindung mit der Sehstrahlrichtung der Bildaufnahme die Raumkoordinaten des Objektpunktes berechnet werden.7. The method according to any one of the preceding claims, characterized in that the illumination start Tn is calculated for a pixel n by means of the output voltage Uo n , resulting from the illumination over the entire integration time TO, as well as from the output voltage U n , which at gives the same illumination with a time delay Tn, and that the illumination direction for this object point is determined therefrom, and the spatial coordinates of the object point are calculated in conjunction with the visual beam direction of the image recording. 8. Verfahren nach einem der Ansprüche 1 - 5, dadurch gekennzeichnet, dass zur Bildaufnahme eine Bildaufnahmeeinheit eingesetzt wird, die einen Halbleiterchip aufweist, mit dem an jedem Pixel der unterschiedliche zeitliche Beleuchtungsverlauf erfasst wird.8. The method according to any one of claims 1-5, characterized in that for image recording, an image pickup unit is used which has a semiconductor chip with which the different temporal illumination course is detected at each pixel. 9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Beleuchtung monochromatisches Licht eingesetzt wird.9. The method according to any one of the preceding claims, characterized in that monochromatic light is used for illumination. 10. Verwendung eines Verfahrens entsprechend einem der An- sprüche 1 - 9, zur 2/3-dimensionalen Erfassung von Körperpartien wie einem Gesicht bei der Biometrie. 10. Use of a method according to any one of claims 1-9, for 2/3 dimensional detection of body parts such as a face in biometry. 11. Verwendung eines Verfahrens entsprechend einem der Ansprüche 1-9, zur Volumenbestimmung von Transportgut wie Gepäckstücke oder Schüttgut, beispielsweise auf Förderbändern.11. Use of a method according to any one of claims 1-9, for determining the volume of cargo such as luggage or bulk material, for example on conveyor belts. 12. Verwendung eines Verfahrens entsprechend einem der Ansprüche 1-9, zur Raumüberwachung im Bereich Safety oder Secu- rity, wobei vorzugsweise einzelne Beleuchtungsstrahlen zeitversetzt innerhalb der Integrationszeit der Kamera eingeschaltet werden.12. Use of a method according to any one of claims 1-9, for room monitoring in the safety or security sector, wherein preferably individual illumination beams are switched on with a time delay within the integration time of the camera. 13. Verwendung eines Verfahrens entsprechend einem der Ansprüche 1-9, zur automatischen berührungslosen Formerfassung in der Medizintechnik wie bei Zahntechnik, bei plastischer Chirurgie oder Gehörgangvermessung für eine Hörhilfe.13. Use of a method according to any one of claims 1-9, for automatic non-contact shape detection in medical technology as in dental technology, in plastic surgery or auditory canal measurement for a hearing aid. 14. Verwendung eines Verfahrens entsprechend einem der Ansprüche 1-9, zur automatischen Positionserkennung von Bauelementen in der Montageautomatisierung bei Bauelementen und Modulen .14. Use of a method according to any one of claims 1-9, for automatic position detection of components in the assembly automation of components and modules. 15. Verwendung eines Verfahrens entsprechend einem der Ansprüche 1-9, zur automatischen optischen 2D/3D-Inspektion von Elektronikbaugruppen, sowie mikrotechnischen Modulen und Verbindungen .15. Use of a method according to any one of claims 1-9, for the automatic optical 2D / 3D inspection of electronic assemblies, as well as microtechnical modules and connections. 16. Vorrichtung die zur Oberflächenerfassung eines räumlichen Objektes (1) folgendes aufweist: eine Bildaufnahmeeinheit zur Detektion über einer Fläche oder entlang einer Linie, - eine Beleuchtungseinheit zur Beleuchtung der Objektoberfläche (4), mit zeitkodierter strukturierter Beleuchtung, unterschiedliche Beleuchtungs- (7) und Bildaufnahmerichtung (5) , dadurch gekennzeichnet, dass die Bildaufnahmeeinheit einen Halbleiterchip aufweist, bei dem jedes Pixel den zeitlichen Verlauf der Beleuchtung erfasst. 16. An apparatus for surface detection of a spatial object (1) comprising: an image acquisition unit for detection over a surface or along a line, - a lighting unit for illuminating the object surface (4), with time-coded structured illumination, different illumination (7) and Image pickup direction (5), characterized in that the image pickup unit comprises a semiconductor chip, wherein each pixel detects the time course of the illumination.
PCT/EP2008/055558 2007-05-23 2008-05-06 Method and device for detecting the surface of a spatial object Ceased WO2008141924A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE200710023920 DE102007023920A1 (en) 2007-05-23 2007-05-23 Method and device for surface detection of a spatial object
DE102007023920.5 2007-05-23

Publications (1)

Publication Number Publication Date
WO2008141924A1 true WO2008141924A1 (en) 2008-11-27

Family

ID=39691124

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/055558 Ceased WO2008141924A1 (en) 2007-05-23 2008-05-06 Method and device for detecting the surface of a spatial object

Country Status (2)

Country Link
DE (1) DE102007023920A1 (en)
WO (1) WO2008141924A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015002283B4 (en) 2014-05-09 2023-01-19 Elmos Semiconductor Se Device for, in particular, three-dimensional optical scanning and measuring of objects and for object recognition using time-of-flight measurement and object-dependent spatial resolution of a number of different individual scanners
DE102016108495B3 (en) 2016-03-01 2017-05-18 Elmos Semiconductor Aktiengesellschaft Apparatus for time-to-digital conversion with controlled temporal wavelet compression by means of a transmit wavelet and a controlled delay analysis wavelet
US11187792B2 (en) 2016-03-01 2021-11-30 Elmos Semiconductor Se Device for converting a temporal delay of a signal transmitted between a transmitter and a receiver

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19810495A1 (en) * 1998-03-11 1999-09-23 Bernd Schleifenbaum Optical three-dimensional sensor with very high measurement speed and accuracy for three-dimensional measurement of work piece surfaces
DE10344051A1 (en) * 2003-09-23 2005-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Measurement device for measuring distance and spatial coordinates of object, has light source that generates spatially structured light pattern imaged on object surface using projection optics
WO2007034848A1 (en) * 2005-09-15 2007-03-29 Jfe Steel Corporation Plane distortion measuring device and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19810495A1 (en) * 1998-03-11 1999-09-23 Bernd Schleifenbaum Optical three-dimensional sensor with very high measurement speed and accuracy for three-dimensional measurement of work piece surfaces
DE10344051A1 (en) * 2003-09-23 2005-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Measurement device for measuring distance and spatial coordinates of object, has light source that generates spatially structured light pattern imaged on object surface using projection optics
WO2007034848A1 (en) * 2005-09-15 2007-03-29 Jfe Steel Corporation Plane distortion measuring device and method

Also Published As

Publication number Publication date
DE102007023920A1 (en) 2008-12-04

Similar Documents

Publication Publication Date Title
EP1053140B1 (en) Method for detecting objects located on a transparent panel, and corresponding device
DE60133026T2 (en) ACCURATE ALIGNMENT OF IMAGES IN DIGITAL PICTURE SYSTEMS BY ADJUSTING POINTS IN THE PICTURES
DE102013013791B4 (en) Method and device for non-contact measurement of surface contours
EP2400261A1 (en) Optical measurement method and system for determining 3D coordination in a measuring object surface
EP1784978A1 (en) Method and device for representing a digital image on a surface which is non-trivial in terms of its geometry and photometry
DE102009009372A1 (en) Monitoring of tiltable mirrors
EP2019281B1 (en) Method for operating a 3D sensor
DE102017222708A1 (en) 3D environment detection via projector and camera modules
DE102009018464B4 (en) Optical sensor
DE102015103785A1 (en) Method and device for calibrating a camera
EP3433577A1 (en) Device and method for linking measurement signals from lighting signals
DE102010017604A1 (en) Method for determining structure or geometry of object by sensor system such as optical or x-ray sensor system integrated in coordinate measuring device, involves accomplishing two measurements by object at same measuring point
EP2887010B1 (en) Method and device for three dimensional optical measurement of objects with a topometric measuring method and computer programme for same
DE102015208442A1 (en) Method and device for determining at least one object image in an environment around a non-sensitive optical image sensor
WO2008141924A1 (en) Method and device for detecting the surface of a spatial object
DE102015208285A1 (en) DEVICE AND METHOD FOR SPATIAL MEASUREMENT OF SURFACES
DE102016109131B4 (en) Method for the three-dimensional detection of an object
WO2024251542A1 (en) Device for capturing a spatial image of a surrounding area which is moving relative to the device, and method for operating same
WO2020127828A1 (en) Device, measurement system and method for capturing an at least partly reflective surface using two reflection patterns
EP3647851B1 (en) Microscopy device for producing three-dimensional images
DE10301094B4 (en) Device for measuring the distance of distance points to a camera
DE102009057724B4 (en) Image capture device and method for reducing motion blur
EP0919784A2 (en) Device to determine three dimensional data from objects
DE102024206379B3 (en) Procedure for calibrating a camera system
EP3158287B1 (en) Method for detecting an image of a preferably structured surface of an object

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08750101

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08750101

Country of ref document: EP

Kind code of ref document: A1