[go: up one dir, main page]

DE102020200486A1 - Präzise Registrierung von Bildern für die Montagevalidierung - Google Patents

Präzise Registrierung von Bildern für die Montagevalidierung Download PDF

Info

Publication number
DE102020200486A1
DE102020200486A1 DE102020200486.2A DE102020200486A DE102020200486A1 DE 102020200486 A1 DE102020200486 A1 DE 102020200486A1 DE 102020200486 A DE102020200486 A DE 102020200486A DE 102020200486 A1 DE102020200486 A1 DE 102020200486A1
Authority
DE
Germany
Prior art keywords
work surface
piece
controller
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020200486.2A
Other languages
English (en)
Inventor
Kurt D. Rueb
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtek Vision International Inc Waterloo Ca
Original Assignee
Virtek Vision International ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtek Vision International ULC filed Critical Virtek Vision International ULC
Publication of DE102020200486A1 publication Critical patent/DE102020200486A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3161Modulator illumination systems using laser light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Ein Verfahren und eine Vorrichtung zur Überprüfung der Position und Orientierung eines an einer Arbeitsoberfläche befestigten Stücks zur Herstellung eines Werkstücks wird offengelegt. Ein Controller ist mit Konstruktionsdaten für Herstellungsschritte programmiert. Mehrere Schichten von Gewebelagen sind sequentiell über eine Arbeitsoberfläche geschichtet. Ein Abbildungssystem, das in der Lage ist, ein Sichtfeld entlang der Arbeitsoberfläche umzulenken, wird bereitgestellt. Ein Lichtprojektor wird für die Projektion von Referenzmerkmalen auf die Arbeitsoberfläche bereitgestellt. Der Lichtprojektor projiziert ein Referenzmerkmal an eine bekannte Position relativ zu dem an die Arbeitsoberfläche angebrachtem Stück innerhalb des Sichtfeldes der Abbildungsvorrichtung. Die Abbildungsvorrichtung erzeugt ein Bild der vom Lichtprojektor projizierten Referenzmerkmale und des auf die Arbeitsoberfläche angebrachten Stücks. Der Controller vergleicht die Position des Stücks auf der Arbeitsoberfläche mit den Konstruktionsdaten, um die genaue Platzierung des Stücks zu validieren.

Description

  • FRÜHERE ANMELDUNGEN
  • Die vorliegende Anmeldung beansprucht die Priorität der vorläufigen Patentanmeldung Nr. 62/792,969 der Vereinigten Staaten, die am 16. Januar 2019 eingereicht wurde und deren Inhalt hier durch Verweis aufgenommen wird.
  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung bezieht sich im Allgemeinen auf ein Verfahren und eine Vorrichtung zum Prüfen eines Teils, um einen Montageprozess zu validieren. Genauer gesagt bezieht sich die vorliegende Erfindung auf die präzise Registrierung einer Sequenz von Bildern eines Teils nach dem Anbringen eines Stücks an dem Teil, um eine Montagevalidierung zu ermöglichen.
  • HINTERGRUND
  • Bestimmte Arten der Montage erfordern eine Validierung der Platzierung von Komponenten auf einem Substrat oder auf einer Arbeitsoberfläche, wie z.B. einem Dorn. Automatische Validierung kann mit konventionellen Abbildungssystemen schwierig zu erreichen sein. Bei der Erstellung von Verbundteilen werden beispielsweise viele Schichten von Bändern oder Gewebelagen nacheinander auf der Arbeitsoberfläche platziert. Eine typische Komponente kann ein Stück einer Gewebelage oder ein Band sein, das faseriges Material wie z.B. Kohlefaser enthält, das mit einem polymeren Material imprägniert ist. Schichten von Gewebelagen werden auf einen Dorn aufgetragen, die ein im Wesentlichen nicht unterscheidbares Erscheinungsbild zwischen den Schichten aufweisen, da jede Gewebelage identisch ist, außer hinsichtlich der Form und Orientierung des faserigen Materials.
  • Um den Bedarf an manueller Prüfung zu reduzieren, wäre es wünschenswert, den Prüfprozess zu automatisieren, z.B. durch Messung der Position des Stücks und der Faserorientierung mit einer Prüfkamera. Die Werkzeuge, die zur Herstellung von Komponenten verwendet werden, können jedoch sehr groß und die Merkmale des Stücks sehr klein sein (z.B. ein 20-Fuß-Werkzeug, bei dem das Material aus Kohlenstofffasern mit einem Durchmesser von nur tausendstel Zoll besteht). Infolgedessen ist eine Prüfkamera oder ein Prüfgerät normalerweise nicht in der Lage, die Merkmale der einzelnen Stücke direkt aufzulösen, um ihre Platzierung zu validieren. Bemühungen, das Kamerablickfeld mit Hilfe von Galvanometerspiegeln umzulenken, haben sich nicht als zufriedenstellend erwiesen, und die Kosten übersteigen die praktischen Grenzen.
  • Während der Montage wird jedes Stück normalerweise entweder durch eine robotergestützte Verlegemaschine für Glasfaserband oder manuell positioniert, geführt durch ein projiziertes Lasermuster, das als optische Schablone zur Ausrichtung der Stücke in der Baugruppe dient. Bei beiden Arten der Platzierung müssen jedoch die Position jedes Stücks und die Ausrichtung der Fasern innerhalb des Materials bestätigt werden, um die Festigkeit und strukturelle Integrität der herzustellenden Komponente zu gewährleisten. Gegenwärtig wird die Analyse der Platzierungsposition und der Faserorientierung durch manuelle Prüfung bewerkstelligt, wobei die Platzierung jedes Stücks mit einer projizierten Laserschablone verglichen wird. Leider ist diese Prüfmethode recht langsam und anfällig für menschliche Fehler, da die geschichteten Stücke fast nicht zu unterscheiden sind.
  • Um die Notwendigkeit einer manuellen Prüfung zu reduzieren, wäre es wünschenswert, den Prüfprozess zu automatisieren, indem beispielsweise die Position des Stücks und die Faserorientierung mit einer Prüfkamera gemessen wird. Häufig sind jedoch die Werkzeuge, die zur Herstellung von Komponenten verwendet werden, sehr groß und die Merkmale des zu analysierenden Stücks sehr klein (z.B. ein 20-Fuß-Werkzeug, bei dem das Material aus Kohlenstofffasern mit einem Durchmesser von nur tausendstel Zoll besteht). Infolgedessen ist eine Prüfkamera oder ein Prüfgerät in der Regel nicht in der Lage, die Merkmale von einzelnen Stücken direkt aufzulösen, um korrekte Platzierung und Ausrichtung zu validieren. Analyse von kleinen Elementen auf großen Arbeitsoberflächen hat sich als schwer fassbar erwiesen, zum Teil da eine Kamera nicht in der Lage ist, das kleine Element schnell zu lokalisieren und zu fokussieren. Zusätzliche Probleme entstehen, wenn die Arbeitsoberfläche dreidimensional ist. Bemühungen zur Überwindung dieser Schwierigkeiten, auch bei der Einführung von Galvanometerspiegeln, haben sich als nicht zufriedenstellend erwiesen, und die Kosten übersteigen die praktischen Grenzen.
  • Automatisierte Analyse von kleinen Komponenten geformt aus dunklen faserigen Materialien hat sich aufgrund der Absorption und aufgrund der Reflexion von Umgebungslicht auf spiegelähnliche Weise als schwer fassbar erwiesen. Daher wäre es wünschenswert, ein bildgebendes System zu entwickeln, das diese Probleme überwindet und eine zuverlässige und genaue automatische Prüfung, insbesondere bei aufeinanderfolgenden Herstellungsprozessen von Stücken in Schichten, ermöglicht.
  • ZUSAMMENFASSUNG
  • Ein Verfahren und eine Vorrichtung, die zur Überprüfung der Position und Orientierung eines an einer Arbeitsoberfläche befestigten Stücks zur sequentiellen Herstellung eines Werkstücks verwendet werden, wird offengelegt. Ein Controller ist mit Konstruktionsdaten zur sequentiellen Herstellung des Werkstücks programmierbar. In einer nicht einschränkenden Ausführungsform werden mehrere Schichten von Gewebelagen sequentiell über einen Dorn oder eine Arbeitsoberfläche geschichtet. Ein Abbildungssystem, das in der Lage ist, ein Sichtfeld entlang der Arbeitsoberfläche umzulenken, wird bereitgestellt. Ein Lichtprojektor ist für die Projektion von Referenzmerkmalen auf bekannte Positionen auf der Arbeitsoberfläche vorgesehen. Der Lichtprojektor wird als Laserprojektor oder eine andere Lichtquelle betrachtet, die in der Lage ist, Referenzmerkmale auf den Dorn, die Arbeitsoberfläche oder die bereits auf der Arbeitsoberfläche angebrachte Gewebelage zu projizieren. In der beispielhaften Ausführungsform wird das Stück an einer vorbestimmten Position auf der Arbeitsoberfläche angebracht. Nach dem Anbringen projiziert der Lichtprojektor ein Referenzmerkmal auf eine bekannte Position relativ zu dem auf die Arbeitsoberfläche angebrachten Stück, die sich innerhalb des Sichtfeldes der Abbildungsvorrichtung befindet. Die Abbildungsvorrichtung erzeugt ein Bild der vom Lichtprojektor projizierten Referenzmerkmale und des an die Arbeitsoberfläche angebrachten Stücks. Das Bild wird anschließend an den Controller signalisiert. Der Controller vergleicht die Position des Stücks auf der Arbeitsoberfläche, wie sie mit den Referenzmerkmalen registriert ist, mit den Konstruktionsdaten, um die genaue Platzierung des Stücks auf der Arbeitsoberfläche zu validieren.
  • Die moderne Fertigung, bei der z.B. Gewebeaufschichtungen auf Dornen verwendet werden, erfordert eine präzise Platzierung jedes einzelnen Stücks der Gewebelage. Das Verfahren wurde bei der Herstellung von Luft- und Raumfahrt-Verbundkomponenten und sogar von Hochleistungs-Landfahrzeugkomponenten verwendet. Eine falsche Platzierung auch nur eines einzigen Stücks einer Gewebelage könnte zu einem katastrophalen Versagen der Komponente führen. Aus diesem Grund ist eine automatisierte Prüfung entscheidend, um menschliche Fehler zu beseitigen, aber die weit verbreitete Anwendung hat sich als schwer fassbar erwiesen. Die Vorrichtung der vorliegenden Erfindung überwindet Probleme, die mit früheren automatisierten Prüfsystemen verbunden waren, insbesondere wenn große Aufschichtungen von Komponenten die Prüfung sehr kleiner Bereiche erfordern. Koordinierte Ausrichtung des bildgebenden Systems mit dem Lichtprojektor ermöglicht eine schnelle Prüfung jeder großen Komponente. Diese und andere erfinderische Merkmale, die im Folgenden näher beschrieben werden, ermöglichen eine schnelle und hochpräzise Prüfung zur Überwindung der oben beschriebenen Probleme.
  • Figurenliste
  • Andere Vorteile der vorliegenden Erfindung werden sofort erkannt werden, sobald diese durch die folgende detaillierte Beschreibung in Verbindung mit den beigefügten Abbildungen besser verstanden wird, wobei
    • 1 eine schematische Darstellung des Prüfsystems der vorliegenden Erfindung zeigt;
    • 2 eine schematische Darstellung des Prüfsystems mit einem Lichtprojektor zeigt, der positionierende Ziele abtastet; und
    • 3 eine Nahaufnahme von projizierten Referenzmerkmalen, die ein auf einer Arbeitsoberfläche platziertes Stück umschreiben, zeigt.
  • DETAILLIERTE BESCHREIBUNG
  • Hinsichtlich 1 ist ein Prüfsystem der vorliegenden Erfindung im Allgemeinen bei 10 dargestellt. Das System 10 beinhaltet ein Abbildungssystem 12 und einen Lichtprojektor 14. Das Abbildungssystem 12 ist in einer Ausführungsform eine Kamera 16, die durch eine Schwenk-/Neigevorrichtung 18 beweglich ist. Die Schwenk-/Neigevorrichtung 18 bewegt ein Sichtfeld 20 des Abbildungssystems um eine Arbeitsoberfläche 20. Die Kamera 16 enthält auch ein Zoom-Objektiv 24 oder gleichwertiges, um die Klarheit des Bildes zu verbessern, indem das Sichtfeld 20 der Kamera 16 auf die Arbeitsoberfläche 22 fokussiert wird. Das Zoom-Objektiv 23 ist besonders nützlich, wenn die Bildklarheit auf einer dreidimensionalen Arbeitsoberfläche 22 erforderlich ist. Alternativ zu oder in Kombination mit dem Zoom-Objektiv 24 ist die Verwendung einer Kamera 20 mit einer Sensoranordnung mit variablem Fokus, wie sie im Patent Nr. 9.442.075 der Vereinigten Staaten offenbart ist, dessen Inhalt hier der Kürze halber in diese Anmeldung durch Verweis aufgenommen wird. Mit diesem Gerät werden begrenzte Bildbereiche oder -bänder mit einem hohen Grad an Genauigkeit erreicht, was bei der Validierung der genauen Positionierung kleinerer Baugruppen sehr nützlich ist. Daher sollte man sich darüber im Klaren sein, dass das Abbildungssystem 12, das die Schwenk-/Neigevorrichtung 18 und das Zoom-Objektiv 24 verwendet, der Kamera 20 die Möglichkeit bietet, das Sichtfeld 20 schnell um die Oberfläche herum zu bewegen und dabei optimale Schärfe und Bildklarheit beizubehalten, selbst wenn die Arbeitsoberfläche 22 dreidimensional ist. Ein präziserer Fokus wird mit dem Zoom-Objektiv 24 in Pfeilrichtung 25 erreicht, wie im Folgenden näher erläutert wird.
  • Der Lichtprojektor 14 hat in einer Ausführungsform die Form eines Laserprojektors, wie z.B. ein 532 nm grüner Laser oder ein gleichwertiger, im Folgenden als „der Projektor 14“ bezeichnet. Der Projektor 14 projiziert einen Lichtstrahl 26 auf ersten und zweiten Abtastspiegel 28, 30, die den Lichtstrahl 26 auf die Arbeitsoberfläche 22 reflektieren. Der erste Abtastspiegel 28 wird durch einen ersten Galvomotor 32 und der zweite Abtastspiegel 30 durch einen zweiten Galvomotor 34 schwenkbar bewegt. Der erste und der zweite Abtastspiegel 28, 30 werden gemeinsam von dem ersten bzw. zweiten Galvomotor 32, 34 angetrieben, um den Lichtstrahl 26 entlang der Arbeitsoberfläche 22 abzutasten, wie von einem Controller 36 gesteuert. Der Controller 36 ist elektronisch mit dem ersten und zweiten Galvomotor 32, 34 über eine elektrische Schaltung 37 verbunden, wie weiter unten verstanden wird.
  • Die Bewegung der Schwenk-/Neigevorrichtung 18 ist mit der Bewegung des ersten und zweiten Galvomotors 32, 34 koordiniert und wird von dem Controller 36 gesteuert. Der Controller 36 steuert die Schwenk-/Neigevorrichtung 18 so, dass das Sichtfeld 20 der Kamera 16 auf die Position gerichtet wird, auf die der Laserstrahl 26 durch den ersten und zweiten Galvomotor 32, 34 gerichtet wird. Die genaue Ausrichtung der Kamera 16 und die optischen Eigenschaften des Zoom-Objektivs 24 werden ausgewertet und aktualisiert durch die Bewertung eines oder mehrerer Referenzmerkmale 38, die der Laserstrahl 26 auf der Arbeitsoberfläche 22 erzeugt. Daher tastet der Projektor 14 die Referenzmerkmale 38 an Positionen ab, die von den Abtastspiegeln 28, 30 angesteuert werden.
  • In einer Ausführungsform sind die Referenzmerkmale 38, die in das Sichtfeld 20 der Kamera 16 projiziert werden, willkürliche Laserpunkte. Der Controller 36 richtet die Galvomotoren 32, 34 elektronisch so aus, dass die Abtastspiegel 28, 30 den Laserstrahl 26 auf einen interessierenden Bereich richten, wie z.B. die Position eines auf der Arbeitsoberfläche befestigten Stücks (z.B. einer Gewebelage) 40. Die Kamera 16 muss an diesem Punkt lediglich über eine ausreichende Auflösung verfügen, um das auf der Arbeitsoberfläche 22 befestigte Stück 40 zu fokussieren und einen Umfang 42 des Stücks 38 und die Ausrichtung der im Stück 38 angeordneten Fasern 44 zu erkennen. Wie im Rahmen der vorliegenden Anmeldung verwendet, beinhaltet die Arbeitsoberfläche 22 einen Dorn, eine Oberfläche einer Montagekomponente, geschichtete Stücke von Gewebelagen und Kombinationen oder Äquivalente davon.
  • In einer weiteren Ausführungsform ist die Position der vom Projektor 14 auf die Arbeitsoberfläche 22 projizierten Referenzmerkmale 38 die gleiche wie eine auf die Arbeitsoberfläche projizierte Schablone, wie sie im US-Patent Nr. 9.200.899 offenbart ist, dessen Inhalt hier durch Verweis aufgenommen wird. Wie in 2 dargestellt, projiziert der Projektor 14 den Laserstrahl 26 auf reflektierende Ziele 46. In einer Ausführung wird der Projektor 14 oder der Controller 36 mit den nahen Koordinaten der reflektierenden Ziele 46 in einem dreidimensionalen Koordinatensystem versehen. Alternative Methoden zur Bereitstellung einer nahen Position der reflektierenden Ziele 46 zum Laserprojektor fallen in den Anwendungsbereich dieser Erfindung. Der Laserstrahl 26 wird zu einem Sensor, wie im US-Patent Nr. 9.200.899 beschrieben, oder beliebige Referenzmerkmalen zu der Kamera 16 zurückreflektiert, so dass eine Position des Projektors 14 relativ zur Arbeitsoberfläche 22 genau berechnet wird. Sobald die genaue Ausrichtung bestimmt ist, kann der Projektor 14 Referenzmerkmale 38 überall auf die Arbeitsoberfläche 22 projizieren, von wo aus das Abbildungssystem 12 seine Position relativ zur Arbeitsoberfläche 22 und zusätzlich zum Stück 40 registriert.
  • Wie oben dargelegt, kann eine Laserschablone 48 vom Projektor 14 oder einem anderen Laserprojektor auf die Arbeitsoberfläche 22 abgetastet werden, um einem Bediener die Position zu identifizieren, an der das Stück 40 mit der Arbeitsoberfläche 22 zusammengefügt werden soll. Während die Schablone 48 abgetastet wird, nimmt die Kamera 16 das Stück 40 nach der Platzierung auf und signalisiert dem Controller 36 das Bild. Der Controller 36 überprüft, ob das Stück 40 innerhalb der Schablone 48 richtig ausgerichtet ist und vergleicht die Ausrichtung des Stücks 40 mit der CAD-Position. Alternativ dazu, nachdem das Stück 40 auf der Arbeitsoberfläche 22 an der in der Schablone 48 angegebenen Position platziert wurde, beendet der Projektor 14 das Abtasten der Schablone 48 und die Kamera 16 liefert dem Controller 36 ausreichende Bildauflösung, die den Vergleich des Umfangs oder der Kante 42 des Stücks 40, wie es platziert wurde, mit den CAD-Daten ermöglicht, um eine genaue Platzierung zu gewährleisten. Außerdem wird eine Kombination aus Erfassen der Kante 42 und dem Vergleichen der Schablone 48 mit den CAD-Daten korreliert, um die genaue Platzierung zu verifizieren.
  • Der Controller 36 steuert die Bewegung des Sichtfeldes 20 der Kamera 16 während einer Abfolge von Montageschritten eines Schichtverbunds in Abstimmung mit den vom Projektor 14 abgetasteten Merkmalen 38. Die Schwenk-/Neigevorrichtung 18 lenkt daher das Sichtfeld 20 der Kamera 16 auf der Grundlage der Erfassung der Referenzmerkmale 38 auf der Arbeitsoberfläche 22 durch die Kamera 16. In dieser Ausführungsform sind die Referenzmerkmale 38 beliebige Laserpunkte, die vom Projektor 14 auf die Arbeitsoberfläche 22 projiziert werden. Nach der Registrierung einer Position des Sichtfeldes 20 der Kamera auf dem platzierten Stück 40 wird von der Kamera ein Bild aufgenommen und dem Controller 36 zur Überprüfung der korrekten Ausrichtung und Platzierung des Stücks 40 signalisiert. Dieser Verifizierungsprozess wird wiederholt, so dass die Kamera 16 im Verlauf des Montageprozesses eine Bildsequenz von jedem auf der Arbeitsoberfläche 22 platzierten Stück 40 erzeugt.
  • Wie oben dargelegt, enthält die Kamera 16 ein Zoom-Objektiv 24 oder eine andere Fokussierungsvorrichtung, die zusammen mit der Schwenk-/Neigevorrichtung 18 eingestellt wird, um auf neu zusammengesetzte Stücke 40 zu fokussieren, selbst wenn das Sichtfeld der Kamera 40 eine dreidimensionale Fläche überspannt. Die Kamera 16 enthält einen optischen Sensor 48, der bei einigen Abbildungssystemen 12 ein Bild an den Controller 36 signalisiert, so dass der Controller 36 eine Bildverschiebung erkennen kann, so dass der Fokus der Kamera 16 eingestellt werden kann. Diese Bildverschiebung kann jedoch eliminiert werden, wenn die Position der Kamera 16 relativ zur Arbeitsoberfläche 22 genau registriert wird, indem die in das Sichtfeld der Kamera 16 projizierten Referenzmerkmale 38 erfasst werden.
  • In einer Ausführungsform werden die Referenzmerkmale 38 auf bekannte Positionen der Arbeitsoberfläche 22 projiziert. Da der Laserprojektor 14 durch Abtasten der Ziele 46 oder durch eine andere, im US-Patent Nr. 9.200.899 beschriebene Lokalisierungsmethode relativ zur Arbeitsoberfläche 22 genau lokalisiert wurde, projiziert der Laserprojektor 14 ein Referenzmerkmal 38 an eine bekannte Position, unabhängig davon, an welcher beliebigen Position er ein Referenzmerkmal 38 projiziert. Somit wird das Referenzmerkmal 38 auf bekannte Koordinaten relativ zu einem durch die Arbeitsoberfläche 22 definierten Koordinatensystem projiziert. Solange sich das Referenzmerkmal 38 innerhalb des Sichtfeldes 20 der Kamera 16 befindet, kann der Controller 36 das von der Kamera erzeugte Bild relativ zur Arbeitsoberfläche 22 genau lokalisieren, indem sie die Referenzpunkte im Koordinatensystem der Arbeitsoberfläche abbildet. Auf diese Weise wird die Kamera 16, einschließlich der Schwenk-/Neigevorrichtung 18 und des Zoom-Objektivs 24, auf die Arbeitsoberfläche 22 kalibriert. Durch die Kalibrierung kann der Controller 36 Abbildungsfehler ausgleichen, die durch ungenaue Positionierung der Schwenk-/Neige-/Zoomvorrichtungen 18 oder Ungenauigkeiten im Objektiv 24 entstehen.
  • Den Fachleuten sollte klar sein, dass die Positionierungssequenz es nicht erforderlich macht, die Kamera 16 in Bezug auf bekannte Merkmale wie z.B. Kanten, Öffnung, Bezugspunkt usw. der Arbeitsoberfläche 22 physisch zu positionieren. Eine willkürliche Projektion eines Laserflecks oder eines Referenzmerkmals 38 innerhalb des Sichtfeldes 20 der Kamera 16 reicht für die genaue Positionierung des Bildes der Kamera 16 innerhalb des durch die Arbeitsoberfläche 22 definierten Koordinatensystems aus. Durch die Wiederholung dieser Sequenz können die Schwenk-/Neigevorrichtung 18 und das Zoom-Objektiv 24 auch dann relativ zum Projektor 14 genau kalibriert werden, wenn die Kamera 16 nicht mechanisch am Projektor 14 befestigt ist.
  • Der Computer 36 verwendet die abgebildeten Referenzmerkmale 38, um die gemessenen Abweichungen des positionierten Stücks 40 von der theoretischen Position des Stücks, wie sie im CAD des montierten Stücks 40 detailliert angegeben ist, genau zu quantifizieren. Während die Verwendung der projizierten Schablone 48 zur Quantifizierung der Registrierung des Stücks 40 durch die Kamera 16 akzeptabel genaue Ergebnisse liefert, kann die Genauigkeit durch die Projektion der Referenzmerkmale 38 innerhalb des Sichtfeldes 20 der Kamera 16 verbessert werden. Die projizierte Schablone 48 kann so modifiziert werden, dass sie Schablonen-Laserpunkte 50 enthält, anstatt eine durchgezogene Linie zu zeigen, wie in 3 dargestellt. Auf diese Weise kann der Computer 36 sowohl die Ausrichtung des Stücks 40 relativ zur Schablone erkennen als auch die Position der Arbeitsoberfläche 22 und des Stücks aus den Schablonen-Laserpunkten 50 genau registrieren. Alternativ dazu können nach der Platzierung des Stücks 40 beabstandete Schablonen-Laserpunkte 50 die Schablone 48 ersetzen, um eine genaue Registrierung des Bildes der Kamera 16 relativ zur Arbeitsoberfläche 22 zu erreichen.
  • In einer alternativen Ausführungsform kann die Laserschablone 48 verwendet werden, um die Position der Arbeitsoberfläche 22 und des Stücks 40 zu registrieren. Die Kombination aus der Laserschablone 48 und den Laserpunkten (Merkmale 38) verbessert jedoch die Bildgenauigkeit weiter. Die Registrierung unter Verwendung der Laserschablone 48 und der Laserpunkten (Merkmale 38) bietet eine weitere verbesserte Korrektur der Bildabweichung aufgrund von optischen Anomalien, die zwischen dem optischen Sensor 50, der Zoom-Funktion des Objektivs 24 und der Bewegung der Kamera 16 durch die Schwenk-/Neigevorrichtung 18 auftreten.
  • Die Erfindung wurde in einer illustrativen Weise beschrieben, und es ist zu verstehen, dass die verwendete Terminologie eher der Beschreibung als der Beschränkung dienen soll. Natürlich sind viele Modifikationen und Variationen der vorliegenden Erfindung im Lichte der obigen Lehren möglich. Es ist daher zu verstehen, dass die Bezugszahlen innerhalb der Spezifikation lediglich der Bequemlichkeit dienen und in keiner Weise einschränkend wirken sollen und dass die Erfindung anders als ausdrücklich beschrieben ausgeführt werden kann. Daher kann die Erfindung anders als im Rahmen der beabsichtigten Ansprüche spezifisch beschrieben ausgeübt werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 9200899 [0015, 0019]

Claims (18)

  1. Ein Verfahren zur Überprüfung der Position und Orientierung eines an einer Arbeitsoberfläche befestigten Stücks zur Herstellung eines Werkstücks, die folgenden Schritte aufweisend: Bereitstellen eines mit Konstruktionsdaten zur Herstellung des Werkstücks programmierbaren Controllers; Bereitstellen eines Abbildungssystems, das in der Lage ist, ein Sichtfeld entlang der Arbeitsoberfläche umzulenken; Bereitstellen eines Lichtprojektors zum Projizieren von Referenzmerkmalen auf bekannte Positionen auf der Arbeitsoberfläche; Anbringen des Stücks an eine vorbestimmte Position, die auf der Arbeitsoberfläche identifiziert ist; wobei der Lichtprojektor ein Referenzmerkmal auf eine bekannte Position relativ zu dem an die Arbeitsoberfläche angebrachten Stück innerhalb des Sichtfeldes der Abbildungsvorrichtung projiziert; wobei die Abbildungsvorrichtung ein Bild der durch den Lichtprojektor projizierten Referenzmerkmale und des an die Arbeitsoberfläche angebrachten Stücks erzeugt und das Bild an den Controller signalisiert; wobei der Controller die Position des Stücks auf der Arbeitsoberfläche, wie sie mit den Referenzmerkmalen registriert ist, mit den Konstruktionsdaten vergleicht, um genaue Platzierung des Stücks auf der Arbeitsoberfläche zu validieren.
  2. Das Verfahren nach Anspruch 1, wobei der Schritt des Bereitstellens eines Lichtprojektors weiter definiert wird durch Bereitstellen einer Abtastspiegelanordnung zum Umlenken von durch den Lichtprojektor erzeugtem Licht zu vorbestimmten Positionen auf der Arbeitsoberfläche, wodurch das Referenzmerkmal auf der Arbeitsoberfläche erzeugt wird.
  3. Das Verfahren nach Anspruch 2, weiter beinhaltend einen Schritt der Koordinierung der Bewegung der Abtastspiegelanordnung mit Umleitung der Abbildungsvorrichtung, wodurch das Sichtfeld der Abbildungsvorrichtung auf das an die Arbeitsoberfläche angebrachte Stück fokussiert wird.
  4. Das Verfahren nach Anspruch 1, weiter beinhaltend einen Schritt, bei dem die Abbildungsvorrichtung ein Bild einer Orientierung des Stücks erzeugt und der Controller das Bild der Orientierung des Stücks mit den in dem Controller programmierten Konstruktionsdaten vergleicht.
  5. Das Verfahren nach Anspruch 1, wobei der Schritt des Projizierens eines Referenzmerkmals auf eine bekannte Position relativ zu dem an die Arbeitsoberfläche angebrachten Stück weiter definiert ist durch Projizieren des Referenzmerkmals auf einen Umfang des an die Arbeitsoberfläche angebrachten Stücks.
  6. Das Verfahren nach Anspruch 1, wobei der Schritt des Bereitstellens eines Lichtprojektors weiter durch das Bereitstellen eines Laserprojektors definiert ist.
  7. Das Verfahren nach Anspruch 1, wobei der Schritt des Bereitstellens eines Abbildungssystems weiter definiert ist durch das Bereitstellen einer Kamera, die in der Lage ist, zu schwenken und zu kippen, um eine Bewegung der Kamera koordiniert mit einer Position des Referenzmerkmals bereitzustellen.
  8. Das Verfahren nach Anspruch 1, weiter beinhaltend einen Schritt des Einstellens eines Fokus der Abbildungsvorrichtung als Antwort auf Veränderungen von dreidimensionalen Umrissen der Arbeitsoberfläche innerhalb des Sichtfeldes der Abbildungsvorrichtung.
  9. Das Verfahren nach Anspruch 1, weiterhin beinhaltend einen Schritt des Anbringens von Positionierungsmarken zum Reflektieren von Licht von dem Lichtprojektor zu Vorrichtungs-Lichtsensor zum Bestimmen einer relativen Position des Lichtprojektors relativ zu der Arbeitsoberfläche.
  10. Das Verfahren nach Anspruch 1, weiterhin beinhaltend einen Schritt des Erzeugens, durch die Abbildungsvorrichtung, eines Bildes einer Orientierung von Fasern, die in dem Stück angeordnet sind, und des Signalisierens des Bildes an den Controller, wodurch der Controller in die Lage versetzt wird, die Orientierung der Fasern in dem Bild mit einer Orientierung der Fasern in den Konstruktionsdaten zu vergleichen, wodurch die Orientierung der in dem Stück angeordneten Fasern analysiert wird.
  11. Das Verfahren nach Anspruch 1, wobei der Schritt des Projizierens von Referenzmerkmalen auf die Arbeitsoberfläche weiter definiert ist durch Projizieren einer Vielzahl von Laserpunkten auf die Arbeitsoberfläche.
  12. Das Verfahren nach Anspruch 11, wobei der Schritt des Projizierens einer Vielzahl von Laserpunkten auf die Arbeitsoberfläche weiter definiert ist durch Projizieren einer Vielzahl von Laserpunkten auf beliebige Positionen auf der Arbeitsoberfläche.
  13. Ein Laserprojektor und Prüfsystem, aufweisend: einen Controller; eine Laserquelle zum Projizieren von Referenzmerkmalen auf eine Arbeitsoberfläche; eine Galvanometeranordnung mit einem ersten Abtastspiegel und einem ersten Galvomotor und einem zweiten Abtastspiegel und einem zweiten Galvomotor; eine Kamera mit einer Schwenk-/Neigevorrichtung und einem Zoom-Objektiv zum Lenken eines Sichtfeldes auf die Arbeitsoberfläche; und wobei der Controller die Bewegung des ersten Galvomotors und des zweiten Galvomotors mit der Bewegung der Schwenk-/Neigevorrichtung und des Zoom-Objektivs der Kamera koordiniert, damit die Laserquelle Referenzmerkmale in ein Sichtfeld der Kamera projiziert, wodurch der Controller eine Position der Kamera relativ zur Arbeitsoberfläche aus einem Bild der von der Kamera erzeugten Referenzmerkmale berechnen kann.
  14. Das System nach Anspruch 13, wobei eine Position der Laserquelle relativ zur Arbeitsoberfläche durch Abtasten von reflektierenden Zielen bestimmt wird, die auf der Arbeitsoberfläche an bekannten Positionen angeordnet sind.
  15. Das System nach Anspruch 13, wobei die Kamera so ausgelegt ist, dass sie ein Bild eines auf die Arbeitsoberfläche angebrachten Stücks erzeugt, um das Bild an den Controller zu signalisieren, und der Controller mit Konstruktionsdaten programmiert ist, um eine Position des Stücks in dem Bild mit einer Position des Stücks in den Konstruktionsdaten zu vergleichen.
  16. Das System nach Anspruch 13, wobei der Controller programmiert ist, um den ersten und zweiten Galvomotor an eine Position zu lenken, um eine Licht-Schablone auf der Arbeitsoberfläche abzutasten, wodurch eine Position für die Platzierung des Stücks auf der Arbeitsoberfläche bereitgestellt wird.
  17. Das System nach Anspruch 13, wobei die Schwenk-/Neigevorrichtung und das Zoom-Objektiv relativ zu einem durch die Arbeitsoberfläche definierten Koordinatensystem beweglich sind, wodurch ein hochaufgelöstes Bild der Kamerasicht der Arbeitsoberfläche erzeugt wird.
  18. Das System nach Anspruch 17, wobei die Schwenk-/Neigevorrichtung und das Zoom-Objektiv so ausgelegt sind, dass sie einen hochaufgelösten Fokus erzeugen auf Grundlage einer Abtastung des Referenzmerkmals, das von der Laserquelle auf die Arbeitsoberfläche an eine beliebige Position auf der Arbeitsoberfläche projiziert wird.
DE102020200486.2A 2019-01-16 2020-01-16 Präzise Registrierung von Bildern für die Montagevalidierung Pending DE102020200486A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962792969P 2019-01-16 2019-01-16
US62/792,969 2019-01-16

Publications (1)

Publication Number Publication Date
DE102020200486A1 true DE102020200486A1 (de) 2020-08-20

Family

ID=71516770

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020200486.2A Pending DE102020200486A1 (de) 2019-01-16 2020-01-16 Präzise Registrierung von Bildern für die Montagevalidierung

Country Status (3)

Country Link
US (1) US11295461B2 (de)
CN (1) CN111442719B (de)
DE (1) DE102020200486A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11345014B2 (en) * 2019-02-15 2022-05-31 Virtek Vision International Inc Method of detecting proper orientation of material applique
US10996177B2 (en) * 2019-07-03 2021-05-04 The Boeing Company Automated inspection system for composite structures
JP2022048533A (ja) * 2020-09-15 2022-03-28 株式会社Screenホールディングス ワーク受け入れ装置、ワーク搬送装置、検査装置、載置支援方法および検査方法
US12025442B2 (en) 2020-10-09 2024-07-02 Virtek Vision International Inc. Control of an optical indicator system through manipulation of physical objects
DE102021211376A1 (de) * 2020-10-09 2022-04-14 Virtek Vision International, Inc. Verfahren und system zum überprüfen vonreparatur- oder montagevorgängen
CN112629444B (zh) * 2021-03-08 2021-06-22 南京航空航天大学 一种基于机器视觉的放射库盖板落放误差自动纠正方法
US12481274B2 (en) 2021-10-12 2025-11-25 Royal Engineered Composites, Inc. Layup table for composite fabrication with AI quality control modules
CN114623780B (zh) * 2022-01-26 2023-06-27 深圳职业技术学院 刀尖三维重建的检测装置及在线检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3994799A (en) * 1999-05-14 2000-12-05 3Dmetrics, Incorporated Color structured light 3d-imaging system
EP1640688A1 (de) * 2004-09-24 2006-03-29 Konrad Maierhofer Verfahren und Vorrichtung zur 3-dimensionalen Vermessung der Oberfläche eines Gegenstands
CA2596284C (en) * 2005-02-01 2016-07-26 Laser Projection Technologies, Inc. Laser projection with object feature detection
US9200899B2 (en) 2012-03-22 2015-12-01 Virtek Vision International, Inc. Laser projection system and method
CA2911841A1 (en) * 2012-03-24 2013-10-03 Laser Projection Technologies, Inc. Lasergrammetry system and methods
US9881383B2 (en) * 2013-01-28 2018-01-30 Virtek Vision International Ulc Laser projection system with motion compensation and method
CN104034258B (zh) 2013-03-08 2018-11-20 维蒂克影像国际无限责任公司 具有可变焦距的检流计扫描相机及方法
US9789462B2 (en) * 2013-06-25 2017-10-17 The Boeing Company Apparatuses and methods for accurate structure marking and marking-assisted structure locating
DE102016203377A1 (de) * 2015-03-02 2016-11-24 Virtek Vision International Inc. Laserprojektionssystem mit Videoüberlagerung
US9423278B1 (en) * 2015-03-09 2016-08-23 Laser Projection Technologies, Inc. 3D laser projection, scanning and object tracking
US10145670B2 (en) * 2016-01-12 2018-12-04 The Boeing Company Systems and methods for projected grid-based location tracking
US10239178B2 (en) * 2016-10-17 2019-03-26 Virtek Vision International, ULC Laser projector with dynamically adaptable focus
US11544870B2 (en) * 2018-08-30 2023-01-03 Hunter Engineering Company System and method for verification of vehicle service target positioning
US11656072B2 (en) * 2020-07-02 2023-05-23 Virtek Vision International Inc. Classification of laser speckle profiles for validation of part placement in an assembly task

Also Published As

Publication number Publication date
CN111442719B (zh) 2025-04-29
CN111442719A (zh) 2020-07-24
US11295461B2 (en) 2022-04-05
US20200226770A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
DE102020200486A1 (de) Präzise Registrierung von Bildern für die Montagevalidierung
EP2105701B1 (de) Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
DE102015214560B4 (de) System zur Inspektion einer Fahrzeugkarosserie und Verfahren hierzu
DE102004054876B3 (de) Vermessungseinrichtung zur 3D-Vermessung von Zahnmodellen, Verschiebeplatte und Verfahren dazu
DE4222804A1 (de) Einrichtung und verfahren zur automatischen visuellen pruefung elektrischer und elektronischer baueinheiten
DE102017218505A1 (de) Laserprojektor mit Blitzausrichtung
EP3822578B1 (de) Adaptiver 3d-scanner mit variablem messbereich
DE102013104490A1 (de) Verfahren und Vorrichtung zur Bestimmung der Geometrie von Strukturen mittels Computertomografie
DE102015119707B3 (de) Verfahren zum Ausrichten eines Laserscanners und Laserscanneranordung
WO2007121953A1 (de) Vorrichtung zum automatischen aufbringen oder erzeugen und überwachen einer auf einem substrat aufgebrachten struktur mit ermittlung von geometrischen abmessungen sowie ein entsprechendes verfahren hierfür
WO2013004458A1 (de) Anordnung und verfahren zum bestimmen einer abbildungsabweichung einer kamera
DE102009030644B4 (de) Berührungslose Erfassungseinrichtung
WO2001020255A1 (de) Einrichtung zur inspektion einer dreidimensionalen oberflächenstruktur
EP2423639A1 (de) Verfahren zur Ermittlung von Spaltmaß und/oder Bündigkeit von Karosserieteilen eines Kraftfahrzeugs und Steuerungsprogramm
EP3417237A1 (de) Referenzplatte und verfahren zur kalibrierung und/oder überprüfung eines deflektometrie-sensorsystems
EP1640688A1 (de) Verfahren und Vorrichtung zur 3-dimensionalen Vermessung der Oberfläche eines Gegenstands
EP2679339B1 (de) Vorrichtung zur Abbildung und Überprüfung eines Fräsprofils sowie Verfahren zum Bestimmen von Korrekturwerten für Werkzeugpositionen bei einem Fräsvorgang
DE102021211376A1 (de) Verfahren und system zum überprüfen vonreparatur- oder montagevorgängen
DE10205562C1 (de) Verfahren und Vorrichtung zum Anzeigen eines Abbildes eines Flachmaterials und zum Ausschneiden von Teilen aus dem Flachmaterial
DE102007038785A1 (de) Verfahren und Vorrichtung zum Bestimmen von Geometriedaten eines Messobjekts
DE102023200401A1 (de) Verfahren und system zur überprüfung einer oberfläche mit unterstützung durch künstliche intelligenz
DE102007021106A1 (de) Verfahren und Vorrichtung zum Kalibrieren eines Kamerasystems
DE102019201723A1 (de) Verfahren zum Einrichten einer Werkzeugmaschine und Fertigungssystem
EP4479210A1 (de) Kalibriersystem und kalibrierverfahren zur kalibrierung eines bauplattformsystems in einer additiven fertigungsvorrichtung
DE102015117276B4 (de) Verfahren und Vorrichtung zum Vermessen eines Messobjekts mit verbesserter Messgenauigkeit

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: VIRTEK VISION INTERNATIONAL, INC., WATERLOO, CA

Free format text: FORMER OWNER: VIRTEK VISION INTERNATIONAL ULC, WATERLOO, ONTARIO, CA