[go: up one dir, main page]

DE102018211168A1 - Überprüfen von Objekten auf Richtigkeit - Google Patents

Überprüfen von Objekten auf Richtigkeit Download PDF

Info

Publication number
DE102018211168A1
DE102018211168A1 DE102018211168.5A DE102018211168A DE102018211168A1 DE 102018211168 A1 DE102018211168 A1 DE 102018211168A1 DE 102018211168 A DE102018211168 A DE 102018211168A DE 102018211168 A1 DE102018211168 A1 DE 102018211168A1
Authority
DE
Germany
Prior art keywords
image
code
cad
optical
optical markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018211168.5A
Other languages
English (en)
Inventor
Christian Fackler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102018211168.5A priority Critical patent/DE102018211168A1/de
Publication of DE102018211168A1 publication Critical patent/DE102018211168A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • G07C3/14Quality control systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Ein Verfahren dient zum Überprüfen von Objekten (1), insbesondere Fahrzeugbauteilen, auf Richtigkeit, wobei: a) ein Bild (BF) eines Objekts (1), das mehrere optische Marker (6) aufweist, aufgenommen wird (S1); b) die in dem Bild (BF) des Objekts (1) vorhandenen optischen Marker (6) automatisch erkannt werden (S2); c) ein optisch auslesbarer Code (7), der an dem Objekt (1) sichtbar angeordnet ist, automatisch aus dem aufgenommenen Bild (BF) ausgelesen wird (S3); d) zu dem ausgelesenen Code (7) zugehörige CAD-Daten abgerufen werden, in denen die Positionen der optischen Marker (6) vorhanden sind, (S4) und e) das aufgenommene Bild des Objekts (1) zusammen mit einem aus den CAD-Daten erstellten, mittels der optischen Marker (6) lagegleich positionierten CAD-Bild überlagert auf einer Bildfläche (5) dargestellt wird (S5). Die Erfindung ist insbesondere vorteilhaft anwendbar in der Fahrzeugindustrie, insbesondere auf Objekte in Form von Fahrzeugbauteilen, insbesondere zum Überprüfen von Objekten auf Richtigkeit bei einer Anlieferung und/oder Verarbeitung.

Description

  • Die Erfindung betrifft ein Verfahren zum Überprüfen von Objekten auf Richtigkeit, insbesondere Fahrzeugbauteilen, bei dem ein Bild eines Objekts aufgenommen wird und ein aus zugehörigen CAD-Daten erstelltes CAD-Bild auf der Bildfläche so dargestellt wird, dass es das aufgenommene Objekt zumindest teilweise überlagert. Die Erfindung ist insbesondere vorteilhaft anwendbar in der Fahrzeugindustrie, insbesondere auf Objekte in Form von Fahrzeugbauteilen, insbesondere zum Überprüfen von Objekten auf Richtigkeit bei einer Anlieferung und/oder Verarbeitung.
  • Es ist bekannt, angelieferte Bauteile durch Augenschein auf Richtigkeit zu kontrollieren. Dies bedeutet in der Regel, dass eine Zahl der angelieferten Bauteile überprüft und die Bauteile auf augenscheinlich erkennbare Beschädigungen hin überprüft werden. Ein Überprüfen der angelieferten Bauteile auf Richtigkeit anhand von Konstruktionszeichnungen oder anderen Detailinformationen findet aufgrund des bisher hohen Aufwands nur sehr selten und in Ausnahmefällen statt.
  • Es ist ferner bekannt, Bilder oder Videos mit computergenerierten Zusatzinformationen oder virtuellen Objekten mittels Einblendung/Überlagerung zu ergänzen. Dies wird auch als „erweiterte Realität“ oder „Augmented Reality“, AR bezeichnet. Dabei können für industrielle Anwendungen mittels Augmented Reality digitale Planungsdaten mit vorhandenen realen Geometrien abgeglichen werden.
  • Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik bei einer Überprüfung von Objekten auf Richtigkeit (Schädigungen, Maßhaltung usw.) zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit bereitzustellen, Objekte mit einfachen Mitteln bereits vor ihrem Verbau, aber auch während ihres Verbaus schnell und zuverlässig zu überprüfen. Dies gilt insbesondere für das Gebiet des Fahrzeugbaus.
  • Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Zeichnungen.
  • Die Aufgabe wird gelöst durch ein Verfahren zum Überprüfen von Objekten, insbesondere Fahrzeugbauteilen, bei dem
    1. a) ein Bild eines Objekts, das mehrere optische Marker aufweist, aufgenommen wird;
    2. b) die in dem Bild des Objekts vorhandenen (ein oder mehreren) optischen Marker automatisch erkannt werden;
    3. c) ein optisch auslesbarer Code, der an dem Objekt sichtbar angeordnet ist, automatisch aus dem aufgenommenen Bild ausgelesen wird;
    4. d) zu dem ausgelesenen Code zugehörige CAD-Daten abgerufen werden, welche die Positionen zumindest einiger der optischen Marker umfassen, und
    5. e) das aufgenommene Bild des Objekts zusammen mit einem aus den CAD-Daten erstellten mittels der optischen Marker lagegleich positionierten CAD-Bild überlagert auf einer Bildfläche dargestellt wird.
  • Dieses Verfahren ergibt den Vorteil, dass ein Objekt auf besonders einfache Weise in Echtzeit durch Überlagerung seines Bilds mit einem entsprechenden CAD-Bild (z.B. einer Konstruktionszeichnung, die einem „Soll-Zustand“ des Objekts entspricht) auf Richtigkeit überprüft werden kann. Diese Überprüfung kann von Personal oder auch automatisch ohne aufwändige Vorkenntnisse oder sogar automatisch durchgeführt werden. Zudem kann die Überprüfung praktisch überall durchgeführt werden, z.B. bei einer Anlieferung von Objekten in einem Werk. Zudem werden für die Überprüfung keine teuren, schweren oder umständlich zu handhabbaren Mittel oder Werkzeuge benötigt, so dass die Überprüfung auch für das zuständige Personal besonders ergonomisch und schnell erfolgen kann. Eine Überprüfung kann durch einen Nutzer des Verfahrens durch Betrachten des überlagerten Bilds erfolgen: entsprechen beispielsweise Konturen des aufgenommenen Bilds mit ausreichender Genauigkeit dem aufgenommenen Bild des (realen) Objekts, kann von einer Richtigkeit des Objekts ausgegangen werden. Treten hingegen merkliche Abweichungen auf, kann das Objekt als ungeeignet (z.B. ungenau hergestellt, beschädigt usw.) o.ä. eingestuft werden. Anstelle einer Überprüfung auf Richtigkeit des Objekts durch eine Person kann diese Überprüfung auch automatisch durch Bildmustererkennung durchgeführt werden. Das CAD-Bild kann dann als ein Referenzmuster verwendet werden.
  • Allgemein kann in einem auf Schritt e) folgenden Schritt f) das mindestens eine aufgenommene Bild (durch eine Person oder automatisch, z.B. durch Bildmustererkennung) auf Abweichungen zu dem CAD-Bild hin überprüft werden und zumindest beim Feststellen einer kritischen Abweichung mindestens eine Aktion ausgelöst werden. Unter einer „kritischen“ Abweichung wird insbesondere eine Abweichung verstanden, die so groß ist, dass das Objekt nicht mehr als richtig bzw. als ungeeignet eingestuft wird. Die mindestens eine Aktion kann z.B. ein Markieren oder Einstufen des Objekts zur Aussonderung, Reklamation usw. umfassen. Die Aktion kann bei Feststellung der Richtigkeit ein Freigeben des Objekts umfassen.
  • Dadurch, dass der Code aus dem aufgenommenen Bild automatisch ausgelesen wird, wird der zusätzliche Vorteil erreicht, dass der Code nicht mehr separat von der Bildaufnahme durchgeführt zu werden braucht, wodurch das Verfahren erheblich schneller durchführbar ist. Ein Nutzer des Verfahrens braucht also nur noch ein Bild des Objekts so aufzunehmen, dass darauf ein entsprechender Code erkennbar ist. Der Code wird z.B. mittels automatischer Codeerkennung in dem Bild erkannt. Im Folgenden können zu dem Code zugehörige CAD-Daten automatisch oder nach Bestätigung durch den Nutzer abgerufen werden.
  • Unter einem optischen Marker kann eine optisch, insbesondere durch Bildauswertung, erkennbare Markierung verstanden werden. Die Form und/oder Größe des optischen Markers kann für das Objekt vorgegeben und damit bekannt sein.
  • Zur Durchführung des Verfahrens können ein oder mehrere Bilder aufgenommen werden. Die mehreren Bilder können in Form eines Videos oder eines Live Streams aufgenommen werden.
  • Das Abrufen der zugehörigen CAD-Daten kann ein Bereitstellen der CAD-Daten aus einem internen Speicher oder ein Übertragen der CAD-Daten von einer externen Datenbank (z.B. einem Server eines Herstellers des Objekts) oder der Cloud umfassen. Dazu weist der Code insbesondere zumindest eine Kennung des Objekts auf, anhand derer eine eindeutige Verknüpfung des Objekts mit den CAD-Daten möglich ist. In einer Weiterbildung weist der Code auch eine Adresse (z.B. eine Netzwerkadresse, Internetadresse usw.) einer Instanz auf, an der die CAD-Daten bereitgestellt werden.
  • Dass das CAD-Bild in Bezug auf das Bild des Objekts auf der Bildfläche „lagegleich positioniert“ wird, umfasst, dass das CAD-Bild die gleiche räumliche Lage (räumliche Position/Abstand/Zoom und Ausrichtung) wie das bildlich aufgenommene Objekt aufweist. Dadurch wird eine Einblendung oder Überlagerung des CAD-Bilds (z.B. einer Konstruktionszeichnung des Objekts) auf das Objekt im Sinne einer erweiterten Realität oder Augmented Reality erreicht.
  • Die CAD-Daten enthalten dazu die Positionen zumindest einiger der optischen Marker auf dem Objekt. Dies ergibt den Vorteil, dass die Lage der in dem Bild erkannten optischen Marker in besonders einfacher Weise automatisch mit den in den CAD-Daten vorhandenen Markern korrelierbar ist. Durch automatisches in Übereinstimmung Bringen der Lage und Abstände der Marker der CAD-Daten mit der Lage und den Abständen der bildlich aufgenommenen Marker lässt sich ein CAD-Bild auf der Bildfläche anzeigen, das die gleiche räumliche Lage (z.B. Abstand bzw. Zoom und Ausrichtung) wie das bildlich aufgenommene Objekt aufweist.
  • Dabei braucht nicht die ganze CAD-Bild dargestellt zu werden, sondern es kann auch nur teilweise dargestellt werden. So werden in einer Weiterbildung nur Bereiche des CAD-Bilds angezeigt, welche auch an dem aufgenommenen Objekt erkennbar sind. Wie eine bildliche Überlagerung von Bildobjekten realer Geometrien wie dem Objekt mit digitalen Planungsdaten wie dem zugehörigen CAD-Bild konkret durchführbar ist, wird als allgemein bekannt vorausgesetzt und daher hier nicht weiter beschrieben.
  • Die Reihenfolge der Schritte ist nicht auf die Reihenfolge a) bis e) festgelegt, sondern kann auch davon abweichen. So können die Schritte b) und c) in beliebiger Reihenfolge oder gleichzeitig ausgeführt werden.
  • Allgemein können die Schritte a) und f) von der gleichen oder von unterschiedlichen Personen durchgeführt werden. Ferner können Schritt a) und/oder Schritt f) auch automatisch durchgeführt werden, z.B. Schritt a) durch einen mit einer Kamera ausgerüsteten Roboter, Schritt f) durch eine automatische Bildmustererkennung. Das Verfahren kann also auch vollautomatisch ablaufen.
  • Das Objekt kann ein Bauteil oder eine Baugruppe sein, ggf. sogar das fertige Produkt. Das Objekt kann auch eine Vorrichtung zum Zusammenbauen von Bauteilen wie ein Werkzeug, eine Maschine oder eine Anlage sein.
  • Es ist eine Weiterbildung, dass das Objekt ein Fahrzeugbauteil ist. Das Fahrzeug kann insbesondere ein Kraftfahrzeug, speziell Personenkraftwagen, Motorrad, Lastkraftwagen usw., sein. Jedoch ist das Verfahren nicht darauf beschränkt und kann auch für andere industrielle Anwendungen genutzt werden.
  • Der optische Code kann beispielsweise durch Aufkleben eines entsprechenden Schilds, durch Aufdrucken, Ätzen, Lasermarkieren usw. an dem Objekt angeordnet sein.
  • Der optische Code kann ein von den Markern unterschiedlicher Code sein. Er ist dann an von den Markern unterschiedlicher Stelle an dem Objekt angebracht.
  • Es ist eine Ausgestaltung, dass mindestens ein optischer Marker einen optisch auslesbaren Code umfasst. Der optische Marker dient somit auch als Träger für den optischen Code. Dies ist besonders vorteilhaft, weil dann auf einen gesondert angebrachten Code verzichtet werden kann.
    Das optische Auslesen des Codes kann grundsätzlich auf beliebige Weise geschehen. So kann in einer Weiterbildung zum Auslesen ein dediziertes Lesegerät wie ein Scanner verwendet werden.
  • Es ist eine Ausgestaltung, dass der Code ein durch Materialbearbeitung des Objekts erzeugter Code ist. Dadurch ist der Code besonders positionsgenau und beständig an dem Objekt anordenbar.
  • Es ist eine Ausgestaltung, dass der optische Code in Form eines QR-Codes vorliegt bzw. ein QR-Code ist. Dieser ist aufgrund seiner automatischen Fehlerkorrektur besonders robust. Der QR-Code kann insbesondere ein Micro-QR-Code, ein Secure-QR-Code (SQRC), ein iQR-Code oder ein Frame-QR Code sein. Jedoch kann der optische Code auch in Form eines anderen quadratischen Codes vorliegen, z.B. eines Bildsymbols. Zudem kann der Code ein nicht quadratischer Code sein, z.B. ein Barcode. Grundsätzlich ist die Art der optischen Repräsentation des Codes jedoch nicht beschränkt und kann z.B. auch als Semacode, Aztec-Code, BeeTagg, ShotCode, DataMatrix-Code oder High Capacity Color Barcode usw. vorliegen.
  • Es ist eine Ausgestaltung, dass die CAD-Daten nur CAD-Daten des Objekts umfassen, das den zugehörigen optischen Code aufweist. Dies hält eine abzurufende Datenmenge gering.
  • Es ist eine Ausgestaltung, dass die CAD-Daten zusätzlich zu CAD-Daten des Objekts weitere CAD-Daten umfassen, die mindestens einem weiteren Objekt zugehörig sind, welche mit dem Objekt, das den zugehörigen optischen Code aufweist, in einem konstruktiven Zusammenhang stehen. So wird der Vorteil erreicht, dass nicht nur das Objekt, dessen Code ausgelesen worden ist, auf Richtigkeit überprüft werden kann, sondern auch dessen Lage (z.B. ein Sitz, eine Passgenauigkeit usw.) relativ zu dem mindestens einen anderen Objekt und ggf. sogar die Richtigkeit des anderen Objekts, und zwar ohne dass das weitere Objekt mit optischen Markern ausgerüstet zu sein braucht. Beispielsweise kann das mindestens eine weitere Objekt ein mit dem Objekt, das den ausgelesenen Code aufweist, zu verheiratendes Objekt oder ein Werkzeug für das Objekt, das den ausgelesenen Code aufweist, sein. Der konstruktive Zusammenhang kann also einer Verarbeitung des Objekts und/oder einer Verheiratung des Objekts entsprechen.
  • Es ist eine Ausgestaltung, dass die Bildfläche ein Bildschirm ist, z.B. ein LCD-Bildschirm oder ein LCoS-Bildschirm. Der LCD-Bildschirm kann ein TFT-Bildschirm, ein OLED-Bildschirm, ein Plasma-Bildschirm usw. sein. Ein Bildschirm kann insbesondere eine Vielzahl von individuell ansteuerbaren Lichtquellen aufweisen, die zusammen ein Bild des Objekts (und ggf. des mindestens einen weiteren Objekts) auf der Bildfläche darstellen.
  • Die Bildfläche kann alternativ oder zusätzlich eine Bildfläche darstellen, auf der ein Bild des Objekts mittels mindestens eines Projektors abgebildet wird. Der Projektor kann ein LED-Projektor oder ein Laser-Projektor sein.
  • Die Bildfläche kann alternativ oder zusätzlich eine durch ein Head-Up-Display (HUD) oder ein sog. „Peripheral Head-Mounted Display“ (PHMD) bereitgestellte Bildfläche sein.
  • Es ist eine Ausgestaltung, dass der Bildschirm ein Bildschirm eines mobilen Endgeräts ist. Dies ergibt den Vorteil, dass ein Nutzer ein Bild des Objekts zusammen mit dem zugehörigen CAD-Bild auf einem leichten Gerät sichten kann und zudem auf einfache Weise seine Position zu dem Objekt ändern kann.
  • Es ist eine Ausgestaltung, dass die Bildfläche ein Brillenglas einer Datenbrille ist. Dies kann einem Nutzer die Durchführung des Verfahrens weiter erleichtern. Dies Ausgestaltung ist besonders vorteilhaft, falls die Bildfläche durch ein Head-Up-Display HUD oder ein PHMD bereitgestellt wird.
  • Grundsätzlich kann das Verfahren mittels einer einzigen Vorrichtung oder durch eine Gruppe oder ein System verteilter, insbesondere miteinander vernetzter, Vorrichtungen durchgeführt werden. So können die Bildaufnahme in Schritt a) und die Darstellung der überlagerten Bilder in Schritt e) durch die gleiche Vorrichtung durchgeführt werden, z.B. ein Smartphone oder eine Datenbrille. Die restlichen Schritte oder Teilschritte können ebenfalls von dieser Vorrichtung oder zumindest teilweise von einer anderen Vorrichtung durchgeführt werden, beispielsweise einer externen Instanz wie einem Netzwerk-Server, der Cloud usw. Liegt ein System verteilter Vorrichtungen vor, können diese durch Datenverbindungen zur Datenübertragung miteinander verbunden sein, z.B. durch drahtlose und/oder drahtgebundene Datenverbindungen wie Bluetooth, WLAN, Ethernet usw.
  • Es ist eine Ausgestaltung, dass folgend zumindest die Schritte a), b) und e) wiederholt werden. Dadurch kann ein Nutzer das Objekt aus unterschiedlichen Richtungen oder Blickwinkeln auf Richtigkeit überprüfen. Schritt d) braucht dann z.B. nur bei ersten Durchführen des Verfahrens für ein bestimmtes Objekt durchgeführt zu werden.
  • In einem möglichen Anwendungsbeispiel ist ein Nutzer mit einem Tablet-PC ausgerüstet und soll ein in einem Werk angeliefertes Objekt in Form eines Fahrzeugbauteils auf Richtigkeit (Formhaltigkeit, Freiheit von Schädigungen usw.) überprüfen. Dazu nimmt der Nutzer mittels einer Kamera des Tablet-PCs ein Bild des Fahrzeugbauteils auf, und zwar aus einem Blickwinkel, aus dem mehrere optische Marker erkennbar sind. Mindestens einer der Marker weist einen optisch auslesbaren Code, insbesondere QR-Code, auf.
  • Aus dem aufgenommenen Bild wird der QR-Code ausgelesen. Der QR-Code weist eine insbesondere eindeutige Kennung des Bauteils auf. Anhand der Kennung werden von dem Tablet-PC die zu dieser Kennung passenden CAD-Daten abgerufen, z.B. über das Internet mittels mindestens eines Kommunikationsmoduls des Tablet-PCs. Aus den über das Internet o.ä. heruntergeladenen CAD-Daten wird ein CAD-Bild (z.B. eine Konstruktionszeichnung) des Bauteils erzeugt. In den CAD-Daten ist auch die bauteileigene Position der optischen Marker des Bauteils angegeben.
  • In dem aufgenommenen Bild werden ferner die optischen Marker identifiziert.
  • Dann werden auf dem Bildschirm des Tablet-PCs das Bild des Bauteils und das CAD-Bild überlagert im Sinne einer Augmented Reality dargestellt. Dabei nimmt das CAD-Bild die gleiche Lage (Größe, Orientierung) ein wie das Bauteil, was durch Übereinstimmung der Marker in den CAD-Daten mit den optisch erkannten Markern des Bauteils ermöglicht wird.
  • Folgend kann der Nutzer anhand eines Vergleichs z.B. der Konturen der Bilder auf dem Bildschirm beurteilen, ob das Bauteil maßhaltig und schädigungsfrei ist oder nicht.
  • Anstelle eines Tablet-PCs oder zusätzlich dazu kann der Nutzer z.B. auch eine Datenbrille verwenden.
  • Es ist eine Weiterbildung, dass das mindestens eine aufgenommene Bild zur Dokumentation abgespeichert wird, beispielsweise zur Qualitätssicherung.
  • Die Aufgabe wird auch gelöst durch eine Vorrichtung zur Überprüfung von Objekten, insbesondere Fahrzeugbauteilen, aufweisend eine Kamera, eine Datenverarbeitungseinrichtung und eine Bildfläche, wobei
    • - die Kamera dazu eingerichtet ist, ein Bild eines Objekts, das mehrere optische Marker aufweist, aufzunehmen;
    • - die Datenverarbeitungseinrichtung dazu eingerichtet ist, in dem Bild optische Marker zu erkennen;
    • - die Datenverarbeitungseinrichtung dazu eingerichtet ist, mindestens einen optisch auslesbaren Code automatisch aus dem aufgenommenen Bild auszulesen;
    • - die Datenverarbeitungseinrichtung dazu eingerichtet ist, zu dem ausgelesenen Code zugehörige CAD-Daten, welche die Positionen der optischen Marker auf dem Objekt umfassen, abzurufen; und
    • - die Datenverarbeitungseinrichtung dazu eingerichtet ist, die CAD-Daten in der gleichen räumlichen Lage wie das Objekt auf der Bildfläche so darzustellen, dass sie das aufgenommene Objekt zumindest teilweise überlagern.
  • Die Vorrichtung kann eine einzige Vorrichtung, z.B. ein mobiles Nutzerendgerät, eine Datenbrille usw., oder ein System aus mehreren vernetzen Komponenten sein.
  • Die Vorrichtung kann analog zu dem Verfahren ausgebildet sein und ergibt die gleichen Vorteile.
  • Die Aufgabe wird auch gelöst durch ein Computerprogrammprodukt, aufweisend Programmcode, welcher, wenn er ausgeführt wird, das oben beschriebene Verfahren durchführt oder ablaufen lässt.
  • Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
    • 1 zeigt eine Skizze einer Vorrichtung zur Überprüfung von Objekten; und
    • 2 zeigt Ablaufschritte eines Verfahrens zur Überprüfung von Objekten.
  • 1 zeigt eine Skizze einer Vorrichtung zur Überprüfung von Objekten, hier: eines Fahrzeugbauteils 1, in Form eines Tablet-PCs 2. Der Tablet-PC 2 weist eine Kamera 3, eine Datenverarbeitungseinrichtung 4 und eine Bildfläche in Form eines LCD-Bildschirms 5 auf. Die Datenverarbeitungseinrichtung 4 kann z.B. einen oder mehrere Prozessoren, Datenspeicher, GPUs usw. aufweisen.
  • Mittels der Kamera 3 kann ein Nutzer des Tablet-PCs 2 ein Bild BF des Fahrzeugbauteils 1 aufnehmen. Das Fahrzeugbauteil 1 weist mehrere über seine Oberfläche verteilte optische Marker 6 auf. Die optischen Marker 6 können gleich oder unterschiedlich ausgebildet sein. Zumindest einer der Marker 6, insbesondere alle Marker 6, weisen einen optischen Code 7 auf, der eine Kennung des Fahrzeugbauteils 1 umfasst oder ist. Die Marker 6 können z.B. durch Laserschreiben, Prägen, Drucken usw. an dem Fahrzeugbauteil 1 angeordnet worden sein und sind hochgradig genau positioniert.
  • Der optische Code 7 und damit die Marker 6 können in Form eines quadratischen Codes, insbesondere QR-Codes, vorliegen.
  • Die Datenverarbeitungseinrichtung 4 ist dazu eingerichtet, in dem Bild BF optische Marker 6 zu erkennen.
  • Die Datenverarbeitungseinrichtung 4 ist ferner dazu eingerichtet, den mindestens einen optisch auslesbaren Code 7 auszulesen und abhängig von der zugehörigen Kennung CAD-Daten von einer externen Instanz, hier z.B. als ein Netzwerkserver 8 angedeutet, herunterzuladen. Die CAD-Daten umfassen die Positionen insbesondere aller optischen Marker 6 auf dem Fahrzeugbauteil 1.
  • Die Datenverarbeitungseinrichtung 4 ist außerdem dazu eingerichtet, das aufgenommene Bild BF zusammen mit einem aus den CAD-Daten erstellten CAD-Bild BC lagegleich überlagert auf dem Bildschirm 5 darzustellen. Dies geschieht insbesondere automatisch durch Korrelieren der Marker des CAD-Bilds BC mit den in dem aufgenommenen Bild BF aufgefundenen optischen Markern 6. Dazu kann das aus den CAD-Daten erzeugte CAD-Bild so gedreht und/oder vergrößert bzw. verkleinert werden, bis die Bildpositionen der in dem Bild erkannten Marker und der Marker des CAD-Bilds übereinstimmen.
  • Die Datenverarbeitungseinrichtung 4 ist außerdem dazu eingerichtet, aus eine Feststellung einer kritischen Abweichung hin mindestens eine Aktion auszulösen.
  • 2 zeigt Ablaufschritte eines Verfahrens zur Überprüfung von Fahrzeugbauteilen 1. Das Verfahren wird folgend beispielhaft anhand des in 1 beschriebenen Tablet-PCs 2 bzw. des Systems aus Tablet-PC 2 und Netzwerkserver 8 genauer beschrieben.
  • In einem ersten Schritt S1 nimmt ein Nutzer ein Bild BF des Fahrzeugbauteils 1 mittels der Kamera 3 des Tablet-PCs 1 auf.
  • In einem zweiten Schritt S2 werden mittels des Tablet-PCs 1 in dem Bild BF vorhandene optische Marker 6 erkannt.
  • In einem dritten Schritt S3 wird mittels des Tablet-PCs 1 mindestens ein optisch auslesbarer Code 7 ausgelesen.
  • In einem vierten Schritt S4 werden mittels des Tablet-PCs 1 dem Code 7 entsprechende CAD-Daten von dem Netzwerkserver 8 heruntergeladen.
  • In einem fünften Schritt S5 wird mit Hilfe der optischen Marker 6 das aufgenommene Bild BF zusammen mit einem aus den CAD-Daten erstellten CAD-Bild BC lagegleich auf dem Bildschirm 5 als kombiniertes AR-Bild BF, BC überlagert dargestellt.
  • Ein Nutzer kann nun in einem sechsten Schritt S6 die Konturen usw. des aufgenommenen Bilds BF mit denen des CAD-Bilds BC vergleichen, um das Fahrzeugbauteil 1 auf Richtigkeit zu überprüfen. Dazu kann er das überlagerte AR-Bild BF, BC z.B. zoomen, drehen usw. Wird eine zu große bzw. kritische Abweichung festgestellt, kann als eine mögliche Aktion das Fahrzeugbauteil 1 als „ungeeignet“, „fehlerhaft“, „beschädigt“ o.ä. eingestuft und aussortiert, reklamiert usw. werden. Wird keine kritische Abweichung festgestellt, kann als eine mögliche Aktion das Fahrzeugbauteil 1 als „geeignet“, „fehlerfrei“ o.ä. eingestuft und zur weiteren Nutzung freigegeben werden.
  • Der Nutzer kann im Folgenden ein neues Bild BF des Fahrzeugbauteils 1 auf einem anderen Blickwinkel und/oder Abstand aufnehmen und zumindest die Schritte S2 und S6 wiederholen. In Schritt S3 kann der Tablet-PC 2 erkennen, ob die zu diesem Code 7 ausgelesenen CAD-Daten bereits heruntergeladen worden sind, und falls ja, Schritt S4 nicht mehr durchführen.
  • In einer Variante wird nicht nur das Fahrzeugbauteil 1 als AR-Bild BF, BC dargestellt, sondern auch mindestens ein weiteres Objekt (o. Abb.), z.B. ein Objekt, das mit dem Fahrzeugbauteil 1 zusammengebaut werden soll, oder ein Objekt wie eine Maschine, in welches das Fahrzeugbauteil 1 eingesetzt werden soll. Dies ergibt den Vorteil, dass nicht nur das Fahrzeugbauteil 1 auf Richtigkeit überprüfbar ist, sondern auch dessen Lage zur Lage des weiteren Objekts und ggf. sogar die Richtigkeit des weiteren Objekts selbst, und zwar ohne dass das weitere Objekt mit optischen Markern ausgerüstet zu sein braucht.
  • Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbeispiel beschränkt.
  • So können die CAD-Daten auch in dem Tablet-PC usw. gespeichert sein.
  • Auch können in dem ersten Schritt S1 mehrere Bilder des Fahrzeugbauteils aufgenommen werden, z.B. als Video oder Livestream.
  • Allgemein kann zumindest einer der Schritte S2 bis S6 auch von einer anderen Instanz als der die Bilder aufnehmenden Instanz durchgeführt werden, beispielsweise von einer zu der Kamera entfernt angeordneten Datenverarbeitungsvorrichtung (z.B. einem Server oder der Cloud). In diesem Fall kann z.B. eine erste Person in Schritt S1 das mindestens eine Bild mittels der Kamera aufnehmen. Dieses Bild wird dann zu der entfernt angeordneten Datenverarbeitungsvorrichtung übertragen, das die Schritte S2 bis S5 durchführt. Das überlagerte Bild kann dann im Rahmen von Schritt S6 von einer zweiten Person auf einem Bildschirm o.ä. betrachtet werden oder alternativ automatisch ausgewertet werden. Die zweite Person (falls vorhanden) kann von der ersten Person entfernt sitzen. Das Verfahren kann in anderen Worten eine Aufgabentrennung zwischen der Bildaufnahme, der Bildverarbeitung und/oder der Überprüfung auf Richtigkeit umfassen. Die Schritte S1 bis S6 können somit aufgabentechnisch beliebig voneinander entkoppelt werden.
  • Allgemein können die Schritte S2 bis S6 zeitnah zu Schritt S1 durchgeführt werden, oder die Schritte S2 bis S6 können zu Schritt S1 zeitlich versetzt durchgeführt werden.
  • Allgemein kann unter „ein“, „eine“ usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von „mindestens ein“ oder „ein oder mehrere“ usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck „genau ein“ usw.
  • Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
  • Bezugszeichenliste
  • 1
    Fahrzeugbauteil
    2
    Tablet-PC
    3
    Kamera
    4
    Datenverarbeitungseinrichtung
    5
    LCD-Bildschirm
    6
    Marker
    7
    Optischer Code
    8
    Netzwerkserver
    BC
    CAD-Bild
    BF
    Bild des Fahrzeugbauteils
    S1-S6
    Verfahrensschritte

Claims (12)

  1. Verfahren zum Überprüfen von Objekten (1), insbesondere Fahrzeugbauteilen, auf Richtigkeit, bei dem a) ein Bild (BF) eines Objekts (1), das mehrere optische Marker (6) aufweist, aufgenommen wird (S1); b) die in dem Bild (BF) des Objekts (1) vorhandenen optischen Marker (6) automatisch erkannt werden (S2); c) ein optisch auslesbarer Code (7), der an dem Objekt (1) sichtbar angeordnet ist, automatisch aus dem aufgenommenen Bild (BF) ausgelesen wird (S3); d) zu dem ausgelesenen Code (7) zugehörige CAD-Daten abgerufen werden, in denen die Positionen der optischen Marker (6) vorhanden sind, (S4) und e) das aufgenommene Bild (BF) des Objekts (1) zusammen mit einem aus den CAD-Daten erstellten, mittels der optischen Marker (6) lagegleich positionierten CAD-Bild (BC) überlagert auf einer Bildfläche (5) dargestellt wird (S5).
  2. Verfahren nach Anspruch 1, bei dem mindestens ein optischer Marker (6) einen optisch auslesbaren Code (7) umfasst.
  3. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Code (7) ein durch Materialbearbeitung des Objekts (1) erzeugter Code (7) ist.
  4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der optische Code (7) in Form eines QR-Codes vorliegt.
  5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem folgend zumindest die Schritte a), b) und e) wiederholt werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die CAD-Daten nur des Objekts (1) umfassen, das den zugehörigen optischen Code (7) aufweist.
  7. Verfahren nach Anspruch 6, bei dem die CAD-Daten zusätzlich CAD-Daten umfassen, die weiteren Objekten zugehörig sind, welche mit dem Objekt (1), das den zugehörigen optischen Code (7) aufweist, in einem konstruktiven Zusammenhang stehen.
  8. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Bildfläche (5) ein Bildschirm ist.
  9. Verfahren nach Anspruch 8, bei dem der Bildschirm ein Bildschirm eines mobilen Endgeräts (2) ist.
  10. Verfahren nach einem der Ansprüche 8 bis 9, bei dem der Bildschirm ein Bildschirm einer Datenbrille ist.
  11. Verfahren nach einem der vorhergehenden Ansprüche, bei dem in einem folgenden Schritt f) das aufgenommene Bild (BF) auf Abweichungen zu dem CAD-Bild (BC) hin überprüft wird (S6) und zumindest bei einem Feststellen einer kritischen Abweichung mindestens eine Aktion ausgelöst wird.
  12. Vorrichtung zur Überprüfung von Objekten (1), insbesondere Fahrzeugbauteilen, auf Richtigkeit, aufweisend eine Kamera (3), eine Datenverarbeitungseinrichtung (4) und eine Bildfläche (5), wobei - die Kamera (3) dazu eingerichtet ist, ein Bild (BF) eines Objekts (1), das mehrere optische Marker (6) aufweist, aufzunehmen; - die Datenverarbeitungseinrichtung (4) dazu eingerichtet ist, in dem Bild (BF) optische Marker (6) zu erkennen; - die Datenverarbeitungseinrichtung (4) dazu eingerichtet ist, mindestens einen optisch auslesbaren Code (7) automatisch aus dem aufgenommenen Bild (BF) auszulesen; - die Datenverarbeitungseinrichtung (4) dazu eingerichtet ist, zu dem ausgelesenen Code (7) zugehörige CAD-Daten, welche die Positionen der optischen Marker (6) auf dem Objekt (1) umfassen, abzurufen; und - die Datenverarbeitungseinrichtung (4) dazu eingerichtet ist, das aufgenommene Bild (BF) des Objekts (1) zusammen mit einem aus den CAD-Daten erstellten CAD-Bild (BC) lagegleich überlagert auf der Bildfläche (5) darzustellen.
DE102018211168.5A 2018-07-06 2018-07-06 Überprüfen von Objekten auf Richtigkeit Pending DE102018211168A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018211168.5A DE102018211168A1 (de) 2018-07-06 2018-07-06 Überprüfen von Objekten auf Richtigkeit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018211168.5A DE102018211168A1 (de) 2018-07-06 2018-07-06 Überprüfen von Objekten auf Richtigkeit

Publications (1)

Publication Number Publication Date
DE102018211168A1 true DE102018211168A1 (de) 2020-01-09

Family

ID=68943728

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018211168.5A Pending DE102018211168A1 (de) 2018-07-06 2018-07-06 Überprüfen von Objekten auf Richtigkeit

Country Status (1)

Country Link
DE (1) DE102018211168A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020100645A1 (de) * 2020-01-14 2021-07-15 Eric Franz Verfahren und System zur Dokumentation von Anomalien eines industriell hergestellten Erzeugnisses
CN115457588A (zh) * 2022-08-15 2022-12-09 四川物通科技有限公司 一种基于增强现实的图纸对照投射识别方法及装置
DE102023207775A1 (de) * 2023-08-11 2025-02-13 Volkswagen Aktiengesellschaft Verfahren zum Bestimmen zumindest einer Objektinformation eines realen Objekts mittels Bildverarbeitung, sowie elektronisches Bestimmungssystem

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060103853A1 (en) * 2004-11-12 2006-05-18 The Boeing Company Optical projection system
US20160171773A1 (en) * 2014-12-10 2016-06-16 Fujitsu Limited Display control method, information processing apparatus, and storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060103853A1 (en) * 2004-11-12 2006-05-18 The Boeing Company Optical projection system
US20160171773A1 (en) * 2014-12-10 2016-06-16 Fujitsu Limited Display control method, information processing apparatus, and storage medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020100645A1 (de) * 2020-01-14 2021-07-15 Eric Franz Verfahren und System zur Dokumentation von Anomalien eines industriell hergestellten Erzeugnisses
CN115457588A (zh) * 2022-08-15 2022-12-09 四川物通科技有限公司 一种基于增强现实的图纸对照投射识别方法及装置
DE102023207775A1 (de) * 2023-08-11 2025-02-13 Volkswagen Aktiengesellschaft Verfahren zum Bestimmen zumindest einer Objektinformation eines realen Objekts mittels Bildverarbeitung, sowie elektronisches Bestimmungssystem
DE102023207775B4 (de) * 2023-08-11 2025-03-27 Volkswagen Aktiengesellschaft Verfahren zum Bestimmen zumindest einer Objektinformation eines realen Objekts mittels Bildverarbeitung, sowie elektronisches Bestimmungssystem

Similar Documents

Publication Publication Date Title
DE102019213199A1 (de) Virtuelle räumlich registrierte video überlagerungsanzeige
EP2463101A1 (de) System und Verfahren zur Erzeugung und Inspektion von Drucken mit statischen und variablen Inhalten
DE102013207598A1 (de) Platziervorrichtung und Platzierverfahren
DE102018211168A1 (de) Überprüfen von Objekten auf Richtigkeit
DE102009007477A1 (de) Modellaufbau einer Fertigungsstätte mit maßstabsgerechten Modellen von Fertigungseinrichtungen sowie Verfahren zur Eingabe eines räumlichen Aufbaus von Fertigungseinrichtungen in ein rechnergestütztes Planungsprogramm
WO2017089037A1 (de) Vorrichtung und verfahren zur visualisierung und dokumentation von schäden
DE102018103449A1 (de) Verfahren zur Identifikation eines Gegenstandes und Bereitstellung von Informationen
DE102013211005A1 (de) Verfahren zum Ermitteln eines Zustands eines Fahrzeugs nach einer Benutzung des Fahrzeugs und entsprechendes System
EP1581364B1 (de) Verfahren zur parallaxefreien zentrierung eines optischen elementes
DE102018132921A1 (de) Verfahren zum Betreiben eines Feldgeräts der Automatisierungstechnik in einer Augmented-Reality/Mixed-Reality- Umgebung
EP3972924A1 (de) Verfahren und vorrichtung zum visualisieren von ersatzteilen
EP3607419B1 (de) Verfahren und vorrichtung zur darstellung einer bauteildokumentation
DE102021121184A1 (de) Verfahren und Einrichtung für eine Kamera-Lidar-Kalibrierung und Kraftfahrzeug
DE212017000139U1 (de) System zur Ausrichtung eines virtuellen Modells an einem realen Objekt
DE102017108622A1 (de) System zur unterstützung von teamarbeit mittels augmented reality
WO2020094870A1 (de) Vorrichtung und verfahren zum kalibrierten prüfen einer bedruckung eines artikels
DE102013218299A1 (de) Verfahren zum Detektieren eines Schadens eines Fahrzeugs anhand eines Prüfbilds, entsprechendes System und Computerprogrammprodukt
EP3119035B1 (de) Verfahren zum überprüfen von netzwerkeinrichtungen und netzwerk
EP3659113A1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren zum erzeugen eines 3d-modells mit referenzdaten
DE102020131607A1 (de) Verfahren zum Bereitstellen eines Trainingsdatensatzes, Verfahren zum Betrieb einer selbstlernenden Bauteildefekt-Erkennungseinrichtung und Selbstlernende Bauteildefekt-Erkennungseinrichtung
EP2703920A1 (de) Verfahren zum Einlernen der Steuerung einer Maschine
DE102018112910B4 (de) Herstellungsverfahren für eine Antriebseinrichtung und Prüfeinrichtung
WO2019121287A1 (de) Verfahren zum aufbau eines rohrsystems unter erzeugung mindestens einer rohrverbindung
EP3650223A1 (de) Vorrichtung und verfahren zum prüfen einer bedruckung eines artikels
EP3183717B1 (de) Vorrichtung und verfahren zur darstellung von strukturinformation über ein technisches objekt

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed