DE19511534C2

DE19511534C2 - Verfahren und Vorrichtung zur Erfassung von 3D-Fehlstellen bei der automatischen Inspektion von Oberflächen mit Hilfe farbtüchtiger Bildauswertungssysteme

Info

Publication number: DE19511534C2
Application number: DE19511534A
Authority: DE
Inventors: Detlef Dr Paul; Heribert Dr Geiselmann
Original assignee: Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date: 1995-03-29
Filing date: 1995-03-29
Publication date: 1998-01-22
Anticipated expiration: 2015-03-30
Also published as: US6064478A; DE19511534A1

Description

Die Erfindung betrifft ein Verfahren zur Erfassung von 3D-Fehlstellen gemäß Anspruch 1 und Vorrichtungen zur Durchführung des Verfahrens gemäß den Ansprüchen 5 und 6.

1. Technisches Anwendungsgebiet

Automatische, prozeßfolgende Inspektion von Oberflächen auf Fehlstellen unterschiedlicher Art und Ausprägung. Ins besondere: automatische Inspektion von laufenden Bahnen oder geförderten Stückgütern, wo 3D-Fehlstellen wie Dellen, Stufen, Materialausbrüche, Welligkeiten oder Erhöhungen erkannt werden sollen und simultan dazu auch ebene Fehlstellen, die durch farbliche Merkmale, Texturmerkmale und/oder geometrische Merkmale gekennzeichnet sind.

2. Stand der Technik

Für die automatische, prozeßfolgende Inspektion von Oberflächen sind eine Vielzahl von Bildauswertungssystemen im Einsatz, z. B. für die automatische Inspektion von Papierbahnen, Folien, Geweben, Stahlband oder Holz. Die meisten Systeme arbeiten mit CCD-Zeilenkameras (Grauton oder Farbe) als bildgebendem Sensor, seltener werden auch Laser-Abtaster eingesetzt. Diese Systeme erfassen ein Bild, das z. B. die Reflexionseigenschaften der zu prüfenden Oberfläche wiedergibt, aber keine direkte Information über deren 3D-Gestalt enthält. Im allgemeinen müssen aber gerade Fehlstellen erkannt werden, die durch 3D-Merkmale gekennzeichnet sind, z. B. Dellen, Kratzer, Materialausbrüche oder rauhe Stellen. Bei marktüblichen Systemen wird versucht, die 3D-Fehlstellen im Bild durch eine der Aufgabe angepaßte Art der Beleuchtung so gut sichtbar zu machen, daß sie automatisch detektiert werden können. Im allgemeinen kommen aber auf Oberflächen nicht nur 3D-Fehler vor, sondern auch ebene Fehlstellen wie Flecken oder Verfärbungen. Zur Unterscheidung zwischen ebenen Fehlern und 3D-Fehlern enthält das so gewonnene Bild keine Information. Deshalb sind Unterscheidungen in jedem Fall nur mit Hilfe von Vorwissen über die Position oder das Erscheinungsbild unterschiedlicher Arten von Fehlstellen möglich. Dies Vorgehen versagt, wenn das Vorwissen des Menschen sich nicht technisch nutzen läßt oder wenn ebene Fehlstellen im aufgenommenen Bild genauso aussehen können wie 3D-Fehlstellen. In solchen Fällen benötigt man Information im Bild, die direkt mit den 3D-Eigenschaften der Oberfläche im Zusammenhang steht. Für die Erfassung von 3D-Information gibt es eine Vielzahl von Verfahren. Sie lassen sich in zwei Klassen einteilen: Verfahren, die aufgrund ihres Meßprinzips Tiefeninformation erfassen (z. B. Lichtschnittverfahren oder Laser-Laufzeitmessung) und Verfahren, die in irgendeiner Weise die Tatsache ausnutzen, daß die Remissionseigenschaften eines Oberflächenelements von dessen Orientierung und Glattheit abhängen. Diese Verfahren werden als Streulichtverfahren bezeichnet. Dazu gehört auch eine im Zusammenhang mit Laser-Abtastern eingesetze Meßmethode: man tastet dabei die Oberfläche mit einem Laserstrahl ab und beobachtet das remittierte Licht gleichzeitig aus verschiedenen Richtungen. Durch Vergleich der in den verschiedenen Kanälen gemessenen Signale läßt sich dann z. B. erschließen, ob das beobachtete Flächenelement eben ist oder geneigt, ob es also z. B. zu einem ungestörten Gebiet einer ebenen, glatten Oberfläche gehört oder zur Flanke einer 3D-Fehlstelle.

Nachteile der heute bekannten Verfahren zur Erfassung von 3D-Information bei der automatischen prozeßfolgenden Inspektion von Oberflächen sind:

- Verfahren zur direkten Messung von Tiefeninformation sind in der Oberflächenprüfung nur in Ausnahmefällen einsetzbar: sie sind zu langsam und/oder haben eine zu geringe Ortsauflösung und/oder Höhenauflösung.
- Laser-Abtaster mit mehreren Empfangskanälen sind für die meisten Einsatzfälle zu teuer.

Für die Prüfung von Stückgütern gibt es Varianten des Streulichtverfahrens, bei denen man vom Prüfling mehrere Bilder aufnimmt und dabei das Objekt bei jeder Bildaufnahme aus einer anderen Richtung beleuchtet. Aus der gewonnenen Bildserie läßt sich für jedes Flächenelement des Prüflings eine Aussage über Remissionsverhalten und räumliche Orientierung gewinnen. Voraussetzung für den Einsatz dieser Methode ist, daß der Prüfling ruht. Diese Voraussetzung ist bei Fließprozessen wie der Inspektion laufender Bahnen nicht gegeben.

Heute üblich sind Verfahren zur automatischen Inspektion von Oberflächen oder der Sortierung von Schüttgütern, bei denen die Farbinformation eine entscheidende Rolle spielt. So ist z. B. aus der nicht vorveröffentlichten EP 0 661 108 A2 ein Verfahren zum optischen Sortieren von Schüttgut bekannt, bei dem Farbeigenschaften und Formeigenschaften als Sortierkriterien verwendet werden. Die Bildaufnahme erfolgt dabei mit Hilfe von farbtüchtigen Kameras, vorzugsweise Zeilenkameras, und einer Beleuchtung mit weißem Licht. In der ersten Stufe des Verfahrens wird jedem Bildpunkt des aufgenommenen Bildes eine Farbklasse zugeordnet. Das erfolgt mit Hilfe eines Farbklassifikators, der als Funktionstabelle realisiert ist. Eingangsgröße der Funktionstabelle ist die Farbinformation z. B. in Form von RGB-Werten, Ausgangsgröße sind Farbklassen. In der nächsten Stufe werden Bildpunkte gleicher Farbklasse zusammengefaßt und die entstehenden Fleckenbilder werden einer Formanalyse unterworfen. Mit solchen Verfahren werden Farbeigenschaften und Formeigenschaften des Prüflings erfaßt, eine Bewertung von 3D-Eigenschaften ist aber infolge der verwendeten Meßtechnik nicht möglich.

3. Mit der Erfindung gelöste Aufgabe; Vorteile gegenüber dem Stand der Technik

Aufgabe der Erfindung ist es, bei der automatischen Inspektion von Oberflächen Information über deren 3D-Eigenschaften zu gewinnen und daneben auch noch Information über den Grauwertverlauf und die Farbe der Oberfläche. 3D-Fehler wie Materialausbrüche, Dellen, Stufen, Erhöhungen oder abstehende Teile sollen eindeutig als 3D-Fehler erkennbar sein und sich von ebenen Fehlstellen unterscheiden lassen.

Erfindungsgemäß wird diese Aufgabe durch das Verfahren nach Anspruch 1 und die Vorrichtungen zur Durchführung des Verfahrens nach Anspruch 5 und Anspruch 6 gelöst; vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.

Hiernach wird zur Realisierung des Meßverfahrens ein farbtüchtiges Bildauswertungssystem eingesetzt z. B. mit einer farbtüchtigen Diodenzeilenkamera als bildgebendem Sensor. Als kennzeichnende Ergänzung des Bildauswertesystems benötigt man lediglich eine spezielle Art der Beleuchtung, deren Einsatz gegenüber den üblichen Beleuchtungsverfahren entweder gar keinen oder nur einen relativ geringen Mehraufwand bedeutet. Die Signalauswertung und Erkennung von 3D-Fehl stellen erfolgt dabei z. B. durch den im farbtüchtigen Bildauswertesystem ohnehin vorhandenen Farbklassifikator. Im Gegensatz etwa zum Lichtschnittverfahren wird dabei die Information über 3D-Fehlstellen mit der vollen Ortsauflösung der Bildaufnahme gewonnen. Eine direkte Vermessung des Oberflächenreliefs ist allerdings nur in Ausnahmefällen möglich.

4. Lösungsweg

Man beobachtet die zu prüfende Oberfläche mit einer Farbkamera, z. B. mit einer Farbzeilenkamera. Mit Hilfe einer Farbkamera gewinnt man von jedem Punkt der zu prüfenden Oberfläche paßgenau 3 Meßwerte, und zwar i.a. die Farbauszüge "rot", "grün" und "blau". Bei Beleuchtung der Oberfläche mit weißem Licht ist das Ergebnis ein Bild, auf dem die Oberfläche in natürlichen Farben wiedergegeben wird.

Um 3D-Fehlstellen auf der Oberfläche erkennen zu können, beleuchtet man nun erfindungsgemäß den Prüfling mit mindestens zwei Lichtquellen, die mit unterschiedlicher Farbe aus unterschiedlichen Richtungen auf die Oberfläche einstrahlen (siehe Fig. 1, 2 und 3). Bei dieser Art von Beleuchtung bewirken 3D-Fehlstellen auf der Oberfläche eine Verschiebung der Balance zwischen den Farbkanälen bei der Bildaufnahme. Dafür sind zwei unterschiedliche Effekte verantwortlich: Schattenwurf und die Abhängigkeit der Remissionskeule von der Neigung der Oberfläche.

In Fig. 1 sind die Verhältnisse für eine geneigte Oberfläche gezeichnet, und zwar für ein Flächenelement am rechten Rand einer Delle. Die Oberfläche wird von zwei Lampen, L1 und L2, aus unterschiedlichen Richtungen beleuchtet, wobei z. B. die Lampe L1 rot und die Lampe L2 blau sein möge. Das von der Lampe L1 kommende Licht wird vom betrachteten Element der Oberfläche entsprechend der Remissionskeule R1 zurückgeworfen, das von der Lampe L2 kommende Licht gemäß R2. Während bei ebener Oberfläche R1 und R2 annähernd symmetrisch zueinander wären, hat hier R1 wegen der annähernd erfüllten Reflexionsbedingung starke Komponenten in Richtung auf die Kamera, R2 nur schwache. Für den auf die Farbe von L1 abgestimmten (roten) Kanal der Kamera erscheint dies Flächenelement also besonders hell und für den auf L2 abgestimmten (blauen) Kanal besonders dunkel. Das betrachtete Flächenelement wird also im Beispiel deutlich rot erscheinen.

Fig. 2 zeigt einen entsprechenden Effekt, der aber durch Schattenwurf zustande kommt: Bei einer Stufe ist die Balance zwischen den Beobachtungskanälen im Halbschatten HS1 und HS2 an den Rändern der Stufe stark verschoben, im Bild erscheinen dort deutliche Farbsäume. Entsprechendes gilt für eine Rille. 3D-Fehler sind im aufgenommenen Bild also als Farbveränderungen erkennbar. Es leuchtet sofort ein, daß man die geschilderte Methode zur Prüfung einfarbiger Oberflächen gut nutzen kann, daß sie aber bei der Prüfung von Oberflächen mit beliebigem Farbenreichtum versagen muß. In der Oberflächenprüfung ist der Farbenreichtum der zu prüfenden Oberfläche aber i.a. eingeschränkt, z. B. bei Metallen, Kunststoffen, lackierten Oberflächen oder von Holz. Holzoberflächen etwa sind "eingeschränkt farbig": sie spielen in verschiedenen Brauntönen und es gibt natürliche Farbfehler wie Bläue oder Rotstreif; Grüntöne aber kommen z. B. nicht vor. Bei solchen "eingeschränkt farbigen" Oberflächen ist die Methode durchaus einsetzbar. Mit einem entsprechend trainierten Fabklassifikator läßt sich für jeden Bildpunkt entscheiden, ob er zur einwandfreien Oberfläche, zu einem ebenen Fehler oder zu einem 3D-Fehler gehört.

5. Ausführungsbeispiele

Fig. 1 und Fig. 2 zeigen ein Ausführungsbeispiel für eine Oberflächenprüfung mit Hilfe einer farbtüchtigen Zeilenkamera und zwei Lampen, die hier als Leuchtstoffröhren L1 und L2 mit unterschiedlicher Farbe (z. B. "Blau" und "Rot") gezeichnet sind. Die Transportrichtung geht nach links, die Zeile und die Leuchtstoffröhren sind quer zur Transportrichtung orientiert.

Aufgrund der geometrischen Anordnung von Lampen und Kamera sind mit diesem Meßaufbau quer zur Transportrichtung orientierte Fehlstellen gut zu erkennen, längs zur Transportrichtung orientierte Stufen oder Risse werden nicht erkannt.

Im Ausführungsbeispiel nach Fig. 3 ist die Richtung der Beleuchtung gedreht: sie erfolgt jetzt mit einer starken Richtungskomponente quer zur Transportrichtung. Damit werden Fehlstellen besonders gut dargestellt, die in Transportrichtung orientiert sind.

Realisiert ist die Beleuchtung im Beispiel durch eine Lichtleiteroptik 1 mit einer zentralen Lichtquelle 2. Das Licht wird über die Koppeloptik 3 in die Lichtleiter eingekoppelt. Die Koppeloptik enthält Filter, mit deren Hilfe Farbton und Intensität der beiden Arme der Lichtleiteroptik 1 getrennt voneinander bestimmt werden kann. Das Licht tritt aus den beiden Armen der Lichtleiteroptik schräg aus und zwar jeweils mit einer starken Komponente quer zur Transportrichtung der Bahn. Durch die Anordnung mit einer zentralen Lichtquelle wird vermieden, daß Intensitätschwankungen der Lichtquelle zu Störungen der Balance zwischen den Farbkanälen führen.

Fig. 4 zeigt eine Verallgemeinerung der Anordnungen nach Fig. 1, Fig. 2 und Fig. 3: hier erfolgt die Beleuchtung simultan aus drei Richtungen. Damit wird die für die vorigen Anordnungen gegebene starke Abhängigkeit der Erkennungssicherheit von der Orientierung der Fehlstellen deutlich vermindert. Für die Realisierung einer solchen Beleuchtung kann man analog zu Fig. 3 eine geeignete Lichtleiteroptik einsetzen.

Für die Auswertung der aufgenommenen Bildinformation kann man einen Farbklassifikator nach Fig. 5 einsetzen: nach einer Trainingsphase entscheidet der Farbklassifikator für jeden Bildpunkt kontextfrei aufgrund des RGB-Farbwertes auf "i.O." (einwandfrei Oberfläche), "EF" (ebener Fehler) oder "3D" (3D-Fehler). Als 3D-Fehler wird in diesem Fall jede signifikante Abweichung von der ebenen Oberfläche gekennzeichnet; auf eine Schätzung des Oberflächenreliefs wird verzichtet.

Fig. 6 zeigt die Struktur eines weitergehenden Auswerteverfahrens. Hier wird die im aufgenommenen Bild unter gewissen Voraussetzungen enthaltene Information über die Neigung der Oberflächenelemente genutzt, um eine Schätzung über den Verlauf des Oberflächenreliefs zu gewinnen. Aus der Abfolge der Halbschatten HS1 und HS2 in Fig. 2 ist z. B. eindeutig zu erkennen, daß es sich bei dem vorliegenden 3D-Fehler um eine Erhöhung handeln muß - bei einer Vertiefung wäre die Abfolge der Halbschatten umgekehrt. Aus der Breite der Halbschatten HS1 und HS2 im Bild läßt sich darüberhinaus auf die Höhe der vorliegenden Stufe schließen. Prinzipiell läßt sich bei Kenntnis der Remissionseigenschaften der Oberfläche aus dem Verhältnis der gemessenen Intensitäten in den einzelnen Kanälen auf die Neigung der Oberflächenelemente schließen und bei Kenntnis der Neigung läßt sich durch Integration über die Neigungen das Relief der Oberfläche gewinnen.

Das angegebene Meßverfahren kann in der Praxis wegen der schwankenden Remissionseigenschaften der zu prüfenden Oberfläche nur Schätzwerte für die Neigung von Oberflächenelementen liefern. Das in Fig. 6 gezeigte Verfahren zu Bestimmung des Oberflächenreliefs muß deshalb neben dem Vorwissen über das Remissionsverhalten der Oberfläche auch Kontextinformation nutzen, z. B. im Rahmen eines Relaxationsverfahrens.

Claims

1. Verfahren zur Erfassung von 3D-Fehlstellen bei der automatischen Inspektion von Oberflächen mit Hilfe eines farbtüchtigen Bildauswertesystems, wobei die zu prüfende Oberfläche eines bewegten Prüflings gleichzeitig aus mindestens zwei verschiedenen Richtungen mit Licht unterschiedlicher Farbe bestrahlt wird, die Flanken von 3D-Fehlstellen auf der Oberfläche deshalb in veränderter Färbung erscheinen und aufgrund der veränderten Färbung durch Auswertung von mindestens zwei Farbauszügen des Farbbildes als 3D-Fehlstellen erfaßt und von ebenen Fehlstellen unterschieden werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Unterscheidung zwischen einwandfreier Oberfläche (i.O.), ebenen Fehl stellen (EF) und 3D-Fehlstellen (3D) von einem Farbklassifikator vorgenommen wird.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß durch Auswertung von Art, Intensität und geometrischer Anordnung der für 3D-Fehler kennzeichnenden Verfärbungen von Bildbereichen auf die Art von 3D-Fehlern und auf deren Ausprägung zurückgeschlossen wird.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die zu prüfende Oberfläche aus 3 Richtungen beleuchtet wird, und zwar so, daß die Flanken beliebig orientierter Fehlstellen in jedem Fall durch Verfär bungen kenntlich werden.

5. Vorrichtung zur Erfassung von 3D-Fehlstellen bei der automatischen Inspektion von Oberflächen mit Hilfe eines farbtüchtigen Bildauswertesystems, mit zwei verschiedenfarbigen Lichtquellen (L1, L2), die quer zur Transportrichtung der zu prüfenden Oberfläche so angeordnet sind, daß die von dem farbtüchtigen Bildauswertesystem beobachtete Meßlinie auf dem Prüfling von den beiden Lichtquellen (L1, L2) schräg aus unterschiedlichen Richtungen bestrahlt wird, und zwar in Transportrichtung und entgegen der Transportrichtung.

6. Vorrichtung zur Erfassung von 3D-Fehlstellen bei der automatischen Inspektion von Oberflächen mit Hilfe eines farbtüchtigen Bildauswertesystems, wobei nur eine Lampe (2) vorgesehen ist, deren Licht über eine applikationsspezifisch mit Farbfiltern ausgestattete Koppeloptik (3) in zwei Lichtleitermodule (1) eingespeist wird und nach Austritt aus den Lichtleitermodulen die von dem farbtüchtigen Bildauswertesystem beobachtete Meßlinie schräg beleuchtet, und zwar mit einer starken Richtungskomponente quer zur Transportrichtung der zu prüfenden Oberfläche.