-
Die Erfindung betrifft ein Verfahren zur Fokusadaption bei einem Bilderfassungssystem einer endoskopischen Inspektionsvorrichtung zur Rundumsicht, wobei mit dem Bilderfassungssystem ein Gesamtbild einer in einem Prüfkörper innen liegenden Prüfoberfläche erfasst und in einem Bildnachverarbeitungsvorgang ein Gesamtabbild der Prüffläche zeilenweise aus einzelnen Bildpunkten eines Bildstapels zusammengesetzt wird, die sich in einem sphärenförmigen Fokusbereich des Gesamtbildes befinden.
-
Die Erfindung betrifft weiterhin eine entsprechende Vorrichtung zur Durchführung des Verfahrens.
-
Stand der Technik
-
Endoskopisch basierte Inspektionssysteme, mit denen sich Hohlräume abbilden lassen, sind u. a. aus der Medizintechnik zur Exploration von Darm, Magen, Blutgefäßen etc. und aus der Werkstück-Qualitätskontrolle bekannt.
-
So wird beispielsweise in der Patentschrift
DE 10 2004 026 004 B4 ein Endoskop mit einem einen zentralen Arbeitskanal aufweisenden Endoskopschaft beschrieben, an dessen distalem Endabschnitt ein Endoskopkopf ausgebildet ist, der vom Arbeitskanal durchzogen wird, um den herum ein Optikverbund, bestehend aus einer Anzahl von Einzeloptiken, auf einer Kreisbahn angeordnet ist. Diese weisen jeweils einen Öffnungswinkel von größer als 90° auf und sind bezüglich der Längsachse des Endoskops unter einem solchen Winkel nach außen gerichtet, dass deren jeweilige Blickfelder über die Senkrechte zur Endoskoplängsachse nach hinten sowie über die Längsachse nach vorne hinaus reichen, wodurch sich im Vorfeld des Endoskopkopfes ein gemeinsamer Überlappungsbereich aller Blickfelder ergibt.
-
Die Offenlegungsschrift
DE 10 2006 019 124 A1 offenbart ein Bilderfassungssystem zur Rundumsicht, welches mindestens eine Kameraeinheit aus zeilenförmig angeordneten optischen Kanälen mit einer Mikrolinse und einem in dessen Brennebene liegenden Detektor aufweist, der aus dem Mikrobild hinter der Mikrolinse einen Bildpunkt extrahiert, wobei die optischen Achsen der einzelnen optischen Kanäle unterschiedliche Neigungen aufweisen, so dass sie eine Funktion des Abstandes des optischen Kanals vom Mittelpunkt der zum Bild gewandten Seite der Kameraeinheit darstellen, womit das Verhältnis der Größe des Gesichtsfeldes zur Bildfeldgröße gezielt bestimmbar ist. Dabei ist vorgesehen, dass die Kameraeinheit auf einer rotierenden oder rotationsschwingenden Drehachse montiert ist, wodurch eine Rundumsicht des Bilderfassungssystems ermöglicht wird.
-
Bei den am Markt existierenden Systemen, die, wie die o. g. Beispiele zeigen, nach unterschiedlichen Prinzipien funktionieren, um ein Bauteil mit 360° Innenansicht zu scannen, wird bei den betrachteten Methoden ein Rundumsicht-Endoskop in das Bauteil eingeführt. Dabei bildet das Endoskop die Innenwand des Bauteils auf einem Sensor ab.
-
Es entsteht dabei auf einer 2D-Sensorfläche eine Abbildung, die innerhalb eines ringförmigen Kreises die 90°-Normale des Bauteils abbildet. Eine schmale Linie in der Detektionsebene ist scharf abgebildet. Um ein komplettes Abbild des Bauteils zu erzielen, wird das Endoskop in axialer Richtung weiter bewegt. Dabei ist nun an derselben Stelle des Bild-Sensors die nächste Aufnahmeebene des Bauteils im Fokus. Ein Zusammenfügen der Bildzeilen ermöglicht nun eine Erzeugung eines entrollten Bildes der inneren Oberfläche des Bauteils, welches inspiziert werden kann.
-
Grundsätzlich lassen sich die technischen Methoden für derartige Rundumsicht-Endoskope in zwei Gruppen einteilen. Überwiegend wird ein spezieller Ring-CCD-Sensor verwendet, um genau diese Ringfläche maximal schnell auslesen zu können. Alternativ dazu ist auch die Verwendung einer High-Speed-Kamera gebräuchlich, wobei die komplette Sensor-Fläche belichtet wird. In der Nachverarbeitung ist dabei ein Auslesen der Pixel im fokussierten ringförmigen Bereich möglich. Diese Pixel werden entrollt und bilden eine Zeile in der Aufnahme der Innenfläche das Prüflings. Durch die schnelle Bildaufnahme der High-Speed-Kamera ist ein vergleichbar schnelles Abtasten der Oberfläche möglich. Auf diese Methode konzentriert sich die folgende Erfindung.
-
Als nachteilig hat sich heraus gestellt, dass insbesondere bei komplexen Innenstrukturen der Prüfkörper die Fokussierung nicht optimal erfolgt, da der Fokusbereich sphärenförmig ausgebildet ist, und damit einzelne Oberflächenabschnitte der Prüffläche innerhalb des Fokusbereichs nicht optimal scharf abgebildet werden können.
-
Es ist daher Aufgabe der Erfindung ein Verfahren bereitzustellen, mit dem die Fokussierung verbessert werden kann.
-
Es ist weiterhin Aufgabe der Erfindung, eine Vorrichtung zur Durchführung des Verfahrens bereit zustellen.
-
Offenbarung der Erfindung
-
Die das Verfahren betreffende Aufgabe wird durch die Merkmale der Ansprüche 1 bis 8 gelöst.
-
Die die Vorrichtung betreffende Aufgabe der Erfindung sieht zur Durchführung des Verfahrens ein Bilderfassungssystem vor, in dem softwaremäßig eine Fokusadaption implementiert ist und die Fokusadaption beim Eintauchen des Bilderfassungssystems entlang einer Scan-Achse in den Prüfkörper erfolgt, wobei der Fokusbereich, abhängig von der Eintauchtiefe in den Prüfkörper, vorher anhand der Bauteilgeometrie oder während der Aufnahme über die Detektion von in der Scan-Richtung gesehen vor dem Bilderfassungssystem gelegener markanter Bauteilstrukturen bestimmbar ist.
-
Das erfindungsgemäße Verfahren sieht vor, dass die Fokusadaption beim Eintauchen des Bilderfassungssystems entlang einer Scan-Achse in den Prüfkörper erfolgt, wobei der Fokusbereich, abhängig von der Eintauchtiefe in den Prüfkörper, vorher anhand der Bauteilgeometrie oder während der Aufnahme über die Detektion von in der Scan-Richtung gesehen vor dem Bilderfassungssystem gelegener markanter Bauteilstrukturen bestimmt wird.
-
Mit dem erfindungsgemäßen Verfahren und der entsprechenden Vorrichtung kann die Abbildungsschärfe insbesondere bei komplexen Innenstrukturen verbessert werden, was einer Bauteilinspektion zuträglich ist. Die Fokussierung On-the-Fly kann mittels einer Software in dem vorzugsweise als High-Speed-Kamera ausgebildeten Bilderfassungssystem erfolgen. Dadurch kann auf eine mechanisch basierte Nachregelung des Fokusbereichs ganz verzichtet werden, was den Verschleiß minimiert. Dabei wird durch Vorwissen um das Bauteil oder mittels Bestimmung in den Bildern die Region des optimalen Fokus bestimmt und die Bildinformation in dieser Region ausgelesen.
-
Als bevorzugte Verfahrensvariante ist vorgesehen, dass die Fokusadaption während der Aufnahme oder nach Aufzeichnung des Bildstapels erfolgt.
-
Dabei kann vorgesehen sein, dass auch scharf abgebildete Bildelemente der Prüfoberfläche des Prüfkörpers, die in einem 90°-Bildwinkel zur Endoskopachse angeordnet sind, erfasst und für die Erstellung des Gesamtbildes verwendet werden.
-
Als vorteilhaft hat sich herausgestellt, wenn während des Scan-Vorganges auf in Scan-Richtung gesehen vor dem Bilderfassungssystem gelegene Bauteilstrukturen fokussiert und diese Bildpunkte zum Gesamtabbild der Prüfoberfläche zeilenweise zusammengesetzt werden. Im Vordergrund steht dabei, dass der Blickwinkel auf die scharf abgebildete Oberflächenstruktur gerichtet ist und dabei notwendigerweise nicht mehr 90° zur Endoskop-Achse beträgt. Die nachfolgende Interpolation zur Erzeugung eines entrollten Bildes erfolgt dabei mit diesen Bildpunkten. Markante Bauteilgeometrien zur Ermittlung einer optimalen Fokuslage können beispielsweise die Radien der Böden von Sacklöchern oder die Bohrradien bei Bohrungen sein. Diese zeichnen sich im Allgemeinen als scharfe Kante ab.
-
Aufgrund der Tatsache, dass durch den Scan-Vorgang und der Abbildung über das Endoskop eine Stelle des Bauteils in sehr vielen 2D-Einzelbildern vorhanden ist, ist es daher vorteilhaft, dass der Fokusbereich aus mehreren Einzelbildern, die gleiche, fokussierte Bauteilstrukturen beinhalten, bestimmt wird. Zum Beispiel kann die optimale Fokuslage dieses Punktes aus dem Bildstapel direkt bestimmt werden.
-
Ein weiterer Vorteil ergibt sich aus einer Verfahrensvariante, bei der zusätzlich Informationen zur Beleuchtung dieser Bauteilstrukturen zu einer Defekterkennung der Prüfoberfläche verwendet werden, die sich aus unterschiedlichen Einzelbildern oder zu unterschiedlichen Zeiten beim Scan-Vorgang ergeben. Üblicherweise ist die Beleuchtung wie das Bilderfassungssystem in der Endoskop-Spitze integriert. Daher fährt die Beleuchtung entsprechend dem Scan-Vorgang mit. Ein Punkt, der zu unterschiedlichen Zeitpunkten bzw. in unterschiedlichen Scan-Tiefen und damit auch unter unterschiedlichen, aber bekannten Beleuchtungsrichtungen aufgenommen wurde, lässt sich besser auf Defekte untersuchen, wenn diese Information zur Beleuchtung bei der Bildauswertung bzw. Bildnachverarbeitung mit verwendet wird.
-
Werden, wie dies weitere vorteilhafte Verfahrensvarianten vorsehen, während des Scan-Vorganges Verfahren zur Defekt-Erkennung angewendet und daraus Informationen über die jeweilige Neigung von Punkten der Prüfoberfläche bestimmt, lassen sich daraus zusätzliche Topologie-Merkmale ableiten, die zur besseren Erkennung von Oberflächenfehlern genutzt werden können. Derartige Verfahren können beispielsweise bekannte Verfahren, wie das Shape-from-Shading-Verfahren (SFS-Verfahren) oder das Photometric-Stereo-Verfahren (PS-Verfahren) sein, bei denen eine Rekonstruktion von Formen und Oberflächeninformationen, wie z.B. die Neigung, aus einem Bild mittels einer computergestützten Bildverarbeitung erfolgt (siehe z.B. „Oberflächenrekonstruktion durch Shape-from-Shading und Photometric Stereo“, Arno Fassbender). Obwohl in der Regel nur Topologie-Merkmale in Scan-Richtung erfasst werden, stellt die Anwendung bereits einen zusätzlichen Vorteil dar. So kann alleine durch die Auswertung der Kontrastkurven über die Beleuchtungsrichtung ein Defekt deutlich besser lokalisiert werden als mit einer statischen Aufnahme. Das entspricht dem Vorgehen eines menschlichen Prüfers, der das Bauteil bei bestimmter Beleuchtung dreht und wendet und so besser markante Stellen findet, an denen der Kontrast in Einzelpunkten gegenüber der Umgebung abweicht.
-
Eine weitere Möglichkeit der verbesserten Informationsgewinnung ergibt sich, wenn die Prüfoberfläche aus unterschiedlichen Richtungen mit unterschiedlich kodiertem Licht beleuchtet und zur Defekt-Erkennung mittels des Bilderfassungssystems für die Bildpunkte eine Gewichtung dieser kodierten Lichtanteile bestimmt wird.
-
Dabei kann vorgesehen sein, dass die Prüfoberfläche aus mindestens zwei Richtungen mit unterschiedlich farbigen Licht, z.B. mit rotem Licht in Scan-Richtung und mit grünem Licht gegen die Scan-Richtung, beleuchtet und eine Farbkamera als Bilderfassungssystem verwendet wird, mit der die Gewichtung zwischen dem Rot- und dem Grünwert eines Pixels bestimmt und daraus auf die Neigung dieses Punktes in Bezug zur Anordnung der Beleuchtung geschlossen werden kann.
-
So ist beispielhaft in der Offenlegungsschrift
DE 10 2008 002 730 A1 , ein Verfahren zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors beschrieben, der die Szene aufnimmt, wobei mittels eines Projektors mit einer Strukturblende Grauwertmuster oder Farbmuster mit definierten lokal unterschiedlichen Helligkeiten oder Farben auf die Objektoberfläche projiziert werden. Diese Anmeldung bezieht sich weiterhin auf eine entsprechende Vorrichtung mit einer Sensorikanordnung zur Erzeugung eines Abstandbildes für die 3D-Rekonstruktion einer Objektoberfläche aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors, wobei mittels einer Lichtquelle homogenes Licht auf die Objektoberfläche projizierbar ist und mit derselben oder einer zweiten Lichtquelle und einer Strukturblende Grauwertmuster oder Farbmuster mit definierten lokal unterschiedlichen Helligkeiten oder Farben auf die Objektoberfläche projizierbar sind.
-
Das zuvor beschriebene Verfahren mit seinen Varianten kann besonders vorteilhaft innerhalb der Endoskopie in der Medizintechnik, z.B. zur Untersuchung von Körperhöhlen, zur Inspektion von lochartigen Ausnehmungen oder Kanälen im Bereich Maschinenbau oder Fahrzeugtechnik, bei denen es auf eine hohe Präzision und eine fehlerfreie Ausführung ankommt, oder zur 360°-Bilderfassung in Räumen angewendet werden. Insbesondere bei lochartigen Ausnehmungen oder Kanälen mit komplexer Innenstruktur kann durch die beschriebene Fokussierung ein schärferes Abbild realisiert werden, wodurch die Detektion von Fehlern erleichtert wird.
-
Kurze Beschreibung der Zeichnungen
-
Die Erfindung wird im Folgenden anhand eines in den Figuren dargestellten Ausführungsbeispiels näher erläutert. Es zeigen:
-
1 in einer schematischen Darstellung eine Inspektionsvorrichtung,
-
2 eine Objektaufnahme,
-
3 eine entrolltes Bild einer Objektaufnahme mit Abbildungsfehlern,
-
4 eine schematische Darstellung eines Rundumsicht-Endoskops,
-
5a eine Objektaufnahme eines Bauteils und 5b ein Schnittbild des abgebildeten Bauteils und
-
6a eine weitere Objektaufnahme und 6b ein entrolltes Bild der Objektaufnahme.
-
1 zeigt schematisch eine Inspektionsvorrichtung 1, bei der an der Spitze eines Endoskops 10 ein Bilderfassungssystem in Form einer High-Speed-Kamera angeordnet ist, welches entlang einer Scan-Achse 30 in einen Prüfkörper 20 zur Erfassung einer innen liegenden Prüfoberfläche 21 eingeführt wird. Die Scan-Achse 30 sollte dabei idealerweise mit der Bauteilachse 22 des Prüfkörpers 20 übereinstimmen. Das Bilderfassungssystem kann dabei als High-Speed CCD-Kamera ausgebildet sein und erfasst dabei die Prüfoberfläche 21 in einer 360°-Rundumsicht, wobei eine scharfe Abbildung der Prüfoberfläche 21 in einem ringförmigen Fokusbereich 40 innerhalb der Detektionsebene 50 erfolgt. Durch Verschieben des Bilderfassungssystems entlang der Scan-Achse 30 kann die Prüfoberfläche 21 zeilenweise abgetastet werden.
-
2 zeigt beispielhaft die Abbildung eines Rundumsicht-Endoskops, bei der das Innere einer Bohrung in einem Prüfkörper 20 gezeigt ist. Der helle Ring markiert in dieser Aufnahme den Fokusbereich 40, der unter 90° zur Scan-Achse 30 scharf abgebildet und zur Inspektion ausgewertet wird. Es sei angemerkt, dass das Verfahren nicht zwingend auf eine 90°-Blickrichtung festgelegt ist. Diese stellt allerdings einen häufigen Anwendungsfall dar.
-
Dabei werden in einem Nachverarbeitungsprozess die Bild-Pixel im fokussierten ringförmigen Bereich ausgelesen und zeilenweise zu einem entrollten Abbild 61 zusammengefügt, wie dies 3 beispielhaft zeigt. Dieser Prozess wird als Stitching bezeichnet. Als Mangel an den bisherigen Systemen stellte sich heraus, dass die Ausrichtung der Scan-Achse 30 und der Bauteilachse 22 extrem genau ausgerichtet sein musste, um störende Artefakte bei der Bildauswertung zu vermeiden. Typische Abbildungsfehler 70 resultieren dabei oft aus Lagefehler und/ oder Winkelfehler, bei denen die Scan-Achse 30 zur Bauteilachse 22 seitlich verschoben und/ oder zueinander gekippt ist. In einer Parallelanmeldung der Anmelderin mit dem internen Aktenzeichen R.334639 wird ein Verfahren und eine Vorrichtung zur Durchführung des Verfahrens vorgeschlagen, derartige Lagefehler und/oder Winkelfehler zu minimieren.
-
Als Nachteil hat sich zudem heraus gestellt, dass die zu untersuchenden Prüfkörper 20 eine komplexe Innenstruktur aufweisen und damit die Prüfoberfläche 21 innerhalb eines kurzen Scan-Weges unterschiedlich weit von der Scan-Achse 30 entfernt ist, wie dies 4 schematisch zeigt. Dies hat zur Folge, dass während des Scan-Vorganges der Fokus des Bilderfassungssystems des Rundumsicht-Endoskops 10 sehr häufig nachgeregelt werden muss oder größere Unschärfen in Kauf genommen werden müssen. So ist in 4 beispielhaft ein Prüfkörper 20 mit seiner innen liegenden Prüfoberfläche 21 gezeigt, wobei die Prüfoberfläche 21 unterschiedlich weit vom Endoskop 10 entfernte und/ oder unterschiedlich zur Scan-Achse 30 geneigte Oberflächenabschnitte 21.1 ... 21.5 aufweist. Je nach Design der Optik des Endoskops 10 ist der Bereich, in dem sich der Fokus befindet (Fokusbereich 40) als eine Sphäre mit einem bestimmten Radius ausgebildet. Dabei ist zu erkennen, dass nicht alle Bauteilbereiche der Prüfoberfläche 21 sich in der optimalen Schärfezone befinden. Stand der Technik ist das Fokussieren auf mehr oder weniger einen Mittelwert der unterschiedlichen Abstände, so dass alle Bereiche in Folge entsprechend gleich unscharf abgebildet werden.
-
5a zeigt eine Objektaufnahme 60 des Prüfkörpers 20 aus 4 als Ergebnis eines Auslesevorganges der 2D-Bilder des Bilderfassungssystems, dessen Prüfoberfläche 21 mit seinen verschiedenen Oberflächenabschnitten 21.1 ... 21.5 als Schnittbild in 5b dargestellt ist. Entsprechend der Geometrie des Bauteils gemäß 5b ist die optimale Fokuseinstellung an mehreren Stellen zu finden. Beim Scan-Vorgang bewegt sich der optimale Fokus mit unterschiedlichen Radien durch den Prüfkörper 20.
-
Das erfindungsgemäße Verfahren sieht vor, eine Adaption der Fokussierung On-the-Fly, also noch während der Aufnahme durchzuführen. Dies geschieht in einem bevorzugten Ausführungsbeispiel mittels einer speziellen Software innerhalb des Bilderfassungssystems, d. h. innerhalb der High-Speed-Kamera.
-
Dabei ist vorgesehen, dass die Fokusadaption während der Aufnahme beim Eintauchen des Bilderfassungssystems entlang der Scan-Achse 30 in den Prüfkörper 20 erfolgt, wobei der Fokusbereich 40, abhängig von der Eintauchtiefe in den Prüfkörper 20, vorher anhand der Bauteilgeometrie oder während der Aufnahme über die Detektion von in der Scan-Richtung gesehen vor dem Bilderfassungssystem gelegener markanter Bauteilstrukturen bestimmt wird. Diese können beispielsweise die Radien der Böden von Sacklöchern oder die Bohrradien bei Bohrungen sein. Diese zeichnen sich im Allgemeinen als scharfe Kante ab. Dabei kann vorgesehen sein, dass scharf abgebildete Bildelemente der Prüffläche 21 des Prüfkörpers 20, die in einem von 90° abweichenden Bildwinkel zur Endoskopachse angeordnet sind, erfasst und für die Erstellung des Gesamtbildes verwendet werden. Eine bevorzugte Verfahrensvariante sieht vor, dass während des Scan-Vorganges auf in Scan-Richtung gesehen vor dem Bilderfassungssystem gelegene Bauteilstrukturen fokussiert und diese Bildpunkte zum Gesamtabbild der Prüffläche 21 zeilenweise zusammengesetzt werden.
-
6a zeigt als Ergebnis der Anwendung des erfindungsgemäßen Verfahrens eine weitere Objektaufnahme 60 mit einer 360°-Rundumsichtoptik. In 6b ist die Objektaufnahme 60 (6a) in einem Nachverarbeitungsprozess zu einem entrollten Bild 61 verarbeitet worden, bei dem während der Aufnahme zusätzlich eine Korrektur der Achslage stattgefunden hat. Zusätzlich konnte die Abbildungsschärfe gegenüber dem Stand der Technik verbessert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102004026004 B4 [0004]
- DE 102006019124 A1 [0005]
- DE 102008002730 A1 [0024]