WO2018127509A1

WO2018127509A1 - Verfahren zur erzeugung eines dreidimensionalen modells einer probe in einem digitalen mikroskop und digitales mikroskop

Info

Publication number: WO2018127509A1
Application number: PCT/EP2018/050122
Authority: WO
Inventors: Pavlos ILIOPOULOS; Alexander Gaiduk
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2017-01-09
Filing date: 2018-01-03
Publication date: 2018-07-12
Anticipated expiration: 2019-07-09
Also published as: DE102017100262A8; DE102017100262A1; CN110168609A; US20190353886A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe (09) unter Verwendung eines Mikroskops (01) folgende Schritte umfassend: Vorgeben einer Perspektive zur Aufnahme von Bildern zumindest eines Bereichs der Probe (09), wobei die Perspektive durch den Winkel und die Position der optischen Achse des Objektivs relativ zur Probe und durch die Winkelverteilung der Beleuchtungsstrahlung relativ zur Probe vorgegeben wird; Aufnehmen von mehreren Einzelbildern des Bereichs der Probe (09) an verschiedenen Fokuspositionen aus der vorgegebenen Perspektive; Wiederholen der vorhergehenden Schritte für den zumindest einen Bereich der Probe (09) mit zumindest einer weiteren unterschiedlichen Perspektive; Berechnen eines dreidimensionalen Modells des Bereichs der Probe (09) aus den aufgenommenen Einzelbildern des Bereichs der Probe (09). Die Erfindung betrifft weiterhin ein digitales Mikroskop, welches zur Ausführung des erfindungsgemäßen Verfahrens konfiguriert ist.

Description

Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe in einem digitalen Mikroskop und digitales Mikroskop

Die vorliegende Erfindung betrifft ein Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe in einem digitalen

Mikroskop. Weiterhin betrifft die Erfindung ein digitales Mikroskop, mit welchem das erfindungsgemäße Verfahren

durchführbar ist. Bei digitalen Mikroskopen erfolgt bekanntlich eine

elektronische Bildwandlung, wobei das aufgenommene Bild in Form von digitalen Daten weiterverarbeitet und zur Anzeige auf einer elektronischen Bildwiedergabeeinrichtung gebracht wird. Ein wichtiges Aufgabengebiet in der Mikroskopie ist die

Erzeugung dreidimensionaler Modelle einer beobachteten Probe. Die zur 3D-Rekonstruktion bislang eingesetzten

Erfassungsmethoden und Rekonstruktionsalgorithmen, wie

beispielsweise Fokusvariationen, weisen eine große Anzahl von verdeckten Bereichen auf, in denen Informationen über das mikroskopierte Objekt aufgrund der Beschränkungen der

Bildaufnahmeverfahren nicht zur Verfügung stehen.

In der DE 10 2014 006 717 AI ist ein Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes in einem

Digitalmikroskop beschrieben. Bei diesem Verfahren wird zunächst ein Bild für jeweils eine Fokusposition aufgenommen. Das Bild wird mit der zugehörigen Fokusposition in einem

Bildstapel abgelegt. Die vorhergehenden Schritte werden an verschiedenen Fokuspositionen wiederholt. Aus den

Einzelbildern wird ein Bild mit erweiterter Schärfentiefe (EDOF-Bild) berechnet. Im Prozess der Berechnung des EDOF- Bildes wird eine Anzahl an Pixeldefekten detektiert. Abschließend erfolgt die Berechnung einer Höhenkarte oder eines 3D-Modells.

Die EP 2 793 069 AI zeigt ein Digitalmikroskop mit einer

Optikeinheit und einer digitalen Bildverarbeitungseinheit, welche an einem Mikroskopstativ angeordnet sind. Ein weiterer Bestandteil des Digitalmikroskops ist ein Bildsensor zur

Erfassung eines Bildes einer auf einem Probentisch

anzuordnenden Probe. Das Digitalmikroskop umfasst weiterhin mindestens einen ersten Überwachungssensor zur Beobachtung der

Probe, des Probentisches, der Optikeinheit oder eines

Benutzers sowie eine Überwachungseinheit. In der

Überwachungseinheit werden Daten des Überwachungssensors automatisiert ausgewertet und zur automatischen Steuerung des Digitalmikroskops herangezogen. Das Digitalmikroskop kann einen zweiten Überwachungssensor aufweisen, welcher an einem anderen Ort als der erste Überwachungssensor angeordnet ist. Die Daten beider Überwachungssensoren werden in der

Überwachungseinheit zu einer dreidimensionalen

Überblicksinformation verarbeitet. Des Weiteren können die von den Überwachungssensoren erfassten Daten für eine

Grobpositionierung des Probentisches bzw. für eine

automatische Einstellung eines Fokus des Objektivs Verwendung finden .

Die EP 1 333 306 Bl beschreibt ein Stereo-Mikroskopieverfahren und ein Stereo-Mikroskopsystem zur Erzeugung stereoskopischer Darstellungen eines Objektes, so dass beim Betrachten der Darstellungen durch einen Benutzer ein räumlicher Eindruck von dem Objekt entsteht. Hierzu werden dem linken Auge und dem rechte Auge des Benutzers verschiedene Darstellungen des Objektes aus unterschiedlichen Blickrichtungen auf das Objekt zugeführt. Das Stereo-Mikroskopsystem umfasst unter anderem eine Detektoranordnung mit zwei Kameras, welche mit Abstand voneinander derart angeordnet sind, dass sie jeweils ein Bild von einem Bereich einer Oberfläche des Objektes aufnehmen können. Aufgrund des Abstandes der beiden Kameras voneinander wird der Bereich aus verschiedenen Blickwinkeln aufgenommen.

Aus den von den Kameras gelieferten Daten kann mittels einer geeigneten Software ein dreidimensionales Datenmodell des beobachteten Objektes generiert werden. Es sind verschiedene Verfahren zur Erzeugung von

dreidimensionalen Modellen aus mehreren Bildern bekannt.

Kimura, Makoto und Hideo Saito beschreiben im Fachartikel "3D reconstruction based on epipolar geometry." in IEICE

RANSAC IONS on Information and Systems 84.12 (2001): 1690- 1697, die 3D-Rekonstruktion mittels Epipolargeometrie. Die

Epipolargeometrie ist ein Modell aus der Geometrie, welches die geometrischen Beziehungen zwischen verschiedenen

Kamerabildern desselben Objekts darstellt. In der Bildverarbeitung wird der bekannte

RANdomSAmpleConsensus (RANSAC) -Algorithmus zur Bestimmung von homologen Punkten zwischen zwei Kamerabildern eingesetzt. Homolog sind die zwei Bildpunkte, die ein einzelner

Objektpunkt in den beiden Kamerabildern erzeugt. Das Resultat einer automatischen Analyse enthält meist eine größere Anzahl

Fehlzuordnungen. Mittels RANSAC sollen Fehlzuordnungen ausgeschlossen werden. Bei der Epipolargeometrie dient RANSAC zur Bestimmung der Fundamentalmatrix, die die geometrische Beziehung zwischen den Bildern beschreibt. Vom Department of Engineering Science, The University of Oxford wurde in der

Veröffentlichung „Automatic Estimation of Epipolar Geometry" die Verwendung von RANSAC bei der Epipolargeometrie beschrieben

(http : //www .robots.ox.ac.uk/~az/tutorials/tutorialb. pdf) .

Scharstein, D. und Szeliski, R. befassen sich im Fachartikel „A taxonomy and evaluation of dense two-frame Stereo

correspondence algorithms." in International Journal of

Computer Vision, 47(l):7-42, Mai 2002, mit einer Taxonomy und Bewertung von Stereo-Korrespondenz-Algorithmen. Frankot, R. T. und Chellappa, R. beschreiben im Fachartikel "A method for enforcing integrability in shape from shading

Algorithms. Pattern Analysis and Machine Intelligence" in IEEE Transactions on, 10 (4) : 439-451, 1988, die Integrierbarkeit von Shading-Algorithmen .

Die WO 2015 185538 AI beschreibt ein Verfahren und eine

Software zur Berechnung dreidimensionaler

Oberflächentopologiedaten aus zweidimensionalen, mittels

Mikroskop aufgenommenen Bildern. Das Verfahren benötigt mindestens drei zweidimensionale Bilder, welche mit drei verschiedenen Betrachtungswinkeln zwischen der Probenebene und der optischen Achse aufgenommen werden. Die bevorzugten

Betrachtungswinkel liegen zwischen 0,5° und 15°. In den

Bildern sind kontrastierende Veränderungen (Einfärben, Neigen) erforderlich. Verfahrensgemäß erfolgt eine Bestimmung der

Probenneigung und der Probenposition im Zusammenhang mit der Schärfentiefenbestimmung. Die beschriebenen Beispiele nutzen mit Rasterelektronenmikroskopen aufgenommene Bilddaten. Die US 2016/091707 A zeigt ein Mikroskopsystem für die

Chirurgie. Mit dem System können Bilder von Proben mit

verschiedenen Betrachtungswinkeln / Perspektiven aufgenommen werden. Die aufgenommenen Bilddaten dienen zur Erzeugung dreidimensionaler Bilder der Probe. Das System nutzt einen räumlichen Lichtmodulator zur Variation der Beleuchtungswinkel bzw. Erfassungswinkel. Die Selektivität der Winkel wird begrenzt durch die Öffnungswinkel der zur Erfassung und

Beleuchtung verwendeten Optiken. Auf Möglichkeiten zur

Realisierung größerer Winkel wird nicht eingegangen. Der

Lichtmodulator ist in der hinteren Brennebene oder in der äquivalent zu dieser konjugierten Ebene angeordnet. Die US 8,212,915 Bl zeigt ein Verfahren und eine Vorrichtung zum Fokussieren von Bildern, die durch Mikroskope, Ferngläser und Teleskope betrachtet werden, unter Nutzung der

Fokusvariation. Die Vorrichtung nutzt eine Relaislinsenanordnung für ein Weitfeldbildgebungssystem. Die Anordnung soll eine einstellbare Brennweitenlinse aufweisen, beispiels^¬ weise eine Fluidlinse. Es können stereoskopische EDoF-Bilder erzeugt werden, indem eine Kamera- und Relaislinsenanordnung im Umfeld der beiden Okulare angeordnet wird. Das am Markt erhältliche Produkt „3D WiseScope microscope" des

Herstellers SD Optics Inc. ermöglicht eine schnelle Erzeugung von makroskopischen und mikroskopischen Bildern, welche eine erweiterte Schärfentiefe aufweisen. Das Produkt umfasst u. a. eine LED-Ringbeleuchtung, eine Koaxialbeleuchtung, eine

Durchlichtbeleuchtung, einen Kreuztisch, Objektive mit 5, 10,

20 und 50-facher Vergrößerung sowie eine manuelle

Fokussierung . Die Fokussierung kann mit einer Frequenz von 1 bis 10 kHz und mehr verändert werden. Zur Realisierung der EDoF-Funktionalität dient ein als MALS-Modul bezeichnetes Spiegel-Array-Linsensystem. MALS steht für Mirror Array Lens

System. Details dieser Systeme sind beispielsweise in den Offenlegungsschriften WO 2005/119331 AI und WO 2007/134264 AI offenbart . Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, ein Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe mit höherer Genauigkeit, weniger verdeckten Bereichen und größerer Schärfentiefe zur

Verfügung zu stellen. Insbesondere sollen dabei größere, robustere 3D-Modelle realisierbar sein. Weiterhin soll ein Mikroskop, mit welchem das Verfahren durchführbar ist,

bereitgestellt werden.

Zur Lösung der erfindungsgemäßen Aufgabe dient ein Verfahren gemäß Anspruch 1 sowie ein digitales Mikroskop gemäß dem beigefügten nebengeordneten Anspruch 14. Das erfindungsgemäße Verfahren zur Erzeugung eines

dreidimensionalen Modells einer Probe in einem digitalen

Mikroskop umfasst nachfolgend beschriebene Schritte. Zunächst werden mehrere Einzelbilder der Probe an verschiedenen

Fokuspositionen mit einer Perspektive aufgenommen. Eine derartige Folge von Bildern, welche in unterschiedlichen

Fokusebenen aufgenommen wurde, wird auch als Fokus-Stapel bezeichnet. Die Einzelbilder umfassen zumindest einen Bereich der Probe. Eine Perspektive wird durch den Winkel und die Position der optischen Achse des Objektivs relativ zur Probe und durch die Winkelverteilung der Beleuchtungsstrahlung relativ zur Probe vorgegeben. Die erstgenannten Schritte werden nachfolgend für den vorgegebenen Bereich der Probe zumindest einmal mit einer anderen Perspektive wiederholt. Zur Veränderung der Perspektive kann der Winkel und/oder die

Position der optischen Achse des Objektivs relativ zur Probe geändert werden. Es kann auch nur der Winkel und/oder die Position der Beleuchtungsstrahlung relativ zur Probe geändert werden. Die Parameter von Objektiv und Beleuchtung können auch beide geändert werden. Auf diese Weise werden Einzelbilder eines Bereichs der Probe mit mindestens zwei verschiedenen Perspektiven aufgenommen. Aus den aufgenommenen Einzelbildern des Bereichs der Probe wird anschließend ein dreidimensionales Modell der Probe bzw. des Bereichs der Probe berechnet.

Gemäß einer vorteilhaften Ausführungsform kann bei der

Berechnung des dreidimensionalen Modells zunächst aus den für jede vorgegebene Perspektive aufgenommenen Einzelbildern des Bereichs der Probe jeweils ein Bild mit erweiterter

Schärfentiefe oder eine Höhenkarte berechnet werden. Das jeweils berechnete Bild mit erweiterter Schärfentiefe oder die berechnete Höhenkarte wird mit Angaben über die verwendete Perspektive in einem Speicher abgelegt. Nachfolgend wird aus den berechneten Bildern mit erweiterter Schärfentiefe oder der

Höhenkarte das dreidimensionale Modell des Bereichs der Probe berechnet .

Das Verfahren kann für die vollständige Probe oder für mehrere Bereiche der Probe durchgeführt werden. Aus den

dreidimensionalen Modellen der einzelnen Bereiche kann dann ein dreidimensionales Modell der Probe ermittelt werden.

Bevorzugt werden hierzu dreidimensionale Modelle von

benachbarten Bereichen ermittelt, die sich im Randbereich überlappen.

Die Reihenfolge der Schritte des Verfahrens kann variiert werden . In einer Ausgestaltung der Erfindung kann zur schnellen

Aufnahme von Fokusstapeln ein optischer Aktuator, welcher als ein Mikrosystem mit mechanisch beweglichen Mikrospiegeln zur Aufnahme einer erweiterten Schärfentiefe ausgebildet ist, zum Einsatz kommen. Der optische Aktuator kann als

Mikrospiegelarray ausgebildet sein. Diese bildet ein optisches Element, dessen optische Eigenschaften sehr schnell verändert werden können. In einer Variante dieser Ausführungsform bildet das Mikrospiegelarray eine Fesnel-Linse, dessen Brennweite variiert werden kann.

Zur Berechnung des dreidimensionalen Modells der Probe kommen bekannte Algorithmen zur 3D-Rekonstruktion aus

zweidimensionalen Bildern zum Einsatz, welche beispielsweise auf der Stereogrammetrie oder der Epipolargeometrie basieren. Diese Algorithmen sind dem Fachmann hinlänglich bekannt, so dass an dieser Stelle nur kurz auf die Algorithmen eingegangen wird und auf ausführliche Erläuterungen verzichtet werden kann. Bei der 3D-Rekonstruktion mittels Epipolargeometrie werden Anpassungspunkte zwischen den aufgenommenen Bildern für die Berechnung der Fundamentalmatrix zwischen den

Kamerapositionen sowie für die metrische Rekonstruktion der Probe verwendet. Die Anpassungspunkte können entweder durch den Benutzer (benutzerassistiert) oder automatisch durch

Algorithmen, wie RANSAC eingegeben werden. Die

Fundamentalmatrix kann auch während der Kalibrierung der

Mikroskopvorrichtung vorberechnet werden. Die SD- Rekonstruktion mit Hilfe der Stereogrammetrie ähnelt dem menschlichen steroskopischen Sehen. Hierbei werden

perspektivische Verzerrungen in den Bildern, welche aus zwei Bildpunkten oder mehr entnommen werden, genutzt.

Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass sich die Genauigkeit des im Ergebnis des erfindungsgemäßen Verfahrens vorliegenden dreidimensionalen Modells verbessert und die Anzahl der verdeckten Bereiche reduziert werden kann. Hierbei besteht eine Abhängigkeit von der Anzahl der Perspektiven. Mit steigender Anzahl der

Perspektiven erhöht sich die Genauigkeit des dreidimensionalen Modells, während die Anzahl der verdeckten Bereiche abnimmt. Aus diesem Grund sollte das Verfahren vorzugsweise mehr als zwei Perspektiven nutzen, um ein möglichst genaues

dreidimensionales Modell realisieren zu können. In der

Mikroskopie ist die Schärfentiefe der aufgenommenen Bilder von Natur aus limitiert und liegt zumeist im Mikro- oder

Nanometerbereich . Dies hat zur Folge, dass bekannte

dreidimensionale Rekonstruktionsverfahren aus makroskopischen

Anwendungen oft nur schlechte Ergebnisse liefern. Aus diesem Grund werden beim erfindungsgemäßen Verfahren Einzelbilder der Probe an verschiedenen Fokuspositionen aufgenommen. Hieraus ergibt sich, dass für die Berechnung des dreidimensionalen Modells der Probe Bilder mit erweiterter Schärfentiefe bzw.

Höhenkarten zur Verfügung stehen. Unter Nutzung der so

gewonnenen Bilddaten können dann bewährte Techniken und

Algorithmen aus Computer Visions-Anwendungen der Makroweit zur Erzeugung qualitativ hochwertiger dreidimensionaler Modelle verwendet werden, nun auch im Bereich der Mikroskopie.

Gemäß einer besonders bevorzugten Ausführungsform werden die fehlerhaft berechneten Bildpunkte des dreidimensionalen

Modells der Probe durch Anwendung eines Schätzalgorithmus eliminiert. Als Schätzalgorithmus kann beispielsweise der

RANSAC-Algorithmus oder ein ähnlicher Algorithmus zum Einsatz kommen. Durch die Beseitigung der fehlerhaften Bildpunkte kann die Qualität des dreidimensionalen Modells weiter verbessert werden .

Für die Realisierung der verschiedenen Perspektiven stehen mehrere Möglichkeiten zur Verfügung. Eine vorteilhafte

Ausführung nutzt einen Probentisch, welcher in X- und/oder Y- Richtung verfahrbar ist und/oder drehbar oder neigbar ist. Der Probentisch kann im einfachsten Fall manuell in die gewünschte Position gebracht werden. Die Verwendung eines motorisierten Probentisches hat sich insbesondere hinsichtlich der

Optimierung von Verfahrensabläufen als zweckmäßig erwiesen.

Die verschiedenen Perspektiven können alternativ auch durch Verschwenken eines Mikroskopstatives , eines Bildsensors oder einer optischen Achse realisiert werden. Das Verschwenken erfolgt entweder manuell oder mittels einer geeigneten

AntriebsVorrichtung .

Gemäß einer besonders bevorzugten Ausführung sind die

verschiedenen Perspektiven als Beleuchtungsperspektiven ausgebildet. Die verschiedenen Beleuchtungsperspektiven werden bevorzugt durch eine sequentielle Beleuchtung der Probe realisiert. Hierzu kann beispielsweise eine als

Ringlichtbeleuchtung ausgebildete Beleuchtungsquelle zum

Einsatz kommen. Die Ringlichtbeleuchtung umfasst vorzugsweise mehrere Leuchtmittel, bevorzugt in Form von LEDs, welche im gleichen oder mit unterschiedlichem Abstand zu der Probe angeordnet werden. Bei jeder Beleuchtungsperspektive bleibt während der Aufnahme der Einzelbilder der Probe die relative Position der Beleuchtungsquelle zu der Probe unverändert. Die Leuchtmittel können unabhängig voneinander angesteuert werden.

Der Horizontalwinkel zur Beleuchtung der Probe kann durch Auswahl der Leuchtmittel bevorzugt von 0 bis 360°C variiert werden. Zur Berechnung des dreidimensionalen Modells der Probe wird vorzugsweise die in den aufgenommen Bildern erfasste Schattierung genutzt.

Ein besonders genaues dreidimensionales Modell der Probe mit wenig verdeckten Bereichen lässt sich durch Kombination der verschiedenen Methoden zur Realisierung der unterschiedlichen Perspektiven und der verschiedenen Algorithmen zur Berechnung der dreidimensionalen Modelle aus den berechneten Bildern mit erweiterter Schärfentiefe oder den berechneten Höhenkarten erreichen. Hierzu werden mindestens zwei dreidimensionale

Modelle der Probe berechnet, wobei die verschiedenen

Perspektiven für jedes der dreidimensionalen Modelle auf verschiedene Art realisiert werden und/oder zur Berechnung jedes der dreidimensionalen Modelle ein unterschiedlicher Algorithmus zum Einsatz kommt. Die Ergebnisse jedes

Algorithmus werden vorzugsweise einem Schätzalgorithmus, wie beispielsweise RANSAC, zugeführt, um fehlerhaft berechnete Bildpunkte zu beseitigen. Die berechneten dreidimensionalen Modelle werden abschließend zu einem Endmodell kombiniert. In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, eine gewichtete Bewertung der berechneten dreidimensionalen

Bildpunkte des Endmodells vorzunehmen. Die unterschiedliche Wichtung der ermittelten Bildpunkte kann zum Beispiel in

Abhängigkeit von dem zur Berechnung des jeweiligen Bildpunktes jeweils verwendeten Algorithmus, der vorliegenden Beleuchtung, der gewählten Vergrößerungsstufe und anderer objektiver

Merkmale erfolgen.

Das erfindungsgemäße digitale Mikroskop zeichnet sich dadurch aus, dass es zur Ausführung des beschriebenen Verfahrens konfiguriert ist. So kann das digitale Mikroskop mit einem verschwenkbaren Mikroskopstativ ausgestattet sein, um das Sichtfeld zu verstellen. Eine Optikeinheit des Mikroskops ist vorzugsweise höhenverstellbar zur Realisierung verschiedener Fokuspositionen. Das digitale Mikroskop kann alternativ oder ergänzend mit einem in X- und/oder Y-Richtung verfahrbaren und/oder drehbaren und/oder neigbaren Probentisch ausgestattet sein. Des Weiteren eignen sich digitale Mikroskope mit Beleuchtungsmodulen, deren Beleuchtungsrichtung und Beleuchtungswinkel gesteuert werden können, um eine

sequentielle Beleuchtung der Probe realisieren zu können. Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter

Ausführungsformen, unter Bezugnahme auf die Zeichnung. Es zeigen : Fig. 1: eine schematische Darstellung einer ersten

Ausführungsform eines digitalen Mikroskops, welches zur Ausführung eines erfindungsgemäßen Verfahrens

einsetzbar ist;

Fig. 2: eine schematische Darstellung einer zweiten

Ausführungsform des digitalen Mikroskops, welches zur

Ausführung des erfindungsgemäßen Verfahrens einsetzbar ist ;

Fig. 3: eine schematische Darstellung einer dritten

Ausführungsform des digitalen Mikroskops, welches zur Ausführung des erfindungsgemäßen Verfahrens einsetzbar ist ;

Fig. drei Schaltzustände einer Ringlichtbeleuchtung des

digitalen Mikroskops, welches zur Ausführung eines erfindungsgemäßen Verfahrens einsetzbar ist.

Die in den Figuren dargestellten Einzelheiten sind als solche zwar aus dem Stand der Technik bekannt, jedoch können die entsprechenden Vorrichtungen durch Anwendung der Erfindung neuartig und mit größerem Funktionsumfang betrieben werden. Fig. 1 zeigt eine schematische Darstellung einer ersten

Ausführungsform eines digitalen Mikroskops Ol, welches zur Ausführung eines erfindungsgemäßen Verfahrens einsetzbar ist. In Fig. 1 ist eine Optikeinheit 02 und ein zur Aufnahme einer Probe 09 dienender Probentisch 03 dargestellt. Die

Optikeinheit 02 ist vorzugsweise als Objektiv ausgebildet. Die Probe 09 kann, wie in Fig. 1 dargestellt zentral auf dem

Probentisch 03 angeordnet sein. Alternativ kann die Probe 09 auf dem Probentisch 03 auch andersartig positioniert sein. Zwischen einer optischen Achse 04 der Optikeinheit 02 und einer senkrecht zu dem Probentisch 03 verlaufenden Ebene 05 ist ein Winkel Θ aufgespannt. Der Winkel Θ kann verstellt werden, um auf diese Weise die Perspektive der Optikeinheit 02 zu ändern. Zum Verstellen des Winkels Θ kann die Optikeinheit 02, vorzugsweise über ein die Optikeinheit tragendes,

neigbares Mikroskopstativ (nicht gezeigt), verstellt werden. Der Winkel Θ kann alternativ auch durch Neigen des

Probentisches 03 variiert werden. Eine Probenebene verläuft in der Regel senkrecht zu der optischen Achse 04 oder parallel zu dem Probentisch 03. Die Optikeinheit 02 kann optische Bauelemente und einen Bildsensor in der sogenannten Scheimpflug-Anordnung umfassen. In diesem Fall verläuft die Probenebene für alle Winkel Θ parallel zu dem Probentisch 03.

Während der Durchführung des erfindungsgemäßen Verfahrens wird der Winkel Θ mehrmals geändert, um Bilder der Probe 09 mit verschiedenen Perspektiven aufzunehmen. Hierbei werden für jede Perspektive mehrere Einzelbilder der Probe an

verschiedenen Fokuspositionen aufgenommen. In Fig. 1 ist die durch die Fokusvariation erreichbare erweiterte Schärfentiefe (EDoF) im Vergleich zu der ohne Fokusvariation möglichen Schärfentiefe (DoF) eingezeichnet. Das erläuterte Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe wurde erfolgreich getestet, indem die Probe mit folgenden Winkeln Θ aufgenommen wurde: -45°, -30°, -15°, 0°, 15°, 30° und 45°. Aus den aufgenommenen Einzelbildern kann nachfolgend für jede Perspektive ein Bild mit erweiterter Schärfentiefe oder eine Höhenkarte berechnet werden. Das jeweils berechnete Bild mit erweiterter Schärfentiefe oder die Höhenkarte wird mit Angaben über die verwendete Perspektive in einem Speicher abgelegt. Aus den berechneten Bildern mit erweiterter

Schärfentiefe oder den Höhenkarten kann anschließend ein dreidimensionales Modell der Probe berechnet werden.

Alternativ kann das dreidimensionale Modell der Probe direkt aus den für die verschiedenen Perspektiven aufgenommenen

Einzelbildern berechnet werden. In diesem Fall entfällt der

Schritt, dass zunächst aus den für jede Perspektive

aufgenommenen Einzelbildern jeweils ein Bild mit erweiterter Schärfentiefe oder eine Höhenkarte berechnet wird. Die

angegebenen Winkel Θ tragen lediglich beispielhaften

Charakter. Andere Winkel sind durchaus möglich.

Eine vorteilhafte Ausführungsform der Optikeinheit 02 nutzt einen optischen Aktuator, welcher als ein Mikrosystem mit mechanisch beweglichen Mikrospiegeln zur Aufnahme einer erweiterten Schärfentiefe ausgebildet ist. In dieser

Ausführungsform kann beispielsweise das oben beschriebene „MALS-Modul" der Firma SD Optics Inc. als optischer Aktuator Verwendung finden. Ein MALS-Modul kann beispielsweise als Fresnel-Linse ausgebildet sein, wie dies beispielsweise in der WO 2005/119331 AI beschrieben wird. Diese Fresnel-Linse wird aus einer Vielzahl von Mikrospiegeln gebildet. Durch eine Veränderung der Lage der Mikrospiegel kann auf sehr schnelle Weise die Brennweite der Fresnel-Linse verändert werden. Diese schnelle Veränderung der Brennweite erlaubt eine sehr schnelle Einstellung der abzubildenden Fokusebene. So wird es

ermöglicht in kurzer Zeit eine Vielzahl von Aufnahmen in benachbarten Fokusebenen aufzunehmen.

Fig. 2 zeigt eine schematische Darstellung einer zweiten

Ausführungsform des digitalen Mikroskops Ol in zwei

unterschiedlichen Bildaufnahmepositionen. Bei dieser

Ausführungsform kann der Probentisch 03 zumindest in X- Richtung verschoben werden, um die Position der Probe 09 relativ zur optischen Achse 04 ändern zu können und Aufnahmen unterschiedlicher Bereiche der Probe 09 im Sichtfeld der

Optikeinheit 02 zu ermöglichen. In Fig. 2 sind zwei

verschieden positionierte Probentische 03 dargestellt. Der Abstand Xv zwischen der optischen Achse 04 und der durch das

Zentrum der Probe 09 senkrecht zum Probentisch verlaufenden Ebene 05 ist in der links dargestellten Position des

Probentisches 03 größer als in der rechts dargestellten

Position des Probentisches 03. Die Abstände Xv sind derart gewählt, dass sich die Aufnahmen der Probe in benachbarten

Bereichen überlappen. Für diese Überlappungsbereiche liegen dann Aufnahmen aus unterschiedlichen Perspektiven vor und die Berechnung von dreidimensionalen Modellen wird ermöglicht. Das erläuterte Verfahren zur Erzeugung eines dreidimensionalen

Modells einer Probe wurde mit folgenden Abständen zwischen der Ebene 05 und der optischen Achse 04 durchgeführt:

-20 mm, -10 mm, 0 mm, 10 mm, 20 mm. Auch hier erfolgt keine Einschränkung auf die genannten Abstände. In jeder Position des Probentisches 03 werden wiederum mehrere Einzelbilder der

Probe 09 an verschiedenen Fokuspositionen aufgenommen, um Bilder mit erweiterter Schärfentiefe (EDoF) oder Höhenkarten berechnen zu können. Fig. 3 zeigt eine schematische Darstellung einer dritten

Ausführungsform des Mikroskops Ol. Diese Ausführung nutzt eine Ringlichtbeleuchtung 07, die einen Lichtkegel 08 zur

Beleuchtung der Probe 09 abgibt.

Die Ringlichtbeleuchtung 07 ist im Detail in Fig. 4

dargestellt. Sie umfasst mehrere Leuchtmittel 10, die

wahlweise eingeschaltet werden können, um eine sequentielle Beleuchtung der Probe 09 mit unterschiedlichen

Winkelverteilungen realisieren zu können. Die Leuchtmittel 10 sind vorzugsweise als LEDs ausgebildet. Fig. 4 zeigt drei Abbildungen mit drei verschiedenen Schaltzuständen der

Ringlichtbeleuchtung 07. Das im jeweiligen Schaltzustand eingeschaltete Leuchtmittel 10 ist schraffiert dargestellt. In jeder Beleuchtungssituation werden mehrere Einzelbilder der Probe 09 mit unterschiedlichen Fokuspositionen aufgenommen, wodurch auch hier eine erweiterte Schärfentiefe (EDoF)

erreicht werden kann bzw. Höhenkarten berechnet werden können.

Die anhand der Fig. 1 bis 3 erläuterten Verfahren können auch miteinander kombiniert werden.

Bezugszeichenliste - Mikroskop

- Optikeinheit

- Probentisch

- optische Achse

- senkrecht zum Probentisch verlaufende Ebene - - Ringlichtbeleuchtung

- Lichtkegel

- Probe

- Leuchtmittel

Claims

Patentansprüche

1. Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe (09) unter Verwendung eines Mikroskops (01), folgende Schritte umfassend:

a. Vorgeben einer Perspektive zur Aufnahme von Bildern

zumindest eines Bereichs der Probe (09), wobei die

Perspektive durch den Winkel und die Position der optischen Achse des Objektivs relativ zur Probe und durch die Winkelverteilung der Beleuchtungsstrahlung relativ zur Probe vorgegeben wird;

b. Aufnehmen von mehreren Einzelbildern des Bereichs der Probe (09) an verschiedenen Fokuspositionen aus der vorgegebenen Perspektive;

- Wiederholen der Schritte a. und b. für den zumindest einen Bereich der Probe (09) mit zumindest einer weiteren unterschiedlichen Perspektive, ;

- Berechnen eines dreidimensionalen Modells des Bereichs der Probe (09) aus den aufgenommenen Einzelbildern des Bereichs der Probe (09) .

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Berechnung des dreidimensionalen Modells zunächst aus den für jede vorgegebene Perspektive aufgenommenen

Einzelbildern des Bereichs der Probe (09) jeweils ein Bild mit erweiterter Schärfentiefe oder eine Höhenkarte

berechnet wird, und dass nachfolgend aus den berechneten Bildern mit erweiterter Schärfentiefe oder der Höhenkarte das dreidimensionale Modell des Bereichs der Probe (09) berechnet wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass fehlerhaft berechnete Bildpunkte des dreidimensionalen Modells der Probe (09) durch Anwendung eines

Schätzalgorithmus eliminiert werden.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch

gekennzeichnet, dass das dreidimensionale Modell der Probe (09) unter Verwendung eines Stereogrammetriealgorithmus und/oder Epipolargeometriealgorithmus berechnet wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch

gekennzeichnet, dass die verschiedenen Perspektiven durch Verschwenken eines Mikroskopstativs, eines Bildsensors oder einer optischen Achse realisiert werden.

6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch

gekennzeichnet, dass die verschiedenen Perspektiven durch Verfahren eines Probentisches (03) in X- und/oder Y- Richtung und/oder Drehen und/oder Neigen des Probentisches (03) realisiert werden.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Verschwenken des Probentisches (03) mittels einer

Antriebsvorrichtung erfolgt.

8. Verfahren nach einem der Ansprüche 1 bis 4, dadurch

gekennzeichnet, dass die verschiedenen Perspektiven als Beleuchtungsperspektiven ausgebildet sind, wobei die verschiedenen Beleuchtungsperspektiven durch sequentielle Beleuchtung der Probe (09) realisiert werden.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass ein Horizontalwinkel zur Beleuchtung der Probe (09) von 0° bis 360° variierbar ist.

10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die sequentielle Beleuchtung der Probe (09) mittels einer Ringlichtbeleuchtung (07) erfolgt.

11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch

gekennzeichnet, dass mindestens zwei dreidimensionale

Modelle der Probe (09) berechnet werden, wobei die

verschiedenen Perspektiven für jedes der dreidimensionalen Modelle auf verschiedene Art realisiert werden und/oder zur Berechnung jedes der dreidimensionalen Modelle ein

unterschiedlicher Algorithmus zum Einsatz kommt, und dass die berechneten dreidimensionalen Modelle zu einem

Endmodell kombiniert werden.

12. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass eine gewichtete Bewertung der berechneten dreidimensionalen Bildpunkte des Endmodells erfolgt.

13. Verfahren nach einem der Ansprüche 1 bis 12, wobei zur

schnellen Aufnahme von mehreren Einzelbildern an

verschiedenen Fokuspositionen ein optischer Aktuator, welcher als ein Mikrosystem mit mechanisch beweglichen Mikrospiegeln ausgebildet ist, zum Einsatz kommt.

14. Digitales Mikroskop (01), dadurch gekennzeichnet, dass es zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 13 konfiguriert ist. Digitales Mikroskop (Ol), nach Anspruch 14, aufweisend einen optischen Aktuator, welcher als ein Mikrosystem mit mechanisch beweglichen Mikrospiegeln zur Aufnahme einer erweiterten Schärfentiefe ausgebildet ist.