DE102024104898A1 - Microscope and microscopy techniques with improved image quality - Google Patents
Microscope and microscopy techniques with improved image qualityInfo
- Publication number
- DE102024104898A1 DE102024104898A1 DE102024104898.0A DE102024104898A DE102024104898A1 DE 102024104898 A1 DE102024104898 A1 DE 102024104898A1 DE 102024104898 A DE102024104898 A DE 102024104898A DE 102024104898 A1 DE102024104898 A1 DE 102024104898A1
- Authority
- DE
- Germany
- Prior art keywords
- sample
- image
- objective
- line grating
- beam path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/245—Devices for focusing using auxiliary sources, detectors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/02—Objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/0037—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Die Erfindung betrifft ein Mikroskop mit einem eine Probe (2) aus einem Bildfeld auf einen zweidimensionalen Detektor (8) abbildenden, ein Objektiv (4) umfassenden Abbildungsstrahlengang und einem die Probe (2) durch das Objektiv (4) beleuchtenden Beleuchtungsstrahlengang (B), der eine Lichtquelle umfasst und in den Abbildungsstrahlengang (M) über einen Strahlteiler (6) vor dem Objektiv (4) eingespiegelt ist, und eine Messeinrichtung (10), der ein Lichtmodulator (16) nachgeordnet ist, der mindestens eine intensitätsmodulierende, erste Liniengitterstruktur (26-29) umfasst, wobei der Lichtmodulator (16) schräg zu einer zur Fokusebene des Objektivs (4) konjugierten Ebene liegt und durch den Beleuchtungsstrahlengang (B) und das Objektiv (4) auf die Probe (2) projiziert ist, wobei die mindestens eine intensitätsmodulierende, erste Liniengitterstruktur (26-29) in einen Messbereich der Probe (2) projiziert ist, der das Bildfeld nur teilweise ausfüllt, und die Messeinrichtung (10) einen Prozessor (32) aufweist, welcher vom Detektor (8) gelieferte Bilddaten ausliest und diese anhand einer Lage im Bildfeld in Messdaten und Anzeigedaten zur Anzeige eines Probenbildes aufteilt, wobei der Prozessor (32) als Messdaten diejenigen Bilddaten auswählt, die dem Messbereich der Probe (2) entsprechen, und die Messdaten hinsichtlich Reflexbildern der auf die Probe (2) projizierten, mindestens einen Liniengitterstruktur (26-29) auswertet. The invention relates to a microscope with an imaging beam path comprising an objective (4) and imaging a sample (2) from an image field onto a two-dimensional detector (8), and an illumination beam path (B) illuminating the sample (2) through the objective (4), which illumination beam path comprises a light source and is reflected into the imaging beam path (M) via a beam splitter (6) in front of the objective (4), and a measuring device (10) followed by a light modulator (16) comprising at least one intensity-modulating, first line grating structure (26-29), wherein the light modulator (16) is arranged obliquely to a plane conjugated to the focal plane of the objective (4) and is projected onto the sample (2) through the illumination beam path (B) and the objective (4), wherein the at least one intensity-modulating, first line grating structure (26-29) is projected into a measuring area of the sample (2) that only partially fills the image field, and the measuring device (10) has a processor (32) which reads out image data supplied by the detector (8) and divides said image data into measurement data and display data for displaying a sample image based on a position in the image field, wherein the processor (32) selects as measurement data those image data which correspond to the measurement area of the sample (2) and evaluates the measurement data with regard to reflection images of the at least one line grating structure (26-29) projected onto the sample (2).
Description
Die Erfindung bezieht sich auf ein Mikroskop mit einem eine Probe in einem Bildfeld auf einen Detektor abbildenden Abbildungsstrahlengang, der ein Objektiv umfasst, und einem die Probe durch das Objektiv beleuchtenden und in den Abbildungsstrahlengang vor dem Objektiv über einen Hauptstrahlteiler eingespiegelten Beleuchtungsstrahlengang und einer Messeinrichtung, die eine Messbeleuchtungsquelle aufweist, der ein Lichtmodulator nachgeordnet ist, der mindestens eine intensitätsmodulierende erste Liniengitterstruktur umfasst, wobei der Lichtmodulator schräg zu einer zur Fokusebene des Objektivs konjugierten Ebene liegt und durch den Beleuchtungsstrahlengang und das Objektiv auf die Probe projiziert ist.The invention relates to a microscope with an imaging beam path which images a sample in an image field onto a detector and which comprises an objective, and an illumination beam path which illuminates the sample through the objective and is reflected into the imaging beam path in front of the objective via a main beam splitter, and a measuring device which has a measuring illumination source which is followed by a light modulator which comprises at least one intensity-modulating first line grating structure, wherein the light modulator is arranged obliquely to a plane conjugate to the focal plane of the objective and is projected onto the sample through the illumination beam path and the objective.
Um mittels einer Abbildungsoptik präzise Abbildungen einer Probe oder eines Probenschnitts zu erhalten, ist es erforderlich, die Probe exakt in die Fokusebene des Objektivs zu stellen. Defokussierung mindert die Bildgüte. Weiter spielen für die Bildgüte Aberrationen eine Rolle, deren Maß z.B. von der Dicke eines Deckglases oder Bestandteilen der Probe abhängen. Es ist bekannt, eine Aberrationsausgleichsoptik, z.B. einen sog. Korrekturring am Objektiv, im Strahlengang vorzusehen und diese für eine aktuelle Messaufgabe passend so einzustellen, dass Aberrationen möglichst minimiert sind. Ebenfalls auf die Bildgüte wirkt sich eine Verkippung der Probe gegenüber der Fokusebene des Objektivs aus.To obtain precise images of a sample or sample section using imaging optics, the sample must be positioned precisely in the focal plane of the objective. Defocusing reduces image quality. Aberrations also play a role in image quality, the extent of which depends, for example, on the thickness of a coverslip or components of the sample. It is common practice to place aberration compensation optics, such as a correction ring on the objective, in the beam path and adjust them to suit the current measurement task so that aberrations are minimized as much as possible. Tilting the sample relative to the focal plane of the objective also affects image quality.
Hinsichtlich der Fokuslage ist es bei einer unscharfen Abbildung wichtig zu erfahren, um welchen Betrag und in welcher Richtung eine Lageveränderung der Probe relativ zum Objektiv zu veranlassen ist und gegebenenfalls entsprechende Stellbefehle abzuleiten, die zu einer Nachfokussierung genutzt werden können. Die Hauptanwendungen einer solchen Fokuskontrolle mittels eines expliziten Autofokus-Systems liegen in der Überwachung des Abstandes zwischen der Probe und des Objektivs. An der Probe wird dabei i.d.R. auf eine Immersion-Deckglas- oder Deckglas-Proben-Grenzfläche Bezug genommen. Das Feedback der Fokuskontrolle wird ausgewertet und das Ergebnis, falls gewünscht, zum Nachregeln der Lage der Fokusebene des Mikroskops benutzt. Für eine solche Autofokusfunktion sind verschieden Möglichkeiten bekannt:
- 1. Bei der sogenannten konfokalen Pinhole-Methode wird Strahlung durch das Objektiv in die Probenebene fokussiert. Aufgrund von Brechzahlunterschieden zwischen Luft/Immersionsflüssigkeit und Deckglas sowie zwischen Deckglas und Probe wird dort ein Teil der Strahlung reflektiert und dann durch ein Pinhole, welches in einer zur Fokusebene des Objektivs konjungierten Ebene platziert ist, mit einem Fotodetektor detektiert. Dessen Signalstärke hängt vom Abstand des Objektivs zu den reflektierenden Grenzschichten ab. Wird ein axialer Scan durchgeführt, lassen sich die beiden Grenzschichten als Signalmaxima identifizieren. Das System bietet den Vorteil, dass es einen absoluten Wert für die Fokuslage der Grenzflächen liefert. Jedoch muss dafür ein axialer Scan durchgeführt werden. Ein weiterer Nachteil liegt darin, dass der Abbildungs- und Autofokusstrahlengang sich relativ zueinander verschieben können, was eine Drift des Ergebnisses der Fokusebenenermittlung zur Folge hat.
- 2. Bei Triangulationsverfahren wird ein kollimierter Laserstrahl in die Pupillenebene eines Objektivs eingespiegelt und aus dem Verlauf dieses Laserstrahls relativ zum Abbildungsstrahlengang auf die z-Position des von der Probe reflektierten Laserlichts geschlossen. Eine Offset-Linse kann benutzt werden, so dass bei der gewünschten Fokusposition die Bildebene des AF-Systems in der Proben-Deckglas-Grenzfläche liegt und somit das reflektierte Licht scharf in der Mitte eines Liniendetektors abgebildet wird. Eine Fokusdrift führt zu einer Verschiebung des Signals auf dem Liniendetektor, weg von der mit der Offset-Linse eingestellten Position. Im Gegensatz zur konfokalen Pinhole-Detektion hat diese Technik den Vorteil, dass keine z-Stapel-Aufnahme zur Fokuslagenbestimmung nötig ist. Somit kann mit dieser Technik die Fokuslage während eines Messvorganges überwacht und gegebenenfalls korrigiert werden. Da der Mikroskop- und Autofokus-Abbildungsstrahlengang getrennt aufgebaut sind, führen Drifts jedoch zu einer Verschiebung der bestimmten Fokuslage. Bei der Abbildung des Laserlichts in unterschiedlich tief gelegene Ebenen der Probe treten zudem Bildfehler auf, so dass die Fokusmessgüte über einen gegebenen Tiefenschärfebereich stark variiert. Auch treten Schwankungen auf, wenn das Messergebnis am Zentrum oder am Rand der Probe ermittelt wird. Üblicherweise wird ein Triangulationsverfahren deshalb iterativ ausgeführt, was verhältnismäßig zeitraubend ist.
- 3. Bei abbildenden Verfahren mit Kontrastauswertung wird die Probe mit einer bestimmten Intensitätsverteilung beleuchtet, z.B. indem in eine Feldblendenebene eines Beleuchtungsstrahlengangs ein Gitter gestellt wird. Man nimmt eine Serie von Bildern mit unterschiedlichen Abständen zwischen Abbildungsoptik und Probe auf und ermittelt in dieser Serie das Bild mit dem höchsten Kontrast, dem dann der optimale Fokusabstand zugeordnet ist. Beispiele für eine solche Autofokuseinrichtung mittels Kontrastanalyse eines auf eine Probe projizierten Musters finden sich in der
oder derUS 5 604 344 A . Nachteilig hieran ist es, dass zur Aufnahme der Bildserie verschiedene z-Positionen mit hoher Genauigkeit angefahren werden müssen, was wiederum zeitraubend ist.US 6 545 756 B1
- 1. In the so-called confocal pinhole method, radiation is focused through the objective lens into the sample plane. Due to differences in refractive index between the air/immersion liquid and the coverslip, as well as between the coverslip and the sample, part of the radiation is reflected and then detected by a photodetector through a pinhole positioned in a plane conjugate to the focal plane of the objective lens. The photodetector's signal strength depends on the distance of the objective lens from the reflective interfaces. If an axial scan is performed, the two interfaces can be identified as signal maxima. The system has the advantage of providing an absolute value for the focal position of the interfaces. However, this requires an axial scan. A further disadvantage is that the imaging and autofocus beam paths can shift relative to each other, resulting in a drift in the result of the focal plane determination.
- 2. In triangulation methods, a collimated laser beam is reflected into the pupil plane of an objective lens, and the z-position of the laser light reflected from the sample is determined from the path of this laser beam relative to the imaging beam path. An offset lens can be used so that, at the desired focus position, the image plane of the AF system lies at the sample-coverslip interface, and the reflected light is thus sharply imaged in the center of a line detector. Focus drift leads to a shift of the signal on the line detector away from the position set with the offset lens. In contrast to confocal pinhole detection, this technique has the advantage that no z-stack image is required to determine the focus position. Thus, the focus position can be monitored and corrected if necessary during a measurement process. However, since the microscope and autofocus imaging beam paths are constructed separately, drifts lead to a shift in the determined focus position. When the laser light is projected into different depths of the sample, image errors occur, causing the focus measurement quality to vary significantly across a given depth of field. Fluctuations also occur when the measurement result is determined at the center or edge of the sample. Therefore, a triangulation process is usually performed iteratively, which is relatively time-consuming.
- 3. In imaging techniques with contrast evaluation, the sample is illuminated with a specific intensity distribution, e.g., by placing a grating in the field diaphragm plane of an illumination beam path. A series of images is taken with different distances between the imaging optics and the sample, and the image with the highest contrast is determined from this series, to which the optimal focus distance is then assigned. Examples of such an autofocus device using Kon Contrast analysis of a pattern projected onto a sample can be found in the
or theUS 5 604 344 A The disadvantage of this is that in order to capture the image series, different z-positions must be approached with high precision, which in turn is time-consuming.US 6 545 756 B1
Eine Variante der kontrastauswertenden Verfahren ist die Positionsbestimmung mittels konfokaler Spaltblende, die in eine Feldblendenebene des Beleuchtungsstrahlengangs eine Spaltblende gestellt und auf die Probe abgebildet wird. Das von der Probe reflektierte Licht wird auf eine relativ zur Spaltblende geneigt angeordnete CCD-Zeile gerichtet, und es wird die Position auf der CCD-Zeile bestimmt, an dem das reflektierte Licht ein Maximum hat. Dieses Verfahren ist sehr schnell, hat allerdings Probleme mit Verunreinigungen auf der Probe oder Probenoberfläche, die zu Intensitätsschwankungen führen können. Auch ist ein sehr großer Justieraufwand bei der Abbildung des Spaltes auf die CCD-Zeile nötig, denn der Spalt muss, um eine ausreichende Genauigkeit erreichen zu können, sehr schmal sein. In der
In einer die oben genannte Gattung darstellenden Weiterbildung des Konzeptes der
Zum Bestimmen der Aberrationen und zum Einstellen der Aberrationsausgleichsoptik gibt es ebenfalls verschiedene Möglichkeiten:
- 1. Aberrationen eines Abbildungssystems sind Wellenfrontstörungen. Diese lassen sich über interferometrische Messungen mittels eines bekannten Referenzstrahls direkt bestimmen. Die Phaseninformation lässt sich somit in eine einfach zu messende Intensitätsinformation übersetzen (siehe
)). Mittels Pupillensegmentation arbeitet der Shack-Hartmann Wellenfrontsensor, welcher jedoch auf räumlich kohärente Abbildungssysteme limitiert ist. Das Konzept lässt sich jedoch auf inkohärente Abbildungssysteme (z.B. ein Fluoreszenz-Mikroskop) übertragen, indem eine Bildverschiebung zwischen einem Referenzbild, aufgenommen mit der maximal möglichen Pupillenfunktion, und einem Bild, welches lediglich mit einem Pupillensegment aufgenommen wurde, vergleichen wird. Dies ergibt die Tip/Tilt-Aberration für jedes Pupillensegment.I. Papadopoulos et al., „Scattering compensation by focus scanning holographic aberration probing (F-SHARP)“, Nature Photonics 11 (2), 116-123 (2016
- 1. Aberrations of an imaging system are wavefront disturbances. These can be directly determined via interferometric measurements using a known reference beam. The phase information can thus be translated into easily measured intensity information (see
The Shack-Hartmann wavefront sensor uses pupil segmentation, but is limited to spatially coherent imaging systems. However, the concept can be transferred to incoherent imaging systems (e.g., a fluorescence microscope) by comparing the image shift between a reference image acquired with the maximum possible pupil function and an image acquired with only one pupil segment. This yields the tip/tilt aberration for each pupil segment.I. Papadopoulos et al., “Scattering compensation by focus scanning holographic aberration probing (F-SHARP),” Nature Photonics 11 (2), 116-123 (2016
Die Systemaberrationen bzw. die Wellenfront der gesamten Pupillenfunktion ergeben sich aus den Teilstücken (siehe
- 2. In bildbasierten Methoden werden mit dem Mikroskop mehrere Bilder mit jeweils unterschiedlichen Aberrationen aufgenommen. Eine Bildmetrik wird benutzt, um die Bildqualität zu bewerten. Da verschiedenen Zernike-Moden unabhängig voneinander eingestellt und gemessen werden, lassen sich die Gesamtaberrationen des Systems (z.B. inverse Wellenfront, die zur Korrektur benötigt wurde) rekonstruieren (siehe
)).D. Débarre et al., „Image based adaptive optics through optimisation of low spatial frequencies“, Optics Express Vol. 15, Nr. 13 (25.06.2007 - 3. Wie in
beschrieben, kann ein mit einem Mikroskop aufgenommenes Bild mittels einer Punktbildverwaschungsfunktion (PSF) von einer Referenzprobe entfaltet werden. Dafür wird der Reflex an der Deckglas-Probe-Grenzschicht einer Referenzprobe benutzt, um die PSF zu berechnen. Diese PSF spiegelt alle im System enthaltenen Aberrationen wider und wird anschließend benutzt, um eine Entfaltung des aufgenommenen Bildes vorzunehmen und so den Einfluss variierender Deckgläser auszugleichen. Da die Aberration auch durch Elemente der Probe, z.B. ein Deckglas oder oberhalb der Fokusebene liegende Probenbestandteile wie Nährlösung etc., beeinflusst werden, ist nachfolgend unter dem Begriff „Aberration“ nicht alleine der Einfluss des Abbildungsstrahlengangs zu verstehen.WO 2022 / 150 396 A1 - 4. Die Phaseninformation (d.h. Wellenfront) des Lichts und damit ein direkter Nachweis der eingeführten Aberrationen geht bei der Detektion der Lichtintensität verloren. Phase-Retrieval-Algorithmen rekonstruieren aus Intensitätsmessungen die Phaseninformationen. Dies ist eindeutig möglich, wenn ein überbestimmtes Phasenproblem (phase diversity) erzeugt wird. Dies wird erreicht, indem dieselbe Intensitätsaufnahmen mit unterschiedlichen Phasen (im einfachsten Fall unterschiedlicher Defokussierung, siehe
)) aufgenommen werden. Die rekonstruierten Phaseninformationen lassen sich direkt in Aberrationen (und damit die Ansteuerung von Ausgleichsoptiken) umsetzen. Dabei kann als Basis für den Algorithmus das gesamte Bild oder andere Informationen (z.B. integrierte Bildintensität, sieheG. Zheng et al., „Characterization of spatially varying aberrations for wide field-of-view microscopy, Optics Express Vol. 21, Nr. 13 (01.07.2013 )) benutzt werden.Q. Gong et al., „Aberration measurement using axial intensity“, Optical Engineering 33, 4 (1994
- 2. In image-based methods, several images are acquired with the microscope, each with different aberrations. An image metric is used to evaluate the image quality. Since different Zernike modes are adjusted and measured independently, the overall aberrations of the system (e.g., the inverse wavefront required for correction) can be reconstructed (see
)).D. Débarre et al., “Image based adaptive optics through optimization of low spatial frequencies,” Optics Express Vol. 15, No. 13 (June 25, 2007 - 3. As in
As described, an image taken with a microscope can be deconvoluted from a reference sample using a point spread function (PSF). For this purpose, the reflection at the coverslip-sample interface of a reference sample is used to calculate the PSF. This PSF reflects all aberrations contained in the system and is then used to deconvolute the recorded image and thus compensate for the influence of varying coverslips. Since aberrations can also be influenced by elements of the sample, e.g. a coverslip or sample components lying above the focal plane such as nutrient solution, etc., the term "aberration" in the following does not only refer to the influence of the imaging beam path.WO 2022 / 150 396 A1 - 4. The phase information (ie wavefront) of the light and thus a direct detection of the introduced aberrations is lost during the detection of the light intensity. Phase retrieval algorithms reconstruct the phase information from intensity measurements. This is a clearly possible if an overdetermined phase problem (phase diversity) is created. This is achieved by taking the same intensity images with different phases (in the simplest case, different defocus, see
)). The reconstructed phase information can be directly converted into aberrations (and thus the control of compensating optics). The entire image or other information (e.g. integrated image intensity, seeG. Zheng et al., “Characterization of spatially varying aberrations for wide field-of-view microscopy, Optics Express Vol. 21, No. 13 (July 1, 2013 )) can be used.Q. Gong et al., “Aberration measurement using axial intensity,” Optical Engineering 33, 4 (1994
Die bekannten Lösungen hinsichtlich Autofokus und Aberrationskorrektur haben folgende Nachteile:
- Nachteil 1: Für Autofokus und Aberrationskorrektur sind i.d.R. eigenständige optische Aufbauten nötig.
- Nachteil 2: Die Drift von Bauteilen in den Abbildungsstrahlengängen von Mikroskop und von Autofokus führen zu einem Wandern des Referenzfokus-Punktes. Folglich kann die Fokusposition nicht auf in einer gewünschten Position gehalten werden.
- Nachteil 3: Im Bereich „Automation“ besteht die Aufgabe meist im Messen von relativ großflächigen Proben, denn die Probenfläche ist um ein Vielfaches größer als die Bildfeldgröße (sog. whole slide imaging), wobei die Probe meist robotergestützt in das Mikroskop eingelegt wird. Im Betrieb ist ein Tool nötig, das es den Nutzern erlaubt, schnell und automatisiert die korrekte Probenlage (Verkippung) über das Experiment hinweg zu überwachen.
- Nachteil 4: Bei der Vermessung von Proben mit hoch-NA-Objektiven durch ein (z.B. 170 µm dickes) Deckglas muss aufgrund der Dickenvarianz der Deckgläser die sphärische Aberration mithilfe einer Aberrationskorrekturoptik (z.B. Korrekturring am Objektiv) ausgeglichen werden. Der Ausgleich der sphärischen Aberration verschiebt jedoch die Lage der Fokusebene. Der Nutzer muss sich also um die sich gegenseitig beeinflussende Einstellung von Aberrationskorrektur und Fokuslage kümmern bzw. diese überwachen oder schnell und automatisiert beurteilen können.
- Nachteil 5: Viele Maßnahmen zur Bestimmung von Aberrationen und/oder Verkippung der Probe machen es nötig, dass eine Vielzahl von einzelnen Aufnahmen gemacht werden müssen, was zeitraubend ist.
- Disadvantage 1: Autofocus and aberration correction usually require separate optical setups.
- Disadvantage 2: Drift of components in the imaging beam paths of the microscope and the autofocus system causes the reference focus point to drift. Consequently, the focus position cannot be maintained at a desired position.
- Disadvantage 3: In the area of "automation," the task usually involves measuring relatively large samples, as the sample area is many times larger than the image field size (so-called whole-slide imaging). The sample is usually inserted into the microscope using a robot. During operation, a tool is required that allows users to quickly and automatically monitor the correct sample position (tilt) throughout the experiment.
- Disadvantage 4: When measuring samples with high-NA objectives through a coverslip (e.g., 170 µm thick), the spherical aberration must be compensated for using aberration correction optics (e.g., a correction ring on the objective) due to the thickness variance of the coverslips. However, compensating for the spherical aberration shifts the position of the focal plane. Therefore, the user must manage the mutually influencing adjustment of aberration correction and focus position, or monitor them, or be able to quickly and automatically assess them.
- Disadvantage 5: Many measures to determine aberrations and/or tilt of the sample require that a large number of individual images be taken, which is time-consuming.
Im Bereich der automatisierten Mikroskopie treten diese Nachteile für gewöhnlich nicht einzeln, sondern im Verbund auf.In the field of automated microscopy, these disadvantages usually do not occur individually, but in combination.
Der Erfindung liegt deshalb die Aufgabe zu Grunde, eine verbesserte Messfunktion anzugeben, die die Nachteile des Standes der Technik hinsichtlich der Bildgüte behebt, insbesondere was die automatisierte Mikroskopie angeht.The invention is therefore based on the object of providing an improved measuring function that eliminates the disadvantages of the prior art with regard to image quality, in particular with regard to automated microscopy.
Die Erfindung ist in den unabhängigen Ansprüchen definiert. Die Unteransprüche betreffen bevorzugte Weiterbildungen.The invention is defined in the independent claims. The subclaims relate to preferred developments.
Das Mikroskop weist einen Abbildungsstrahlengang auf, der eine Probe in einem Bildfeld durch ein Objektiv auf einen Detektor abbildet. Ein Beleuchtungsstrahlengang beleuchtet die Probe durch das Objektiv und ist in den Abbildungsstrahlengang über einen Hauptstrahlteiler eingespiegelt. Eine im Mikroskop angeordnete Messeinrichtung weist eine Messbeleuchtungsquelle auf, der ein Lichtmodulator nachgeordnet ist, welcher mindestens eine intensitätsmodulierende, erste Liniengitterstruktur umfasst. Er liegt schräg zu einer Ebene, welche zu einer Fokusebene des Objektivs konjugiert ist, und ist über einen im Beleuchtungsstrahlengang angeordneten Strahlvereiniger in den Beleuchtungsstrahlengang und von dort durch das Objektiv auf die Probe projiziert, wobei die mindestens eine intensitätsmodulierende, erste Liniengitterstruktur in einen Messbereich der Probe projiziert ist, der das Bildfeld nur teilweise ausfüllt.The microscope has an imaging beam path that images a sample in an image field through an objective lens onto a detector. An illumination beam path illuminates the sample through the objective lens and is reflected into the imaging beam path via a main beam splitter. A measuring device arranged in the microscope has a measurement illumination source, downstream of which is a light modulator comprising at least one intensity-modulating, first line grating structure. It is arranged obliquely to a plane conjugate to a focal plane of the objective lens and is projected via a beam combiner arranged in the illumination beam path into the illumination beam path and from there through the objective lens onto the sample, wherein the at least one intensity-modulating, first line grating structure is projected into a measurement region of the sample that only partially fills the image field.
Die Messeinrichtung umfasst einen Prozessor, welcher vom Detektor gelieferte Bilddaten ausliest und diese anhand deren Lage im Bildfeld in Messdaten und Anzeigedaten aufteilt. Der Prozessor wählt als Messdaten diejenigen Bilddaten aus, die dem Messbereich der Probe entsprechen. Diese Messdaten wertet der Prozessor hinsichtlich Rückreflexen der auf die Probe projizierten Gitterstrukturen aus.The measuring system includes a processor that reads image data supplied by the detector and divides it into measurement data and display data based on its position in the image field. The processor selects the image data that corresponds to the sample's measurement range as the measurement data. The processor evaluates this measurement data for back reflections from the grating structures projected onto the sample.
Somit wird gleichzeitig zur Auswertung der Rückreflexe auf Basis der Anzeigedaten ein Bild der Probe angezeigt. Dadurch wird der Detektor, auf welchen die Probe abgebildet ist, auch als Messdetektor genutzt. Wesentlich hierfür ist, dass der Detektor gleichzeitig zur der Auswertung des bevorzugt am Rand des Bildfelds projizierten Lichtmodulators und zur Bilddarstellung ausgelesen wird.Thus, an image of the sample is displayed simultaneously for evaluating the back reflections based on the display data. This means that the detector on which the sample is imaged is also used as a measurement detector. It is crucial for this that the detector is read out simultaneously for evaluating the light modulator, which is preferably projected at the edge of the image field, and for image display.
Der Lichtmodulator umfasst bevorzugt ein zentrales, rechteckiges Feld, an dessen mindestens einem Rand sich eine intensitätsmodulierende, erste Liniengitterstruktur erstreckt. Jede der somit bis zu vier ersten Liniengitterstrukturen umfasst bevorzugt eine Abfolge von ersten Linienelementen, die sich parallel des jeweiligen Randes erstreckt. Die bis zu vier ersten Liniengitterstrukturen sind an die Ränder des Bildfelds auf die Probe projiziert, bevorzugt an jeden Rand eine. Der Lichtmodulator ist so gegenüber der konjugierten Ebene schräg gestellt, dass die erste(n) Liniengitterstruktur(en) schräg zur konjugierten Ebene liegen.The light modulator preferably comprises a central, rectangular field, at at least one edge of which an intensity-modulating, first line grating structure extends. Each of the thus up to The four first line grating structures preferably comprise a sequence of first line elements extending parallel to the respective edge. The up to four first line grating structures are projected onto the sample at the edges of the image field, preferably one at each edge. The light modulator is inclined relative to the conjugate plane such that the first line grating structure(s) are inclined to the conjugate plane.
Die Messeinrichtung erreicht eine Bildgütesteigerung in mehrfacher Hinsicht, nämlich als Fokusmessung im Sinne einer Autofokusfunktion als auch durch eine Aberrationsbestimmung und eine Verkippungsmessung während der Bilddarstellung. Die Messeinrichtung ermöglicht es mit einer einzigen Messung und mit ein- und denselben optischen Elementen, eine Verkippung der Probe festzustellen, noch nicht ausgeglichene Aberrationen zu bestimmen und zudem gleichzeitig ein Autofokussteuersignal bereitzustellen. Die Erfindung erreicht damit eine Bildgütesteigerung durch schnelle und gleichzeitige Bestimmung von Probenlage, Fokuslage sowie Aberration und Bilddarstellung. Jede dieser Maßnahmen verbessert für sich alleine bereits die Bildgüte. Soweit nachfolgend einzelne dieser Maßnahmen isoliert beschrieben werden, können sie dennoch und gerade mit großem Vorteil kombiniert werden. Sie erfolgen jedoch stets während der Bilddarstellung.The measuring device achieves an improvement in image quality in several respects, namely as a focus measurement in the sense of an autofocus function and also through aberration determination and tilt measurement during image display. The measuring device makes it possible, with a single measurement and with one and the same optical elements, to detect a tilt of the sample, to determine aberrations that have not yet been compensated for and, at the same time, to provide an autofocus control signal. The invention thus achieves an improvement in image quality through rapid and simultaneous determination of sample position, focus position as well as aberration and image display. Each of these measures alone already improves image quality. While individual measures are described in isolation below, they can nevertheless be combined to great advantage. However, they always take place during image display.
Die Messung dient in einer Ausführungsform zur Autofokusfunktion, d.h. zur Überwachung des Abstandes zwischen der Probe und dem Objektiv. Hierfür genügt eine Liniengitterstruktur. Die Messeinrichtung benutzt zur Detektion den Mikroskop-Abbildungsstrahlengang und den Mikroskopdetektor. Da Probenabbildung und Messung durch denselben Strahlengang erfolgen, kann eine zu haltendende Fokuslage durch Drift von Bauteilen (z.B. durch Temperaturänderung) nicht verloren gehen. Insbesondere wandert kein Referenzpunkt mehr.In one embodiment, the measurement serves the autofocus function, i.e., for monitoring the distance between the sample and the objective lens. A line grating structure is sufficient for this purpose. The measuring device uses the microscope imaging beam path and the microscope detector for detection. Since sample imaging and measurement occur through the same beam path, a focus position that must be maintained cannot be lost due to component drift (e.g., due to temperature changes). In particular, the reference point no longer moves.
Da der Mikroskopdetektor nicht schräg gestellt werden kann, ist/sind stattdessen die Liniengitterstruktur(en) schräggestellt und in die Probenebene projiziert. Bevorzugt liegen die erste(n) Liniengitterstruktur(en) (sämtlich im selben Winkel) schräg zur konjugierten Ebene.Since the microscope detector cannot be tilted, the line grating structure(s) are tilted and projected into the sample plane instead. Preferably, the first line grating structure(s) (all at the same angle) are inclined to the conjugate plane.
Das zentrale Feld ist bevorzugt unstrukturiert oder enthält im Falle der untenstehenden Option 3 höchstens nur eine kantengebende Struktur.The central field is preferably unstructured or, in the case of option 3 below, contains at most only one edge-giving structure.
Das zentrale Feld entspricht in die Fokusebene abgebildet bevorzugt mindestens 50 % oder 60 % oder 70 % oder 80 % oder 90 % der Fläche des Bildfeldes.The central field corresponds to at least 50% or 60% or 70% or 80% or 90% of the area of the image field when imaged in the focal plane.
Sind vier Liniengitterstrukturen vorhanden, kann der Prozessor in einer Ausführungsform die Verkippung der Probe im Mikroskop bestimmen. In i.d.R. befinden sich alle Bereiche der Probe, welche Projektionsbilder der Liniengitterstrukturen als Reflexbilder reflektieren, in der gleichen Ebene - auch wenn diese zur optischen Achse des Mikroskops verkippt ist. Eine Verkippung verschiebt die reflektierten Gittersignale der sich einander gegenüberliegenden Liniengitterstrukturen unterschiedlich. Hieraus bestimmt der Prozessor einen Kippwinkel der Probe. Bevorzugt ermittelt der Prozessor eine Relativverschiebung zwischen Reflexbildern sich gegenüberliegender Liniengitterstrukturen und ermittelt daraus eine Angabe über einen Kippwinkel der Probe.If four line grating structures are present, the processor can, in one embodiment, determine the tilt of the sample in the microscope. Typically, all areas of the sample that reflect projection images of the line grating structures as reflected images are located in the same plane—even if this plane is tilted relative to the optical axis of the microscope. Tilting shifts the reflected grating signals of the opposing line grating structures differently. From this, the processor determines a tilt angle of the sample. Preferably, the processor determines a relative displacement between reflected images of opposing line grating structures and uses this to determine an indication of a tilt angle of the sample.
Zur Aberrationsermittlung sind auf Basis der Messeinrichtung u.a. die folgenden vier Optionen einzeln oder in beliebiger Kombination einsetzbar, um eine im Abbildungsstrahlengang angeordnete, einstellbare und vom Prozessor angesteuerte Aberrationsausgleichsoptik, insbesondere in Form eines ins Objektiv integrierten Korrekturrings einzustellen.To determine aberrations, the following four options, among others, can be used individually or in any combination on the basis of the measuring device in order to adjust an aberration compensation optics arranged in the imaging beam path, adjustable and controlled by the processor, in particular in the form of a correction ring integrated into the lens.
Als Option 1 wird zusätzlich zu den schräg stehenden (ersten) Liniengitterstrukturen mindestens ein nicht verkipptes, sogenanntes Aberrationsgitter als zweite Liniengitterstruktur in die Fokusebene projiziert. Der Abstand der Gitterlinien dieses Gitters ist so gewählt, dass diese enger liegen, als bei den ersten Liniengitterstrukturen, bevorzugt möglichst nahe am Auflösungslimit des Abbildungssystems. Dabei gibt es eine Vielzahl von Möglichkeiten, das Aberrationsgitter zu realisieren. In einer Ausführungsform ist jeder Linie der ersten Liniengitterstruktur eine feinere Unterstruktur hinzugefügt. In einer anderen, durchaus kombinierbaren Ausführungsform verlaufen zusätzlich zu mindestens einem der vier ersten Liniengitterstrukturen und senkrecht zu deren Gitterlinien Linien des Aberrationsgitters. Hierfür ist es deshalb bevorzugt, dass der Lichtmodulator parallel oder überdeckend zu mindestens einer, bevorzugt jeder ersten Liniengitterstruktur eine intensitätsmodulierende, zweite Liniengitterstruktur aufweist, die aus zweiten Linienelementen gebildet ist, wobei jeweils benachbarte zweite Linienelemente in einem Abstand zueinander liegen, der kleiner ist, als ein Abstand zwischen jeweils benachbarten ersten Linienelementen, und der Prozessor die Aberrationsausgleichsoptik so einstellt, dass ein Kontrast der zweite Liniengitterstruktur in einem vom Detektor aufgenommenen Bild maximiert ist. Dabei ist zu beachten, dass die von der Deckglas-Proben-Grenzfläche stammenden Reflexbilder nur dann aberrationsfrei abgebildet werden, d.h. ohne Defokus, wenn die Fokusebene des Mikroskops und der Lichtmodulatorprojektion übereinstimmen. Die Aberrationskorrektur kann bei dieser Technik deshalb nur an dieser einen Fokusebenenposition in der Probe durchgeführt werden. Diese muss nach jeder Änderung der Aberrationskorrektur gegebenenfalls nachgestellt werden; folglich führt der Prozessor ein iteratives Vorgehen aus.As option 1, in addition to the inclined (first) line grating structures, at least one non-tilted, so-called aberration grating is projected into the focal plane as a second line grating structure. The spacing of the grating lines of this grating is selected so that they are closer together than in the first line grating structures, preferably as close as possible to the resolution limit of the imaging system. There are a variety of ways to implement the aberration grating. In one embodiment, a finer substructure is added to each line of the first line grating structure. In another embodiment, which can be combined, lines of the aberration grating run in addition to at least one of the four first line grating structures and perpendicular to their grating lines. For this purpose, it is therefore preferred that the light modulator has an intensity-modulating, second line grating structure parallel to or overlapping at least one, preferably each first line grating structure, which is formed from second line elements, wherein adjacent second line elements are spaced apart from one another by a distance that is smaller than a distance between adjacent first line elements, and the processor adjusts the aberration compensation optics such that a contrast of the second line grating structure is maximized in an image recorded by the detector. It should be noted that the reflected images originating from the cover glass-sample interface are only imaged aberration-free, i.e., without defocus, if the focal plane of the microscope and the light modulator projection coincide. With this technique, the aberration correction can therefore only be carried out at this one focal plane position in the sample. This may need to be adjusted after each change in aberration correction; consequently, the processor performs an iterative process.
In einer Option 2 werden Kanten über verschiedene Defokus-Stellungen aufgenommen und für jede z-Position die Modulationsübertragungsfunktion (sog. MTF) bestimmt. Aus der Abhängigkeit des MTF-Wertes von der z-Position für eine (beliebige) Raumfrequenz, können Systemaberrationen bestimmt werden. Mehrere Kanten, welche in unterschiedliche Richtungen ausgerichtet sind, erlauben die Bestimmung nicht-radialsymmetrischer Aberrationen. Die abgebildeten Kanten könnten beispielsweise durch eine Struktur im Sehfeld (Quadrat, Kreis, ...) oder einem Rahmen zwischen den Gittern und dem zentralen Feld realisiert werden. Bevorzugt ist, dass das Objektiv vom Prozessor zum Einstellen der Fokusebene angesteuert ist, der Lichtmodulator parallel zu mindestens einer der ersten Liniengitterstrukturen eine Kantenstruktur aufweist, die zum jeweiligen Rand verläuft, entlang dem sich die erste Liniengitterstruktur erstreckt, und der Prozessor am Objektiv mehrere verschiedene Lagen der Fokusebene einstellt, aus einem Abbildungskontrast der mindestens einen Kantenstruktur für jede Lage einen Wert der Modulationsübertragungsfunktion ermittelt und daraus Abbildungsaberrationen, insbesondere eine sphärische Aberration, bestimmt.In Option 2, edges are recorded across different defocus positions, and the modulation transfer function (MTF) is determined for each z-position. System aberrations can be determined from the dependence of the MTF value on the z-position for an (arbitrary) spatial frequency. Multiple edges oriented in different directions allow the determination of non-radially symmetric aberrations. The imaged edges could, for example, be realized by a structure in the field of view (square, circle, etc.) or a frame between the gratings and the central field. It is preferred that the lens is controlled by the processor to adjust the focal plane, the light modulator has an edge structure parallel to at least one of the first line grating structures, which runs to the respective edge along which the first line grating structure extends, and the processor sets several different positions of the focal plane on the lens, determines a value of the modulation transfer function for each position from an image contrast of the at least one edge structure, and uses this to determine image aberrations, in particular a spherical aberration.
Beschränkt man sich auf die Korrektur von sphärischen Aberrationen, z.B. mittels eines Korrekturrings, so kann die optimale Einstellung zur Kompensation der sphärischen Aberration aus einer z-Stapel-Aufnahme der Kanten bestimmt werden. Bei Änderung der Einstellung wird die daraus resultierende bekannte Fokusverschiebung durch die Änderung des Arbeitsabstandes wieder ausgeglichen.If one restricts oneself to correcting spherical aberrations, e.g., using a correction ring, the optimal setting for compensating for spherical aberration can be determined from a z-stack image of the edges. When the setting is changed, the resulting known focus shift is compensated for by changing the working distance.
Eine Option 3 verwendet einen der genannten Phase-Retrieval-Algorithmen. Wird eine der schräg stehenden Liniengitterstrukturen auf den gerade stehenden Detektor abgebildet, repräsentieren die lateralen Orte der Gitterlinien Aufnahmen aus verschiedenen axialen z-Ebenen. Ähnliches lässt sich durch Verkippen der Liniengitterstruktur um eine Achse, die längs der Linienelemente verläuft, generieren. Nun verlaufen die out-of-focus- und in-focus-Bereiche entlang der Linienelemente. Folglich lässt sich mit einer Einzelaufnahme eine Abbildung einer Linie aus verschiedenen Fokusebenen (entsprechend verschiedenen Defokus-Stellungen) aufnehmen. In beiden Fällen ist es möglich, mittels einer einzigen Aufnahme die bekannte Liniengitterstruktur über verschiedene Defokus-Stellungen aufzunehmen. Hieraus ermittelt der Phase-Retrieval-Algorithmus die sphärischen Aberrationen, ohne einen z-Stapel aufnehmen zu müssen. Damit können die Aberrationen in einem nicht-iterativen Workflow korrigiert werden. Gegebenenfalls ist aber die Kopplung der sphärischen Aberrationen und des Defokus zu beachten.Option 3 uses one of the phase retrieval algorithms mentioned above. If one of the tilted line grating structures is imaged onto the upright detector, the lateral locations of the grating lines represent images from different axial z-planes. A similar result can be generated by tilting the line grating structure around an axis that runs along the line elements. The out-of-focus and in-focus regions now run along the line elements. Consequently, a single image can be captured from different focal planes (corresponding to different defocus positions). In both cases, it is possible to acquire the known line grating structure across different defocus positions using a single image. From this, the phase retrieval algorithm determines the spherical aberrations without having to acquire a z-stack. This allows the aberrations to be corrected in a non-iterative workflow. However, the coupling of the spherical aberrations and the defocus may need to be considered.
Mittels einer Option 4 lässt sich die sphärische Aberration bestimmen, indem die Eigenschaft der sphärischen Aberration ausgenutzt wird, dass achsennahe und achsenferne Strahlen in unterschiedliche Brennpunkte abgebildet werden. In der Pupille eines Abbildungssystems entsprechen die achsennahen und achsenfernen Strahlen niedrigen bzw. hohen Raumfrequenzen. Nun werden zwei Liniengitterstrukturen mit unterschiedlicher Gitterperiode abgebildet, nämlich die erste und die zweite Liniengitterstruktur. Die schräg gestellten ersten und zweiten Liniengitterstrukturen setzen den aberrationsbedingten, axialen Versatz der Fokuslage für unterschiedliche Raumfrequenzen in eine laterale Verschiebung der scharf abgebildeten Abschnitte um. Die sphärische Aberrationsausgleichsoptik wird nun so eingestellt, dass die scharf abgebildeten Abschnitte der ersten und zweiten Liniengitterstrukturen bezogen auf die Linienelementerstreckung nebeneinander liegen.Using option 4, spherical aberration can be determined by exploiting the property of spherical aberration that near-axis and far-axis rays are imaged at different focal points. In the pupil of an imaging system, the near-axis and far-axis rays correspond to low and high spatial frequencies, respectively. Two line grating structures with different grating periods are then imaged: the first and second line grating structures. The tilted first and second line grating structures convert the aberration-induced axial offset of the focal position for different spatial frequencies into a lateral displacement of the sharply imaged sections. The spherical aberration compensation optics are now adjusted so that the sharply imaged sections of the first and second line grating structures lie adjacent to one another with respect to the line element extension.
Bevorzugt ist die Messbeleuchtungsquelle als IR-Strahlungsquelle ausgebildet, die ersten - und soweit vorhanden auch die zweiten - Liniengitterstrukturen sind durch IR-Strahlung auf die Probe projiziert und der Hauptstrahlteiler transmittiert einen Anteil der von der Probe kommenden IR-Strahlung zum Detektor, als 50/50-Teiler.Preferably, the measurement illumination source is designed as an IR radiation source, the first - and if present also the second - line grating structures are projected onto the sample by IR radiation and the main beam splitter transmits a portion of the IR radiation coming from the sample to the detector, as a 50/50 splitter.
Der Lichtmodulator kann aus separaten ersten Liniengitterstrukturen zusammengesetzt sein. Bevorzugt sind die vier ersten Liniengitterstrukturen jedoch als absorbierende Linienelemente auf einer planen Oberfläche eines transparenten Substrats (bei Transmissionsbetrieb) oder als nicht-reflektierende Linienelemente eines verspiegelten Substrats (bei Reflexionsbetrieb) aufgebracht, und die Oberfläche ist schräg gestellt.The light modulator can be composed of separate first line grating structures. However, the four first line grating structures are preferably applied as absorbing line elements on a planar surface of a transparent substrate (in transmission mode) or as non-reflective line elements on a mirrored substrate (in reflection mode), and the surface is inclined.
Die einstellbare Aberrationsausgleichsoptik zum Ausgleich eines Defokus und/oder von Aberrationen kann mindestens eines der folgenden Elemente umfassen: einen Alvarez-Manipulator, einen Korrekturring des Objektives, eine verstellbare Linse, einen verformbaren Spiegel, einen Spatial Light Modulator (SLM), ein Mikrospiegelelement (MEMS).The adjustable aberration compensation optics for compensating for defocus and/or aberrations may comprise at least one of the following elements: an Alvarez manipulator, an objective correction ring, an adjustable lens, a deformable mirror, a spatial light modulator (SLM), a micromirror element (MEMS).
Als vom Prozessor ausgewertetes Messsignal, das von der Stärke der Aberrationen abhängt kommt in Frage:
- ◯ Kontrast, Signal, Schärfe, SNR sowie Kombinationen davon von Gitterlinien (Aberrationsgitter)
- ◯ Z-abhängige MTFs mehrerer Kanten (falls sphärische Aberrationen ausreichend, reicht eine Kante)
- ◯ Z-abhängige Aufnahme von Linien
- ◯ Contrast, signal, sharpness, SNR and combinations thereof of grid lines (aberration grid)
- ◯ Z-dependent MTFs of multiple edges (if spherical aberrations are sufficient, one edge is sufficient)
- ◯ Z-dependent recording of lines
Soweit hier Verfahrensmerkmale beschrieben sind, ist in Ausführungsformen der Prozessor ausgebildet, diese Merkmale auszuführen. Soweit die Arbeitsweise des Prozessors beschrieben ist, sind damit auch analoge Verfahrensmerkmale offenbart.To the extent that method features are described here, the processor is configured in embodiments to implement these features. To the extent that the operation of the processor is described, analogous method features are also disclosed.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It is understood that the features mentioned above and those to be explained below can be used not only in the combinations indicated, but also in other combinations or in isolation, without departing from the scope of the present invention.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen, die ebenfalls erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Elementen oder Komponenten nicht dahingehend auszulegen, dass alle diese Elemente oder Komponenten zur Implementierung notwendig sind. Vielmehr können andere Ausführungsbeispiele auch alternative Elemente und Komponenten, weniger Elemente oder Komponenten oder zusätzliche Elemente oder Komponenten enthalten. Elemente oder Komponenten verschiedener Ausführungsbeispiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Modifikationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein. Zur Vermeidung von Wiederholungen werden gleiche oder einander entsprechende Elemente in verschiedenen Figuren mit gleichen Bezugszeichen bezeichnet und nicht mehrmals erläutert. Von den Figuren zeigen:
-
1 eine schematische Darstellung eines Strahlengangs eines Mikroskops, -
2 eine schematische Darstellung der Entstehung eines Reflexbildes im Mikroskop der1 , -
3 einen Lichtmodulator des Mikroskops der1 umfassend mehrere erste Liniengitterstrukturen, -
4 im Mikroskop der1 detektierte Reflexbilder im Fall eines Defokus, -
5 im Mikroskop der1 detektierte Reflexbilder im Fall einer Verkippung der Probe, -
6 zwei Möglichkeiten zur Realisierung von als Aberrationsgitter dienenden zweiten Liniengitterstrukturen, -
7 ein erstes Blockschaltbild zum Aberrationsausgleich im Mikroskop der1 , -
8 Möglichkeiten zur Realisierung von Kantenstrukturen, die zur Aberrationsreduktion eingesetzt werden können, -
9 ein zweites Blockschaltbild zum Aberrationsausgleich im Mikroskop der1 , -
10 eine schematische Darstellung der Wirkung einer Verkippung der Liniengitterstrukturen, -
11 ein drittes Blockschaltbild zum Aberrationsausgleich im Mikroskop der1 und -
12 die Auswertung eines Aberrationsgitters gemäß der rechten Variante der6 .
-
1 a schematic representation of a microscope beam path, -
2 a schematic representation of the formation of a reflex image in the microscope of the1 , -
3 a light modulator of the microscope1 comprising several first line grating structures, -
4 in the microscope of1 detected reflex images in case of defocus, -
5 in the microscope of1 detected reflection images in case of tilting of the sample, -
6 two possibilities for the realization of second line grating structures serving as aberration gratings, -
7 a first block diagram for aberration compensation in the microscope of the1 , -
8 Possibilities for realizing edge structures that can be used to reduce aberrations, -
9 a second block diagram for aberration compensation in the microscope of the1 , -
10 a schematic representation of the effect of tilting the line grid structures, -
11 a third block diagram for aberration compensation in the microscope of the1 and -
12 the evaluation of an aberration grid according to the right variant of the6 .
Die Projektionsbilder des Lichtmodulators 16 an der Probe werden, wie die
Wie in
Die Ausgestaltung der Lichtquelle 12 als Infrarot-Lichtquelle ist jedoch optional, wie nachfolgend auch anhand der
Zur Durchführung der Messung trennt bevorzugt das Mikroskop 1 die Bildinformation aus dem Feld 24, welche die Abbildung der Probe 2 wiedergibt, von den Reflexbildern der Liniengitterstrukturen 26 bis 29, indem die Bilddaten des Detektors 8 entsprechend verarbeitet werden. Es erfolgt keine spektrale Trennung. Dieses Trennen wird von einem Prozessor 32 ausgeführt, welcher den Betrieb des Mikroskops steuert bzw. die Messfunktion bereitstellt und dazu mit dem Detektor 8 und dem Objektiv 4 verbunden ist. Nur die Bildinformation aus dem Bereich, der dem Feld 24 innerhalb der Liniengitterstrukturen 26 bis 29 entspricht, wird zur Anzeige des Bildes der Probe 2 bereitgestellt. Die Randbereiche des Bildes, in denen die Reflexbilder der Liniengitterstrukturen 26 bis 29 liegen, werden hingegen von der anzuzeigenden Bildinformation abgetrennt. Dieser damit zur Anzeige kommende Bereich ist etwas kleiner, als es das Bildfeld 30 eigentlich zulassen würde. Da letztlich aber ein rechteckiges bzw. quadratisches Bild gewünscht ist, ist der Größenunterschied tatsächlich nicht groß, denn das in das kreisförmige Bildfeld 30 eingeschriebene Quadrat des Feldes 24 liegt mit seinen Eckpunkten nicht weit vom Kreis 30, d.h. von der maximalen Bildfeldausdehnung, entfernt. Da die Bildqualität bei der Abbildung zum Rand des Bildfeldes 30 regelmäßig abnimmt, ist der Verzicht auf Bildgröße durch das etwas kleinere Feld 24 tatsächlich nicht nachteilig.To perform the measurement, the microscope 1 preferably separates the image information from field 24, which represents the image of the sample 2, from the reflected images of the line grating structures 26 to 29 by appropriately processing the image data of the detector 8. No spectral separation takes place. This separation is performed by a processor 32, which controls the operation of the microscope and provides the measuring function and is connected to the detector 8 and the objective 4 for this purpose. Only the image information from the area corresponding to field 24 within the line grating structures 26 to 29 is provided for displaying the image of the sample 2. The edge regions of the image, in which the reflected images of the line grating structures 26 to 29 are located, are, however, separated from the image information to be displayed. This area thus displayed is somewhat smaller than the image field 30 would actually allow. Since a rectangular or square image is ultimately desired, the size difference is actually not significant, because the square of field 24 inscribed in the circular image field 30 is located with its corners not far from circle 30, i.e., from the maximum image field extent. Since image quality regularly decreases toward the edge of image field 30, sacrificing image size by using the slightly smaller field 24 is actually not disadvantageous.
Um die Lage der Fokusebene im Mikroskop 1 mit dem Detektor 8, der auch für die Abbildung der Probe 2 zuständig ist, zu detektieren, wird der Lichtmodulator 16 mit seinen vier Liniengitterstrukturen 26 bis 29 schräg gestellt. Er wird dabei in der Regel um eine Achse verkippt, die einer der eingezeichneten Diagonalen durch das Feld 24 entspricht. Die Schrägstellung ist in den Draufsichten auf den Lichtmodulator 16 hier in den Figuren nicht gezeigt, um die Darstellungen übersichtlich zu halten. Die Schrägstellung ist erforderlich, da der Detektor, welcher für die Messfunktion verwendet wird, der Detektor 8 ist, welcher auch für die Abbildung der Probe 2 verwendet ist. Dieser kann verständlicherweise nicht schräg gestellt werden.In order to detect the position of the focal plane in microscope 1 with detector 8, which is also responsible for imaging sample 2, the light modulator 16 with its four line grating structures 26 to 29 is tilted. It is generally tilted around an axis corresponding to one of the diagonals drawn through field 24. The tilt is not shown in the top views of light modulator 16 in these figures to keep the illustrations clear. The tilt is necessary because the detector used for the measuring function is detector 8, which is also used for imaging sample 2. Obviously, this detector cannot be tilted.
Da die Defokus-Verschiebungen gegenüber dem Zentrum des Detektorkoordinatensystems 38 erfolgen, die Verkippungsverschiebungen hingegen symmetrisch zum Zentrum, lassen sich Defokus und Verkippung aus einer Aufnahme gleichzeitig ermitteln.Since the defocus shifts occur relative to the center of the detector coordinate system 38, while the tilt shifts occur symmetrically to the center, defocus and tilt can be determined simultaneously from one image.
Die Messeinrichtung 10 ermöglicht nicht nur, gleichzeitig Defokussierung und Verkippung der Probe 2 festzustellen, sondern erlaubt es auch, mit unaufwendiger Abwandlung des Lichtmodulators 16 eine Aberrationsermittlung vorzunehmen. Hierzu werden nicht verkippte oder verkippte, sogenannte Aberrationsgitter in die Probenebene projiziert.The measuring device 10 not only enables the simultaneous detection of defocus and tilt of the sample 2, but also allows aberration determination with a simple modification of the light modulator 16. For this purpose, tilted or non-tilted so-called aberration gratings are projected into the sample plane.
Zur Unterscheidung von den bislang beschriebenen Liniengitterstrukturen 26 bis 29 werden diese, wenn eine Verwechslung mit den Aberrationsgittern zu befürchten ist, hier als erste Liniengitterstrukturen 26 bis 29 bezeichnet und die Aberrationsgitter als zweite Liniengitterstrukturen.To distinguish them from the previously described line grating structures 26 to 29, if confusion with the aberration gratings is to be feared, these are referred to here as the first line grating structures 26 to 29 and the aberration gratings as the second line grating structures.
Der Abstand der Linienelemente der zweiten Liniengitterstrukturen, d.h. der Aberrationsgitter, ist enger als in den ersten Liniengitterstrukturen 26 bis 29. Auf diese Weise werden andere Raumfrequenzen übertragen. Bevorzugt ist der Abstand der Liniengitterelemente der Aberrationsgitter so, dass er nahe am Auflösungslimit des Mikroskops 1 liegt. Es gibt mehrere Möglichkeiten, die Aberrationsgitter zu realisieren. Ein in
Mithilfe der Aberrationsgitter, beispielsweise gemäß
Der Ablauf zur Ermittlung der Aberration ist in
Somit liefert eine einzige Aufnahme der verkippten Liniengitterstrukturen alle Voraussetzungen für die Anwendung eines Phase-Retrieval-Algorithmus, wie er im allgemeinen Teil der Beschreibung bereits erläutert wurde. Entsprechendes zeigt das Blockschaltbild der
Eine vierte Möglichkeit zur Ermittlung der Aberration, hier der sphärischen Aberration, zeigt
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- US 5 604 344 A [0003]US 5 604 344 A [0003]
- US 6 545 756 B1 [0003]US 6 545 756 B1 [0003]
- DE 103 19 182 A1 [0004, 0005]DE 103 19 182 A1 [0004, 0005]
- DE 10 2006 027 836 A1 [0005]DE 10 2006 027 836 A1 [0005]
- WO 2022 / 150 396 A1 [0007]WO 2022 / 150 396 A1 [0007]
Zitierte Nicht-PatentliteraturCited non-patent literature
- I. Papadopoulos et al., „Scattering compensation by focus scanning holographic aberration probing (F-SHARP)“, Nature Photonics 11 (2), 116-123 (2016 [0006]I. Papadopoulos et al., “Scattering compensation by focus scanning holographic aberration probing (F-SHARP),” Nature Photonics 11 (2), 116-123 (2016 [0006]
- Na Ji et al., „Adaptive optics via pupil segmentation for highresolution imaging in biological tissues“, Nature Methode 7, 2 (2010 [0007]Na Ji et al., “Adaptive optics via pupil segmentation for high-resolution imaging in biological tissues”, Nature Method 7, 2 (2010 [0007]
- D. Ancora et al., „Spinning pupil aberration measurement for anisoplanatic deconvolution“, Optics Letters 46, 12 (15.06.2021 [0007]D. Ancora et al., “Spinning pupil aberration measurement for anisoplanatic deconvolution”, Optics Letters 46, 12 (June 15, 2021 [0007]
- D. Débarre et al., „Image based adaptive optics through optimisation of low spatial frequencies“, Optics Express Vol. 15, Nr. 13 (25.06.2007 [0007]D. Débarre et al., “Image based adaptive optics through optimization of low spatial frequencies”, Optics Express Vol. 15, No. 13 (June 25, 2007 [0007]
- G. Zheng et al., „Characterization of spatially varying aberrations for wide field-of-view microscopy, Optics Express Vol. 21, Nr. 13 (01.07.2013 [0007]G. Zheng et al., “Characterization of spatially varying aberrations for wide field-of-view microscopy, Optics Express Vol. 21, No. 13 (July 1, 2013 [0007]
- Q. Gong et al., „Aberration measurement using axial intensity“, Optical Engineering 33, 4 (1994 [0007]Q. Gong et al., “Aberration measurement using axial intensity,” Optical Engineering 33, 4 (1994 [0007]
Claims (14)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102024104898.0A DE102024104898A1 (en) | 2024-02-21 | 2024-02-21 | Microscope and microscopy techniques with improved image quality |
| CN202510188572.5A CN120522877A (en) | 2024-02-21 | 2025-02-20 | Microscope and microscopy method with improved image quality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102024104898.0A DE102024104898A1 (en) | 2024-02-21 | 2024-02-21 | Microscope and microscopy techniques with improved image quality |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102024104898A1 true DE102024104898A1 (en) | 2025-08-21 |
Family
ID=96585663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102024104898.0A Pending DE102024104898A1 (en) | 2024-02-21 | 2024-02-21 | Microscope and microscopy techniques with improved image quality |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN120522877A (en) |
| DE (1) | DE102024104898A1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5604344A (en) | 1994-10-10 | 1997-02-18 | Nova Measuring Instruments Ltd. | Autofocussing microscope having a pattern imaging system |
| US6545756B1 (en) | 1998-09-21 | 2003-04-08 | Alexandr Akhatovich Ganeev | Method for the thermionic atomization of a sample and device for realizing the same |
| DE10319182A1 (en) | 2003-04-29 | 2004-12-23 | Carl Zeiss Jena Gmbh | Method and arrangement for determining the focus position when imaging a sample |
| DE102006027836A1 (en) | 2006-06-16 | 2007-12-20 | Carl Zeiss Microimaging Gmbh | Autofocus device for microscopy |
| DE102012223128A1 (en) | 2012-12-13 | 2014-06-18 | Carl Zeiss Microscopy Gmbh | Autofocus method for microscope and microscope with autofocus device |
| DE102015116452A1 (en) | 2015-09-29 | 2017-03-30 | Carl Zeiss Microscopy Gmbh | microscope |
| WO2022150396A1 (en) | 2021-01-05 | 2022-07-14 | Molecular Devices Llc | Methods and systems to compensate for substrate thickness error |
-
2024
- 2024-02-21 DE DE102024104898.0A patent/DE102024104898A1/en active Pending
-
2025
- 2025-02-20 CN CN202510188572.5A patent/CN120522877A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5604344A (en) | 1994-10-10 | 1997-02-18 | Nova Measuring Instruments Ltd. | Autofocussing microscope having a pattern imaging system |
| US6545756B1 (en) | 1998-09-21 | 2003-04-08 | Alexandr Akhatovich Ganeev | Method for the thermionic atomization of a sample and device for realizing the same |
| DE10319182A1 (en) | 2003-04-29 | 2004-12-23 | Carl Zeiss Jena Gmbh | Method and arrangement for determining the focus position when imaging a sample |
| DE102006027836A1 (en) | 2006-06-16 | 2007-12-20 | Carl Zeiss Microimaging Gmbh | Autofocus device for microscopy |
| DE102012223128A1 (en) | 2012-12-13 | 2014-06-18 | Carl Zeiss Microscopy Gmbh | Autofocus method for microscope and microscope with autofocus device |
| DE102015116452A1 (en) | 2015-09-29 | 2017-03-30 | Carl Zeiss Microscopy Gmbh | microscope |
| WO2022150396A1 (en) | 2021-01-05 | 2022-07-14 | Molecular Devices Llc | Methods and systems to compensate for substrate thickness error |
Also Published As
| Publication number | Publication date |
|---|---|
| CN120522877A (en) | 2025-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2673671B1 (en) | Microscope having an autofocusing device and autofocusing method for microscopes | |
| EP3173838B1 (en) | Microscope with a light sheet | |
| EP2219815B1 (en) | Laser beam machining | |
| DE10319182B4 (en) | Method and arrangement for determining the focus position when imaging a sample | |
| EP2480926B1 (en) | Microscope | |
| DE102018210603B4 (en) | Method for generating an overview image using a high-aperture lens | |
| EP3918398B1 (en) | Optical system for a microscope | |
| EP3479157B1 (en) | Inclination measurement and correction of the cover glass in the optical path of a microscope | |
| DE102011082756A1 (en) | Autofocusing method and device for a microscope | |
| DE102009044984A1 (en) | microscope | |
| DE102004034977A1 (en) | Scanning microscope and use | |
| DE102009044986A1 (en) | microscope | |
| EP2181352B1 (en) | Microscope having internal focusing | |
| DE102011086018A1 (en) | Method and arrangement for autofocusing a microscope | |
| EP3499177A2 (en) | Method for determining the thickness of a sample holder in a beam path of a microscope | |
| WO2001088590A1 (en) | Arrangement for confocal autofocussing | |
| EP3440492B1 (en) | Method and microscope for examining a sample | |
| DE102019109832B3 (en) | Light sheet microscope and method for acquiring a measured variable | |
| EP4042222A1 (en) | Method and apparatus for correcting aberrations in fluorescence microscopy | |
| DE102009012293A1 (en) | Light auto-focusing method for use in microscope, involves arranging detector elements such that profiles of radiation property registered by detector elements are different and focus position is set based on profiles | |
| WO2007019895A1 (en) | Light scanning microscope with autofocus mechanism | |
| DE102024104898A1 (en) | Microscope and microscopy techniques with improved image quality | |
| EP3867684B1 (en) | Method and microscope for determining the thickness of a cover slip or slide | |
| DE102016120312B3 (en) | Method for illuminating focus positions on the object side of a microscope objective and microscope | |
| DE202009003288U1 (en) | Autofocus device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R163 | Identified publications notified |