[go: up one dir, main page]

WO2019170464A1 - Mikroskop und verfahren zum mikroskopieren einer probe für die darstellung von bildern mit erweiterter schärfentiefe oder dreidimensionalen bildern - Google Patents

Mikroskop und verfahren zum mikroskopieren einer probe für die darstellung von bildern mit erweiterter schärfentiefe oder dreidimensionalen bildern Download PDF

Info

Publication number
WO2019170464A1
WO2019170464A1 PCT/EP2019/054644 EP2019054644W WO2019170464A1 WO 2019170464 A1 WO2019170464 A1 WO 2019170464A1 EP 2019054644 W EP2019054644 W EP 2019054644W WO 2019170464 A1 WO2019170464 A1 WO 2019170464A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
images
microscope
image
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2019/054644
Other languages
English (en)
French (fr)
Inventor
Artur Degen
Alexander Gaiduk
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Priority to CN201980017358.6A priority Critical patent/CN111989608B/zh
Publication of WO2019170464A1 publication Critical patent/WO2019170464A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Definitions

  • the present invention initially relates to a method of microscopically sampling a sample, as a result of which images having an extended depth of field or three-dimensional images of the sample are displayed. Furthermore, the invention relates to a microscope with a lens for optically imaging a sample.
  • an image is taken for each one focus position and stored with the associated focus position in an image stack. From the captured images of the image stack, an image with an enhanced depth of field (EDOF) image is calculated.
  • EEOF enhanced depth of field
  • Detected pixel defects which is corrected by interpolation with adjacent pixels.
  • the corrected EDoF image is used to calculate a height map or a 3D model of the object.
  • US 2015/0185462 A1 shows a microscope with a first motorized drive in the z-direction for positioning a unit comprising a lens and a camera and with a second motorized drive in the z-direction for positioning a specimen stage for receiving a specimen.
  • the first motorized drive allows you to take pictures with an extended depth of field.
  • Image pickup device comprises a movable stage for receiving the sample and a unit for changing the focus position.
  • the image pickup device u. a. a camera and a unit for generating the images with an extended depth of field.
  • the images with extended depth of field are omnifocal
  • the microscope is designed to be a
  • US Pat. No. 7,345,816 B2 discloses an optical microscope which comprises a mirror with a controllably variable reflecting surface. By changing the surface of the mirror, images can be taken from different focal positions.
  • US 7,269,344 B2 shows an optical device with an imaging optical system having deformable mirrors and a digital zoom function. This should be the electronic magnification with high image sharpness changeable.
  • a monitoring device in which a camera is configured to capture an image of an object placed on a placement section.
  • a z-axis motion unit is for performing an automatic
  • MALS Mirror Array Lens System
  • the focus can be changed with a frequency of up to 10 kHz.
  • VHX5000 digital microscope manufactured by Keyence allows a topology of a specimen with a height of about 138 ym to be recorded through a stack of 12 images in a duration of about 9 seconds.
  • the object of the present invention is to navigate over a sample when micro-copying the sample with the aim of displaying
  • the method according to the invention is used for microscopying a sample with a microscope; especially with a digital microscope.
  • the digital microscope preferably comprises a Lens and an image sensor for converting one of the
  • the operator can move in one xy plane or in XZ / YZ planes to see more of the sample, or to see another xyz position of the sample, or to move the sample around in another
  • the extensively extended recording area of the microscope is characterized by a sample-side field of view of the microscope
  • Microscope determined. Due to their size, the sample can not be used in its entirety in a single moment
  • Acquisition area over the sample is used to explore the sample and can be thought of as navigating across the sample.
  • This navigation takes place in the lateral direction, d. H.
  • this navigation may be along a randomly generated or predefined curve in the x, y, and z directions or along a curve defined by the sample in the x, y, and z directions.
  • the microscope and the sample are moved relative to each other.
  • a lens of the microscope and the sample relative to each other emotional.
  • a stage of the microscope is moved to the arranged on the stage specimen relative to
  • the resolution in the axial and lateral direction is not decisive.
  • the resolution is preferably adapted to the speed of the navigation.
  • the lateral and axial resolution are adjusted so that no artifacts are present in the microscopic frames.
  • the resolution is preferably increased, which corresponds to a natural visual process.
  • the microscopic frames of each of the areas of the sample are mixed with several different ones
  • Focus positions recorded For each of the areas microscopically moved during the movement, a plurality of the individual images are recorded which differ with respect to their focal positions set for recording.
  • the images of the microscopic individual images of each of these regions take place with different focus positions, so that details of the respective region are sharply imaged in at least one of the microscopic individual images.
  • the different focus positions are particularly preferred by different controls of a
  • Microsystem with movable mirrors causes.
  • Different focus positions are alternatively preferred by different activations of a deformable optical lens or a mechanical, piezoelectric or hybrid actuator for positioning a
  • the Different focus positions are alternatively preferably formed by different dimensions of a distance between the sample and the lens of the microscope. Alternatively, a position of a focusing optical element in an intermediate image plane or a rear intermediate film plane may be changed. The distance between the sample and the
  • Lens of the microscope can also be described as a z-coordinate.
  • the microscopic frames of each of the areas of the sample microscoped during movement of the receiving area form a stack.
  • the images of each of the stacks differ in the z coordinate of theirs
  • the microscopic frames of each of the microscopic portions of the sample moved during the motion are thus each processed into a microscopic image with extended depth of field.
  • the microscopic image to be calculated images the sample with extended depth of field.
  • the microscopic frames of each of the microscopically-scanned regions become one at a time
  • the three-dimensional images comprise information about the respective region of the sample to be displayed for each point in space. For example, in one
  • orthogonal coordinate system with x, y and z axis for each point in space intensity values and or color values can be specified.
  • Three-dimensional images can be determined in which, for example, only one z-value is known for each pair of x and y coordinates. This is
  • the images are displayed with extended depth of field or the three-dimensional image
  • This presentation is preferably carried out in synchronism with the moving of the recording area over the regions of the sample in the sense that between moving the recording region over the regions of the sample and displaying the individual regions of the sample, only one user does not disturb the region
  • Delay occurs. This delay may be due to the calculations required to determine the images with
  • extended depth of field or the three-dimensional images are not zero, however, it is preferably so small that they are not perceived by the operator or at least not disturb the operator.
  • the necessary calculations for determining the images with extended depth of field or the three-dimensional images be temporarily suspended because the resolution is no longer visually perceived.
  • the calculation of a 3D model for the three-dimensional images can be done with a delay, if sufficient again
  • Computing power is available. Displaying the images with extended depth of field or the three-dimensional
  • Images are taken at a frame rate which is preferably greater than or equal to at least 10 frames / s and more preferably at least
  • Focus positions recorded Thus, more frames are taken with different focus positions for this area over which the recording area rests than for
  • the further captured frames are used to increase an axial resolution and a lateral resolution of the currently displayed extended depth of field image or the currently displayed three-dimensional image.
  • the increased axial resolution is due to increased depth resolution, i. H. formed in the z-direction, which corresponds to a smaller voxie size.
  • the increased lateral resolution is due to an increase in
  • Resolution in the lateral direction ie formed in the x and / or y direction, which corresponds to finer pixels.
  • the increase in the resolution leads in any case to an increase in the quality of the currently displayed image with extended depth of field or the currently displayed three-dimensional image.
  • the increased quality can be achieved for example by an increased dynamic range, by a reduction of Reflections or characterized by an improvement in color reproduction.
  • a particular advantage of the method according to the invention is that the operator, while navigating over the sample, the images with extended depth of field or the three-dimensional images with a frame rate and a
  • Depth of field or the subsequent three-dimensional images leads, as the number of microscopic frames with different focus positions for the individual areas decreases again.
  • a fast electromechanical microsystem with movable mirrors is preferably used.
  • piezo actuators or other actuators for improving the positioning of the recording area or for scanning in the z direction and / or xy direction used.
  • a method of shifting the pixels is used to increase the lateral resolution.
  • Such a method for shifting the pixels is also referred to as pixel shifting.
  • a structured illumination of the sample takes place, wherein the structured illumination is preferably refined in order to increase the axial resolution and / or the lateral resolution of the currently displayed image.
  • a method for reducing reflections in the image on the basis of a segmented illumination of the sample is used or applied to a greater extent in order to increase the axial resolution and / or the lateral resolution of the currently displayed image.
  • a method of increasing the dynamic range of the image is used or applied to a greater extent to the axial
  • a Fourier Ptychography method is used to increase the axial resolution and / or the lateral resolution of the currently displayed image.
  • Preferred is a method for
  • Frames z. B. increased by the image processing hardware to the axial resolution and / or the lateral
  • parameters of algorithms used for the processing of the individual images are changed in order to increase the axial resolution and / or the lateral resolution of the currently displayed image.
  • Measures for increasing the axial resolution and / or the lateral resolution of the currently displayed image are preferably also combined.
  • the method will be the axial resolution and the lateral resolution
  • Resolution of the currently displayed image and possibly also other aspects of the quality of the image for example, a 2, 5-dimensional image increased.
  • This increase in the resolution is preferably effected as a function of the movement of the
  • binning ie, combining adjacent pixels of the individual images; or binning takes place to a greater extent.
  • Reflections in the individual images made by applying a segmented illumination of the sample, wherein during the movement of the receiving area, d. H. during the
  • Navigation preferably a reduced number, in particular a small or smallest number of segments of the lighting is activated in order to achieve the highest possible speed of image acquisition. This allows for an increased
  • a dynamic range of image pickup and image processing is increased, wherein during movement of the pickup area, i. H. while navigating the rate of images and / or a cost for post-processing of the images is reduced.
  • Changes in the image and / or in the settings of the hardware are present, ie as soon as the movement of the recording area is stopped, the rate of images and / or the cost of post-processing to increase the dynamic range is increased again, the lateral resolution of the current to increase the displayed image with extended depth of field or the currently displayed three-dimensional image, in particular in order to obtain optimum or maximum image quality.
  • a fourth preferred embodiment takes place during the movement of the receiving area, ie
  • the cited preferred embodiments or a selection of the cited preferred embodiments are preferably also used in combination.
  • the number of images during a navigation may be predefined and constant or may be selected dynamically depending on the speed of the movement made by the operator over the sample.
  • Speed is preferably estimated on the basis of the contents of the captured frames or measured with a sensor.
  • the sensor can for example by a
  • Microsystem with movable mirrors or by deforming a deformable optical lens of the lens Microsystem with movable mirrors or by deforming a deformable optical lens of the lens.
  • Frame images are not constant, but in particular can be changed continuously, so that, for example, an actuator for changing the height of a specimen-carrying object table between the shots of the individual images does not have to be stopped.
  • an actuator is preferably placed on an active optical element of the microscope.
  • the mechanical actuator can be designed, for example, to form the active optical element, which is controlled by a flexible lens, a lens controllable by mechanical vibrations, a liquid lens or a diffractive lens for measuring a depth information of the sample may be formed to deform.
  • the actuator is controlled by a microsystem for mechanically moving
  • the actuator is preferably a focus actuator and / or an aberration actuator.
  • the actuator is preferably operated at a frequency of at least 1 kHz and more preferably of at least 10 kHz.
  • the optical detector in an advantageous embodiment, the optical detector
  • Micro mirrors designed to accommodate an extended depth of field.
  • MALS module as an optical actuator
  • a MALS module can be designed, for example, as a Fresnel lens, as described, for example, in WO 2005/119331 A1.
  • This Fresnel lens is formed of a plurality of micromirrors. By changing the position of the micromirrors, the focal length of the Fresnel lens can be changed very quickly. This fast change of the focal length allows a very fast adjustment of the focus plane to be imaged, d. H. the
  • the different regions of the sample are each recorded with a predetermined number of different focus positions, while the recording area of the microscope is moved over the different areas of the sample. This number is smaller than the number of Focusing positions, with which the microscopic frames of the area, on which the movement of the receiving area of the microscope rests, are recorded.
  • Method be moved while the recording area of the microscope over the different areas of the sample, the different areas each with the
  • the minimum image rate is preferably 10 fps, and more preferably 25 fps, where the images are the images with extended depth of field or the three-dimensional images.
  • the predetermined quality level may be defined by a resolution and / or a severity measure. If the operator rests for a long time over the navigation system
  • the quality is not increased to an unnecessarily high level.
  • Embodiments of the method according to the invention the focus positions of the further recorded after stopping the movement of the recording area frames for a
  • focus positions are selected which lie between the focus positions of the previously recorded individual images.
  • Frames are selected on the basis of an analysis of the previously recorded frames of this area. Sharpness and / or spatial spectra are preferred in this analysis Range or subareas of the range.
  • the depth of the images is extended in depth, which corresponds for example to several EDoF images, so that an extended EDoF image can be determined.
  • Method is the stopping of the movement of the recording area of the microscope over the areas of the sample recognized by the fact that the contents in the last recorded individual images have a same local position. Stopping the movement of the receiving area of the microscope over the However, regions of the sample can also be recognized, for example, by triggering an object table of the microscope to cause the object table to stop. The detection of the stopping of the movement of the recording area of the microscope over the areas of the sample is preferably carried out while maintaining a debounce time, so that very short
  • an aperture of a diaphragm is changed in order to move the diaphragm
  • the aperture is located in
  • the opening of the aperture is in particular reduced to the depth of field of the microscope.
  • the frame rate at high speeds of moving the recording area can not fall below a minimum value of the frame rate, thereby limiting the movement of the frame
  • Recording area can be carried out in large dimensions in the lateral direction and also in the depth, but a simultaneous decrease in the resolution in the three spatial directions is accepted.
  • a correction of an inclination which the sample has with respect to the microscope is undertaken. This correction takes place while the receiving area of the microscope is moved laterally over the different areas of the sample.
  • an analysis of the individual images with different focus positions preferably takes place in order to determine an alignment and / or a location of individual tiles of the respective area.
  • the sharpness in the individual images is preferably determined.
  • the other focus positions are selected according to the analysis of the individual images, so that the correction of the inclination can be made quickly and accurately.
  • a prediction is made which can lead further focus positions to individual images which cause an improvement in the resolution of the displayed image with extended depth of field or an improvement in the resolution of the illustrated three-dimensional image.
  • the microscope according to the invention is preferably digital and initially comprises an objective for the enlarged optical
  • the objective includes optical components for increased optical imaging of the sample in the image plane.
  • the optical components are
  • optical lenses formed in particular by optical lenses and possibly also by one or more mirrors, diaphragms and filters.
  • the microscope preferably further comprises an image sensor for converting the image imaged directly or indirectly on the image sensor by the objective into an electrical signal.
  • the microscope according to the invention comprises at least one
  • the Actuator for changing a focus position of the microscope.
  • the Actuator is preferably formed in simple embodiments, a distance between a sample and the
  • the actuator preferably comprises an electric motor for moving a sample table carrying the sample or for moving the objective.
  • the actuator is preferably designed to change a focal length of the objective.
  • the actuator is preferably used for actuating an active optical element, with which the focus is adjustable.
  • the actuator of the active optical element is formed by a microsystem for mechanical movement of micro mirrors and / or microlenses.
  • the micromirrors preferably form a lens, in particular a Fresnel lens. By changing the position of the micromirrors, the focal length of the Fresnel lens can be changed very quickly. This fast change of the focal length allows a very fast adjustment of the
  • Focus position Alternatively preferred is the actuator for
  • the microscope according to the invention further comprises a control and imaging unit, which for controlling the actuator, for
  • Image unit is for carrying out the invention
  • microscope according to the invention preferably also has features that are associated with the method according to the invention and its preferred
  • FIG. 4 shows a graphical user interface for carrying out a preferred embodiment of the invention
  • Fig. 1 shows a symbolic representation of microscopic images in a first phase of a preferred embodiment form of a method according to the invention.
  • this first phase an operator moves an exemplified sample 01 relative to a microscope (not shown) to explore different regions of the sample 01, which may also be referred to as navigating across the sample 01, so that the first phase is also called the navigation phase can be designated.
  • this navigation phase of the method according to the invention are each several microscopic frames of
  • Focus positions 02 are represented by dashed lines.
  • the recorded microscopic individual images of the individual regions of the sample 01 are used to calculate an image with extended depth of field or a three-dimensional image of the respective region of the sample 01.
  • the number of focus positions 02 is minimized in the navigation phase, so that for each of the areas of the sample 01, an extended depth of field image or a three-dimensional image can be calculated and displayed in a short period of time, thereby giving the operator a continuous moving image during navigation ,
  • the small number of focus positions 02 can cause not all
  • Areas of the respective image with extended depth of field or the respective three-dimensional image are sharp and / or the resolution in depth is low.
  • Fig. 2 shows a representation of recordings with others
  • Fig. 1 illustrated embodiment of the method according to the invention.
  • This second phase is characterized in that the operator has interrupted or adjusted the movement of the sample 01 relative to the microscope (not shown), so that the sample 01 has reached a rest position with respect to the microscope (not shown).
  • This second phase can
  • the second phase represents one Beginning of a picture improvement phase.
  • Image enhancement phase will be more microscopic
  • the other focus positions 02 may also be random or as a result of an analysis of the previously recorded microscopic
  • Focusing positions 02 taken microscopic frames are used to increase the resolution and the quality of the currently displayed image with extended depth of field or the currently displayed three-dimensional image.
  • Fig. 3 shows a representation of recordings with others
  • Fig. 1 and Fig. 2 illustrated embodiment of the method according to the invention.
  • This third phase represents a continuation of the second phase
  • the sample 01 rests with respect to the microscope (not shown) for a further period of time.
  • the enhancement of the resolution and quality of the currently displayed image with extended depth of field or the currently displayed three-dimensional image is continued. There are more microscopic frames of the currently microscopically
  • Focusing positions 02 compared to that in FIG. 2 illustrated second phase is further increased.
  • Fig. 4 shows a graphical user interface for
  • the graphical user interface allows the selection of parameters for different modes when microscopically using a microscope.
  • Autofocus mode automatically creates focused microscopic images
  • Navigation mode refers to navigation while creating images with extended depth of field or three-dimensional images.
  • the "Documentation” mode refers to a recording, while Advanced
  • Depth of field or three-dimensional images are generated.
  • the operator can specify how many z positions to select at the beginning in a "Start" input field
  • the operator can specify in an input field "End” how many z positions are selected at the end.
  • the operator can enter in an input field
  • Step specifies how fine the step size should be by specifying the number of steps for that step size, or the graphical user interface may be configured to allow the operator to enter these specifications in an absolute form in a metric unit Operator acknowledges his input by clicking on the appropriate "Apply” button.
  • An algorithm button allows the operator to select an algorithm for incrementing and a type of increments of focus positions at the end of the motion change. LIST OF REFERENCE NUMBERS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Mikroskopieren einer Probe (01) mit einem Mikroskop. In einem Verfahrensschritt werden mikroskopische Einzelbilder von unterschiedlichen Bereichen der Probe (01) aufgenommen, während ein Aufnahmebereich des Mikroskops über die Bereiche der Probe (01) bewegt wird. Die Einzelbilder des jeweiligen Bereiches der Probe (01) werden mit mehreren unterschiedlichen Fokuspositionen (02) aufgenommen. Es werden Bilder mit erweiterter Schärfentiefe oder dreidimensionale Bilder für jeden der Bereiche der Probe (01) aus den aufgenommenen Einzelbildern bestimmt und für den Bediener dargestellt. Sobald die Bewegung des Aufnahmebereiches über einem der Bereiche der Probe (01) gestoppt wird, werden erfindungsgemäß weitere mikroskopische Einzelbilder dieses Bereiches der Probe (01) mit unterschiedlichen Fokuspositionen (02) aufgenommen. Die weiteren Einzelbilder werden zum Erhöhen einer axialen und lateralen Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes verwendet. Im Weiteren betrifft die Erfindung ein Mikroskop mit einem Objektiv zum Abbilden einer Probe (01).

Description

Mikroskop und Verfahren zum Mikroskopieren einer Probe für die Darstellung von Bildern mit erweiterter Schärfentiefe oder dreidimensionalen Bildern
Die vorliegende Erfindung betrifft zunächst ein Verfahren zum Mikroskopieren einer Probe, wobei im Ergebnis Bilder mit erweiterter Schärfentiefe oder dreidimensionale Bilder der Probe dargestellt werden. Im Weiteren betrifft die Erfindung ein Mikroskop mit einem Objektiv zum optischen Abbilden einer Probe .
Die DE 10 2014 006 717 Al beschreibt ein Verfahren zur
Erzeugung einer dreidimensionalen Information eines Objektes in einem Digitalmikroskop. Bei diesem Verfahren wird für jeweils eine Fokusposition ein Bild aufgenommen und mit der zugehörigen Fokusposition in einem Bildstapel abgelegt. Aus den aufgenommenen Bildern des Bildstapels wird ein Bild mit einer erweiterten Schärfentiefe (Enhanced Depth of Field) , ein so genanntes EDoF-Bild berechnet. Während des
Berechnungsprozesses des EDoF-Bildes wird eine Anzahl an
Pixeldefekten detektiert, welche durch Interpolation mit benachbarten Pixeln korrigiert wird. Das korrigierte EDoF-Bild wird zur Berechnung einer Höhenkarte oder eines 3D-Modells des Objektes verwendet.
Die US 2015/0185462 Al zeigt ein Mikroskop mit einem ersten motorisierten Antrieb in die z-Richtung zur Positionierung einer ein Objektiv und eine Kamera umfassenden Einheit und mit einem zweiten motorisierten Antrieb in die z-Richtung zur Positionierung eines Objekttisches zur Aufnahme einer Probe. Durch den ersten motorisierten Antrieb wird die Aufnahme von Bildern mit einer erweiterten Schärfentiefe ermöglicht.
Aus der US 8,581,996 B2 ist eine Bildaufnahmevorrichtung bekannt, mit welcher große Bereiche einer Probe aufgenommen und digitalisiert werden können und Bilder mit einer erweiter ten Schärfentiefe ausgeben werden können. Die
Bildaufnahmevorrichtung umfasst einen beweglichen Objekttisch zur Aufnahme der Probe und eine Einheit zur Veränderung der Fokusposition. Im Weiteren umfasst die Bildaufnahmevorrichtung u. a. eine Kamera und eine Einheit zur Generierung der Bilder mit einer erweiterten Schärfentiefe. Bei den Bildern mit erweiterter Schärfentiefe handelt es sich um omnifokale
Bilder .
Die US 2015/0185465 Al lehrt ein digitales Mikroskop zur
Aufnahme und Erzeugung von Bildern mit einer erweiterten
Schärfentiefe. Das Mikroskop ist dazu ausgebildet, eine
Positionierung in die z-Richtung, eine Bildaufnahme und eine Bildverarbeitung zur Erzeugung der Bilder mit erweiterter Schärfentiefe asynchron und parallel auszuführen, um die
Bilder mit erweiterter Schärfentiefe schneller aufnehmen und erzeugen zu können.
Aus der US 7,345,816 B2 ist ein optisches Mikroskop bekannt, welches einen Spiegel mit einer steuerbar veränderlichen reflektierenden Oberfläche umfasst. Durch eine Veränderung der Oberfläche des Spiegels können Bilder aus unterschiedlichen fokalen Positionen aufgenommen werden.
Die US 7,269,344 B2 zeigt eine optische Vorrichtung mit einem abbildenden optischen System, welches verformbare Spiegel und eine digitale Zoom-Funktion besitzt. Hierdurch soll die elektronische Vergrößerung bei hoher Bildschärfe veränderbar sein .
Aus der DE 10 2014 226 942 Al ist eine vergrößernde
Beobachtungsvorrichtung bekannt, bei welcher eine Kamera zum Erfassen eines Bildes eines auf einem Platzierungsabschnitt platzierten Objektes konfiguriert ist. Eine z-Achsen- Bewegungseinheit ist zum Durchführen einer automatischen
Änderung einer relativen Höhe konfiguriert. Zudem können mit einem xy-Achsen-Bewegungsmechanismus Relativpositionen des Platzierungsabschnittes und eines Mikroskoplinsenabschnittes geändert werden. Eine Bildsyntheseeinheit dient zur Synthese von Bildern, die an unterschiedlichen relativen Höhen erfasst werden .
Die DE 10 2005 032 354 Al lehrt ein Verfahren zur
mikroskopischen Bildaufnahme mit erweitertem
Tiefenschärfebereich, wofür mehrere Einzelbilder aufgenommen werden, während der Fokusstellbereich variiert wird. Die
Einzelbilder können in Sektionen aufgeteilt werden. Es wird eine Vielzahl an Einzelbildstapeln an unterschiedlichen
XY-Positionen aufgenommen und die jeweils kontrastreichsten Sektionen werden zu einem Gesamtbild kombiniert.
Die DE 10 2015 118 154 Al zeigt ein Operationsmikroskop, bei welchem eine Fokuslage verändert werden kann und welches auch als ein Stereomikroskop ausgebildet sein kann. Es sollen unterschiedliche Fokuslagen auch bei Bewegungen der
Kameraeinheit aufgenommen werden. Verringerungen der Apertur sollen dabei vermieden werden.
Zur Erzeugung von makroskopischen und mikroskopischen Bildern, welche eine erweiterte Schärfentiefe (EDoF - Extended Depth of Field) besitzen, kann ein als MALS-Modul bezeichnetes Spiegel- Array-Linsensystem verwendet werden. MALS steht für Mirror Array Lens System. Details dieses Systems sind beispielsweise in der WO 2005/119331 Al oder WO 2007/134264 A2 offenbart. Das Produkt umfasst u. a. eine LED-Ringbeleuchtung, eine
Koaxialbeleuchtung, eine Durchlichtbeleuchtung, einen
Kreuztisch, Objektive mit 5-, 10-, 20- und 50-facher
Vergrößerung und eine schnelle automatische Fokussierung. Die Fokussierung kann mit einer Frequenz von bis zu 10 kHz verändert werden.
Digitale Mikroskope der Typen VHX2000 und VHX5000 des
Herstellers Keyence erlauben die Aufnahme von mikroskopischen Bildern mit einer erweiterten Schärfentiefe. Das digitale Mikroskop vom Typ VHX5000 des Herstellers Keyence erlaubt die Aufnahme einer Topologie einer Probe mit einer Höhe von etwa 138 ym durch einen Bildstapel mit 12 Bildern in einer Dauer von etwa 9 Sekunden.
Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, das Navigieren über eine Probe beim Mikrokopieren der Probe mit dem Ziel der Darstellung von
Bildern mit erweiterter Schärfentiefe oder von
dreidimensionalen Bilder der Probe schnell und ergonomisch vornehmen zu können.
Die genannte Aufgabe wird gelöst durch ein Verfahren gemäß dem beigefügten Anspruch 1 sowie durch ein Mikroskop gemäß dem beigefügten nebengeordneten Anspruch 15.
Das erfindungsgemäße Verfahren dient zum Mikroskopieren einer Probe mit einem Mikroskop; insbesondere mit einem digitalen Mikroskop. Das digitale Mikroskop umfasst bevorzugt ein Objektiv und einen Bildsensor zum Wandeln eines von dem
Objektiv auf den Bildsensor unmittelbar oder mittelbar
abgebildeten Bildes.
In einem Schritt des Verfahrens werden mikroskopische
Einzelbilder von unterschiedlichen Bereichen der Probe
aufgenommen, während ein Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe durch einen Bediener oder automatisch hinwegbewegt wird. Der Bediener kann eine Bewegung in einer xy-Ebene oder in XZ-/YZ-Ebenen vornehmen, um mehr von der Probe zu sehen, oder um eine andere xyz-Position der Probe zu sehen, oder um die Probe in einem anderen
Kontrast zu sehen. Der flächig ausgedehnte Aufnahmebereich des Mikroskops wird durch ein probenseitiges Sichtfeld des
Mikroskops bestimmt. Die Probe kann aufgrund ihrer Größe nicht in ihrer Gesamtheit in einem einzigen Moment durch den
Aufnahmebereich des Mikroskops erfasst werden. Das durch den Bediener oder automatisch vorgenommene Bewegen des
Aufnahmebereiches über die Probe dient zum Erkunden der Probe und kann als ein Navigieren über die Probe aufgefasst werden.
Dieses Navigieren erfolgt in lateraler Richtung, d. h.
senkrecht zur optischen Achse des Mikroskops in eine x- und in eine y-Richtung. Dieses Navigieren kann aber auch in die
Tiefe, d. h. in Richtung der optischen Achse, nämlich in eine z-Richtung erfolgen. Auch kann dieses Navigieren entlang einer zufällig erzeugten oder prädefinierten Kurve in die x-, y- und z-Richtungen oder entlang einer durch die Probe definierten Kurve in die x-, y- und z-Richtungen erfolgen. Beim Bewegen des Aufnahmebereiches des Mikroskops über die
unterschiedlichen Bereiche der Probe werden das Mikroskop und die Probe relativ zueinander bewegt. Es werden insbesondere ein Objektiv des Mikroskops und die Probe relativ zueinander bewegt. Bevorzugt wird ein Objekttisch des Mikroskops bewegt, um die auf dem Objekttisch angeordnete Probe relativ zum
Mikroskop zu bewegen. Durch das Navigieren sollen Strukturen der Probe grob aufgenommen werden. Wie beim natürlichen Sehen, wenn die Augen schnell bewegt werden, ist die Auflösung in axialer und auch lateraler Richtung nicht maßgebend. Je schneller die Bewegung beim Navigieren ist, desto gröber werden einzelne Subvolumina der Probe abgetastet. Bevorzugt wird die Auflösung an die Geschwindigkeit der Navigation angepasst. Bevorzugt werden die laterale und axiale Auflösung so angepasst, dass in den mikroskopischen Einzelbildern keine Artefakte vorhanden sind. Wenn die Geschwindigkeit der
Navigation sinkt, wird bevorzugt die Auflösung erhöht, was einem natürlichen Sehprozess entspricht.
Die mikroskopischen Einzelbilder des jeweiligen der Bereiche der Probe werden mit mehreren unterschiedlichen
Fokuspositionen aufgenommen. Somit werden für jeden der während des Bewegens mikroskopierten Bereiche jeweils mehrere der Einzelbilder aufgenommen, die sich hinsichtlich ihrer zur Aufnahme eingestellten Fokuspositionen unterscheiden. Die Aufnahmen der mikroskopischen Einzelbilder eines jeden dieser Bereiche erfolgen mit unterschiedlichen Fokuspositionen, sodass Einzelheiten des jeweiligen Bereiches in zumindest einem der mikroskopischen Einzelbilder scharf abgebildet werden. Die unterschiedlichen Fokuspositionen sind besonders bevorzugt durch unterschiedliche Ansteuerungen eines
Mikrosystems mit beweglichen Spiegeln bewirkt. Die
unterschiedlichen Fokuspositionen sind alternativ bevorzugt durch unterschiedliche Ansteuerungen einer verformbaren optischen Linse oder eines mechanischen, piezoelektrischen oder hybriden Aktuators zur Positionierung eines
fokussierenden optischen Elementes bewirkt. Die unterschiedlichen Fokuspositionen sind alternativ bevorzugt durch unterschiedliche Maße eines Abstandes zwischen der Probe und dem Objektiv des Mikroskops gebildet. Alternativ kann eine Position eines fokussierenden optischen Elementes in einer Zwischenbildebene oder einer hinteren Zwischenfokusebene verändert werden. Der Abstand zwischen der Probe und dem
Objektiv des Mikroskops kann auch als z-Koordinate beschrieben werden. Die mikroskopischen Einzelbilder eines jeden der während des Bewegens des Aufnahmebereiches mikroskopierten Bereiche der Probe bilden einen Stapel. Die Bilder eines jeden der Stapel unterscheiden sich in der z-Koordinate ihrer
Aufnahme, sodass sie auch als z-Stapel oder z-Stack bezeichnet werden können.
In einem weiteren Schritt des Verfahrens erfolgt ein Bestimmen von Bildern mit erweiterter Schärfentiefe oder von
dreidimensionalen Bildern für jeden der Bereiche der Probe aus den mit den mit mehreren Fokuspositionen aufgenommenen
mikroskopischen Einzelbildern des jeweiligen Bereiches der Probe. Die Bilder mit erweiterter Schärfentiefe werden auch als Enhanced-Depth-of-Field-Bilder bzw. als EDoF-Bilder bezeichnet. Die mikroskopischen Einzelbilder eines jeden der während des Bewegens mikroskopierten Bereiche der Probe werden somit jeweils zu einem mikroskopischen Bild mit erweiterter Schärfentiefe verarbeitet. Hierzu werden, soweit dies möglich ist, nur scharf abgebildete Einzelheiten aus den einzelnen aufgenommenen mikroskopischen Einzelbildern verwendet, um daraus das mikroskopische Bild mit erweiterter Schärfentiefe zu berechnen. Das zu berechnende mikroskopische Bild bildet die Probe mit erweiterter Schärfentiefe ab. Alternativ werden die mikroskopischen Einzelbilder eines jeden der während des Bewegens mikroskopierten Bereiche jeweils zu einem
dreidimensionalen Bild des jeweiligen Bereiches der Probe verarbeitet. Die dreidimensionalen Bilder umfassen für jeden Punkt im Raum Informationen über den jeweiligen Bereich der darzustellenden Probe. Beispielsweise können in einem
orthogonalen Koordinatensystem mit x-, y- und z-Achse für jeden Punkt im Raum Intensitätswerte und oder Farbwerte angegeben werden. Es können dreidimensionale Bilder bestimmt werden, in denen beispielsweise für jedes Paar von x- und y- Koordinaten nur ein z-Wert bekannt ist. Dies ist
beispielsweise der Fall, wenn nur die Form der Oberfläche eines dreidimensionalen Körpers bekannt ist. Es können auch zu den x- und y-Koordinaten eines Punktes als dritte Dimension Intensitätswerte gewählt werden. Diese und weitere Fälle, welche die Darstellung von Bildern mit einer dreidimensionalen Illusion ermöglichen, werden auch als pseudo-dreidimensionale oder als 2 , 5-dimensionale Bilder bezeichnet und stellen dreidimensionale Bilder im Sinne der Erfindung dar.
In einem weiteren Schritt erfolgt ein Darstellen der Bilder mit erweiterter Schärfentiefe bzw. der dreidimensionalen
Bilder, sodass der Bediener diese Bilder visuell wahrnehmen kann. Dieses Darstellen erfolgt bevorzugt synchron zu dem Bewegen des Aufnahmebereiches über die Bereiche der Probe in dem Sinne, dass zwischen dem Bewegen des Aufnahmebereiches über die Bereiche der Probe und dem Darstellen der einzelnen Bereiche der Probe nur eine den Bediener nicht störende
Verzögerung auftritt. Diese Verzögerung kann aufgrund der notwendigen Berechnungen zum Bestimmen der Bilder mit
erweiterter Schärfentiefe bzw. der dreidimensionalen Bilder nicht Null sein, jedoch ist sie bevorzugt so klein, dass sie der Bediener nicht wahrnimmt oder zumindest den Bediener nicht stört. Bei sehr großen Geschwindigkeiten der Navigation können die notwendigen Berechnungen zum Bestimmen der Bilder mit erweiterter Schärfentiefe bzw. der dreidimensionalen Bilder kurzzeitig ausgesetzt werden, da die Auflösung nicht mehr visuell wahrgenommen wird. Die Berechnung eines 3D-Modells für die dreidimensionalen Bilder kann mit einer Verzögerung vorgenommen werden, wenn wieder eine ausreichende
Rechenleistung zur Verfügung steht. Das Darstellen der Bilder mit erweiterter Schärfentiefe bzw. der dreidimensionalen
Bilder erfolgt mit einer Bildrate, welche bevorzugt größer mindestens 10 Bilder/s und weiter bevorzugt mindestens
25 Bilder/s beträgt.
Erfindungsgemäß werden, sobald die Bewegung des
Aufnahmebereiches des Mikroskops über einem der Bereiche der Probe gestoppt wird, weitere mikroskopische Einzelbilder dieses Bereiches der Probe mit unterschiedlichen
Fokuspositionen aufgenommen. Somit werden für diesen Bereich, über welchem der Aufnahmebereich ruht, mehr Einzelbilder mit unterschiedlichen Fokuspositionen aufgenommen als für
diejenigen Bereiche der Probe, über welche der Aufnahmebereich hinwegbewegt wurde. Die weiteren aufgenommenen Einzelbilder werden zum Erhöhen einer axialen Auflösung und einer lateralen Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes verwendet. Die erhöhte axiale Auflösung ist durch eine erhöhte Auflösung in der Tiefe, d. h. in die z-Richtung gebildet, was einer kleineren Voxeigröße entspricht. Die erhöhte laterale Auflösung ist durch eine Erhöhung der
Auflösung in lateraler Richtung, d. h. in die x- und/oder y- Richtung gebildet, was feineren Bildpunkten entspricht. Die Erhöhung der Auflösung führt jedenfalls zu einer Erhöhung der Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes. Die erhöhte Qualität kann beispielsweise durch einen vergrößerten Dynamikumfang, durch eine Reduktion von Reflexionen oder durch eine Verbesserung der Farbwidergabe charakterisiert sein.
Ein besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass der Bediener während des Navigierens über die Probe die Bilder mit erweiterter Schärfentiefe bzw. die dreidimensionalen Bilder mit einer Bildrate und einer
unmerklichen Verzögerung dargestellt bekommt, sodass er ergonomisch und zielgerichtet über die Probe navigieren kann, wofür die Auflösung und Qualität dieser Bilder gegebenenfalls beschränkt bleibt. Kommt der Bediener beim Navigieren zur Ruhe, um sich den aktuell dargestellten Bereich im Detail anzuschauen, so kommt es automatisch zur Verbesserung der Auflösung und Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes. Selbstverständlich kann der Bediener nach einer solchen Phase des Rühens des Navigierens das
Bewegen des Aufnahmebereiches wiederaufnehmen, was
gegebenenfalls wieder zur Verringerung der Auflösung und
Qualität der nachfolgenden Bilder mit erweiterter
Schärfentiefe bzw. der nachfolgenden dreidimensionalen Bilder führt, da die Anzahl der mikroskopischen Einzelbilder mit unterschiedlichen Fokuspositionen für die einzelnen Bereiche wieder sinkt.
Es gibt verschiedene Möglichkeiten zum Erhöhen der axialen Auflösung und/oder der lateralen Auflösung des aktuell
dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes. Hierfür wird bevorzugt ein schnelles elektromechanisches Mikrosystem (MEMS) mit beweglichen Spiegeln verwendet. Auch werden bevorzugt Piezoaktuatoren oder andere Aktuatoren zur Verbesserung der Positionierung des Aufnahmebereiches bzw. zur Abtastung in die z-Richtung und/oder xy-Richtung verwendet. Bevorzugt wird ein Verfahren zur Verschiebung der Bildpunkte angewendet, um die laterale Auflösung zu erhöhen. Ein solches Verfahren zur Verschiebung der Bildpunkte wird auch als Pixel Shifting bezeichnet. Bevorzugt erfolgt eine strukturierte Beleuchtung der Probe, wobei die strukturierte Beleuchtung bevorzugt verfeinert wird, um die axiale Auflösung und/oder die laterale Auflösung des aktuell dargestellten Bildes zu erhöhen.
Bevorzugt wird ein Verfahren zur Reduktion von Spiegelungen im Bild auf der Basis einer segmentierten Beleuchtung der Probe angewendet bzw. in einem größeren Maße angewendet, um die axiale Auflösung und/oder die laterale Auflösung des aktuell dargestellten Bildes zu erhöhen. Bevorzugt wird ein Verfahren zur Vergrößerung des Dynamikbereiches des Bildes angewendet bzw. in einem verstärkten Maße angewendet, um die axiale
Auflösung und/oder die laterale Auflösung des aktuell
dargestellten Bildes zu erhöhen. Bevorzugt wird ein Verfahren zur Fourier Ptychography angewendet, um die axiale Auflösung und/oder die laterale Auflösung des aktuell dargestellten Bildes zu erhöhen. Bevorzugt wird ein Verfahren zur
multispektralen und/oder hyperspektralen Bildgebung
angewendet, um die axiale Auflösung und/oder die laterale Auflösung des aktuell dargestellten Bildes zu erhöhen.
Bevorzugt werden eine Rate des Aufnehmens der Einzelbilder und/oder eine Geschwindigkeit einer Verarbeitung der
Einzelbilder z. B. durch die bildverarbeitende Hardware erhöht, um die axiale Auflösung und/oder die laterale
Auflösung des aktuell dargestellten Bildes zu erhöhen.
Bevorzugt werden Parameter von Algorithmen, welche für die Verarbeitung der Einzelbilder verwendet werden, verändert, um die axiale Auflösung und/oder die laterale Auflösung des aktuell dargestellten Bildes zu erhöhen. Die genannten
Maßnahmen zum Erhöhen der axialen Auflösung und/oder der lateralen Auflösung des aktuell dargestellten Bildes werden bevorzugt auch kombiniert.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens werden die axiale Auflösung und die laterale
Auflösung des aktuell dargestellten Bildes und ggf. auch weitere Aspekte der Qualität des Bildes, beispielsweise eines 2 , 5-dimensionalen Bildes erhöht. Dieses Erhöhen der Auflösung erfolgt bevorzugt in Abhängigkeit von der Bewegung des
Aufnahmebereiches d. h. von der Navigation und/oder in
Abhängigkeit von mindestens einem sich während der Bewegung des Aufnahmebereiches oder während einer Fokussierung oder während einer Schrittweitenfestlegung ändernden Parameter. Das Erhöhen der Qualität des Bildes erfolgt bevorzugt mit dem Ziel, optimale Voxel des Bildes und/oder optimale
Lichtintensitäten und Helligkeiten im aufgenommenen Bild zu erhalten. Bei einer ersten bevorzugten Ausführungsform werden während der Bewegung des Aufnahmebereiches, d. h. während der Navigation, größere Bildpunkte dadurch gewonnen, dass ein Binning, d. h. ein Zusammenfassen benachbarter Bildpunkte der Einzelbilder erfolgt; bzw. das Binning in einem höheren Maße erfolgt. Diese Maßnahmen ermöglichen eine Verbesserung der Bildgewinnung und -Verarbeitung sowie der
Verarbeitungsgeschwindigkeit, wohingegen die Bildauflösung und Bildqualität während der Bewegung des Aufnahmebereiches vergeringt sind. Unter der Voraussetzung, dass keine
Änderungen im Bild und/oder in den Einstellungen der Hardware vorliegen, d. h. sobald die Bewegung des Aufnahmebereiches gestoppt wird, wird das Binning bevorzugt beendet oder
zumindest in einem geringeren Maße durchgeführt, um die laterale Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes zu erhöhen, insbesondere um eine optimale Bildqualität zu erhalten. Bei einer zweiten
bevorzugten Ausführungsform wird eine Korrektur von
Spiegelungen in den Einzelbildern durch Anwendung einer segmentierten Beleuchtung der Probe vorgenommen, wobei während der Bewegung des Aufnahmebereiches, d. h. während der
Navigation, bevorzugt eine reduzierte Anzahl, insbesondere eine kleine bzw. kleinste Anzahl an Segmenten der Beleuchtung aktiviert wird, um eine möglichst hohe Geschwindigkeit der Bildgewinnung zu erzielen. Dies erlaubt eine erhöhte
Geschwindigkeit der Bildgewinnung, führt aber zu einen
geringeren Qualität der Bilder. Unter der Voraussetzung, dass keine Änderungen im Bild und/oder in den Einstellungen der Hardware vorliegen, d. h. sobald die Bewegung des
Aufnahmebereiches gestoppt wird, wird die Reduktion der
Spiegelungen bevorzugt wieder in einem höheren Maße
durchgeführt, d. h. mit einer erhöhten Anzahl an Segmenten der Beleuchtung, um die laterale Auflösung des aktuell
dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes zu erhöhen, insbesondere um eine optimale oder maximale Bildqualität zu erhalten. Bei einer dritten bevorzugten Ausführungsform wird ein Dynamikbereich der Bildaufnahme und Bildverarbeitung vergrößert, wobei während der Bewegung des Aufnahmebereiches, d. h. während der Navigation die Rate der Bilder und/oder ein Aufwand für eine Nachbearbeitung der Bilder reduziert wird. Diese Maßnahmen ermöglichen eine hohe Geschwindigkeit der Bildgewinnung und Bildverarbeitung, erlauben aber nur eine geringe Qualität. Unter der Voraussetzung, dass keine
Änderungen im Bild und/oder in den Einstellungen der Hardware vorliegen, d. h. sobald die Bewegung des Aufnahmebereiches gestoppt wird, wird die Rate der Bilder und/oder der Aufwand für die Nachbearbeitung zur Vergrößerung des Dynamikbereiches wieder erhöht, um die laterale Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes zu erhöhen, insbesondere um eine optimale oder maximale Bildqualität zu erhalten. Bei einer vierten bevorzugten Ausführungsform erfolgt während der Bewegung des Aufnahmebereiches, d. h.
während der Navigation, keine Verschiebung der Bildpunkte, d. h. es erfolgt kein Pixel-Shifting . Hierdurch ist die
Geschwindigkeit der Bildgewinnung und Bildverarbeitung erhöht. Unter der Voraussetzung, dass keine Änderungen im Bild
und/oder in den Einstellungen der Hardware vorliegen, d. h. sobald die Bewegung des Aufnahmebereiches gestoppt wird, wird die Verschiebung der Bildpunkte in den Einzelbildern, d. h. ein Pixel Shifting vorgenommen, um die laterale Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes zu erhöhen. Bei einer fünften bevorzugten Ausführungsform erfolgt während der Bewegung des Aufnahmebereiches, d. h. während der Navigation, keine strukturierte Beleuchtung oder die
strukturierte Beleuchtung wird mit reduzierten
Abtastbedingungen durchgeführt. Hierdurch ist die
Geschwindigkeit der Bildgewinnung und Bildverarbeitung erhöht. Unter der Voraussetzung, dass keine Änderungen im Bild
und/oder in den Einstellungen der Hardware vorliegen, d. h. sobald die Bewegung des Aufnahmebereiches gestoppt wird, wird die strukturierte Beleuchtung der Probe angewendet bzw. die Parameter der Bildgewinnung und Bildverarbeitung werden wieder erhöht, um die axiale Auflösung und/oder die laterale
Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes zu erhöhen. Die genannten bevorzugten Ausführungsformen bzw. eine Auswahl der genannten bevorzugten Ausführungsformen werden bevorzugt auch in Kombination angewendet. Die Anzahl der Bilder während einer Navigation kann vordefiniert und konstant sein oder kann dynamisch ausgewählt werden in Abhängigkeit von der Geschwindigkeit der durch den Bediener vorgenommenen Bewegung über die Probe. Diese
Geschwindigkeit wird bevorzugt auf der Basis der Inhalte der aufgenommenen Einzelbilder abgeschätzt oder mit einem Sensor gemessen. Der Sensor kann beispielsweise durch einen
Positionssensor eines Objekttisches oder durch eine
Überblickskamera für das Mikroskop oder für die Probe gebildet sein .
Bei bevorzugten Ausführungsformen des erfindungsgemäßen
Verfahrens werden die unterschiedlichen Fokuspositionen durch ein Verändern des Abstandes zwischen der Probe und dem
Objektiv des Mikroskops oder durch ein Verändern der
Fokusposition entlang einer räumlichen Ausdehnung der Probe erzielt. Das Verändern der Fokusposition erfolgt
beispielsweise bevorzugt durch ein Ansteuern eines
Mikrosystems mit beweglichen Spiegeln oder durch ein Verformen einer verformbaren optischen Linse des Objektivs. Die
Fokusposition muss im Verlaufe der Aufnahme eines der
Einzelbilder nicht konstant sein, sondern kann insbesondere laufend geändert werden, sodass beispielsweise ein Aktuator zum Verändern der Höhe eines die Probe tragenden Objekttisches zwischen den Aufnahmen der Einzelbilder nicht angehalten werden muss.
Zum Aufnehmen der mikroskopischen Einzelbilder mit
unterschiedlichen Fokuspositionen wird bevorzugt ein Aktuator an einem aktiven optischen Element des Mikroskops gestellt.
Der mechanische Aktuator kann beispielsweise dazu ausgebildet sein, das aktive optische Element, welches durch eine flexible Linse, eine durch mechanische Schwingungen steuerbare Linse, eine flüssige Linse oder eine diffraktive Linse zur Messung einer Tiefeninformation der Probe gebildet sein kann, zu verformen bzw. zu verschieben. Bevorzugt ist der Aktuator durch ein Mikrosystem zum mechanischen Bewegen von
Mikrospiegeln und/oder Mikrolinsen gebildet. Bei dem Aktuator handelt es sich bevorzugt um einen Fokusaktuator und/oder um einen Aberrationsaktuator. Der Aktuator wird bevorzugt mit einer Frequenz von mindestens 1 kHz und weiter bevorzugt von mindestens 10 kHz betrieben.
In einer vorteilhaften Ausführungsform ist der optische
Aktuator als ein Mikrosystem mit mechanisch beweglichen
Mikrospiegeln zur Aufnahme einer erweiterten Schärfentiefe ausgebildet. In dieser Ausführungsform kann beispielsweise das oben beschriebene „MALS-Modul" als optischer Aktuator
Verwendung finden. Ein MALS-Modul kann beispielsweise als Fresnel-Linse ausgebildet sein, wie dies beispielsweise in der WO 2005/119331 Al beschrieben ist. Diese Fresnel-Linse wird aus einer Vielzahl von Mikrospiegeln gebildet. Durch eine Veränderung der Lage der Mikrospiegel kann auf sehr schnelle Weise die Brennweite der Fresnel-Linse verändert werden. Diese schnelle Veränderung der Brennweite erlaubt eine sehr schnelle Einstellung der abzubildenden Fokusebene, d. h. der
anzuwählenden Fokusposition. So wird es ermöglicht, in kurzer Zeit eine Vielzahl von Aufnahmen in benachbarten Fokusebenen, d. h. mit unterschiedlichen Fokuspositionen aufzunehmen.
Bei bevorzugten Ausführungsformen des erfindungsmäßen
Verfahrens werden die unterschiedlichen Bereiche der Probe jeweils mit einer vorgegebenen Anzahl an unterschiedlichen Fokuspositionen aufgenommen, während der Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe hinwegbewegt wird. Diese Anzahl ist kleiner als die Anzahl der Fokuspositionen, mit denen die mikroskopischen Einzelbilder des Bereiches, an welchem die Bewegung des Aufnahmebereiches des Mikroskops ruht, aufgenommen werden.
Bei bevorzugten Ausführungsformen des erfindungsmäßen
Verfahrens werden, während der Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe hinwegbewegt wird, die unterschiedlichen Bereiche jeweils mit der
vorgegebenen Anzahl an unterschiedlichen Fokuspositionen aufgenommen, solang die mit dem Mikroskop erzielte Bildrate bei der Darstellung der Bilder mit erweiterter Schärfentiefe bzw. der dreidimensionalen Bilder mindestens eine festgelegte Mindestbildrate beträgt. Die Mindestbildrate beträgt bevorzugt 10 Bilder/s und weiter bevorzugt 25 Bilder/s, wobei es sich bei den Bildern um die Bilder mit erweiterter Schärfentiefe bzw. um die dreidimensionalen Bilder handelt. Wird der
Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe sehr schnell hinwegbewegt, so wird die vorgegebene Anzahl an unterschiedlichen Fokuspositionen nicht für jeden der Bereiche erzielt, jedoch sinkt die Bildrate nicht unter die Mindestbildrate. Somit werden die Bilder mit erweiterter Schärfentiefe bzw. die dreidimensionalen Bilder mit einer verringerten Auflösung, insbesondere mit
verringerter Auflösung in die z-Richtung bzw. mit unscharfen Bereichen erzeugt, aber die Darstellung kommt nicht zum
Stocken. Bei dieser Ausführungsform ist gewährleistet, dass der Bediener eine kontinuierliche Darstellung der Bilder mit einer nur unmerklichen Verzögerung erhält, sodass er
ergonomisch und zielgerichtet über die Probe navigieren kann.
Bevorzugt wird die Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes durch die weiteren Einzelbilder proportional zu der seit dem Stoppen der Bewegung des
Aufnahmebereiches vergangenen Zeitdauer erhöht.
Bei bevorzugten Ausführungsformen des erfindungsmäßen
Verfahrens werden, sobald die Bewegung des Aufnahmebereiches des Mikroskops über einem der Bereiche der Probe gestoppt wird, so viele der Einzelbilder dieses Bereiches der Probe mit unterschiedlichen Fokuspositionen aufgenommen, bis ein vorab festgelegtes Qualitätsniveau für dieses Bild mit erweiterter Schärfentiefe bzw. für dieses dreidimensionale Bild erreicht ist. Das vorab festgelegte Qualitätsniveau kann durch eine Auflösung und/oder durch ein Schärfemaß definiert sein. Ruht der Bediener bei seiner Navigation sehr lange über dem
betreffenden Bereich, so wird bei dieser Ausführungsform die Qualität nicht auf ein unnötig hohes Maß erhöht.
Bei bevorzugten Ausführungsformen des erfindungsmäßen
Verfahrens werden die Fokuspositionen der weiteren nach dem Stoppen der Bewegung des Aufnahmebereiches aufgenommenen
Einzelbilder zufällig gewählt. Bei weiteren bevorzugten
Ausführungsformen des erfindungsmäßen Verfahrens werden die Fokuspositionen der weiteren nach dem Stoppen der Bewegung des Aufnahmebereiches aufgenommenen Einzelbilder für eine
gleichmäßige Verfeinerung der zuvor gewählten Fokuspositionen gewählt. So werden Fokuspositionen gewählt, die zwischen den Fokuspositionen der zuvor aufgenommenen Einzelbilder liegen.
Bei bevorzugten Ausführungsformen des erfindungsmäßen
Verfahrens werden die Fokuspositionen der weiteren nach dem Stoppen der Bewegung des Aufnahmebereiches aufgenommenen
Einzelbilder ausgehend von einer Analyse der jeweils zuvor aufgenommenen Einzelbilder dieses Bereiches gewählt. In dieser Analyse werden bevorzugt Schärfe und/oder Ortspektren in dem Bereich oder in Subbereichen des Bereiches ermittelt.
Ausgehend von der ermittelten Schärfe und/oder den ermittelten Ortspektren wird eine Vorhersage getroffen, welche weiteren Fokuspositionen zu Einzelbildern führen können, welche zur Verbesserung der Auflösung und Qualität des aktuell
dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes führen. Die genannten Subbereiche können innerhalb eines einzigen
Einzelbildes oder überlappend über mehrere der Einzelbilder hinweg gewählt werden.
Bei bevorzugten Ausführungsformen des erfindungsmäßen
Verfahrens werden die Fokuspositionen der weiteren nach dem Stoppen der Bewegung des Aufnahmebereiches aufgenommenen
Einzelbilder innerhalb eines von den zuvor gewählten
Fokuspositionen aufgespannten Intervalls gewählt. Somit kommt es zur Verfeinerung innerhalb dieses Intervalls. Bei
alternativ bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens werden die Fokuspositionen von zumindest mehreren der weiteren nach dem Stoppen der Bewegung des
Aufnahmebereiches aufgenommenen Einzelbilder außerhalb eines von den zuvor gewählten Fokuspositionen aufgespannten
Intervalls gewählt. Somit wird das Ausmaß der Aufnahmen in der Tiefe erweitert, was beispielsweise mehreren EDoF-Bildern entspricht, sodass ein erweitertes EDoF-Bild bestimmt werden kann .
Bei bevorzugten Ausführungsformen des erfindungsmäßen
Verfahrens wird das Stoppen der Bewegung des Aufnahmebereiches des Mikroskops über die Bereiche der Probe dadurch erkannt, dass die Inhalte in den zuletzt aufgenommenen Einzelbildern eine gleiche örtliche Position aufweisen. Das Stoppen der Bewegung des Aufnahmebereiches des Mikroskops über die Bereiche der Probe kann aber auch beispielsweise dadurch erkannt werden, dass eine Ansteuerung eines Objekttisches des Mikroskops den Objekttisch zum Anhalten veranlassen soll. Das Erkennen des Stoppens der Bewegung des Aufnahmebereiches des Mikroskops über die Bereiche der Probe erfolgt bevorzugt unter Einhaltung einer Entprellzeit, sodass sehr kurze
Unterbrechungen der Bewegung des Aufnahmebereiches über einem der Bereiche der Probe noch nicht zur Aufnahme der weiteren mikroskopischen Einzelbilder dieses Bereiches führen.
Bei weiteren bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens wird, während der Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe hinwegbewegt wird, eine Öffnung einer Blende verändert, um die
Schärfentiefe der aufzunehmenden mikroskopischen Einzelbilder zu erhöhen und um die Anzahl der Einzelbilder der einzelnen Bereiche zu verringern. Die Blende befindet sich im
Strahlengang des Mikroskops. Die Öffnung der Blende wird insbesondere verkleinert, um die Schärfentiefe der
aufzunehmenden Einzelbilder zu erhöhen. Entsprechend
verringern sich die Anzahl der aufzunehmenden mikroskopischen Einzelbilder der einzelnen Bereiche und eine laterale
Auflösung der Bereiche, sodass bevorzugt Bildpunkte der mikroskopischen Einzelbilder zu Bildpunktgruppen
zusammengefasst werden, was auch als Binning bezeichnet wird. Hierdurch kann die Bildrate bei hohen Geschwindigkeiten des Bewegens des Aufnahmebereiches nicht unter einem minimalen Wert der Bildrate sinken, wodurch die Bewegung des
Aufnahmebereiches in großen Ausmaßen in der lateralen Richtung und auch in der Tiefe ausgeführt werden kann, jedoch ein gleichzeitiges Sinken der Auflösung in die drei Raumrichtungen in Kauf genommen wird. Bei weiteren bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens wird eine Korrektur einer Neigung, welche die Probe gegenüber dem Mikroskop aufweist, vorgenommen. Diese Korrektur erfolgt, während der Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe lateral hinwegbewegt wird. Hierzu erfolgt bevorzugt eine Analyse der Einzelbilder mit unterschiedlichen Fokuspositionen, um eine Ausrichtung und/oder einen Ort einzelner Kacheln des jeweiligen Bereiches zu ermitteln. Bei dieser Analyse wird bevorzugt die Schärfe in den Einzelbildern ermittelt. Bevorzugt werden die weiteren Fokuspositionen entsprechend der Analyse der Einzelbilder gewählt, sodass die Korrektur der Neigung schnell und genau vorgenommen werden kann. Bevorzugt wird eine Vorhersage getroffen, welche weiteren Fokuspositionen zu Einzelbildern führen können, welche eine Verbesserung der Auflösung des dargestellten Bildes mit erweiterter Schärfentiefe oder eine Verbesserung der Auflösung des dargestellten dreidimensionalen Bildes bewirken.
Das erfindungsgemäße Mikroskop ist bevorzugt digital und umfasst zunächst ein Objektiv zum vergrößerten optischen
Abbilden einer Probe in einer Bildebene. Das Objektiv umfasst optische Komponenten zum vergrößerten optischen Abbilden der Probe in der Bildebene. Die optischen Komponenten sind
insbesondere durch optische Linsen und ggf. auch durch eine oder mehrere Spiegel, Blenden und Filter gebildet.
Das Mikroskop umfasst bevorzugt weiterhin einen Bildsensor zum Wandeln des von dem Objektiv unmittelbar oder mittelbar auf den Bildsensor abgebildeten Bildes in ein elektrisches Signal.
Das erfindungsgemäße Mikroskop umfasst mindestens einen
Aktuator zum Verändern einer Fokusposition des Mikroskops. Der Aktuator ist bei einfachen Ausführungsformen bevorzugt dazu ausgebildet, einen Abstand zwischen einer Probe und dem
Objektiv zu verändern. Hierfür umfasst der Aktuator bevorzugt einen Elektromotor zum Verfahren eines die Probe tragenden Objekttisches oder zum Verfahren des Objektivs. Der Aktuator ist bevorzugt dazu ausgebildet, eine Brennweite des Objektivs zu verändern. Der Aktuator dient bevorzugt zum Betätigen eines aktiven optischen Elementes, mit welchem die Fokussierung verstellbar ist. Besonders bevorzugt ist der Aktuator des aktiven optischen Elementes durch ein Mikrosystem zum mechani schen Bewegen von Mikrospiegeln und/oder Mikrolinsen gebildet. Die Mikrospiegel bilden bevorzugt eine Linse, insbesondere eine Fresnel-Linse aus. Durch eine Veränderung der Lage der Mikrospiegel kann auf sehr schnelle Weise die Brennweite der Fresnel-Linse verändert werden. Diese schnelle Veränderung der Brennweite erlaubt eine sehr schnelle Einstellung der
Fokusposition. Alternativ bevorzugt ist der Aktuator zum
Verformen einer verformbaren optischen Linse ausgebildet.
Das erfindungsgemäße Mikroskop umfasst weiterhin eine Steuer- und Bildeinheit, welche zum Steuern des Aktuators, zum
Aufnehmen von mikroskopischen Einzelbildern und zum Bestimmen und Darstellen von Bildern mit erweiterter Schärfentiefe oder von dreidimensionalen Bildern dient. Die Steuer- und
Bildeinheit ist zur Ausführung des erfindungsgemäßen
Verfahrens konfiguriert. Bevorzugt ist die Steuer- und
Bildeinheit zur Ausführung einer der beschriebenen bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens
konfiguriert. Im Übrigen weist das erfindungsgemäße Mikroskop bevorzugt auch Merkmale auf, die im Zusammenhang mit dem erfindungsgemäßen Verfahren und dessen bevorzugten
Ausführungsformen angegeben sind. Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter
Ausführungsformen der Erfindung, unter Bezugnahme auf die Zeichnung. Es zeigen:
Fig. 1: eine Darstellung von Aufnahmen mit mehreren
Fokuspositionen in einer ersten Phase einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens ;
Fig. 2: eine Darstellung von Aufnahmen mit weiteren
Fokuspositionen in einer zweiten Phase der bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens ;
Fig. 3: eine Darstellung von Aufnahmen mit weiteren
Fokuspositionen in einer dritten Phase der bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens; und
Fig. 4: eine grafische Benutzeroberfläche zur Durchführung einer bevorzugten Ausführungsform des
erfindungsgemäßen Verfahrens.
Fig. 1 zeigt symbolisch eine Darstellung von mikroskopischen Aufnahmen in einer ersten Phase einer bevorzugten Ausführungs form eines erfindungsgemäßen Verfahrens. In dieser ersten Phase bewegt ein Bediener eine beispielhaft dargestellte Probe 01 relativ zu einem Mikroskop (nicht gezeigt) , um verschiedene Bereiche der Probe 01 zu erkunden, was auch als ein Navigieren über die Probe 01 bezeichnet werden kann, sodass die erste Phase auch als Navigationsphase bezeichnet werden kann. In dieser Navigationsphase des erfindungsgemäßen Verfahrens werden jeweils mehrere mikroskopische Einzelbilder der
einzelnen erkundeten Bereiche der Probe 01 mit mehreren äquidistanten Fokuspositionen 02 aufgenommen, wobei die
Fokuspositionen 02 durch gestrichelte Linien verbildlicht sind. Die aufgenommenen mikroskopischen Einzelbilder der einzelnen Bereiche der Probe 01 werden dazu genutzt, ein Bild mit erweiterter Schärfentiefe oder ein dreidimensionales Bild des jeweiligen Bereiches der Probe 01 zu berechnen. Die Anzahl der Fokuspositionen 02 ist in der Navigationsphase gering gehalten, sodass für jeden der Bereiche der Probe 01 ein Bild mit erweiterter Schärfentiefe bzw. ein dreidimensionales Bild in einer kurzen Zeitdauer berechnet und dargestellt werden kann, wodurch der Bediener ein kontinuierliches Bewegtbild während seiner Navigation erhält. Die gering gehaltene Anzahl der Fokuspositionen 02 kann dazu führen, dass nicht alle
Bereiche des jeweiligen Bildes mit erweiterter Schärfentiefe bzw. des jeweiligen dreidimensionalen Bildes scharf sind und/oder die Auflösung in der Tiefe gering ist.
Fig. 2 zeigt eine Darstellung von Aufnahmen mit weiteren
Fokuspositionen 02 in einer zweiten Phase der bereits in
Fig. 1 veranschaulichten Ausführungsform des erfindungsgemäßen Verfahrens. Diese zweiten Phase ist dadurch gekennzeichnet, dass der Bediener die Bewegung der Probe 01 relativ zu dem Mikroskop (nicht gezeigt) unterbrochen oder eingestellt hat, sodass die Probe 01 in Bezug auf das Mikroskop (nicht gezeigt) eine Ruheposition erlangt hat. Diese zweite Phase kann
insbesondere dazu dienen, dass sich der Bediener den aktuell mikroskopierten Bereich der Probe 01 näher anschauen kann. In dieser zweiten Phase erfolgt erfindungsgemäß eine Verbesserung der Auflösung und Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes. Somit stellt die zweite Phase einen Beginn einer Bildverbesserungsphase dar. In der
Bildverbesserungsphase werden weitere mikroskopische
Einzelbilder des aktuell mikroskopierten Bereiches der Probe 01 mit weiteren unterschiedlichen Fokuspositionen 02
aufgenommen, sodass die Anzahl der Fokuspositionen 02 im
Vergleich zu der in Fig. 1 veranschaulichten Navigationsphase erhöht wird. Die weiteren Fokuspositionen 02 werden so
gewählt, dass auf eine gleichmäßige Verfeinerung der zuvor gewählten Fokuspositionen 02 abgezielt wird. Alternativ können die weiteren Fokuspositionen 02 auch zufällig oder im Ergebnis einer Analyse der zuvor aufgenommenen mikroskopischen
Einzelbilder gewählt werden. Die mit den weiteren
Fokuspositionen 02 aufgenommenen mikroskopischen Einzelbilder werden dazu verwendet, die Auflösung und die Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes zu erhöhen .
Fig. 3 zeigt eine Darstellung von Aufnahmen mit weiteren
Fokuspositionen 02 in einer dritten Phase der bereits in
Fig. 1 und Fig. 2 veranschaulichten Ausführungsform des erfindungsgemäßen Verfahrens. Diese dritte Phase stellt eine Fortsetzung der mit der zweiten Phase begonnenen
Bildverbesserungsphase dar. In der dritten Phase ruht die Probe 01 in Bezug auf das Mikroskop (nicht gezeigt) für eine weitere Zeitdauer. In dieser dritten Phase wird das Verbessern der Auflösung und Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes fortgesetzt. Es werden weitere mikroskopische Einzelbilder des aktuell mikroskopierten
Bereiches der Probe 01 mit weiteren unterschiedlichen
Fokuspositionen 02 aufgenommen, sodass die Anzahl der
Fokuspositionen 02 im Vergleich zu der in Fig. 2 veranschaulichten zweiten Phase noch weiter erhöht wird. Die mit den weiteren Fokuspositionen 02 aufgenommenen
mikroskopischen Einzelbilder werden weiterhin dazu verwendet, die Auflösung und die Qualität des aktuell dargestellten
Bildes mit erweiterter Schärfentiefe bzw. des aktuell
dargestellten dreidimensionalen Bildes zu erhöhen.
Fig. 4 zeigt eine grafische Benutzeroberfläche zur
Durchführung einer bevorzugten Ausführungsform des
erfindungsgemäßen Verfahrens. Die grafische Benutzeroberfläche ermöglicht die Wahl von Parametern für verschiedene Modi beim Mikroskopieren mit einem Mikroskop. In einem Modus „Autofokus" werden automatisch fokussierte mikroskopische Bilder erzeugt. Der Modus „Navigation" bezieht sich auf die Navigation während Bilder mit erweiterter Schärfentiefe oder dreidimensionale Bilder erzeugt werden. Der Modus „Dokumentation" bezieht sich auf eine Aufzeichnung, während Bilder mit erweiterter
Schärfentiefe oder dreidimensionale Bilder erzeugt werden. Für jeden der Modi kann der Bediener in einem Eingabefeld „Start" vorgeben, wie viele z-Positionen zu Beginn gewählt werden. Für jeden der Modi kann der Bediener in einem Eingabefeld „Ende" vorgeben, wie viele z-Positionen am Ende gewählt werden. Für jeden der Modi kann der Bediener in einem Eingabefeld
„Schritt" vorgeben, wie fein die Schrittweite sein soll, indem er die Anzahl der Schritte für diese Schrittweite vorgibt. Alternativ kann die grafische Benutzeroberfläche auch dazu konfiguriert sein, dass der Bediener diese Vorgaben in einer absoluten Form in einer metrischen Einheit eingeben kann. Der Bediener bestätigt seine Eingaben durch Betätigen einer entsprechenden Schaltfläche „Anwenden". Über eine Schaltfläche „Algorithmus" gelangt der Bediener zu einer Auswahl eines Algorithmus zum Inkrementieren und eines Typs der Inkremente der Fokuspositionen am Ende der Bewegungsänderung. Bezugszeichenliste
01 Probe
02 Fokusposition

Claims

Patentansprüche
1. Verfahren zum Mikroskopieren einer Probe (01) mit einem
Mikroskop, folgende Schritte umfassend:
Aufnehmen von mikroskopischen Einzelbildern von
unterschiedlichen Bereichen der Probe (01), während ein Aufnahmebereich des Mikroskops über die
unterschiedlichen Bereiche der Probe (01) bewegt wird, wobei die mikroskopischen Einzelbilder des jeweiligen Bereiches der Probe (01) mit mehreren unterschiedlichen Fokuspositionen (02) aufgenommen werden;
Bestimmen von Bildern mit erweiterter Schärfentiefe oder von dreidimensionalen Bildern für jeden der Bereiche der Probe (01) aus den mit den mit mehreren Fokuspositionen (02) aufgenommenen mikroskopischen Einzelbildern des jeweiligen Bereiches der Probe (01); und
Darstellen der Bilder mit erweiterter Schärfentiefe oder der dreidimensionalen Bilder;
dadurch gekennzeichnet, dass sobald die Bewegung des
Aufnahmebereiches des Mikroskops über einem der Bereiche der Probe (01) gestoppt wird, weitere mikroskopische
Einzelbilder dieses Bereiches der Probe (01) mit
unterschiedlichen Fokuspositionen (02) aufgenommen werden und die weiteren mikroskopischen Einzelbilder zum Erhöhen einer axialen Auflösung und einer lateralen Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe oder des aktuell dargestellten dreidimensionalen Bildes verwendet werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass während der Bewegung des Aufnahmebereiches des Mikroskops größere Bildpunkte dadurch gewonnen werden, dass ein Zusammenfassen benachbarter Bildpunkte der Einzelbilder erfolgt, wobei das Zusammenfassen benachbarter Bildpunkte der Einzelbilder zumindest in einem geringeren Maße
durchgeführt wird, sobald die Bewegung des
Aufnahmebereiches des Mikroskops über einem der Bereiche der Probe (01) gestoppt wird, um die laterale Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe oder des aktuell dargestellten dreidimensionalen Bildes zu erhöhen .
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Korrektur von Spiegelungen in den Einzelbildern durch Anwendung einer segmentierten Beleuchtung der Probe (01) vorgenommen wird, wobei eine erhöhte Anzahl an
Segmenten der segmentierten Beleuchtung aktiviert wird, sobald die Bewegung des Aufnahmebereiches über einem der Bereiche der Probe (01) gestoppt wird, um die laterale Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe oder des aktuell dargestellten
dreidimensionalen Bildes zu erhöhen.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch
gekennzeichnet, dass eine Verschiebung der Bildpunkte in den Einzelbildern vorgenommen wird, sobald die Bewegung des Aufnahmebereiches über einem der Bereiche der Probe (01) gestoppt wird, um die laterale Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes zu erhöhen.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch
gekennzeichnet, dass die unterschiedlichen Fokuspositionen (02) durch ein Verändern eines Abstandes zwischen der Probe (01) und einem Objektiv des Mikroskops oder durch ein Verändern der Fokusposition (02) entlang einer räumlichen Ausdehnung der Probe (01) erzielt werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch
gekennzeichnet, dass, während der Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe
(01) bewegt wird, die unterschiedlichen Bereiche der Probe (01) jeweils mit einer vorgegebenen Anzahl an
unterschiedlichen Fokuspositionen (02) aufgenommen werden.
7. Verfahren nach einem der Ansprüche 1 bis 5, dadurch
gekennzeichnet, dass, während der Aufnahmebereich des
Mikroskops über die unterschiedlichen Bereiche der Probe (01) bewegt wird, die unterschiedlichen Bereiche der Probe (01) jeweils mit vorgegebenen Anzahl an unterschiedlichen Fokuspositionen (02) aufgenommen werden, solang eine mit dem Mikroskop erzielte Bildrate der Bilder mit erweiterter
Schärfentiefe oder der dreidimensionalen Bilder mindestens eine festgelegte Mindestbildrate beträgt.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Mindestbildrate 10 Bilder/s beträgt.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch
gekennzeichnet, dass, sobald die Bewegung des
Aufnahmebereiches des Mikroskops über einem der Bereiche der Probe (01) gestoppt wird, so viele der Einzelbilder dieses Bereiches der Probe (01) mit unterschiedlichen
Fokuspositionen (02) aufgenommen werden, bis ein
festgelegtes Qualitätsniveau für dieses Bild mit
erweiterter Schärfentiefe oder für dieses dreidimensionale
Bild erreicht ist.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch
gekennzeichnet, dass die unterschiedlichen Fokuspositionen (02) der weiteren nach dem Stoppen der Bewegung des
Aufnahmebereiches aufgenommenen Einzelbilder für eine gleichmäßige Verfeinerung der zuvor gewählten
Fokuspositionen (02) gewählt werden.
11. Verfahren nach einem der Ansprüche 1 bis 9, dadurch
gekennzeichnet, dass die unterschiedlichen Fokuspositionen (02) der weiteren nach dem Stoppen der Bewegung des
Aufnahmebereiches aufgenommenen Einzelbilder ausgehend von einer Analyse der jeweils zuvor aufgenommenen Einzelbilder dieses Bereiches der Probe (01) gewählt werden.
12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch
gekennzeichnet, dass die unterschiedlichen Fokuspositionen (02) von zumindest mehreren der weiteren nach dem Stoppen der Bewegung des Aufnahmebereiches aufgenommenen
Einzelbilder außerhalb eines von den zuvor gewählten
Fokuspositionen (02) aufgespannten Intervalls gewählt werden .
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch
gekennzeichnet, dass die Auflösung des aktuell
dargestellten Bildes mit erweiterter Schärfentiefe oder des aktuell dargestellten dreidimensionales Bildes durch die weiteren Einzelbilder proportional zu der seit dem Stoppen der Bewegung des Aufnahmebereiches des Mikroskops
vergangenen Zeitdauer erhöht wird.
14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass, während der Aufnahmebereich des
Mikroskops über die unterschiedlichen Bereiche der Probe (01) bewegt wird, eine Öffnung einer Blende verändert wird, um die Schärfentiefe der Einzelbilder zu erhöhen.
15. Mikroskop; umfassend:
ein Objektiv zum optischen Abbilden einer Probe (01); mindestens einen Aktuator zum Verändern einer
Fokusposition (02) des Mikroskops; und
- eine Steuer- und Bildeinheit zum Steuern des Aktuators, zum Aufnehmen von mikroskopischen Einzelbildern und zum Bestimmen und Darstellen von Bildern mit erweiterter Schärfentiefe oder von dreidimensionalen Bildern, wobei die Steuer- und Bildeinheit zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 14 ausgebildet ist .
PCT/EP2019/054644 2018-03-08 2019-02-26 Mikroskop und verfahren zum mikroskopieren einer probe für die darstellung von bildern mit erweiterter schärfentiefe oder dreidimensionalen bildern Ceased WO2019170464A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201980017358.6A CN111989608B (zh) 2018-03-08 2019-02-26 对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018105308.8 2018-03-08
DE102018105308.8A DE102018105308A1 (de) 2018-03-08 2018-03-08 Mikroskop und Verfahren zum Mikroskopieren einer Probe für die Darstellung von Bildern mit erweiterter Schärfentiefe oder dreidimensionalen Bildern

Publications (1)

Publication Number Publication Date
WO2019170464A1 true WO2019170464A1 (de) 2019-09-12

Family

ID=65724353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/054644 Ceased WO2019170464A1 (de) 2018-03-08 2019-02-26 Mikroskop und verfahren zum mikroskopieren einer probe für die darstellung von bildern mit erweiterter schärfentiefe oder dreidimensionalen bildern

Country Status (3)

Country Link
CN (1) CN111989608B (de)
DE (1) DE102018105308A1 (de)
WO (1) WO2019170464A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105415A (zh) * 2019-12-31 2020-05-05 北京理工大学重庆创新中心 一种基于深度学习的白细胞大视场图像检测系统及方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019119310A1 (de) * 2019-07-17 2021-01-21 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe
EP4060394A1 (de) * 2021-03-17 2022-09-21 Carl Zeiss Microscopy GmbH Mikroskop und verfahren zur formung eines mikroskopischen bildes mit erweiterter tiefenschärfe
CN113470166B (zh) * 2021-06-28 2024-04-26 平湖莱顿光学仪器制造有限公司 一种用于呈现三维显微图像的方法与设备
EP4137866A1 (de) * 2021-08-18 2023-02-22 Carl Zeiss Microscopy GmbH Digitales mikroskop und verfahren zur aufnahme und darstellung mikroskopischer bilder

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005119331A1 (en) 2004-05-27 2005-12-15 Stereo Display, Inc. Variable focal length lens
DE102005032354A1 (de) 2005-07-08 2007-01-11 Soft Imaging System Gmbh Verfahren und Vorrichtung zur Bildaufnahme mit erweitertem Tiefenschärfebereich
US7269344B2 (en) 2003-02-13 2007-09-11 Olympus Corporation Optical apparatus
WO2007134264A2 (en) 2006-05-11 2007-11-22 Stereo Display, Inc. Micro mirror array lens with micro mirror adjustments to vary lens focal length
US7345816B2 (en) 2005-01-11 2008-03-18 Olympus Corporation Optical microscope
JP2011007872A (ja) * 2009-06-23 2011-01-13 Olympus Corp 観察装置、及び倍率補正方法
US20130093872A1 (en) * 2011-10-14 2013-04-18 Keyence Corporation Magnification Observation Device
US8581996B2 (en) 2008-12-12 2013-11-12 Keyence Corporation Imaging device
EP2687891A1 (de) * 2012-07-19 2014-01-22 Sony Corporation Verfahren und Vorrichtung zur Navigation gestapelter Mikroskopiebilder
US20150185462A1 (en) 2013-12-27 2015-07-02 Keyence Corporation Microscope And Magnifying Observation Method Using The Same
DE102014226942A1 (de) 2013-12-27 2015-07-02 Keyence Corporation Vergrößernde Beobachtungsvorrichtung, vergrößertes Bildbeobachtungsverfahren und computer-lesbares Aufzeichnungsmedium
DE102014006717A1 (de) 2014-05-05 2015-11-05 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
DE102015118154A1 (de) 2015-10-23 2017-04-27 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronisches Mikroskop, insbesondere Operationsmikroskop

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7772569B2 (en) * 2008-04-01 2010-08-10 The Jackson Laboratory 3D biplane microscopy
CN101826989B (zh) 2009-03-02 2013-11-06 华为技术有限公司 一种故障处理方法和装置
US20100283868A1 (en) * 2010-03-27 2010-11-11 Lloyd Douglas Clark Apparatus and Method for Application of Selective Digital Photomontage to Motion Pictures
US8212915B1 (en) * 2010-03-27 2012-07-03 Lloyd Douglas Clark Externally actuable photo-eyepiece relay lens system for focus and photomontage in a wide-field imaging system
CN102625022B (zh) * 2011-01-29 2014-05-28 麦克奥迪实业集团有限公司 一种带有像方补偿运动的快速显微切片扫描方法及装置
CN102354046A (zh) * 2011-07-04 2012-02-15 上海理工大学 一种多路频分复用荧光共焦显微成像技术实现方法
DE102015209758A1 (de) * 2015-05-28 2016-12-01 Carl Zeiss Microscopy Gmbh Anordnung und Verfahren zur Strahlformung und zur Lichtblattmikroskopie
US9599806B2 (en) * 2015-06-09 2017-03-21 General Electric Company System and method for autofocusing of an imaging system

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269344B2 (en) 2003-02-13 2007-09-11 Olympus Corporation Optical apparatus
WO2005119331A1 (en) 2004-05-27 2005-12-15 Stereo Display, Inc. Variable focal length lens
US7345816B2 (en) 2005-01-11 2008-03-18 Olympus Corporation Optical microscope
DE102005032354A1 (de) 2005-07-08 2007-01-11 Soft Imaging System Gmbh Verfahren und Vorrichtung zur Bildaufnahme mit erweitertem Tiefenschärfebereich
WO2007134264A2 (en) 2006-05-11 2007-11-22 Stereo Display, Inc. Micro mirror array lens with micro mirror adjustments to vary lens focal length
US8581996B2 (en) 2008-12-12 2013-11-12 Keyence Corporation Imaging device
JP2011007872A (ja) * 2009-06-23 2011-01-13 Olympus Corp 観察装置、及び倍率補正方法
US20130093872A1 (en) * 2011-10-14 2013-04-18 Keyence Corporation Magnification Observation Device
EP2687891A1 (de) * 2012-07-19 2014-01-22 Sony Corporation Verfahren und Vorrichtung zur Navigation gestapelter Mikroskopiebilder
US20150185462A1 (en) 2013-12-27 2015-07-02 Keyence Corporation Microscope And Magnifying Observation Method Using The Same
DE102014226942A1 (de) 2013-12-27 2015-07-02 Keyence Corporation Vergrößernde Beobachtungsvorrichtung, vergrößertes Bildbeobachtungsverfahren und computer-lesbares Aufzeichnungsmedium
US20150185465A1 (en) 2013-12-27 2015-07-02 Keyence Corporation Magnifying Observation Apparatus, Magnified Image Observing Method And Computer-Readable Recording Medium
DE102014006717A1 (de) 2014-05-05 2015-11-05 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
DE102015118154A1 (de) 2015-10-23 2017-04-27 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronisches Mikroskop, insbesondere Operationsmikroskop

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105415A (zh) * 2019-12-31 2020-05-05 北京理工大学重庆创新中心 一种基于深度学习的白细胞大视场图像检测系统及方法

Also Published As

Publication number Publication date
DE102018105308A1 (de) 2019-09-12
CN111989608A (zh) 2020-11-24
CN111989608B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
WO2019170464A1 (de) Mikroskop und verfahren zum mikroskopieren einer probe für die darstellung von bildern mit erweiterter schärfentiefe oder dreidimensionalen bildern
EP3017334B1 (de) Bilderfassungsverfahren für mikroskopsystem und entsprechendes mikroskopsystem
DE102017101188B4 (de) Mikroskop und Verfahren zum Mikroskopieren einer Probe
EP2130087B1 (de) Verfahren und vorrichtung zum mikroskopischen untersuchen einer probe, computerprogramm und computerprogrammprodukt
DE102017220104A1 (de) Linsensystem mit variabler Brennweite mit Mehrebenen-Bildverarbeitung mit erweiterter Tiefenschärfe
EP2766765B1 (de) Mikroskop und verfahren zur spim mikroskopie
DE102014223387A1 (de) Bildverarbeitungs-Inspektionssystem und Verfahren zum Erhalten eines Bilds mit erweiterter Schärfentiefe
DE102012211462A1 (de) Verfahren zur Vorbereitung und Durchführung der Aufnahme von Bildstapeln einer Probe aus verschiedenen Orientierungswinkeln
DE3707487A1 (de) Verfahren zur autofokussierung von mikroskopen und mikroskope mit einer autofokussierung
DE102017123511A1 (de) Mikroskop und Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe
WO2018185201A2 (de) Mikroskopanordnung zur aufnahme und darstellung dreidimensionaler bilder einer probe
DE102008041821A1 (de) Videoadapter für eine Mikroskopkamera
DE102014107044B4 (de) Verbesserte Autofokusverfahren für ein Koordinatenmessgerät sowie Koordinatenmessgerät
EP1784675B1 (de) Scanneranordnung und verfahren zum optischen abtasten eines objekts
EP3692409A1 (de) Konfokalmikroskop mit hoher auflösung
WO2012156150A1 (de) Verfahren und vorrichtung zum festlegen eines z-bereiches in einer probe, in dem ein z-stapel der probe mittels eines mikroskops aufzunehmen ist
DE102014107445B4 (de) Optisches Beobachtungsgerät und Verfahren zum Aufnehmen von Bild- oder Videodaten von einem Beobachtungsobjekt mit Hilfe eines optischen Beobachtungsgerätes
DE202013011877U1 (de) Mikroskopsystem
EP3712670B1 (de) Verfahren zur hochauflösenden scanning-mikroskopie
DE102017123510A1 (de) Digitales Mikroskop und Verfahren zum Aufnehmen eines Stapels von mikroskopischen Bildern einer Probe
DE102005047218A1 (de) Verfahren zur Korrektur einer Steuerung eines optischen Scanners und optischer Scanner
DE10315592A1 (de) Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu
DE102005024867B3 (de) Mikroskopsystem und Bildgebungsverfahren
DE102019102959B3 (de) Verfahren zur Bilderzeugung mittels eines Mikroskops und entsprechendes Mikroskop
DE102020202022A1 (de) Verfahren zur Erfassung einer relativen Ausrichtung einer Oberfläche

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19709848

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19709848

Country of ref document: EP

Kind code of ref document: A1