[go: up one dir, main page]

DE102024109226A1 - Verfahren zur Erfassung eines zusammengefügten Mikroskopbildes, Mikroskopsystem und Computerprogrammprodukt - Google Patents

Verfahren zur Erfassung eines zusammengefügten Mikroskopbildes, Mikroskopsystem und Computerprogrammprodukt Download PDF

Info

Publication number
DE102024109226A1
DE102024109226A1 DE102024109226.2A DE102024109226A DE102024109226A1 DE 102024109226 A1 DE102024109226 A1 DE 102024109226A1 DE 102024109226 A DE102024109226 A DE 102024109226A DE 102024109226 A1 DE102024109226 A1 DE 102024109226A1
Authority
DE
Germany
Prior art keywords
image
sample
fused
recording
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102024109226.2A
Other languages
English (en)
Inventor
Tobias Schilling
Mathias Katzer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evident Tech Center Europe GmbH
Evident Technology Center Europe GmbH
Original Assignee
Evident Tech Center Europe GmbH
Evident Technology Center Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evident Tech Center Europe GmbH, Evident Technology Center Europe GmbH filed Critical Evident Tech Center Europe GmbH
Publication of DE102024109226A1 publication Critical patent/DE102024109226A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) zur Erfassung eines zusammengefügten Mikroskopbildes (200) einer Probe (300), umfassend:ein mikroskopisches Aufnehmen (110) zumindest eines ersten fusionierten Bildes (210) und eines zweiten fusionierten Bildes (220), aufweisend:- ein Aufnehmen (111) eines ersten Bildes (230), wobei die Probe (300) strukturiert beleuchtet wird,- ein Aufnehmen (112) eines zweiten Bildes (240), wobei die Probe (300) gleichförmig beleuchtet wird, sowie- ein Fusionieren (113) des ersten Bildes (230) und des zweiten Bildes (240), wobei das erste Bild (230) für eine niederfrequente im Fokus befindliche Bildinformation und das zweite Bild (240) für eine hochfrequente im Fokus befindliche Bildinformation verwendet wird,wobei das zweite fusionierte Bild (220) eine andere Position auf der Probe (300) abbildet als das erste fusionierte Bild (210), sowie ein Zusammenfügen (120) des zumindest ersten fusionierten Bildes (210) und des zweiten fusionierten Bildes (220) zu dem zusammengefügten Mikroskopbild (200). Ferner betrifft die Erfindung ein Mikroskopsystem (400) und ein Computerprogrammprodukt.

Description

  • Die Erfindung betrifft ein Verfahren zur Erfassung eines zusammengefügten Mikroskopbildes, ein Mikroskopsystem, sowie ein Computerprogrammprodukt.
  • Es ist eine Vielzahl unterschiedlicher Mikroskope für ein sehr breites Anwendungsspektrum bekannt. Diese können sich erheblich in Bezug auf die optischen Systeme und deren Leistungsfähigkeit unterscheiden.
  • Nachteilhaft an Mikroskopen ist der sehr kleine Bildausschnitt, welcher sich mit einem Einzelbild aufnehmen lässt.
  • Gemein haben die optischen Systeme ferner im Allgemeinen, dass bedingt durch die Gesetze der Optik die Schärfentiefe der mikroskopischen Aufnahmen extrem gering ist. Das kann dazu führen, dass obwohl lediglich eine einzelne Schärfeebene betrachtet werden soll, das Aufnehmen eines Bildes durch Emissionen gestört wird, die außerhalb der Schärfeebene entstehen und dann als unscharfe Leuchterscheinungen auf dem aufgenommenen Bild wahrnehmbar sind.
  • Um dieses Problem zu beheben, sind bereits unterschiedliche Ansätze im Stand der Technik bekannt.
  • Bei einem Konfokalmikroskop wird immer nur ein Teil des aufzunehmenden Objektes beleuchtet. Die Probe wird dann Stück für Stück gerastert. Das von der Probe reflektierte oder fluoreszierende Licht wird so ortsabhängig gemessen, woraus im Anschluss eine Konstruktion der Gesamtprobe erfolgt. Dabei ist im Strahlengang des reflektierten oder fluoreszierenden Lichts eine Lochblende angebracht, die nur Licht aus dem scharf abgebildeten Bereich durchlässt. Dadurch können die störenden Einflüsse der Emissionen aus den Schichten außerhalb der Fokusebene effektiv reduziert werden. Nachteilhaft an diesem Aufbau ist, dass durch das Abrastern der Objekte ein hoher Zeitaufwand für die Erstellung eines einzigen Bildes entsteht.
  • Als eine Alternative ist inzwischen auch die sogenannte HiLo Mikroskopie bekannt. Beschrieben ist das Verfahren beispielsweise in Lim et al., Optics Letters - 33: 1819-1821, 2008 und Jerome Mertz, Nature Methods - 8: 811-819 2011. Das Prinzip hinter diesem Aufnahmeverfahren besteht darin, dass zwei Bilder aufgenommen werden. Bei der HiLo Mikroskopie wird ein erstes Bild mit sogenannter Speckle Beleuchtung de facto als Filter benutzt, welche die niedrigen Frequenzen (Lo), und damit den Hintergrund, im Bild abbildet. Das zweite Bild (Hi), welches mit Gaussbeleuchtung erstellt wird, enthält die Bildinformationen, welche im Fokus sind. Durch die Anwendung des ersten Bildes als Filter können die störenden Emissionen aus den Ebenen außerhalb der Fokusebene herausgerechnet werden.
  • Es ist eine Aufgabe der vorliegenden Erfindung, voranstehende, aus dem Stand der Technik bekannte Nachteile zumindest teilweise zu beheben. Insbesondere ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur Erfassung eines zusammengefügten Mikroskopbildes, ein Mikroskopsystem, sowie ein Computerprogrammprodukt bereitzustellen, welche schnelle, kostengünstige Aufnahmen mit einer besonders hohen optischen Qualität, insbesondere Bildschärfe, bei einem gleichzeitig möglichst großen Bildausschnitt, insbesondere einer gesamten Probe, ermöglichen.
  • Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1, ein Mikroskopsystem mit den Merkmalen des Anspruchs 14, sowie ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 15. Weitere Merkmale und Details der Erfindung ergeben sich aus den jeweiligen Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit dem erfindungsgemäßen Mikroskopsystem und/oder dem erfindungsgemäßen Computerprogrammprodukt und jeweils umgekehrt, sodass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.
  • Gemäß einem ersten Aspekt der Erfindung ist ein Verfahren zur Erfassung eines zusammengefügten Mikroskopbildes einer Probe vorgesehen, umfassend: ein mikroskopisches Aufnehmen zumindest eines ersten fusionierten Bildes und eines zweiten fusionierten Bildes, insbesondere durch eine optische Aufnahmevorrichtung, aufweisend:
    • - ein Aufnehmen eines ersten Bildes, wobei die Probe strukturiert beleuchtet wird, insbesondere durch eine Strukturbeleuchtungseinheit,
    • - ein Aufnehmen eines zweiten Bildes, wobei die Probe gleichförmig beleuchtet wird, insbesondere durch eine Gaussbeleuchtungseinheit, sowie
    • - ein Fusionieren des ersten Bildes und des zweiten Bildes, wobei das erste Bild, durch Anwendung eines Tiefpassfilters, für eine niederfrequente im Fokus befindliche Bildinformation und das zweite Bild, durch Anwendung eines Hochpassfilters, für eine hochfrequente im Fokus befindliche Bildinformation verwendet wird,

    wobei das zweite fusionierte Bild eine andere Position auf der Probe abbildet als das erste fusionierte Bild, sowie
    ein Zusammenfügen insbesondere durch die Recheneinheit, des zumindest ersten fusionierten Bildes und des zweiten fusionierten Bildes zu dem zusammengefügten Mikroskopbild.
  • Die Verfahrensschritte können zumindest teilweise gleichzeitig und/oder zeitlich nacheinander ablaufen, wobei die Reihenfolge der Verfahrensschritte nicht durch die angegebene Reihenfolge begrenzt ist, sodass einzelne Schritte in unterschiedlicher Reihenfolge durchführbar sind. Ferner können einzelne oder sämtliche Schritte wiederholt durchgeführt werden.
  • Im Zusammenhang mit der Erfindung ist sowohl von ersten und zweiten Bildern als auch von ersten und zweiten fusionierten Bildern die Rede. Dabei können die Ausdrücke erstes und zweites lediglich die Anzahl der Bilder bzw. fusionierten Bilder und nicht die Reihenfolge der Aufnahme meinen.
  • Bei dem Verfahren kann es sich insbesondere um ein computerimplementiertes Verfahren handeln.
  • Im Zusammenhang mit der Erfindung können unter einer Erfassung eines Mikroskopbildes diejenigen Maßnahmen verstanden werden, welche notwendig sind, um Bildinformationen im mikroskopischen Bereich einer Probe zu erhalten.
  • Als ein zusammengefügtes Mikroskopbild kann eine Kombination mehrerer Bilder mit sich zumindest teilweise überschneidenden Sichtfeldern verstanden werden, wobei insbesondere durch das Zusammenfügen ein segmentiertes Panorama oder ein hochauflösendes Bild erzeugbar ist.
  • Es ist denkbar, dass ein Definieren von Aufnahmeparametern vorgesehen ist. Ein Aufnahmeparameter kann zumindest als aufzunehmender Bereich, Auflösung oder Farbkanal ausgeführt sein.
  • Es kann vorgesehen sein, dass ein Definieren eines aufzunehmenden Bereiches vorgesehen ist, welcher das zusammengefügte Mikroskopbild ergibt. Es kann vorgesehen sein, dass der aufzunehmende Bereich in Sichtfelder zerlegt wird, an denen das mikroskopische Aufnehmen erfolgt. Der aufzunehmende Bereich kann zumindest einen Bereich in z-Richtung, in x-Richtung oder y-Richtung umfassen. Ein aufzunehmender Bereich mit einem Bereich in z-Richtung, in x-Richtung oder y-Richtung kann auch als Block bezeichnet werden.
  • Ferner kann zumindest ein Definieren einer Auflösung zumindest in x, y oder z-Richtung vorgesehen sein. Die Auflösung in z-Richtung kann insbesondere als Anzahl von Ebenen der xy-Ebene angebbar sein. Hierdurch wird der Vorteil erreicht, dass für den Benutzer einfach erfasst werden kann, aus wie vielen Schichten das zusammengefügte Bild aufgebaut sein wird.
  • Es kann vorgesehen sein, dass insbesondere basierend auf einer definierten Auflösung, ein Zerlegen des aufzunehmenden Bereichs in Blöcke vorgesehen ist. Die Größe der Blöcke kann insbesondere in Abhängigkeit zumindest von der Anzahl der Sichtfelder, der Anzahl der xy-Ebenen, oder einer Speichergröße eines Speichers des Mikroskopsystems festlegbar sein.
  • Ferner kann zumindest das Definieren zumindest eines Farbkanals vorgesehen sein. Wenn mehr als ein Farbkanal definiert ist, kann vorgesehen sein, dass die Reihenfolge der Farbkanäle beim mikroskopischen Aufnehmen definiert wird. Insbesondere kann vorgesehen sein, dass für jeden Farbkanal einzeln zumindest eine Belichtungszeit oder eine Filtertiefe festlegbar ist.
  • Es ist ebenfalls denkbar, dass ein mikroskopisches Voraufnehmen vorgesehen ist. Unter einem Voraufnehmen kann verstanden werden, dass eine Aufnahme gemäß definierter Aufnahmeparameter erfolgt, jedoch zumindest in Bezug auf den aufzunehmenden Bereich, die Auflösung, Filtertiefe oder die Berechnungsqualität gegenüber einem mikroskopischen Aufnehmen eingeschränkt ist. Hierdurch lässt sich für den Benutzer schnell ein Überblick über den Effekt des Definierens der Aufnahmeparameter ermitteln, ohne dass bei jeder Änderung ein vollständiges Bild mit entsprechendem Zeitaufwand aufgenommen werden muss.
  • Eine Probe kann prinzipiell jedes Objekt sein, welches durch das verwendete Mikroskop beobachtbar ist. Insbesondere kann es sich bei der Probe um eine biologische Probe und/oder eine medizinische Probe, insbesondere Zellen, Gewebe oder Organe handeln. Es kann vorgesehen sein, dass die Probe auf einem Objekthalter angeordnet ist. Ein Objekthalter kann eine oder mehrere Proben aufnehmen.
  • Im Zusammenhang mit der Erfindung kann als mikroskopisches Aufnehmen verstanden werden, dass unter Zuhilfenahme einer Aufnahmevorrichtung ein Bild erzeugt wird, welches Informationen auf mikroskopischer Skala einer Probe enthält.
  • Ein fusioniertes Bild kann Informationen aus zumindest zwei mikroskopischen Aufnahmen umfassen. Die fusionierten Bilder können insbesondere an der gleichen Position der Probe aufgenommen sein.
  • Das zweite Bild enthält sowohl unscharfe als auch scharfe Inhalte. Unscharfe Inhalte enthalten im Wesentlichen Komponenten mit niedriger Ortsfrequenz. Zum Verwerfen der unscharfen Bildinformation kann vorgesehen sein, einen Hochpassfilter auf das zweite Bild anzuwenden. Der Hochpassfilter kann derart ausgeführt sein, dass nur die hohen räumlichen Frequenzkomponenten ausgewählt und die niedrigen Frequenzkomponenten ausgeschlossen werden..
  • Bei dem ersten Bild ist durch die strukturierte Beleuchtung der Kontrast der abgebildeten Modulation bei Objektsignalen, die außerhalb des Fokus entstehen, verschwindend gering. Das heißt, dass ein Maß für den lokalen Kontrast der abgebildeten Modulation ein Maß dafür ist, inwieweit das Objekt fokussiert ist.
  • Es kann eine Messung des lokalen Modulationskontrasts des ersten Bildes vorgesehen sein. Die Messung des Modulationskontrasts des ersten Bildes kann zumindest als Messung der lokalen Varianz, Einseitenband-Demodulation oder Zweiseitenband-Demodulation ausgeführt sein. Die Messung des lokalen Modulationskontrasts kann grobkörnig sein.
  • Es kann vorgesehen sein, dass eine niederfrequente Bildinformation, die aus dem ersten Bild abgeleitet wird, derart ausgestaltet ist, eine hochfrequente Bildinformation, die auf dem zweiten Bild abgeleitet wird, ergänzt wird. Die Fusionierung der hoch- und niederfrequenten Bildinhalte führt zu einem voll aufgelösten, scharfen Bild, das alle Frequenzinhalte innerhalb der Frequenzbandbreite des Mikroskopsystems enthält. Dies entspricht im Wesentlichen dem Ansatz der HiLo Mikroskopie.
  • Unter einer strukturierten Beleuchtung kann eine Beleuchtung verstanden werden, welche dazu ausgeführt ist, eine Emission der Probe als Reaktion auf die Beleuchtung hauptsächlich in der Fokusebene zu erzeugen. Die strukturierte Beleuchtung kann insbesondere ortsabhängig in ihrer Intensität variieren. Die Variation der Intensität kann durch einen Diffusor erzeugt werden, der von einer, insbesondere kohärenten Lichtquelle, durchstrahlt wird.
  • Als gleichförmige Beleuchtung (auch Gaussbeleuchtung genannt) kann eine Beleuchtung aufgefasst werden, welche den aufzunehmenden Bildbereich im Wesentlichen mit gleichmäßiger Intensität bestrahlt. Inhomogenitäten, die zwangsläufig durch Eigenschaften der Lichtquelle und des optischen Systems auftreten, kommen auch bei einer gleichförmigen Beleuchtung immer bis zu einem gewissen Grad vor. Es kann vorgesehen sein, dass die gleichförmige Beleuchtung durch einen rotierenden Diffusor bereitgestellt wird, der von einer, insbesondere kohärenten, Lichtquelle durchstrahlt wird. Besonders vorteilhaft handelt es sich bei dem Diffusor um den gleichen Diffusor, welcher zur Bereitstellung der strukturierten Beleuchtung verwendet wird, wobei dieser beim Bereitstellen der strukturieren Beleuchtung stillsteht. Dann kann zwischen der strukturierten und der homogenen Beleuchtung gewechselt werden, indem der Diffusor stillsteht oder rotiert.
  • Es kann ferner vorgesehen sein, dass die Abfolge der Aufnahmen erster und zweiter Bilder derart ausgestaltet ist, dass auf ein erstes Bild nach einer Verschiebung der Position auf der Probe ein weiteres erstes Bild folgt. Es kann ebenfalls vorgesehen sein, dass auf ein zweites Bild nach einer Verschiebung der Position auf der Probe ein weiteres erstes Bild folgt. Dies bietet den Vorteil, dass der Aufnahmemodus der Aufnahmevorrichtung nicht bei jeder Aufnahme geändert werden muss, wodurch noch schnellere Aufnahmen ermöglicht werden.
  • Das Zusammenfügen (auch Stitching genannt) der fusionierten Bilder kann als Kombination der in den fusionierten Bildern enthaltenen Bildinformationen aufgefasst werden. Es kann vorgesehen sein, dass die fusionierten Bilder sich zumindest teilweise überlappen, wobei insbesondere beim Zusammenfügen der Bilder zumindest die sich überlappenden Bereiche identifiziert, die Bilder ausgerichtet oder deren Erscheinungsbild, insbesondere in Hinblick auf zumindest Helligkeit, Farbe oder Kontrast angeglichen wird.
  • Eine andere Position auf der Probe kann bedeuten, dass das erste fusionierte Bild und das zweite fusionierte Bild zumindest einen Bereich aufweisen, welcher nicht in beiden Bildern enthalten ist. Mit anderen Worten bedeutet das, dass die beiden Bilder an unterschiedlichen Stellen aufgenommen sein können. Es kann vorgesehen sein, dass das mikroskopische Aufnehmen und Zusammenfügen mehrfach durchgeführt wird, insbesondere jeweils einmal für einen vordefinierten Bereich, insbesondere einen Block, eines Bildes. Ein Block kann ein oder mehrere Bilder in xy-Positionen und xy-Ebenen aufweisen. Es kann vorgesehen sein, dass Zusammenfügen zunächst anhand eines einzelnen Paares von fusionierten Bildern aus dem ersten und weiteren Block anhand eines fusionierten Bildes mit dem höchsten Kontrast erfolgt, wobei das Zusammenfügen der weiteren fusionierten Bilder anhand dieser Relation erfolgt. Dadurch können Bildfehler durch das Zusammenfügen minimiert werden.
  • Es kann vorgesehen sein, dass das Verfahren zumindest einen der folgenden Schritte, insbesondere in der angegebenen Reihenfolge, umfasst:
    • Bewegen zumindest der Probe oder des Objektivs zu einem ersten Block. Mikroskopisches Aufnehmen für eine erste xy-Ebene des Blocks, wobei ein erstes und zweites Bild aufgenommen und fusioniert werden, mikroskopisches Aufnehmen einer nächsten xy-Ebene des ersten Blocks, wobei ein erstes und zweites Bild aufgenommen und fusioniert werden, bis alle xy-Ebenen des ersten Blocks mikroskopisch aufgenommen sind. Wiederholen der mikroskopischen Aufnahme des ersten Blocks für einen oder mehrere weitere Farbkanäle. Zwischenspeichern aller fusionierten Bilder aller xy-Ebenen des ersten Blocks.
  • Bewegen zumindest der Probe oder des Objektivs zu einem weiteren Block. Mikroskopisches Aufnehmen einer ersten xy-Ebene des weiteren Blocks, wobei ein erstes und zweites Bild aufgenommen und fusioniert werden, mikroskopisches Aufnehmen einer nächsten xy-Ebene des weiteren Blocks, wobei ein erstes und zweites Bild aufgenommen und fusioniert werden, bis alle xy-Ebenen des Blocks mikroskopisch aufgenommen sind. Wiederholen der mikroskopischen Aufnahme des weiteren Blocks für einen oder mehrere weitere Farbkanäle. Zwischenspeichern aller fusionierten Bilder aller xy-Ebenen des weiteren Blocks.
  • Das fusionierte Bild der xy-Ebene mit dem höchsten Kontrast, insbesondere im ersten Farbkanal, des ersten Blocks, wird mit dem fusionierten Bild des zweiten Blocks aus der gleichen xy-Ebene zusammengefügt. Dabei kann sich die „gleiche xy-Ebene“ insbesondere auf den zumindest teilweise überlappenden Bildinhalt beziehen. Alternativ oder in Ergänzung kann auch die gleiche Position in z-Richtung in Bezug auf zumindest das Objektiv oder die Probe gemeint sein. Alle weiteren fusionierten Bilder des ersten Blocks werden entsprechend dem der Relation des ersten zusammengefügten Bildes ebenfalls zusammengefügt.
  • Dann kann zumindest die Probe oder das Objektiv zum nächsten Block bewegt und die Schritte wiederholt werden. Die zusammengefügten Bilder der Blöcke können jeweils miteinander verbunden werden, sodass ein zusammengefügtes Mikroskopbild der Probe entsteht.
  • Insgesamt wird durch das erfindungsgemäße Verfahren der Vorteil erreicht, dass eine schnelle, kostengünstige Aufnahme mit einer besonders hohen optischen Qualität, insbesondere Bildschärfe, bei einem gleichzeitig möglichst großen Bildausschnitt, insbesondere einer gesamten Probe, ermöglicht wird. Das Fusionieren des ersten und zweiten Bildes führt dazu, dass sehr schnell Bilder erstellt werden können, bei denen die Bildinformationen aus den Ebenen, die nicht im Fokus des Objektivs liegen, verworfen werden können, wodurch das Bild an Schärfe gewinnt. Da diese Methode kein Abrastern des Bildes, sondern nur die Aufnahme zweier Bilder erfordert, ist sie insbesondere gegenüber einem Durchrastern des Bildes wie bei einem Konfokalmikroskop besonders schnell. Durch das Zusammenfügen zumindest zweier, insbesondere mehrerer fusionierter Bilder kann die Schnelligkeit der Aufnahme dazu verwendet werden, mehrere Bilder aneinanderzureihen und so Bilder mit besonders viel Information, beispielsweise segmentierte Panoramen oder hochauflösende Bilder mit großer Schärfentiefe zu erzeugen.
  • Im Rahmen der Erfindung ist es weiterhin denkbar, dass die strukturierte Beleuchtung beim Aufnehmen des ersten Bildes zumindest als Specklebeleuchtung, periodisches Gitter oder Schachbrettmuster ausgeführt ist.
  • Eine Specklebeleuchtung kann dazu ausgeführt sein, verstreute Lichtpunkte zu erzeugen. Unter den Speckles können einzelne, punktartige Orte auf der Probe verstanden werden, an denen die Intensität der Beleuchtung im Verhältnis zum Rest der Probe hoch ist. Die Speckles können durch Interferenz erzeugt werden. Hierzu kann eine monochromatische kohärente Lichtquelle in Kombination mit einem Diffusor vorgesehen sein.
  • Eine Specklebeleuchtung bietet den Vorteil, dass die Intensität des rückgestreuten Lichtes außerhalb der Fokusebene sehr stark abnimmt und daher ein besonders scharfes fusioniertes Bild erzeugbar ist.
  • Periodische Gitter oder Schachbrettmuster können ebenfalls unter Zuhilfenahme interferenzerzeugender optischer Elemente bereitgestellt werden.
  • Weiterhin kann bei einem erfindungsgemäßen Verfahren vorteilhafterweise vorgesehen sein, dass die Beleuchtung beim Aufnehmen des ersten und zweiten Bildes, als Fluoreszenzbeleuchtung, insbesondere mit zumindest zwei Farbkanälen, ausgeführt ist.
  • Mit anderen Worten können das erste und zweite Bild als ein Fluoreszenzbild, insbesondere Mehrkanalfluoreszenzbild, ausgeführt sein. Fluoreszenzbilder leiden besonders unter Emissionen, die nicht aus der Fokusebene stammen, da diese eine Art Bokeheffekt erzeugen, welcher ansonsten scharfe Strukturen vor dem eher dunklen Hintergrund verwaschen kann. Daher ist ein erfindungsgemäßes Verfahren in Kombination mit einer Fluoreszenzbeleuchtung besonders vorteilhaft.
  • Weiterhin ist es bei einem erfindungsgemäßen Verfahren denkbar, dass das Aufnehmen des ersten und zweiten Bildes, mit zumindest einem ersten und einem zweiten Farbkanal erfolgt, wobei insbesondere jeweils zunächst die Probe strukturiert und homogen mit dem ersten Farbkanal beleuchtet wird und danach die Probe strukturiert und homogen mit dem zweiten Farbkanal beleuchtet wird. Besonders vorteilhaft kann vorgesehen sein, dass bei der Aufnahme mehrerer Farbkanäle immer mit der Beleuchtung für dasjenige erste oder zweite Bild begonnen wird, mit der die Aufnahme des vorherigen Farbkanals geendet hat. Daraus ergäbe sich beispielsweise bei drei Farbkanälen rot, grün und blau die Abfolge: rot strukturiert, rot gleichförmig, grün gleichförmig, grün strukturiert, blau strukturiert, blau gleichförmig. Dadurch muss der Diffusor weniger oft beschleunigt und abgebremst werden, sodass einerseits Zeit für die Aufnahme gespart wird und andererseits weniger Störungen in Form von Schwingungen entstehen.
  • Es kann vorgesehen sein, dass bei mehreren Farbkanälen und einem mikroskopischen Aufnehmen in mehreren xy-Ebenen für jede xy-Ebene zunächst für jeden Farbkanal ein mikroskopisches Aufnehmen erfolgt, bevor zur nächsten xy-Ebene gewechselt wird. Hierdurch wird der Vorteil erreicht, dass eine besonders hohe Bildqualität erreicht werden kann, wenn die einzelnen Kanäle kombiniert werden, da diese aufgenommen wurden, ohne dass die Probe oder das Objektiv bewegt wurden. Es kann auch vorgesehen sein, dass die xy-Ebenen jeweils mit einem einzigen Farbkanal durchlaufen werden.
  • Weiterhin kann bei einem erfindungsgemäßen Verfahren vorteilhafterweise vorgesehen sein, dass die Position auf der Probe sich zumindest in einer z-Richtung der Probe, einer x-Richtung der Probe oder einer y-Richtung der Probe unterscheidet, wobei insbesondere die Position der Probe in zumindest der x-Richtung oder y-Richtung durch eine XY-Bühne, auf der die Probe anordenbar ist, verfahren wird.
  • Unter einer z-Richtung kann im Zusammenhang der Erfindung eine Tiefe der Probe verstanden werden, welche auf einer optischen Achse der Aufnahmeoptik im Probenbereich liegt. Entsprechend spannen x- und y- Achse eine Ebene auf, welche gegenüber der optischen Achse im Probenbereich orthogonal angeordnet ist.
  • Durch die Änderung der Position in z-Richtung kann das zusammengefügte Mikroskopbild im Wesentlichen einer Tomographie entsprechen. Dabei sind die einzelnen Schichten durch die abgegrenzten Schärfentiefebereiche besonders scharf darstellbar.
  • Durch das Zusammenfügen von fusionierten Bildern in x- und/oder y- Richtung lässt sich eine Kartierung der Probe vornehmen. Es kann vorgesehen sein, dass die gesamte Probe zumindest in x-, y- oder z-Richtung aus fusionierten Bildern zusammengefügt wird. Dies bietet den Vorteil, dass die Probe dann in einer oder in mehreren Richtungen vollständig erfasst ist und so besonders viele Informationen für eine Auswertung bereitstehen.
  • Im Rahmen der Erfindung ist es weiterhin denkbar, dass sich die Position der Probe in dem zweiten fusionierten Bild von Position der Probe des ersten fusionierten Bildes in z-Richtung zwischen 500 nm und 500 µm, insbesondere zwischen 1 µm und 300 µm, unterscheidet.
  • Mit anderen Worten können für Lichtmikroskope sehr dicke Proben gemessen werden. Bei dicken Proben entsteht bei konventionellen Lichtmikroskopen das Problem, dass die Emissionen aus den Ebenen, die nicht der Fokusebene entsprechen, sich aufsummieren und so das zusammengefügte Bild unscharf wäre. Dies wird durch ein erfindungsgemäßes Verfahren verhindert, sodass auch Proben in den angegebenen Dickenbereichen besonders qualitativ hochwertig aufgenommen werden können.
  • Im Rahmen der Erfindung ist es weiterhin denkbar, dass die Schärfentiefe der einzelnen aufgenommenen fusionierten Bilder einstellbar ist.
  • Hierdurch lässt sich der Effekt der Fusionierung entsprechend der vorliegenden Aufnahmesituation optimal anpassen. Durch eine größere Schärfentiefe gelangen mehr Informationen aus den Bereichen, die nicht genau in der Fokusebene liegen. Dadurch kann vermieden werden, dass bei auf z-Ebene weit voneinander entfernten Objekten bei einem großen Abstand von zusammenzufügenden fusionierten Bildern oder einer nicht genau passend eingestellten Fokusebene die Information eines Objektes abgeschnitten wird. Eine geringe Schärfentiefe hingegen sorgt für besonders scharfe Bilder und eine gute Übersicht bei kleinen Abständen der zusammenzufügenden Bilder in z-Richtung.
  • Es ist bei einem erfindungsgemäßen Verfahren auch denkbar, dass ferner eine Ausgabe des zusammengefügten Mikroskopbildes vorgesehen ist, wobei insbesondere eine Tiefe in z-Richtung, während der Ausgabe einstellbar ist.
  • Hierdurch kann ein Benutzer je nach Situation die jeweils optimale Schärfentiefe wählen. Wie oben beschrieben kann dieser Wert, auch innerhalb einer Probe, variieren. Durch die Anpassbarkeit wird also stets ein optimales Benutzererlebnis gewährleistet, was eine genaue Auswertung des zusammengefügten Mikroskopbildes erlaubt.
  • Es ist ferner bei einem erfindungsgemäßen Verfahren denkbar, dass ein Erkennen eines Objektives, das zumindest zur Aufnahme des ersten Bildes und des zweiten Bildes ausgeführt ist, vorgesehen ist, wobei insbesondere eine Tiefe in z-Richtung, basierend auf der Erkennung des Objektivs eingestellt wird.
  • Durch die Anpassung an das jeweilige Objektiv kann diejenige Tiefe in z-Richtung eingestellt werden, die einen optimalen Kompromiss aus Bildschärfe und Schärfentiefe darstellt.
  • Es ist ferner bei einem erfindungsgemäßen Verfahren denkbar, dass das mikroskopische Aufnehmen des zumindest ersten fusionierten Bildes und des zweiten fusionierten Bildes kontinuierlich ausgeführt ist.
  • Die kontinuierliche Aufnahme der zu fusionierenden Bilder bietet den Vorteil, dass die Aufnahmen besonders schnell erzeugt werden können.
  • Im Rahmen der Erfindung ist es weiterhin denkbar, dass ferner beim Zusammenfügen des zumindest ersten fusionierten Bildes und des zweiten fusionierten Bildes zu dem zusammengefügten Mikroskopbild eine Abschattungskorrektur vorgesehen ist.
  • Durch die Abschattungskorrektur kann insbesondere an den Übergängen zwischen zwei zusammenzufügender Bilder eine besonders gute optische Qualität erreicht werden.
  • Es ist ferner bei einem erfindungsgemäßen Verfahren denkbar, dass zumindest das erste fusionierte Bild oder das zweite fusionierte Bild als ein Livebild angezeigt wird, wobei zumindest eine Tiefe in z-Richtung, einstellbar ist.
  • Durch das Livebild kann ein Benutzer sofort die Wirkung der Einstellung der Tiefe in z-Richtung überprüfen und so den für die Messung optimalen Wert einstellen. Durch die unmittelbare Rückmeldung wird effektiv verhindert, dass ein längerer Bildaufnahmeprozess gestartet wird, bei dem sich erst im Nachgang herausstellt, dass die vorgenommenen Einstellungen nicht optimal waren.
  • Vorzugsweise ist bei einem erfindungsgemäßen Verfahren denkbar, dass ferner zumindest:
    • - ein Laden eines Objektträgers in ein Mikroskopsystem,
    • - ein Übersichtsscannen des Objektträgers,
    • - ein Erfassen einer Labelinformation des Objektträgers,
    • - ein Detektieren der Probe auf dem Objektträger,
    • - ein Festlegen von Bilderfassungsbereichen basierend auf dem Detektieren der Probe,
    • - ein Definieren von Aufnahmeparametern,
    • - ein mikroskopisches Vorschauaufnehmen gemäß von zuvor definierten Aufnahmeparametern, insbesondere ein erfindungsgemäßes mikroskopisches Aufnehmen,
    • - ein mikroskopisches Aufnehmen gemäß von zuvor definierten Aufnahmeparametern, insbesondere ein erfindungsgemäßes mikroskopisches Aufnehmen,
    • - ein Erstellen einer Fokuskarte,
    • - ein Bewegen einer XY- Bühne zu den Bilderfassungsbereichen,
    • - ein Korrigieren eines Linsenfehlers,
    • - ein Speichern zumindest des ersten Bildes, des zweiten Bildes, des ersten fusionierten Bildes, des zweiten fusionierten Bildes oder des zusammengefügten Mikroskopbildes vorgesehen ist,
    • - Verfahren der XY-Bühne zu einer nächsten Probe oder einem nächsten Objektträger.
  • Durch das Erfassen der Labelinformation kann bereits vor der Aufnahme eines Bildes das Mikroskop optimal eingestellt werden. Es kann beispielsweise vorgesehen sein, dass die Tiefe in z-Richtung, an die Labelinformation angepasst wird. Beispielsweise kann in dem Label eine Information über die Dicke oder die Art der Probe sein, sodass eine bestimmte Tiefe vorteilhaft ist.
  • Unter einem Übersichtsscannen der Probe kann ein mikroskopisches Aufnehmen verstanden werden, bei dem gegenüber der mikroskopischen Aufnahme zumindest eine geringere Auflösung, weniger Kanäle oder ein anderer Kanal, ein größerer Bildbereich oder eine geringere Vergrößerung verwendet wird. Durch einen solchen Übersichtsscan lässt sich die Probe sowie die für eine hochauflösende Aufnahme interessanten Bereiche schnell identifizieren.
  • Durch das Verfahren der XY-Bühne zu einer nächsten Probe kann zügig die nächste Probe aufgenommen werden. Ferner kann derart auch ein nächster Objektträger, welcher insbesondere ebenfalls eine oder mehrere Proben aufweisen kann, aufgenommen werden. Es kann ebenfalls vorgesehen sein, dass der nächste Objektträger über eine Objektträgermechanik in die XY-Bühne eingelegt wird.
  • Es kann vorgesehen sein, dass ein Laden eines Objektträgers in ein Mikroskopsystem, ein Übersichtsscannen des Objektträgers, ein Festlegen von Bilderfassungsbereichen, ein Definieren von Aufnahmeparametern, ein mikroskopisches Aufnehmen, ein Speichern zumindest des ersten Bildes, des zweiten Bildes, des ersten fusionierten Bildes, des zweiten fusionierten Bildes oder des zusammengefügten Mikroskopbildes, oder ein Verfahren der XY-Bühne zu einer nächsten Probe oder einem nächsten Objektträger, insbesondere in der angegebenen Reihenfolge, vorgesehen sind.
  • Gemäß einem weiteren Aspekt der Erfindung ist ein Mikroskopsystem, insbesondere zum Ausführen eines erfindungsgemäßen Verfahrens vorgesehen, aufweisend: eine optische Aufnahmevorrichtung, welche dazu ausgeführt ist, ein mikroskopisches Aufnehmen zumindest eines ersten fusionierten Bildes und eines zweiten fusionierten Bildes bereitzustellen, aufweisend:
    • - eine Kamera und ein Objektiv, ausgeführt zum Aufnehmen eines ersten Bildes und eines zweiten Bildes,
    • - eine Strukturbeleuchtungseinheit, die dazu ausgeführt ist, die Probe strukturiert zu beleuchten, wenn das erste Bild aufgenommen wird,
    • - eine Gaussbeleuchtungseinheit, die dazu ausgeführt ist, die Probe gleichförmig zu beleuchten, wenn das zweite Bild aufgenommen wird, sowie
    eine Recheneinheit, die dazu ausgeführt ist, das erste Bild und das zweite Bild zu fusionieren, wobei das erste Bild für eine niederfrequente im Fokus befindliche Bildinformation und das zweite Bild für eine hochfrequente im Fokus befindliche Bildinformation verwendet wird, wobei das zweite fusionierte Bild eine andere Position auf der Probe abbildet als das erste fusionierte Bild, und das zumindest erste fusionierte Bild, und das zweite fusionierte Bild zu dem zusammengefügten Mikroskopbild zusammenzufügen.
  • Somit bringt ein erfindungsgemäßes Mikroskopsystem die gleichen Vorteile mit sich, wie sie bereits ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren beschrieben worden sind.
  • Die Strukturbeleuchtungseinheit kann zumindest eine kohärente Lichtquelle, insbesondere einen Laser, oder einen Diffusor umfassen, wobei der Diffusor vom Licht des Lasers durchstrahlt wird, und ein Speckle-Muster erzeugt.
  • Ferner kann vorgesehen sein, dass der Diffusor rotierbar ausgeführt ist, und beim Beleuchten durch die Gaussbeleuchtungseinheit derart stark in Rotation versetzt wird, dass auf einer Zeitskala des mikroskopischen Aufnehmens ein homogen ausgeleuchtetes Bild aufgenommen wird. Durch eine derartige Anordnung lassen sich das erste Bild und das zweite Bild besonders schnell hintereinander Erzeugen, sodass die Aufnahmezeit für das zusammengeführte Mikroskopbild insgesamt stark reduziert ist.
  • Gemäß einem weiteren Aspekt der Erfindung ist ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer, insbesondere durch eine Recheneinheit eines erfindungsgemäßen Mikroskopsystems, diesen veranlassen, ein erfindungsgemäßes Verfahren auszuführen, vorgesehen.
  • Somit bringt ein erfindungsgemäßes Computerprogrammprodukt die gleichen Vorteile mit sich, wie sie bereits ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren und/oder ein erfindungsgemäßes Mikroskopsystem beschrieben worden sind.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen schematisch:
    • 1: ein Verfahren gemäß der Erfindung
    • 2: ein Beispiel für ein Zusammenfügen von fusionierten Bildern,
    • 3: ein weiteres Beispiel für ein Zusammenfügen von fusionierten Bildern,
    • 4: ein Mikroskopsystem gemäß der Erfindung.
  • In der nachfolgenden Beschreibung zu einigen Ausführungsbeispielen der Erfindung werden für die gleichen technischen Merkmale auch in unterschiedlichen Ausführungsbeispielen die identischen Bezugszeichen verwendet.
  • 1 zeigt ein Verfahren 100 zur Erfassung eines zusammengefügten Mikroskopbildes 200 einer Probe 300, umfassend:
    • ein mikroskopisches Aufnehmen 110 zumindest eines ersten fusionierten Bildes 210 und eines zweiten fusionierten Bildes 220, aufweisend:
      • - ein Aufnehmen 111 eines ersten Bildes 230, wobei die Probe 300 strukturiert beleuchtet wird,
      • - ein Aufnehmen 112 eines zweiten Bildes 240, wobei die Probe 300 gleichförmig beleuchtet wird, sowie
      • - ein Fusionieren 113 des ersten Bildes 230 und des zweiten Bildes 240, wobei das erste Bild 230 für eine niederfrequente im Fokus befindliche Bildinformation und das zweite Bild 240 für eine hochfrequente, im Fokus befindliche Bildinformation verwendet wird,
    • wobei das zweite fusionierte Bild 220 eine andere Position auf der Probe 300 abbildet als das erste fusionierte Bild 210, sowie
    ein Zusammenfügen 120 des zumindest ersten fusionierten Bildes 210 und des zweiten fusionierten Bildes 220 zu dem zusammengefügten Mikroskopbild 200.
  • Insgesamt wird durch das erfindungsgemäße Verfahren 100 der Vorteil erreicht, dass eine schnelle, kostengünstige Aufnahme mit einer besonders hohen optischen Qualität, insbesondere Bildschärfe, bei einem gleichzeitig möglichst großen Bildausschnitt, insbesondere einer gesamten Probe 300, ermöglicht wird. Das Zusammenfügen des ersten und zweiten Bildes 230, 240 führt dazu, dass sehr schnell Bilder erstellt werden können, bei denen die Bildinformationen aus den Ebenen, die nicht im Fokus des Objektivs 412 liegen, verworfen werden können, wodurch das Bild an Schärfe gewinnt. Da diese Methode kein Abrastern des Bildes, sondern nur die Aufnahme zweier Bilder 230, 240 erfordert, ist sie insbesondere gegenüber einem Durchrastern des Bildes wie bei einem Konfokalmikroskop besonders schnell. Durch das Zusammenfügen zumindest zweier, insbesondere mehrerer fusionierter Bilder 210, 220 kann die Schnelligkeit der Aufnahme dazu verwendet werden, mehrere Bilder aneinanderzureihen und so Bilder 200 mit besonders viel Information, beispielsweise segmentierte Panoramen oder hochauflösende Bilder mit großer Schärfentiefe zu erzeugen.
  • Darüber hinaus können bei einem erfindungsgemäßen Verfahren noch weitere Schritte vorgesehen sein.
  • Es kann beispielsweise eine Ausgabe 130 des zusammengefügten Mikroskopbildes 200 vorgesehen sein, insbesondere auf einem Bildschirm. Dabei kann ferner vorgesehen sein, dass insbesondere eine Tiefe in z-Richtung, für die diejenigen Bildinformationen aus dem zusammengefügten Mikroskopbild 200 verworfen werden, während der Ausgabe 130 einstellbar ist. So kann ein Benutzer die Tiefe an die Auswerte und/oder Aufnahmebedürfnisse optimal anpassen.
  • Die 2 und 3 veranschaulichen, wie die fusionierten Bilder 210, 220 zusammengefügt 120 werden können.
  • In der 2 ist eine Probe 300 in einer Aufsicht gezeigt. Die gestrichelten Linien markieren die Stellen, an denen erste und zweite fusionierte Bilder 210, 220 aufgenommen werden. Dabei entspricht jedes gestrichelte Quadrat jeweils einem ersten Bild 230 und einem zweiten Bild 240, die dann zusammengefügt 113 werden. Mit anderen Worten nimmt das Mikroskopsystem 400 im dargestellten Beispiel vier mal zwei Bilder 230, 240 auf. Dabei überlappen sich die fusionierten Bilder 210, 220 jeweils. Durch das Zusammenfügen 120 der fusionierten Bilder 210, 220 entsteht dann das zusammengefügte Mikroskopbild 200. Dieses deckt gegenüber den einzelnen fusionierten Bildern 210, 220 einen wesentlich größeren Bereich der Probe 300 in der xy-Ebene ab. Insbesondere kann vorgesehen sein, dass die gesamte Probe 300 und/oder vorausgewählte Abschnitte der Probe durch das zusammengefügte Mikroskopbild 200 abgedeckt sind.
  • Die 3 zeigt eine weitere Variante zum Zusammenfügen 120 der fusionierten Bilder 210, 220. Während im Beispiel der 2 die Position auf der Probe der fusionierten Bilder 210, 220 in der xy-Ebene variierte, ist im Beispiel der 3 eine Variation in der z-Ebene dargestellt. Mit anderen Worten können auch fusionierte Bilder 210, 220, die in der z-Achse, die parallel zur optischen Achse der Aufnahmevorrichtung 410 (siehe 4) liegt, variieren, zusammengefügt 120 werden.
  • Durch gestrichelte Linien dargestellt ist eine Tiefe in z-Richtung, für die diejenigen Bildinformationen aus dem zweiten Bild 240 verworfen werden, die nicht in einem Fokus des zweiten Bildes 240 liegen. Es kann vorgesehen sein, dass diese Tiefe einstellbar ist. Dabei kann der Abstand der fusionierten Bilder 210, 220 so wie dargestellt so gewählt sein, dass sich die fusionierten Bildern 210, 220 in ihrer Tiefe nicht überschneiden. Es kann ebenfalls vorgesehen sein, dass sich die fusionierten Bildern 210, 220 in ihrer Tiefe zumindest teilweise überlappen.
  • Selbstverständlich können zusammengefügte Mikroskopbilder 200 auch ein Zusammenfügen 120 von fusionierten Bilder 210, 220, die in der xy-Ebene variieren, als auch von fusionierten Bilder 210, 220, die auf der z-Achse variieren, vorgesehen sein. Hierdurch stehen einem Benutzer des Mikroskopsystems 400 besonders viele Bildinformationen zur Auswertung bereit, wobei durch das erfindungsgemäße Verfahren 100 die Erstellung des zusammengefügten Mikroskopbildes 200 trotz des hohen Informationsgehalts sehr schnell erfolgt.
  • In der 4 ist ein Mikroskopsystem 400, insbesondere zum Ausführen eines erfindungsgemäßen Verfahrens 100 gezeigt. Das Mikroskopsystem 400 weist
    eine optische Aufnahmevorrichtung 410, welche dazu ausgeführt ist, ein mikroskopisches Aufnehmen 110 zumindest eines ersten fusionierten Bildes 210 und eines zweiten fusionierten Bildes 220 bereitzustellen, aufweisend:
    • - eine Kamera 411 und ein Objektiv 412, ausgeführt zum Aufnehmen 111 eines ersten Bildes 230 und eines zweiten Bildes 240,
    • - eine Strukturbeleuchtungseinheit 413, die dazu ausgeführt ist, die Probe 300 strukturiert zu beleuchten, wenn das erste Bild 230 aufgenommen wird,
    • - eine Gaussbeleuchtungseinheit 414, die dazu ausgeführt ist, die Probe 300 gleichförmig zu beleuchten, wenn das zweite Bild 240 aufgenommen wird, sowie

    eine Recheneinheit 420, die dazu ausgeführt ist, das erste Bild 230 und das zweite Bild 240 zu fusionieren 113, wobei das erste Bild 230 für eine niederfrequente im Fokus befindliche Bildinformation und das zweite Bild 240 für eine hochfrequente, im Fokus befindliche Bildinformation verwendet wird, wobei das zweite fusionierte Bild 220 eine andere Position auf der Probe 300 abbildet als das erste fusionierte Bild 210, und das zumindest erste fusionierte Bild 210, und das zweite fusionierte Bild 220 zu dem zusammengefügten Mikroskopbild 200 zusammenzufügen, auf.
  • In der 4 ist das Mikroskopsystem in einer Ansicht auf die x-z Ebene dargestellt. Von einer kohärenten Lichtquelle 430 wird Licht über eine Strukturbeleuchtungseinheit 413 und/oder Gaussbeleuchtungseinheit 414 über einen Strahlteiler 450 und ein Objektiv 412 auf die Probe 300 geleitet, die sich auf einer Bühne 415 befindet. Das dort reflektierte oder fluoreszierende Licht wird zurückgeworfen und fällt nach einem Durchgang durch den Strahlteiler 450 in die Kamera 411. Im gezeigten Ausführungsbeispiel weisen die Strukturbeleuchtungseinheit 413 und die Gaussbeleuchtungseinheit 414 einen Diffusor 440 auf, welcher rotierbar ausgeführt ist. Rotiert der Diffusor nicht, wird durch die Strukturbeleuchtungseinheit 413 eine Specklebeleuchtung zum Aufnehmen 111 eines strukturiert beleuchteten Bildes 230 erzeugt. Wird der Diffusor 440 in Rotation versetzt, kann ein homogen beleuchtetes Bild 240 aufgenommen 112 werden. Die Steuereinheit 420 kann zumindest die Aufnahmevorrichtung 410, die Kamera 411, das Objektiv 412, die Strukturbeleuchtungseinheit 413, die Gaussbeleuchtungseinheit 414, die Bühne 415, die kohärente Lichtquelle 430 oder den Diffusor 440 steuern.
  • Somit bringt ein erfindungsgemäßes Mikroskopsystem 400 die gleichen Vorteile mit sich, wie sie bereits ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren 100 beschrieben worden sind.
  • Die Strukturbeleuchtungseinheit 413 kann zumindest eine kohärente Lichtquelle 430, insbesondere einen Laser, sowie einen Diffusor 440 umfassen, wobei der Diffusor 440 vom Licht des Lasers durchstrahlt wird und ein Speckle-Muster erzeugt.
  • Ferner kann vorgesehen sein, dass der Diffusor 440 rotierbar ausgeführt ist, und beim Beleuchten durch die Gaussbeleuchtungseinheit 414 derart stark in Rotation versetzt wird, dass auf einer Zeitskala des mikroskopischen Aufnehmens 110 ein homogen ausgeleuchtetes Bild aufgenommen wird. Durch eine derartige Anordnung lassen sich das strukturiert- und homogen beleuchtete Bild 230, 240 besonders schnell hintereinander erzeugen, sodass die Aufnahmezeit für das zusammengeführte Mikroskopbild 200 insgesamt stark reduziert ist.
  • Die voranstehende Erläuterung der Ausführungsformen beschreibt die vorliegende Erfindung ausschließlich im Rahmen von Beispielen. Selbstverständlich können einzelne Merkmale der Ausführungsformen, sofern technisch sinnvoll, frei miteinander kombiniert werden, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
  • Bezucszeichenliste
  • 100
    Verfahren
    110
    Aufnehmen
    111
    Aufnehmen eines niedrig aufgelösten Bildes
    112
    Aufnehmen eines hochaufgelösten Bildes
    113
    Zusammenfügen des niedrig aufgelösten Bildes und des hochaufgelösten Bildes
    120
    Zusammenfügen des zumindest ersten fusionierten Bildes und des zweiten fusionierten Bildes
    130
    Ausgabe
    200
    Mikroskopbild
    210
    erstes fusioniertes Bild
    220
    zweites fusioniertes Bild
    230
    erstes Bild
    240
    zweites Bild
    300
    Probe
    310
    Objektträger
    400
    Mikroskopsystem
    410
    Aufnahmevorrichtung
    411
    Kamera
    412
    Objektiv
    413
    Strukturbeleuchtungseinheit
    414
    Gaussbeleuchtungseinheit
    415
    Bühne
    420
    Recheneinheit
    430
    kohärente Lichtquelle
    440
    Diffusor
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • Lim et al., Optics Letters - 33: 1819-1821, 2008 [0007]
    • Jerome Mertz, Nature Methods - 8: 811-819 2011 [0007]

Claims (15)

  1. Verfahren (100) zur Erfassung eines zusammengefügten Mikroskopbildes (200) einer Probe (300), umfassend: ein mikroskopisches Aufnehmen (110) zumindest eines ersten fusionierten Bildes (210) und eines zweiten fusionierten Bildes (220), aufweisend: - ein Aufnehmen (111) eines ersten Bildes (230), wobei die Probe (300) strukturiert beleuchtet wird, - ein Aufnehmen (112) eines zweiten Bildes (240), wobei die Probe (300) gleichförmig beleuchtet wird, sowie - ein Fusionieren (113) des ersten Bildes (230) und des zweiten Bildes (240), wobei das erste Bild (230) für eine niederfrequente im Fokus befindliche Bildinformation und das zweite Bild (240) für eine hochfrequente, im Fokus befindliche Bildinformation verwendet wird, wobei das zweite fusionierte Bild (220) eine andere Position auf der Probe (300) abbildet als das erste fusionierte Bild (210), sowie ein Zusammenfügen (120) des zumindest ersten fusionierten Bildes (210) und des zweiten fusionierten Bildes (220) zu dem zusammengefügten Mikroskopbild (200).
  2. Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass die strukturierte Beleuchtung beim Aufnehmen (111) des ersten Bildes (230) zumindest als Specklebeleuchtung, periodisches Gitter oder Schachbrettmuster ausgeführt ist.
  3. Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Beleuchtung beim Aufnehmen (112) des ersten und zweiten Bildes (240), als Fluoreszenzbeleuchtung, insbesondere mit zumindest zwei Farbkanälen, ausgeführt ist.
  4. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Aufnehmen (111) des ersten Bildes (230) und ein Aufnehmen (112) des zweiten Bildes (240), mit zumindest einem ersten und einem zweiten Farbkanal erfolgt, wobei insbesondere jeweils zunächst die Probe (300) strukturiert und homogen mit dem ersten Farbkanal beleuchtet wird und danach die Probe (300) strukturiert und homogen mit dem zweiten Farbkanal beleuchtet wird.
  5. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Position auf der Probe (300) sich zumindest in einer z-Richtung der Probe (300), einer x-Richtung der Probe (300) oder einer y-Richtung der Probe (300) unterscheidet, wobei insbesondere die Position der Probe (300) in zumindest der x-Richtung oder y-Richtung durch eine durch eine XY-Bühne (415), auf der die Probe (300) anordenbar ist, verfahren wird.
  6. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich die Position der Probe (300) in dem zweiten fusionierten Bild (220) von Position der Probe (300) des ersten fusionierten Bildes (210) in z-Richtung zwischen 500nm und 500 µm, insbesondere zwischen 1 µm und 300 µm, unterscheidet.
  7. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schärfentiefe der einzelnen aufgenommenen fusionierten Bilder (210, 220)einstellbar ist.
  8. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ferner eine Ausgabe (130) des zusammengefügten Mikroskopbildes (200) vorgesehen ist, wobei insbesondere eine Tiefe in z-Richtung, während der Ausgabe (130) einstellbar ist.
  9. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Erkennen eines Objektives (412), das zumindest zur Aufnahme (111) des ersten Bildes (230) oder zur Aufnahme (112) des zweiten Bildes (240) ausgeführt ist, vorgesehen ist, wobei insbesondere eine Tiefe in z-Richtung, basierend auf der Erkennung des Objektivs (412) eingestellt wird.
  10. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mikroskopische Aufnehmen (110) des zumindest ersten fusionierten Bildes (210) und des zweiten fusionierten Bildes (220) kontinuierlich ausgeführt ist.
  11. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ferner beim Zusammenfügen (120) des zumindest ersten fusionierten Bildes (210) und des zweiten fusionierten Bildes (220) zu dem zusammengefügten Mikroskopbild (200) eine Abschattungskorrektur vorgesehen ist.
  12. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest das erste fusionierte Bild (210) oder das zweite fusionierte Bild (220) als ein Livebild angezeigt wird, wobei zumindest eine Tiefe in z-Richtung, einstellbar ist.
  13. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ferner zumindest: - ein Laden eines Objektträgers in ein Mikroskopsystem (400), - ein Übersichtsscannen des Objektträgers (310), - ein Erfassen einer Labelinformation des Objektträgers (310), - ein Detektieren der Probe (300) auf dem Objektträger (310), - ein Festlegen von Bilderfassungsbereichen basierend auf dem Detektieren der Probe (300), - ein Erstellen einer Fokuskarte, - ein Bewegen einer XY- Bühne (415) zu den Bilderfassungsbereichen, - ein Korrigieren eines Linsenfehlers, - ein Speichern zumindest des ersten Bildes (230), des zweiten Bildes (240), des ersten fusionierten Bildes (210), des zweiten fusionierten Bildes (220) oder des zusammengefügten Mikroskopbildes (200), oder - Verfahren der XY-Bühne (415) zu einer nächsten Probe (300) oder einem nächsten Objektträger (310) vorgesehen ist.
  14. Mikroskopsystem (400), insbesondere zum Ausführen eines Verfahrens (100) nach einem der vorhergehenden Ansprüche, aufweisend: eine optische Aufnahmevorrichtung (410), welche dazu ausgeführt ist, ein mikroskopisches Aufnehmen (110) zumindest eines ersten fusionierten Bildes (210) und eines zweiten fusionierten Bildes (220) bereitzustellen, aufweisend: - eine Kamera (411) und ein Objektiv (412), ausgeführt zum Aufnehmen (111) eines ersten Bildes (230) und eines zweiten Bildes (240), - eine Strukturbeleuchtungseinheit (413), die dazu ausgeführt ist, die Probe (300) strukturiert zu beleuchten, wenn das erste Bild (230) aufgenommen wird, - eine Gaussbeleuchtungseinheit (414), die dazu ausgeführt ist, die Probe (300) gleichförmig zu beleuchten, wenn das zweite Bild (240) aufgenommen wird, sowie eine Recheneinheit (420), die dazu ausgeführt ist, das erste Bild (230) und das zweite Bild (240) zu fusionieren (113), wobei das erste Bild (230) für eine niederfrequente im Fokus befindliche Bildinformation und das zweite Bild (240) für eine hochfrequente im Fokus befindliche Bildinformation verwendet wird, wobei das zweite fusionierte Bild (220) eine andere Position auf der Probe (300) abbildet als das erste fusionierte Bild (210), und das zumindest erste fusionierte Bild (210), und das zweite fusionierte Bild (220) zu dem zusammengefügten Mikroskopbild (200) zusammenzufügen.
  15. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer, insbesondere durch eine Recheneinheit (420) eines Mikroskopsystems (400) nach Anspruch 14, diesen veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 13 auszuführen.
DE102024109226.2A 2023-04-03 2024-04-02 Verfahren zur Erfassung eines zusammengefügten Mikroskopbildes, Mikroskopsystem und Computerprogrammprodukt Pending DE102024109226A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023108517 2023-04-03
DE102023108517.4 2023-04-03

Publications (1)

Publication Number Publication Date
DE102024109226A1 true DE102024109226A1 (de) 2024-10-10

Family

ID=92801997

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102024109226.2A Pending DE102024109226A1 (de) 2023-04-03 2024-04-02 Verfahren zur Erfassung eines zusammengefügten Mikroskopbildes, Mikroskopsystem und Computerprogrammprodukt

Country Status (4)

Country Link
US (1) US20240331100A1 (de)
JP (1) JP7811608B2 (de)
CN (1) CN118778240A (de)
DE (1) DE102024109226A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120431045B (zh) * 2025-04-23 2025-11-14 天津利顺信达实业有限公司 一种基于视觉检测的钢管生产缺陷识别管理方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009149178A1 (en) * 2008-06-05 2009-12-10 Trustees Of Boston University System and method for producing an optically sectioned image using both structured and uniform illumination
JP5751986B2 (ja) * 2010-12-08 2015-07-22 キヤノン株式会社 画像生成装置
JP6811950B2 (ja) * 2016-12-09 2021-01-13 オリンパス株式会社 走査型共焦点顕微鏡装置、走査制御方法、及び、プログラム
CN114004904B (zh) * 2021-10-22 2025-05-23 中国科学院上海光学精密机械研究所 一种基于虚拟HiLo算法的宽场光学切片快速成像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jerome Mertz, Nature Methods - 8: 811-819 2011
Lim et al., Optics Letters - 33: 1819-1821, 2008

Also Published As

Publication number Publication date
JP7811608B2 (ja) 2026-02-05
US20240331100A1 (en) 2024-10-03
JP2024147524A (ja) 2024-10-16
CN118778240A (zh) 2024-10-15

Similar Documents

Publication Publication Date Title
EP3489735B1 (de) Verfahren und anordnung zur lichtblattmikroskopie
EP2107408B1 (de) Mikroskop mit der Beobachtungsrichtung senkrecht zur Beleuchtungsrichtung
EP2137488B1 (de) Verfahren und anordnung zur optischen abbildung mit tiefendiskriminierung
DE102012023024B4 (de) Lichtmikroskop und Mikroskopieverfahren
EP2195697B1 (de) Verfahren zur untersuchung einer probe
EP2193398B1 (de) Verfahren zur mikroskopischen dreidimensionalen abbildung einer probe
DE102012218382B4 (de) Verfahren zum Festlegen eines Lasermikrodissektionsbereichs und zugehöriges Lasermikrodissektionssystem
EP2350726B1 (de) Kombinationsmikroskopie
EP2887117B1 (de) Mikroskop und Verfahren zur SPIM Mikroskopie
EP0977069A2 (de) Verfahren und Anordnung zur konfokalen Mikroskopie
DE102004053730B4 (de) Verfahren und Anordnung zur Unterdrückung von Falschlicht
EP4229398B1 (de) Verfahren und vorrichtung zur lichtmikroskopischen multiskalenaufnahme biologischer proben
DE102007017598A1 (de) Verfahren und Anordnung zum Positionieren eines Lichtblattes in der Fokusebene einer Detektionsoptik
WO2016005571A1 (de) Positionsbestimmung eines objekts im strahlengang einer optischen vorrichtung
DE102012211462A1 (de) Verfahren zur Vorbereitung und Durchführung der Aufnahme von Bildstapeln einer Probe aus verschiedenen Orientierungswinkeln
EP2833125A1 (de) FIB-SEM Array Tomographie
DE102011053232A1 (de) Mikroskopische Einrichtung und mikroskopisches Verfahren zur dreidimensionalen Lokalisierung von punktförmigen Objekten
WO2019011627A1 (de) Eindruckhärteprüfgerät
DE102024109226A1 (de) Verfahren zur Erfassung eines zusammengefügten Mikroskopbildes, Mikroskopsystem und Computerprogrammprodukt
DE10315592B4 (de) Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu
EP4211507B1 (de) Operationsmikroskop mit mindestens zwei kameraeinrichtungen
DE102013021222B4 (de) Mikroskop und Mikroskopieverfahren
EP3988989A1 (de) Verfahren und mikroskop mit einer einrichtung zum erfassen von verlagerungen einer probe gegenüber einem objektiv
DE102023104335B3 (de) Beleuchtungsmodul, Mikroskop und Verfahren
DE10336962A1 (de) Vorrichtung zur konfokalen Abbildung eines Objektes in einer Bildebene

Legal Events

Date Code Title Description
R012 Request for examination validly filed