[go: up one dir, main page]

DE102023211032A1 - Verfahren und optische Vorrichtung zur Bilderfassung mit mehreren Detektionskanälen - Google Patents

Verfahren und optische Vorrichtung zur Bilderfassung mit mehreren Detektionskanälen Download PDF

Info

Publication number
DE102023211032A1
DE102023211032A1 DE102023211032.6A DE102023211032A DE102023211032A1 DE 102023211032 A1 DE102023211032 A1 DE 102023211032A1 DE 102023211032 A DE102023211032 A DE 102023211032A DE 102023211032 A1 DE102023211032 A1 DE 102023211032A1
Authority
DE
Germany
Prior art keywords
acquisition
sequences
detection
image data
duration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102023211032.6A
Other languages
English (en)
Inventor
Gerd Heisse
Toni Feuchert
Joerg Lippold
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Priority to DE102023211032.6A priority Critical patent/DE102023211032A1/de
Priority to CN202411560749.1A priority patent/CN119967111A/zh
Priority to US18/939,071 priority patent/US20250150721A1/en
Publication of DE102023211032A1 publication Critical patent/DE102023211032A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0602Systems characterised by the synchronising information used
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0647Synchronisation among TDM nodes
    • H04J3/065Synchronisation among TDM nodes using timestamps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/957Light-field or plenoptic cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bilderfassung mit mehreren Detektionskanälen (Ch1, CH2), umfassend die Schritte des Erfassens erster Bilddaten mittels eines ersten Detektionskanals (Ch1) in einem ersten Erfassungsmodus und des Erfassens zweiter Bilddaten mittels eines zweiten Detektionskanals (Ch2) in einem zweiten Erfassungsmodus, wobei die ersten Bilddaten und die zweiten Bilddaten in jeweils zueinander alternierenden Erfassungssequenzen (Smn) je einer Erfassungsfolge (EF1, EF2) erfasst werden.
Kennzeichnend ist, dass die Dauer der Erfassungssequenzen (Smn) der Erfassungsfolgen (EF1, EF2) je Detektionskanal (Ch1, Ch2) unterschiedlich gewählt wird, wobei die Dauer der Erfassungssequenzen (Smn) in einem der Erfassungsmodi wenigstens um die Dauer einer einzelnen Bilderfassung von der Dauer der Erfassungssequenzen (Smn) des mindestens einem weiteren Erfassungsmodus verschieden ist.
Die Erfindung betrifft zudem eine optische Vorrichtung zur Bilderfassung mit mehreren Detektionskanälen (Ch1, CH2).

Description

  • Die Erfindung betrifft ein Verfahren zur Bilderfassung mit mehreren Detektionskanälen gemäß dem Oberbegriff des Hauptanspruchs. Die Erfindung betrifft zudem eine zur Durchführung des Verfahrens eingerichtete optische Vorrichtung sowie ein Mikroskop.
  • In kamerabasierten optischen Systemen, beispielsweise in Mikroskopen, die als Weitfeldmikroskop oder als Lichtfeldmikroskop betrieben werden, stellen eine erforderliche minimale Belichtungszeit und eine maximale Datenübertragungsrate Limitierungen für eine maximale Bilderfassungsrate (Framerate, frame rate) dar. Eine jeweils maximale Bilderfassungsrate kann bei Mehrfarbaufnahme erreicht werden, indem eine abzubildende Probe entsprechend mit unterschiedlichen Wellenlängen beleuchtet wird und die unterschiedlichen Farbkanäle (Detektionskanäle) simultan mit mehreren Kameras erfasst werden. Nachteilig ist dabei der Bedarf an mehreren Kameras und ein mögliches Übersprechen der Farbkanäle.
  • Soll nur eine Kamera für die Erfassung von Mehrfarbaufnahmen verwendet werden, können die Bilder der einzelnen Detektionskanäle alternierend erfasst werden. Dadurch sinkt die maximal erreichbare kanalspezifische Bilderfassungsrate auf einen Wert, der sich aus der maximalen Bilderfassungsrate der Kamera geteilt durch die Anzahl der Detektionskanäle sowie infolge von technischen Limitierungen des Bildaufnahmesystems, beispielsweise eine Limitierung der verfügbaren Bandbreite, ergibt.
  • Der Erfindung liegt die Aufgabe zu Grunde, eine Möglichkeit zur Bilderfassung mit mehreren Detektionskanälen vorzuschlagen, bei der ein effizienter Geräteaufbau sowie eine hohe Datenqualität erreicht werden können.
  • Die Aufgabe wird mit den Gegenständen des unabhängigen sowie des nebengeordneten Anspruchs gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
  • Die Aufgabe wird mit einem Verfahren gelöst, bei dem eine Bilderfassung mit mehreren Detektionskanälen erfolgt. Das Verfahren umfasst die nachstehend beschriebenen Schritte. In einem Schritt werden erste Bilddaten eines ersten Detektionskanals erfasst. Die Erfassung mittels des ersten Detektionskanals kann auch als erster Erfassungsmodus bezeichnet werden. In einem weiteren Schritt werden zweite Bilddaten eines zweiten Detektionskanals erfasst (auch: zweiter Erfassungsmodus). Dabei werden die ersten Bilddaten und die zweiten Bilddaten in jeweils zueinander alternierenden Erfassungssequenzen je einer Erfassungsfolge erfasst. Während einer Erfassungsfolge werden mehrere Bilder (engl.: frames) erfasst. Die Erfassungsfolge umfasst mindestens eine Erfassungssequenz (siehe unten zu 1 und 2).
  • Gekennzeichnet ist ein erfindungsgemäßes Verfahren dadurch, dass die Dauer der Erfassungssequenzen der Erfassungsfolgen je Detektionskanal unterschiedlich gewählt wird. Dabei ist die zeitliche Länge - und damit die Dauer - der Erfassungssequenzen in einem der Erfassungsmodi, wenigstens um die Dauer einer einzelnen Bilderfassung von der Dauer der Erfassungssequenzen des mindestens einem weiteren Erfassungsmodus verschieden. Unterschiedliche Dauern der Erfassungssequenzen bedingen daher eine jeweils verschiedene Anzahl von erfassten Einzelbildern je Erfassungssequenz der Erfassungsmodi.
  • Die Erfindung wird nachfolgend anhand zweier Erfassungsmodi beschrieben. Sie kann jedoch entsprechend weitere, beispielsweise drei, vier, fünf oder mehr Erfassungsmodi umfassen.
  • Unter einem Erfassungsmodus wird hier vereinfachend das Aufnehmen von Bildern, also das Erfassen einer Detektionsstrahlung, mit unterschiedlichem Informationsgehalt verstanden. So können in den einzelnen Erfassungsmodi Bilddaten unterschiedlichen Ursprungs, beispielsweise Fluoreszenzstrahlung unterschiedlicher Fluorophore, erfasst werden. Verschiedene Erfassungsmodi können beispielsweise bewirkt werden, indem verschiedene Beleuchtungswellenlängen (Anregungstrahlung) zur Verfügung gestellt werden, die unterschiedliche Fluorophore zur Emission von Fluoreszenzstrahlung anregen. Dies kann simultan erfolgen. Gegebenenfalls sind Fluorophore vor ihrer Anregung erst zu aktivieren, das heißt aus einem inaktiven Zustand in einen anregbaren Zustand zu überführen. Eine Aktivierung kann beispielsweise mit einer geeigneten Aktivierungsstrahlung erfolgen. Als Detektionsstrahlung kann auch reflektierte und/oder transmittierte Beleuchtungsstrahlung dienen. In diesem Fall kann zum Beispiel die Art der Ausrichtung und/oder Formung der Beleuchtungsstrahlung in den einzelnen Erfassungsmodi verändert werden. Beispielsweise kann zwischen einer Auflicht- und einer Durchlichtbeleuchtung, zwischen Hell- und Dunkelfeldbeleuchtung und/oder zwischen unterschiedlichen Beleuchtungswinkeln und/oder Beleuchtungsrichtungen gewechselt werden, um jeweils verschiedene Erfassungsmodi zu realisieren.
  • Relevant für die Erfindung ist das Zusammenwirken der Steuerung mit der Kamera und gegebenenfalls der Lichtquelle(-n) und weiteren optisch wirksamen Elementen, um die oben angegebene Verfahrensführung zu bewirken. Es wird davon ausgegangen, dass die Kamera eine Bilderfassung mit nur einer Bildrate (frame rate) erlaubt. Unterschiedliche Erfassungsmodi oder Detektionskanäle können beispielsweise realisiert werden, indem im Beleuchtungsstrahlengang und/oder im Detektionsstrahlengang entsprechende Maßnahmen zur Selektion der erfassten Bilddaten, zum Beispiel die Verwendung wellenlängenspezifischer Filter, getroffen werden.
  • Die Erfassungsfolgen dauern in einer bevorzugten Ausgestaltung des Verfahrens gleich lang und verlaufen zeitlich simultan. Da die Erfassungssequenzen innerhalb der Erfassungsfolgen alternierend zueinander stattfinden, können mit nur einer Kamera vorteilhaft mindestens zwei Erfassungsmodi realisiert werden. Wegen des Umstands, dass die Erfassungsfolgen gleichzeitig stattfinden und gleich lang sind, weisen beide über diejenige Zeitdauer, über die mittels des jeweils anderen Detektionskanals Bilderfassungen in einer jeweiligen Erfassungssequenz erfolgen, Datenlücken auf. Eine Datenlücke bezeichnet einen Zeitraum einer Erfassungsfolge, während der keine aktuellen Bilddaten mit dem betreffenden Erfassungsmodus erfasst werden und die somit einer Anzahl ausgelassener Bilder dieses Erfassungsmodus entspricht.
  • Im Ergebnis der erfindungsgemäßen Vorgehensweise bei der Bilderfassung kann das Erfordernis bestehen, für die gesamten Erfassungsfolgen zu jedem Zeitpunkt ein Bild vorliegen zu haben und/oder anzeigen zu können. Dazu werden in einer Ausgestaltung des erfindungsgemäßen Verfahrens für die infolge der alternierenden Erfassung erster und zweiter Bilddaten bedingten und mindestens einem ausgelassenen Bild entsprechenden Datenlücken jeweils künstliche Bilddaten generiert. Dies kann auf zwei Wegen geschehen. In einer ersten Variante werden zeitlich vor und/oder zeitlich nach einer Datenlücke erfasste Bilddaten kopiert und den ausgelassenen Bildern zugeordnet. Die Datenlücken werden also mit tatsächlichen Bilddaten eines nicht zur Datenlücke korrespondierenden Zeitraums gefüllt. Diese Variante des Verfahrens erfordert wenig Rechenleistung, erhöht aber etwas den Bedarf an Speicherplatz.
  • In einer zweiten Variante werden Datenlücken gefüllt, indem anhand von Bilddaten eines Detektionskanals, die zeitlich vor und/oder zeitlich nach einer Datenlücke erfasst wurden, Bilddaten für die ausgelassenen Bilder berechnet werden. Beispielsweise können die vor und nach einer Datenlücke erfassten Bilddaten verwendet werden, um mittels Interpolation Bilddaten zum Auffüllen der Datenlücke zu erzeugen. Für diese Variante besteht entsprechend ein erhöhter Rechen- und Speicherplatzbedarf.
  • Vorteil der beiden genannten Varianten ist, dass aus dem Stand der Technik bekannte Algorithmen ohne weitere Anpassungen mit derartigen Bildfolgen umgehen können.
  • Eine weitere Ausgestaltung des erfindungsgemäßen Verfahrens besteht darin, den Bilddaten sowie den Datenlücken Informationen (Metadaten) zuzuordnen. Solche Metadaten können insbesondere Informationen zur Dauer der Erfassungssequenzen und der Datenlücken sowie zu der Anzahl der erfassten beziehungsweise ausgelassenen Bilder enthalten.
  • Auf diese Weise können beispielsweise für Anzeige- und Auswertealgorithmen Informationen über erfasste beziehungsweise ausgelassene Bilder sowie die dazugehörigen Zeitpunkte beziehungsweise Zeiträume (Zeitstempel) bereitgestellt werden. Metadaten können optional oder immer für die Erfassungsfolgen erzeugt und den Bilddaten zugeordnet werden.
  • Eine weitere Ausgestaltung des erfindungsgemäßen Verfahrens bedient sich der Informationen zu den Intensitäten der erfassten Bilder. Sind beispielsweise die Intensitätswerte der Bilder in den unterschiedlichen Detektionskanälen sehr unterschiedlich, können die Erfassungssequenzen auch in dieser Hinsicht angepasst werden, sodass beispielsweise jeweils mehr Bilder pro Erfassungssequenz in einem Erfassungsmodus mit geringer Intensität der erfassten Bilder erfasst werden als in einem Erfassungsmodus, bei dem Bilder hoher Intensität vorliegen.
  • Das erfindungsgemäße Verfahren erlaubt vorteilhaft, mit nur einer Kamera mindestens zwei Erfassungsmodi zu realisieren, selbst wenn nur eine begrenzte Bandbreite für eine Datenübertragung zur Verfügung steht. Dabei ist es vorteilhaft möglich, die Zeitdauern und die relativen alternierenden Abfolgen der Erfassungssequenzen auf die bekannten oder erwarteten zu beobachtenden Vorgänge im Rahmen der technischen Spezifikationen der Kamera flexibel abzustimmen. So ist es möglich, in einem der Erfassungsmodi einen schnell ablaufenden Prozess zu beobachten. Dazu können die Erfassungssequenzen dieses Erfassungsmodus in kurzer zeitlicher Abfolge gewählt werden. Zudem kann deren jeweilige Zeitdauer einer Erfassungssequenz entsprechend länger gewählt werden als die der Erfassungssequenzen eines weiteren Erfassungsmodus, mit dem ein langsamer ablaufender Prozess, beispielsweise eine Bewegung eines zu beobachtenden Elements der Probe, abgebildet werden soll. Der langsamer ablaufende Vorgang kann mit Bildern von kürzeren und zeitlich weiter voneinander beabstandeten Erfassungssequenzen aufgenommen werden.
  • Es ist außerdem möglich, die Dauer der Erfassungssequenzen über mehrere, beispielsweise zeitlich aufeinanderfolgende, Erfassungsfolgen zu verändern. So kann bei einer unmittelbar erfolgten Auswertung von Bilddaten einer Erfassungsfolge auf die Geschwindigkeit der mit den unterschiedlichen Erfassungsmodi erfassten Vorgängen geschlossen und bei Bedarf die Zeitdauern und alternierenden Abfolgen der Erfassungssequenzen der Erfassungsmodi angepasst werden.
  • Alternativ oder zusätzlich können Informationen in einer Datenbank vorgehalten werden, aufgrund derer eine Anpassung der Erfassungssequenzen vorgenommen werden kann. Solche Informationen können aufgrund bereits erfolgter Experimente und/oder aufgrund von Simulationen gewonnen worden sein.
  • In einer weiteren möglichen Ausgestaltung des erfindungsgemäßen Verfahrens können die Zeitdauern der Erfassungssequenzen auch innerhalb einer Erfassungsfolge variiert werden.
  • Die vorstehend beschriebenen Ausgestaltungen des erfindungsgemäßen Verfahrens können im Rahmen fachmännischen Handelns miteinander kombiniert werden.
  • Die der Erfindung zu Grunde liegende Aufgabe wird außerdem mit einer optischen Vorrichtung gelöst, die zur Erfassung von Bilddaten auf mindestens zwei Detektionskanälen eingerichtet ist.
  • Die optische Vorrichtung weist einen Detektionsstrahlengang auf, entlang dem zu erfassende Detektionsstrahlung auf eine Kamera (Detektor) gelenkt ist. Außerdem ist eine Steuerung vorhanden, die zur Erzeugung und Übermittlung von Steuerbefehlen konfiguriert ist, wobei mittels der Steuerbefehle mindestens eine Lichtquelle zur Bereitstellung von Beleuchtungsstrahlung, optische Filterelemente zur gesteuerten Auswahl wenigstens eines Wellenlängenbereichs der Beleuchtungsstrahlung und/oder optische Filterelemente zur gesteuerten Auswahl wenigstens eines Wellenlängenbereichs der Detektionsstrahlung angesteuert werden. Diese Ansteuerung dient dazu, um in einem ersten Erfassungsmodus erste Bilddaten eines ersten Detektionskanals und in einem zweiten Erfassungsmodus zweite Bilddaten eines zweiten Detektionskanals zu erfassen. Bestimmt sind die Erfassungsmodi durch die jeweils ausgewählten Wellenlängenbereiche der Beleuchtungsstrahlung und/oder der Detektionsstrahlung oder die Art und Weise der Beleuchtung, wie dies bereits oben ausgeführt wurde. Die ersten Bilddaten beziehungsweise die zweiten Bilddaten werden in jeweiligen alternierenden Erfassungssequenzen je einer Erfassungsfolge erfasst.
  • Kennzeichnend für eine erfindungsgemäße optische Vorrichtung ist, dass mittels der Steuerbefehle der Steuerung die Dauer der Erfassungssequenzen der Erfassungsfolgen je Detektionskanal voneinander verschieden eingestellt sind. Dazu werden die optischen Filterelemente derart angesteuert, dass durch deren Wirkung über die Dauer der jeweiligen Erfassungssequenzen Detektionsstrahlung der verschiedenen Erfassungsmodi erfasst und diesen zugeordnet werden.
  • Die Dauer der Erfassungssequenzen zwischen den Erfassungsfolgen ist dabei wenigstens um die Dauer einer einzelnen Bilderfassung (frame) von der Dauer der Erfassungssequenzen des mindestens einem weiteren Erfassungsmodus verschieden, sodass für zeitlich parallele Erfassungsfolgen für einen Zeitpunkt jeweils Bilddaten nur einer Erfassungssequenz erfasst werden und in den Erfassungsfolgen außerhalb der jeweiligen Erfassungssequenzen Datenlücken vorliegen.
  • Unter optischen Filterelementen werden hier technische Bauteile und Maßnahmen verstanden, die im Ergebnis zu einer gesteuerten Erfassung der ersten und zweiten Bilddaten führen. So kann eine Lichtquelle mehrere einzelne Laser, Laserdioden und/oder Leuchten umfassen, die in verschiedenen Wellenlängenbereichen abstrahlen. Zwischen den betreffenden Einzellichtquellen kann entsprechend eines jeweils aktuell gewählten Erfassungsmodus umgeschaltet werden, indem beispielsweise durch ein gezieltes An- und Ausschalten der Einzellichtquellen oder durch die Verwendung von Blenden (Shutter) oder Spiegeln aktuell nicht gewünschte Wellenlängen an einer Beleuchtung der Probe gehindert werden. Beleuchtungsseitig können auch optische Filter, wie spektrale Filter und/oder akustooptische Filter (AOTF), ausgewählt und/oder angesteuert sein, um entsprechend eines aktuell gewählten Erfassungsmodus Wellenlängen für die Beleuchtung zur Probe gelangen zu lassen.
  • Entsprechende Maßnahmen können alternativ oder zusätzlich für den Detektionsstrahlengang vorgesehen sein. Die erfassten Bilddaten werden entsprechend der Erfassungsfolgen und Erfassungsmodi sowie dem Zeitpunkt ihrer Erfassung gespeichert und stehen einer sofortigen oder späteren Auswertung zur Verfügung.
  • Die optische Vorrichtung weist eine entsprechend konfigurierte Steuerung auf oder steht mit einer solchen in einer für den Austausch von Daten geeigneten Verbindung. Die Steuerung dient der Erzeugung von Steuerbefehlen und kann beispielsweise ein Rechner, ein Microcontroller oder ein FPGA (field programmable gate array) sein.
  • Die erfindungsgemäße optische Vorrichtung ist insbesondere Bestandteil eines optischen Geräts zur Bilderfassung mit mehreren Detektionskanälen, beispielsweise eines Mikroskops.
  • Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und Abbildungen näher erläutert. Es zeigen:
    • 1 eine schematische Darstellung einer Bilderfassung mit zwei Erfassungsmodi gemäß dem Stand der Technik;
    • 2 eine schematische Darstellung einer Bilderfassung mit zwei Erfassungsmodi und alternierender Bilderfassung gemäß dem Stand der Technik;
    • 3 eine schematische Darstellung einer erfindungsgemäßen Bilderfassung mit zwei Erfassungsmodi und alternierender Bilderfassung;
    • 4 eine schematische Darstellung einer Wiedergabe erfindungsgemäß erfasster Bilder einer erfindungsgemäßen Bilderfassung mit zwei Erfassungsmodi und alternierender Bilderfassung; und
    • 5 eine schematische Darstellung einer Ausführung eines erfindungsgemäßen Mikroskops.
  • In einem Verfahren zur Bilderfassung mit zwei Erfassungsmodi Ch1 und Ch2 gemäß dem Stand der Technik werden in zwei zueinander zeitlich parallelen Erfassungsfolgen EF1 und EF2 jeweils eine Mehrzahl von Bildern (als Quadrate dargestellt) erfasst (1). In dem ersten Erfassungsmodus Ch1 ist beispielhaft die Bewegung eines ersten Objekts O1 (beispielhaft als Hexagon gezeigt) über die Zeitdauer der ersten Erfassungsfolge EF1 gezeigt. Das erste Objekt O1 verändert seine relative Lage innerhalb der Bilder deutlich. Dagegen verbleibt ein mittels des zweiten Erfassungsmodus Ch2 erfasstes und mit einer liegenden ovalen Form dargestellten zweites Objekt O2 über die Zeitdauer der zweiten Erfassungsfolge EF2 an seiner anfänglichen Position.
  • Da beide Erfassungsmodi Ch1 und Ch2 beispielsweise mittels zweier verschiedener Kameras erfasst werden, können über die jeweiligen Erfassungsfolgen EF1 und EF2 alle erfassten Bilder ohne Datenlücken DL (siehe 2) beispielsweise auf einem Bildschirm (Display) angezeigt werden.
  • Werden dagegen die Bilder der Erfassungsfolgen EF1 und EF2 alternierend erfasst, wechseln in jeder Erfassungsfolge EF1, EF2 erfasste Bilder und Datenlücken DL ab (2). Auch hier bewegen sich im gezeigten Beispiel die Objekte O1 beziehungsweise O2 unterschiedlich schnell.
  • In der 3 ist schematisch eine erfindungsgemäße Bilderfassung mit zwei Erfassungsmodi und alternierender Bilderfassung dargestellt. Da sich das zweite Objekt O2 nicht beziehungsweise erheblich langsamer bewegt als das erste Objekt O1, wird das erste Objekt O1 gezielt häufiger erfasst als das zweite Objekt O2. Dazu werden innerhalb der ersten Erfassungsfolge EF1 die Bilder in Erfassungssequenzen S11 bis S13 erfasst, die voneinander um mindestens die Erfassungsdauer eines Bildes getrennt sind. Während dieser Datenlücken DL der ersten Erfassungsfolge EF1 werden in Erfassungssequenzen S21 und S22 die Bilder der zweiten Erfassungsfolge EF2 erfasst. Die Erfassungssequenzen S11, S12 und S13 der ersten Erfassungsfolge EF1 umfassen jeweils zwei erfasste Bilder, während die Erfassungssequenzen S21 und S22 der zweiten Erfassungsfolge EF2 jeweils ein erfasstes Bild umfassen.
  • Um die jeweils Datenlücken DL aufweisenden Erfassungsfolgen EF1, EF2 möglichst vollständig, also ohne Datenlücken DL, darstellen zu können, werden diese in einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens rechnerisch aufgefüllt (4). Dazu können insbesondere bei sich schnell bewegenden Objekten O1 Interpolationen genutzt werden, um die betreffenden Datenlücken DL zu füllen. Bei sich langsam bewegenden Objekten O2 kann zum Beispiel das direkt vor der betreffenden Datenlücke DL erfasst Bild kopiert und zum Auffüllen der angrenzenden Datenlücke DL verwendet werden. Die in die Datenlücken DL eingefügten Bilder sind in 4 mittels unterbrochener Volllinien gezeigt.
  • In der 5 ist eine schematische Darstellung eines Mikroskops M in Form eines Weitfeldmikroskops gezeigt. Dieses umfasst eine Lichtquelle 1, beispielsweise eine Laserlichtquelle, von der ausgehend ein Strahlenbündel einer Anregungsstrahlung ausgesendet und auf eine abzubildende Probe 2 gerichtet wird. Optional vorhandene optische Elemente zur Formung und/oder Kollimation der Anregungsstrahlung sind der besseren Übersicht halber nicht dargestellt.
  • Lediglich beispielhaft ist mit dem Bezugszeichen 3 ein Schaltelement symbolisch dargestellt, das mit einer Steuerung 4 verbunden ist und durch dessen Wirkung unterschiedliche Erfassungsmodi im vorgenannten Sinne bewirkt werden können. Die Lichtquelle 1 kann beispielsweise mehrere einzelne Laser, Laserdioden oder Leuchten umfassen, die in verschiedenen Wellenlängenbereichen abstrahlen. Zwischen den betreffenden Einzellichtquellen wird entsprechend eines jeweils aktuell gewählten Erfassungsmodus umgeschaltet. Dies kann durch ein gezieltes An- und Ausschalten der Einzellichtquellen oder durch die Verwendung von Blenden (Shutter) oder Spiegeln erfolgen, um aktuell nicht gewünschte Wellenlängen zu blockieren. Es ist auch möglich, dass aus einem abgestrahlten Wellenlängenbereich der Lichtquelle 1 mittels geeigneter Filter (spektrale Filter, AOTF) je nach gewählten Erfassungsmodus unterschiedlichen Wellenlängenbereiche ausgefiltert beziehungsweise für die Beleuchtung zur Verfügung gestellt werden.
  • Die Anregungsstrahlung wird in einen Probenraum gerichtet, in dem die abzubildende Probe 2 auf einem Probentisch 5 vorhanden sein kann.
  • Eine in der Probe 2 durch die Anregungsstrahlung bewirkte Detektionsstrahlung wird mit einem Objektiv 6 erfasst und entlang eines Detektionsstrahlengangs 7 (mit unterbrochenen Volllinien gezeigt) geführt.
  • Die Detektionsstrahlung gelangt zu einer im Detektionsstrahlengang 7 vorhandenen Optik 8, mittels der die Detektionsstrahlung auf eine Kamera 9 gerichtet wird.
  • Optional steht die Lichtquelle 1 mit der Steuerung 4 in einer zum Austausch von Daten und Steuerbefehlen geeigneten Verbindung. Die Steuerung 4 ist beispielsweise ein Rechner oder ein geeigneter Steuerschaltkreis. Optional können die Steuerung 4 und die Kamera 9 miteinander verbunden sein, um zum Beispiel der Steuerung 4 anhand der erfassten Helligkeitsinformationen (Messwerte) der Kamera 9 die Generierung von Steuerbefehlen zu ermöglichen und/oder um diese zu validieren. Diese Steuerbefehle dienen beispielsweise dazu, die Lichtquelle 1 und/oder einen optionalen Antrieb 10 des Probentischs 8 anzusteuern.
  • Die Steuerung 4 dient insbesondere dazu, das erfindungsgemäße Verfahren durchzuführen. Dabei werden die vorbestimmten Parameter der Erfassungsfolgen EF1, EF2, der Erfassungssequenzen S11 bis S13, S21 bis S23 sowie gegebenenfalls Eigenschaften der Datenlücken DL in Steuerbefehle übersetzt und durch deren Ausführung das Verfahren angewendet.
  • In weiteren Ausführungen der Erfindung kann zusätzlich oder alternativ das Schaltelement 3 im Detektionsstrahlengang 7 angeordnet sein.
  • Bezugszeichen
  • 1
    Lichtquelle
    2
    Probe
    3
    Schaltelement
    4
    Steuerung
    5
    Probentisch
    6
    Objektiv
    7
    Detektionsstrahlengang
    8
    Optik
    9
    Kamera
    10
    Antrieb
    Ch1, Ch2
    Detektionskanal, Erfassungsmodus
    DL
    Datenlücke
    EF1, EF2
    Erfassungsfolge
    M
    Mikroskop
    Smn
    Erfassungssequenz (m = Erfassungsfolge; n = laufende Nummer der Erfassungssequenz)

Claims (10)

  1. Verfahren zur Bilderfassung mit mehreren Detektionskanälen (Ch1, CH2), umfassend die Schritte - des Erfassens mindestens erster Bilddaten eines ersten Detektionskanals (Ch1) in einem ersten Erfassungsmodus; - des Erfassens mindestens zweiter Bilddaten eines zweiten Detektionskanals (Ch2) in einem zweiten Erfassungsmodus; - wobei die ersten Bilddaten und die zweiten Bilddaten in jeweils zueinander alternierenden Erfassungssequenzen (Smn) je einer Erfassungsfolge (EF1, EF2) erfasst werden; die ersten und zweiten Bilddaten mit einer einzelnen Kamera (9) erfasst werden, und die Dauer der Erfassungssequenzen (Smn) der Erfassungsfolgen (EF1, EF2) je Detektionskanal (Ch1, Ch2) unterschiedlich gewählt wird, wobei die Dauer der Erfassungssequenzen (Smn) in einem der Erfassungsmodi wenigstens um die Dauer einer einzelnen Bilderfassung von der Dauer der Erfassungssequenzen (Smn) des mindestens einem weiteren Erfassungsmodus verschieden ist.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für infolge der alternierenden Erfassung erster und zweiter Bilddaten bedingte und mindestens einem ausgelassenen Bild entsprechenden Datenlücken (DL) jeweils künstliche Bilddaten generiert werden, indem entweder - zeitlich vor und/oder zeitlich nach einer Datenlücke (DL) erfasste Bilddaten kopiert und den ausgelassenen Bildern zugeordnet werden, oder - anhand von Bilddaten eines Detektionskanals (Ch1, Ch2), die zeitlich vor und/oder zeitlich nach einer Datenlücke (DL) erfasst wurden, Bilddaten für die ausgelassenen Bilder berechnet werden.
  3. Verfahren nach einem der Ansprüche 1 und 2, dadurch gekennzeichnet, dass den Bilddaten sowie den Datenlücken (DL) Informationen zugeordnet werden, in denen die Dauer der Erfassungssequenzen (Smn) und der Datenlücken (DL) sowie die Anzahl der erfassten beziehungsweise ausgelassenen Bilder angegeben sind.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Informationen zusätzlich Zeitstempel der Erfassungsfolgen (EF1, EF2) umfassen.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Dauer der Erfassungssequenzen (Smn) der Erfassungsfolgen (EF1, EF2) je Detektionskanal (Ch1, Ch2) in Abhängigkeit einer Bewegung abgebildeter Strukturen gewählt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Dauer der Erfassungssequenzen (Smn) der Erfassungsfolgen (EF1, EF2) je Detektionskanal (Ch1, Ch2) in Abhängigkeit einer Intensität erfasster Bilder gewählt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Dauer der Erfassungssequenzen (Smn) in zeitlich aufeinanderfolgenden Erfassungsfolgen (EF1, EF2) verändert wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Dauer der Erfassungssequenzen (Smn) innerhalb einer Erfassungsfolge (EF1, EF2) verändert wird.
  9. Optische Vorrichtung zur Erfassung von Bilddaten auf mindestens zwei Detektionskanälen (Ch1, Ch2), aufweisend - einen Detektionsstrahlengang (7), entlang dem zu erfassende Detektionsstrahlung auf eine Kamera (9) gelenkt ist; - eine Steuerung (4), die zur Erzeugung und Übermittlung von Steuerbefehlen konfiguriert ist, wobei mittels der Steuerbefehle mindestens eine Lichtquelle (1) zur Bereitstellung von Beleuchtungsstrahlung, optische Filterelemente (3) zur gesteuerten Auswahl wenigstens eines Wellenlängenbereichs der Beleuchtungsstrahlung und/oder optische Filterelemente (3) zur gesteuerten Auswahl wenigstens eines Wellenlängenbereichs der Detektionsstrahlung angesteuert werden, um in einem ersten Erfassungsmodus (Ch1, Ch2) mittels der Kamera (9) erste Bilddaten eines ersten Detektionskanals (Ch1) und in einem zweiten Erfassungsmodus (Ch1, Ch2) mittels der Kamera (9) zweite Bilddaten eines zweiten Detektionskanals (Ch2) zu erfassen, wobei die Erfassungsmodi durch die jeweils ausgewählten Wellenlängenbereiche der Beleuchtungsstrahlung und/oder der Detektionsstrahlung bestimmt sind, und um die ersten Bilddaten und die zweiten Bilddaten in jeweiligen alternierenden Erfassungssequenzen (Smn) je einer Erfassungsfolge (EF1, EF2) zu erfassen, dadurch gekennzeichnet, dass mittels der Steuerbefehle der Steuerung (4) die Dauer der Erfassungssequenzen (Smn) der Erfassungsfolgen (EF1, EF2) je Detektionskanal (Ch1, Ch2) voneinander verschieden eingestellt sind, indem die optischen Filterelemente (3) derart angesteuert werden, dass durch deren Wirkung über die Dauer der jeweiligen Erfassungssequenzen (Smn) Detektionsstrahlung der verschiedenen Detektionskanäle (Ch1, Ch2) erfasst und diesen zugeordnet werden, wobei die Dauer der Erfassungssequenzen (EF1, EF2) eines Detektionskanals (Ch1, Ch2) wenigstens um die Dauer einer einzelnen Bilderfassung von der Dauer der Erfassungssequenzen (EF1, EF2) des mindestens einem weiteren Detektionskanals (Ch1, Ch2) verschieden ist, sodass für zeitlich parallele Erfassungsfolgen (EF1, EF2) für einen Zeitpunkt jeweils Bilddaten nur einer Erfassungssequenz (Smn) erfasst werden und in den Erfassungsfolgen (EF1, EF2) außerhalb der jeweiligen Erfassungssequenzen (Smn) Datenlücken (DL) vorliegen.
  10. Mikroskop (M) aufweisend eine optische Vorrichtung nach Anspruch 9.
DE102023211032.6A 2023-11-07 2023-11-07 Verfahren und optische Vorrichtung zur Bilderfassung mit mehreren Detektionskanälen Pending DE102023211032A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102023211032.6A DE102023211032A1 (de) 2023-11-07 2023-11-07 Verfahren und optische Vorrichtung zur Bilderfassung mit mehreren Detektionskanälen
CN202411560749.1A CN119967111A (zh) 2023-11-07 2024-11-04 使用多个检测通道采集帧的方法和光学设备
US18/939,071 US20250150721A1 (en) 2023-11-07 2024-11-06 Method and optical device for acquiring frames using a plurality of detection channels

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102023211032.6A DE102023211032A1 (de) 2023-11-07 2023-11-07 Verfahren und optische Vorrichtung zur Bilderfassung mit mehreren Detektionskanälen

Publications (1)

Publication Number Publication Date
DE102023211032A1 true DE102023211032A1 (de) 2025-05-08

Family

ID=95400124

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023211032.6A Pending DE102023211032A1 (de) 2023-11-07 2023-11-07 Verfahren und optische Vorrichtung zur Bilderfassung mit mehreren Detektionskanälen

Country Status (3)

Country Link
US (1) US20250150721A1 (de)
CN (1) CN119967111A (de)
DE (1) DE102023211032A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012219136A1 (de) * 2012-10-19 2014-05-28 Leica Microsystems Cms Gmbh Mikroskop und ein Verfahren zur Untersuchung einer Probe mit einem Mikroskop
EP3276334B1 (de) * 2015-03-27 2023-11-22 Nikon Corporation Mikroskopvorrichtung, betrachtungsverfahren und steuerungsprogramm

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012219136A1 (de) * 2012-10-19 2014-05-28 Leica Microsystems Cms Gmbh Mikroskop und ein Verfahren zur Untersuchung einer Probe mit einem Mikroskop
EP3276334B1 (de) * 2015-03-27 2023-11-22 Nikon Corporation Mikroskopvorrichtung, betrachtungsverfahren und steuerungsprogramm

Also Published As

Publication number Publication date
CN119967111A (zh) 2025-05-09
US20250150721A1 (en) 2025-05-08

Similar Documents

Publication Publication Date Title
EP3864454B1 (de) Verfahren und vorrichtung zur hochaufgeloesten fluoreszenzmikroskopie
EP2156235B1 (de) Mikroskop und verfahren zum betreiben eines mikroskops
WO2010060545A1 (de) Auflösungsgesteigerte mikroskopie
EP3084500B1 (de) Verfahren zur scanning-mikroskopie und scanning-mikroskop
DE102019110157B4 (de) Fluoreszenz-Rastermikroskop und Verfahren zur Abbildung einer Probe
EP3033647A1 (de) Hochauflösende 3d-fluoreszenzmikroskopie
DE102023101782B3 (de) Vorrichtung und Verfahren zum Erzeugen eines zusammengesetzten Bildes einer Probe
EP1542051B1 (de) Verfahren und Vorrichtung zum Trennen unterschiedlicher Emissionswellenlängen in einem Scanmikroskop
DE102010007730B4 (de) Verfahren und Vorrichtung zum Einstellen eines geeigneten Auswerteparameters für ein Fluoreszenzmikroskop
WO2024153476A1 (de) Mikroskop
EP2988157B1 (de) Verfahren zur abbildung einer probe mittels eines mikroskops und mikroskop
DE102023211032A1 (de) Verfahren und optische Vorrichtung zur Bilderfassung mit mehreren Detektionskanälen
EP3956651B1 (de) Fluoreszenzmikroskop und verfahren zur abbildung einer probe
EP1929353B1 (de) Verfahren zur erzeugung von darstellungsbildern aus erfassten aufnahmebildern und mittel zur durchführung des verfahrens
DE10253108B4 (de) Verfahren zur Detektion eines Objekts mit einem Rastermikroskop und Rastermikroskop zur Detektion eines Objekts
DE2462110B2 (de) Verfahren zur steigerung der foerderlichen vergroesserung eines optischen mikroskopes und mikroskop zur durchfuehrung des verfahrens
DE102020214802A1 (de) Verfahren und Vorrichtung zur Aufnahme von Infrarot- und Farbbildern
DE10323193A1 (de) Einrichtung und Verfahren zur multispektralen Abtastung einer Farbbildvorlage
DE102016123258B4 (de) Lumineszenzdetektoranordnung, Fluoreszenzmikroskop und Verfahren zum Detektieren eines Lumineszenzsignals
DE102006052542B4 (de) Bilderfassungseinrichtung
DE102021203870A1 (de) Verfahren zur Erzeugung eines korrigierten Bildes und Vorrichtung
DE102021203872A1 (de) Verfahren zur Erzeugung eines Helligkeitskorrekturbilds und Vorrichtung
WO2017178528A1 (de) Mikroskop mit gruppen von lichtemittern zur beleuchtung sowie mikroskopieverfahren
WO2007033632A1 (de) Verfahren und vorrichtung zum hochaufgelösten optischen abtasten einer probe
WO2014056991A1 (de) Bildaufnahmevorrichtung und verfahren zur aufnahme einer bildersequenz

Legal Events

Date Code Title Description
R163 Identified publications notified