[go: up one dir, main page]

WO2019077157A1 - Verfahren zur bewertung von mikroskopischen proben und vorrichtung zur ausführung dieses verfahrens - Google Patents

Verfahren zur bewertung von mikroskopischen proben und vorrichtung zur ausführung dieses verfahrens Download PDF

Info

Publication number
WO2019077157A1
WO2019077157A1 PCT/EP2018/078834 EP2018078834W WO2019077157A1 WO 2019077157 A1 WO2019077157 A1 WO 2019077157A1 EP 2018078834 W EP2018078834 W EP 2018078834W WO 2019077157 A1 WO2019077157 A1 WO 2019077157A1
Authority
WO
WIPO (PCT)
Prior art keywords
carrier
combined image
images
digital camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2018/078834
Other languages
English (en)
French (fr)
Inventor
Jiri Snaidr
Claudia Beimfohr
Axel Bonsen
Peter MÜHLHAHN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vermicon AG
Original Assignee
Vermicon AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vermicon AG filed Critical Vermicon AG
Priority to EP18799453.8A priority Critical patent/EP3698271A1/de
Publication of WO2019077157A1 publication Critical patent/WO2019077157A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the application relates to a method for evaluating microscopic samples and an apparatus for carrying out this method.
  • the liquid to be examined is filtered in microbiological tests.
  • filters with a side length or diameter of about 2.5cm are used.
  • the microorganisms in a known manner by culturing the filter on agar plates and
  • Staining methods can be applied to the filter itself, and the fluorescence-labeled microorganisms can be counted by fluorescence microscope.
  • a problem with this method is that the filter is not completely flat. That is, for each
  • the focus plane must be adjusted so that a sharp image is obtained.
  • the surface of the filter is detected, and then the Z-motor of the microscope stage is moved so that the filter surface is in focus. Due to the lack of planarity of the filter that preceded has been addressed, this focusing process is repeated for each section. This focusing process is compared to the actual recording of the digital
  • the object of the present invention is to provide a novel method for the evaluation of microscopic samples and a corresponding device, which can reliably and quickly determine the number of microscopic samples to be examined on a support.
  • a carrier with microscopic samples formed thereon is first provided.
  • This carrier is placed on a microscope stage. With the help of a digital camera and a magnifying optics a section of the carrier is shown.
  • the method is determined only by the exposure time of each shot, and thus much faster than the known method.
  • the combined image is obtained by, for each pixel of the combined image, determining the maximum value of the positionally corresponding pixels of the plurality of pixels
  • the combined imaging by means of automatic pattern recognition, in particular based on a histogram of Oriented
  • HOG Gradients
  • SVM Support Vector Machine
  • HOG in conjunction with SVM is a well known pattern recognition technique used, for example, for face recognition or handwriting recognition.
  • Total microscopic samples on the carrier can be evaluated.
  • the XYZ table of the microscope can be moved automatically from one cutout to the next until the entire filter / carrier has been scanned. In this way is a fast and
  • the carrier is a filter for
  • Liquid was used and colored. Instead of a filter, it is also possible to scan the surface of a dish filled with agar or other culture medium.
  • the distance between the Support and the digital camera by 1 - ⁇ , particularly preferably changed by 2 ⁇ , thereby to the focal plane
  • the choice of the distance should be selected so that there is a sufficiently high probability that each microorganism will actually be present in one of the microorganisms
  • the distance should also be sufficiently small, even to a plurality of shots, no significant change in the section due to the magnification or
  • a pixel of a first image located on a particular line and column also corresponds to approximately the same location on the filter as any other image of the same section at changed distance
  • Focus values for sharp images of individual sections are determined, and wherein a flourishfokusbene for the successive images of the remaining sections based on the average of the multiple focus values, the
  • Focus plane to move to another level This can be done by synchronizing the exposure time of the camera and the means for adjusting the focal plane.
  • the inventive device for carrying out the above-mentioned method comprises a microscope stage for
  • magnifying optics for imaging an enlargement of a section of the carrier, means for varying a
  • Focus plane of the digital camera and the magnifying optics with respect to the carrier a controller for controlling the
  • Focus plane so as to produce a plurality of images of a section of the carrier with different focal planes
  • an evaluation unit which is designed to produce a combined image of the plurality of successive images and to evaluate the combined image for the determination of the microscopic samples.
  • Fig. 1 is a schematic view of the invention
  • Fig. 2 is a schematic view of the carrier with the
  • Section and the samples to be evaluated according to the invention are identical to Section and the samples to be evaluated according to the invention.
  • 3 is a flowchart for explaining the
  • the invention is essentially based on that instead
  • Microorganisms / cells are in focus. Through a clearing process, an overall image is calculated from this image stack, which contains all the information of the
  • Image stacks differ only from the focal plane in the Z direction, with the X or Y direction not being changed, i. the images of a stack belong to a fixed XY coordinate on the filter / carrier.
  • Figure shows the cells over the entire filter / support always located inside the pictures of the stack.
  • typical filter / carrier moves in the range of 20 ⁇ , 335 wherein preferably a cover of 32 ⁇ is set.
  • T-stack T-direction * ⁇ , where n is the number of images of the stack
  • 16 images are taken, the exposure time being determined as a function of the signal intensity, the sensitivity of the camera and the aperture setting.
  • the distance relative to the Z-direction of the images within the stack and thus the total travel during the Z-movement is calculated from:
  • Sstapei is the total travel in the Z direction and the formation is the travel path of a single image.
  • V stack / stack
  • the method of the microscope stage 9 in the Z direction can be replaced by a clocked operation for this purpose.
  • Microscope table 9 is moved in stages with intermediate waiting times.
  • the microscope stage 9 is first only by the desired distance of the focal planes of two 395 consecutive images. Subsequently, a defined time is waited and then renewed the engine to process this pause, while the camera 5
  • the waiting time between two traversing commands is calculated from:
  • Twarten TBelight * nNumber of images / HlNumber of steps ⁇
  • the number of figures differ.
  • the number of steps may be greater than the number of mappings of a stack. For example, it is possible first to start the exposure of an image while the microscope stage 9 is stationary, then to the microscope stage 9
  • two or more focal planes are in the image
  • the step size which the microscope stage 9 travels in the Z direction during the exposure of an image may thereby be thereby.
  • the entire travel time can be calculated by including the manufacturer-specific engine speed, for example, then calculated from:
  • TFtime per step formation / VMotor ⁇
  • K total number of images / number of images already taken
  • the waiting time is dynamically adjusted using the correction factor during the current sampling:
  • Filter / carrier 3 is therefore according to the invention in a first step, the start position of the focal plane of the stack set so that the cells are at least in a range that is covered by the process of the microscope stage 9 in the Z direction.
  • three optional points on the edge of the filter are manually optimally focused and thus yielded Mean value for the focal plane (Z value) as starting point
  • multiple points on the filter are manually optimally focused and then used to calculate a topology level of the filter. Based on this topology level, the start point in the Z direction for the image stack is dynamically corrected based on the XY coordinates of the selected section on the filter / carrier.
  • P image stack average value ⁇ ((images * nnumber of steps) / 2)
  • the motor speed is 200ym per second
  • a combined image containing the information of all the individual images of the stack is calculated on the individual images of an image stack.
  • the maximum pixel value (PW) over all images of the stack is determined at each position and entered at the same pixel position in the combined image. This is done for each pixel of the images of the stack. All pictures of the stack have the same pixel number given by the camera in the XY direction.
  • Fig. 1 it can be seen how the device is constructed in principle from the microscope stage 9, the attached filter or carrier 1, the optics 11 and the digital camera 5.
  • the microscope optics 11 and the camera 5 are here only
  • FIG. 2 shows a plan view of the carrier 1 with a cutout 3 marked therein, on which the microorganisms 7 are arranged.
  • a section 7 of the filter / carrier 1 is imaged with the digital camera 5 and this image is stored.
  • the focal plane is changed, for example, in the
  • Microscope table 9 is moved in the Z direction by 2 ⁇ . The procedure then checked whether the maximum change in the focus plane has already been reached or whether the desired number of images of the stack has been created. If this is not the case, another image of the same section is produced and stored. The formation of an image and the method of the focal plane can
  • Focus plane / maximum number of images of the stack reached becomes one of the stored maps
  • Focus plane of the last image of a first stack is the output focus plane of the next stack. It is checked whether all sections of the filter have already been scanned. If this is the case, it ends
  • a petri dish with agar medium for example, a petri dish with agar medium
  • Fluorescence was used in the invention. Again, this is not mandatory if other optical possibilities for detecting microorganisms or microcolonies are given, for example in transmitted light.
  • the brightness value was selected as the pixel value.
  • the pixel value was selected as the pixel value.
  • Brightness value of a particular color to use to achieve better selectivity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Vascular Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bewertung von mikroskopischen Proben und eine Vorrichtung zur Ausführung dieses Verfahrens. Das erfindungsgemäße Verfahren umfasst die Schritte: Bereitstellen einer Trägers (1) mit mikroskopischen Proben (7); Anordnen des Trägers (1) auf einem Mikroskoptisch (9); Abbilden unter Vergrößerung eines Ausschnitts (3) des Trägers (1) mittels einer Digitalkamera (5) und einer vergrößernden Optik (11); wobei der gleiche Ausschnitt (3) mehrfach abgebildet wird, wobei während des Abbildens von aufeinanderfolgenden Abbildungen eine Fokusebene der Abbildungen verschoben wird; Erstellen einer kombinierten Abbildung aus den mehreren aufeinanderfolgenden Abbildungen; und Auswerten der kombinierten Abbildung zur Bewertung der mikroskopischen Proben.

Description

Beschreibung
Die Anmeldung betrifft ein Verfahren zur Bewertung von mikroskopischen Proben und eine Vorrichtung zur Ausführung dieses Verfahrens .
Zur Quantifizierung von Bakterien in einem größeren Flüssigkeitsvolumen, beispielsweise 100ml oder mehr, werden bei mikrobiologischen Untersuchungen die zu untersuchende Flüssigkeit filtriert. Üblicherweise werden hierzu Filter mit einer Seitenlänge oder Durchmesser von ca. 2,5cm verwendet. Anschließend werden die Mikroorganismen in bekannter Weise durch Kultivieren der Filter auf Agarplatten und
nachfolgender optischer Bestimmung von Mikrokolonien
analysiert.
Als moderne Methoden zur Bestimmung von Mikroorganismen, vorzugsweise Bakterien, auf Filtern hat sich mittlerweile eine spezifische Färbemethode, die sogenannte Fluoreszenz in Situ Hybridisierung (Fish) etabliert. Hierbei werden die Zellen auf einem Träger/Filter durch fluoreszenzmarkierte Nukleinsäure-Sondenmoleküle unter einem Mikroskop sichtbar gemacht. Dieses Verfahren ist in: Amman et. all Microbial . Rev. 59 (1995) , Seiten 143 - 169 beschrieben.
In anderen Ausführungsformen können spezifische
Färbemethoden auf das Filter selbst angewendet werden, und die fluoreszenzmarkierten Mikroorganismen können mittels Fluoreszenzmikroskops gezählt werden.
Da das Filter in der Fläche wesentlich größer als das Gesichtsfeld des Mikroskops ist, müssen zur vollständigen Quantifizierung der Mikroorganismen auf dem Filter eine
Vielzahl von Gesichtsfeldern bzw. Ausschnitten ausgezählt werden. Je nach Vergrößerung, Größe des Ausschnitts und Größe des Filters können einige 10.000 Ausschnitte vorliegen, die einzeln ausgewertet werden müssten.
Bei einer hohen Konzentration der Mikroorganismen hat sich daher eingebürgert, nur eine statistisch repräsentative Anzahl von 10 - 100 Ausschnitten zu zählen, und das Ergebnis entsprechend auf die gesamte Fläche hochzurechnen. Diese Vorgehensweise ist allerdings ungenau und mit großen Fehlern behaftet . Auch ist das händische Auszählen der
Mikroorganismen in einem Ausschnitt oft schwierig.
Um dieses Problem zu lösen, ist es bekannt, das Filter mithilfe von automatischen Mikroskopen, die über einen motorbetriebenen XYZ-Tisch verfügen, abzufahren und von jedem Ausschnitt über eine Digitalkamera eine Abbildung zu machen, das heißt ein digitales Bild aufzunehmen. Dieses Bild kann dann mit einer Mustererkennung bzw. Objekterkennung in bekannter Weise analysiert werden. Aktuelle Ausgestaltungen dieser automatischen Mikroskope benötigen für die Auswertung eines Trägers/Filters der oben genannten Art immer noch mehr als zwölf Stunden.
Ein Problem bei diesem Verfahren besteht darin, dass das Filter nicht vollständig eben ist. Das heißt, für jede
Aufnahme muss zunächst die Fokusebene eingestellt werden, sodass eine scharfe Abbildung erhalten wird.
Dieser Fokussierungsvorgang auf eine Zielebene, in der die zu erkennenden Mikroorganismen scharf abgebildet sind, wird beim Stand der Technik dadurch gelöst, dass über ein Hilfssystem, beispielsweise ein separat eingespeister
Lasterstrahl, die Oberfläche des Filters detektiert wird, und anschließend der Z-Motor des Mikroskoptisches so verfahren wird, dass die Filteroberfläche im Fokus liegt. Aufgrund der fehlenden Planarität des Filters, die vorangehend angesprochen wurde, ist dieser Fokussiervorgang für jeden Ausschnitt zu wiederholen. Dieser Fokussiervorgang ist im Vergleich zu der eigentlichen Aufnahme der digitalen
Abbildung sowie zu dem Verfahren des Tisches in XY-Richtung der zeitintensivste Schritt des gesamten Vorgangs.
Aufgabe der vorliegenden Erfindung ist es, ein neues Verfahren zur Bewertung von mikroskopischen Proben und eine entsprechende Vorrichtung bereitzustellen, die zuverlässig und schnell die Anzahl der zu untersuchenden mikroskopischen Proben auf einem Träger bestimmen kann.
Gelöst wird diese Aufgabe durch ein Verfahren gemäß Anspruch 1 und eine Vorrichtung nach Anspruch 10. Die abhängigen Ansprüche beziehen sich auf weitere vorteilhafte Ausgestaltungen der Erfindung.
Bei dem erfindungsgemäßen Verfahren zur Bewertung von mikroskopischen Proben wird zunächst ein Träger mit darauf ausgebildeten mikroskopischen Proben bereitgestellt. Dieser Träger wird auf einem Mikroskoptisch angeordnet. Mit Hilfe einer Digitalkamera und einer vergrößernden Optik wird ein Ausschnitt des Trägers abgebildet.
Das erfindungsgemäße Verfahren ist dadurch
gekennzeichnet, dass der gleiche Ausschnitt mehrfach
abgelichtet wird, wobei während des Abbildens von
aufeinanderfolgenden Abbildungen eine Fokusebene der
Abbildungen verschoben wird.
Aus den so gewonnenen mehreren aufeinanderfolgenden Abbildungen wird eine kombinierte Abbildung erstellt. Diese kombinierte Abbildung wird zur Bewertung der mikroskopischen Proben ausgewertet . Da erfindungsgemäß kein Fokussierschritt für die
einzelnen Abbildungen nötig ist, ist das Verfahren nur durch die Belichtungszeit der einzelnen Aufnahmen bestimmt, und somit wesentlich schneller als das bekannte Verfahren.
I einer bevorzugten Ausführungsform des Verfahrens wird die kombinierte Abbildung dadurch erhalten, dass für jedes Pixel der kombinierten Abbildung der maximale Wert der positionsmäßig korrespondierenden Pixel der mehreren
aufeinanderfolgenden Abbildungen bestimmt wird.
Es wird davon ausgegangen, dass ein Pixel einer
Abbildung den maximalen Wert dann einnimmt, wenn diese
Abbildung die Fokusebene in der Ebene des abzubildenden
Objekts, also der mikroskopischen Probe, hat. In den
Bereichen des Ausschnitts, in denen keine mikroskopische Probe vorhanden sind, in denen also keine Fluoreszenz
stattfindet, wird zwar ebenfalls der Maximalwert der Pixel herangezogen, dieser ist jedoch nur durch das Rauschen bestimmt, und wird sich deutlich von einem positiven Befund unterscheiden .
Bei einer weiteren Ausgestaltung der Erfindung wird die kombinierte Abbildung mittels automatischer Mustererkennung, insbesondere beruhend auf einem Histogram of Oriented
Gradients (HOG) in Kombination mit einem Lernalgorithmus mittels Support Vector Machine (SVM) ausgewertet.
HOG in Verbindung mit SVM ist eine bekannte Technik zur Mustererkennung, die beispielsweise für Gesichtserkennung oder die Erkennung von Handschriften verwendet wird.
Beispiele derartiger Mustererkennung sind etwa in Hamayun A. Khan, „MCS HOG Features and SVM Based Handwritten Digit
Recognition Systems", Journal of Intelligent Learning Systems and Applications, 2017, 9, Seiten 21-33 oder in Chandrasheka, T.R. et. all. "Face Recognition Based on Histogram of Oriented Gradients, Local Binary Pattern and SVM/HMM
Classifiers" , International Journal of Engineering Sciences 145 and Research Technology, August 2014, Seiten 344-352,
beschrieben.
Die erfindungsgemäß gewonnene kombinierte Abbildung ist für das menschliche Auge nicht scharf. Jedoch ermöglicht die 150 oben beschriebene Mustererkennung, wenn entsprechende
Parametersätze in einer speziell dafür vorbereiteten
Datenbank hinterlegt werden, eine zuverlässige und schnelle Erkennung von Mikroorganismen auf dem Träger/Filter.
155 Gemäß einem weiteren Aspekt der Erfindung werden
verschiedene Ausschnitte des Trägers sequenziell in das Gesichtsfeld der Digitalkamera und der Optik gebracht, wobei für jeden Ausschnitt mehrere Abbildungen mit verschiedenen Fokusebenen erstellt werden, für jeden Ausschnitt eine
160 kombinierter Abbildung erstellt und ausgewertet wird, und wobei anhand der Auswertung aller Ausschnitte die
mikroskopischen Proben auf dem Träger insgesamt bewertet werden .
165 Mit dem erfindungsgemäßen Verfahren kann der XYZ-Tisch des Mikroskops automatisch von einem Ausschnitt zum nächsten verfahren werden, bis das gesamte Filter/der gesamte Träger abgetastet ist. Auf diese Art ist eine schnelle und
vollständige Auswertung des Filters/Trägers möglich.
170
Erfindungsgemäß ist der Träger ein Filter, der zur
Filtrierung einer mit Mikroorganismen kontaminierten
Flüssigkeit verwendet und eingefärbt wurde. Anstelle eines Filters kann auch die Oberfläche einer mit Agar oder einem 175 anderen Kulturmedium gefüllte Schale abgetastet werden.
Weiter ist es bevorzugt, dass im Mittel zwischen je zwei aufeinanderfolgenden Abbildungen der Abstand zwischen dem Träger und der Digitalkamera um 1 - ΙΟμτη, besonders bevorzugt um 2μπι verändert wird, um dadurch die Fokusebene zu
verändern .
Die Auswahl des Abstands ist in Abhängigkeit der Größe der untersuchten Mikroorganismen oder Mikrokolonien so zu wählen, dass eine hinreichend große Wahrscheinlichkeit besteht, jeden Mikroorganismus tatsächlich in einer der
Abbildungen eines Stapels von aufeinanderfolgenden
Abbildungen mindestens einmal im Fokus zu haben. Darüber hinaus soll der Abstand auch hinreichend klein sein, um selbst bei einer Mehrzahl von Aufnahmen keine signifikante Änderung des Ausschnitts aufgrund der Vergrößerung oder
Verkleinerung des Abstands zwischen Träger und Digitalkamera zu haben. Das heißt, bei den üblichen digitalen Abbildungen, bei der die Pixel in Zeilen und Spalten angeordnet sind, entspricht ein in einer bestimmten Zeile und einer bestimmten Spalte angeordnetes Pixel einer ersten Abbildung annähernd demselben Ort auf dem Filter wie bei jeder anderen Abbildung des gleichen Ausschnitts auch bei verändertem Abstand
zwischen Träger und Kamera.
Auf diese Art ist es einfach möglich, die Fokusebene in kleinen Schritten zu ändern, wobei nur der Mikroskoptisch in Z-Richtung bewegt werden muss .
Es ist dabei nicht erforderlich, dass der Abstand während der Belichtungszeit einer Abbildung konstant bleibt.
Alternativ dazu ist es natürlich auch möglich, die Optik zu verstellen, so dass sich die Fokusebene ändert, oder die Digitalkamera zu verschieben, und den Träger ortsfest zu halten .
Gemäß einem weiteren vorteilhaften Verfahren der
Erfindung ist es vorgesehen, zunächst eine Ausgangsfokusebene 215 zu bestimmen, wobei verteilt über das Filter mehrere
Fokuswerte für scharfe Abbildungen einzelner Ausschnitte ermittelt werden, und wobei eine Ausgangsfokusebene für die aufeinanderfolgenden Abbildungen der übrigen Ausschnitte beruhend auf dem Mittelwert der mehreren Fokuswerte, dem
220 Ausmaß der Veränderung der Fokusebene zwischen
aufeinanderfolgenden Abbildungen und der Anzahl der
aufeinanderfolgenden Aufnahmen für eine kombinierte Aufnahme berechnet wird.
225 Wenn beispielsweise 16 Abbildungen eines Ausschnitts mit
einem Abstand der Fokusebene von 2μιτι gemacht werden sollen, so ist es sinnvoll, die erste Fokusebene um 8μη versetzt hinter den durch die Mittelwertsbildung der Fokuswerte ermittelte Ebene zu setzen, und anschließend in 2pm Schritten
230 den Abstand zwischen der Digitalkamera und dem Träger zu
vergrößern. In diesem Fall, werden Abbildungen mit
Fokusebenen in einem Bereich von plus minus 8μπι um den oben ermittelten Mittelwert zu erhalten.
235 Weiter ist es vorteilhaft, das für jeden Ausschnitt
zwischen 5 und 50, vorzugsweise zwischen 10 und 30
insbesondere bevorzugt 16 aufeinanderfolgende Abbildungen erzeugt werden, und zu einer kombinierten Abbildung
verarbeitet werden.
240
Es hat sich gezeigt, dass ein Bereich von 32μπι
ausreicht, um bei üblichen Filtern der eingangs beschriebenen Art eine brauchbare kombinierte Abbildung zu erhalten.
245 Des Weiteren ist es bevorzugt, die Fokusebene
kontinuierlich oder Schrittweise zu verändern. Ob eine kontinuierliche oder Schrittweise Veränderung der Fokusebene gewählt wird, hängt von der Belichtungszeit einerseits und vor allem der Verstellgeschwindigkeit der Fokusebene ab. Als 250 vorteilhaft hat es sich erwiesen, die Fokusebene in Stufen zu verfahren, eine Wartezeit einzuhalten, und dann die
Fokusebene um eine weitere Stufe zu verfahren. Dies kann dadurch geschehen, dass die Belichtungszeit der Kamera und das Mittel zum Verstellen der Fokusebene synchronisiert werden. Alternativ ist es auch möglich, nur über eine
Zeitsteuerung der Kamera und des Mikroskoptisches
sicherzustellen, dass eine Mehrzahl von Abbildungen des selben Ausschnitts mit unterschiedlichen Fokusebenen zu erhalten. Dies ist insbesondere dann vorteilhaft, wenn ein komplizierter Aufbau und eine komplizierte Steuerung
vermieden werden sollen.
Die erfindungsgemäße Vorrichtung zur Ausführung des oben genannten Verfahrens umfasst einen Mikroskoptisch zum
Anordnen eines Trägers, eine Digitalkamera und eine
vergrößernde Optik zum Abbilden einer Vergrößerung eines Ausschnitts des Trägers, Mittel zum Verändern einer
Fokusebene der Digitalkamera und der vergrößernden Optik in Bezug auf den Träger, eine Steuerung zur Steuerung der
Abbildung durch die Digitalkamera und der Veränderung der
Fokusebene, um so mehrere Abbildungen eines Ausschnitts des Trägers mit unterschiedlichen Fokusebenen zu erzeugen, und eine Auswertungseinheit, die ausgestaltet ist, um eine kombinierte Abbildung aus den mehreren aufeinanderfolgenden Abbildungen zu erzeugen und um die kombinierte Abbildung zur Bestimmung der mikroskopischen Proben auszuwerten.
Im Folgenden wird die Erfindung anhand von bevorzugten Ausführungsformen und anhand der beiliegenden Figuren
beschrieben.
Fig. 1: ist eine schematische Ansicht der erfindungsgemäßen
Vorrichtung;
Fig. 2: ist eine schematische Ansicht des Trägers mit dem
Ausschnitt und den Proben, die erfindungsgemäß auszuwerten sind; Fig. 3: ist ein Flussdiagramm zur Erläuterung des
Verfahrens der Erfindung.
Die Erfindung beruht im Wesentlichen darauf, das anstatt
290 für jedes Gesichtsfeld/Ausschnitt des Trägers, zu versuchen, ein scharfes fokussiertes Bild aufzunehmen, eine schnelle Folge von Bildern aufgenommen wird, während gleichzeitig der Mikroskoptisch 9 in Figur 1 in Z-Richtung verfahren wird. Innerhalb dieser aufgenommenen Abbildungsfolge
295 (beispielsweise 16 Bilder mit einem Abstand in Z-Richtung von
2μιη) befinden sich mehrere Abbildungen, in denen die
Mikroorganismen/Zellen scharf abgebildet sind. Durch ein Verrechnungsverfahren wird aus diesem Abbildungsstapel ein Gesamtbild errechnet, welches alle Informationen der
300 nacheinander aufgenommenen Abbildungen enthält, und damit
natürlich auch die Information der fluoreszenzmarkierten Zellen.
Die Darstellung der Zellen unterscheidet sich dabei
305 naturgemäß von derjenigen, wie sie für eine fokussierte
Abbildung der Zellen zu finden wäre. Da zur Objekterkennung ein lernender Algorithmus eingesetzt wird, kann die Zelle dennoch als Zelle erkannt werden, da der Erkennungs- algorithmus auf die Darstellung im Gesamtbild trainiert ist, 310 und nicht auf ein fokussiertes Bild der Zelle abstellt.
Durch dieses Verfahren ist es möglich, auf eine
automatische Fokussierung zu verzichten, um es auch einfachen Mikroskopen ohne mechanische und elektronische Fokussierung
315 in einer möglichst kurzen Zeit von weniger als zwei Stunden zu ermöglichen, einen Träger der eingangsgenannten Art zu vermessen und auszuwerten. Durch den Verzicht auf eine technisch aufwendige und teure Autofokussierung können kostengünstige Fluoroszenzmikroskope für eine automatische
320 Auswertung aufgerüstet werden. Wie oben ausgeführt, wird ein Abbildungsstapel aus
Einzelbildern, die in verschiedenen Ebenen fokussiert sind, an einer beliebigen Position auf einem Filter/Träger
325 aufgenommen. Die Abbildungen eines so aufgenommenen
Abbildungsstapels unterscheiden sich nur von der Fokusebene in Z-Richtung, wobei die X- oder Y-Richtung nicht verändert wird, d.h. die Bilder eines Stapels gehören zu einer festen XY-Koordinate auf dem Filter/Träger. Die Größe des Stapels
330 wird dabei so gewählt, dass sich die Ebene, die eine scharfe
Abbildung der Zellen liefert, über den gesamten Filter/Träger immer innerhalb der Abbildungen des Stapels befindet. Der durchschnittliche Unterschied in Z-Richtung über ein
typisches Filter/Träger bewegt sich im Bereich von 20μιτι, 335 wobei bevorzugt eine Abdeckung von 32μπι eingestellt wird.
Erfindungsgemäß wird bevorzugt die Bewegung des
Mikroskoptisches 9 in Z-Richtung von der reinen
Belichtungszeit der Abbildung entkoppelt. D.h., dass die
340 Verfahrbewegung des Mikroskoptisches 9 nicht mit der Aufnahme einzelner Abbildungen durch die Digitalkamera 5
synchronisiert ist. Dafür muss die Digitalkamera 5
parametrisiert sein und kontinuierliche Bilder liefern, und andererseits zur gleichen Zeit der Mikroskoptisch 9
345 entsprechend angepasst verfahren werden.
Durch die zusätzliche Entkopplung der Abbildung und der anschließenden Verarbeitung der Abbildungen des Stapels zu einer kombinierten Abbildung ergibt sich die
350 Abtastgeschwindigkeit für das Filter/Träger im Wesentlichen aus den Werten der Belichtungszeit, der Anzahl der
aufzunehmenden Abbildungen sowie dem Abstand zwischen den Bildern in Z-Richtung und der dafür benötigten Zeit zum Verfahren des Mikroskoptisches 9.
Die benötigte Zeit zur Aufnahme eines Abbildungsstapels ergibt sich dann zu: Tstapel = Tßelichtung * Π, wobei n die Anzahl der Abbildungen des Stapels ist
In einer bevorzugten Ausführungsform des Verfahrens werden 16 Abbildungen aufgenommen, wobei die Belichtungszeit in Abhängigkeit der Signalintensität, der Empfindlichkeit der Kamera und der Blendeneinstellung zu ermitteln ist.
Der Abstand bezogen auf die Z-Richtung der Abbildungen innerhalb des Stapels und damit der gesamte Verfahrweg während der Z-Bewegung berechnet sich aus:
Sstapel = SAbbildung *
Wobei Sstapei der gesamte Verfahrweg in Z-Richtung und SAbbildung der Verfahrweg einer einzelnen Abbildung ist.
Die sich daraus ergebende Geschwindigkeit ist in
bekannter Weise geben durch: V = Sstapel/Tstapel-
In der Praxis ist die sich ergebende Geschwindigkeit V für handelsübliche Z-Motoren von Mikroskoptischen 9 zu gering, d.h. die Verfahrgeschwindigkeit muss durch
zusätzliche Wartezeiten künstlich gedrosselt werden, um den Anforderungen der Belichtungszeit der Kamera gerecht zu werden. Das Verfahren des Mikroskoptisches 9 in Z-Richtung kann hierzu durch einen getakteten Betrieb ersetzt werden. Dazu wird der Mikroskoptisch während der Erstellung des
Stapels der Abbildungen nicht kontinuierlich mit konstanter Geschwindigkeit in Z-Richtung verfahren, sondern der
Mikroskoptisch 9 wird in Stufen mit zwischen geschalteten Wartezeiten bewegt. Dabei wird der Mikroskoptisch 9 zunächst nur um den gewünschten Abstand der Fokusebenen von zwei 395 aufeinanderfolgenden Abbildungen verfahren. Anschließend wird eine definierte Zeit gewartet und danach der Motor erneuert um diesen Abbstand verfahren, während die Kamera 5
kontiuierlich eine Abbildung nach der anderen erstellt. Die Wartezeit zwischen zwei Verfahrbefehlen wird errechnet aus:
400
Twarten = TBelichtung * nAnzahl der Bilder / HlAnzahl der Schritte ·
Mit mAnza i der schritte ist die Anzahl der gewünschten
Fahrunterbrechungen des Motors gemeint. Diese kann sich von
405 der Anzahl der Abbildungen unterscheiden. Insbesondere kann die Anzahl der Schritte größer als die Anzahl der Abbildungen eines Stapels sein. Es ist beispielsweise möglich, zunächst mit der Belichtung einer Abbildung zu beginnen, während der Mikroskoptisch 9 stillsteht, dann den Mikroskoptisch 9 zu
410 verfahren, während die Belichtung der gleichen Abbildung
durch die Kamrea 5 fortgesetzt wird. Anschließend das Verfahren erneut zu unterbrechen, während weiterhin die selbe Abbildung durch die Kamera belichtet wird. Nach Ende der Abbildungszeit kann der Motor weiter verfahren werden. In dem
415 Fall sind in einer Abbildung zwei oder mehrere Fokusebenen im
Sinne einer „Mehrfachbelichtung" überlagert.
Die Schrittweite, die der Mikroskoptisch 9 in Z-Richtung während der Belichtung einer Abbildung zurücklegt darf dabei
420 nicht größer als der Schärfebereich einer Zellenebene bzw.
nicht größer als die Zellengröße selbst sein. Ansonsten besteht die Möglichkeit, dass eine Zelle überhaupt in keiner der Abbildungen „scharf" abgebildet ist. Sie könnte dadurch der Detektion verloren gehen. Ein bevorzugter Wert für den Z-
425 Abstand zwischen zwei Bildern beträgt erfindungsgemäß 1 bis
ΙΟμη besonders bevorzugt 2μπι. Die gesamte Verfahrzeit lässt sich unter einbeziehen der herstellerspezifischen Motorgeschwindigkeit beispielsweise dann errechnen aus :
TFahrzeit pro Schritt = SAbbildung / VMotor ·
Hierbei wird davon ausgegangen, dass für das Beschleunigen und Abbremsen des Motors keine signifikante Zeit benötigt wird .
Da das Erstellen von Abbildungen durch die Kamera 5 nicht mit der Verfahrbewegung des Mikroskoptisches 9 in Z- Richtung synchronisiert ist, treten in der Praxis zusätzliche Abweichungen auf, die korrigiert werden können. Der
Korrekturfaktor dazu ist:
K = neesamtzahl der Abbildungen / nAnzahl der bereits aufgenommenen Abbildungen
Zur Kompensation der zusätzlichen Abweichungen wird die Wartezeit mit Hilfe des Korrekturfaktors bei der laufenden Abtastung dynamisch ständig angepasst:
Twarten korrigiert = Twarten * K
Erfindungsgemäß ist es darüber hinaus sinnvoll eine Startposition der Fokusebene für das Erstellen der
Abbildungen zu bestimmen.
Zu Beginn der automatisierten Erfassung eines
Filters/Trägers 3 wird daher erfindungsgemäß in einem ersten Schritt die Startposition der Fokusebene des Stapels so festgelegt, dass sich die Zellen zumindest in einem Bereich befinden, der durch das Verfahren des Mikroskoptisches 9 in Z-Richtung abgedeckt wird. Hierzu werden in der einfachsten Ausführungsform drei wahlfreie Punkte auf dem Filterrand manuell optimal fokussiert und der sich so ergebene Mittelwert für die Fokusebene (Z-Wert) als Startpunkt
465 verwendet.
In einer weiteren Ausführungsform werden mehrere Punkte auf dem Filter manuell optimal fokussiert und anschließend zur Berechnung einer Topologieebene des Filters verwendet. 470 Basierend auf dieser Topologieebene wird der Startpunkt in Z- Richtung für den Abbildungsstapel dynamisch anhand der XY- Koordinaten des gewählten Ausschnitts auf dem Filter/Träger korrigiert .
475 Die Position für den Start des Abbildungsstapels ergibt sich dann beispielsweise aus:
P Abbildungsstapel = PMittelwert ~ ( (Sßilder * nAnzahl Schritte) / 2)
480 Bei einem erfindungsgemäßen Beispiel wurde ein Leica
Fluoroszenzmikroskop DMRB mit einem 40fach Objektiv und einer 14 Megapixel Farbkamera (Basler acA4600-10uc USB3 Kamera) verwendet. Das Mikroskop wurde durch einen automatischen XYZ- Tisch OptiScanll® der Firma Prior Scientific, Inc. erweitert.
485
Bei einer durchschnittlichen Belichtungszeit der Kamera 5 von 100 Millisekunden und einem Abstand der gewählten 20 Abbildungen untereinander von 2μιη bei 16 Schritten ergeben sich folgende Werte:
490
Gesamtheit für einen Stapel: 20 * 100ms = 2000ms
Gesamtverfahrweg für den Stapel: 2μπι * 16 = 32pm
Wartezeit: 100ms * 20 / 16 = 125ms
495 Bei diesem Beispiel ist die Anzahl der Abbildungen
größer als die Anzahl der Verfahrschritte. Auch wenn zwei Abbildungen die identische Fokusebene haben sollten, spielt dies bei der vorgeschlagenen Auswertung keine Rolle, da immer nur der maximale Wert eines Pixels unter den Abbildungen des Stapels berücksichtigt wird, wenn die kombinierte Abbildung erstellt wird.
Es wird also der Motorfahrbefehl für 2i an die
Motorsteuerung gesendet und gleichzeitig der Timer für die Wartezeit gestartet. Der Motor bleibt automatisch nach 2 μιη stehen und bekommt erneut ein Fahrbefehl, wenn der Timer für die 125ms abgelaufen ist. Wichtig ist, dass der Motor für die Strecke nicht länger braucht als 125ms, was aber in der
Realität sicher der Fall ist.
Im folgenden Fall beträgt die Motorgeschwindigkeit 200ym pro Sekunde
Dann gilt:
Trahrzeit pro Schritt = 2 μΐΏ / 2 0 0 μΐΐΙ / S = 0,01s = 10ms
Bei diesem Beispiel dauert die Aufnahme eines
Abbildungsstapels 2 Sekunden. Innerhalb dieser Zeit nimmt die Kamera bei einer Belichtungszeit von 100ms 20 Abbildungen auf. Bei der verwendeten Vergrößerung von 40 gibt sich dabei für das gesamte Filter/den Träger 1 eine Abtastzeit von lh 54min. Die gesamte Abtastzeit verlängert sich zusätzlich um den deutlich geringeren Anteil für das Verfahren des
Mikroskoptisches 9 in XY-Richtung auf maximal 2 Stunden.
Auf den einzelnen Bildern eines Abbildungsstapels wird, wie Eingangs dargelegt, eine kombinierte Abbildung errechnet, welche die Informationen aller Einzelabbildungen des Stapels enthält. Hierzu wird der maximale Pixelwert (PW) über alle Abbildungen des Stapels an jeder Position ermittelt, und an die gleiche Pixelposition in der kombinierten Abbildung eingetragen. Dies wird für jedes Pixel der Abbildungen des Stapels durchgeführt. Alle Abbildungen des Stapels haben die gleiche durch die Kamera vorgegebene Pixelzahl in XY- Richtung .
PW(X, Y) kombinierte Abbildung = PW(X, Y) Max aller Einzelbilder . Auf diese Art ergibt sich zwar ein für das menschliche
Auge unscharfes Bild bzw. Abbildung, da die Pixelwerte, vorzugsweise Helligkeitswerte, von unscharfen
Bildern/Abbildungen - einschließlich der Bewegungsunschärfe - zu entsprechenden Pixeln in der kombinierten Abbildung führen. Eine Auswertung dieser kombinierten Abbildungen kann aber dadurch erfolgen, dass ein lernfähiger
Erkennungsalgorithmus speziell auf diese „neuen" für Zellen spezifische Abbildungsobjekte trainiert wird. Hierzu werden in dem dargestellten Verfahren eine Kombination aus der
Objekterkennung basierend auf HOG (Histogram of Oriented
Gradients) zusammen mit Lernalgorithmus SVM (Support Vector Machine) auf diese Abbildungsobjekte trainiert, so dass diese stellvertretenden für eine fluoreszenzmarkierte Zelle erkannt werden. Einzelheiten der Mustererkennung werden hier nicht weiter ausgeführt, sie sind aber dem Fachmann aus dem bei der oben genannten Druckschriften für andere Zwecke,
beispielsweise Handschrifterkennung oder Gesichtserkennung, bekannt . In Fig. 1 ist zu sehen, wie die Vorrichtung prinzipiell aus dem Mikroskoptisch 9, dem darauf angebrachtem Filter oder Träger 1, der Optik 11 und der Digitalkamera 5 aufgebaut ist. Die Mikroskopoptik 11 und die Kamera 5 sind hier nur
schematisch als einzelne Linse und einfacher Kasten gezeigt. Der Fachmann ist jedoch mit dem Aufbau dieser Komponenten gut vertraut .
Fig. 2 zeigt eine Aufsicht auf den Träger 1 mit darin markiertem Ausschnitt 3, auf dem die Mikroorganismen 7 angeordnet sind. Das erfindungsgemäße Verfahren setzt, wie Eingangs beschrieben, voraus, dass zunächst, nach dem das
Filter/Träger 1 auf dem Mikroskoptisch 9 angeordnet und ein Ausschnitt ausgewählt wurde, eine Ausgangsfokusebene
eingestellt wird.
Anschließend wird ein Ausschnitt 7 des Filters/Trägers 1 mit der Digitalkamera 5 abgebildet und diese Abbildung gespeichert. In einem nächsten Schritt - vorzugsweise aber gleichzeitig mit der Belichtung der Abbildung - wird die Fokusebene verändert, beispielsweise in dem der
Mikroskoptisch 9 in Z-Richtung um 2μπι verfahren wird. Das Verfahren prüfte dann, ob die maximale Veränderung der Fokusebene bereits erreicht ist oder ob die gewünscht Anzahl an Abbildungen des Stapels erstellt wurde . Ist dies nicht der Fall, so wird eine weitere Abbildung des gleichen Ausschnitts hergestellt und gespeichert. Das Ausbilden einer Abbildung und das Verfahren der Fokusebene können
gleichzeitig oder aufeinander abgestimmt erfolgen, so dass das Verfahren in den Pausen zwischen zwei Abbildungen
erfolgt. Dies ist aber nicht bevorzugt, da es die Zeit zur Erstellung des Abbildungsstapels verlängern kann und da eine Synchronisation zwischen Mikroskoptisch 9 und Kamera 5 eingerichtet werden muss .
Ist einmal die maximale Veränderung der
Fokusebene/maximale Anzahl der Abbildungen des Stapels erreicht, wird aus den gespeicherten Abbildungen eine
kombinierte Abbildung erstellt, indem, wie beschrieben, für den Wert eines Pixels der kombinierten Abbildung der
Maximalwert der korrespondierenden Pixel der einzelnen
Abbildungen gewählt wird. Auf die so gewonnene kombinierte Abbildung wird ein Mustererkennungsverfahren angewendet und die Zahl der
Mikroorganismen/Zellen bestimmt. In einem nächsten Schritt wird der Mikroskoptisch 9 in
XY-Richtung zur Einstellung eines neuen Ausschnitts
verfahren. Es ist denkbar, bereits während dieser Bewegung in XY-Richtung den Mikroskoptisch 9 auch in Z-Richtung auf die neue Ausgangsfokusebene zu verfahren. Alternativ kann die Z- Bewegungsrichtung bei der Erstellung aufeinanderfolgender Abbildungsstapel auch umgekehrt werden, so dass die
Fokusebene der letzten Abbildung eines ersten Stapels die Ausgangsfokusebene des nächsten Stapels ist. Es wird geprüft, ob bereits alle Ausschnitte des Filters abgetastet wurden. Ist dies der Fall, so beendet die
Vorrichtung das Verfahren. Ist dies nicht der Fall, wird erneut die Ausgangsfokusebene eingestellt und ein neuer
Stapel von Abbildungen erstellt.
Obwohl die Erfindung vorangehend anhand von einer bevorzugten Ausführungsform beschrieben wurde, ist die
Erfindung hierauf nicht beschränkt. Verschiedene Abänderungen und Modifikationen können vorgenommen werden, die für den Fachmann geläufig sind.
Die hier beschriebene Mustererkennung ist nur ein
Beispiel. Andere Mustererkennungsverfahren sind dem Fachmann geläufig, und können angewendet werden.
Mit der Erfindung ist es möglich, die üblichen
Verarbeitungszeiten zum automatischen Abtasten eines Filters von 12 Stunden auf annähernd 2 Stunden zu verkürzen. Dies erhöht den Durchsatz und die Produktivität bei der Auswertung derartiger Filter beachtlich und senkt die Kosten. Die Erfindung wurde anhand des Abtastens eines Filters beschrieben. Sie ist darauf jedoch nicht beschränkt. Es ist ebenfalls möglich, die Oberfläche einer Schale,
beispielsweise einer Petrischale mit Agarmedium,
mikroskopisch zu untersuchen.
Bei der Erfindung wurde Fluoreszenz eingesetzt. Auch dies ist nicht zwingend, wenn andere optische Möglichkeiten zur Erkennung von Mikroorganismen oder Mikrokolonien gegeben sind, beispielsweise im Durchlicht.
Bei dem geschilderten Beispiel wurde der Helligkeitswert als Pixelwert ausgewählt. Es ist jedoch auch möglich, den
Helligkeitswert einer bestimmten Farbe zu verwenden, um eine bessere Selektivität zu erreichen.

Claims

Patentansprüche
1. Verfahren zur Bewertung von mikroskopischen Proben, mit den Schritten:
Bereitstellen einer Trägers (1) mit mikroskopischen Proben (7) ;
Anordnen des Trägers (1) auf einem Mikroskoptisch (9) ;
Abbilden unter Vergrößerung eines Ausschnitts (3) des Trägers (1) mittels einer Digitalkamera (5) und einer vergrößernden Optik (11) ;
dadurch gekennzeichnet, dass
der gleiche Ausschnitt (3) mehrfach abgebildet wird, wobei während des Abbildens von aufeinanderfolgenden
Abbildungen eine Fokusebene der Abbildungen verschoben wird;
Erstellen einer kombinierten Abbildung aus den mehreren aufeinanderfolgenden Abbildungen; und
Auswerten der kombinierten Abbildung zur Bewertung der mikroskopischen Proben.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die kombinierte Abbildung dadurch erhalten wird, dass für jedes Pixel der kombinierten Abbildung der maximale Wert der positionsmäßig korrespondierenden Pixel der mehreren aufeinanderfolgenden Abbildungen bestimmt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass
die kombinierte Abbildung mittels automatischer
Mustererkennung, insbesondere basierend auf einem Histogram of Oriented Gradient (HOG) in Kombination mit einem
Lernalgorithmus mittels Support Vector Machine (SVM)
ausgewertet wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass
sequenziell verschiedene Ausschnitte des Trägers (1) in ein Gesichtsfeld der Digitalkamera und der Optik (11) gebracht werden, wobei für jeden Ausschnitt mehrere
Abbildungen mit verschiedenen Fokusebenen erstellt werden, für jeden Ausschnitt eine kombinierte Abbildung erstellt und ausgewertet wird, und wobei anhand der Auswertung aller Ausschnitte die mikroskopischen Proben bewertet werden.
5. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass
der Träger (1) ein Filter ist, das zur Filtrierung einer mit Mikroorganismen kontaminierten Flüssigkeit verwendet und eingefärbt wurde.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zwischen je zwei aufeinanderfolgenden Abbildungen der Abstand zwischen dem Träger (1) und der Digitalkamera um 1 - 10 μτη, bevorzugt um 2μπι verändert wird, um so die Fokusebene zu verändern.
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass
zur Bestimmung einer Ausgangsfokusebene verteilt über das Filter (1) mehrere Fokuswerte zur scharfen Abbildung einzelner Ausschnitte ermittelt werden, und wobei die
Ausgangsfokusebene für die aufeinanderfolgenden Abbildungen der übrigen Ausschnitte beruhend auf dem Mittelwert der mehreren Fokuswerte, dem Ausmaß der Veränderung der
Fokusebene zwischen aufeinanderfolgenden Abbildungen und der Anzahl der aufeinanderfolgenden Aufnahmen für eine
kombinierte Aufnahme berechnet wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass für jeden Ausschnitt 5 bis 50, vorzugsweise 10 bis 30, insbesondere bevorzugt 16 aufeinanderfolgende Abbildungen zu einer kombinierten Abbildung verarbeitet werden.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass
die Fokusebene schrittweise verändert wird.
10. Vorrichtung zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die
Vorrichtung umfasst:
einen Mikroskoptisch (9) zum Anordnen eines Trägers (1) ; eine Digitalkamera (5) und eine vergrößernde Optik zum Abbilden unter Vergrößerung eines Ausschnitts (3) des Trägers (1) ,
Mittel zum Verändern einer Fokusebene der Digitalkamera (5) und der vergrößernden Optik in Bezug auf den Träger (1) ; eine Steuerung (11) zur Steuerung der Abbildung durch die Digitalkamera (5) und der Veränderung der Fokusebenen, um so mehrere Abbildungen eines Ausschnitts des Trägers (1) mit unterschiedlichen Fokusebenen zu erzeugen; und
eine Auswertungseinheit, die ausgestaltet ist, um eine kombinierte Abbildung aus den mehreren aufeinanderfolgenden Abbildungen zu erzeugen und um die kombinierte Abbildung zur Bestimmung der mikroskopischen Proben auszuwerten.
PCT/EP2018/078834 2017-10-20 2018-10-22 Verfahren zur bewertung von mikroskopischen proben und vorrichtung zur ausführung dieses verfahrens Ceased WO2019077157A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP18799453.8A EP3698271A1 (de) 2017-10-20 2018-10-22 Verfahren zur bewertung von mikroskopischen proben und vorrichtung zur ausführung dieses verfahrens

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017009804.2 2017-10-20
DE102017009804.2A DE102017009804A1 (de) 2017-10-20 2017-10-20 Verfahren zur Bewertung von mikroskopischen Proben und Vorrichtung zur Ausführung dieses Verfahrens

Publications (1)

Publication Number Publication Date
WO2019077157A1 true WO2019077157A1 (de) 2019-04-25

Family

ID=64172451

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/078834 Ceased WO2019077157A1 (de) 2017-10-20 2018-10-22 Verfahren zur bewertung von mikroskopischen proben und vorrichtung zur ausführung dieses verfahrens

Country Status (3)

Country Link
EP (1) EP3698271A1 (de)
DE (1) DE102017009804A1 (de)
WO (1) WO2019077157A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113906482A (zh) * 2019-06-03 2022-01-07 拜耳公司 用于在具有腔体的测试板中测定活性物质对螨类、昆虫和其他生物的作用的系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1202103A2 (de) * 2000-10-26 2002-05-02 GSF-Forschungszentrum für Umwelt und Gesundheit GmbH Verfahren zur Bilderfassung von Proben und optische Betrachtungsvorrichtung zur Durchführung des Verfahrens
DE10237470A1 (de) * 2001-10-22 2003-04-30 Leica Microsystems Verfahren und Vorrichtung zur Erzeugung lichtmikroskopischer, dreidimensionaler Bilder
WO2003095986A1 (en) * 2002-05-14 2003-11-20 Amersham Biosciences Niagara, Inc. System and methods for rapid and automated screening of cells
WO2014094790A1 (en) * 2012-12-19 2014-06-26 Unisensor A/S System and method for classification of particles in a fluid sample

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5394268A (en) * 1993-02-05 1995-02-28 Carnegie Mellon University Field synthesis and optical subsectioning for standing wave microscopy
DE19502472A1 (de) * 1995-01-27 1996-08-01 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Aufnehmen eines Objektes
US5745239A (en) * 1997-04-07 1998-04-28 Taiwan Semiconductor Manufacturing Company Multiple focal plane image comparison for defect detection and classification
AT410718B (de) * 1998-10-28 2003-07-25 Schindler Hansgeorg Dr Vorrichtung zur visualisierung von molekülen
DE19944516B4 (de) * 1999-09-16 2006-08-17 Brainlab Ag Dreidimensionale Formerfassung mit Kamerabildern
DE10149357A1 (de) * 2000-10-13 2002-04-18 Leica Microsystems Imaging Sol Verfahren und Vorrichtung zur optischen Vermessung eines Oberflächenprofils eines Objektes
EP1258766A3 (de) * 2001-05-14 2004-09-22 Robert Bosch Gmbh Optische Messvorrichtung zur Formvermessung
DE10241290A1 (de) * 2001-09-11 2003-04-24 Leica Microsystems Verfahren und Vorrichtung zur optischen Untersuchung eines Objektes
DE10359780B4 (de) * 2003-12-19 2007-02-15 Pentacon Gmbh Foto- Und Feinwerktechnik Verfahren zur optischen Bilderfassung
DE102004047928B4 (de) * 2004-10-01 2011-02-24 Carl Mahr Holding Gmbh Optisches 3D-Messverfahren und Messeinrichtung
DE102006046925A1 (de) * 2006-09-28 2008-04-03 Jenlab Gmbh Verfahren und Anordnung zur Laser-Endoskopie für die Mikrobearbeitung
DE102007018048A1 (de) * 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
US7646482B2 (en) * 2007-05-31 2010-01-12 Genetix Limited Methods and apparatus for optical analysis of samples in biological sample containers
DE102007045897A1 (de) * 2007-09-26 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren zur mikroskopischen dreidimensionalen Abbildung einer Probe
DE102013006994A1 (de) * 2013-04-19 2014-10-23 Carl Zeiss Microscopy Gmbh Digitalmikroskop und Verfahren zur Optimierung des Arbeitsablaufes in einem Digitalmikroskop
DE102015107367A1 (de) * 2015-05-11 2016-11-17 Carl Zeiss Ag Auswertung von Signalen der Fluoreszenzrastermikroskopie unter Verwendung eines konfokalen Laserscanning-Mikroskops
CN107850767B (zh) * 2015-07-17 2021-09-28 徕卡显微系统复合显微镜有限公司 用于使多个物面同时成像的光片显微镜
DE102015115615A1 (de) * 2015-09-16 2017-03-16 Technische Universität München Vorrichtung und Verfahren zur chromatisch-konfokalen Untersuchung einer Probe
DE102016116309A1 (de) * 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Beleuchtungsmodul für winkelselektive Beleuchtung
DE102016211038A1 (de) * 2016-06-21 2017-12-21 Cytena Gmbh Vorrichtung und Verfahren zum Detektieren von Zellen oder Partikeln in einem Fluidbehälter
DE102016116620B3 (de) * 2016-09-06 2017-11-02 Stiftung Caesar Center Of Advanced European Studies And Research Strahlführungseinheit und System aus Strahlführungseinheiten sowie deren Verwendung
DE102016125255A1 (de) * 2016-12-21 2018-06-21 Carl Zeiss Jena Gmbh Wellenfrontmanipulator und optisches Gerät

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1202103A2 (de) * 2000-10-26 2002-05-02 GSF-Forschungszentrum für Umwelt und Gesundheit GmbH Verfahren zur Bilderfassung von Proben und optische Betrachtungsvorrichtung zur Durchführung des Verfahrens
DE10237470A1 (de) * 2001-10-22 2003-04-30 Leica Microsystems Verfahren und Vorrichtung zur Erzeugung lichtmikroskopischer, dreidimensionaler Bilder
WO2003095986A1 (en) * 2002-05-14 2003-11-20 Amersham Biosciences Niagara, Inc. System and methods for rapid and automated screening of cells
WO2014094790A1 (en) * 2012-12-19 2014-06-26 Unisensor A/S System and method for classification of particles in a fluid sample

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AMMAN, MICROBIAL. REV., vol. 59, 1995, pages 143 - 169
CHANDRASHEKA, T.R.: "Face Recognition Based on Histogram of Oriented Gradients, Local Binary Pattern and SVM/HMM Classifiers", INTERNATIONAL JOURNAL OF ENGINEERING SCIENCES AND RESEARCH TECHNOLOGY, August 2014 (2014-08-01), pages 344 - 352
HAMAYUN A. KHAN: "MCS HOG Features and SVM Based Handwritten Digit Recognition Systems", JOURNAL OF INTELLIGENT LEARNING SYSTEMS AND APPLICATIONS, vol. 9, 2017, pages 21 - 33
J E HOBBIE ET AL: "Use of nuclepore filters for counting bacteria by fluorescence microscopy", APPLIED AND ENVIRONMENTAL MICROBIOLOGY, vol. 33, no. 5, 1 May 1977 (1977-05-01), US, pages 1225 - 1228, XP055530575, ISSN: 0099-2240 *
KUO-JEN HSU ET AL: "Optimizing depth-of-field extension in optical sectioning microscopy techniques using a fast focus-tunable lens", OPTICS EXPRESS, vol. 25, no. 14, 7 July 2017 (2017-07-07), pages 16783, XP055530414, DOI: 10.1364/OE.25.016783 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113906482A (zh) * 2019-06-03 2022-01-07 拜耳公司 用于在具有腔体的测试板中测定活性物质对螨类、昆虫和其他生物的作用的系统

Also Published As

Publication number Publication date
DE102017009804A1 (de) 2019-04-25
EP3698271A1 (de) 2020-08-26

Similar Documents

Publication Publication Date Title
EP2870500B1 (de) Verfahren zur vorbereitung und durchführung der aufnahme von bildstapeln einer probe aus verschiedenen orientierungswinkeln
EP2130087B1 (de) Verfahren und vorrichtung zum mikroskopischen untersuchen einer probe, computerprogramm und computerprogrammprodukt
EP2766765B1 (de) Mikroskop und verfahren zur spim mikroskopie
EP1745270B2 (de) Verfahren zur bearbeitung einer masse mittels laserbestrahlung und steuersystem
EP2920577B1 (de) Vorrichtung und verfahren zur mikroskopie einer vielzahl von proben
WO2017013054A1 (de) Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen
WO2002004924A1 (de) Verfahren zur untersuchung von zellen in einer kulturflüssigkeit
DE102016110988A1 (de) Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop
DE102011051042A1 (de) Abtastmikroskop und Verfahren zur lichtmikroskopischen Abbildung eines Objektes
DE102017107348B4 (de) Verfahren zur zytometrischen Analyse von Zellproben
EP3712670B1 (de) Verfahren zur hochauflösenden scanning-mikroskopie
WO2014191383A1 (de) Verfahren zur lasermikrodissektion und lasermikrodissektionssystem
WO2019077157A1 (de) Verfahren zur bewertung von mikroskopischen proben und vorrichtung zur ausführung dieses verfahrens
DE102021104871A1 (de) Verfahren und Vorrichtung zur lichtblattmikroskopischen Untersuchung einer Probe
DE102011116734A1 (de) Verfahren zum Ermitteln eines fokussierten Bildabstands eines optischen Sensors eines Koordinatenmessgeräts
EP3977340A1 (de) System zur ermittlung der wirkung von wirkstoffen an acariformes, insekten und anderen organismen einer testplatte mit kavitäten
EP3988989B1 (de) Verfahren und mikroskop mit einer einrichtung zum erfassen von verlagerungen einer probe gegenüber einem objektiv
DE102012217745B4 (de) Verfahren und Mikroskop zur Aufnahme eines z-Bildstapels aus Bildern von vorbestimmten z-Ebenen eines Objektes
DE102019102959B3 (de) Verfahren zur Bilderzeugung mittels eines Mikroskops und entsprechendes Mikroskop
DE102019116114B3 (de) Mikroskop und Verfahren zum Betrieb eines Mikroskops
DE10359780B4 (de) Verfahren zur optischen Bilderfassung
DE102013209964B4 (de) Lasermikrodissektionssystem mit Benutzerinformationseinheit und Verfahren zur Lasermikrodissektion
DE102006009564B4 (de) Verfahren zur Bearbeitung einer Masse mittels eines Laserstrahls und entsprechende Vorrichtung
DE102008038359A1 (de) Mikroskop und Mikroskopierverfahren
DE102012015861A1 (de) Mikroskop und Verfahren zur SPIM-Mikroskopie

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18799453

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018799453

Country of ref document: EP

Effective date: 20200520