[go: up one dir, main page]

DE102005024066A1 - Method and apparatus for optically scanning a sample - Google Patents

Method and apparatus for optically scanning a sample Download PDF

Info

Publication number
DE102005024066A1
DE102005024066A1 DE200510024066 DE102005024066A DE102005024066A1 DE 102005024066 A1 DE102005024066 A1 DE 102005024066A1 DE 200510024066 DE200510024066 DE 200510024066 DE 102005024066 A DE102005024066 A DE 102005024066A DE 102005024066 A1 DE102005024066 A1 DE 102005024066A1
Authority
DE
Germany
Prior art keywords
control system
individual images
input unit
unit
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE200510024066
Other languages
German (de)
Inventor
Vasant Dipl.-Phys. Dr. Desai
Guido Dipl.-Ing. Gehrke
Ralf Dipl.-Phys. Dr. Lethmate
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evident Technology Center Europe GmbH
Original Assignee
Soft Imaging System GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Soft Imaging System GmbH filed Critical Soft Imaging System GmbH
Priority to DE200510024066 priority Critical patent/DE102005024066A1/en
Priority to EP05806370A priority patent/EP1886176A1/en
Priority to PCT/EP2005/012014 priority patent/WO2006125466A1/en
Publication of DE102005024066A1 publication Critical patent/DE102005024066A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Gegenstand der vorliegenden Erfindung sind ein Verfahren sowie eine Vorrichtung zur optischen Abtastung einer Probe (1). Dazu sind grundsätzlich eine Verstelleinheit (2, 3) sowie eine Abtasteinrichtung (4, 5) realisiert. Die Probe (1) wird mittels der von einer Steueranlage (6) beaufschlagten Verstelleinheit (4, 5) gegenüber der Abtasteinrichtung (2, 3) bewegt oder umgekehrt. Auf diese Weise werden mit der Abtasteinrichtung (4, 5) gewonnene Einzelbilder (11) in der Steueranlage (6) zu wenigstens einem Gesamtbild zusammengesetzt. Erfindungsgemäß lassen sich die Einzelbilder (11) bedienerseitig auswählen und werden mit vorgegebenem Überlapp (14) aufgenommen sowie zu dem Gesamtbild in Echtzeit zusammengesetzt.The present invention relates to a method and a device for optically scanning a sample (1). For this purpose, an adjusting unit (2, 3) and a scanning device (4, 5) are basically realized. The sample (1) is moved relative to the scanning device (2, 3) by means of the adjustment unit (4, 5) acted upon by a control system (6) or vice versa. In this way, individual images (11) obtained with the scanning device (4, 5) are combined in the control system (6) to form at least one overall image. According to the invention, the individual images (11) can be selected on the operator side and are recorded with a predetermined overlap (14) and combined to the overall image in real time.

Description

Die Erfindung betrifft ein Verfahren zur optischen Abtastung einer Probe, mit einer Verstelleinheit sowie einer Abtasteinrichtung, wonach die Probe mittels der von einer Steueranlage beaufschlagten Verstelleinheit gegenüber der Abtasteinrichtung bewegt wird, oder umgekehrt, und wonach auf diese Weise mit der Abtasteinrichtung gewonnene Einzelbilder in der Steueranlage zu wenigstens einem Gesamtbild zusammengesetzt werden.The Invention relates to a method for optically scanning a sample, with an adjusting unit and a scanning device, which the sample by means of the acted upon by a control unit adjustment across from the scanning device is moved, or vice versa, and then on in this way with the scanner obtained frames in the control system to at least one overall picture composed become.

Bei Verfahren der eingangs beschriebenen Ausgestaltung wird eine Probe zumeist hinsichtlich ihrer Transmission untersucht, wenngleich grundsätzlich auch Reflexionsmessungen möglich sind und umfasst werden. Üblicherweise wird jedoch das Absorptionsvermögen der Probe bei einem Durchscheinen mit einer (Weißlicht-)Quelle untersucht. Bei diesen Proben mag es sich um biologische Schnitte, Schnitte durch Werkstoffe etc. handeln.at Method of the embodiment described above is a sample mostly examined in terms of their transmission, although basically also Reflection measurements possible are and are included. Usually however, the absorbency becomes the sample is examined when it comes through with a (white light) source. These samples may be biological cuts, cuts through materials etc. act.

Weil die Abtasteinrichtung immer nur einen bestimmten Ausschnitt der Probe mit der gewünschten Auflösung erfassen kann, sorgt die Verstelleinheit dafür, dass mit der Abtasteinrichtung aufgenommene Einzelbilder zu dem wenigstens einen Gesamtbild in der Steueranlage zusammengesetzt werden. Tatsächlich setzt sich die Abtasteinrichtung üblicherweise aus einer Optikeinheit und einer Aufzeichnungseinheit zusammen. Bei der Optikeinheit mag es sich nicht einschränkend um ein oder mehrere Mikroskopobjektive handeln, während die Aufzeichnungseinheit als beispielsweise CCD-Chip (CCD= charge coupled device) ausgeführt ist, welcher sich regelmäßig in der Bildebene des jeweiligen Mikroskopobjektives befindet, um das Einzelbild aufzunehmen und an die Steueranlage zu übergeben, welche die Aufzeichnungseinheit ausliest und das jeweilige Einzelbild abspeichert.Because the scanner always only a certain section of the Sample with the desired resolution can capture, the adjustment ensures that with the scanner captured frames to the at least one overall image in the Control system to be assembled. In fact, the scanner usually sits down from an optical unit and a recording unit together. The optical unit may not be limited to one or more microscope objectives act while the recording unit as, for example, CCD chip (CCD = charge connected device) executed which is regularly in the Image plane of the respective microscope objective is to the single image to record and transfer to the control system, which the recording unit read out and save the respective frame.

Beim gattungsbildenden Stand der Technik nach der US-PS 4 760 385 wird der gesamte aufzunehmende Bereich serpentinenartig durchfahren und werden Schritt für Schritt zugehörige Einzelbilder aufgenommen und schließlich in der Steueranlage zum Gesamtbild zusammengesetzt. Die bisherige Vorgehensweise ist mit mehreren Nachteilen verbunden.At the generic prior art according to US-PS 4,760,385 the entire area to be picked up is driven through in serpentine fashion step for Step associated Single pictures taken and finally in the control system to the overall picture composed. The previous approach has several disadvantages connected.

So dauert der Prozess der Aufnahme des Gesamtbildes relativ lange und kann von außen her durch einen Bediener praktisch nicht beeinflusst werden, sondern wird automatisiert abgearbeitet. Daraus folgend muss die Verstelleinheit mit sehr hoher Präzision arbeiten, um die Einzelbilder fehlerfrei zu dem anschließenden Gesamtbild zusammensetzen zu können. Eine solche Vorgehensweise erfordert mechanisch besonders präzise arbeitende Stellvorrichtungen in der Verstelleinheit, die kostenaufwendig sind. Hier setzt die Erfindung ein.So lasts the process of taking the overall picture relatively long and can from the outside are practically not affected by an operator, but is processed automatically. Consequently, the adjustment unit must with very high precision work to make the frames error free to the subsequent overall picture to be able to assemble. Such a procedure requires mechanically particularly precise working Actuators in the adjustment, which are expensive. This is where the invention starts.

Der Erfindung liegt das technische Problem zugrunde, ein derartiges Verfahren so weiter zu entwickeln, dass der Kostenaufwand verringert ist und ein Bedienereingriff ermöglicht wird. Außerdem soll eine hierzu besonders geeignete Vorrichtung geschaffen werden.Of the Invention is the technical problem underlying such a Develop the process so that the cost is reduced is and allows operator intervention becomes. Furthermore If a particularly suitable device to be created.

Zur Lösung dieser technischen Problemstellung ist ein gattungsgemäßes Verfahren zur optischen Abtastung einer Probe erfindungsgemäß dadurch gekennzeichnet, dass die Einzelbilder bedienerseitig und/oder automatisch (mit Hilfe der Steueranlage) ausgewählt und mit vorgegebenem Überlapp aufgenommen sowie zu dem Gesamtbild in Echtzeit zusammengesetzt werden.to solution This technical problem is a generic method for optically scanning a sample according to the invention thereby in that the individual images on the operator side and / or automatically selected (with the help of the control system) and recorded with a predetermined overlap as well as to the overall picture in real time.

Auf diese Weise kann beispielsweise der Bediener das Aussehen des Gesamtbildes praktisch unmittelbar steuern und dieses beeinflussen. Denn die Einzelbilder werden bedienerseitig im Rahmen einer ersten Alternative ausgewählt. Das geschieht im einfachsten Fall dadurch, dass eine an die Steueranlage angeschlossene Eingabeeinheit entsprechende Bedienerwünsche erfasst und über die Steueranlage in Stellsignale für die Verstelleinheit umsetzt. Bei dieser Eingabeeinheit handelt es sich nach bevorzugter Ausführungsform um eine X-/Y-Eingabeeinheit, beispielsweise eine Computermaus, einen Joystick oder dergleichen.On This way, for example, the operator can change the look of the overall picture control it directly and influence it. Because the Single images are used by the user as part of a first alternative selected. This happens in the simplest case in that one to the control system connected input unit corresponding operator requests detected and over converts the control system into control signals for the adjustment unit. This input unit is according to a preferred embodiment around an X / Y input unit, such as a computer mouse, a Joystick or the like.

Mit dessen Hilfe wird nun das gewünschte Einzelbild ausgewählt, indem die betreffende Eingabeeinheit die Verstelleinheit so ansteuert, dass beispielsweise auf einer Ausgabeeinheit bzw. einem Bildschirm der Steueranlage der betreffende Bildausschnitt bzw. das hierzu gehörige Einzelbild erscheint, und zwar unmittelbar. Hiervon ausgehend kann nun mittels der Eingabeeinheit ein Abtastweg entlang der zu untersuchenden Probe von dem Bediener vorgegeben werden. Dieser Abtastweg mag dabei serpentinenartig oder mäanderförmig – der Vorgabe folgend – ausgebildet sein. Selbstverständlich ist es auch denkbar, nur bestimmte Bereiche der Probe in Einzelbildern zu erfassen. Das alles steuert jedenfalls der Bediener, indem sein Bedienerwunsch von der Eingabeeinheit erfasst und mit Hilfe der Steueranlage in entsprechende Stellsignale für die Verstelleinheit umgesetzt wird. Die dabei aufgenommenen Einzelbilder werden nun – verzögerungsfrei – zu dem Gesamtbild in Echtzeit zusammengesetzt.With its help will now be the desired frame selected, in that the relevant input unit controls the adjustment unit in this way, that for example on an output unit or a screen the control system of the image or the relevant section associated Single picture appears, directly. On this basis, can now by means of the input unit a scanning along the examined Sample can be specified by the operator. This scan path likes it serpentine or meandering - the default following - educated be. Of course It is also conceivable only in certain areas of the sample in individual images capture. At least that's what the operator controls by being User request captured by the input unit and using the Control system implemented in corresponding control signals for the adjustment becomes. The captured individual images are now - delay-free - to the Overall picture composed in real time.

Alternativ oder zusätzlich ist es auch möglich, die Auswahl des jeweiligen Einzelbildes automatisch vorzunehmen, was insbesondere mit Hilfe der Steueranlage geschieht. Beispielsweise ist es denkbar, eine lebende Probe in ihrer Bewegung zu verfolgen. Auch das Wachstum von u. a. Nervenzellen kann auf diese Weise automatisch beobachtet werden. Zu diesem Zweck muss eine Bildanalyse vorgeschaltet werden. Dies kann so aussehen, dass der Bediener einen lebenden Einzeller aufnimmt, welcher für die anschließende Wegverfolgung als Referenzbild dient. Etwaige Bewegungen dieses Einzellers werden nun mit Hilfe der Steueranlage dahingehend analysiert, dass die Verstelleinheit im Sinne einer Regelung mit Hilfe der Steueranlage so bewegt wird, dass der besagte Einzeller bzw. das aktuelle Bild mit dem Referenzbild übereinstimmt. Zumindest lässt sich die Lage des Einzellers bzw. der Probe im Referenzbild mit derjenigen im aktuell aufgenommenen Einzelbild zur Deckung bringen. Als Folge hiervon steht – auch bei einer manuellen bzw. bedienerseitigen Auswahl der Einzelbilder – die Wegstrecke des Einzellers bzw. die Wegstrecke der Verstelleinheit in der Steueranlage zur Verfügung. Das heißt, durch die automatische Auswahl der Einzelbilder in Verbindung mit der vorgeschalteten Bildanalyse kann problemlos eine Trajektorie von beispielsweise Nervenzellen verfolgt werden, also deren Bewegungsverlauf.Alternatively or additionally, it is also possible to make the selection of the respective frame automatically, which happens in particular with the help of the control system. For example, it is thinking bar to pursue a living sample in their movement. Also, the growth of, inter alia, nerve cells can be observed automatically in this way. For this purpose, an image analysis must be used. This may be such that the operator picks up a live single cell, which serves as a reference image for the subsequent path tracking. Any movements of this single cell are now analyzed with the help of the control system to the effect that the adjustment is moved in the sense of a control by means of the control system so that said single cell or the current image matches the reference image. At least the position of the unicellular or the sample in the reference image can be made to coincide with that in the currently recorded single image. As a consequence of this, the travel distance of the single cell or the distance of the adjusting unit in the control system is available, even with a manual or user-side selection of the individual images. That is, by automatically selecting the frames in conjunction with the upstream image analysis can be traced easily a trajectory of, for example, nerve cells, so their movement history.

Dabei wird man in der Regel die Belichtungszeit für die Abtasteinrichtung bzw. die dort üblicherweise realisierte Abtasteinheit groß gegenüber der Zeit zum Bewegen der Verstelleinheit einstellen bzw. für eine entsprechende Anpassung sorgen. Dadurch kann das Einzelbild jeweils praktisch verzögerungsfrei in Echtzeit wiedergegeben werden.there you will usually the exposure time for the scanner or usually there realized scanning unit large compared to the time to move the adjustment unit or for a corresponding Adjustment care. This allows the single frame to be practical delay be played in real time.

In der Regel erzeugt die Eingabeeinheit bzw. die Steueranlage bei der automatischen Auswahl der Einzelbilder wenigstens eine Markierung auf der an die Steueranlage angeschlossenen Ausgabeeinheit. Diese Markierung zeigt üblicherweise die Bildmitte des jeweils aufgenommenen Einzelbildes an. Selbstverständlich lassen sich auch andere exponierte Punkte in dem Einzelbild als Markierung nutzen.In The rule generates the input unit or the control system in the automatic selection of the individual images at least one mark on the output unit connected to the control system. These Marker usually shows the center of each captured individual image. Of course, let also other exposed points in the frame as a marker use.

Jedenfalls gibt die Eingabeeinheit bzw. die Steueranlage den Abtastweg vor, entlang dessen die Probe abgetastet wird und die Einzelbilder eine Aufnahme erfahren. Der Abtastweg kann abgespeichert werden und weist Ankerpunkte auf, wobei jeder Ankerpunkt zu einem Einzelbild korrespondiert. Dabei mag der Ankerpunkt beispielsweise zu der Bildmitte des jeweiligen Einzelbildes korrespondieren.In any case indicates the input unit or the control system the Abtastweg, along which the sample is scanned and the frames one Experienced recording. The scan path can be stored and points Anchor points, each anchor point corresponding to a frame. In this case, the anchor point likes, for example, to the image center of the respective Single picture correspond.

Bei diesem bedienerseitigen Abtastvorgang muss gewährleistet werden, dass die Einzelbilder mit dem vorgegebenen Überlapp zueinander aufgenommen werden, so dass sie sich zu dem Gesamtbild in Echtzeit zusammensetzen lassen. D. h., das dem jeweiligen Bedienerwunsch entsprechende Einzelbild wird unmittelbar auf der Ausgabeeinheit angezeigt. Wenn nun der Bediener in die Eingabeeinheit einen Befehl zum Weiterbewegen eingibt, folgt die Verstelleinheit dem auf diese Weise vorgegebenen Abtastweg. Der Abtastweg wird in der Steueranlage abgespeichert.at This user-side scanning must be ensured that the Frames taken with the predetermined overlap each other so that they assemble into the overall picture in real time to let. D. h., Which is the respective user request corresponding single image displayed immediately on the output unit. If now the operator in the input unit enters a command to move on, follows the adjustment of the predetermined scanning path in this way. The scanning path is stored in the control system.

Nach einer systembedingten Verzögerungszeit wird das nächste Einzelbild aufgenommen, indem der zugehörige Ankerpunkt auf dem Abtastweg festgelegt wird und im Beispielfall und nicht einschränkend die Bildmitte des nächsten Einzelbildes definiert. Dabei stellt die Steueranlage sicher, dass die Bildmitte (der Ankerpunkt) so positioniert ist, dass das aufgenommene erste Einzelbild und das darauf folgende zweite Einzelbild den gewünschten und vorgegebenen Überlapp zueinander aufweisen.To a system-related delay time will be the next Frame captured by setting the associated anchor point on the scan path is and in the example case and not limiting the center of the next frame defined. The control system ensures that the center of the image (the anchor point) is positioned so that the captured first frame and the subsequent second frame the desired and predetermined overlap to each other.

Das erreicht man im Detail dergestalt, dass in der Steueranlage das erste Einzelbild mit einem ihn umgebenden Rahmen identifiziert wird, wobei der Ankerpunkt die Bildmitte und gleichzeitig den Startpunkt des Abtastweges markiert. Wenn nun die Eingabeeinheit entsprechend dem Bedienerwunsch den Abtastweg vorgibt, so wird ein zweiter Bildrahmen erzeugt, dessen Ankerpunkt respektive Bildmitte dem Weg der Eingabeeinheit auf dem Abtastweg folgt. Dieser zweite Bildrahmen bewegt sich zunehmend aus dem ersten Bildrahmen heraus, so dass der Überlapp der beiden Bildrahmen mit wachsendem Abstand des zweiten Ankerpunktes vom Startpunkt bzw. ersten Ankerpunkt kleiner wird. Während dieses Vorganges folgt die Verstelleinheit der Bewegung des zweiten Ankerpunktes. Sobald hierbei der vorgegebene (minimale) Überlapp der Einzelbilder bzw. von erstem und zweitem Bildrahmen erreicht worden ist, wird die Verstelleinheit kurz angehalten, damit das zweite Einzelbild unter Berücksichtigung des vorgegebenen Überlapps aufgenommen werden kann. Das zweite Einzelbild erscheint zusätzlich zu dem ersten Einzelbild unmittelbar auf oder in der Ausgabeeinheit, so dass die beiden Einzelbilder bereits ein Gesamtbild formen, und zwar in Echtzeit.The can be achieved in detail in such a way that in the control system first frame is identified with a surrounding frame, where the anchor point is the center of the picture and at the same time the starting point the scanning path marked. If now the input unit accordingly the operator request specifies the scanning, so is a second picture frame whose anchor point or image center is the path of the input unit follows the scan path. This second picture frame is increasingly moving out the first picture frame, leaving the overlap of the two picture frames with increasing distance of the second anchor point from the starting point or first anchor point gets smaller. During this process follows the adjustment unit of the movement of the second anchor point. As soon as Here, the predetermined (minimum) overlap of the individual images or of first and second picture frame has been reached, the adjusting unit briefly paused to allow the second frame under consideration the predetermined overlap can be included. The second frame will appear in addition to the first frame directly on or in the output unit, so that the two frames already form an overall picture, and although in real time.

Sollte der Bediener über die Eingabeeinheit so schnelle Bewegungen der Verstelleinheit vorgeben, dass die Einzelbildaufnahme nicht unmittelbar folgen kann, wird der Abtastweg entlang der abgespeicherten Vorgaben quasi abgearbeitet und die Verstelleinheit folgt dem abgespeicherten Abtastweg von Ankerpunkt zu Ankerpunkt. Dabei wird der jeweils nachfolgende Ankerpunkt immer in einem solchen Abstand vom vorlaufenden Ankerpunkt definiert, dass das nachfolgende Einzelbild mit seiner Bildmitte am nachfolgenden Ankerpunkt immer noch den gewünschten vorgegebenen Überlapp zum vorlaufenden Einzelbild mit dessen Bildmitte am vorlaufenden Ankerpunkt aufweist. Derartige Fälle treten jedoch in der Praxis praktisch kaum auf, weil die zuvor bereits angesprochenen systembedingten Verzögerungszeiten äußerst kurz sind. Diese erklären sich letztlich aufgrund der Zeitdauer, die benötigt wird, das jeweilige Einzelbild bei Stillstand der Verstelleinheit aufzunehmen und die Aufzeichnungseinheit der Abtasteinrichtung auszulesen sowie die zugehörigen Bildwerte in der Steueranlage abzulegen.If the operator specifies such rapid movements of the adjustment unit via the input unit that the single image recording can not follow immediately, the scanning path is quasi processed along the stored specifications and the adjustment unit follows the stored scanning path from anchor point to anchor point. In this case, the respective subsequent anchor point is always defined at such a distance from the leading anchor point that the subsequent frame with its center at the subsequent anchor point still has the desired predetermined overlap to the leading frame with the center of the image at the leading anchor point. However, such cases hardly occur in practice, because the system-related delay times already mentioned above are extremely short. These are ultimately explained by the amount of time it takes record each frame at standstill of the adjustment and read the recording unit of the scanner and store the associated image values in the control system.

Jedenfalls wird im Ergebnis ein Gesamtbild aus mehreren mit Überlapp aufgenommenen Einzelbildern zur Verfügung gestellt, welches sich unmittelbar und in Echtzeit, d. h. praktisch verzögerungslos, in der Ausgabeeinheit aufbaut, und zwar entsprechend den Vorgaben des Bedieners, nämlich entlang dem vorgegebenen Abtastweg.In any case The result is an overall picture of several with overlap recorded single images provided, which itself immediately and in real time, d. H. practically without delay, in of the output unit, according to the specifications of Operator, namely along the given scanning path.

Dabei kommt dem Überlapp zwischen den Einzelbildern eine besondere Bedeutung zu. Denn anhand dieses Überlapps können die Einzelbilder einwandfrei gegeneinander ausgerichtet und zu dem Gesamtbild verbunden werden, ohne dass die Verstelleinheit die vom Stand der Technik geforderte höchste Präzision aufweisen muss. Tatsächlich arbeitet man an dieser Stelle mit einem Überlapp der Flächen der Einzelbilder von weniger als 20 %, vorzugsweise ca. 10 %. D. h., die jeweiligen Einzelbilder überlappen sich hinsichtlich 10 % ihrer Flächen, die regelmäßig – wie der zugehörige Bildrahmen – gleich groß bemessen sind.there comes to the overlap between the frames a special meaning too. Because based this overlap can the frames perfectly aligned against each other and to the overall picture be connected without the adjustment from the state of Technology required highest precision must have. Indeed one works at this point with an overlap of the surfaces of the Frames of less than 20%, preferably about 10%. Ie., the respective frames overlap 10% of their area, the regular - like the associated Picture frame - the same size are.

Jedenfalls kann dieser Überlapp analysiert werden, um beispielsweise ein nachfolgendes gegenüber einem vorlaufenden oder voreilenden Einzelbild auszurichten und dessen exakte X-/Y-Position im Koordinatensystem des Gesamtbildes bzw. im Raster der Einzelbilder zu finden. Hierbei macht sich die Erfindung eine Kombination aus schneller Fouriertransformation (FFT = fast fourier transformation) in Verbindung mit einer Kreuzkorrelation zunutze, wie in der Figurenbeschreibung noch näher erläutert wird. Dadurch erfahren die Einzelbilder eine automatische X-/Y-Korrektur im Koordinatensystem des Gesamtbildes. Selbstverständlich ist auch eine Z-Korrektur möglich. In jedem Fall gleicht die besagte Korrektur auch (kleinere) mechanische Ungenauigkeiten der Verstelleinheit aus. Dadurch kann an dieser Stelle auf kostengünstige Varianten, insbesondere der Stellvorrichtungen, zurückgegriffen werden.In any case can this overlap be analyzed, for example, a subsequent to a Align leading or leading single frame and its Exact X / Y position in the coordinate system of the overall picture to be found in the grid of the individual images. Here is the invention a combination of fast Fourier transformation (FFT = fast Fourier transformation) in conjunction with a cross-correlation advantage, as will be explained in more detail in the description of the figures. Learn about it the individual images an automatic X / Y correction in the coordinate system of the overall picture. Of course is also a Z-correction possible. In any case, the said correction also resembles (smaller) mechanical Inaccuracies of the adjustment from. This can be done at this Place on low cost Variants, in particular the adjusting devices, resorted to become.

Den vorerwähnten Überlapp der Einzelbilder wird man in der Regel in Abhängigkeit von der Geschwindigkeit, mit welcher der Abtastweg durchlaufen wird, vorgeben. D. h., wenn der Abtastweg schnell durchlaufen werden soll und man beispielsweise nur einen groben Überblick der Probe in Echtzeit haben möchte, wird man meist versuchen, mit einem geringen Überlapp, beispielsweise sogar unterhalb von 10 % auskommen zu können, um die systembedingten Verzögerungszeiten in der Summe so gering wie möglich einzustellen. Meistens wird man in diesem Fall auch mit einer relativ geringen Auflösung der Abtasteinrichtung arbeiten. D. h., der Überlapp lässt sich auch in Abhängigkeit von der Auflösung variieren. Schließlich spielt natürlich auch die Aufnahmenrate für die Einzelbilder ggf. eine Rolle.The aforesaid overlap the frames you will usually depending on the speed, with which the scan path is traversed, pretend. That is, if the scanning is to be traversed quickly and you, for example just a rough overview want to have the sample in real time, One will usually try with a slight overlap, for example even below 10% to get by the systemic delay times in the sum as low as possible adjust. Most of the time you will be in this case with a relative low resolution the scanner work. That is, the overlap can also be dependent from the resolution vary. After all plays of course also the admission rate for the single images possibly a role.

Dadurch, dass mit Hilfe der Fouriertransformation in Verbindung mit der Kreuzkorrelation (kleine) mechanische Ungenauigkeiten der Verstelleinheit ausgeglichen werden, und zwar bedarfsweise in X-/Y- und ggf. Z-Richtung, besteht die Möglichkeit, die vorgenommenen Korrekturen in der Steueranlage abzuspeichern und im Sinne einer Regelung bzw. eines Feedbacks bei der Ansteuerung der Verstelleinheit zu berücksichtigen. D. h., jeder X-/Y- und ggf. Z-Wert der Verstelleinheit korrespondiert zu einem Korrekturwert, welcher aus der Fourieranalyse in Verbindung mit der Kreuzkorrelation ermittelt worden ist und bei einer anschließenden Anwahl dieser Position Berücksichtigung findet.Thereby, that with the aid of the Fourier transformation in conjunction with the cross-correlation (small) mechanical inaccuracies of the adjustment compensated be, if necessary in X- / Y- and possibly Z-direction exists the possibility of the to store corrections made in the control system and in the sense of a regulation or a feedback in the control to take into account the adjustment. That is, each X- / Y- and possibly Z value of the adjustment corresponds to to a correction value derived from the Fourier analysis with the cross-correlation has been determined and in a subsequent selection considering this position place.

Dabei wird insgesamt der Überlapp der Einzelbilder zu ihrer gegenseitigen Ausrichtung im Gesamtbild und im zugehörigen Koordinatensystem für das Gesamtbild ausgewertet. Die Ankerpunkte korrespondieren dabei jeweils zu Koordinatenwerten im Gesamtbild, die ggf. eine Korrektur im Anschluss an die gegenseitige Ausrichtung der Einzelbilder zum Gesamtbild erfahren. Das geschieht im Anschluss an die Auswertung des Überlapps mit Hilfe der FFT in Verbindung mit der Kreuzkorrelation.there Overall, the overlap the frames to their mutual orientation in the overall picture and in the associated Coordinate system for the Total image evaluated. The anchor points correspond in each case to coordinate values in the overall picture, which may require a correction afterwards to the mutual alignment of the individual images to the overall picture Experienced. This happens after the evaluation of the overlap using the FFT in conjunction with the cross-correlation.

Gegenstand der Erfindung ist auch eine Vorrichtung zur optischen Abtastung einer Probe, wie sie im Anspruch 8 beschrieben wird. Vorteilhafte Ausgestaltungen dieser Vorrichtung sind Gegenstand der Ansprüche 9 und 10.object The invention is also a device for optical scanning a sample as described in claim 8. advantageous Embodiments of this device are the subject of claims 9 and 10th

Im Folgenden wird die Erfindung anhand einer lediglich ein Ausführungsbeispiel darstellenden Zeichnung näher erläutert; es zeigen:in the The invention will be described below with reference to a purely exemplary embodiment drawing closer explains; show it:

1 eine erfindungsgemäße Vorrichtung schematisch, 1 a device according to the invention schematically,

2 einen vergrößerten Ausschnitt aus 1, 2 an enlarged section 1 .

3 mehrere entlang eines bedienerseitig vorgegebenen Abtastweges aufgenommene Einzelbilder und 3 a plurality of individual images recorded along a user-selected scanning path and

4 und 5 jeweils ein Gesamtbild mit eingezeichneten Korrekturen. 4 and 5 in each case an overall picture with marked corrections.

In den Figuren ist eine Vorrichtung zur optischen Abtastung einer Probe 1 dargestellt, bei welcher es sich nicht einschränkend um einen transparenten biologischen Gewebeschnitt handelt. Dieser wird mit Hilfe einer Weißlichtquelle W durchleuchtet, wobei selbstverständlich auch andere Lichtquellen, beispielsweise LED-Zeilen oder dergleichen zum Einsatz kommen können. Die Weißlichtquelle W befindet sich unterhalb einer Verstelleinheit 2, 3. Die Verstelleinheit 2, 3 setzt sich aus Stellvorrichtungen 2 sowie einem Tisch 3 zusammen.In the figures is a device for optically scanning a sample 1 shown, which is not limiting to a transparent biological tissue section. This is transilluminated with the aid of a white light source W, it being understood that other light sources, For example, LED lines or the like can be used. The white light source W is located below an adjustment unit 2 . 3 , The adjustment unit 2 . 3 consists of adjusting devices 2 as well as a table 3 together.

Mit Hilfe der Stellvorrichtungen 2 kann der Tisch 3 im Beispielfall in X-/Y-Richtung verfahren werden, so dass unterschiedliche Bereiche der Probe 1 aufgenommen werden können. Selbstverständlich liegt es im Rahmen der Erfindung, den Tisch 3 ggf. auch in Z-Richtung zu verstellen. Das ist jedoch nicht gezeigt.With the help of adjusting devices 2 can the table 3 in the example case in the X / Y direction, so that different areas of the sample 1 can be included. Of course, it is within the scope of the invention, the table 3 if necessary also to adjust in Z-direction. This is not shown.

Das von der Weißlichtquelle W ausgesandte Licht durchleuchtet die Probe 1 und wird ausweislich der 2 mit Hilfe einer Abtasteinrichtung 4, 5 aufgenommen. Die Abtasteinrichtung 4, 5 setzt sich aus mehreren Objektiven 4 als Optikeinheit 4 zusammen, die wahlweise unterschiedlich große Bildausschnitte der Probe 1 auf eine Aufzeichnungseinheit 5 abbilden. Bei der Aufzeichnungseinheit 5 handelt es sich um einen CCD-Chip mit beispielsweise 1·106 Pixeln. Das auf dem CCD-Chip erzeugte Bild der transmittierten Probe 1 wird in einer Steueranlage 6 als Einzelbild 7 aufgenommen. Die Steueranlage 6 steuert auch die Stellvorrichtung 2 bzw. die Verstelleinheit 2, 3 sowie ggf. die Optikeinheit 4, in dem ein gewünschtes Objektiv 4 ausgewählt wird.The light emitted by the white light source W illuminates the sample 1 and is evidenced by the 2 with the help of a scanner 4 . 5 added. The scanning device 4 . 5 consists of several lenses 4 as an optical unit 4 together, the optionally different sized image sections of the sample 1 to a recording unit 5 depict. At the recording unit 5 it is a CCD chip with for example 1 × 10 6 pixels. The image of the transmitted sample generated on the CCD chip 1 is in a control system 6 as a single picture 7 added. The control system 6 also controls the actuator 2 or the adjustment unit 2 . 3 and possibly the optical unit 4 in which a desired lens 4 is selected.

Zusätzlich ist eine Eingabeeinheit 8 realisiert, welche an die Steueranlage 6 angeschlossen ist und eine bedienerseitige Steuerung der Einzelbildaufnahme ermöglicht. Bei dieser Eingabeeinheit 8 handelt es sich nicht einschränkend um eine X-/Y-Eingabeeinheit 8, die im Ausführungsbeispiel als Computermaus ausgeführt ist. Mit Hilfe einer solchen Computermaus lassen sich X-/Y-Werte in einem Koordinatensystem vorgeben und als Markierung 9 auf einer Ausgabeeinheit 10 anzeigen. Bei der Ausgabeeinheit 10 handelt es sich um einen Computerbildschirm, während die Markierung 9 hierauf als Pfeil, Kreuz o. dgl. erscheint. Mit Hilfe der Eingabeeinheit 8 und der damit definierten Position der Markierung 9 im Koordinatensystem wird auch die Position des Tisches 3 in X-/Y-Richtung vorgegeben und verändert, wie nachfolgend noch näher erläutert wird. D. h., die Eingabeeinheit 8 gibt eine bestimmte Raumposition der Verstelleinheit 2, 3 zur Einzelbildaufnahme vor.In addition, there is an input unit 8th realized, which to the control system 6 is connected and allows a user-side control of the single image recording. In this input unit 8th it is not limited to an XY input unit 8th , which is executed in the embodiment as a computer mouse. With the help of such a computer mouse, X / Y values can be specified in a coordinate system and as a marker 9 on an output unit 10 Show. At the output unit 10 it is a computer screen while the mark 9 then appears as an arrow, cross o. The like. With the help of the input unit 8th and the position of the mark thus defined 9 in the coordinate system is also the position of the table 3 predefined and changed in the X / Y direction, as will be explained in more detail below. That is, the input unit 8th gives a certain spatial position of the adjustment 2 . 3 for still image recording.

Alternativ hierzu kann die Verstelleinheit 2, 3 aber auch automatisch bewegt werden, und zwar mit Hilfe der Steueranlage 6, die die Stellvorrichtung 2 bzw. die Verstelleinheit 2, 3 sowie ggf. die Optikeinheit 4 entsprechend ansteuert. Dazu mag eine Bildanalyse vorangehen und die Einzelbildfolge korrespondiert zu dem eingangs bereits beschriebenen Weg beispielsweise eines Einzellers beispielsweise entlang einer Trajektorie. Dabei kann die Steueranlage 6 selbstverständlich auch Trajektorien in drei Dimensionen berücksichtigen und diese nachfahren. In diesem Fall wird die Markierung 9 von der Steueranlage 6 vorgegeben. Dabei können selbstverständlich auch Rotationen von Einzelbild zu Einzelbild detektiert und mit Hilfe der Verstelleinheit 2, 3 ausgeführt werden. Derartige Rotationen lassen sich neben einem auf diese Weise definierten Abtastweg 12 zusätzlich in der Steueranlage 6 abspeichern.Alternatively, the adjustment 2 . 3 but also be moved automatically, with the help of the control system 6 that the adjusting device 2 or the adjustment unit 2 . 3 and possibly the optical unit 4 controls accordingly. This may be preceded by an image analysis and the frame sequence corresponds to the path already described, for example, a protozoa, for example, along a trajectory. In this case, the control system 6 Of course, also consider trajectories in three dimensions and tracing them. In this case, the mark becomes 9 from the control system 6 specified. Of course, it is also possible to detect rotations from frame to frame and with the aid of the adjustment unit 2 . 3 be executed. Such rotations can be next to a scanning path defined in this way 12 additionally in the control system 6 save.

Im Idealfall stimmen das Koordinatensystem für die Markierung 9 auf der Ausgabeeinheit 10, das Koordinatensystem der Verstelleinheit 2, 3 und schließlich dasjenige des aus den Einzelbildern 7 zusammengesetzten Gesamtbildes überein bzw. lassen sich ineinander transformieren. Etwaige Abweichungen der Position des Einzelbildes 7 im Gesamtbild von dieser idealen Position werden durch die nachfolgend beschriebenen Operationen erfasst und die Position des Einzelbildes 7 wird korrigiert. Dadurch lassen sich Fehler bei der Aufnahme des Einzelbildes 7 in der Verstelleinheit 2, 3 und/oder der Abtasteinrichtung problemlos ausgleichen.Ideally, the coordinate system will vote for the marker 9 on the output unit 10 , the coordinate system of the adjustment unit 2 . 3 and finally that of the single pictures 7 composite overall picture or can be transformed into each other. Possible deviations of the position of the single picture 7 in the overall picture of this ideal position are detected by the operations described below and the position of the frame 7 will be corrected. This can be mistakes in the recording of the single image 7 in the adjustment unit 2 . 3 and / or compensate the scanner easily.

Im Detail kann ein Bediener nun mit Hilfe der Eingabeeinheit 8 zunächst einmal eine Startposition für die Bildaufnahme mit Hilfe einer Markierung 9 bzw. einer ersten Markierung 91 entsprechend der Darstellung in 3 festlegen. Diese Startposition 91 fällt im Ausführungsbeispiel und nicht einschränkend mit der Bildmitte des ersten Einzelbildes 111 zusammen und markiert einen ersten Ankerpunkt 91 . Das erste Einzelbild 111 erscheint nach Anwahl der Position bzw. Markierung 91 unmittelbar auf der Ausgabeeinheit 10. Wenn nun ein Bediener die Eingabeeinheit 8 entlang des Abtastweges 12 weiter bewegt, wird ein Rahmen 132 für das zweite Einzelbild 112 im Koordinatensystem entlang des Abtastweges 12 bewegt.In detail, an operator can now use the input unit 8th First of all a starting position for the image recording with the help of a marker 9 or a first mark 9 1 as shown in 3 establish. This starting position 9 1 falls in the embodiment and not limiting with the center of the first frame 11 1 together and marks a first anchor point 9 1 , The first single picture 11 1 appears after selecting the position or marking 9 1 directly on the output unit 10 , If now an operator the input unit 8th along the scanning path 12 moving on, becomes a frame 13 2 for the second frame 11 2 in the coordinate system along the scanning path 12 emotional.

Dieser Rahmen 132 bewegt sich gleichsam aus dem Rahmen 131 des ersten Einzelbildes 111 heraus, indem ein zugehöriger Überlapp 1412 kleiner wird. Erreicht dieser Überlapp 1412 zwischen dem ersten Einzelbild 111 und dem zweiten Einzelbild 112 bzw. zwischen den beiden zugehörigen Rahmen 131 und 132 einen bestimmten vorgegebenen Wert, liegt beispielsweise unterhalb von 20 % oder bei ca. 10 %, so wird die Verstelleinheit 2, 3 angehalten, welche während des eingangs erläuterten Vorganges der Bewegung der Eingabeeinheit 8 gefolgt ist bzw. den Abtastweg 12 nachgezeichnet hat. Dieser kurze Stopp korrespondiert zur Position der Markierung 92 des zweiten Einzelbildes 112 , wiederum in dessen Bildmitte. In dieser Stellung wird das zweite Einzelbild 112 aufgenommen.This frame 13 2 is moving out of the frame 13 1 of the first frame 11 1 out by adding a corresponding overlap 14 12 gets smaller. Reach this overlap 14 12 between the first frame 11 1 and the second frame 11 2 or between the two associated frames 13 1 and 13 2 a certain predetermined value, for example, is below 20% or about 10%, so is the adjustment 2 . 3 stopped, which during the above-explained operation of the movement of the input unit 8th followed or the Abtastweg 12 has traced. This short stop corresponds to the position of the mark 9 2 of the second frame 11 2 , again in the center of the picture. In this position, the second frame 11 2 added.

Nachdem die Aufzeichnungseinheit 5 und folglich das zweite Einzelbild 112 ausgelesen worden ist, kann die Verstelleinheit 2, 3 dem weiteren Abtastweg 12 wieder folgen. Das geschieht mit einer (geringen) und durch den vorbeschriebenen Auslesevorgang vorgegebenen Verzögerung. Falls die Verstelleinheit 2, 3 den Vorgaben der Eingabeeinheit 8 nicht unmittelbar folgen kann, weil ein Bediener beispielsweise die Eingabeeinheit 8 zu schnell bewegt, so wird der Abtastweg 12 in der Steueranlage 6 abgespeichert und mit der maximal möglichen Geschwindigkeit der Stellvorrichtungen 2 bzw. der Verstelleinheit 2, 3 entsprechend den oben angegebenen Vorgaben abgearbeitet.After the recording unit 5 and consequently the second frame 11 2 has been read out, the adjustment can 2 . 3 the further scan path 12 follow again. This is done with a (small) and given by the above readout delay. If the adjustment unit 2 . 3 the specifications of the input unit 8th can not immediately follow, because an operator, for example, the input unit 8th moves too fast, so is the scanning 12 in the control system 6 stored and with the maximum possible speed of the adjusting devices 2 or the adjusting unit 2 . 3 processed according to the specifications given above.

Nachdem das zweite Einzelbild 112 erzeugt worden ist, bewegt sich die Verstelleinheit 2, 3 ausgehend von der zweiten Markierung 92 als zweitem Ankerpunkt 92 in Richtung auf den dritten Ankerpunkt bzw. die dritte Markierung 93 . Dieser dritte Ankerpunkt 93 wird wiederum dadurch festgelegt, dass ein dritter Bildrahmen 133 gegenüber dem zweiten Bildrahmen 132 so weit verschoben worden ist, bis der vorgegebene Überlapp 14 zwischen dem zweiten Bildrahmen 132 und dem dritten Bildrahmen 133 vorliegt. Dieser Überlapp 14 trägt die Bezeichnung 1423 .After the second frame 11 2 has been generated, moves the adjustment 2 . 3 starting from the second mark 9 2 as the second anchor point 9 2 in the direction of the third anchor point or the third mark 9 3 , This third anchor point 9 3 in turn is determined by the fact that a third picture frame 13 3 opposite the second picture frame 13 2 has been postponed until the predetermined overlap 14 between the second picture frame 13 2 and the third picture frame 13 3 is present. This overlap 14 carries the name 14 23 ,

Dann hält die Verstelleinheit 2, 3 wiederum für einen kurzen Moment an, so dass das dritte Einzelbild 113 aufgenommen werden kann, wobei der dritte Ankerpunkt bzw. die dritte Markierung 93 wiederum die Bildmitte des dritten Einzelbildes 113 vorgibt. Dieser Vorgang wird fortgeführt, so dass auf der Ausgabeeinheit 10 unmittelbar die jeweils mit dem Überlapp 14 aneinander anschließenden Einzelbilder 7 bzw. 11 erscheinen, und zwar praktisch verzögerungsfrei, d. h. in Echtzeit. Dabei mag der jeweilige Überlapp, beispielsweise 1412 , in Abhängigkeit von der Geschwindigkeit vorgegeben werden, mit welcher der Abtastweg 12 von der Verstelleinheit 2, 3 durchlaufen wird. Tendenziell gilt, je höher die Geschwindigkeit, desto geringer der Überlapp 14. Selbstverständlich spielt auch die Auflösung der Abtasteinrichtung 4, 5 eine Rolle, mit welcher die jeweiligen Einzelbilder 11 aufgenommen werden.Then the adjustment unit stops 2 . 3 turn on for a brief moment, leaving the third frame 11 3 can be recorded, wherein the third anchor point or the third mark 9 3 again the center of the third frame 11 3 pretends. This process is continued so that on the output unit 10 immediately with the overlap 14 consecutive frames 7 respectively. 11 appear virtually instantaneously, ie in real time. It likes the respective overlap, for example 14 12 , are given as a function of the speed with which the scanning path 12 from the adjustment unit 2 . 3 is going through. The tendency is that the higher the speed, the lower the overlap 14 , Of course, also plays the resolution of the scanner 4 . 5 a role with which the respective frames 11 be recorded.

Um nun die Einzelbilder 7 bzw. 11 zu dem gewünschten Gesamtbild verzerrungsfrei zusammensetzen zu können, ist es erforderlich, den jeweiligen Überlapp, beispielsweise 1412 , zu analysieren. Dazu wird auf die 4 verwiesen. Dargestellt ist hier der Fall, dass sich die Einzelbilder 111 , 112 und 113 jeweils überlappen, und zwar unter Berücksichtigung des Überlapps 1412 zwischen dem Einzelbild 111 und 112 sowie dem Überlapp 143 als Überdeckung zwischen dem Einzelbild 111 und 113 . Die jeweiligen Überlappe 1412 und 1413 betragen jeweils 10 % der Fläche.Order the frames now 7 respectively. 11 to assemble distortion-free to the desired overall picture, it is necessary, the respective overlap, for example 14 12 , analyze. This is on the 4 directed. Shown here is the case that the frames 11 1 . 11 2 and 11 3 each overlap, taking into account the overlap 14 12 between the single picture 11 1 and 11 2 as well as the overlap 14 3 as overlap between the single picture 11 1 and 11 3 , The respective overlap 14 12 and 14 13 each amount to 10% of the area.

In dem nun der jeweilige Überlapp 1412 und 1413 analysiert wird, können beispielsweise die Bilder 112 und 113 gegenüber dem Einzelbild 111 in dem gemeinsamen Koordinatensystem des Gesamtbildes ausgerichtet werden. Dazu wird der jeweils (streifenförmige) Überlapp 1412 bzw. 1413 im Beispielfall in jeweilige Quadrate 15 unterteilt. Selbstverständlich kann der Überlapp 14 bzw. 1412 oder 1413 auch in rechteckige oder andere Teilbereiche 15 eingeteilt werden. Jedenfalls werden diese Teilbereiche 15 untersucht, indem von jedem zugehörigen Einzelbild, also im Beispielfall von den Einzelbildern 111 , 112 und 113 , im Bereich des Teilbereiches 15 eine Fouriertransformation der zugehörigen Bildwerte bzw. Pixelwerte vorgenommen wird.In which now the respective overlap 14 12 and 14 13 For example, the images can be analyzed 11 2 and 11 3 opposite the single picture 11 1 be aligned in the common coordinate system of the overall picture. For this purpose, the respective (strip-shaped) overlap 14 12 respectively. 14 13 in the example case in respective squares 15 divided. Of course, the overlap 14 respectively. 14 12 or 14 13 also in rectangular or other sections 15 to be grouped. In any case, these subareas 15 examined by taking from each associated frame, so in the example case of the individual images 11 1 . 11 2 and 11 3 , in the area of the subarea 15 a Fourier transformation of the associated image values or pixel values is undertaken.

Tatsächlich korrespondiert ein solcher Teilbereich 15 beispielsweise zu einem Quadrat von 100 × 100 Pixeln. Wenn man nun die dazugehörigen Bildwerte jedes Einzelbildes 7 bzw. 11 in der Steueranlage 6 im betreffenden Teilbereich 15 fouriertransformiert, so lassen sich Rückschlüsse über die jeweilige Textur, also die lokale Verteilung und Variation der Grauwerte im zugehörigen Bildbereich, erhalten. In diesem Zusammenhang macht sich die Erfindung zunutze, dass eine beispielsweise regelmäßige Textur zu einer periodischen (zweidimensionalen) Grauwertverteilung korrespondiert, die mit Hilfe von Sinus- und Kosinus-Funktionen angenähert werden kann. Aus diesen Funktionen lassen sich (zweidimensionale) Fourierkoeffizienten ableiten, die ein Fourierbild erzeugen. Beispielsweise korrespondiert ein gleichförmiges Muster aus senkrechten Streifen zu waagerecht angeordneten Punkten im Fourierbild.In fact, such a subarea corresponds 15 for example, to a square of 100 × 100 pixels. If you now have the associated image values of each frame 7 respectively. 11 in the control system 6 in the relevant subarea 15 Fourier transforms, so conclusions about the respective texture, so the local distribution and variation of the gray values in the associated image area can be obtained. In this connection, the invention makes use of the fact that an eg regular texture corresponds to a periodic (two-dimensional) gray value distribution which can be approximated by means of sine and cosine functions. From these functions it is possible to derive (two-dimensional) Fourier coefficients which generate a Fourier image. For example, a uniform pattern of vertical stripes corresponds to horizontally arranged dots in the Fourier image.

Nun wird dieses Fourierbild für jeden Teilbereich 15, einerseits im Beispielfall des Überlapps 1412 vom Einzelbild 111 und andererseits vom Einzelbild 112 erzeugt. Dabei kommt es darauf an, die beiden Fourierbilder der Einzelbilder 111 und 112 – im Teilbereich 15 – miteinander zu vergleichen. Als Resultat dieses Vergleiches muss beispielsweise das Einzelbild 112 gegenüber dem Einzelbild 111 (in der Steueranlage 6) verschoben oder gedreht werden, um die Strukturen gegeneinander auszurichten bzw. eine maximale Übereinstimmung der jeweiligen Texturen im Teilbereich 15 zu erreichen. Dieser Einzelbildvergleich findet nun im Sinne einer Kreuzkorrelation statt. Bei dieser Kreuzkorrelation werden die zuvor ermittelten jeweiligen Fourierbilder bzw. deren Fourierkoordinaten je Pixel einer mathematischen Operation unterzogen, die auf ein Ergebnis führt, welches umso größer ist, je größer die Übereinstimmung der jeweiligen Fourierkoordiaten ist. Die Kreuzkorrelation hat Ähnlichkeit mit der Faltung. Einzelheiten zur Fouriertransformation und Faltung sowie Kreuzkorrelation finden sich in dem Buch "Bildbearbeitung für Einsteiger" von B. Neumann, Springer Verlag, 2004, auf welches als Referenz ausdrücklich verwiesen sei.Now this Fourier image will be for each subarea 15 , on the one hand in the example case of the overlap 14 12 from the single picture 11 1 and on the other hand from the single picture 11 2 generated. It all depends on the two Fourier images of the individual images 11 1 and 11 2 - in the subarea 15 - compare with each other. As a result of this comparison, for example, the single image 11 2 opposite the single picture 11 1 (in the control system 6 ) or rotated to align the structures against each other or a maximum match of the respective textures in the sub-area 15 to reach. This frame comparison now takes place in the sense of a cross-correlation. In this cross-correlation, the previously determined respective Fourier images or their Fourier coordinates are subjected to a mathematical operation per pixel, which results in a result which is greater, the greater the match of the respective Fourier coordinates. The cross-correlation is similar to the convolution. Details on Fourier transformation and convolution as well as cross-correlation can be found in the book "Bildbearbeitung für Einsteiger" by B. Neumann, Springer Verlag, 2004, to which reference should be made expressly.

Indem nun die Teilbereiche 15 des jeweiligen Überlapps 1412 und 1413 hinsichtlich der Übereinstimmung ihrer jeweiligen Texturen untersucht und die zugehörigen Einzelbilder 112 und 113 ggf. eine Verschiebung und Drehung gegenüber dem Einzelbild 111 erfahren, wird ein Gesamtbild aus den Einzel bildern 111 , 112 , 113 usw. erzeugt, das quasi auf elektronischem Wege etwaige mechanische Ungenauigkeiten bei der Aufnahme der Einzelbilder 7 bzw. 11 ausgleicht.By now the subareas 15 the respective overlap 14 12 and 14 13 in terms of the consistency of their respective textures and the associated frames 11 2 and 11 3 if necessary, a shift exercise and rotation in relation to the single image 11 1 experienced, becomes an overall picture of the individual pictures 11 1 . 11 2 . 11 3 etc. generated, which is virtually any electronic inaccuracies in the recording of the individual images 7 respectively. 11 balances.

Grundsätzlich kann die beschriebene Kreuzkorrelation beim Einzelbildvergleich auch in der Weise durchgeführt werden, dass zunächst Einzelbilder 7 bzw. 11 mit einer bestimmten (groben) Auflösung aufgenommen und gegeneinander in der beschriebenen Art und Weise ausgerichtet werden. Dann werden die betreffenden Einzelbilder 7 bzw. 11 noch einmal mit erhöhter Auflösung untersucht und wiederum der beschriebenen Kreuzkorrelation unterzogen. In diesem Fall wird also – wenn man so will – ein Einzelbildstapel, also eine Mehrzahl an Einzelbildern 7 bzw. 11 entlang des Abtastweges 12 aufgezeichnet und für die gegenseitige Ausrichtung ausgewertet.In principle, the described cross-correlation can also be carried out in the single image comparison in such a way that initially individual images 7 respectively. 11 taken with a certain (coarse) resolution and aligned against each other in the manner described. Then the respective frames 7 respectively. 11 examined again with increased resolution and again subjected to the described cross-correlation. In this case, so - if you will - a single image stack, ie a plurality of individual images 7 respectively. 11 along the scanning path 12 recorded and evaluated for mutual alignment.

Aus dieser Auswertung resultieren ggf. Korrekturwerte für die Verstelleinheit 2, 3 am jeweiligen Ankerpunkt 91 , 92 usw.. Diese Korrekturwerte können in der Steueranlage 6 hinterlegt werden bzw. bei der Ansteuerung eines nicht dargestellten Positionsgebers für die Verstelleinheit 2, 3 Berücksichtigung finden. D. h., falls die Verstelleinheit 2, 3 in einem nachfolgenden Schritt den besagten Ankerpunkt 91 , 92 usw. noch einmal anfährt, berücksichtigt der Positionsgeber den zu der betreffenden Position gehörigen Korrekturwert bei der Ansteuerung der Verstelleinheit 2, 3.If necessary, correction values for the adjustment unit result from this evaluation 2 . 3 at the respective anchor point 9 1 . 9 2 etc. These correction values can be in the control system 6 be deposited or in the control of a position sensor, not shown for the adjustment 2 . 3 Consideration. D. h., If the adjustment 2 . 3 in a subsequent step, said anchor point 9 1 . 9 2 etc. once again, the position sensor takes into account the correction value associated with the relevant position in the control of the adjustment unit 2 . 3 ,

Neben dem Abtastweg 12, den Ankerpunkten 91 , 92 und den vorerwähnten Korrekturwerten können auch zu den jeweiligen Ankerpunkten 91 , 92 usw. gehörige Zeitpunkte t1, t2 usw. protokolliert bzw. abgespeichert werden. Dadurch kann beispielsweise der Weg eines Einzellers nicht nur örtlich, sondern auch zeitlich nachvollzogen und für anschließende Analyseschritte ausgewertet werden.Next to the scanning path 12 , the anchor points 9 1 . 9 2 and the aforesaid correction values can also be sent to the respective anchor points 9 1 . 9 2 etc. associated times t 1 , t 2 , etc. are logged or stored. As a result, for example, the path of a unicellular can be traced not only locally but also in terms of time and evaluated for subsequent analysis steps.

Im Rahmen der 5 erkennt man, dass als durchgezogene Linie angedeutete Teilbereiche 15 zu akzeptablen Ergebnissen beim Bildvergleich geführt haben, während einzelne strichpunktiert angedeutete Teilbereiche 15 noch einer Verbesserung bedürfen. Hier wird man die jeweiligen Einzelbilder 7 bzw. 11 nochmals gegeneinander verschieben oder drehen müssen, um bei einem nachfolgenden Bildvergleich eine höhere Übereinstimmung der Texturen im jeweils untersuchten Teilbereich 15 zu erreichen. Jedenfalls gleicht die geschilderte Prozedur etwaige mechanische Ungenauigkeiten aus und ermöglicht im Übrigen eine Echtzeitwiedergabe der jeweiligen Einzelbilder 7 bzw. 11 und des aus ihnen zusammengesetzten Gesamtbildes.As part of the 5 recognizes that indicated as a solid line sections 15 have led to acceptable results in image comparison, while individual dash-dotted lines indicated partial areas 15 still need improvement. Here you can see the individual pictures 7 respectively. 11 again shift or rotate against each other in order to achieve a higher consistency of the textures in each examined sub-area in a subsequent image comparison 15 to reach. In any case, the described procedure compensates for any mechanical inaccuracies and, moreover, allows a real-time reproduction of the respective individual images 7 respectively. 11 and the overall picture composed of them.

Claims (10)

Verfahren zur optischen Abtastung einer Probe (1), mit einer Verstelleinheit (2, 3) sowie einer Abtasteinrichtung (4, 5), wonach die Probe (1) mittels der von einer Steueranlage (6) beaufschlagten Verstelleinheit (2, 3) gegenüber der Abtasteinrichtung (4, 5) bewegt wird, oder umgekehrt, und wonach auf diese Weise mit der Abtasteinrichtung (4, 5) gewonnene Einzelbilder (11) in der Steueranlage (6) zu wenigstens einem Gesamtbild zusammengesetzt werden, dadurch gekennzeichnet, dass die Einzelbilder (11) bedienerseitig und/oder automatisch ausgewählt und mit vorgegebenem Überlapp (14) aufgenommen sowie zu dem Gesamtbild in Echtzeit zusammengesetzt werden.Method for optically scanning a sample ( 1 ), with an adjustment unit ( 2 . 3 ) and a scanner ( 4 . 5 ), after which the sample ( 1 ) by means of a control system ( 6 ) acted upon adjusting unit ( 2 . 3 ) relative to the scanner ( 4 . 5 ), or vice versa, and then in this way with the scanner ( 4 . 5 ) captured frames ( 11 ) in the control system ( 6 ) are assembled into at least one overall image, characterized in that the individual images ( 11 ) operator-selected and / or automatically selected and with predetermined overlap ( 14 ) and assembled into the overall picture in real time. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Einzelbilder (11) bedienerseitig in der Weise ausgewählt werden, dass eine an die Steueranlage (6) angeschlossene Eingabeeinheit (8) entsprechende Bedienerwünsche erfasst und über die Steueranlage (6) in Stellsignale für die Verstelleinheit (2, 3) umsetzt.Method according to Claim 1, characterized in that the individual images ( 11 ) on the operator side in such a way that one to the control system ( 6 ) connected input unit ( 8th ) corresponding operator requests and via the control system ( 6 ) in actuating signals for the adjusting unit ( 2 . 3 ). Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Eingabeeinheit (8) wenigstens eine Markierung (9) in einer an die Steueranlage (6) angeschlossenen Ausgabeeinheit (10) erzeugt, welche ggf. die Bildmitte des jeweils aufgenommen Einzelbildes (11) markiert.Method according to claim 1 or 2, characterized in that the input unit ( 8th ) at least one marker ( 9 ) in one to the control system ( 6 ) connected output unit ( 10 ), which possibly the center of the image taken each ( 11 ). Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass mittels der Eingabeeinheit (8) ein Abtastweg (12) mit Ankerpunkten (91 , 92 usw.) auf der Probe (1) definiert wird, wobei jeder Ankerpunkt (91 , 92 usw.) zu beispielsweise der Bildmitte eines Einzelbildes (11) korrespondiert.Method according to one of claims 1 to 3, characterized in that by means of the input unit ( 8th ) a scanning path ( 12 ) with anchor points ( 9 1 . 9 2 etc.) on the sample ( 1 ), each anchor point ( 9 1 . 9 2 etc.) to, for example, the center of a frame ( 11 ) corresponds. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der Überlapp (14) der Einzelbilder (11) in Abhängigkeit von der Geschwindigkeit, mit welcher der Abtastweg (12) durchlaufen wird und/oder der Auflösung der Abtasteinrichtung (4, 5) und/oder der Aufnahmerate für die Einzelbilder (11) eingestellt wird.Method according to one of claims 1 to 4, characterized in that the overlap ( 14 ) of the individual images ( 11 ) depending on the speed with which the scanning path ( 12 ) and / or the resolution of the scanner ( 4 . 5 ) and / or the take-up rate for the individual images ( 11 ) is set. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass der Überlapp (14) der Einzelbilder (11) zu ihrer gegenseitigen Ausrichtung im Gesamtbild ausgewertet wird.Method according to one of claims 1 to 5, characterized in that the overlap ( 14 ) of the individual images ( 11 ) is evaluated for their mutual orientation in the overall picture. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Ankerpunkte (91 , 92 usw.) zu Koordinatenwerten im Gesamtbild korrespondieren, die ggf. eine Korrektur im Anschluss an die gegenseitige Ausrichtung der Einzelbilder (11) zu dem Gesamtbild erfahren.Method according to one of claims 1 to 6, characterized in that the anchor points ( 9 1 . 9 2 etc.) correspond to coordinate values in the overall image, which may require correction following the mutual alignment of the individual images ( 11 ) learn about the overall picture. Vorrichtung zur optischen Abtastung einer Probe (1), mit wenigstens einer Verstelleinheit (2, 3), und mit zumindest einer Abtasteinrichtung (4, 5), wobei die Probe (1) mittels der von einer Steueranlage (6) beaufschlagten Verstelleinheit (2, 3j gegenüber der Abtasteinrichtung (4, 5) bewegt wird, oder umgekehrt, und wobei auf diese Weise mit der Abtasteinrichtung (4, 5) gewonnene Einzelbilder (11) in der Steueranlage (6) zu wenigstens einem Gesamtbild zusammengesetzt werden, dadurch gekennzeichnet, dass zur bedienerseitigen Auswahl der Einzelbilder (11) eine an die Steueranlage (6) angeschlossene Eingabeeinheit (8) vorgesehen ist, die eine bestimmte Raumposition der Stelleinheit (2, 3) zur Einzelbildaufnahme vorgibt.Device for optically scanning a pro be ( 1 ), with at least one adjusting unit ( 2 . 3 ), and with at least one scanning device ( 4 . 5 ), whereby the sample ( 1 ) by means of a control system ( 6 ) acted upon adjusting unit ( 2 . 3y opposite the scanner ( 4 . 5 ), or vice versa, and in this way with the scanning device ( 4 . 5 ) captured frames ( 11 ) in the control system ( 6 ) are combined to form at least one overall image, characterized in that for the operator-side selection of the individual images ( 11 ) one to the control system ( 6 ) connected input unit ( 8th ) is provided which a certain spatial position of the actuator ( 2 . 3 ) specifies for single image recording. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Eingabeeinheit (8) als X-/Y-Eingabeeinheit, beispielsweise Computermaus, Joystick, o. dgl. ausgebildet ist.Apparatus according to claim 8, characterized in that the input unit ( 8th ) as X / Y input unit, such as computer mouse, joystick, o. The like. Is formed. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Eingabeeinheit (8) eine zur X-/Y-Position der Verstelleinheit (2, 3) korrespondierende Markierung (9) auf einer Ausgabeeinheit (10) erzeugt.Apparatus according to claim 8 or 9, characterized in that the input unit ( 8th ) one to the X / Y position of the adjustment ( 2 . 3 ) corresponding marking ( 9 ) on an output unit ( 10 ) generated.
DE200510024066 2005-05-25 2005-05-25 Method and apparatus for optically scanning a sample Withdrawn DE102005024066A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE200510024066 DE102005024066A1 (en) 2005-05-25 2005-05-25 Method and apparatus for optically scanning a sample
EP05806370A EP1886176A1 (en) 2005-05-25 2005-11-10 Method for optical scanning of a sample
PCT/EP2005/012014 WO2006125466A1 (en) 2005-05-25 2005-11-10 Method for optical scanning of a sample

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200510024066 DE102005024066A1 (en) 2005-05-25 2005-05-25 Method and apparatus for optically scanning a sample

Publications (1)

Publication Number Publication Date
DE102005024066A1 true DE102005024066A1 (en) 2006-12-07

Family

ID=35789236

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200510024066 Withdrawn DE102005024066A1 (en) 2005-05-25 2005-05-25 Method and apparatus for optically scanning a sample

Country Status (3)

Country Link
EP (1) EP1886176A1 (en)
DE (1) DE102005024066A1 (en)
WO (1) WO2006125466A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009054704A1 (en) * 2009-12-15 2011-06-16 Carl Zeiss Imaging Solutions Gmbh Microscope for recording mosaic image, has evaluation unit adjusted to determine recording time point based on image of partial region of specimen and during relative movement of specimen table and recording unit by specimen images
DE102011084347A1 (en) * 2011-10-12 2013-04-18 Carl Zeiss Microscopy Gmbh Microscope for performing multi-position experiment of e.g. cell culture, has selection unit that provides determined sample positions to user, and control unit which provides the pre-specified range of sample positions
DE102012021726A1 (en) * 2012-11-06 2014-05-08 Celltool Gmbh Microscope system for analyzing biological specimen i.e. cell, has navigation screens controlling image acquisition to control optical system such that images are captured above screens, and image sensors capturing images in screens
DE102023101782B3 (en) * 2023-01-25 2024-06-13 Leica Microsystems Cms Gmbh Apparatus and method for producing a composite image of a sample

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011116734B4 (en) 2011-10-19 2013-06-06 Carl Zeiss Industrielle Messtechnik Gmbh Method for determining a focused image distance of an optical sensor of a coordinate measuring machine
DE102014107044B4 (en) 2014-05-19 2016-01-14 Carl Zeiss Industrielle Messtechnik Gmbh Improved autofocus method for a coordinate measuring machine and coordinate measuring machine
DE102015117756A1 (en) 2015-10-19 2017-04-20 Carl Zeiss Industrielle Messtechnik Gmbh Method for determining a focused image distance of an optical sensor of a coordinate measuring machine

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4673988A (en) 1985-04-22 1987-06-16 E.I. Du Pont De Nemours And Company Electronic mosaic imaging process
US4760385A (en) 1985-04-22 1988-07-26 E. I. Du Pont De Nemours And Company Electronic mosaic imaging process
JP3227478B2 (en) * 1995-05-17 2001-11-12 シャープ株式会社 Still image pickup device
DE10023005A1 (en) 2000-05-11 2001-11-22 Micromotion Mobile Datensystem Method for production of a digital image recording of a spatial object with a fixed depth of focus by superposition of a number of matrix type images of the object
DE10149357A1 (en) 2000-10-13 2002-04-18 Leica Microsystems Imaging Sol Optical object surface profile measurement involves comparing contents of all images per point to determine plane using defined criteria, associating plane number, storing in mask image
SE517626C3 (en) * 2001-04-12 2002-09-04 Cellavision Ab Microscopy procedure for scanning and positioning an object, where images are taken and joined in the same image coordinate system to accurately set the microscope table
JP2004538509A (en) * 2001-08-06 2004-12-24 バイオビュー リミテッド Image focusing in fluorescence imaging
GB2385481B (en) 2002-02-13 2004-01-07 Fairfield Imaging Ltd Microscopy imaging system and method
US20050089208A1 (en) 2003-07-22 2005-04-28 Rui-Tao Dong System and method for generating digital images of a microscope slide

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009054704A1 (en) * 2009-12-15 2011-06-16 Carl Zeiss Imaging Solutions Gmbh Microscope for recording mosaic image, has evaluation unit adjusted to determine recording time point based on image of partial region of specimen and during relative movement of specimen table and recording unit by specimen images
DE102011084347A1 (en) * 2011-10-12 2013-04-18 Carl Zeiss Microscopy Gmbh Microscope for performing multi-position experiment of e.g. cell culture, has selection unit that provides determined sample positions to user, and control unit which provides the pre-specified range of sample positions
DE102011084347B4 (en) 2011-10-12 2022-07-21 Carl Zeiss Microscopy Gmbh Microscope and microscopy method for carrying out a multi-position experiment
DE102012021726A1 (en) * 2012-11-06 2014-05-08 Celltool Gmbh Microscope system for analyzing biological specimen i.e. cell, has navigation screens controlling image acquisition to control optical system such that images are captured above screens, and image sensors capturing images in screens
DE102023101782B3 (en) * 2023-01-25 2024-06-13 Leica Microsystems Cms Gmbh Apparatus and method for producing a composite image of a sample
US12513386B2 (en) 2023-01-25 2025-12-30 Leica Microsystems Cms Gmbh Method and device for generating a composite image of a sample

Also Published As

Publication number Publication date
WO2006125466A1 (en) 2006-11-30
EP1886176A1 (en) 2008-02-13

Similar Documents

Publication Publication Date Title
DE69428686T2 (en) IMAGING DEVICE AND METHOD FOR DETERMINING FOCUS INFORMATION
DE2506020C3 (en) Method for evaluating stereoscopic images and apparatus for evaluating the same
DE102014218054B4 (en) Information processing device, information processing method, program and optical measuring device
DE19937265A1 (en) Measuring head positioning device on a non-contact three-dimensional measuring machine has a device for determining the position of the measuring head with respect to a first reference system
DE202019105838U1 (en) Arrangement with a coordinate measuring machine or microscope
DE10351669B4 (en) Method and device for controlling a handling device relative to an object
EP2870500A1 (en) Method for preparing for and carrying out the recording of image stacks of a sample from various orientation angles
DE112012002533T5 (en) Table assembly and control method for a table assembly
DE112019000345T5 (en) A method to improve the modeling speed of a digital section scanner
DE102005024063B3 (en) Method for optical scanning sample involves recording of individual image whereby in each case, it is evaluated by means of adaptive sensor unit with respect to contrast totally or partly
DE2259762B2 (en) Process for the automatic evaluation of stereo images
DE102005024066A1 (en) Method and apparatus for optically scanning a sample
DE102004058655B4 (en) Method and arrangement for measuring geometries of an object by means of a coordinate measuring machine
EP3712670B1 (en) Method for high-resolution scanning microscopy
DE102005004972A1 (en) register process
DE102008043543A1 (en) Screen printing device for applying printing paste on substrate, has frame and printing screen held in frame under mechanical pre-stressing
DE102007058293A1 (en) Calibrating device for adjusting robot coordinate system of industrial robot, has base carrier and multiple markers which are indirectly fastened to base carrier and lie in level
DE102011116734A1 (en) Method for detecting focused image distance of optical sensor of coordinate measuring machine involves associating start and final focus values to each image detected during change of distance between workpiece and sensor
DE2838121B2 (en) Method for focusing an optic
EP1747421B1 (en) Method and device for optically scanning a sample
EP4437304B1 (en) POSE DETERMINATION IN PARALLEL KINEMATICS WITH REFERENCE MARKER
CH681710A5 (en) Profile grinding machine control using visual monitoring - has image of actual contour, provided by television camera, compared with required contour obtained from digital memory
DE2124982A1 (en) Automatically working stereo mapping device
DE102005020844B3 (en) Robot arrangement, has cameras arranged with different orientations in patterns so that patterns are engaged with each camera, where patterns are used as continuous pattern by overlapping patterns with another pattern to form moire pattern
DE102005029381A1 (en) Method and apparatus for optically scanning a sample

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: OLYMPUS SOFT IMAGING SOLUTIONS GMBH, 48149 MUENSTER

R016 Response to examination communication
R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20111201