DE102017124824A1

DE102017124824A1 - METHOD AND ARRANGEMENT FOR DETERMINING AN ENTIRE PICTURE FROM INDIVIDUAL IMAGES OF A PHYSICAL OBJECT

Info

Publication number: DE102017124824A1
Application number: DE102017124824.2A
Authority: DE
Inventors: Michael Werner; Aditya Deshmukh; Bernhard Lippmann
Original assignee: Infineon Technologies AG
Current assignee: Infineon Technologies AG
Priority date: 2017-10-24
Filing date: 2017-10-24
Publication date: 2019-04-25

Abstract

Gemäß einer Ausführungsform wird ein Verfahren zum Ermitteln eines Gesamtbildes aus Einzelbildern eines physikalischen Objekts beschrieben, wobei das Verfahren das Erzeugen einer Vielzahl von Einzelbildern, die unterschiedliche Teilbereiche eines physikalischen Objekts zeigen, das Ermitteln, für Paare der Einzelbilder, wobei die Einzelbilder eines Paars von Einzelbildern aneinandergrenzende Teilbereiche des physikalischen Objekts zeigen, eines Versatzfehlers zwischen den Einzelbildern des jeweiligen Paares, das Ermitteln einer Anordnung der Einzelbilder zum Bilden des Gesamtbildes des physikalischen Objekts und das Ermitteln einer Kompensation des Versatzfehlers zwischen den Einzelbildern der Paare von Einzelbildern in der Anordnung der Einzelbilder aufweist.

According to one embodiment, a method for determining an overall image from frames of a physical object is described, the method comprising generating a plurality of frames showing different portions of a physical object, determining, for pairs of the frames, the frames of a pair of frames show contiguous portions of the physical object, an offset error between the frames of the respective pair, determining an arrangement of the frames to form the overall image of the physical object, and determining a compensation for the offset error between the frames of the pairs of frames in the array of frames.

Description

Ausführungsbeispiele betreffen allgemein ein Verfahren und eine Anordnung zum Ermitteln eines Gesamtbildes aus Einzelbildern eines physikalischen Objekts.Embodiments generally relate to a method and an arrangement for determining an overall image from individual images of a physical object.

Bei der Aufnahme von hoch auflösenden Bildern eines physikalischen Objekts, z.B. mittels eines Elektronen-Mikroskops, kann es erforderlich sein, ein Gesamtbild aus Einzelbildern zu erstellen, da die Aufnahmeeinrichtung nicht in der Lage ist, ein Gesamtbild des physikalischen Objekts zu erzeugen. Je nach Anwendung können die Anforderungen an das Zusammenfügen hoch sein, so dass das Gesamtbild von Nutzen ist. So können z.B. bei der Erstellung eines Gesamtbilds eines Chips aus Einzelbildern Übergänge zwischen den Einzelbildern nicht einfach überblendet werden, wie dies beispielsweise bei einer Panorama-Aufnahme möglich ist, sondern die Einzelbilder müssten einander möglichst genau zugeordnet werden, d.h. es sollte möglichst kein Versatz zwischen den den Einzelbildern entsprechenden Teilen des Gesamtbilds auftreten, um z.B. Leitungen korrekt einander zuordnen zu können. Deshalb sind Verfahren wünschenswert, die eine Erzeugung eines Gesamtbildes eines physikalischen Objekts aus Einzelbildern mit hoher Qualität und Zuverlässigkeit ermöglichen.When capturing high-resolution images of a physical object, e.g. by means of an electron microscope, it may be necessary to create an overall image frame as the imaging device is unable to produce an overall image of the physical object. Depending on the application, the requirements for assembly can be high, so that the overall picture is useful. Thus, e.g. When creating an overall image of a chip from individual images, transitions between the individual images are not simply superimposed, as is possible, for example, in the case of a panoramic image, but rather the individual images must be assigned to one another as accurately as possible. if possible, no offset should occur between the parts of the overall picture corresponding to the individual images, e.g. Correctly assign cables to each other. Therefore, methods which enable generation of an overall picture of a physical object from frames having high quality and reliability are desirable.

Gemäß einer Ausführungsform wird ein Verfahren zum Ermitteln eines Gesamtbildes aus Einzelbildern eines physikalischen Objekts bereitgestellt, wobei das Verfahren das Erzeugen einer Vielzahl von Einzelbildern, die unterschiedliche Teilbereiche eines physikalischen Objekts zeigen, das Ermitteln, für Paare der Einzelbilder, wobei die Einzelbilder eines Paars von Einzelbildern aneinandergrenzende Teilbereiche des physikalischen Objekts zeigen, eines Versatzfehlers zwischen den Einzelbildern des jeweiligen Paares, das Ermitteln einer Anordnung der Einzelbilder zum Bilden des Gesamtbildes des physikalischen Objekts und das Ermitteln einer Kompensation des Versatzfehlers zwischen den Einzelbildern der Paare von Einzelbildern in der Anordnung der Einzelbilder aufweist.According to one embodiment, there is provided a method of determining an overall image from frames of a physical object, the method comprising generating a plurality of frames showing different portions of a physical object, for pairs of frames, wherein the frames of a pair of frames show contiguous portions of the physical object, an offset error between the frames of the respective pair, determining an arrangement of the frames to form the overall image of the physical object, and determining a compensation for the offset error between the frames of the pairs of frames in the array of frames.

Gemäß einer weiteren Ausführungsform wird eine Anordnung zum Ermitteln eines Gesamtbildes aus Einzelbildern eines physikalischen Objekts gemäß dem oben beschriebenen Verfahren bereitgestellt.According to a further embodiment, an arrangement for determining an overall image from individual images of a physical object is provided according to the method described above.

Die Figuren geben nicht die tatsächlichen Größenverhältnisse wieder sondern sollen dazu dienen, die Prinzipien der verschiedenen Ausführungsbeispiele zu illustrieren. Im Folgenden werden verschiedene Ausführungsbeispiele mit Bezug auf die folgenden Figuren beschrieben.

1 zeigt eine Kamera-Anordnung zum Erzeugen von Bildern eines physikalischen Objekts.
2 veranschaulicht eine Überlappung der Inhalte zwischen Einzelbildern eines physikalischen Objekts.
3 zeigt eine Anordnung zum Erzeugen eines Gesamtbilds eines physikalischen Objekts.
4 zeigt ein Ablaufdiagramm, das ein Verfahren zum Erzeugen eines Gesamtbilds aus Einzelbildern mit Qualitätsüberprüfung des Gesamtbilds veranschaulicht.
5 zeigt ein Ablaufdiagramm zum Ermitteln der Grade der Zuverlässigkeit der berechneten Versatzfehler.
6 zeigt ein Ablaufdiagramm, das ein Verfahren zur Bewertung des Gesamtbilds veranschaulicht.
7 zeigt ein Diagramm, das ein Beispiel für die Versatzfehler in Zeilen-Richtung einer Menge von Einzelbildern zeigt.
8 zeigt ein Diagramm, das ein Beispiel für die Versatzfehler in Spalten-Richtung einer Menge von Einzelbildern zeigt.
9 zeigt ein Diagramm, das ein Beispiel für die verbleibenden Versatzfehler in Zeilen-Richtung in dem Gesamtbild zeigt.
10 zeigt ein Diagramm, das ein Beispiel für die verbleibenden Versatzfehler in Spalten-Richtung im Gesamtbild zeigt.
11 zeigt ein Ablaufdiagramm, das ein Verfahren zum Erzeugen eines Gesamtbilds aus Einzelbildern mit mehreren Ebenen veranschaulicht.
12 zeigt ein Beispiel für ein Anordnen von Einzelbildern zu einem Gesamtbild zum Korrigieren der Versatzfehler zwischen den Bildern.
13 zeigt ein Ablaufdiagramm, das ein Verfahren zum Ermitteln eines Gesamtbildes aus Einzelbildern eines physikalischen Objekts veranschaulicht.
14 zeigt eine Anordnung zum Ermitteln eines Gesamtbildes aus Einzelbildern eines physikalischen Objekts.

The figures do not reflect the actual proportions but are intended to illustrate the principles of the various embodiments. In the following, various embodiments will be described with reference to the following figures.

1 shows a camera arrangement for generating images of a physical object.
2 illustrates an overlap of contents between frames of a physical object.
3 shows an arrangement for generating an overall image of a physical object.
4 FIG. 10 is a flow chart illustrating a method of generating a full frame image from full quality inspection of the overall image.
5 FIG. 10 is a flowchart for determining the degrees of reliability of the calculated offset errors. FIG.
6 FIG. 10 is a flow chart illustrating a method of evaluating the overall image. FIG.
7 Fig. 12 is a diagram showing an example of the offset errors in the line direction of a set of frames.
8th Fig. 12 is a diagram showing an example of the offset errors in the column direction of a set of frames.
9 Fig. 10 is a diagram showing an example of the remaining offset errors in the line direction in the entire image.
10 Figure 11 is a diagram showing an example of the remaining offset errors in the column direction in the overall image.
11 FIG. 13 is a flowchart illustrating a method of generating a full-frame image from multiple-layered images. FIG.
12 Fig. 12 shows an example of arranging frames to a whole image for correcting the offset errors between the images.
13 FIG. 10 is a flowchart illustrating a method of obtaining an overall image from frames of a physical object. FIG.
14 shows an arrangement for determining an overall image from individual images of a physical object.

Die folgende detaillierte Beschreibung bezieht sich auf die beiliegenden Figuren, die Details und Ausführungsbeispiele zeigen. Diese Ausführungsbeispiele sind so detailliert beschrieben, dass der Fachmann die Erfindung ausführen kann. Andere Ausführungsformen sind auch möglich und die Ausführungsbeispiele können in struktureller, logischer und elektrischer Hinsicht geändert werden, ohne vom Gegenstand der Erfindung abzuweichen. Die verschiedenen Ausführungsbeispiele schließen sich nicht notwendig gegenseitig aus sondern es können verschiedene Ausführungsformen miteinander kombiniert werden, so dass neue Ausführungsformen entstehen. Im Rahmen dieser Beschreibung werden die Begriffe „verbunden“, „angeschlossen“ sowie „gekoppelt“ verwendet zum Beschreiben sowohl einer direkten als auch einer indirekten Verbindung, eines direkten oder indirekten Anschlusses sowie einer direkten oder indirekten Kopplung.The following detailed description refers to the accompanying figures which show details and embodiments. These embodiments are described in such detail that those skilled in the art can practice the invention. Other embodiments are also possible and the embodiments may be changed in structural, logical and electrical terms without departing from the subject matter of the invention. The various embodiments close not necessarily mutually exclusive but it can be combined with each other, so that new embodiments arise. As used herein, the terms "connected,""connected," and "coupled" are used to describe both direct and indirect connection, direct or indirect connection, and direct or indirect coupling.

1 zeigt eine Kamera-Anordnung 100 zum Erzeugen von Bildern eines physikalischen Objekts. 1 shows a camera arrangement 100 for generating images of a physical object.

Ein physikalisches Objekt 101 ist auf einem Träger 102 angeordnet. Über dem physikalischen Objekt 101 ist eine Kamera 103 angeordnet, die dazu eingerichtet ist, Bilder von Teilbereichen des physikalischen Objekts 101 zu erzeugen.A physical object 101 is on a carrier 102 arranged. Above the physical object 101 is a camera 103 arranged, which is adapted to images of subregions of the physical object 101 to create.

Das physikalische Objekt 101 ist ein Objekt mit sehr kleinen Strukturen, die untersucht werden sollen, z.B. im Bereich medizinischer Anwendungen biologisches Gewebe oder die Oberfläche einer integrierten Schaltung als Anwendung in der Mikroelektronik. Entsprechend ist die Kamera 103 beispielsweise mit einem Elektronenmikroskop versehen, um Elektronenmikroskop-Aufnahmen zu erzeugen.The physical object 101 is an object with very small structures that are to be examined, for example in the field of medical applications biological tissue or the surface of an integrated circuit as an application in microelectronics. The camera is corresponding 103 For example, provided with an electron microscope to produce electron micrographs.

Je nach Größe des physikalischen Objekts 101 ist die Kamera 103 nicht in der Lage, ein Bild zu erzeugen, das das gesamte physikalische Objekt 101 zeigt. In diesem Fall erzeugt die Kamera 103 mehrere Einzelbilder des physikalischen Objekts 101 mit einem voreingestellten Versatz zwischen den Bildern in der horizontalen Ebene. Dazu können der Träger 102 und/oder die Kamera 103 in der horizontalen Ebene bewegbar sein, so dass sie relativ zueinander in der horizontalen Ebene bewegt werden können.Depending on the size of the physical object 101 is the camera 103 unable to create an image that covers the entire physical object 101 shows. In this case, the camera generates 103 several frames of the physical object 101 with a preset offset between the images in the horizontal plane. This can be done by the wearer 102 and / or the camera 103 be movable in the horizontal plane so that they can be moved relative to each other in the horizontal plane.

So kann die Kamera-Anordnung 100 eine Vielzahl von (Einzel-)Bildern erzeugen, die die gesamte Oberfläche des physikalischen Objekts abdecken. Dabei werden benachbarte Bilder mit einem bestimmten Versatz erzeugt derart, dass sich deren Inhalte überlappen. Beispielsweise haben benachbarte Bilder eine Überlappung von 10% bis 20%.So can the camera arrangement 100 create a plurality of (single) images covering the entire surface of the physical object. In this case, adjacent images are generated with a certain offset such that their contents overlap. For example, adjacent images have an overlap of 10% to 20%.

2 veranschaulicht eine Überlappung der Inhalte zwischen Einzelbildern eines physikalischen Objekts. 2 illustrates an overlap of contents between frames of a physical object.

In diesem Beispiel hat die Anordnung 103 ein erstes Bild 201, ein zweites Bild 202, ein drittes Bild 203 und ein viertes Bild 204 eines physikalischen Objekts erzeugt.In this example, the arrangement has 103 a first picture 201 , a second picture 202 , a third picture 203 and a fourth picture 204 of a physical object.

Das erste Bild 201 und das dritte Bild 203 haben zum zweiten Bild 202 und zum vierten Bild 204 einen x-Versatz (Versatz in x-Richtung) 205 und das erste Bild 201 und das zweite Bild 202 haben zu dem dritten Bild 203 und zu dem vierten Bild einen y-Versatz (Versatz in y-Richtung) 206.The first picture 201 and the third picture 203 have to the second picture 202 and to the fourth picture 204 an x-offset (offset in x-direction) 205 and the first picture 201 and the second picture 202 have to the third picture 203 and to the fourth image a y-offset (offset in y-direction) 206 ,

Der x-Versatz 205 ist derart gewählt, dass ein erster Bereichs 207 des ersten Bilds 201 und ein erster Bereich 208 des zweiten Bilds 202 den gleichen Teilbereich des physikalischen Objekts 101 zeigen, d.h. dass der erste Bereich 207 des ersten Bilds 201 und der erste Bereich 208 des zweiten Bilds 202 überlappen.The x offset 205 is chosen such that a first range 207 of the first picture 201 and a first area 208 of the second picture 202 the same subarea of the physical object 101 show, ie that the first area 207 of the first picture 201 and the first area 208 of the second picture 202 overlap.

Ebenso ist der x-Versatz 205 derart gewählt, dass ein erster Bereichs 209 des dritten Bilds 203 und ein erster Bereich 210 des vierten Bilds 204 den gleichen Teilbereich des physikalischen Objekts 101 zeigen, d.h. dass der erste Bereich 209 des dritten Bilds 203 und der erste Bereich 210 des vierten Bilds 204 überlappen.Likewise, the x offset 205 chosen such that a first range 209 of the third picture 203 and a first area 210 of the fourth picture 204 the same subarea of the physical object 101 show, ie that the first area 209 of the third picture 203 and the first area 210 of the fourth picture 204 overlap.

Der y-Versatz 206 ist derart gewählt, dass ein zweiter Bereich 211 des ersten Bilds 201 und ein zweiter Bereich 212 des dritten Bilds 203 den gleichen Teilbereich des physikalischen Objekts 101 zeigen, d.h. dass der zweite Bereich 211 des ersten Bilds 201 und der zweite Bereich 212 des dritten Bilds 209 überlappen.The y offset 206 is chosen such that a second area 211 of the first picture 201 and a second area 212 of the third picture 203 the same subarea of the physical object 101 show, ie that the second area 211 of the first picture 201 and the second area 212 of the third picture 209 overlap.

Ebenso ist der y-Versatz 206 derart gewählt, dass ein zweiter Bereich 213 des zweiten Bilds 202 und ein zweiter Bereich 214 des vierten Bilds 204 den gleichen Teilbereich des physikalischen Objekts 101 zeigen, d.h. dass der zweite Bereich 213 des zweiten Bilds 202 und der zweite Bereich 214 des vierten Bilds 204 überlappen.Likewise, the y offset 206 chosen such that a second area 213 of the second picture 202 and a second area 214 of the fourth picture 204 the same subarea of the physical object 101 show, ie that the second area 213 of the second picture 202 and the second area 214 of the fourth picture 204 overlap.

Dank der Überlappung zwischen benachbarten Bildern, d.h. Bildern, die benachbarte Teilbereiche des physikalischen Objekts 101 zeigen, können die Bilder zu einem Gesamtbild des physikalischen Objekts 101 zusammengefügt werden, d.h. in der Art eines Mosaiks ein Gesamtbild aus den Einzelbildern des physikalischen Objekts 101 gebildet werden. In 1 ist die eingezeichnete Überlappung zwischen den jeweiligen Bildern gleich groß, in der Praxis hängt er jedoch von der Positioniergenauigkeit der verwendeten Aufnahme-Einrichtung ab.Thanks to the overlap between adjacent images, ie images, the adjacent subregions of the physical object 101 show, the pictures can become an overall picture of the physical object 101 be merged, ie in the manner of a mosaic, an overall picture of the individual images of the physical object 101 be formed. In 1 the overlap between the respective images is the same size, in practice, however, it depends on the positioning accuracy of the recording device used.

3 zeigt eine Anordnung 300 zum Erzeugen eines Gesamtbilds eines physikalischen Objekts. 3 shows an arrangement 300 for generating an overall image of a physical object.

Die Anordnung 300 weist eine Kamera-Anordnung 301 zum Erzeugen von Einzelbildern 302 eines physikalischen Objekts auf, wie sie mit Bezug auf 1 beschrieben ist. Die Kamera-Anordnung 301 schickt die Einzelbilder 302 in digitaler Form an eine Verarbeitungseinrichtung 303. Dies kann beispielsweise über eine Netzwerkverbindung geschehen oder die Bilder können von der Kamera-Anordnung 301 auf ein Speichermedium gespeichert werden, welches von der Verarbeitungseinrichtung 303 gelesen wird. Die Verarbeitungseinrichtung 303 erzeugt aus den Einzelbildern 303 ein Gesamtbild 304, welches sie beispielsweise an eine Anzeige 305 überträgt, die eingerichtet ist, das Gesamtbild 304 anzuzeigen.The order 300 has a camera arrangement 301 for generating individual images 302 of a physical object as described with respect to 1 is described. The camera arrangement 301 send the frames 302 in digital form to a processing device 303 , This can be done, for example, over a network connection or the images can be from the camera arrangement 301 be stored on a storage medium, which of the processing device 303 is read. The processing device 303 generated from the individual images 303 an overall picture 304 which she, for example, to an advertisement 305 which is set up, transfers the overall picture 304 display.

Die Verarbeitungseinrichtung 303 kann auch die Kamera-Anordnung 301 steuern, beispielsweise um neue Einzelbildern zumindest eines Teils des physikalischen Objekts zu erzeugen, falls die Einzelbilder 302 es ihr nicht ermöglichen, ein Gesamtbild 304 mit einer ausreichenden Qualität zu erzeugen.The processing device 303 can also use the camera arrangement 301 For example, to generate new frames of at least a portion of the physical object if the frames 302 it does not allow her a full picture 304 to produce with a sufficient quality.

Die Kamera-Anordnung 301 kann auch dazu eingerichtet sein, Bilder unterschiedlicher Ebenen des physikalischen Objekts zu erzeugen und an die Verarbeitungseinrichtung 303 zu schicken. In diesem Fall kann die Verarbeitungseinrichtung 303 ein Gesamtbild 304 mit mehreren Ebenen erzeugen.The camera arrangement 301 may also be arranged to generate images of different levels of the physical object and to the processing device 303 to send. In this case, the processing device 303 an overall picture 304 generate with multiple levels.

Im Falle eines Chips wird beispielsweise

- der Chip vorbereitet (auf dem Träger 102 angeordnet etc.),
- Einzelbilder des Chips erzeugt (ggf. von mehreren Ebenen des Chips),
- die Einzelbilder zu einem Gesamtbild (ggf. mit mehreren Ebenen) kombiniert, was auch als (2D- oder ggf. 3D-) Stitching bezeichnet wird,
- der Chip basierend auf dem Gesamtbild analysiert, z.B. geometrische Informationen der jeweiligen Halbleiterebenen eines Integrierten Schaltkreise für nachfolgende Analyseschritte erzeugt.

In the case of a chip, for example

- the chip prepared (on the carrier 102 arranged etc.),
- generates individual images of the chip (possibly from several levels of the chip),
- the single images combined into an overall image (possibly with several levels), which is also referred to as (2D or possibly 3D) stitching,
- The chip is analyzed based on the overall picture, for example, generated geometric information of the respective semiconductor levels of an integrated circuits for subsequent analysis steps.

Für den Fall der Erzeugung eines Gesamtbilds mit mehreren Ebenen, z.B. eines Gesamtbilds, das ein Bild z.B. jeder Metallisierungsebene des Chips enthält, ist anzumerken, dass Bilder unterschiedlicher Ebenen beispielsweise anhand von Durchkontaktierungen oder Vias aufeinander ausgerichtet werden können.In the case of creating an overall image with multiple levels, e.g. of an overall picture that contains an image e.g. Each layer of metallization of the chip contains, it should be noted that images of different levels, for example, by means of vias or can be aligned with each other.

Eine hohe Zahl von Einzelbildern ist dabei möglich , bei einem Chip können z.B. für jede von 5 bis 10 Schichten mehrere tausend Einzelbilder, z.B. 6000-7000 Einzelbilder, erzeugt werden.A high number of individual images is possible, with a chip, e.g. for each of 5 to 10 layers, several thousand frames, e.g. 6000-7000 frames, are generated.

Eine Schwierigkeit bei der Erzeugung eines Gesamtbilds aus den Einzelbildern besteht darin, dass die Kamera-Anordnung 100 typischerweise nicht in der Lage ist, gewünschte Versätze 205, 206 mit 100% Genauigkeit einzustellen. Beispielsweise ist die Kamera-Anordnung 100 aufgrund mechanischer Limitierungen in der Lage, einen Versatz zwischen zwei benachbarten Bildern mit 100nm Genauigkeit einzustellen. Strukturen auf einem Chip können aber kleinere Strukturen, z.B. in der Größenordnung von 60nm aufweisen, so dass eine Abweichung von einem eingestellten Versatz zwischen zwei Bildern, im Folgenden als Versatzfehler zwischen den Bildern bezeichnet, beim Erzeugen eines Gesamtbilds eine Rolle spielt. Insbesondere muss die Verarbeitungseinrichtung in der Lage sein, einen tatsächlichen Versatz (oder gleichbedeutend den Versatzfehler) zwischen benachbarten Bildern zu ermitteln. Die Versatzfehler können jedoch so groß, so ungünstig verteilt oder so schlecht ermittelbar sein (z.B. aufgrund sich wiederholender Muster in den Bildern), dass die Qualität des Gesamtbildes beeinträchtigt wird.One difficulty in creating an overall picture from the frames is that the camera arrangement 100 typically is not capable of desired offsets 205 . 206 set with 100% accuracy. For example, the camera arrangement 100 due to mechanical limitations able to adjust an offset between two adjacent images with 100nm accuracy. However, structures on a chip can have smaller structures, for example of the order of magnitude of 60 nm, so that a deviation from a set offset between two images, hereinafter referred to as offset errors between the images, plays a role in generating an overall image. In particular, the processing device must be able to determine an actual offset (or, equivalently, the offset error) between adjacent images. However, the offset errors can be so large, so unfavorably distributed or so poorly ascertainable (eg due to repetitive patterns in the images) that the quality of the overall picture is compromised.

Zum Beispiel stellt ein Einzelbild ein Stück der Oberfläche eines physikalischen Objekts mit 2cm Breite dar und es ist vorgesehen, dass das nächste Bild das vorhergehende Bild um 0,1cm überlappt, d.h. das nächste Bild beginnt schon nach 1,9cm, d.h. 1,9cm Versatz sind zwischen den Einzelbildern vorgesehen.For example, one frame represents a piece of the surface of a 2cm physical object and it is envisioned that the next frame will overlap the previous frame by 0.1cm, i. the next picture starts after 1,9cm, i. 1,9cm offset are provided between the frames.

Bei einem Versatzfehler weichen die tatsächlichen Bildinhalte von diesen Vorgaben ab, z.B. beginnt das nächste Bild schon nach 1,95cm statt nach 1,9cm, d.h. es gibt einen Versatzfehler (oder Positionierungsfehler) von 0,05cm. Dieser Positionierungsfehler kann zwischen den jeweiligen Bildpaaren unterschiedlich sein, obwohl eine konstante Überlappung von 0,1 cm von Bild zu Bild an der Aufnahmeanordnung eingestellt war.In case of an offset error, the actual image contents deviate from these specifications, e.g. the next picture starts after 1,95cm instead of 1,9cm, i. there is an offset error (or positioning error) of 0.05cm. This positioning error may be different between the respective image pairs, although a constant overlap of 0.1 cm was set from image to image on the recording device.

4 zeigt ein Ablaufdiagramm 400, das ein Verfahren zum Erzeugen eines Gesamtbilds aus Einzelbildern mit Qualitätsüberprüfung des Gesamtbilds veranschaulicht, das beispielsweise von der Verarbeitungseinrichtung 303 durchgeführt wird. 4 shows a flowchart 400 , which illustrates a method for generating an overall image from individual images with quality control of the overall image, for example from the processing device 303 is carried out.

In 401 wird eine Vielzahl von Einzelbildern eines physikalischen Objekts erzeugt, z.B. Elektronenmikroskop(SEM)- Bilder.In 401 a plurality of individual images of a physical object are generated, eg electron microscope (SEM) images.

In 402 wird eine lokale Registrierung zwischen den Einzelbildern durchgeführt. Dabei wird der tatsächliche Versatz zwischen den Einzelbildern ermittelt (oder gleichbedeutend der Versatzfehler gegenüber einem vorgegebenen oder vorgesehenen Versatz zwischen den Einzelbildern). Dies kann beispielsweise auf einer normalisierten Kreuzkorrelation zwischen benachbarten Bildern erfolgen.In 402 a local registration between the individual images is performed. In this case, the actual offset between the individual images is determined (or the offset error is equivalent to a predetermined or intended offset between the individual images). This can be done, for example, on a normalized cross-correlation between adjacent images.

Basierend auf den ermittelten Versatzfehler wird in 403 eine globale Registrierung der Einzelbilder durchgeführt, d.h. die Einzelbilder werden in einer Gesamtbild-Ebene angeordnet, so dass sie ein Gesamtbild bilden. Dies erfolgt beispielsweise basierend auf einem Maximum-Likelihood-Verfahren, einer (gewichteten) Methode der kleinsten Quadrate und/oder einem aufspannendem Baum (Spanning Tree).Based on the determined offset error, in 403 a global registration of the frames is performed, ie the frames are arranged in an overall picture plane so that they form an overall picture. This is done, for example, based on a maximum likelihood method, a (weighted) least squares method and / or a spanning tree.

Dabei wird das Gesamtbild beispielsweise derart erzeugt, dass die Versatzfehler zwischen den Bildern, wenn sie zu dem Gesamtbild zusammengefügt sind, minimiert sind, d.h. das die Inhalte der Einzelbilder derart im Gesamtbild angeordnet sind, dass die Inhalte möglichst gut zusammenpassen, d.h. dass es möglichst keine Brüche beim Übergang vom Inhalt eines Bilds zum Inhalt des nächsten Bilds gibt. Abhängig von den Versatzfehler zwischen den Einzelbildern und der Zahl der Einzelbilder, sowie vom Inhalt der Einzelbilder und damit der Schwierigkeit der Bestimmung der Versatzfehler zwischen den Einzelbildern ist dies jedoch nicht immer möglich.In this case, the overall image is generated, for example, such that the offset errors between the Images, when combined into the overall picture, are minimized, ie the contents of the individual pictures are arranged in the overall picture in such a way that the contents match as well as possible, ie there are as few breaks as possible in the transition from the content of one picture to the content of the next picture , However, depending on the offset errors between the frames and the number of frames, as well as the content of the frames and thus the difficulty of determining the offset errors between the frames, this is not always possible.

Mögliche Fehlerquellen sind beispielsweise systematische Fehler 404, die von der Kamera-Anordnung 301 abhängen, z.B. ein fester Offset beim Einstellen eines Versatzes, kleine Fehler 405, die von den technischen Limitierungen der Kamera-Anordnung 301 abhängen, z.B. dass der Versatz nur mit einer bestimmten Genauigkeit eingestellt werden kann, größere, zufällige Fehler 406, die von dem physikalischen Objekt abhängen, z.B. wiederkehrende Muster, die es der Verarbeitungseinrichtungen unmöglich machen, den tatsächlichen Versatz zwischen zwei Bildern zu ermitteln und (gravierende) Fehlbedienung 407 der Kamera-Anordnung 301.Possible sources of error are, for example, systematic errors 404 taken from the camera arrangement 301 depend, for example, a fixed offset when setting an offset, small errors 405 , by the technical limitations of the camera arrangement 301 depend on, for example, that the offset can be set only with a certain accuracy, larger, random errors 406 which depend on the physical object, eg recurrent patterns that make it impossible for the processing means to detect the actual offset between two images and (serious) misoperation 407 the camera arrangement 301 ,

Eine Fehlbedienung 407 der Kamera-Anordnung 301, z.B. ein falsches Einstellen der Versätze, führt typischerweise dazu, dass das Erzeugen eines Gesamtbilds fehlschlägt (408).A wrong operation 407 the camera arrangement 301 For example, setting the offsets incorrectly typically results in the failure to create an overall image ( 408 ).

Bei systematischen Fehlern 404 und kleinen Fehlern 405 kann basierend auf einer Qualitätskontrollfunktion 409 ermittelt werden, ob das Gesamtbild eine ausreichende Qualität aufweist. Zum Beispiel vergleicht die Qualitätskontrollfunktion 409 die im Gesamtbild kompensierten Versatzfehler mit den in 402 ermittelten Versatzfehlern und bewertet darauf basierend die Qualität des Gesamtbilds.For systematic errors 404 and small mistakes 405 Can be based on a quality control function 409 be determined whether the overall picture has a sufficient quality. For example, the quality control function compares 409 the offset error compensated in the overall picture with the in 402 determined offset errors and evaluated based on the quality of the overall picture.

Die Qualitätskontrollfunktion 409 entscheidet dann, in 410, ob die Qualität des Gesamtbilds ausreichend ist (412), z.B. innerhalb eines vorgegebenen Bereichs ist.The quality control function 409 then decide in 410 whether the quality of the overall picture is sufficient ( 412 ), eg within a given range.

Ist die Qualität des Gesamtbilds nicht ausreichend sowie im Falle größerer, zufälliger Fehler 406 kann eine manuelle Interaktion 411 (zu der die Verarbeitungseinrichtung 303 den Benutzer durch einen entsprechende Anzeige auffordern kann) dazu führen, dass ein Gesamtbild mit ausreichender Qualität erzeugt wird (412). Beispielsweise kann ein Benutzer eine Anordnung von Einzelbildern im Gesamtbild basierend auf zusätzlichen Informationen korrigieren.Is the quality of the overall picture not sufficient and in case of larger, random errors 406 can be a manual interaction 411 (to which the processing device 303 can prompt the user with a corresponding display) to result in an overall image of sufficient quality being generated ( 412 ). For example, a user may correct an arrangement of frames in the overall image based on additional information.

Basierend auf der Qualität des erzeugend Gesamtbilds kann die Verarbeitungseinrichtung 303 auf die Kamera-Anordnung 301 rückwirken, sie beispielsweise steuern, zumindest von einem Teil des physikalischen Objekts neue Einzelbilder zu erzeugen, wobei sie auf die von der Kamera-Anordnung zwischen den Einzelbildern eingestellten Versätze einwirkt.Based on the quality of the generating overall image, the processing device 303 on the camera arrangement 301 back, they control, for example, to generate at least a portion of the physical object new frames, wherein it acts on the set of camera arrangement between the frames offsets.

Die Verarbeitungseinrichtung 303 kann dafür beispielsweise ein Steuermodul für die Kamera-Anordnung 301 aufweisen, die die Positionierung des physikalischen Objekts 101 gegenüber der Kamera 103 einstellt. Somit wird eine Regelschleife zwischen Kamera-Anordnung 301 und Verarbeitungseinrichtung 303 gebildet. Dies kann zur Laufzeit kontinuierlich geschehen.The processing device 303 can for example a control module for the camera arrangement 301 have the positioning of the physical object 101 opposite the camera 103 established. Thus, a control loop between camera arrangement 301 and processing equipment 303 educated. This can be done continuously at runtime.

Die Kamera-Anordnung 301 kann zusammen mit den Einzelbildern 302 Positionsdaten mitliefern, d.h. für jedes Einzelbild Daten, die angeben, welchen Teilbereich des physikalischen Objekts das Einzelbild zeigt. Diese Positionsdaten haben jedoch eine begrenzte Genauigkeit, weil die Kamera-Anordnung 301 nicht in der Lage ist, den Teilbereich, den ein Einzelbild zeigt, und insbesondere wie oben erläutert den Versatz zwischen Einzelbildern, genau einzustellen.The camera arrangement 301 can along with the frames 302 Include position data, ie for each frame data indicating which portion of the physical object the frame shows. However, these position data have limited accuracy because of the camera arrangement 301 is unable to accurately adjust the sub-area that a frame displays, and more particularly, as explained above, the offset between frames.

Das Erzeugen des Gesamtbilds durch die Verarbeitungseinrichtung 303 kann insbesondere das Verbessern dieser Positionsdaten, d.h. das Ermitteln, welche Teilbereiche die Einzelbilder jeweils zeigen, insbesondere der Versatzfehler zwischen den Einzelbildern, aufweisen. Die Verarbeitungseinrichtung 303 kann dabei auch jeweils eine Fehlerabschätzung durchführen, beispielsweise eine Fehlerwahrscheinlichkeit und/oder einen jeweiligen Fehler für jedes Einzelbild.The generation of the overall image by the processing device 303 In particular, the improvement of this positional data, ie the determination of which partial areas the individual images each show, in particular the offset errors between the individual images, can have. The processing device 303 can also perform an error estimate, for example, an error probability and / or a respective error for each frame.

Die Qualitätskontrollfunktion 409 arbeitet basierend auf dem Ergebnis der Erstellung des Gesamtbilds. Diese Erstellung kann auf zwei Funktion G(i) und H(i) basieren, wobei i der Index der Einzelbilder ist, so dass die Qualitätskontrollfunktion 409 geschrieben werden kann als $QA (i) = F (G (i), H (i)) .$

The quality control function 409 works based on the result of creating the overall picture. This creation can be based on two functions G (i) and H (i), where i is the index of the frames, so that the quality control function 409 can be written as

QA (i) = F (G (i) . H (i)),

Dabei ist G(i) die Fehlerbewertungsfunktion, beispielsweise entsprechend der lokalen Registrierung 402: Sie spiegelt den Versatzfehler des Einzelbilds wider, d.h. die Abweichung der Inhalte des Einzelbilds gegenüber seiner ursprünglich vorgesehenen Position im Gesamtbild (gemäß der vorgesehenen Versätze der Einzelbilder, mit denen sie aufgenommen werden). Dabei wird auch ermittelt, wie zuverlässig der berechnete Wert der Abweichung ist. Der Grad der Zuverlässigkeit hängt beispielsweise von den Arten der Strukturen ab, die von dem Bild gezeigt werden. Gibt es z.B. kaum Muster oder keine Muster oder ist das Bild stark verrauscht ist der Grad der Zuverlässigkeit nahe Null. Zeigt das Bild hingegen Strukturen, die ausreichend informativ sind und eindeutig Strukturen eines Nachbarbilds zugeordnet werden können, so ist der Grad der Zuverlässigkeit hoch, z.B. nahe 1. Die Fehlerbewertungsfunktion G(i) liefert somit eine Fehlerbewertung sowie eine zugehörige Zuverlässigkeit der Fehlerbewertung.Where G (i) is the error evaluation function, for example according to the local registration 402 : It reflects the offset error of the frame, ie the deviation of the contents of the frame from its originally intended position in the overall picture (according to the intended offsets of the frames with which they are taken). It also determines how reliable the calculated value of the deviation is. The degree of reliability depends, for example, on the types of structures shown by the image. For example, if there are hardly any patterns or patterns, or if the image is very noisy, the degree of reliability is close to zero. On the other hand, the picture shows structures that are sufficiently informative and the degree of reliability is high, eg near 1. The error evaluation function G (i) thus provides an error evaluation and an associated reliability of the error evaluation.

Die Funktion H(i) ist die Positionskorrekturfunktion (zur Kompensation der Versatzfehler) und wird beispielsweise als Teil der globalen Registrierung 403 durchgeführt: Diese Funktion erhält für jedes Bild zwei Eingangswerte von der Funktion G(i), nämlich den für das Bild berechneten Wert der Abweichung (d.h. die Stärke der Abweichung) und den Grad der Zuverlässigkeit des berechneten Werts der Abweichung. Basierend auf einem Schwellwert, der für den Grad von Zuverlässigkeit gesetzt ist, d.h. abhängig davon, ob sein Grad von Zuverlässigkeit ausreichend ist, wird ein Bild soweit möglich um die berechnete Abweichung verschoben. Hierbei sollte beachtet werden, dass wenn ein bestimmtes Bild verschoben wird, dieselbe Verschiebung von den benachbarten Bildern in der Zeile und Spalte, zu der das Einzelbild gehört, geerbt wird. Dazu wird für jedes Bild eine effektive Verschiebung berechnet. Physikalische Begrenzungen werden berücksichtigt und nicht verletzt. Die Positionskorrekturfunktion H(i) verschiebt ein Bild nur, wenn der Grad der Zuverlässigkeit des berechneten Werts für seine Abweichung über dem vorgegebenen Schwellwert liegt und wenn durch die Verschiebung keine physikalischen Beschränkungen verletzt werden. Es sollte dabei jedoch beachtet werden, das typischerweise die berechneten Werte der Abweichungen der Einzelbilder derart sind, dass keine Lösung für das Gesamtbild existiert, d.h. keine Anordnung der Einzelbilder existiert, die alle Abweichungen perfekt kompensiert. In anderen Worten ist das resultierende Gleichungssystem typischerweise überbestimmt und im Gesamtbild verbleiben Versatzfehler der Einzelbilder, d.h. die Versatzfehler zwischen den Einzelbildern werden bei der Anordnung der Einzelbilder zu dem Gesamtbild nicht vollständig kompensiert.The function H (i) is the position correction function (to compensate for the offset errors) and becomes, for example, part of the global registration 403 This function obtains for each image two input values from the function G (i), namely the value of the deviation calculated for the image (ie the magnitude of the deviation) and the degree of reliability of the calculated value of the deviation. Based on a threshold set for the degree of reliability, that is, depending on whether its degree of reliability is sufficient, an image is shifted as much as possible by the calculated deviation. It should be noted that when a particular image is moved, the same shift is inherited from the adjacent images in the row and column to which the frame belongs. For this purpose, an effective displacement is calculated for each image. Physical limits are considered and not violated. The position correction function H (i) shifts an image only when the degree of reliability of the calculated value for its deviation is above the predetermined threshold and when the displacement does not violate physical constraints. However, it should be noted that typically the calculated values of the deviations of the individual images are such that no solution exists for the overall image, ie there is no arrangement of the individual images that perfectly compensates for all deviations. In other words, the resulting system of equations is typically overdetermined and in the overall image offset errors of the individual images remain, ie the offset errors between the individual images are not completely compensated in the arrangement of the individual images to the overall image.

Die Qualitätskontrollfunktion 409 ermittelt zur Bewertung des Gesamtbilds die verbleibenden Versatzfehler für jedes Einzelbild, d.h. die Abweichung der Position der Inhalte des Einzelbilds an der dem Einzelbild zugeordneten Position im Gesamtbild (d.h. bei der Zuweisung von globalen Koordinaten zu dem Einzelbild) von ihrer korrekten Position, durch Berechnung des Unterschieds zwischen dem Versatzfehler zwischen den Einzelbildern und des Anteils des Versatzfehlers, der davon im Gesamtbild kompensiert wurde.The quality control function 409 determines the remaining offset errors for each frame, that is, the deviation of the position of the contents of the frame at the frame associated with the frame in the overall picture (ie when assigning global coordinates to the frame) from their correct position, by calculating the difference between the offset error between the frames and the proportion of the offset error that was compensated for in the overall picture.

5 zeigt ein Ablaufdiagramm zum Ermitteln der Grade der Zuverlässigkeit der berechneten Versatzfehler, beispielsweise durchgeführt von der Verarbeitungseinrichtung 303. 5 FIG. 10 is a flow chart for determining the degrees of reliability of the calculated offset errors performed by the processing means, for example 303 ,

Ausgangspunkt sind die erzeugten Bilder 501 des physikalischen Objekts, beispielsweise Elektronenmikroskop-Bilder. Ein Elektronenmikroskop hat typischerweise mehrere Betriebsmodi und jeder Betriebsmodus kann zu unterschiedlichen Versatzfehlern führen. Beim Ermitteln der Versatzfehler kann der verwendete Betriebsmodus berücksichtigt werden.The starting point is the generated images 501 of the physical object, for example electron microscope images. An electron microscope typically has multiple modes of operation and each mode of operation can result in different offset errors. When determining the offset errors, the operating mode used can be taken into account.

Die Verarbeitungseinrichtung 303 kann durch den Einsatz statistischen Lernens (Maschinen-Lernen bzw. künstliche Intelligenz) ein Fehlermodell bzgl. der Versatzfehler lernen.The processing device 303 Through the use of statistical learning (machine learning or artificial intelligence) can learn an error model with respect to the offset errors.

In einer Vorverarbeitungsphase kann die Verarbeitungseinrichtung 303 für jedes Paar benachbarter Bilder drei Fälle 502, 503, 504 unterscheiden.In a pre-processing phase, the processing device 303 three cases for each pair of adjacent images 502 . 503 . 504 differ.

Fall 1: Der Überlappungsbereich zwischen den Bildern enthält nützliche Muster. Dieser Fall ist der ideale Fall. Wenn der Überlappungsbereich identische Muster aufweist, kann die Verarbeitungseinrichtung 303 den lokalen Verschiebungs-Offset (d.h. den Versatzfehler zwischen den Bildern) zuverlässig unter Verwendung von Bild- oder Signalverarbeitungstechniken ermitteln.case 1 : The overlap area between the images contains useful patterns. This case is the ideal case. If the overlap region has identical patterns, the processing device may 303 reliably determine the local offset offset (ie the offset error between the images) using image or signal processing techniques.

Fall 2: Der Überlappungsbereich zwischen den Bildern enthält sich wiederholende Strukturen. Aufgrund der sich wiederholenden Strukturen ist die Wahrscheinlichkeit einer falschen Berechnung des Versatzfehlers (d.h. des lokalen Verschiebungs-Offsets) zwischen den beiden benachbarten Bilder sehr hoch. In diesem Fall können Mechanismen eingesetzt werden, die sich wiederholende Strukturen im Überlappungsbereich erkennen und eine falsche Berechnung des Versatzfehlers vermeiden. Dies kann beispielsweise auf einer Verfeinerungstechnik basieren, die Ausreißer erkennt und eliminiert.case 2 : The overlap area between the images contains repeating structures. Due to the repetitive structures, the likelihood of incorrect calculation of the offset error (ie, the local shift offset) between the two adjacent images is very high. In this case, mechanisms can be used which recognize repetitive structures in the overlap area and avoid incorrect calculation of the offset error. For example, this may be based on a refinement technique that detects and eliminates outliers.

Fall 3: Der Überlappungsbereich zwischen den Bildern enthält keine strukturelle Information. Dies ist der Fall wenn es im Überlappungsbereich zwischen den Bildern keine nützliche Struktur für die Ermittlung des Versatzfehlers zwischen den Bildern gibt. Da der Bereich keine verwendbare Information enthält, wird der Versatzfehler in diesem Fall geschätzt.case 3 : The overlap area between images contains no structural information. This is the case if there is no useful structure in the overlap area between the images for determining the offset error between the images. Since the area contains no usable information, the offset error is estimated in this case.

Paare von Bildern, für die der erste Fall zutrifft, können zum Training 505 verwendet werden. Durch maschinelles Lernen 506 basierend auf den Bildern des ersten Falls 502 (als Trainingsdaten) können Trainings(-Ergebnis)-Vektoren 507 ermittelt werden, die zur Berechnung oder Schätzung 508, 509 für Fall 2 und Fall 3 verwendet werden. Das Ergebnis 510 der Verarbeitung enthält für alle drei Fälle die Versatzfehler zwischen den jeweiligen Paaren von benachbarten Bildern sowie den jeweiligen Grad der Zuverlässigkeit.Pairs of images for which the first case applies can be used for training 505 be used. By machine learning 506 based on the pictures of the first case 502 (as training data) can be training (result) vectors 507 to be determined for calculation or estimation 508 . 509 for case 2 and case 3 be used. The result 510 the processing contains for all three cases the offset errors between the respective pairs of adjacent images as well as the respective degree of reliability.

6 zeigt ein Ablaufdiagramm 600, das ein Verfahren zur Bewertung des Gesamtbilds veranschaulicht. 6 shows a flowchart 600 , which illustrates a method for evaluating the overall picture.

Das Verfahren erhält als erste Eingabe 601 die Versatzfehler zwischen Paaren benachbarter Einzelbilder und den zugehörigen Grad der Zuverlässigkeit sowie als zweite Eingabe 602 das gemäß dem Algorithmus zur globalen Anordnung (Ausrichtung) der Einzelbilder erzeugte Gesamtbild.The procedure receives as the first input 601 the offset errors between pairs of adjacent frames and the associated degree of reliability as well as second input 602 the overall image generated according to the global arrangement (alignment) algorithm of the frames.

In 603 wird für jedes Paar von Einzelbildern basierend auf dem Unterschied zwischen dem berechneten Versatzfehler der Einzelbilder und dem im Gesamtbild kompensierten Versatzfehler zwischen den Einzelbildern ein im Gesamtbild verbleibender Versatzfehler berechnet.In 603 For example, for each pair of frames based on the difference between the calculated offset error of the frames and the frame-compensated offset error between the frames, an offset error remaining in the overall picture is calculated.

In 604 wird für jedes Paar von Einzelbildern, für das der Grad der Zuverlässigkeit in einem vorgegebenen Bereich liegt, überprüft, ob der im Gesamtbild verbleibende Versatzfehler innerhalb eines zulässigen Bereichs, z.B. unter einer vorgegebenen Fehlerschranke liegt.In 604 For each pair of frames for which the degree of reliability is within a predetermined range, it is checked whether the offset error remaining in the overall picture is within an allowable range, for example, below a predetermined error margin.

In 605 wird, wenn das Ergebnis der Überprüfung von 604 für jedes Paar von Einzelbildern, für das der Grad der Zuverlässigkeit in einem vorgegebenen Bereich liegt, positiv ist, das Gesamtbild akzeptiert und die Ausgabe 606 ist ein Gesamtbild mit ausreichender Qualität.In 605 will, if the result of the review of 604 for each pair of frames for which the degree of reliability is within a given range is positive, the overall picture is accepted and the output 606 is an overall picture with sufficient quality.

7 zeigt ein Diagramm 700, das ein Beispiel für die Versatzfehler in x-Richtung (d.h. Zeilen-Richtung oder horizontaler Richtung) einer Menge von Einzelbildern zeigt. 7 shows a diagram 700 which shows an example of the offset errors in the x direction (ie, line direction or horizontal direction) of a set of frames.

Für jedes Einzelbild, spezifiziert durch seine Spaltenposition und Zeilenposition in der aufgenommenen Matrix von Einzelbildern des physikalischen Objekts, ist der Versatzfehler zu seinem in x-Richtung nächsten Einzelbild angegeben.For each frame specified by its column position and row position in the captured array of frames of the physical object, the offset error is given to its next frame in the x direction.

8 zeigt ein Diagramm 800, das ein Beispiel für die Versatzfehler in y-Richtung (d.h. Spalten-Richtung oder vertikaler Richtung) einer Menge von Einzelbildern zeigt. 8th shows a diagram 800 which shows an example of the offset errors in the y-direction (ie, column direction or vertical direction) of a set of frames.

Für jedes Einzelbild, spezifiziert durch seine Spaltenposition und Zeilenposition in der aufgenommenen Matrix von Einzelbildern des physikalischen Objekts, ist der Versatzfehler zu seinem in y-Richtung nächsten Einzelbild angegeben.For each frame specified by its column position and row position in the captured array of frames of the physical object, the offset error is given to its next frame in the y direction.

9 zeigt ein Diagramm 900, das ein Beispiel für die verbleibenden Versatzfehler in x-Richtung (d.h. Zeilen-Richtung oder horizontaler Richtung) in dem Gesamtbild zeigt. 9 shows a diagram 900 showing an example of the remaining offset errors in the x-direction (ie, line direction or horizontal direction) in the overall image.

Für jedes Einzelbild in der Anordnung der Einzelbilder zum Bilden des Gesamtbilds, spezifiziert durch seine Spaltenposition und Zeilenposition in der Anordnung von Einzelbildern, ist der verbleibende Versatzfehler zu seinem in x-Richtung nächsten Einzelbild angegeben.For each frame in the array of frames for forming the overall image specified by its column position and row position in the array of frames, the remaining offset error is given to its nearest frame in the x-direction.

10 zeigt ein Diagramm 1000, das ein Beispiel für die verbleibenden Versatzfehler in y-Richtung (d.h. Spalten-Richtung oder vertikaler Richtung) im Gesamtbild zeigt. 10 shows a diagram 1000 showing an example of the remaining offset errors in the y-direction (ie, column direction or vertical direction) in the overall image.

Für jedes Einzelbild in der Anordnung der Einzelbilder zum Bilden des Gesamtbilds, spezifiziert durch seine Spaltenposition und Zeilenposition in der Anordnung von Einzelbildern, ist der verbleibende Versatzfehler zu seinem in y-Richtung nächsten Einzelbild angegeben.For each frame in the array of frames to form the overall image, specified by its column position and row position in the array of frames, the remaining offset error is given to its nearest frame in the y direction.

Erzeugt die Kamera-Anordnung 301 Einzelbilder für eine Mehrzahl von Schichten des physikalischen Objekts, so kann die Verarbeitungseinrichtung 303 ein Gesamtbild mit mehreren Ebenen erzeugen.Creates the camera arrangement 301 Frames for a plurality of layers of the physical object, so the processing device 303 create an overall picture with several levels.

11 zeigt ein Ablaufdiagramm 1100, das ein Verfahren zum Erzeugen eines Gesamtbilds aus Einzelbildern mit mehreren Ebenen (oder Schichten) veranschaulicht, das beispielsweise von der Verarbeitungseinrichtung 303 durchgeführt wird. 11 shows a flowchart 1100 , which illustrates a method of generating an overall image from multi-level (or layered) frames, for example, from the processing device 303 is carried out.

In diesem Beispiel wird davon ausgegangen, dass die Verarbeitungseinrichtung 303 Gesamtbilder 1101 mit ausreichender Qualität erzeugen konnte, wobei jedes Gesamtbild 1101 eine andere Schicht des physikalischen Objekts zeigt.In this example, it is assumed that the processing device 303 total pictures 1101 could produce with sufficient quality, with every overall picture 1101 shows another layer of the physical object.

In 1102 wird eine Anker-Datenbank zwischen den Schichten des physikalischen Objekts erzeugt, d.h. die Zuordnung von geometrischen Koordinaten auf den unterschiedlichen Schichten, obwohl die unterschiedlichen Schichten auch unterschiedliche geometrische Strukturen zeigen, beispielsweise anhand von Durchkontaktierungen wie z.B. Vias im Falle eines Chips.In 1102 An anchor database is generated between the layers of the physical object, ie, the assignment of geometric coordinates on the different layers, although the different layers also show different geometric structures, for example on the basis of vias, such as vias in the case of a chip.

In 1103 werden dann für jede Schicht die Einzelbilder der jeweiligen Schicht zu einem jeweiligen (neuen) Gesamtbild angeordnet, wobei die Informationen aus der Anker-Datenbank berücksichtigt werden. Es werden somit die Gesamtbilder der verschiedenen Schichten derart geändert, dass die Gesamtbilder unterschiedlicher Schichten zusammenpassen.In 1103 The individual images of the respective layer are then arranged for each layer into a respective (new) overall image, taking into account the information from the anchor database. Thus, the overall images of the different layers are changed so that the overall images of different layers match.

Für jedes dieser neuen Gesamtbilder wird in 1105 für jedes Paar von Einzelbildern (sowohl in x-Richtung als auch in y-Richtung) überprüft, ob der im (neuen) Gesamtbild verbleibende Versatzfehler innerhalb eines zulässigen Bereichs, z.B. unter einer vorgegebenen Fehlerschranke liegt.For each of these new pictures is in 1105 For each pair of frames (both in the x-direction and in the y-direction) it is checked whether the offset error remaining in the (new) overall picture is within a permissible range, eg below a predetermined error limit.

In 1106 wird, wenn das Ergebnis der Überprüfung von 1105 für jedes Paar von Einzelbildern, für das der Grad der Zuverlässigkeit in einem vorgegebenen Bereich liegt, positiv ist, die Gesamtstruktur mit allen (neuen) Gesamtbildern akzeptiert und die Ausgabe 1107 ist ein Gesamtbild mit mehreren Schichten mit ausreichender Qualität. In 1106 will, if the result of the review of 1105 for each pair of frames for which the degree of reliability is within a given range is positive, the forest is accepted with all (new) whole images and the output 1107 is an overall picture with several layers of sufficient quality.

12 zeigt ein Beispiel für ein Anordnen von Einzelbildern zu einem Gesamtbild zum Korrigieren der (lokalen) Versatzfehler zwischen den Bildern. 12 Fig. 12 shows an example of arranging frames into a whole image for correcting the (local) offset errors between the images.

Die in Bezug auf 12 beschriebene Herangehensweise wird auch als Push-Pull-Konzept bezeichnet.In relation to 12 described approach is also referred to as push-pull concept.

Eine erste Darstellung 1201 zeigt die Anordnung der Einzelbilder, bezeichnet als (A, 1) bis (D, 5), die so angeordnet sind, wie sie von der Kamera 103 aufgenommen wurde. Das heißt, dass die Einzelbilder so angeordnet sind, dass das Gesamtbild des physikalischen Objekts 101 korrekt wäre, wenn die Kamera-Anordnung 100 keine Versatzfehler machen würde. Ohne Versatzfehler würden die Inhalte benachbarter Bilder korrekt aneinander anschließen, d.h. das physikalische Objekt korrekt wiedergeben.A first presentation 1201 Fig. 12 shows the arrangement of the frames designated as (A, 1) to (D, 5) arranged as they are from the camera 103 has been recorded. That is, the frames are arranged so that the overall picture of the physical object 101 would be correct if the camera arrangement 100 would not make any offset errors. Without offset errors, the contents of adjacent images would connect correctly, ie render the physical object correctly.

Die Einzelbilder sind in Spalten (die sich in y-Richtung erstrecken) und in Zeilen (die sich in x-Richtung) erstrecken, angeordnet.The frames are arranged in columns (which extend in the y-direction) and in lines (which extend in the x-direction).

In 12 ist die Korrektur von Versatzfehler in Spaltenrichtung gezeigt. Dazu werden die Positionen der Einzelbilder der untersten Reihe (Einzelbilder (A, 1) bis (D, 1)) als fest angenommen. Sie können als Ankerpunkte angesehen werden. Im konkreten Beispiel bedeutet dies, dass bei diesen Bildern die korrekte Positionierung zu der unteren bzw. oberen Schicht durchgeführt / bzw. überprüft wurde. Es ergab sich ein perfekter Überlapp, d.h. es ist keine weitere Verschiebung der Einzelbilder aufgrund der Informationen aus den anderen Ebenen nötig. Für das Konkrete Beispiel wurde eine der Qualitätsfunktion entsprechende Ausrichtung der Teilbilder (B2 : D5) bestimmt.In 12 the correction of offset errors in the column direction is shown. For this purpose, the positions of the individual images of the bottom row (individual images (A, 1) to (D, 1)) are assumed to be fixed. They can be regarded as anchor points. In the concrete example, this means that the correct positioning to the lower or upper layer has been carried out / checked in these images. The result was a perfect overlap, ie no further shifting of the frames is necessary due to the information from the other layers. For the concrete example, an alignment of the partial images corresponding to the quality function (B2: D5) was determined.

In diesem Beispiel wird außerdem angenommen, dass das Bild (A, 2) einen Versatzfehler bzgl. des Bilds (A, 1) in x-Richtung von drei Pixeln hat. Deshalb sind das Bild (A, 2) und die darüber liegenden Bilder ( (A, 3) bis (A, 5) ) in negativer x-Richtung um drei Pixel zu verschieben. Die Push/Pull-Verschiebung wird also jetzt durch eine Korrektur in der ersten Ebene ausgelöst.In this example, it is also assumed that the image (A, 2) has an offset error with respect to the image (A, 1) in the x direction of three pixels. Therefore, the image (A, 2) and the overlying images ((A, 3) to (A, 5)) are to be shifted in the negative x direction by three pixels. The push / pull shift is now triggered by a correction in the first level.

Es wird nun ferner angenommen, dass die Bilder (A, 3) bis (A, 5) einen Versatzfehler von einem Pixel in negativer Richtung bzgl. des Bilds (A, 2), d.h. von zwei Pixeln in x-Richtung bzgl. des Bilds (A, 1). Da diese Bilder aber schon zusammen mit dem Bild (A, 2) um drei Pixel in negativer x-Richtung zu verschieben sind, sind sie nun noch um einen Pixel in x-Richtung zu verschieben. Effektiv (insgesamt) sind sie somit um zwei Pixel nach links zu verschieben.It is now further assumed that the images (A, 3) to (A, 5) have an offset error of one pixel in the negative direction with respect to the image (A, 2), i. of two pixels in the x direction with respect to the image (A, 1). Since these images are already to be moved together with the image (A, 2) by three pixels in the negative x-direction, they are now to move by one pixel in the x-direction. They are thus effective (in total) by two pixels to the left to move.

Es sollte beachtet werden, dass obwohl die Bilder (A, 5) und (A, 4) keinen Versatzfehler zu ihren darunterliegenden Bildern ( (A, 4) bzw. (A, 3) ) haben, sie dennoch mitverschoben werden, damit sie korrekt auf das unterste Bild ( (A, 1) ) ausgerichtet sind. Dazu kann für jedes Einzelbild eine effektive Verschiebung berechnet werden.It should be noted that although the images (A, 5) and (A, 4) have no offset error to their underlying images ((A, 4) and (A, 3), respectively), they are still misaligned to be correct on the bottom picture ((A, 1)) are aligned. For this purpose, an effective displacement can be calculated for each individual image.

Eine zweite Darstellung 1202 zeigt das Resultat der Versatzfehlerkorrektur für die erste Spalte.A second presentation 1202 shows the result of the offset error correction for the first column.

Nach dem die erste Spalte korrigiert wurde müssen die noch nicht verschoben Zeilen und Spalten (B2 D5) abhängig von der Verschiebevorgabe aus der ersten Spalte nachgezogen werden. Bewegt man ein Bild in der ersten Spalte in der Zeile j , muss folglich auch das Bild in der zweiten Spalte j nachgezogen werden. Diese Bewegung ist jedoch durch die Qualitätsfunktion der benachbarten Teilbilder begrenzt, wodurch sich eine weitere Verschiebevorgabe an das Bild in der dritten Spalte ergibt. Eine unbegrenzte Weitergabe der Verschiebevorgabe an benachbarte Teilbilder ist ferner auch aufgrund der Ankerpunkte nicht immer möglich.After the first column has been corrected, the rows and columns (B2 D5) that have not yet been moved must be retraced from the first column, depending on the shift specification. If one moves an image in the first column in the line j, consequently the image in the second column j must also be retraced. However, this movement is limited by the quality function of the adjacent fields, which results in a further shift specification to the image in the third column. An unlimited transfer of the shift specification to adjacent fields is also not always possible due to the anchor points.

Im Beispiel bilden die Position der Teilbilder der ersten Zeile ein in Maximal-Kriterium für eine mögliche Verschiebung der darüber liegenden Zeile, da diese nach den Vorgaben bereits richtig verankert sind. Es gilt nun für einen gefundenes Push-Event (also im Beispiel die Korrektur einer senkrechten Leiterbahn) die weiteren Bilder derart zu verschieben, dass die einzelnen Qualitätsvorgaben zwischen den Bildern erfüllt werden (Pull-Events).In the example, the positions of the sub-pictures of the first line form a maximum criterion for a possible shift of the line above, since these are already anchored correctly according to the specifications. It now applies to a found push event (ie in the example, the correction of a vertical trace) to move the other images such that the individual quality specifications between the images are met (pull events).

Durch das Ankerprinzip werden Bilder aus Ihren gefundenen optimalen 2D-Stitching Positionen herausgezogen (Push) , die nachfolgenden Nachbarschaftsbilder müssen dieser Bewegung folgen, ohne dabei die Kriterien der Qualitätsfunktion zu verletzten. (Pull).The anchor principle pulls out images from your found optimal 2D-Stitching positions (push), the following neighborhood pictures have to follow this movement, without violating the criteria of the quality function. (Pull).

Ankerpunkte stellen deshalb Nebenbedingungen dar, welche durch den Push/Pull-Algorithmus erfüllt werden. Ein unter 2D-Aspekten perfekt zusammengefügtes Bild wird also aus seinem Optimum durch die Ankerpunkte in ein 3D-Gesamtoptimum verschoben. Für den Gewinn einer perfekten 3D-Überlappung definiert anhand von Ankerpunkten muss man folglich ein nicht ganz perfekt zusammengesetztes 2D-Bild akzeptieren. Dass die Qualitätsfunktion stets erfüllt wird ist jedoch für das Gesamtbild/die Bilder aller Ebenen kein Problem.Anchor points therefore represent constraints that are met by the push / pull algorithm. An image perfectly combined under 2D aspects is thus shifted from its optimum through the anchor points into a 3D overall optimum. Therefore, to get a perfect 3D overlap defined by anchor points, one must accept a not quite perfectly composed 2D image. However, the fact that the quality function is always fulfilled is not a problem for the overall picture / images of all levels.

Die Anzahl der Ebenen, die Anzahl der Ankerpunkte und die Position der Ankerpunkte im Mosaik kann gemäß verschiedenen Ausführungsformen beliebig gewählt werden. The number of levels, the number of anchor points, and the location of anchor points in the mosaic may be arbitrarily selected according to various embodiments.

Es wird angemerkt, dass im Idealfall durch die Push Pull Aktionen aufgrund von Ankerpunkten weiterhin alle 2D-Teilbilder in ihrem aufgrund der Qualitätsfunktion bestimmten Optimum sind, im Erfolgsfall wird das 2D-Optimum verlassen, es werden aber nirgends die Vorgaben der Qualitätsfunktion verletzt. Im Fehlerfall können die Vorgaben aus Ankerpunkten und Qualitätsfunktion nicht gleichzeitig erfüllt werden, der Nutzen des beschriebenen Verfahrens liegt in diesem Fall in der sofortigen Verfügbarkeit dieser Fehlerinformationen. It is noted that, ideally, the push pull actions due to anchor points still all 2D-part images are in their optimum due to the quality function, in case of success, the 2D-Optimum is left, but nowhere the specifications of the quality function are violated. In the event of an error, the specifications from anchor points and quality function can not be fulfilled at the same time; the benefit of the described method lies in the immediate availability of this error information.

Zusammenfassend wird gemäß verschiedenen Ausführungsformen ein Verfahren bereitgestellt, wie es in 13 dargestellt ist.In summary, according to various embodiments, a method is provided as shown in FIG 13 is shown.

13 zeigt ein Ablaufdiagramm 1300, das ein Verfahren zum Ermitteln eines Gesamtbildes aus Einzelbildern eines physikalischen Objekts veranschaulicht. 13 shows a flowchart 1300 , which illustrates a method for determining an overall image from individual images of a physical object.

In 1301 wird eine Vielzahl von Einzelbildern, die unterschiedliche Teilbereiche eines physikalischen Objekts zeigen, erzeugt.In 1301 For example, a plurality of frames showing different portions of a physical object are generated.

In 1302 wird für Paare der Einzelbilder, wobei die Einzelbilder eines Paars von Einzelbildern aneinandergrenzende Teilbereiche des physikalischen Objekts zeigen, ein Versatzfehler zwischen den Einzelbildern des jeweiligen Paares ermittelt.In 1302 For pairs of frames, where the frames of a pair of frames show contiguous portions of the physical object, an offset error between the frames of the respective pair is determined.

In 1303 wird eine Anordnung der Einzelbilder zum Bilden des Gesamtbildes des physikalischen Objekts ermittelt.In 1303 An arrangement of the frames for forming the overall image of the physical object is determined.

In 1304 wird eine Kompensation des Versatzfehlers zwischen den Einzelbildern der Paare von Einzelbildern in der Anordnung der Einzelbilder ermittelt.In 1304 Compensation of the offset error between the frames of the pairs of frames in the arrangement of the frames is determined.

In anderen Worten werden gemäß verschiedenen Ausführungsformen Einzelbilder eines physikalischen Objekts zu einem Gesamtbild des physikalischen Objekts basierend auf den Versatzfehlern zwischen den Einzelbildern der Paare von Einzelbildern zusammengefügt.In other words, according to various embodiments, frames of a physical object are combined to form an overall image of the physical object based on the offset errors between the frames of the pairs of frames.

Das Zusammenfügen der Einzelbilder zu dem Gesamtbild kann dann basierend auf einem Vergleich der Versatzfehler zwischen den Einzelbildern der Paare von Einzelbildern und Kompensation der Versatzfehler in dem Gesamtbild bewertet werden.The merging of the frames to the overall picture may then be evaluated based on a comparison of the offset errors between the frames of the pairs of frames and compensation for the offset errors in the overall picture.

Somit erfolgt eine Bewertung der Positionen der Einzelbilder im Gesamtbild, d.h. eine Evaluierung der Positionsfehler in der Anordnung der Einzelbilder, die dem Gesamtbild zu Grunde liegt. Beispielsweise kann eine entsprechende Qualitätskontrollfunktion sicherstellen, dass die korrekten geometrischen Daten des physikalischen Objekts im Gesamtbild (z.B. bis auf eine vorgegebene Toleranz) durch das Gesamtbild wiedergegeben werden.Thus, an evaluation of the positions of the frames in the overall image, i. an evaluation of the positional errors in the arrangement of the frames underlying the overall picture. For example, a corresponding quality control function may ensure that the correct geometric data of the physical object in the overall image (e.g., to a predetermined tolerance) is represented by the overall image.

Basierend auf der Bewertung des Gesamtbilds kann beispielsweise eine inhärent begrenzte mechanische Genauigkeit einer Kamera-Anordnung, die die Einzelbilder erzeugt, (ggf. zur Laufzeit) kompensiert werden.For example, based on the overall image rating, an inherently limited mechanical accuracy of a camera array that generates the frames may be compensated (possibly at run time).

Die Bewertung kann mit einem Bewertungs-Schwellwert verglichen werden und je nachdem, ob die Bewertung unter oder über dem Bewertungs-Schwellwert liegt, ein oder mehrere Steuerungsfunktionen vorgenommen werden. Ist die Bewertung beispielsweise schlechter als durch den Bewertungs-Schwellwert vorgegeben, kann die Erzeugung von Einzelbildern wiederholt werden.The score may be compared to a rating threshold and one or more control functions may be performed depending on whether the score is below or above the rating threshold. For example, if the score is worse than predetermined by the rating threshold, the creation of frames may be repeated.

Das Zusammenfügen von Einzelbildern zu einem Gesamtbild kann in vielen technischen Gebieten und vielen Anwendungsfällen angewendet werden, z.B. zur Chipanalyse, zur Analyse von medizinischen Bildern (z.B. eines Gehirns) etc.The merging of frames into an overall picture can be used in many technical fields and many applications, e.g. for chip analysis, analysis of medical images (e.g., brain), etc.

Das in 13 dargestellte Verfahren wird beispielsweise von einer Anordnung durchgeführt, wie sie in 14 gezeigt ist.This in 13 For example, the illustrated method is performed by an arrangement as shown in FIG 14 is shown.

14 zeigt eine Anordnung 1400 zum Ermitteln eines Gesamtbildes aus Einzelbildern eines physikalischen Objekts. 14 shows an arrangement 1400 for determining an overall image from individual images of a physical object.

Die Anordnung 1400 weist eine Bildaufnahmeeinrichtung auf, die eingerichtet ist, eine Vielzahl von Einzelbildern, die unterschiedliche Teilbereiche eines physikalischen Objekts zeigen, zu erzeugen.The order 1400 has an image pickup device configured to generate a plurality of frames that show different portions of a physical object.

Die Anordnung 1400 weist außerdem eine Verarbeitungseinrichtung 1402 auf. Die Verarbeitungseinrichtung 1402 ist dazu eingerichtet für Paare der Einzelbilder, wobei die Einzelbilder eines Paars von Einzelbildern aneinandergrenzende Teilbereiche des physikalischen Objekts zeigen, einen Versatzfehler zwischen den Einzelbildern des jeweiligen Paares zu ermitteln; eine Anordnung der Einzelbilder zum Bilden des Gesamtbildes des physikalischen Objekts zu ermitteln und eine Kompensation des Versatzfehlers zwischen den Einzelbildern der Paare von Einzelbildern in der Anordnung der Einzelbilder zu ermitteln.The order 1400 also has a processing facility 1402 on. The processing device 1402 is adapted for pairs of the frames, wherein the frames of a pair of frames show contiguous portions of the physical object to detect an offset error between the frames of the respective pair; determine an arrangement of the frames for forming the overall image of the physical object and determine a compensation of the offset error between the frames of the pairs of frames in the arrangement of the frames.

Die Verarbeitungseinrichtung kann beispielsweise durch einen programmierbaren Prozessor implementiert werden, der in einer Ausführungsform die Bildaufnahmevorrichtung steuert.The processing means may be implemented, for example, by a programmable processor which in one embodiment controls the image capture device.

Im Folgenden werden verschiedene Ausführungsbeispiele angegeben. In the following, various embodiments are given.

Ausführungsbeispiel 1 ist ein Verfahren zum Ermitteln eines Gesamtbildes aus Einzelbildern eines physikalischen Objekts, wie es in 13 dargestellt ist.embodiment 1 is a method of obtaining an overall image from frames of a physical object as shown in FIG 13 is shown.

Ausführungsbeispiel 2 ist ein Verfahren gemäß Ausführungsbeispiel 1, wobei die Einzelbilder eines Paares von Einzelbildern aneinandergrenzende, sich überlappende Teilbereiche des physikalischen Objekts zeigen.embodiment 2 is a method according to embodiment 1 wherein the frames of a pair of frames show contiguous, overlapping portions of the physical object.

Ausführungsbeispiel 3 ist ein Verfahren gemäß Ausführungsbeispiel 1 oder 2, wobei der Versatzfehler zwischen den Einzelbildern eine Abweichung des Versatzes der Inhalte der Einzelbilder gegeneinander von einem vorgesehenen Versatz der Inhalte der Einzelbilder gegeneinander ist.embodiment 3 is a method according to embodiment 1 or 2 wherein the offset error between the frames is a deviation of the offset of the contents of the frames from each other from an intended offset of the contents of the frames against each other.

Ausführungsbeispiel 4 ist ein Verfahren gemäß einem der Ausführungsbeispiele 1 bis 3, wobei die Einzelbilder unterschiedliche Teilbereiche einer ersten Schicht des physikalischen Objekts zeigen, und das Verfahren ferner das Erstellen eines Bilds für jede einer oder mehrerer zweiten Schichten des physikalischen Objekts aufweist.embodiment 4 is a method according to one of the embodiments 1 to 3 wherein the frames display different portions of a first layer of the physical object, and the method further comprises creating an image for each of one or more second layers of the physical object.

Ausführungsbeispiel 5 ist ein Verfahren gemäß Ausführungsbeispiel 4, wobei das Verfahren ein Ausrichten der Einzelbilder der Teilbereiche der ersten Schicht auf die Bildinhalte des bezüglich des Bildes jeder der ein oder mehreren zweiten Schichten basierend auf der zweiten Schicht aufweist.embodiment 5 is a method according to embodiment 4 wherein the method comprises aligning the frames of the subregions of the first layer with the image contents of the image of each of the one or more second layers based on the second layer.

Ausführungsbeispiel 6 ist ein Verfahren gemäß Ausführungsbeispiel 5, wobei das Ermitteln der Anordnung der Einzelbilder auf den Einzelbildern der Teilbereiche der ersten Schicht, die auf die Bildinhalte des Bildes jeder der ein oder mehreren zweiten Schichten ausgerichtet sind, basiert.embodiment 6 is a method according to embodiment 5 wherein determining the arrangement of the frames is based on the frames of the portions of the first layer that are aligned with the image contents of the image of each of the one or more second layers.

Ausführungsbeispiel 7 ist ein Verfahren gemäß Ausführungsbeispiel 5 oder 6, ferner aufweisend: Neuausrichten der Einzelbilder der Teilbereiche der ersten Schicht bezüglich des jeweiligen Bildes der ein oder mehreren zweiten Schichten unter Berücksichtigung eines bestimmten Bewertungs-Schwellwerts.embodiment 7 is a method according to embodiment 5 or 6 , further comprising: realigning the frames of the portions of the first layer with respect to the respective image of the one or more second layers in consideration of a particular evaluation threshold.

Ausführungsbeispiel 8 ist ein Verfahren gemäß einem der Ausführungsbeispiele 1 bis 7, ferner aufweisend: Erzeugen von neuen Einzelbildern, die die unterschiedlichen Teilbereiche des physikalischen Objekts zeigen, unter Berücksichtigung eines bestimmten Bewertungs-Schwellwerts und Ermitteln des Gesamtbilds zumindest teilweise basierend auf den neuen Einzelbildern.embodiment 8th is a method according to one of the embodiments 1 to 7 , further comprising: generating new frames showing the different portions of the physical object, taking into account a particular evaluation threshold, and determining the overall image based at least in part on the new frames.

Ausführungsbeispiel 9 ist ein Verfahren gemäß einem Ausführungsbeispiel 8, wobei die Einzelbilder, die die unterschiedliche Teilbereiche des physikalischen Objekts zeigen, mittels einer Kameraanordnung erzeugt werden und das Verfahren das Steuern von Versätzen, die von der Kameraanordnung zum Erzeugen der neuen Einzelbilder verwendet werden unter Berücksichtigung eines bestimmten Bewertungs-Schwellwerts aufweist.embodiment 9 is a method according to an embodiment 8th wherein the frames displaying the different portions of the physical object are generated by means of a camera arrangement and the method comprises controlling offsets used by the camera assembly to produce the new frames taking into account a particular evaluation threshold.

Ausführungsbeispiel 10 ist ein Verfahren gemäß einem der Ausführungsbeispiele 1 bis 9, wobei die Einzelbilder Mikroskop-Aufnahmen sind.embodiment 10 is a method according to one of the embodiments 1 to 9 , where the individual images are microscope images.

Ausführungsbeispiel 11 ist ein Verfahren gemäß einem der Ausführungsbeispiele 1 bis 10, ferner aufweisend Ermitteln einer Bewertung des Gesamtbilds basierend auf einem Vergleich der Versatzfehler zwischen den Einzelbildern der Paare von Einzelbildern und der Kompensation der Versatzfehler.embodiment 11 is a method according to one of the embodiments 1 to 10 and further comprising determining a score of the overall image based on a comparison of the offset errors between the frames of the pairs of frames and the offset error compensation.

Ausführungsbeispiel 12 ist ein Verfahren gemäß Ausführungsbeispiel 11, wobei die Bewertung des Gesamtbilds auf einer Qualitätsfunktion der Unterschiede der Versatzfehler zwischen den Einzelbildern der Paare von Einzelbildern und der Kompensation der Versatzfehler basiert.embodiment 12 is a method according to embodiment 11 wherein the evaluation of the overall image is based on a quality function of the differences of the offset errors between the frames of the pairs of frames and the compensation of the offset errors.

Ausführungsbeispiel 13 ist ein Verfahren gemäß einem der Ausführungsbeispiele 1 bis 12, wobei die Kompensation der Versatzfehler zwischen den Einzelbildern eines Paares von Einzelbildern eine Verschiebung der Einzelbilder zueinander ist.embodiment 13 is a method according to one of the embodiments 1 to 12 wherein the compensation of the offset errors between the frames of a pair of frames is a shift of the frames relative to each other.

Ausführungsbeispiel 14 ist ein Verfahren gemäß einem der Ausführungsbeispiele 1 bis 13, wobei die Kompensation der Versatzfehler zwischen den Einzelbildern eines Paares von Einzelbildern eine Verschiebung der Einzelbilder weg von einem vorgesehenen Versatz der Einzelbilder ist.embodiment 14 is a method according to one of the embodiments 1 to 13 wherein the compensation of the offset errors between the frames of a pair of frames is a shift of the frames away from an intended offset of the frames.

Ausführungsbeispiel 15 ist eine Anordnung zum Ermitteln eines Gesamtbildes aus Einzelbildern eines physikalischen Objekts, wie sie in 14 dargestellt ist.embodiment 15 is an arrangement for determining an overall image from individual images of a physical object as shown in FIG 14 is shown.

Ausführungsbeispiel 16 ist eine Anordnung gemäß Ausführungsbeispiel 15, wobei die Einzelbilder eines Paares von Einzelbildern aneinandergrenzende, sich überlappende Teilbereiche des physikalischen Objekts zeigen.embodiment 16 is an arrangement according to embodiment 15 wherein the frames of a pair of frames show contiguous, overlapping portions of the physical object.

Ausführungsbeispiel 17 ist eine Anordnung gemäß Ausführungsbeispiel apo15 oder 16, wobei der Versatzfehler zwischen den Einzelbildern eine Abweichung des Versatzes der Inhalte der Einzelbilder gegeneinander von einem vorgesehenen Versatz der Inhalte der Einzelbilder gegeneinander ist.embodiment 17 is an arrangement according to embodiment apo15 or 16, wherein the offset error between the frames is a deviation of the offset of the contents of the frames against each other from an intended offset of the contents of the frames against each other.

Ausführungsbeispiel 18 ist eine Anordnung gemäß einem der Ausführungsbeispiele 15 bis 17, wobei die Einzelbilder unterschiedliche Teilbereiche einer ersten Schicht des physikalischen Objekts zeigen, und die Verarbeitungseinrichtung ferner eingerichtet ist, ein Bild für jede einer oder mehrerer zweiten Schichten des physikalischen Objekts zu erstellen. embodiment 18 is an arrangement according to one of the embodiments 15 to 17 wherein the frames display different portions of a first layer of the physical object, and the processing device is further configured to create an image for each of one or more second layers of the physical object.

Ausführungsbeispiel 19 ist eine Anordnung gemäß Ausführungsbeispiel 18, wobei die Verarbeitungseinrichtung eingerichtet ist, die Einzelbilder der Teilbereiche der ersten Schicht auf die Bildinhalte des bezüglich des Bildes jeder der ein oder mehreren zweiten Schichten basierend auf der zweiten Schicht auszurichten.embodiment 19 is an arrangement according to embodiment 18 wherein the processing means is arranged to align the frames of the portions of the first layer with the image contents of the image of each of the one or more second layers based on the second layer.

Ausführungsbeispiel 20 ist eine Anordnung gemäß Ausführungsbeispiel 19, wobei die Verarbeitungseinrichtung eingerichtet ist, die Anordnung der Einzelbilder basierend auf den Einzelbildern der Teilbereiche der ersten Schicht, die auf die Bildinhalte des Bildes jeder der ein oder mehreren zweiten Schichten ausgerichtet sind, zu ermitteln.embodiment 20 is an arrangement according to embodiment 19 wherein the processing means is arranged to determine the arrangement of the frames based on the frames of the portions of the first layer which are aligned with the image contents of the image of each of the one or more second layers.

Ausführungsbeispiel 21 ist eine Anordnung gemäß Ausführungsbeispiel 19 oder 20, wobei die Verarbeitungseinrichtung ferner die Einzelbilder der Teilbereiche der ersten Schicht bezüglich des jeweiligen Bildes der ein oder mehreren zweiten Schichten unter Berücksichtigung eines bestimmten Bewertungs-Schwellwerts neu ausrichtet.embodiment 21 is an arrangement according to embodiment 19 or 20 wherein the processing means further realigns the frames of the sub-regions of the first layer with respect to the respective image of the one or more second layers, taking into account a particular evaluation threshold.

Ausführungsbeispiel 22 ist eine Anordnung gemäß einem der Ausführungsbeispiele 15 bis 21, ferner aufweisend eine Steuereinrichtung, die eingerichtet ist, die Bildaufnahmeeinrichtung zum Erzeugen von neuen Einzelbildern, die die unterschiedlichen Teilbereiche des physikalischen Objekts zeigen, unter Berücksichtigung eines bestimmten Bewertungs-Schwellwerts zu steuern und die Verarbeitungseinrichtung eingerichtet ist, das Gesamtbild zumindest teilweise basierend auf den neuen Einzelbildern zu ermitteln.embodiment 22 is an arrangement according to one of the embodiments 15 to 21 , further comprising control means arranged to control the image pickup means for generating new frames displaying the different partitions of the physical object in consideration of a certain evaluation threshold, and the processing means is arranged, the whole image based at least in part on the new one To determine individual images.

Ausführungsbeispiel 23 ist eine Anordnung gemäß einem Ausführungsbeispiel 22, wobei die Bildaufnahmeeinrichtung eine Kameraanordnung ist und die Steuereinrichtung Versätze, die von der Kameraanordnung zum Erzeugen der neuen Einzelbilder verwendet werden, unter Berücksichtigung eines bestimmten Bewertungs-Schwellwerts steuert.embodiment 23 is an arrangement according to an embodiment 22 wherein the image capture device is a camera assembly, and the controller controls offsets used by the camera assembly to generate the new frames taking into account a particular rating threshold.

Ausführungsbeispiel 24 ist eine Anordnung gemäß einem der Ausführungsbeispiele 15 bis 23, wobei die Einzelbilder Mikroskop-Aufnahmen sind.embodiment 24 is an arrangement according to one of the embodiments 15 to 23 , where the individual images are microscope images.

Ausführungsbeispiel 25 ist eine Anordnung gemäß einem der Ausführungsbeispiele 15 bis 24, wobei die Verarbeitungseinrichtung eingerichtet ist, eine Bewertung des Gesamtbilds basierend auf einem Vergleich der Versatzfehler zwischen den Einzelbildern der Paare von Einzelbildern und der Kompensation der Versatzfehler zu ermitteln.embodiment 25 is an arrangement according to one of the embodiments 15 to 24 wherein the processing means is arranged to determine an evaluation of the overall image based on a comparison of the offset errors between the frames of the pairs of frames and the compensation of the offset errors.

Ausführungsbeispiel 26 ist eine Anordnung gemäß Ausführungsbeispiel 25, wobei die Bewertung des Gesamtbilds auf einer Qualitätsfunktion der Unterschiede der Versatzfehler zwischen den Einzelbildern der Paare von Einzelbildern und der Kompensation der Versatzfehler basiert.embodiment 26 is an arrangement according to embodiment 25 wherein the evaluation of the overall image is based on a quality function of the differences of the offset errors between the frames of the pairs of frames and the compensation of the offset errors.

Ausführungsbeispiel 27 ist eine Anordnung gemäß einem der Ausführungsbeispiele 15 bis 26, wobei die Kompensation der Versatzfehler zwischen den Einzelbildern eines Paares von Einzelbildern eine Verschiebung der Einzelbilder zueinander ist.embodiment 27 is an arrangement according to one of the embodiments 15 to 26 wherein the compensation of the offset errors between the frames of a pair of frames is a shift of the frames relative to each other.

Ausführungsbeispiel 28 ist eine Anordnung gemäß einem der Ausführungsbeispiele 15 bis 27, wobei die Kompensation der Versatzfehler zwischen den Einzelbildern eines Paares von Einzelbildern eine Verschiebung der Einzelbilder weg von einem vorgesehenen Versatz der Einzelbilder ist.embodiment 28 is an arrangement according to one of the embodiments 15 to 27 wherein the compensation of the offset errors between the frames of a pair of frames is a shift of the frames away from an intended offset of the frames.

Gemäß einer weiteren Ausführungsform wird ein Verfahren und eine entsprechende Anordnung oder Vorrichtung zum Zusammenfügen eines Gesamtbildes aus Einzelbildern eines physikalischen Objekts bereitgestellt, wobei jedes Einzelbild einen Teil des physikalischen Objekts zeigt. Das Verfahren weist auf:

Ermitteln von Versatzfehlern zwischen Einzelbildern, die aneinandergrenzende Teile des physikalischen Objekts zeigen,
Zusammenfügen der Einzelbilder zu einem Gesamtbild basierend auf einer zumindest teilweisen Korrektur der Versatzfehler;
Ermitteln der im Gesamtbild verbliebenen Versatzfehler basierend auf einem Vergleich der Versatzfehler mit ihrer Korrektur; und
Bewerten des Gesamtbilds basierend auf den im Gesamtbild verbliebenen Versatzfehlern.

According to another embodiment, there is provided a method and corresponding arrangement or apparatus for assembling an overall image from frames of a physical object, each frame showing a portion of the physical object. The method comprises:

Determining offset errors between frames showing contiguous parts of the physical object
Merging the frames into an overall image based on at least partially correcting the offset errors;
Determining the offset errors remaining in the overall image based on a comparison of the offset errors with their correction; and
Evaluate the overall image based on the offset errors remaining in the overall image.

Obwohl die Erfindung vor allem unter Bezugnahme auf bestimmte Ausführungsformen gezeigt und beschrieben wurde, sollte es von denjenigen, die mit dem Fachgebiet vertraut sind, verstanden werden, dass zahlreiche Änderungen bezüglich Ausgestaltung und Details daran vorgenommen werden können, ohne vom Wesen und Bereich der Erfindung, wie er durch die nachfolgenden Ansprüche definiert wird, abzuweichen. Der Bereich der Erfindung wird daher durch die angefügten Ansprüche bestimmt, und es ist beabsichtigt, dass sämtliche Änderungen, welche unter den Wortsinn oder den Äquivalenzbereich der Ansprüche fallen, umfasst werden.While the invention has been particularly shown and described with reference to particular embodiments, it should be understood by those of ordinary skill in the art that numerous changes in form and detail may be made therein without departing from the spirit and scope of the invention. as defined by the following claims. The scope of the invention is, therefore, to be determined by the appended claims, and it is intended to encompass all changes which come within the meaning or equivalency of the claims.

Claims

A method of determining an overall image from frames of a physical object, the method comprising: Generating a plurality of frames showing different portions of a physical object; Determining, for pairs of the frames, the frames of a pair of frames showing contiguous portions of the physical object, an offset error between the frames of the respective pair; Determining an arrangement of the frames to form the overall image of the physical object; and Determining a compensation of the offset error between the frames of the pairs of frames in the arrangement of the frames.

Method according to Claim 1 wherein the frames of a pair of frames show contiguous, overlapping portions of the physical object.

Method according to Claim 1 or 2 wherein the offset error between the frames is a deviation of the offset of the contents of the frames from each other from an intended offset of the contents of the frames against each other.

Method according to one of Claims 1 to 3 wherein the frames display different portions of a first layer of the physical object, and the method further comprises creating an image for each of one or more second layers of the physical object.

Method according to Claim 4 wherein the method comprises aligning the frames of the subregions of the first layer with the image contents of the image of each of the one or more second layers based on the second layer.

Method according to Claim 5 wherein determining the arrangement of the frames is based on the frames of the portions of the first layer that are aligned with the image contents of the image of each of the one or more second layers.

Method according to Claim 5 or 6 , further comprising: realigning the frames of the portions of the first layer with respect to the respective image of the one or more second layers in consideration of a particular evaluation threshold.

Method according to one of Claims 1 to 7 , further comprising: generating new frames showing the different portions of the physical object, taking into account a particular evaluation threshold, and determining the overall image based at least in part on the new frames.

Method according to one Claim 8 wherein the frames displaying the different portions of the physical object are generated by means of a camera arrangement and the method comprises controlling offsets used by the camera assembly to produce the new frames taking into account a particular evaluation threshold.

Method according to one of Claims 1 to 9 , where the individual images are microscope images.

Method according to one of Claims 1 to 10 and further comprising determining a score of the overall image based on a comparison of the offset errors between the frames of the pairs of frames and the offset error compensation.

Method according to Claim 11 wherein the evaluation of the overall image is based on a quality function of the differences of the offset errors between the frames of the pairs of frames and the compensation of the offset errors.

Method according to one of Claims 1 to 12 wherein the compensation of the offset errors between the frames of a pair of frames is a shift of the frames relative to each other.

Method according to one of Claims 1 to 13 wherein the compensation of the offset errors between the frames of a pair of frames is a shift of the frames away from an intended offset of the frames.

An arrangement for determining an overall image from individual images of a physical object comprising: an image capture device configured to generate a plurality of individual images that show different subregions of a physical object; processing means arranged for pairs of the frames, the frames of a pair of frames showing contiguous portions of the physical object for detecting an offset error between the frames of the respective pair; determine an arrangement of the frames for forming the overall image of the physical object; and a compensation of the offset error between the frames of the Detecting pairs of frames in the arrangement of frames.