DE102005049017B4

DE102005049017B4 - Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum

Info

Publication number: DE102005049017B4
Application number: DE102005049017A
Authority: DE
Inventors: Wolf Delong
Original assignee: Carl Zeiss Imaging Solutions GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2005-10-11
Filing date: 2005-10-11
Publication date: 2010-09-23
Anticipated expiration: 2025-10-12
Also published as: EP1938270A2; US20080253654A1; WO2007042195A2; DE102005049017A1; US8189915B2; WO2007042195A3

Abstract

Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum, der als Datenraum vorliegt, mit den Schritten:
a) Manuelles Auswählen seitens des Benutzers eines einzigen Datenbereichs (22), der das zu segmentierende Objekt (23) und Bildhintergrund (24) oder Bildteile von zwei zu unterscheidenden Objekten enthält,
b) Interpretieren des ausgewählten Datenbereichs (22) derart, dass dieser mindestens zwei Klassen von zu segmentierenden Objekten enthält,
c) Bestimmen einer Trennfunktion im n-dimensionalen Merkmalsraum anhand der Bildinformation im ausgewählten Datenbereich derart, dass durch Anwendung der Trennfunktion im ausgewählten Datenbereich wenigstens zwei Klassen unterschieden werden,
d) Verallgemeinern durch Anwenden der Trennfunktion bzw. der sich durch lokale Interpolation der Trennfunktionen ergebenden Trennfunktion auf den gesamten Datenraum oder eine größere Teilmenge des Datenraums, und
e) Echtzeit-Visualisierung des durch die Verallgemeinerung erzielten Ergebnisses.

Description

Die Erfindung betrifft ein Verfahren zur Segmentierung von Objekten in einem n-dimensionalen Merkmalsraum, der als Datenraum vorliegt und ein Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften von segmentierten Objekten in einem n-dimensionalen Datenraum.
Derartige Verfahren werden beispielsweise in der Bildanalyse oder bei der Auswertung vor Radarsignalen benötigt. Die Dimension n des Datenraums kann dabei eine beliebige natürliche Zahl betragen. Ein Beispiele für einen 2-dimensionalen Datenraum ist beispielsweise die zu einem Phasenkontrastbild in der Mikroskopie gehörige Datenmenge, ein Beispiel für einen 3-dimensionalen Datenraum die zu einem Farbbild mit den Farbkanälen R-G-B gehörige Datenmengen und ein Beispiel für einen 16-dimensionalen Datenraum die zu einem Radarbild mit 16 spektralen Kanälen zugehörige Datenmenge.
Nach dem Stand der Technik kann die Erkennung von Objekten in Bildern z. B. mit Hilfe zyklischer, interaktiver Bildanalyse erfolgen. Ein derartiges Verfahren ist in der EP 1 154 369 A2 bzw. der DE 10017551 A1 beschrieben. Bei diesem Verfahren werden vom Benutzer die ihn interessierenden Bildbereiche grob markiert und ein Computerprogramm klassifiziert daraus die vollständigen Bildbereiche in ihren richtigen Grenzen. Nachteilig dabei ist, dass der Benutzer in wenigstens zwei Schritten zwei Bereiche markieren muss, z. B. das ihn interessierende Objekt und den Hintergrund oder zwei verschiedene Objekte, die aneinandergrenzen. Da zeitlich nacheinander zwei Bildbereiche ausgewählt werden müssen, ist dieses Verfahren nicht wirklich echtzeitfähig.
In der WO 2004/111934 A2 ist ein Bildanalyseverfahren beschrieben, bei dem der Benutzer im Bild ihn interessierende Bildbereiche manuell kennzeichnet. Das Bildanalyseverfahren wird dann nachfolgend nur in diesem vom Benutzer ausgewählten Bildbereich durchgeführt.
Es ist ein erstes Ziel der vorliegenden Erfindung, ein Verfahren zur Segmentierung anzugeben, mit dem Objekte in einem n-dimensionalen, als Datenraum vorliegenden Merkmalsraum segmentiert werden können, und bei dem der Benutzer nur einen einzigen Bildbereich auszuwählen braucht.
Dieses Ziel ein Verfahren zur Segmentierung anzugeben wird mit einem Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen dieses Verfahrens ergeben sich aus den Merkmalen der abhängigen Ansprüche 2 bis 4 und 8 bis 13.
Es ist ein zweites Ziel der vorliegenden Erfindung, ein Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften von segmentierten Objekten in einem n-dimensionalen Datenraum anzugeben. Dieses Ziel wird durch ein Verfahren mit den Merkmalen des Anspruchs 5 gelöst. Vorteilhafte Ausgestaltungen dieses Verfahren ergeben sich aus den Merkmalen der abhängigen Ansprüche 6 und 7.
Die beiden oben genannten Verfahren sollen vorzugsweise computerimplementiert ausführbar sein. Dafür gibt Anspruch 14 ein geeignetes Computersystem und Anspruch 15 ein geeignetes Computerprogrammprodukt an.
Das Segmentierungsverfahren gemäß Anspruch 1 enthält die folgenden Verfahrensschritte: Vom Benutzer wird in einem ersten Schritt im n-dimensionalen Merkmalsraum ein einziger Datenbereich ausgewählt, der das zu segmentierende Objekt uns Bildhintergrund oder Bildteile von zwei zu unterscheidenden Objekten enthält. Dieser ausgewählte Datenbereich wird vom System grundsätzlich so interpretiert, dass dieser mindestens zwei Klassen von zu segmentierenden Objekten enthält. In nachfolgenden Schritten bestimmt das System zunächst eine Trennfunktion im n-dimensionalen Merkmalsraum zur Unterscheidung der wenigstens zwei Klassen. Die Trennfunktion wird dabei so bestimmt, dass durch Anwendung der Trennfunktion im ausgewählten Datenbereich wenigstens zwei Klassen unterschieden werden. Nachfolgend wird diese Trennfunktion auf den gesamten Datenraum oder eine größere Teilmenge des Datenraums angewendet. Dieses Segmentierungsergebnis wird dann dem Benutzer in Echtzeit visuell dargeboten.
Beim erfindungsgemäßen Segmentierungsverfahren können die Ergebnisse in einer Echtzeit-Rückkopplungsschleife unter Verwendung der Mustererkennungsfähigkeiten des Benutzers zielgerichtet optimiert werden. Weiterhin können zusätzliche Merkmale der zu segmentierenden Objekte wie z. B. Anzahl der Objekte im Bild, relative Fläche der Objekte, minimale und maximale Größe, Formfaktoren wie Exzentrizität, fratale Dimension als Maß für die Glätte der Begrenzungslinien oder andere geeignete Eigenschaften mit vorgegeben werden. Diese Angaben können sowohl durch den Benutzer vorgegeben als auch durch geeignete Verfahren automatisch aus dem Bild extrahiert werden.
Wenn der Benutzer mit dem erzielten Segmentierungsergebnis noch nicht zufrieden sein sollte, kann er den ausgewählten Datenbereich nachfolgend verändern und erhält so in Echtzeit jeweils das vom System aufgrund der dann auch geänderten Trennfunktion geänderte Segmentierungsergebnis visuell angezeigt.
Anstelle von nur zwei Klassen kann auch eine größere Anzahl an Klassen vorgegeben werden. Die Anzahl der Klassen kann auch durch ein automatisches Verfahren bestimmt werden. Entsprechend der gewünschten Anzahl an Klassen sollte dann natürlich auch ein Datenbereich vom Benutzer ausgewählt werden, der Bildpunkte oder Datenpunkte einer entsprechenden Anzahl an Klassen enthält.
Die Bestimmung der Trennfunktion kann dadurch erfolgen dass zunächst für jede Dimension des Merkmalsraums durch ein mathematisches Verfahren ein Referenzpunkt der Merkmale (Si) bestimmt wird, nachfolgend alle Datenpunkte auf alle Kombinationen von zweidimensionalen Subräumen des n-dimensionalen Merkmalsraums projiziert werden und schließlich durch ein zweidimensionales Fehlerminimierungsverfahren ein Phasenwert und ein Amplitudenwert zu einer vorbestimmten Wellenfunktion so bestimmt werden, dass ein geeignet definierter Approximationsfehler für diese Wellenfunktion durch ein dafür geeignetes Verfahren minimiert wird. Für sinusförmige oder kosinusförmige Wellenfunktionen ist ein derartiger Approximationsfehler die Summe der quadrierten Differenzen, die durch die Methode der kleinsten Fehlerquadrate minimiert wird. Die Wellenfunktion ist dabei eine ganzzahlig-periodische, stetige Funktion.
Als Verfahren zur Bestimmung der Trennfunktion können alternativ zu dem oben beschriebenen auf Wellenfunktionen basierenden Verfahren alle Verfahren zur Bestimmung von Trennfunktionen für n-dimensionale Datensätze angewendet werden. Beispiele dafür sind Verfahren mit nicht überwachtem Lernen, z. B. Kohonenkarten, „Neural Gas”-Algorithmen, ART-Netze.
Ist beispielsweise der n-dimensionale Merkmalsraum eine Grauwertverteilung, der lokale Mittelwert der Grauwertverteilung und die lokale Varianz der Grauwertverteilung, so ist die Wellenfunktion k-zählig mit k größer als zwei, und die daraus resultierenden k Klassen können zu mindestens zwei Klassen zusammen gefasst werden. Beispielsweise kann die Wellenfunktion drei-zählig sein und die daraus resultierenden drei Klassen können zu zwei Klassen zusammengefasst werden. Insbesondere können die Klassen mit der größten lokalen Varianz der Grauwertverteilung zusammengefasst werden.
Wie bereits eingangs genannt, kann der Merkmalsraum dreidimensional sein und RGB-Bilddaten eines digitalen Farbbildes enthalten. Alternativ kann der Merkmalsraum vierdimensional sein und Bilddaten von mit vier Detektoren bei unterschiedlichen Lichtwellenlängen aufgenommenen vier Fluoreszenzkanälen enthalten.
Das Verfahren kann nacheinander an verschiedenen Stellen eines Objekts angewendet werden, indem nacheinander unterschiedliche Datenbereiche, die zu demselben Objekt gehören, ausgewählt werden. Durch Interpretation jeder dieser Datenbereiche derart, dass er mindestens zwei Klassen von zu segmentierenden Objekten enthält und darauf basierendem Bestimmen der Trennfunktion ergeben sich dann mehrere Klassen von denen nachfolgend mindesten zwei wieder vereinigt werden. Auf diese Weise lässt sich beispielsweise ein Objekt, das in zwei oder mehr verschiedene Hintergründe eingebettet ist, so segmentieren, dass auch die verschiedenen Hintergründe unterschieden werden.
Das oben genannte Verfahren, bei dem die Trennfunktion aus einer Wellenfunktion bestimmt wird, lässt sich auch auf ein Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften zuvor nach einem beliebigen Verfahren segmentierter Objekte in einem n-dimensionalen Datenraum ausnutzen. Dazu werden zunächst in einem ersten Schritt mindestens zwei Objekte als Repräsentanten für zwei verschiedene Klassen ausgewählt, nachfolgend eine Anzahl (m) geometrischer Merkmale pro Objekt durch Berechnung von Wellenfunktionen verschiedener ganzzahliger Wellenfunktionen berechnet und schließlich werden die Objekte auf Grundlage der bestimmten Anzahl an geometrischen Merkmalen oder Teilmengen davon klassifiziert. Die zuvor erforderliche Segmentierung der Objekte kann grundsätzlich mittels eines beliebigen Verfahrens erfolgen, besonders vorteilhaft jedoch nach einem Verfahren nach der vorliegenden Erfindung.
Zur Berechnung der Anzahl geometrischer Objekte können aus den Wellenfunktionen Phasenwerte und Amplitudenwerte berechnet werden, wobei die Amplitudenwerte die Gestalt der Objekte charakterisieren und die Phasenwerte die Orientierungen der Objekte charakterisieren. Die aus den Wellenfunktionen berechneten Amplitudenwerte beschreiben die Gestalt der Objekte größeninvariant, translationsinvariant und rotationsinvariant.
Ein Computersystem, das zur Ausführung eines Verfahrens nach der Erfindung geeignet ist, sollte Einrichtungen (1) zum interaktiven Eingeben und Auswählen von Bildbereichen und einen Monitor zur Echtzeit-Visualisierung der erzielten Ergebnisse aufweisen. Zusätzlich sollte natürlich auch ein Prozessor und ein Datenspeicher für ein Computerprogramm mit einem Softwarecode vorhanden sein, mittels dem das erfindungsgemäße Verfahren implementierbar ist.
Nachfolgend werden Ausführungsbeispiele der Erfindung anhand der Figuren näher erläutert.
Dabei zeigen:
1: Eine Prinzipskizze eines zur Ausführung der Erfindung geeigneten Systems aus Computer, Monitor und Eingabeeinheit;
2: ein Blockdiagramm der beim erfindungsgemäßen Segmentierungsverfahren ablaufenden Verfahrensschritte;
3: ein Blockdiagramm der beim erfindungsgemäßen Klassifikationsverfahren ablaufenden Verfahrensschritte;
4: ein Mikroskopbild mit Zellen als Ausgangspunkt zur Erläuterung des erfindungsgemäßen Verfahrens;
5: das vom System aus dem Bild in 4 erzeugte segmentierte Bild;
6 bis 8: Die Darstellungen von Projektionen in zweidimensionale Subräume eines RGB-Bilds;
9: Erläuterungen zur Erzeugung der Hanteln in den 6 bis 8 aus Wellenfunktionen;
10: eine dreidimensionale Darstellung einer aus den 6 bis 8 abgeleiteten Trennfläche im RGB-Raum;
11: Ein Phasenkontrast-Bild als Beispiel eines Texturbildes
12 und 13: Zwei aus dem Bild in 11 durch das erfindungsgemäßen Segmentierungsverfahren erzeugte Merkmalsräume, die für die Erkennung der Helligkeitsdynamik im Bild in 11 geeignet sind;
14: ein zweidimensionales Histogramm der Bilder in 12 und 13;
15: eine dreizählige Wellenfunktion;
16: das Bild aus 11 und den Merkmalsraum der Texturinformation für einen ausgewählten Zeigebereich
17: Bilder zur Erläuterung der Gestalterkennung
In der 1 ist ein System aus einem Computer (2) mit einem eingebauten Arbeitsspeicher (4) und Prozessor (3) dargestellt. In den Arbeitsspeicher (4) ist ein Programm ladbar, das den Prozessor (3) zur Ausführung des erfindungsgemäßen Verfahrens befähigt. An den Computer (2) ist ein Monitor (1) und ein Eingabemittel (5), z. B. eine Maus, angeschlossen. Mit Hilfe der Maus kann der Benutzer einen in dem vom Monitor (1) angezeigten Bild hervor gehobenen Zeigebereich relativ zum Bild bewegen.
Ein Beispiel für ein praktisches Bild ist in der 4 dargestellt. Der Zeigebereich ist hier mit dem Bezugszeichen (24) versehen. Der Zeigebereich (24) sollte relativ zum Bild so positioniert werden, dass der Zeigebereich (24) ein Teil des zu segmentierenden Objekts (23) sowie einen Teil des Bildhintergrundes (22) umfasst.
Das ablaufende Segmentierverfahren wird nachfolgend anhand der 2 am Beispiel eines Farbbildes erläutert. Ausgangspunkt ist in diesem Fall das Bild (7), das als Farbhelligkeitsinformation in den drei Grundfarben rot, grün und blau als Funktion der zwei Ortskoordinaten x, y vorliegt. In einem ersten Schritt (8) wählt der Benutzer einen Bereich in dem Bild (7) aus, der das zu segmentierende Objekt und Bildhintergrund oder Bildteile von zwei zu unterscheidenden Objekten enthalten sollte. Die Bildinformation in diesem ausgewählten Zeigereich wird vom System in einem nachfolgenden Schritt (8) so interpretiert, dass mindestens zwei Klassen von Objekten im ausgewählten Zeigebereich enthalten sind. In den nachfolgenden Schritten wird anhand der Bildinformation im Zeigebereich eine Trennfunktion bestimmt. Dazu werden in Frage kommenden Merkmale, wie z. B. Farbhelligkeitswerte in den drei Grundfarben analysiert und in einem Schritt (10) ein Referenzpunkt der verschiedenen Merkmale bestimmt. Dann werden in einem Schritt (11) alle Datenpunkte auf alle zweidimensionalen Subräume des Merkmalsraums projiziert. Aus dieser Projektion, die nachfolgend noch detaillierter beschrieben wird, resultieren in einem nachfolgenden Schritt (12) Phasenwerte und Amplitudenwerte, die die Trennfunktion als Wellenfunktion bestimmen. Diese Trennfunktion wird in einem nachfolgenden Schritt (13) auf den gesamten Datenraum – oder den zu segmentierenden Teilraum davon – angewendet und das Ergebnis der Segmentierung in einem Schritt (14) in Echtzeit angezeigt.
Wie bereits oben gesagt, zunächst zeigt der Benutzer grob auf die Grenze zwischen einem Objekt (23) und dem Hintergrund (24) oder auf die Grenze zwischen zwei unterschiedlichen, aneinandergrenzenden Objekten wie in 4 angedeutet. Wie in der eingangs genannten EP 1 154 369 A2 wählt der Benutzer hierzu einen beliebig geformten Bereich (22), z. B. einen Kreis, und positioniert diesen Zeigebereich so, dass er einen Teil des Objektes (23) und gleichzeitig einen Teil des Hintergrundes (24) überdeckt. Das Segmentierungssystem kann daher davon ausgehen, dass innerhalb des Kreises die Grenze eines Objektes verläuft. Außerdem kann es wie in der EP 1 154 369 A2 davon ausgehen, dass im Zeigebereich sowohl die Textur/Farbe des Objektes, als auch die Textur/Farbe des Hintergrundes vorliegen. Das ist also nicht nur eine Vereinfachung der notwendigen Arbeitsschritte, sondern gleichzeitig eine Erhöhung des Informationsgehaltes, nämlich die Information über unterschiedliche Texturen/Farben einerseits und die Grenze zwischen den Texturen/Farben andererseits. Die Menge der ausgewählten Pixel sollte so beschaffen sein, dass sie in zwei (oder mehr) disjunkte Teilmengen zerlegt werden kann, von denen jeweils eine genau einem von mehreren Objekten oder dem Hintergrund zugeordnet werden kann. Dieser erhöhte Informationsgehalt kann z. B. dazu ausgenutzt werden, dass die Erkennung eines Objektes online erfolgen kann, während der Benutzer den Zeigebereich über das Bild fährt. Der Zeigebereich kann z. B. über eine Maus, ein Touchpad, einen Tochscreen, einen Trackball, ein „Joystick” oder ein anderes für die Bewegung des Cursors bei Computer eingesetztes Zeigeinstrument gesteuert werden. Auf der Grundlage der Textur/Farbe im Zeigebereich wird dann eine Trennfunktion ermittelt, die nachfolgend auf das gesamte Bild angewendet wird. Das Ergebnis der Segmentierung ist in 5 dargestellt. Als Trennfunktion wird vorzugsweise eine Wellenfunktion verwendet. Das Bestimmen einer geeigneten Trennfunktion wird weiter unter noch genauer an einem Beispiel beschrieben.
Der Benutzer hat beim erfindungsgemäßen Verfahren während der Bewegung im Bild mit dem Zeigebereich die sofortige Rückmeldung des Computerprogramms (in Echtzeit), ob dieses das gesuchte Objekt auch richtig erkannt hat, oder ob an einigen Randstellen des Objektes Korrekturen notwendig sind. Damit kann z. B. der für die Klassifikation wichtige Mittelwert durch Verschieben des Zeigebereichs optimiert werden und ebenso kann die repräsentative Auswahl der relevanten Pixel-Teilmengen optimiert werden.
Bei Bildern, die starke Inhomogenitäten aufweisen, kann ggf. ein weiterer Zeigebereich ausgewählt werden, der dazu benutzt wird, die zu untersuchende Pixelmenge um weitere repräsentative Daten zu erweitern. Es ergeben sich dann N Trennebenen, aus denen für jeden Bildpunkt durch ein geeignetes Verfahren ein lokaler Klassifikator für die Segmentierung bestimmt wird. Als solche Verfahren kommen in Frage: a) die Auswahl nach dem Abstand des lokalen Punkts zu den bekannten Trennebenen bzw. dessen Schwerpunkten, b) die Interpolation zwischen den Ebenen unter Benutzung der relativen Bildkoordinaten der Beispielobjekte und des aktuellen Bildelements (Morphing), c) die Verwendung von selbstlernenden Ansätzen wie linearen oder nichtlinearen neuronalen Netzen oder d) die Anwendung aller Trennebenen und die Benutzung des maximalen Abstands. Neben diesen vier genannten Verfahren sind jedoch auch andere Verfahren möglich.
Gegenüber dem Stand der Technik hat die hier vorgelegte Erfindung den weiteren Vorteil, dass sie in beliebig hochdimensionalen Merkmalsräumen funktioniert. Ein Beispiel hier ist der dreidimensionale Farbraum mit den Farben rot, grün und blau. Ein weiteres, noch höherdimensionales Beispiel wären Radarbilder mit 16 oder mehr Spektralkanälen.
Es sei ausdrücklich darauf hingewiesen, dass das Verfahren nicht auf die Bildverarbeitung beschränkt ist. Es funktioniert in jedem höherdimensionalen Merkmalsraum, der durch lokal sich ändernde skalare Felder beschrieben ist.
Der so konstruierte Klassifikator für die Trennbereiche ist per constructionem invariant gegen Translation, Rotation und Streckung. Bei geeigneter Weiterverarbeitung gilt dies auch für die später noch näher beschriebene Gestalterkennung. Solche Invarianzeigenschaften sind nach den üblichen Verfahren nur durch aufwendige mathematische Behandlungen wie z. B. lokale Fourieranalysen oder Gabor-Wavelets zu erzielen, wodurch der gravierende Vorteil der Echtzeitfähigkeit verloren geht.
Segmentierung mittels zirkulärer Wellenfunktionen:
Dem Bild werden die Farbwerte einer gewissen Umgebung, für die ein Unterschied berechnet werden soll, entnommen. Beim Beispiel des Farbbildes sind dieses die 3 Farbkanäle mit den Indizes 1, 2, 3. Es gibt in diesem Beispiel also 3 Dimensionen und zu jeder Dimension eine Anzahl an Messwerten, die der Anzahl der Bildpixel im Zeigebereich entspricht. Die Merkmale Snm aufgeteilt nach Messwerte und Dimension bilden im allgemeinen Fall eine n·m Matrix

Dimensionen 1 ... n

Messwerte 1 ... m

S11 S21 ... Sn1

S12 S22 ... Sn2

... ... Sik ...

S1m S2m ... Snm
1. Rechenschritt:
Zunächst werden die Mittelwerte der Merkmale in den einzelnen Dimensionen berechnet:
Diese Mittelwerte bilden Referenzpunkte im Merkmalsraum. Anstatt durch Mittelwertbildung können die Referenzpunkte aber auch anderweitig bestimmt werden.
2. Rechenschritt:
In einem nachfolgenden zweiten Schritt werden für alle Zweier-Beziehungen ij mit j > i zwischen den Dimensionen aus den Merkmalen Sij die Koeffizienten einer Phasen- und einer Amplitudenmatrix berechnet. Im Beispiel von drei Farben sind das die Phasen-Koeffizienten φ₁₂, φ₁₃ und φ₂₃, sowie die Amplituden-Koeffizienten amp₁₂, amp₁₃ und amp₂₃ für die Beziehungen rot-grün, rot-blau und grün-blau
In den vorstehenden Gleichungen sind dabei m_i und m_j die im ersten Rechenschritt berechneten Mittelwerte in den einzelnen Dimensionen.
Eine Alternative ist, die Gewichtung von re_ij und im_ij durch die Amplituden amp wegzulassen. Die Wahl des Verfahrens ergibt sich durch die vorgegebenen Randbedingungen, vor allem die Art des Bildaufnahmeverfahrens (Phasenkontrast, mehrkanalige Fluoreszenz, etc.). Anschaulich werden die 3-dimensionalen Farbwerte jeweils in die Ebenen rot-grün, rot-blau und grün-blau projiziert. Diese ist in den 6 bis 8 dargestellt. In diesen Ebenen wird jeweils ein Cosinus (2 φ) in Polarkoordinaten nach dem kleinsten Fehlerquadrat gefittet Diese hantelförmigen Gebilde (26, 29) teilen die Farbwerte in zwei Klassen, die schwarzen Messwerte (28) und die weißen Messwert (25). Dabei ist das Zentrum (27, 30) der Hanteln (26, 29) jeweils der Mittelwert aus dem ersten Rechenschritt.
Wie in 9 dargestellt, ergeben sich die Hanteln, indem man 2 Sinusschwingungen statt in Kartesischen Koordinaten über einem Kreis mit Radius r abbildet. Die Hanteln ergeben sich in dieser Form, falls r gleich der Amplitude amp der Sinusschwingung gewählt wird. Die Drehung der Hantel relativ zu den Achsen ergibt sich aus den jeweils zugehörigen Phasenwerten. Der Hantelwert d vom Drehzentrum der Polarkoordinaten aus ist dann: d(α) = r + amp·cos(2α – φ)
3. Rechenschritt:
In einem 3. Rechenschritt wird jetzt eine Trennfläche (31) im 3-dimensionalen Farbraum berechnet. Diese Trennfläche zeigt 10 in 3D-Darstellung. Die Trennfläche ist dadurch bestimmt, dass der Mittelwert aus Rechenschritt 1 auf dieser Ebene liegt. Mit den folgenden Operationen wird noch der Normalenvektor der Trennfläche bestimmt.
Die Komponenten der Trennfläche ergeben sich aus den Maxima der Amplituden in der Amplitudenmatrix. Hierbei wird von der Ebene (zweidimensionaler Subraum des Merkmalsraums ) mit dem größten Amplitudenmaximum gestartet und nachfolgen die Ebenenkoeffizienten für die einzelnen Ebenen in der Reihenfolge mit absteigendem Amplitudenmaximum berechnet. Wenn die größte Amplitude in der Grün-blau-Ebene vorliegt, ergeben sich die Flächenkomponenten c2 und c3 zu: c2 = αmp·cos(φ) c3 = αmp·sin(φ)
Liegt die nächst größere Amplitude in der Rot-grün-Ebene, so ergibt sich die letzte fehlende Flächenkomponente c1 zu: c1 = amp·cos(φ)
Bei höherdimensionalen Daten sind dann entsprechend weitere Ebenenkoeffizienten in absteigender Reihenfolge der Amplitudenwerte zu berechnen.
4. Rechenschritt:
Das Ergebnis der Rechenschritte 1 bis 3 sind 2 Vektoren, nämlich der Vektor mean vom Koordinatenursprung zum Mittelwert auf der Trennfläche und der Vektor plane senkrecht auf der Trennfläche. Damit lässt sich für jeden Bildpunkt an Hand dessen Farbwert Sk entscheiden, auf welcher Seite der Trennfläche er liegt, bzw. zu welchem zu segmentierenden Objekt er gehört. Dazu wird zunächst eine Schwelle berechnet, die durch das Skalarprodukt der beiden Vektoren mean und plane gegeben ist. Schwelle = Skalarprodukt (mean,plane)
Damit ergibt sich dann:
Der Farbwert liegt vor der Trennfläche, falls das Skalarprodukt(Sk,plane) kleiner als die Schwelle ist und der Farbwert liegt hinter der Trennfläche, falls das Skalarprodukt(Sk,plane) größer oder gleich der Schwelle ist.
Im Sonderfall von Graubildern (= eindimensionaler Merkmalsraum) können die Rechenschritte 2 und 3 entfallen. Die Schwelle aus Rechenschritt 4 ist dann gleich dem Mittelwert aus Rechenschritt 1, da die Ebene aus Rechenschritt 3 dabei zu einem Punkt schrumpft. In einem zweidimensionalen Merkmalsraum schrumpft die Ebene aus Rechenschritt 3 zu einer Geraden.
Das obige Verfahren entspricht im Ergebnis dem Ergebnis des bekannten Verfahrens zur Segmentierung von Grauwertbildern durch Bestimmung einer optimierten Schwelle (Berechnung des Mittelwerts, Aufteilung der Pixelmenge in zwei Teilmenge mit dem Mittelwert als Schwelle, Berechnen der Mittelwerte der beiden Teilmengen; diese Mittelwerte entsprechen den Schwerpunkten im angegebenen Verfahren).
Textursegmentierung:
Mit den obigen Rechenschritten 1 bis 4 lassen sich Objekte segmentieren, die durch ihre Farbe oder Grauwert vom Hintergrund unterscheidbar sind. Nun gibt es aber Bilder, bei denen sich die Objekte nicht durch ihre Farbe oder Grauwert, sondern durch ihre Helligkeitsverteilung vom Hintergrund unterscheiden lassen. Ein Beispiel dafür ist das Bild von Krebszellen, wie in 11 dargestellt. Im normalen Licht sind diese Krebszellen weitgehend durchsichtig. Durch polarisiertes Licht werden die Zellen im sog. Phasenkontrast sichtbar. Die Objekte unterscheiden sich dabei durch ihre Helligkeitsdynamik und nicht durch einen Helligkeitsbereich vom homogenen Hintergrund.
Mit Hilfe der obigen Rechenschritte 1 bis 3 wird zunächst ein für diese Aufgabe angepasster Merkmalsraum erzeugt. Das Bild wird vor der Bearbeitung transformiert, sodass dann unter Verwendung von drei Klassen wieder die Echtzeit-Fähigkeit entsteht. Dazu wird ein Zeigebereich der Größe von z. B. 3 mal 3 Bildpunkten oder größer automatisch für jeden Bildpunkt i,j des zu bearbeitenden Bildes angewendet. Anstatt nun wie in Rechenschritt 4 das Objekt im Bild zu rekonstruieren, wird für jeden Bildpunkt des Zeigebereiches sein Abstand von der Trennfläche berechnet. Alle diese Abstände werden entsprechend dem Ort des Zeigebereiches stellenrichtig aufaddiert. Es sei:

mean_i,j: Mittelwert des Zeigebereiches an der Stelle i,j
plane_i,j: Ebenenvektor des Zeigebereiches an der Stelle i,j
thresh_i,j: = Slalarprodukt(mean_i,j, plane_i,j)

Dann ist:
Das Ergebnis Dist i,j ist in 12 dargestellt.
Zusätzlich werden die Längen des Ebenenvektors plane ebenfalls stellenrichtig aufaddiert.
Es sei
Dann ist:
Das Ergebnis Plen i,j ist in 13 dargestellt
Die 12 und 13 stellen nun einen zweidimensionalen Merkmalsraum dar, der für die Erkennung der Helligkeitsdynamik geeignet ist. Zunächst muss der Merkmalsraum noch normiert werden, damit beide Dimensionen des Merkmalsraums den gleichen Zahlenbereich umfassen, z. B. den Zahlenbereich zwischen 0 und 1. Als besonders günstig hat sich dabei die Sigmoidfunktion y = 1/(1 + exp(–g(x – x0))herausgestellt.
Es sei m die Anzahl aller Bildpunkte, dann ist
und die Normierung über die Sigmoidfunktion erfolgt dadurch, dass für x die Zahlenwerte von Dist bzw. Plen und für x₀ meand bzw. meanp eingesetzt werden.
Als zweidimensionaler Merkmalsraum lässt er sich als zweidimensionales Histogramm abbilden, das in 14 dargestellt ist. Die Bildpunkte bilden im Merkmalsraum ein Dreieck, wobei die Bildpunkte an der Spitze oben die Bildpunkte des Hintergrundes sind, rechts unten die hellen Bildpunkte innerhalb der Objekte und links unten die dunklen Bildpunkte der Zellen liegen. Eine solche Dreiecksform lässt sich mit einer Wellenfunktion der Periode 3 erkennen. Hierzu wird nach exakt demselben Schema wie im obigen Rechenschritt 2 ein Cosinus (3φ) gefittet. Eine derartige Wellenfunktion der Periode 3 ist in 15 links in kartesischen Koordinaten und in 15 rechts in Polarkoordinaten dargestellt. Der rechte Bildteil in 16 zeigt die Merkmalswerte Dist und Plen für den Zeigebereich 31 im linken Bildteil der 16. Im Bild gehören dann die Bildpunkte im Phasenbereich der oberen Schwingung zum Hintergrund und die Bildpunkte im Phasenbereich der beiden unteren Schwingungen zum Objekt. Die Amplitude der Schwingung ist ein Maß für die Güte der Erkennung.
Nach dem Stand der Technik ist eine mögliche Alternative die Verwendung eines Kohonen Neuronalen Netzwerks mit 3 Klassen wie in T. Kohonen, Self-Organizing Maps, Springer Verlag, ISBN 3-540-62017-6 beschrieben. Hintergrund ist dann die Klasse mit der kleinsten Klassenvarianz und das Objekt sind die beiden anderen Klassen. Nachteilig dabei ist aber, dass keine Gute der Klassifikation erkennbar wird.
Gestalterkennung:
Das Verfahren, Wellenfunktionen zu verwenden, lässt sich auch zur Gestalterkennung bzw. zur Klassifizierung von Objekten ausnutzen. Das entsprechende Verfahren ist in 3 dargestellt. Bei diesem Verfahren ist der Startpunkt (15) das bereits segmentierte Bild. Bei diesem Verfahren werden in einem nachfolgenden Schritt (16) vom Benutzer mindestens zwei zu unterscheidende Objekte ausgewählt. In einem nachfolgenden Schritt (17) werden eine Anzahl geometrischer Merkmale durch Berechnung von Wellenfunktionen berechnet. Aus den Wellenfunktionen werden in einem nachfolgenden Schritt (18) wieder Phasenwerte und Amplitudenwerte berechnet und die Objekte werden nachfolgend in einem Schritt (19) auf Grundlage der geometrischen Merkmale klassifiziert. Das Klassifizierungsergebnis wird in einem Schritt 20 in Echtzeit visualisiert.
Dieses Klassifikationsverfahren lässt sich beispielsweise zur Gestalterkennung nutzen. Im Beispiel von 17 sind oben über Textursegmentierung Würmer in einer Phasenkontrastaufnahmen erkannt. Diese Würmer existieren in zwei Formen, gestreckt (lebendig) (siehe linker Bildteil) und eingerollt (tot) (siehe rechter Bildteil). Der für die Wellenfunktionen notwendige Zeigebereich ist dazu das Objekt selbst und der Merkmalsraum sind unmittelbar die Bildpunktkoordinaten der Objekte. Im Beispiel von 17 werden die Wellenfunktionen 2 (Fit eines Cosinus(2φ)) bis 7 (Fit eines Cosinus(7φ)) berechnet. Daraus werden die Gestalt Koeffizienten (aus den Phasenwerten und den Amplitudenwerten der Wellenfunktionen) berechnet:
Die Darstellung erfolgt nachfolgend in Programmform. Die Vorgehensweise ist völlig identisch zum obigen Rechenschritt 2.
Sei xc, yc der Schwerpunkt des Objektes. Die Berechnung erfolgt nach Rechenschritt 1 als Mittelwert in den einzelnen Dimensionen x und y.
Rechenschritt 2 als Programm:
Für jedes Pixel x,y des Objektes
In 17 sind unten die Gestalt Koeffizienten (Zahlenwerte zwischen 0 und 1) als Blockdiagramm dargestellt. Dieses Blockdiagramm repräsentiert seinerseits einen sechsdimensionalen Merkmalsraum (Gestaltraum). Für die Unterscheidung der beiden Wurmformen lässt sich nun obiges Segmentierungsverfahren wiederum verwenden, indem mittels Wellenfunktionen die Trennfläche zwischen den Wurmformen in diesem sechsdimensionalen Gestaltraum berechnet wird. Die eine Wurmform liegt dann auf der einen Seite der Trennfläche und die andere Wurmform auf der anderen Seite der Trennfläche.
Die obige Klassifikation ist invariant gegenüber Translation, Rotation, Spiegelung, Vergrößerung und Verkleinerung ohne eine vorhergehende aufwendige Transformation des Bildraums in einen invarianten Eigenschaftsraum.

Claims

Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum, der als Datenraum vorliegt, mit den Schritten: a) Manuelles Auswählen seitens des Benutzers eines einzigen Datenbereichs (22), der das zu segmentierende Objekt (23) und Bildhintergrund (24) oder Bildteile von zwei zu unterscheidenden Objekten enthält, b) Interpretieren des ausgewählten Datenbereichs (22) derart, dass dieser mindestens zwei Klassen von zu segmentierenden Objekten enthält, c) Bestimmen einer Trennfunktion im n-dimensionalen Merkmalsraum anhand der Bildinformation im ausgewählten Datenbereich derart, dass durch Anwendung der Trennfunktion im ausgewählten Datenbereich wenigstens zwei Klassen unterschieden werden, d) Verallgemeinern durch Anwenden der Trennfunktion bzw. der sich durch lokale Interpolation der Trennfunktionen ergebenden Trennfunktion auf den gesamten Datenraum oder eine größere Teilmenge des Datenraums, und e) Echtzeit-Visualisierung des durch die Verallgemeinerung erzielten Ergebnisses.
Verfahren nach Anspruch 1, wobei die Trennfunktion dadurch bestimmt wird, dass f) für jede Dimension des Merkmalsraums durch ein mathematisches Verfahren ein Referenzpunkt der Merkmale (Si) bestimmt wird, g) alle Datenpunkte auf alle Kombinationen von zweidimensionalen Subräumen des n-dimensionalen Merkmalsraums projiziert werden und h) durch ein zweidimensionales Fehlerminimierungsverfahren ein Phasenwert und ein Amplitudenwert zu einer vorbestimmten Wellenfunktion so bestimmt werden, dass der Approximationsfehler in jedem der Subräume minimal wird.
Verfahren nach Anspruch 2, wobei die Wellenfunktion eine ganzzahlig-periodische, stetige Funktion ist.
Verfahren nach einem der Ansprüche 1–3, mit folgenden zusätzlichen zwischen den Schritten c) und d) zwischengeschalteten Schritten: c1) Durchführung der Schritte a) bis c) in einer interaktiven Rückkopplungsschleife bis die lokale Trennfunktion anwendungsbezogen optimiert ist, und c2) Wiederholung der Schritte a) bis c1) für andere Objekte im Bild und Sammeln und abspeichern der sich ergebenden Trennfunktionen.
Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum mit den Schritten: a) Manuelles Auswählen seitens des Benutzers von mindestens zwei Objekten als Repräsentanten für zwei verschiedene Klassen, b) Bestimmen von einer Anzahl (m) geometrischer Merkmale pro Objekt durch Berechnung von Wellenfunktionen verschiedener ganzzahliger Wellenfunktionen und, c) Klassifizieren der Objekte auf Grundlage der bestimmten Anzahl an geometrischen Merkmalen oder Teilmengen davon.
Verfahren nach Anspruch 5, wobei aus den Wellenfunktionen Phasenwerte und Amplitudenwerte berechnet werden und wobei die Amplitudenwerte die Gestalt der Objekte charakterisieren und die Phasenwerte die Orientierungen der Objekte charakterisieren.
Verfahren nach Anspruch 5 oder 6, wobei aus den Wellenfunktionen Amplitudenwerte berechnet werden, die die Gestalt der Objekte größeninvariant, translationsinvariant und rotationsinvariant beschreiben.
Verfahren nach Anspruch 2, 3 oder 4, wobei der n-dimensionale Merkmalsraum eine Grauwertverteilung, der lokale Mittelwert der Grauwertverteilung und die lokale Varianz der Grauwertverteilung ist, die Wellenfunktion k-zählig ist mit k größer als zwei, und die daraus resultierenden k Klassen zu mindestens zwei Klassen zusammen gefasst werden.
Verfahren nach Anspruch 8, wobei die Wellenfunktion drei-zählig ist und die daraus resultierenden drei Klassen zu zwei Klassen zusammen gefasst werden.
Verfahren nach Anspruch 8 oder 9, wobei die Klassen mit der größten lokalen Varianz der Grauwertverteilung zusammen gefasst werden.
Verfahren nach einem der Ansprüche 1–4, wobei der Merkmalsraum dreidimensional ist und RGB-Bilddaten eines digitalen Farbbildes enthält.
Verfahren nach einem der Ansprüche 1–4, wobei der Merkmalsraum vierdimensional ist und Bilddaten von mit vier Detektoren bei unterschiedlichen Lichtwellenlängen aufgenommener vier Fluoreszenzkanäle enthält.
Verfahren nach Anspruch 1, wobei das Objekt an mehr als einer Stelle ausgewählt wird, das Verfahren nach den Schritten b) und c) für jeden der ausgewählten Objektbereiche durchgeführt wird und mindestens zwei der sich ergebenden Klassen nachfolgend vereinigt werden.
Computersystem, das zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 13 geeignet ist und Einrichtungen (1) zum interaktiven Eingeben und Auswählen von Bildbereichen und einen Monitor zur Echtzeit-Visualisierung der erzielten Ergebnisse aufweist.
Computerprogrammprodukt, das in den Speicher eines digitalen Computers ladbar ist und einen Softwarecode zur Durchführung eines Verfahrens mit den Schritten nach einem der Ansprüche 1 bis 13 aufweist, wenn das Programm auf dem Computer abläuft.