DE60011603T2

DE60011603T2 - Verfahren und vorrichtung zum darstellen von und suchen nach farbbildern

Info

Publication number: DE60011603T2
Application number: DE60011603T
Authority: DE
Inventors: Leszek Guildford CIEPLINSKI
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-04-29
Filing date: 2000-04-28
Publication date: 2005-07-14
Anticipated expiration: 2020-04-29
Also published as: US6801657B1; CN1358296A; JP5236785B2; DE60011603D1; KR100809798B1; GB2349460B; KR100860902B1; CN101042708A; EP1496473A3; KR100863631B1; EP1173827A1; JP5123998B2; EP1496473A2; GB9909961D0; CN1322457C; AU4767100A; KR20070086677A; US20060072829A1; JP2000348179A; WO2000067203A1

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Darstellen eines Farbbildes oder eines Bildbereichs, insbesondere zum Suchen. In der vorliegenden Beschreibung sind die Begriffe Bild und Bildbereich austauschbar. Mit anderen Worten kann ein Bildbereich das ganze Bild sein, und ein Bild kann ein Bildbereich sein.
Suchtechniken, die auf dem Bildinhalt beruhen, um Standbilder und Video z.B. aus Multmedia-Datenbanken abzurufen, sind bekannt. Diverse Bildmerkmale, einschließlich Farbe, Textur, Randinformation, Form und Bewegung, sind für derartige Techniken verwendet worden. Anwendungen derartiger Techniken umfassen Internet-Suchmaschinen, interaktives Fernsehen, Telemedizin und Teleshopping.
Um Bilder aus einer Bild-Datenbank abzurufen, werden Bilder oder Bildbereiche durch Deskriptoren dargestellt, einschließlich Deskriptoren; die auf Farben innerhalb des Bildes beruhen. Diverse unterschiedliche Arten von auf Farben beruhenden Deskriptoren sind bekannt, einschließlich die durchschnittliche Farbe eines Bildbereichs, statistische Momente, die auf einer Farbänderung innerhalb eines Bildbereichs beruhen, eine repräsentative Farbe, wie etwa die Farbe, welche die größte Fläche eines Bildbereichs bedeckt, und Farbhistogramme, wobei ein Histogramm für einen Bildbereich abgeleitet wird, indem die Pixelzahl in dem Bereich jeder Farbe einer Gruppe vorherbestimmter Farben gezählt wird.
Ein bekanntes, auf Inhalt beruhendes Bildabrufsystem ist QBIC ("Query By Image Content", Abfrage nach Bildinhalt) (siehe US 5 579 471 ). Bei einer der Betriebsarten dieses Systems wird jedes Bild in einer Datenbank in Blöcke unterteilt. Jeder Block wird in Untergruppen ähnlicher Farben zusammengestellt, und die größte dieser Untergruppen wird ausgewählt. Die durchschnittliche Farbe der ausgewählten Untergruppe wird als die repräsentative Farbe des jeweiligen Blocks ausgewählt. Die repräsentative Farbinformation für das Bild wird in der Datenbank gespeichert. Man kann eine Abfrage in der Datenbank vornehmen, indem man ein Abfragebild auswählt. Die repräsentative Farbinformation für das Abfragebild wird wie oben beschrieben abgeleitet. Die Abfrageinformation wird dann mit der Information für die in der Datenbank gespeicherten Bilder verglichen, indem ein Algorithmus verwendet wird, um die treffendsten Übereinstimmungen zu finden.
Die Druckschrift US 5 586 197 offenbart einen ähnlichen Lösungsansatz, verwendet aber ein flexibleres Verfahren zum Unterteilen eines Bildes in Blöcke und ein anderes Verfahren zum Vergleichen der Bilder.
Es wurden mehrere Techniken zum Darstellen von Bildern, die auf Farbhistogrammen beruhen, entwickelt, US 5 652 881 . Weitere Techniken verwenden statistische Beschreibungen der Farbverteilung in einem Bildbereich.
Alle oben beschriebenen Lösungsansätze haben große Nachteile. Einige davon, insbesondere die Farbhistogramm-Techniken, sind sehr genau, benötigen aber relativ viel Speicherplatz und Verarbeitungszeit. Andere Verfahren, wie etwa diejenigen, die eine oder zwei repräsentative Farben verwenden, sind sehr speicher- und rechnereffizient, aber nicht genau genug. Die statistischen Deskriptoren sind ein Kompromiss zwischen diesen beiden Technikarten, können jedoch unter mangelnder Flexibilität leiden, insbesondere, wenn die Pixelfarben innerhalb eines Bereichs sehr unterschiedlich sind.
Die Druckschrift Aghbari Z., Kaneko K., Makinouchi A.: "New indexing method for content-based video retrieval and clustering for MPEG video database", Digital Media Information Base; Proceedings of the International Symposium on Digital Media Information Base, November 1997 (1997-11), S. 140 bis 149, betrifft ein Verfahren zum Indexieren für das auf Inhalt beruhende Abrufen von Videobildern. Sie offenbart das Ableiten von Farbhistogrammen für Unterbereiche und das Berechnen des Durchschnitts aller Farbhistogramme desselben Unterbereichs in verschiedenen Rahmen einer Aufnahme (siehe Seite 143, ganzer letzter Paragraf), und die sich ergebenden Durchschnittshistogramme werden als abstrakte Rahmendarstellungen verwendet, um einen Farbmerkmalvektor zu erzeugen.
Die Druckschrift Androutsos D., Plataniotis K.N., Venetsanopoulos A.N.: "Vector angular distance measure for indexing and retrieval of color", Proceedings of the SPIE – International Society for Optical Engineering, Band 3656, Januar 1999 (1999-01), S. 604 bis 613, betrifft ein Verfahren zum Indexieren von Bildern anhand von Farben. Sie verwendet ebenfalls einen Lösungsansatz mit Farbhistogramm und umfasst, auf einem Farbtonhistogramm und einem Sättigungshistogramm beruhend den Auszug von c Farben. Die durchschnittliche Farbe der c Farben wird berechnet, und der sich ergebende RGB-Wert wird als repräsentativer Vektor des Bildbereichs verwendet.
Die Druckschrift Stricker M., Dimai A.: "Color Indexing with Weak Spatial Constraints", Conference Proceedings of the SPIE, Band 2670, S. 29 bis 40, 1996-02-01, ISBN 0-8194-2004-1, XP000642561, offenbart ein Verfahren zum Farbindexieren eines Bildes, wobei ein Bild in "bedeutungsvolle" Bereiche unterteilt wird, die z.B. der Mitte und vier umgebenden Bereichen entsprechen. Die Farbverteilung eines jeden Bereichs ist durch die ersten drei Momente der Verteilung gekennzeichnet.
Die vorliegende Erfindung stellt ein Verfahren zum Darstellen eines Bildes, wie in Anspruch 1 dargelegt, sowie eine entsprechende Vorrichtung, wie in Anspruch 14 dargelegt, bereit.
Eine Ausführungsform der Erfindung soll mit Bezug auf die beiliegenden Zeichnungen beschrieben werden, wobei:
1 ein Blockschaltbild eines Systems ist, das nach einer Ausführungsform der Erfindung funktioniert.
2 ein Ablaufdiagramm eines ersten Suchverfahrens ist, und
3 ein Ablaufdiagramm eines zweiten Suchverfahrens ist.
Ein System, das nach einer Ausführungsform der Erfindung funktioniert, wird in 1 gezeigt. Das System umfasst eine Steuereinheit 2, wie etwa einen Computer, um den Betrieb des Systems zu steuern, eine Anzeigeeinheit 4, wie etwa ein Monitor, die an die Steuereinheit 2 angeschlossen ist, um die Ausgaben einschließlich Bilder und Text anzuzeigen, und ein Zeigegerät 6, wie etwa eine Maus, zum Eingeben von Anweisungen in die Steuereinheit 2. Das System umfasst auch eine Bild-Datenbank 8, welche die digitalen Versionen einer Vielzahl von Bildern speichert, und eine Deskriptor-Datenbank 10, die für jedes der in der Bild-Datenbank 8 gespeicherten Bilder Deskriptor-Informationen, die nachstehend näher beschrieben werden sollen, speichert. Sowohl die Bild-Datenbank 8 als auch die Deskriptor-Datenbank 10 sind an die Steuereinheit 2 angeschlossen. Das System umfasst auch eine Suchmaschine 12, die ein Computerprogramm unter der Kontrolle der Steuereinheit 2 ist und auf die Deskriptor-Datenbank 10 einwirkt.
Die Systembestandteile werden an einem einzigen Ort, wie etwa einer Bildbibliothek, an dem die Systemkomponenten fest verbunden sind, bereitgestellt.
Die Deskriptor-Datenbank 10 speichert Deskriptoren aller Bilder, die in der Bild-Datenbank gespeichert sind. Insbesondere enthält bei dieser Ausführungsform die Deskriptor-Datenbank 10 Deskriptoren für jeden Bereich einer Vielzahl von Bereichen eines jeden Bildes. Die Deskriptoren werden wie nachstehend beschrieben abgeleitet.
Jedes Bild in der Datenbank 8 wird in eine gewisse Anzahl von sich nicht überschneidende, rechteckigen Pixelblöcken unterteilt. Für jeden Block wird dann ein Farbhistogramm abgeleitet, indem eine vorherbestimmte Farbanzahl ausgewählt wird und die Pixelanzahl in jedem Farbblock gezählt wird.
Das so erhaltene Farbhistogramm zeigt die Farbverteilung der Pixel innerhalb des Blocks. Im Allgemeinen weist der Bereich eine oder mehrere dominante Farben auf, und das Histogramm hat Spitzen, die diesen Farben entsprechen.
Die Deskriptoren für die Blöcke beruhen auf den dominanten Farben, wie sie aus dem Histogramm identifiziert wurden. Der Deskriptor für jeden Block umfasst die folgenden Bestandteile:

1) Die Anzahl der dominanten Farben, n, die Deskriptorgrad genannt wird, wobei n ≥ 1; und für jede dominante Farbe:
2) a) eine Gewichtung, welche die relative Bedeutung der jeweiligen dominanten Farbe in dem Block darstellt. Dabei ist die Gewichtung ein Verhältnis zwischen der Pixelanzahl in dem Block der betreffenden Farbe und der Gesamtpixelanzahl in dem Block. b) einen Mittelwert,
wobei x, y und z Indexfarbkomponenten, z.B. für die roten, grünen und blauen Farbkomponenten der Farbe im RGB-Farbraum sind. Dabei entspricht der Mittelwert den Farbkomponenten der jeweiligen dominanten Farbe. c) eine Kovarianzmatrix
wobei c_ij die Varianz der Farbkomponente i und c_ij die Kovarianz zwischen den Komponenten i und j darstellt. Die Kovarianzmatrix ist symmetrisch (c_ij = c_ji), so dass nur sechs Zahlen nötig sind, um sie zu speichern.

Wenn der Deskriptor wie oben besprochen gewonnen wird, wird die Farbverteilung wie n verschiedene Unterverteilungen behandelt, wobei n die Anzahl der dominanten Farben ist und jede Unterverteilung um eine jeweilige dominante Farbe als Mittelwert zentriert ist. Die Bereiche der Unterverteilungen können sich wohl überschneiden, und ein geeigneter Algorithmus wird verwendet, um den Bereich jeder Verteilung für die Berechnung der Gewichtung, des Mittelwerts und der Kovarianzmatrix zu bestimmen, wie es der Fachmann verstehen wird. Eine Möglichkeit zur Schätzung der Deskriptor-Komponenten besteht darin, an den Histogrammspitzen zentrierte Gaußsche Funktionen an das Histogramm anzupassen, indem der Unterschied zwischen den tatsächlichen Histogrammzählungen und den von der Mischung aus Gaußschen Funktionen geschätzten Werten auf ein Minimum zurückgeführt wird.
Die Deskriptor-Datenbank 10 speichert einen wie oben definierten Deskriptor für jeden Block aus jedem Bild, das in der Bild-Datenbank 8 gespeichert ist. Die Darstellung der Farbverteilung innerhalb eines jeden Blocks anhand der oben beschriebenen Deskriptor-Struktur enthält sehr viele beschreibende Informationen, benötigt jedoch weniger Speicherplatz als z.B. vollständige Histogramminformationen.
Beispielhaft kann ein Farbhistogramm für einen spezifischen Block drei Spitzen aufweisen, die drei dominanten Farben entsprechen. Die Histogrammfarbverteilung wird als drei Farbunterverteilungen analysiert und ergibt einen Deskriptor, der die Zahl Drei, welche die Anzahl dominanter Farben angibt, drei Gewichtungen, drei Durchschnittsvektoren, die den Farbvektoren für die drei Spitzen entsprechen, und drei entsprechende Kovarianzmatrizen umfasst.
Das System wird verwendet, um in der Bild-Datenbank anhand der Deskriptoren, die in der Deskriptor-Datenbank gespeichert sind, nach Bildern zu suchen. Dabei gibt es zwei Suchverfahren: eine Suche, die auf einer Einzelfarbe beruht, und eine Suche, die auf einem Bereich beruht.
Die Suche, die auf einer Einzelfarbe beruht, soll mit Bezug auf das in 2 gezeigte Ablaufdiagramm beschrieben werden.
Bei der Suche, die auf einer Einzelfarbe beruht, gibt der Benutzer eine Abrage ein, indem er eine zu suchende Farbe auswählt, indem er das Zeigegerät 6 und ein Menü, wie etwa ein Farbenrad oder eine Palette, die auf der Anzeigeeinheit 4 angezeigt werden, verwendet (Schritt 102). Die Steuereinheit 2 gewinnt dann den entsprechenden Farbvektor für die abgefragte Farbe, wobei der Farbvektor Komponenten aufweist, welche die jeweiligen Farbkomponenten für die abgefragte Farbe sind, also die roten, grünen und blauen Komponenten (Schritt 104).
Die Steuereinheit 2 verwendet dann die Suchmaschine 12, um in der Bild-Datenbank 8 nach Bildern zu suchen, welche die abgefragte Farbe umfassen. Die Suchmaschine 12 führt ein Übereinstimmungsverfahren aus, das den abgefragten Farbvektor und die Deskriptoren für die Bilderblöcke in der Deskriptor-Datenbank 10 verwendet (Schritt 106).
Das Übereinstimmungsverfahren erfolgt anhand der folgenden Formel zur Berechnung eines Übereinstimmungswerts M.
wobei q der abgefragte Farbvektor ist. Ein Übereinstimmungswert wird anhand jedes Wertes von m und C in dem Deskriptor für den Block für jede dominante Farbe in jedem Block berechnet. Somit erhält man für einen n-gradigen Deskriptor n übereinstimmende Werte.
Den Übereinstimmungswert kann man als den Wert der Wahrscheinlichkeits-Dichtefunktion ansehen, der jeder Farbunterverteilung in dem Block an dem Punkt, der von dem abgefragten Farbwert definiert wird, entspricht, wobei die Wahrscheinlichkeits-Dichtefunktion als Gaußsche Funktion modelliert wird.
Je größer ein Übereinstimmungswert M für einen bestimmten Deskriptor ist, desto näher ist der entsprechende Block daran, mit der ausgewählten Farbe übereinzustimmen.
Wenn die Übereinstimmungswerte für jeden Deskriptor in der Deskriptor-Datenbank 10 berechnet wurden, ordnet die Suchmaschine 12 die Ergebnisse nach der Größe von M, angefangen mit den größten Werten von M, wobei nur der größte Wert von M für Deskriptoren mit einem Grad von mehr als Eins in Betracht gezogen wird (Schritt 108).
Die Steuereinheit 2 übernimmt die Ergebnisse des Übereinstimmungsverfahrens aus der Suchmaschine 12 und ruft aus der Bild-Datenbank eine vorherbestimmte Anzahl K derjenigen Bilder ab, welche die treffendsten Übereinstimmungen sind, was den K höchsten Werten von M entspricht. Diese Bilder werden dann auf der Anzeigeeinheit 4 angezeigt (Schritt 110). Die Einstellung der Steuereinheit 2 bestimmt, wie viele der treffendsten Übereinstimmungen auf der Anzeigeeinheit anzuzeigen sind. Diese Anzahl kann vom Benutzer geändert werden.
Wie aus der obigen Beschreibung hervorgeht, ruft die Suche, die auf einer Einzelfarbe beruht, aus der Bild-Datenbank 8 Bilder ab, die einen Block aufweisen, der eine dominante Farbe hat, welche dieselbe oder eine der ursprünglich von dem Benutzer ausgewählten ähnliche Farbe ist.
Die auf einem Bereich beruhende Suche soll mit Bezug auf das Ablaufdiagramm in 3 beschrieben werden.
Bei der auf einem Bereich beruhenden Suche dient die Steuereinheit 2 dazu, eine vorherbestimmte Gruppe von Suchbildern, die Bilder aus der Bild-Datenbank 8 sind, auf der Anzeigeeinheit 4 anzuzeigen (Schritt 202). Die Suchbilder können vollständig durch die Einstellung der Steuereinheit bestimmt sein oder von anderen Erfordernissen, die der Benutzer eingibt, abhängen. In einem größeren System, das auf Schlüsselwörter beruhendes Suchen unterstützt, könnte der Benutzer z.B. das Wort "Laub" eingeben, woraufhin eine vorherbestimmte Gruppe von Bildern, die Laub darstellen, als Bilder für eine auf Farbe beruhende Suche gezeigt würden.
Jedes der Suchbilder wird mit einem Raster gezeigt, welches das Bild in Blöcke unterteilt, die den Blöcken entsprechen, für welche die Deskriptoren abgeleitet wurden. Der Benutzer wählt dann anhand des Zeigegeräts 6 einen Block in einem der Bilder aus, der eine entsprechende Farbverteilung zeigt (Schritt 204).
Die Steuereinheit 2 ruft dann den Deskriptor für den ausgewählten Bilderblock aus der Deskriptor-Datenbank 10 ab und verwendet ihn als Abfrage-Deskriptor (Schritt 206). Der Deskriptor ist bereits verfügbar, weil die Suchbilder aus der Bild-Datenbank 8 genommen werden. Die Suchmaschine führt dann eine Suche aus, indem sie den Abfrage-Deskriptor mit den anderen Deskriptoren vergleicht, die in der Deskriptor-Datenbank gespeichert sind, wobei sie Übereinstimmungsfunktionen verwendet (Schritt 208).
Für einen Abfrage-Deskriptor mit einem Mittelwert m_a und einer Kovarianzmatrix C_a für eine der dominanten Farben und einen anderen Deskriptor mit einem Mittelwert m_b und einer Kovarianzmatrix C_b für eine der dominanten Farben wird eine Übereinstimmungsfunktion wie folgt definiert:
wobei q ein 3D-Vektor ähnlich einem Farbvektor ist, und wobei das Integral für das Intervall von (0, 0, 0) bis (255, 255, 255) gerechnet wird, wobei 255 der Höchstwert einer Farbkomponente ist. Das Intervall des Integrals bei anderen Ausführungsformen ist von dem verwendeten Farbkoordinatensystem und der verwendeten Darstellung abhängig.
Dies entspricht der Modellierung der entsprechenden Farbunterverteilungen für die Farbblöcke als Wahrscheinlichkeits-Massenfunktionen in Form von Gaußschen Funktionen und der Bestimmung, wie weit sie sich überschneiden, oder mit anderen Worten der Bestimmung ihrer Ähnlichkeit. Je größer das Ergebnis der obigen Berechnung, desto näher sind die entsprechenden Farbverteilungen. In diesem Fall bestimmt die Funktion, wie weit sich eine Farbunterverteilung in dem abgefragten Bildblock und eine Farbunterverteilung in einem gespeicherten Bild überschneiden.
Die vollständige Übereinstimmungsfunktion zum Abgleich eines Deskriptors mit einem anderen wird wie folgt definiert:
wobei v und w Gewichtungen für Unterverteilungen sind, und die Summierung über alle Unterverteilungen in beiden Bereichen geht.
Somit wird für jede dominante Farbe, die in dem Deskriptor eines abgefragten Bildblocks beschrieben wird, ein Übereinstimmungswert für jede dominante Farbe in einem Deskriptor aus der Deskriptor-Datenbank 10 berechnet. Die sich ergebenden Übereinstimmungswerte werden gewichtet und dann summiert, um einen endgültigen Übereinstimmungswert zu ergeben, der m_f entspricht.
Vollständige Übereinstimmungswerte werden wie oben beschrieben für alle Deskriptoren in der Datenbank für den Abfrage-Deskriptor berechnet. Wie bei der auf einer Einzelfarbe beruhenden Suche werden die Ergebnisse geordnet (Schritt 210), und die K Bilder mit den höchsten Übereinstimmungswerten, welche die treffendsten Übereinstimmungen angeben, werden dem Benutzer auf der Anzeigeeinheit angezeigt (Schritt 212).
Ein weiterer Durchgang einer Suche kann erfolgen, indem ein Bildbereich in einem Bild, das bei der vorherigen Suche gefunden wurde, ausgewählt wird.
Die Übereinstimmung kann anhand anderer Ähnlichkeitsmessungen als der oben beschriebenen erfolgen. Nachstehend soll ein weiteres Beispiel gegeben werden.
Für ein Deskriptorpaar, F₁ und F₂, für zwei Bereiche wird eine Ähnlichkeitsmessung D wie folgt definiert:
und cxiyil = (cxil – cyjl)2, vxiyjl = (vxil + vyil), cxiyiu = (cxiu – cyju)2, vxiyju = (vxiu + vyiu), cxiyiv = (cxiv – cyjv)2, vxiyjv = (vxiv + vyiv),
Dabei indexieren i und j die repräsentativen Farben;
x und y indexieren die Deskriptoren;
N₁ ist die Anzahl der repräsentativen Farben in dem ersten Deskriptor;
N₂ ist die Anzahl der repräsentativen Farben in dem zweiten Deskriptor;
P_1i ist die i. Gewichtung in dem ersten Deskriptor;
P_2j ist die j. Gewichtung in dem zweiten Deskriptor;
l, u und v stellen Farbkomponenten dar, wie etwa rote, grüne und blaue Farbkomponenten in diesem spezifischen Beispiel; und
c und v sind jeweils die dominanten Farbwerte (Mittelwerte) und Farbvarianzen, so dass c_xil die 1. Komponente des i. repräsentativen Farbwerts des x. Deskriptors und v_xil die 1. Komponente der Varianz der i. repräsentativen Farbe des x. Deskriptors ist, usw
Im Gegensatz zu den zuvor beschriebenen Übereinstimmungsfunktionen ist für die Deskriptoren F₁ und F₂ je kleiner der Wert von D, desto größer die Übereinstimmung zwischen den Bereichen, die den Deskriptoren F₁ und F₂ entsprechen. Demnach werden die Werte D, die sich aus einem wie oben beschriebenen Suchverfahren ergeben, nach aufsteigender Größe geordnet, angefangen mit dem kleinsten Wert von D. Ansonsten kann das Such- und Übereinstimmungsverfahren im Wesentlichen wie oben beschrieben ausgeführt werden, mit geeigneten Änderungen, um der unterschiedlichen Ähnlichkeitsmessung Rechnung zu tragen. Es ist zu beachten, dass diese Ähnlichkeitsmessung die Varianzen und nicht die Kovarianzmatrix verwendet. Somit umfasst der Deskriptor für einen Bereich die Varianzen, benötigt jedoch nicht die Kovarianzmatrix. Demnach verringert sich der Speicherbedarf im Vergleich zu dem zuvor beschriebenen Deskriptor.
Ein System kann z.B. in einer Bildbibliothek bereitgestellt werden. Alternativ können sich die Datenbanken von der Steuereinheit des Systems entfernt befinden, wobei sie an die Steuereinheit über eine provisorische Verbindung wie etwa eine Telefonleitung oder über ein Netzwerk wie etwa Internet angeschlossen sind. Die Bild- und Deskriptor-Datenbanken können z.B. als permanenter Speicher oder auf tragbaren Datenspeichermedien, wie etwa CD-ROMs und DVDs, bereitgestellt werden.
In der obigen Beschreibung wurden die Farbdarstellungen in Form von roten, grünen und blauen Farbkomponenten beschrieben. Natürlich können andere Darstellungen verwendet werden, wie etwa eine Darstellung, die einen Farbton, Sättigung und Farbtiefe oder ein YUV-Koordinatensystem oder eine Untergruppe der Farbkomponenten in einem beliebigen Farbraum, z.B. nur Farbton und Sättigung bei HSI, verwendet.
Die oben beschriebene Ausführungsform der Erfindung verwendet Deskriptoren, die für rechteckige Bildblöcke abgeleitet wurden. Andere Bildunterbereiche könnten als Grundlage für die Deskriptoren verwendet werden. Man könnte z.B. Bereiche verschiedener Formen und Größen verwenden. Alternativ können Deskriptoren für Bildbereiche abgeleitet werden, die Objekten entsprechen, z.B. einem Auto, einem Haus oder einer Person. In jedem Fall können die Deskriptoren für das ganze Bild oder nur einen Teil davon abgeleitet werden.
Bei dem Suchverfahren kann der Benutzer statt eine einfache Farbenabfrage einzugeben oder einen Bildblock auszuwählen z.B. das Zeigegerät verwenden, um einen Bereich eines Bildes zu beschreiben, etwa indem er ihn umrandet, woraufhin die Steuereinheit einen Deskriptor für diesen Bereich ableitet und ihn verwendet, um auf ähnliche Art und Weise wie oben beschrieben zu suchen. Ebenso könnte man, statt Bilder zu verwenden, die bereits in der Bild-Datenbank gespeichert sind, um eine Suche zu starten, ein Bild in das System eingeben, z.B. anhand eines Bildscanners oder einer digitalen Kamera. Um in diesem Fall eine Suche auszuführen, leitet das System zunächst wieder Deskriptoren für das Bild oder die Bildbereiche ab, und zwar entweder automatisch oder wie vom Benutzer bestimmt.
Geeignete Aspekte der Erfindung können anhand von Hardware und Software ausgeführt werden.
Bei den obigen Ausführungsformen werden die Unterverteilungen der Komponenten für jede repräsentative Farbe anhand von Gaußschen Funktionen angenähert, und der Mittelwert und die Kovarianzen dieser Funktionen werden als Deskriptorwerte verwendet. Es können jedoch andere Funktionen oder Parameter verwendet werden, um die Verteilungen der Komponenten anzunähern, z.B. anhand von Basisfunktionen wie etwa Sinus und Kosinus, mit Deskriptoren, die auf diesen Funktionen beruhen.

Claims

Verfahren zum Darstellen eines Farbbildes, welches aufweise: Auswählen von zwei oder oder Farben als dominante Farben für ein Bild und Berechnen für jede dominante Farbe die Varianz der Farbverteilung des Bildes im Farbraum relativ zu der dominanten Farbe, und Darstellen des Bildes in Form des Farbraumwertes jeder dominanten Farbe Band des Wertes der jeweiligen Farbvarianz.
Verfahren nach Anspruch 1, aufweisend die Speicherung der Beskriptoren in Datenspeichermitteln.
Verfahren nach Anspruch 1 oder Anspruch 2, bei dem der Schritt des Auswählens dominanter Farben die Ableitung eines Farbhistogramms das das Bild aufweist.
Verfahren nach Anspruch 3, bei dem der Schritt des Auswählens dominanter Farber die Identifizierung lokaler Spitzen in dem Farbhistogramm und die Auswahl der entsprechenden Farben als dominante Farben aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, aufweisend die Auswahl eines Bereichs des Bildes, in welchem die dominanten Farben für den Bereich ausgewählt sind.
Verfahren nach Anspruch 5, bei dem der Bildbereich unabhängig von dem Bildinhalt ist.
Verfahren nach Anspruch 6, bei dem der Bildbereich ein Vieleck ist.
Verfahren nach Anspruch 3, bei dem der Bildbereich einem Objekt entspricht.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Farbwerte in Form mehrerer Farbkomponenten ausgedrückt werden, wobei das Verfahren die Berechnung der Farbvarianz für jede Farbkomponente aufweist.
Verfahren nach Anspruch 9, aufweisend die Berechnung von Farbkovarianzen für Paare von Farbkomponenten.
Verfahren nach einem der vorhergehenden Ansprüche, aufweisend die Berechnung eines Gewichts für jede dominante Farbe, das die relative Bedeutung der dominanten Farbe in dem Bildbereich anzeigt.
Verfahren nach einem der vorhergehenden Ansprüche, aufweisend die Bildung eines Deskriptors enthaltend den Farbraumwert von jeder dominanten Farbe und den jeweiligen Farbvarianzwert.
Verfahren nach Anspruch 12, bei dem der Deskriptor zusätzlich eine oder mehr Zahlen enthält, die die Anzahl von dominanten Farben, Kovarianzwerte und die relative Bedeutung der dominanten Farbe in dem Bildbereich anzeigende Gewichte anzeigen.
Vorrichtung, die geeignet ist zur Ausführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
Vorrichtung nach Anspruch 14, welche ein Computersystem ist, das so programmiert ist, dass es entsprechend einem Verfahren nach einem der Ansprüche 1 bis 13 arbeitet.