DE69231023T2

DE69231023T2 - Bildverarbeitungssystem und Verfahren zur automatischen Objektauswahl

Info

Publication number: DE69231023T2
Application number: DE69231023T
Authority: DE
Inventors: Michael R Campanelli; Zhigang Fan; Dennis L Venable
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1991-10-07
Filing date: 1992-09-04
Publication date: 2000-11-02
Anticipated expiration: 2012-09-05
Also published as: EP0536894A2; JPH07210651A; EP0536894B1; EP0536894A3; DE69231023D1; CA2077324C; JP3185900B2; US5526020A; CA2077324A1

Description

Die vorliegenden Erfindung betrifft Bildverarbeitungssysteme und Verfahren und insbesondere die Auswahl von Objekten in einem Bild zur Editierung oder anderen Verarbeitung.
Verschiedene Arten Bildverarbeitungssysteme verwenden eine Objektauswahl bei Operationen zur Bildeditierung oder anderer Bildverarbeitungen. Ein solches System ist ein Vervielfältigungssystem, bei dem ein gespeichertes, elektronisches Bild editiert und auf eine Platte angewendet werden kann, um die Ausgabe einer Hardkopie zu erzeugen. Ein anderes System ist ein reprographisches System, in dem ein digitales Bild von einer Hardkopieeingabe abgetastet und dann durch einen Bildeditor verarbeitet wird, um eine editierte Hardkopieausgabe von einem Laserdrucker oder Ähnlichem zu erzeugen. In einem Bildeditiersystem verarbeitet ein Bildeditor gespeicherte Bilder entsprechend den Editierungsoperationen und speichert die editierten Bilder elektronisch zur Verwendung in anderen Systemen.
Eine Objektauswahl wird üblicherweise vorgenommen, indem ein Mechanismus ausgewählt wird, der physikalisch eine Grenze um das ausgewählte Objekt herum auf dem Anzeigeschirm zeichnet. Der Auswählmechanismus umfaßt Freihandzeichnen, Quadrate, Rechtecke, Kreise, Polygone und andere geometrische Formen. Einige Methoden verwenden die physikalische Zeichenmethode zusammen mit intelligenten Algorithmen, die den Bildinhalt des begrenzten Objekts analysieren.
Es ist erwünscht, daß die Produktivität des Bildeditierungsvorgangs durch eine erhöhte Automatisierung des Objektauswählverfahrens verbessert wird. Die obengenannte Verwendung von Algorithmen beim Stand der Technik stellt Versuche dar, eine erhöhte Produktivität durch eine Computerteilnahme bei der Objektauswahl zu erreichen.
Jedoch unterscheiden sich Rasterbilder in vielfältiger Weise, und diese Unterschiede haben es schwierig gemacht, eine Qualitätsbildeditierung mit erhöhter Produktivität bei der Objektauswahl zu erzielen. Kriterien, die gut bei der Auswahl eines Objekts in einem Bild arbeiten, mögen in einem anderen Bild nicht gut arbeiten. Tatsächlich mag ein Kriterium, das in einem Bereich eines Bildes gut arbeitet, in einem anderen Bereich desselben Bildes nicht gut arbeiten. Unterschiede bei der Bilddarstellung, wie Schwarz/Weiß oder Grauskala oder farbig, stellen zusätzliche Schwierigkeiten für die Automatisierung der Objektauswahl dar. Somit gibt es keinen bekannten Weg, einen Objektauswählalgorithmus zu gestalten, der bei allen unterschiedlichen Typen und Klassen von Bildern gut arbeitet.
Die folgenden früheren Patente werden angegeben:
1. US Patent Nr. 4,905,148, "Three-Dimensional Surface Representation Using Connectivity Method Without Leaks", vom 27. Februar 1990, von Carl R. Crawford eingereicht.
2. US Patent Nr. 4,958,375, "Parallel, Multi-Unit, Adaptive Pattern Classification System Using Inter-Unit Correlations and An Intra-Unit Class Separator Methodology", vom 18. September 1990, von Douglas L. Reilly u. a. eingereicht.
3. US Patent Nr. 5,003,616, "Image Processing Apparatus", vom 26. März 1991, von Miyohiko Orita u. a. eingereicht.
4. US Patent Nr. 5,014,327, "Parallel Associative Memory Having Improve Selection and Decision Mechanisms for Recognizing and Sorting Relevant Patterns", vom 7. Mai 1991 von Terry W. Potter u. a. eingereicht.
Es ist eine Zielsetzung der vorliegenden Erfindung, eine verbesserte, automatische Objektauswahl zu schaffen, die ermöglicht, Nachteile beim Stand der Technik zu überwinden.
Entsprechend sind ein Bildverarbeitungssystem und ein Verfahren, wie sie in den Ansprüchen 1 bzw. 11 angegeben sind.
In einem Bildeditor gemäß der Erfindung kann die Suchkriterien-Bestimmungseinrichtung eine Einrichtung zur Bestimmung von einer oder mehreren Farbdatenvariablen aus den gespeicherten Pixelfarbdaten für Pixel entlang des Bildschirmweges umfassen; und eine Einrichtung zur Bestimmung der Kriterien für den Suchkontroller zumindest als Funktion der bestimmten Farbdatenvariablen.
Die Speichereinrichtung kann eine Farbnachschlage-Registergruppe umfassen, in der entsprechende Register entsprechende Farbgruppen enthalten, wobei jeder Farbwert durch eine Gruppe von Werten für vorausgewählte Grundfarbkomponenten definiert ist; einen Pixelpuffer, in dem die Farbe von jedem Bildpixel als ein Nachschlageregisterwert gespeichert ist; und wobei die Farbeditier-Anwendungseinrichtung umfaßt: eine Einrichtung zur Ausführung von Farbeditiervorgängen, indem gespeicherte Farbwerte für Nachschlageregister abgeändert werden, die ursprüngliche Farben enthalten, die durch den Editiervorgang geändert sind, und eine Einrichtung zur Auswahl von Bildpufferpixeln, die dem erkannten Objekt entsprechen, zur Anwendung auf Editiervorgänge.
Bei einer Ausführungsform der Erfindung sind die gespeicherten Pixelfarbdaten Werte für vorausgewählte Grundfarben; die Suchkriterien-Bestimmungseinrichtung umfaßt eine Einrichtung, um in entsprechenden mehreren Datenkanälen Werte für vorausgewählte mehrere Farbdeskriptorvariable aus den erfaßten Grundfarbdatenwerten zu bestimmen; und die verfügbaren Suchkriterien, von denen das eine oder mehrere ausgewählte Suchkriterien bestimmt werden, umfassen entsprechende Kriterien auf der Grundlage der entsprechenden veränderbaren Kanäle des Farbdeskriptors. Die Farbdeskriptorvariablen können Farbton, Sättigung und Luminanz sein. Die verfügbaren Suchkriterien können eine Verwendungsspezifizierung umfassen, und, wenn eingegeben, wird eine Benutzerspezifizierung als das Suchkriterium ausgewählt. Beispielsweise können die verfügbaren Suchkriterien nur eine synthetische oder durchgehende Farbe und die Luminanz umfassen, und das ausgewählte Kriterium kann die synthetische oder durchgehende Farbluminanz sein, wenn es so durch die Farbdaten für die erfaßten Pixel ange geben ist. Das ausgewählte Suchkriterium kann einer der Farbdeskriptor-Datenkanäle sein, wenn dieser eine Kanal der einzige Farbdeskriptorkanal ist, der Datenwerte für die erfaßten Pixel aufweist.
In einem Bildeditor entsprechend der Erfindung kann die Suchkriterium-Bestimmungseinrichtung umfassen: eine Einrichtung zur statistischen Analyse der gespeicherten Pixelfarbdaten gemäß den vorbestimmten statistischen Grundsätzen, um als Suchkriterien einen Abschnitt oder Abschnitte der gespeicherten Farbpixeldaten auszuwählen, die am wahrscheinlichsten eine wirksame, automatische Erkennung des Objekts liefern. Die statistische Analysiereinrichtung erzeugt ein Histogramm, das funktional die Häufigkeit der Farbdaten zu Farbdatenwerten in Beziehung setzt; und jeder ausgewählte Farbdatenabschnitt ist ein Knoten des Histogramms. Die Bildsucheinrichtung führt eine Bilddatensuche entsprechend jedem Knoten aus und summiert die Ergebnisse. Bei einer Ausführungsform der Erfindung sind die gespeicherten Pixelfarbdaten Werte für vorausgewählte Grundfarben; und jeder statistisch ausgewählte Farbdatenabschnitt ist ein Abschnitt der Farbdaten in einem der Kanäle der Farbdeskriptorvariablen. Die Farbdeskriptorvariablen können Farbton, Sättigung und Luminanz sein. Bei dieser Ausführungsform erzeugt die statistische Analysiereinrichtung ein Histogramm, das funktional die Häufigkeit der Farbdaten mit den Farbdatenwerten in Beziehung setzt; und das Histogramm umfaßt ein Komponentenhistogramm für jeden Kanal der Farbdeskriptorvariablen. Diese Suchkriterien-Bestimmungseinrichtung umfaßt eine Einrichtung, um Farbdeskriptorkanäle nach der Größe der Standardabweichung zu sortieren und als unbrauchbar jene Kanäle auszuschließen, die eine Standardabweichung unterhalb eines vorausgewählten Schwellenwerts haben; und die Suchkriterien-Bestimmungseinrichtung wählt zur Verwendung als Suchkriterium jene Kanäle aus, die eine Standardabweichung oberhalb des Schwellenwerts haben. Das ausgewählte Suchkriterium ist der Farbton, wenn kein anderer Kanal verwendbar ist.
Bei einer Form eines Bildeditors ist gemäß der Erfindung eine Einrichtung vorgesehen, um eine Fensterstruktur auf dem Bildschirm zu verwalten, wobei die Fensterstruktur ein Fenster für das Bild und ein Menüfenster für vorbestimmte Auswähleinrichtungen umfaßt, die auf das Bild anwendbar sind; die Auswähleinrichtungen umfassen eine auto matische Objektauswähleinrichtung; und die Bestimmungseinrichtung wird verwendet, die automatische Objektauswähleinrichtung auszuwählen, wenn erwünscht ist, Editiervorgänge nur auf ein Objekt innerhalb des Bilds anzuwenden. Die Schirmbezeichnungseinrichtung kann eine Maus sein.
In einem Bildeditor entsprechend der Erfindung können Farbpixeldaten für ein Pixelband vorbestimmter Pixelweite entlang des Wegs gesammelt werden.
Nur in beispielhafter Weise wird eine Ausführungsform der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen:
Fig. 1 ein Blockdiagramm eines verallgemeinerten Blldverarbeitungssystems zeigt, in dem ein Bildeditor entsprechend der vorliegenden Erfindung verwendet wird;
Fig. 2 ein Blockdiagramm für ein reprographisches System zeigt, das eine bestimmte Form des Bildverarbeitungssystems der Fig. 1 ist;
Fig. 3 ein anderes Blockdiagramm eines Netzes auf der Grundlage eines Bildverarbeitungssystems zeigt, das die vorliegende Erfindung verkörpert;
Fig. 4 ein ausführlicheres Blockdiagramm für eine Computerarbeitsstation zeigt, das in dem System auf Netzgrundlage der Fig. 3 verwendet wird;
Fig. 5A und 5B Editiersteuer- und Auswählmenüs zeigen, die auf dem Bildschirm des Anzeigegeräts der Arbeitsstation verwendet werden;
Fig. 6A und 6B ein Ablaufdiagramm zeigen, das in der Arbeitsstation der Fig. 4 verwendet wird, um eine automatische Objektauswahl bereitzustellen; und
Fig. 7 eine Kurvendarstellung eines beispielhaften Histogramms für Farbdaten zeigt, die gesammelt wurden, um eine Grundlage zur Entwicklung von Objektsuchkriterien zu schaffen.
In Fig. 1 ist ein allgemeines Bildverarbeitungssystem 10 gezeigt, das für verschiedene Arten von Systemen repräsentativ ist, in denen die vorliegende Erfindung verwendet werden kann. Bildverarbeitungssysteme können für verschiedene Zwecke verwendet werden, einschließlich der Erzeugung von Bildern in computerisierten Verfahren zur Herstellung von Zeitungen, Illustrierten, Katalogen, Broschüren oder anderen Druckschriften. Eine hohe Bildqualität wird normalerweise verlangt, um künstlerische Anzeigengestaltung und andere graphische Anforderungen in diesen Verfahren zu erfüllen.
Das System 10 umfaßt eine Bilddatenquelle 12, die Bilddaten für einen Bildprozessor 14 liefert, der einen Bildeditor aufweist. Die verarbeiteten Bilddaten werden auf eine Ausgangseinrichtung 16 angewendet, wie ein Bildmonitor, einen Laser oder einen anderen Drucker oder eine Vervielfältigungsmaschinenauflageplatte.
Die Bilddaten können für Farbanzeigen hoher Qualität und hoher Dichte eingerichtet werden. Beispielsweise werden bei der bevorzugten Anordnung die kombinierten Grundfarben, d. h., Rot, Grün und Blau, von jedem Bildelement oder Pixel als Werte von insgesamt vierundzwanzig Bit gespeichert. Jede Grundfarbe kann 28 oder 256 Werte von 0 bis 255 annehmen. Entsprechend ist die Gesamtzahl möglicher Farben für jedes Pixel in einem Farbbild 2563 oder größer als 16 Millionen. Eine wirksame, schnelle, qualitative Bildeditierung wird bei Wirtschaftlichkeit der Computerkapazität erreicht, indem gespeicherte Bilddaten auf einen verringerten Farbsatz codiert werden, in diesem Fall auf einen Satz von 100 vorausgewählten Farben.
In Fig. 2 ist eine bestimmte Art Bildverarbeitungssystem 10 gezeigt, nämlich ein reprographisches System 18. Das reprographische System 18 kann ein Vervielfältigungssystem sein, das eine Bildeditiermöglichkeit aufweist.
Ein Bildabtaster 20 erfaßt Bilddaten von einem Hardkopieoriginal 22. Die Bilddaten werden in einem 24 Bit Speicher 23 angeordnet und dann durch ein Bildeditorsystem 24 verarbeitet. Ein Codierer 25 erzeugt verringerte Bilddaten auf der Grundlage eines verringerten Farbsatzes, und die verringerten Bilddaten werden auf einen interaktiven Bildeditor 26 angewendet.
Das Bildeditiersystem 26 verarbeitet das gespeicherte Bild, um ein abgeändertes Bild zu erzeugen, das sich aus den Editieroperationen ergibt. Ein Farbmonitor 28 und eine Tastatur 29 werden interaktiv mit dem Bildeditor 26 beim Editierverfahren betätigt. Eingaben werden von dem 24 Bit Speicher 23 und dem interaktiven Bildeditor 26 auf den Hintergrundbildeditor 27 angewendet. Das editierte Bild wird von dem Hintergrundbildeditor 27 auf eine Ausgangseinrichtung angewendet, in diesem Fall einen Laserdrucker 30, der eine verlangte Anzahl Kopien erzeugt.
In Fig. 3 ist eine andere Art Bildverarbeitungssystem 10 gezeigt, nämlich ein Netzsystem 32, das eine Mehrzahl Computerarbeitsstationen 34a und 34b zur Bildeditierung mit zugeordneten Farbmonitoren 35a und 35b aufweist. Mit dem Netz 36 für das System 32 sind zusätzlich eine Bildspeichervorrichtung 38, ein Bildserver 40 und ein Druckserver 42 und verschiedene enrwünschte andere Untersysteme gekoppelt. Auf Anforderung liefert der Bildserver 40 verschiedene komplexere Bildverarbeitungsdienste für die Arbeitsstationen. Das Netzsystem 32 ist die Art System, bei der die unten beschriebene Ausführungsform der Erfindung ausgeführt ist.

Bildeditier-Arbeitsstation

Eine Bildeditier-Arbeitsstation 34, die der Arbeitsstation 34a oder 34b in Fig. 3 entspricht, ist in einem ausführlicheren Blockdiagramm in Fig. 4 gezeigt. Ein Farbmonitor 35 liefert eine Anzeige entsprechend roten, grünen und blauen Farbsignalen, die von einer Ansteuerschaltung erzeugt werden. Die Ansteuerschaltung umfaßt vorzugsweise einen Digital/Analogwandler 43 auf einer Anzeigekarte 44.
Wie es in Fig. 4 angegeben ist, umfaßt ein digitales Farbsignal für jedes Bildschirmpixel digitale, rote, grüne und blaue Signale, die von Nachschlagefarbregistern 47 zugeführt werden. Jede der drei Komponenten des Farbsignals ist ein 8 Bit Signal. Aufeinanderfolgende Bildschirmpixelsignale werden in analoge Signale durch den Umsetzer 43 umgewandelt und auf dem Anzeigebildschirm 35 in herkömmlicher Weise gerastert.
Ein digitales Computersystem 46, wie eine Sparc Station II, betreibt vorzugsweise die Anzeigekarte 44, um die Bildschirmanzeige zu erzeugen. Bei anderen Anwendungen kann die funktionale Schnittstelle zwischen dem digitalen Computersystem 46 und der Anzeigekarte 44 gegenüber dem, das bei dieser Ausführungsform vorliegt, verändert werden.
Der programmierte Betrieb des Computersystems 46 erfolgt unter der Leitung eines Betriebssystems 48, wie UNIX. Eine Bibliotheksunterstützung und andere Prozeduren 50 sind in dem Computerprogrammsystem enthalten, wie es für die Bildverarbeitungsanwendung und für den Systembetrieb erforderlich ist.
Ein Eingabesteuersystem 52 für eine Bedienperson umfaßt eine Einrichtung, um Bildeditiermaßnahmen einzugeben und auch sonst den Computersystembetrieb zu lenken. Vorzugsweise umfaßt das Eingabesteuersystem 52 für eine Bedienperson eine Maus (nicht besonders angegeben), die verschiedene Arten von Editiereingängen der Bedienperson durch Wechselwirkung mit der Anzeige auf dem Farbmonitor 35 bereitstellt. Die bevorzugte Steuerung der Bedienperson umfaßt auch eine Tastatur für die Bedienperson zur Eingabe von alphanumerischen Editiereingaben. Bei anderen Anwendungen können andere Steuereinrichtungen für die Bedienperson verwendet werden, wie Lichtstifte, berührungsempfindliche Flächen, usw.
Bilder, die von der Arbeitsstation 34 verarbeitet werden, werden in geeigneter Weise gespeichert. Jedes Bild wird durch eine vorbestimmte Anzahl Pixel gebildet, von denen jedes typischerweise, und hier bevorzugt, durch drei 8 Bit Wörter jeweils für die rote, grüne und blaue Farbkomponente definiert ist.
Wenn ein gespeichertes Bild 54 von der Bedienperson zur Editierverarbeitung aufgerufen wird, wird das Bild 54 zuerst von einem Bildcodierer 56 verarbeitet, um das Bild mit einem verringerten Satz von vorausgewählten Farben für eine wirksame, jedoch wirtschaftliche Bildeditierung wegen der vorhergehend erläuterten Gründe zu codieren. Ein herkömmliches Bildalgorithmusprogramm, wie eine Floyd-Steinberg Fehlerverteilung, wird für den Bildcodierer 56 verwendet.
Die Bildeditierung wird vorzugsweise in der Arbeitsstation 34 durch die Verwendung einer Fensteranzeige auf den Bildschirm des Farbmonitors 35 erleichtert. Ein herkömmlicher Fensterverwalter 58 oder Fenstersteuerung, wie das Windowing System, wie es von MIT entwickelt ist, wird in dem Computerprogrammsystem verwendet, um die grundlegende Fensterstruktur der Monitoranzeige zu steuern.
Eine Bildcodier-Editiereinrichtung ist in der Arbeitsstation 34 enthalten, damit das Bild 54 auf verschiedene Weise abgeändert werden kann. Die Bildeditiereinrichtung umfaßt vorzugsweise das Eingabesteuersystem 52 für die Bedienperson, verschiedene Computereditorsteuerungen 60 und eine Bildspeichereinrichtung, die vorzugsweise eine Nachschlagefarbregistergruppe 47 und einen Bildpixelpuffer 59 auf einer Anzeigekarte 44 enthält.
Wie es vorhergehend angegeben wurde, haben Techniken nach dem Stand der Technik zu Editierung von Bildern typischerweise Verfahren verwendet, die eine begrenzte Produktivität aufweisen. Diese Ausführungsform der vorliegenden Erfindung, wie sie unten beschrieben ist, liefert eine merklich verbesserte Produktivität durch die Bildeditiereinrichtung, die durch eine verbesserte Struktur und Betrieb gekennzeichnet ist.
Das von dem Bildcodierer 56 gelieferte, codierte Bild wird von einer Bildanzeige-Fenstersteuerung 62 zur Bildschirmanzeige in einem Bildfenster 63 verarbeite (siehe Fig. 5A). Die Größe und der Ort und die Bildschirmpixelzuordnung des Bildfensters 63 werden durch den Fensterverwalter 58 bestimmt. Der Farbinhalt eines jeden Bildpixels in dem Bildfenster 55 wird durch einen Bildpixelpuffer 61 in Kombination mit der Nachschlagefarbregistergruppe 47 definiert.
Die Nachschlagefarbregistergruppe 47 enthält n Register, die eine Gruppe von Registern enthalten, die jeweils die R, G und B Werte der entsprechenden Farben in der Gruppe von Farben definieren, die zur Systemverwendung vorausgewählt wurden. Das Farbnachschlageregister, das einem bestimmten Bildpixel zugeordnet ist, erzeugt die Ausgangsfarbsignale, die das Bildschirmpixel entsprechend dem Bildpixel erzeugen.
Die Bildanzeige-Fenstersteuerung 62 lädt das codierte Bild in den Bildpuffer 61. Das codierte Bild umfaßt einen Indexwert für jedes Bildpixel, der zu einem Farbnachschlageregister zeigt, das die R, G und B Werte enthält, die der Farbe für dieses Pixel entsprechen. Wie es in Fig. 4 angegeben ist, speichert der Bildpixelpuffer 61 die Anzahl der Nachschlageregister, die für jedes Bildpixel spezifiziert sind. Bildpixel werden somit zur Bildschirmanzeige durch Bezug auf die bezeichneten Nachschlageregister in dem Pixelpuffer 61 verarbeitet.
Die Editorsteuerungen 60 umfassen auch eine Pixelauswähl-Fenstersteuerung 64, die durch ein Auswählmenüfenster 59 (Fig. 5B) betätigt wird, und liefert der Bedienperson Optionen, um Grenzen in dem Maß zu begrenzen oder bereitzustellen, in dem das in dem Puffer 61 gespeicherte Bild Farb- und anderen Editiervorgängen ausgesetzt werden soll. Bei der bevorzugten Ausführungsform umfassen die optionalen Auswähleinrichtungen:
a. Pinsel
b. von freier Hand
c. Rechteck
d. Polygon
e. Farbtaste
f. automatische Objektauswähleinrichtung
Sobald eine Pixelauswähleinrichtung von der Bedienperson ausgewählt worden ist, ist die Farbeditierung des Bildes auf Pixel begrenzt, die durch die ausgewählte Auswähleinrichtung definiert sind.
Eine Editorfenstersteuerung 66 führt verschiedene Editierungsoperationen aus, die von der Bedienperson aus einem Editormenüfenster 63 ausgewählt worden sind (Fig. 5A). Bei der bevorzugten Ausführungsform umfassen Editierungsvorgänge und Benuterprozeduren, die ausgewählt werden können:
a. TV Farbe
b. Linien zeichnen
c. Bildfarbe
d. Hervorhebung
e. Drehung
f. Beschneiden
g. Maßstab
h. Filter
Bei vielen der Benutzerprozeduren werden Auswählvorgänge der Bedienperson in einem aktiven Feld in dem Editiermenüfenster in Realzeit in dem Bild auf dem Bildfenster ausgeführt. In anderen Fällen werden die Auswählvorgänge der Bedienperson in einem getrennten Feld in dem Editormenüfenster angezeigt und dann auf dem Bild in dem Bildfenster durch einen Befehl der Bedienperson ausgeführt.
Bei den verschiedenen Editiervorgängen werden Farbabänderungen durch die Farbnachschlagegruppe 47 ausgeführt, wie es in Fig. 4 angegeben ist. Somit wird jede einzelne ursprüngliche Farbe, die zu einer Änderung in eine ausgewählte, neue Farbe gemäß einer bestimmten Editieroperation ausgewählt wird, zu der neuen Farbe geändert, indem die R, G, B Werte in dem Nachschlageregister für die ursprüngliche Farbe abgeändert und die abgeänderten Werte in einer Arbeitsnachschlageregistergruppe gespeichert werden.
Wenn das Bild danach in dem Bildfenster angezeigt wird, wird allen Bildschirmpixeln in dem Bild oder innerhalb ausgewählter Grenzen des Bildes, die die spezifizierte einzelne ursprüngliche Farbe aufweisen, automatisch die abgeänderte Farbe in dem Arbeitsregi ster zugeordnet. Mehrfache Farbabänderungen in einem einzigen Editiervorgang werden gleichzeitig in der für die einzelne Farbabänderung beschriebenen Weise ausgeführt.
Eine Analysierfenstersteuerung 68 ermöglicht der Bedienperson, den Computer zu verwenden, um eine Bildanalyse vorzunehmen. Beispielsweise kann die Bedienperson verlangen: erhalte die Pixelfarbe oder liefere ein Histogramm.
Sobald ein editiertes Bild für die Bedienperson annehmbar wird, wird es gesichert, indem eine Sicherungsauswähleinrichtung betätigt und geeignete Sicherungsprozeduren ausgeführt werden. Das System kann dann auf seinen Anfangszustand gelöscht werden und ein neues Bild kann aus dem Speicher zur Editierung aufgerufen werden.

AUTOMATISCHE OBJEKTAUSWAHL

Eine automatische Objektauswähleinrichtung arbeitet innerhalb des Bildeditiersystems, um eine bessere Bildeditierung mit verbesserter Systemproduktivität zu starten. Die Einrichtung zur automatischen Objektauswahl (AOS) ist als automatische Objektauswähleinrichtung in der Auswählfenstersteuerung 64 in Fig. 4 und in dem Eingabesteuersystem 52 für die Bedienperson vorgesehen. Die Objektauswahl begrenzt das Maß, in dem die Editiervorgänge das gespeicherte Bild ändern, d. h., die zu editierenden Bildpixel werden begrenzt.
Beim Stand der Technik sind Objektauswählprozeduren typischerweise sehr langsam und häufig ermüdend langsam gewesen. Die Editierschwierigkeit ist als Ergebnis der Unfähigkeit oder der Schwierigkeit entstanden, verfügbare, ein Objekt definierende Kriterien zu adaptieren, damit eine schnelle und wirksame Auswahl tatsächlicher Objekte während der Editiervorgänge erreicht werden.
Wie es vorhergehend angegeben wurde, sind intelligente Algorithmen verwendet worden, um eine gewisse Automatisierung bei der Objektauswahl zu schaffen, wobei aber die Verbesserungen wegen der Begrenzungen der Auswahlkriterien sehr beschränkt gewesen sind, die mit der großen Vielfalt von Rasterbildern verbunden sind.
Diese Ausführungsform der vorliegenden Erfindung erzielt eine bessere Bildeditierung mit einer höheren Produktivität, indem zuerst Objektsuchkriterien in Realzeit als Funktion des Bildzusammenhangs entwickelt und danach die Objektsuche gemäß den entwickelten Kriterien ausgeführt wird. Tatsächlich erzeugen diese mechanisierten Operationen eine schnelle, allgemein genaue und automatische Objektauswahl für eine merklich verbesserte Bildeditierung.
Eine Maus wird verwendet, um eine interaktive Editiersteuerung für die Bedienperson des Systems bereitzustellen. Wegdaten werden während der Klick-und-Mausbewegungsoperation gesammelt, und statistische Bildfarbdaten werden von einem gepufferten Bild als Funktion der Wegdaten wiedergewonnen. Wenn der Mausknopf freigegeben wird, wird ein Objektauswahlmodell aus einer statistischen Analyse der wiedergewonnenen Daten entwickelt. Das Modell kann ein oder mehrere Auswahlkriterien umfassen.
Als ein allgemeines Beispiel können die grundlegenden Bildfarbdaten, die zur Modellbestimmung verwendet werden, rote, grüne und blaue Farbkanäle sein. Nach einer Mausbewegung und Freigabe kann der statistische Ausgang sein (Werte, die in bezug auf eine 1 Byte Speicherung definiert sind):
In diesem Fall ist die Standardabweichung des grünen Kanals übermäßig. Das Suchmodell ist demgemäß so definiert, daß das Objekt durch den roten und blauen Kanal ausgewählt wird. Mit üblicher statistischer Analyse kann das Suchmodell konstruiert werden, Bildfarbdaten als ausgewählte Objektdaten zu akzeptieren, wenn die Farbdaten innerhalb des Durchschnittswertes plus oder minus Sigma für den roten und den blauen Kanal fallen.
Als anderes Beispiel können die Bildfarbdaten, die zur Modellbestimmung verwendet werden, als mehrfache Farbdeskriptoren, wie Farbton, Sättigung und Luminanz, definiert werden. Nach einer Mausbewegung und ihrer Freigabe kann der statistische Ausgang sein:
In diesem Fall wird das Suchmodell durch die Durchschnitte der Werte aller drei Farbdatenkanäle dargestellt. Die Suche wird dann mit statistischer Analyse ausgeführt, wie es vorhergehend beschrieben wurde.
Verschiedene Grundfarbenvariablen oder Farbdeskriptorvariablen können verwendet werden, das Suchmodell aufzubauen. Farbton, Sättigung und Luminanz bilden eine Gruppe Farbdeskriptoren (oder Farbraum), die durch Versuche gefunden worden sind, um die Wirksamkeit der automatischen Objektauswahl zu optimieren. Entsprechend sind der Farbton-, der Sättigungs- und der Luminanzskanal die Farbdatenkanäle, die vorzugsweise verwendet werden.
In Fig. 6A ist ein Ablaufdiagramm gezeigt, das ein programmiertes Verfahren darstellt, das für die automatische Objektauswähleinrichtung (AOS) bevorzugt wird, die in der Auswählfenstersteuerung 64 enthalten ist (Fig. 4).
Nachdem die Bedienperson eine Auswählanforderung ausführt, wird das Auswählsteuerfenster geöffnet und die automatische Objektauswähleinrichtung kann dann aufgerufen werden.
Nachdem die Bedienperson die automatische Objektauswähleinrichtung im Block 72 auswählt, wird die Maus geklickt und bewegt, um einen Mausweg über ein angezeigtes Bild in dem Bildanzeigefenster zu definieren, so daß der Mausweg ein erwünschtes Objekt definiert, wie es durch den Block 74 angegeben ist. In dem Funktionsblock 76 werden X- und Y Mauspositionsdaten an aufeinanderfolgenden Punkten entlang dem Mausweg aufgenommen, und herkömmliche Interpolationsberechnungen werden verwendet, Positionsdaten für den gesamten Mausweg bereitzustellen.
Als nächstes werden Farbdaten in dem Block 78 von dem Bildpuffer 61 für Pixel entlang dem Mausweg gesammelt. Im allgemeinen befinden sich die Pixel, von denen Daten gesammelt werden, vorzugsweise in einem Pixelband, das eine Weite von Pixeln aufweist und sich entlang dem Mausweg erstreckt. Bei dieser Ausführungsform ist das Pixelband 10 Pixel weit, wobei 5 Pixel auf jeder Seite des Mauswegs sind.
Tatsächlich bilden die gesammelten Daten eine Farbabbildung des Objekts mit seunem nahen Umfeld, wie es durch den Mausweg definiert ist. Mittel werden verwendet, eine statistische Analyse der Abbildungsdaten herzustellen, um das Objekt von seinem Umfeld zu unterscheiden. Im allgemeinen wird ein erwünschtes Objekt automatisch ausgewählt, wenn das Objekt sichtbar von seinem Umfeld in dem angezeigten Bild unterscheidbar ist.
Die gesammelten Daten werden aus roten, grünen und blauen Werten für jedes Rückkopplungspixel bestimmt, das in dem Bildpuffer 61 spezifiziert ist. Somit werden Tonart- (H), Sättigungs-(S) und Luminanzs-(L) Werte aus den R, G und B Werten zur Verwendung bei der bevorzugten Konstruktion des Objektfarb-Suchmodells aus den vorhergehend beschriebenen Gründen berechnet. Grundsätzlich entspricht der Farbton der Farbe, die Sättigung entspricht der Farbreinheit (mit der Farbe kombinierter Grauanteil) und die Luminanz entspricht der Kombination aus Helligkeit und Kontrast.
Sobald die Maus im Block 80 freigegeben wird, werden die gesammelten Bilddaten durch die Analyseinrichtung im Block 82 analysiert. Die Analyseeinrichtung arbeitet vorzugsweise auf der Grundlage statistischer Grundsätze. Ein Histogramm auf der Grundlage des Farbsuchmodells wird aus den gesammelten Bilddaten erzeugt.
Ein beispielhaftes Histogramm 81 ist in Fig. 7 gezeigt. Das Histogramm 81 hat drei Komponenten, eine für jede der drei Farbdatenkanäle L, F und S in dem Objektsuchmodell. L, F und S sind die bevorzugten Luminanz-, Farbton- und Sättigungs-Farbdeskriptoren.
Jede Histogrammkomponente ist eine Auftragung der Häufigkeit von Werten des Farbdeskriptors als Funktion des Wertebereiches für den Deskriptor. Somit sind L und S Werte gegenüber einem Bereich von Farbwerten von 0 bis 255 aufgetragen, der den vollen ursprünglichen Farbbereich definiert. Farbtonwerte sind gegenüber einem Winkelbereich von -180 bis +180 aufgetragen, da der Farbton graphisch in dem System durch einen Kreis wiedergegeben wird, innerhalb dessen sich der Farbton fortlaufend um den Kreis herum als eine Funktion des Winkels ändert.
Es ist bemerkenswert, daß der Farbtonkanal zwei scharfe Knoten 81a und 81b (bzw. Spitzen) enthält. Der Grund hierfür ist, daß der bewegte Bildbereich eine rote Blume (Knoten 81a) und eine gelbe Blume (Knoten 81b) enthielt.
Unter erneuter Bezugnahme auf Fig. 6A wird das Histogramm im Block 84 in einen oder mehrere Knoten für jeden Farbdatenkanal in dem Farbsuchmodell zerlegt. Jeder erkannte Knoten in jedem Histogrammkanal wird zu seinen Grenzen unter Verwendung herkömmlicher Interpolationsberechnungsverfahren interpoliert.
Ein Suchkontroller wird dann im Block 86 erzeugt, um ein oder mehrere Kriterien zu definieren, unter denen die Objektsuche ausgeführt werden soll. Jedes Kriterium entspricht einer Programmauswählfarbvariablen oder einer Benutzerspezifizierung.
Der Ausdruck "Variable" bezieht sich hier entweder auf die Grundfarbwerte (wie R, G und B) oder einen Farbdeskriptor. Wie es vorhergehend angegeben wurde, ist ein Farbdeskriptor eine Variable, die aus den Grundfarbwerten berechnet wird. Farbdeskriptoren stellen typischerweise sichtbarere Attribute eines Bildes dar, da Grundfarbwerte in dem Bild geändert werden.
Das Verfahren 86 zur Erzeugung des Suchkontrollers ist in Fig. 6B ausführlicher aufgeteilt. Somit läuft zuerst ein Test, um zu bestimmen, ob eine Benutzerspezifizierung oder ein besonderes Kriterium bei der gegenwärtigen Suche gelten, und, wenn es so ist, zeichnet der Block 87 die durch den Benutzer spezifizierten Kriterien oder die besonderen Kriterien als die anwendbaren Kriterien für die Objektsuche auf, d. h., als Kontroller der Objektsuche. Der Block 88 prüft auf durch den Benutzer spezifizierten Kriterien und die Blöcke 89-91 prüfen jeweils auf nur synthetische oder durchgehende Farbe, Luminanz oder Grauskalabild, und Daten in nur einem Farbdatenkanal in dem Suchmodell.
Wenn keine besonderen oder Benutzerkriterien gelten, sortiert der Block 92 die Farbdatenkanäle nach dem Bereich der quadratischen Abweichung. Die Kanäle unterhalb einer vorgewählten quadratischen Schwellenabweichung werden als unverwendbar ausgeschlossen. Der Block 93 erfaßt dann, ob einer oder mehrere verwendbare Kanäle für die Objektsuche verfügbar sind.
Wenn es so ist, werden die verwendbaren Kanäle als die Suchsteuerkanäle im Block 94 festgelegt. Wenn es nicht so ist, legt der Block 95 den Farbtonkanal als den Suchkanal fest.
Sobald der Suchkontroller durch den Block 86 definiert ist, wird das Bild entsprechend den Grenzen oder Beschränkungen gesucht, die durch den Suchkontroller auferlegt sind, und insbesondere gemäß jedem Knoten in jedem Farbdatenkanal, der für das Suchmodell ausgewählt worden ist (Block 96). Im allgemeinen wird die Suche Histogrammkomponente um Histogrammkomponente und Knoten um Knoten durchgeführt.
Das Suchwerkzeug kann herkömmlicher Suchalgorithmus sein, wie ein Abtastzellen- Startfüllalgorithmus. Es wird wegen weiterer Informationen über Suchalgorithmen auf ein Lehrbuch mit dem Titel "PROCEDURAL ELEMENTS FOR COMPUTER GRAPHICS" Bezug genommen, das von McGraw-Hill Book Company verlegt wird und von David F. Rogers geschrieben wurde.
Im Block 98 werden die Ergebnisse mehrfacher Kanalsuchen addiert, um das gefundene Objekt in der Suche zu definieren. Nachdem die Suchergebnisse abgeschlossen sind, kann das erkannte Objekt in dem Bild neben dem Rest des Bildes durch Betätigung der Editorfenstersteuerung 66 editiert werden.

Claims

1. Eine automatische Objektauswähleinrichtung für ein Bildverarbeitungssystem, in dem Farbdaten für Pixel eines Bilds gespeichert werden, das zur Editierung auf einem Bildschirm angezeigt werden soll, wobei die Auswähleinrichtung umfaßt:

eine Einrichtung zum Erfassen von Pixelpositionsdaten, die einem von einer Bedienperson bezeichneten Weg auf dem Bildschirm entsprechen, während das Bild angezeigt wird;

eine Einrichtung zur Bestimmung in Realzeit von einem oder mehreren Kriterien für einen Suchkontroller als eine Funktion der gespeicherten Pixelfarbdaten für Pixel entlang dem Bildschirmweg;

eine Suchkontrollereinrichtung zur Suche der Bildpixel, um ein Anzeigeobjekt und seine Grenzen innerhalb des Bildes Anzeige entsprechend den Suchkontrollerkriterien zu erkennen; und

eine Einrichtung Farbeditiermaßnahmen auf das erkannte Objekt innerhalb des Bildes anzuwenden.

2. Automatische Objektauswähleinrichtung, wie in Anspruch 1 beansprucht, wobei die Kriterienbestimmungseinrichtung umfaßt:

eine Einrichtung zur Bestimmung von einer oder mehreren Farbdatenvariablen aus den gespeicherten Pixelfarbdaten für Pixel entlang dem Bildschirmweg; und

eine Einrichtung zur Bestimmung der Kriterien für den Suchkontroller zumindest als eine Funktion der bestimmten Farbdatenvariablen.

3. Automatische Objektauswähleinrichtung, wie in Anspruch 1 oder Anspruch 2 beansprucht, wobei die gespeicherten Pixelfarbdaten Werte für vorausgewählte Grundfarben sind;

die Kriterienbestimmungseinrichtung eine Einrichtung zur Bestimmung von Werten in entsprechenden mehreren Datenkanälen für vorausgewählte mehrere Farbdeskriptorvariable aus den erfaßten Grundfarbdatenwerten enthält; und

die verfügbaren Suchkriterien, von denen das eine oder mehrere ausgewählte Suchkriteriem bestimmt werden, entsprechende Kriterien auf der Grundlage der entsprechenden Kanäle der Farbdeskriptorvariablen umfassen.

4. Automatische Objektauswähleinrichtung, wie in Anspruch 3 beansprucht, wobei die Suchkriterien-Bestimmungseinrichtung eine Einrichtung zur statistischen Analyse der gespeicherten Pixelfarbdaten gemäß den vorbestimmten statistischen Grundsätzen enthält, um als Suchkriterien einen Abschnitt oder Abschnitte der gespeicherten Farbpixeldaten auszuwählen, die am wahrscheinlichsten eine wirksame, automatische Erkennung des Objekts liefern.

5. Automatische Objektauswähleinrichtung, wie in Anspruch 4 beansprucht, wobei die statistische Analysiereinrichtung ein Histogramm erzeugt, das funktional die Häufigkeit der Farbdaten zu Farbdatenwerten in Beziehung setzt; und wobei das Histogramm ein Komponentenhistogramm für jeden Kanal der Farbdeskriptorvariablen umfaßt.

6. Automatische Objektauswähleinrichtung, wie in Anspruch 5 beansprucht, wobei die Suchkriterien-Bestimmungseinrichtung eine Einrichtung zur Sortierung von Farbdeskriptorkanälen entsprechend dem Bereich der quadratischen Abweichung und zum Ausschluß jener Kanäle als unverwendbar aufweist, deren quadratische Abweichung unterhalb eines vorausgewählten Schwellenwerts ist; und

die Suchkriterien-Bestimmungseinrichtung zur Verwendung als Suchkriterien jene Kanäle auswählt, deren quadratische Abweichung oberhalb des Schwellenwerts ist.

7. Automatische Objektauswähleinrichtung, wie in Anspruch 4 beansprucht, wobei die statistische Analysiereinrichtung ein Histogramm erzeugt, das funktional die Häufigkeit der Farbdaten zu Farbdatenwerten in Beziehung setzt; und

wobei jeder ausgewählte Farbdatenabschnitt ein Knoten bzw. eine Spitze des Histogramms ist.

8. Bildeditor für ein Bildverarbeitungssystem, wobei der Editor umfaßt:

eine Speichereinrichtung für Pixelfarbdaten für ein Bild, das editiert werden soll;

eine Anzeigeeinrichtung für das gespeicherte Bild auf einem Anzeigebildschirm;

eine Einrichtung zur Bezeichnung eines Bildschirmwegs, der ein Objekt in dem Bild identifiziert; und

eine automatische Objektauswähleinrichtung, wie in irgendeinem der vorhergehenden Ansprüche beansprucht.

9. Bildeditor, wie in Anspruch 8 beansprucht, wobei die Speichereinrichtung umfaßt: eine Farbnachschlageregistergruppe in der entsprechende Register entsprechende Farbwerte für entsprechende Farben in einem vorausgewählten Farbsatz enthalten, wobei jeder Farbwert durch einen Satz von Werten für vorausgewählte Grundfarbkomponenten definiert ist;

einen Pixelpuffer, in dem die Farbe von jedem Bildpixel als ein Nachschlageregisterwert gespeichert ist; und

wobei die Farbeditier-Anwendungseinrichtung umfaßt:

eine Einrichtung zur Ausführung von Farbeditiermaßnahmen, indem gespeicherte Farbwerte für Nachschlageregister abgeändert werden, die ursprüngliche Farben enthalten, die durch die Editiermaßnahme geändert werden; und

eine Auswähleinrichtung für Bildpufferpixel, die dem identifiziertem Objekt entsprechen, zur Anwendung der Editiermaßnahmen.

10. Ein Bildeditor, wie in Anspruch 8 oder Anspruch 9 beansprucht, wobei Mittel vorgesehen sind, um eine Fensterstruktur auf dem Bildschirm zu verwalten, wobei die Fensterstruktur ein Fenster für das Bild und ein Menüfenster für vorbestimmte Auswähleinrichtungen, die auf das Bild anwendbar sind, umfaßt;

wobei die vorbestimmten Auswähleinrichtungen die automatische Objektauswähleinrichtung umfassen; und

die Bezeichnungseinrichtung verwendet wird, die automatische Objektauswähleinrichtung auszuwählen, wenn es erwünscht ist, Editiermaßnahmen nur auf ein Objekt innerhalb des Bilds anzuwenden.

11. Verfahren zur Bildeditierung in einem Bildverarbeitungssystem, wobei die Verfahrenschritte umfassen:

Speichern von Farbdaten für Pixel eines Bildes, das editiert werden soll;

Anzeigen des gespeicherten Bildes auf einem Bildschirm;

Bezeichnen eines Bildschirmwegs, der ein Objekt in dem Bild identifiziert;

Erfassen von Pixelpositionsdaten, die dem Bildschirmweg entsprechen;

Bestimmen zumindest eines Kriteriums in Realzeit zur Steuerung einer Objektsuche als eine Funktion der gespeicherten Pixelfarbdaten für Pixefentlang dem Bildschirmweg;

Suchen von Bildpixeln, um das Objekt und seine Grenzen gemäß den Suchsteuerkriterien zu identifizieren; und

Anwenden von Farbeditiermaßnahmen auf das identifizierte Objektbild innerhalb des Bilds.

12. Verfahren, wie in Anspruch 11 beansprucht, wobei die gespeicherten Pixelfarbdaten Werte für vorausgewählte Grundfarben sind; und

wobei der Suchkriterien-Bestimmungsschritt umfaßt:

Auswählen von Werten für vorausgewählte mehrere Farbdeskriptorvariable aus den erfaßten Grundfarbdatenwerten; und

Verwenden der Kanäle der Farbdeskriptorvariablen als verfügbare Suchkriterien.

13. Verfahren wie in Anspruch 11 beansprucht, wobei der Suchkriterien-Bestimmungsschritt umfaßt, statistisch die gespeicherten Pixelfarbdaten entsprechend vorbestimmten statistischen Grundsätzen zu analysieren, um als die Suchkriterien eine Abschnitt oder Abschnitte der gespeicherten Pixelfarbdaten auszuwählen, die am wahrscheinlichsten eine wirksame, automatische Identifizierung des Objekts liefern.

14. Ein Verfahren, wie in Anspruch 13 beansprucht, wobei der Analysierschritt umfaßt, ein Histogramm zu erzeugen, das funktional die Häufigkeit der Farbdaten zu Farbdatenwerten in Beziehung setzt, wobei jeder Farbdatenabschnitt ein Knoten des Histogramm ist.