DE69620586T2 - Adaptive Konturenkodierung - Google Patents

Description

• Die vorliegende Erfindung betrifft ein Verfahren zum Kodieren eines Videosignals und insbesondere ein Verfahren zum adaptiven Kodieren einer Umrissabbildung in einem Videobild eines Videosignals auf der Grundlage der Größe und Komplexität der Umrissabbildung.
• In digitalen Videosystemen, wie zum Beispiel Videofernsprechern, Videokonferenz- und Fernsehsystemen mit hoher Auflösung, ist eine große Menge digitaler Daten notwendig, um jedes Videobildsignal zu definieren, da das Videobildsignal eine als Bildpunktwerte bezeichnete Folge digitaler Daten umfasst. Da jedoch die verfügbare Frequenzbandbreite eines herkömmlichen Übertragungskanals begrenzt ist, ist es, um die beträchtliche Menge digitaler Daten darüber zu übertragen, notwendig, das Datenvolumen durch Verwendung verschiedener Datenkompressionsverfahren zu komprimieren oder zu reduzieren, insbesondere im Fall von Videosignalkodierern mit niedriger Bitrate, wie zum Beispiel Videofernsprechern und Telekonferenzsystemen.
• Eine dieser Techniken zum Kodieren von Videosignalen für ein Kodierungssystem mit niedriger Bitrate ist das Kodierungsverfahren der sogenannten objektorientierten Analyse-Synthese (siehe Michael Hötter, "Object- Oriented Analysis-Synthesis Coding Based on Moving Two- Dimensional Objects", Signal Processing: Image Communication, 2, Nr. 4, Seiten 409-428 (Dezember 1990).
• Gemäß dem objektorientierten Analyse-Syntese- Kodierungsverfahren wird eine Eingangsvideoabbildung in Objekte und drei Mengen von Parametern zur Definition der Bewegung unterteilt, wobei die Umriss- und Bildpunktdaten jedes Objekts durch verschiedene Kodierungskanäle verarbeitet werden.
• Bei der Verarbeitung einer Umrissabbildung eines Objekts sind Umrissinformationen für die Analyse und Synthese der Form des Objekts wichtig. Eines der klassischen Kodierungsverfahren zur Darstellung der Umrissinformationen ist eine Kettenkodierungstechnik. Bei der Kettenkodierungstechnik entsteht zwar kein Verlust bei den Umrissinformationen, das erforderliche Bitvolumen ist jedoch sehr groß.
• Um diesen letzteren Nachteil zu überwinden, wurden mehrere Techniken zur Approximierung eines Umrisses, wie zum Beispiel eine polygonale Approximation und eine B- Spline-Approximation, vorgeschlagen. Im Vergleich zu der polygonalen Approximation kann man im Fall der B- Spline-Approximation eine genauere Darstellung erhalten, wobei ein Polynom höherer Ordnung verwendet wird, um den Approximationsfehler zu reduzieren. Die B- Spline-Approximationstechnik führt jedoch zu einer höheren insgesamten rechnerischen Komplexität des Videokodierers.
• Eine der Techniken, die eingeführt wurden, um dieses Problem der vergrößerten rechnerischen Komplexität zu reduzieren, ist eine Umrisskodierungstechnik, die eine polygonale Approximation und eine diskrete Sinustransformation (DST) verwendet. Diese Technik wird in einer eigenen, parallelen Anmeldung mit der U.S.-Patent Nr. 5 774 595, eingereicht am 28.08.1995 mit dem Titel "IMPROVED CONTOUR APPROXIMATION METHOD FOR REPRESENTING A CONTOUR OF AN OBJECT", beschrieben. Bei der Behandlung einer komplexen Umrissabbildung kann die obige Technik, die die polygonale Approximation und DST verwendet, jedoch zu einer rekonstruierten Abbildung führen, die immer noch beträchtliche Abweichungen von ihrer ursprünglichen Umrissabbildung aufweist.
• Eine Hauptaufgabe von Ausführungsformen der Erfindung besteht deshalb darin, ein Verfahren zur Verwendung bei einem Kodierer bereitzustellen, wodurch eine Umrissabbildung in einem Videobild eines Videosignals auf der Grundlage der Größe und der Komplexität der Umrissabbildung entsprechend kodiert und dadurch die Qualität einer rekonstruierten Umrissabbildung in dem Videobild verbessert wird.
• Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zum adaptiven Kodieren einer Umrissabbildung eines Objekts in einem Videobild eines Videosignals bereitgestellt, wobei das Videobild in eine Vielzahl von Blöcken unterteilt ist, wobei jeder der Blöcke K · L Bildpunkte aufweist, wobei K und L positive ganze Zahlen sind und wobei die Umrissabbildung aus mehreren Umriss-Bildpunkten besteht, wobei die Umriss-Bildpunkte Bildpunkte repräsentieren, die auf dem Umriss angeordnet sind, wobei das Verfahren die folgenden Schritte umfasst:
• (a1) Kodieren (200, 300) der Umrissabbildung unter Verwendung eines ersten und eines zweiten Umrisskodierverfahrens, um dadurch erste bzw. zweite kodierte Umrissdaten zur Verfügung zu stellen, wobei die ersten kodierten Umrissdaten die Umrissabbildung genauer als die zweiten kodierten Umrissdaten darstellen;
• (b1) Detektieren (110) der Anzahl von Umriss-Blöcken, wobei jeder der Umrissblöcke einen oder mehrere Umriss- Bildpunkte umfasst;
• (c1) Vergleichen (120) der Anzahl von Umriss-Blöcken mit einem ersten vorgegebenen Schwellenwert;
• (d1) Berechnen (130) von Krümmungen des Umrisses bei ausgewählten Umriss-Bildpunkten, um dadurch einen Krümmungsmittelwert basierend auf den berechneten Krümmungen zu ermitteln, wobei eine Krümmung des Umrisses (30) bei einem ausgewählten Umriss-Bildpunkt (T2) eine Winkeländerung zwischen zwei durch den Bildpunkt gehenden Linien bezeichnet, wobei die zwei Linien durch den ausgewählten Umriss-Bildpunkt (T2) und zwei Umriss- Bildpunkte (T1, T3), die eine vorgegebene Anzahl von Umriss-Bildpunkten zu beiden Seiten des Umrisses von dem ausgewählten Umriss-Bildpunkt (T1) entfernt sind, gezogen sind;
• (e1) Vergleichen (140) des Krümmungsmittelwertes mit einem zweiten vorgegebenen Schwellenwert; und
• (f1) Auswählen (150, 400) der ersten kodierten Umrissdaten, wenn die Anzahl der Umriss-Blöcke kleiner ist als der erste vorgegebene Schwellenwert und der Krümmungsmittelwert größer oder gleich dem zweiten vorgegebenen Schwellenwert ist, und Auswählen der zweiten kodierten Umrissdaten, wenn die Anzahl der Umriss-Blöcke größer oder gleich dem ersten vorgegebenen Schwellenwert ist oder der Krümmungsmittelwert kleiner als der zweite vorgegebene Schwellenwert ist, um dadurch die ausgewählten kodierten Umrissdaten als kodierte Umrissbilddaten bereitzustellen, wobei das erste Umrisskodierungsverfahren ein Kettenkodierungsverfahren ist und das zweite Umrisskodierungsverfahren eine polygonale Approximation und eine diskrete Sinustransformation umfasst.
• Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Verfahren zum adaptiven Kodieren einer Umrissabbildung eines Objekts in einem Videobild eines Videosignals bereitgestellt, wobei das Verfahren die folgenden Schritte umfasst:
• (a2) Detektieren (110) der Anzahl von Umriss-Blöcken, wobei jeder der Umrissblöcke einen oder mehrere Umriss- Bildpunkte umfasst;
• (b2) Berechnen (130) von Krümmungen des Umrisses bei ausgewählten Umriss-Bildpunkten, um dadurch einen Krümmungsmittelwert basierend auf den berechneten Krümmungen zu ermitteln, wobei eine Krümmung des Umrisses (30) bei einem ausgewählten Umriss-Bildpunkt (T2) eine Winkeländerung zwischen zwei durch den Bildpunkt gehenden Linien bezeichnet, wobei die zwei Linien durch den ausgewählten Umriss-Bildpunkt (T2) und zwei Umriss- Bildpunkte (T1, T3), die eine vorgegebene Anzahl von Umriss-Bildpunkten zu beiden Seiten des Umrisses von dem ausgewählten Umriss-Bildpunkt (T1) entfernt sind, gezogen sind;
• (c2) Vergleichen der Anzahl der Umriss-Blöcke und des Krümmungsmittelwertes mit einem ersten bzw. zweiten Schwellenwert;
• (d2) Kodieren (200) der Umrissabbildung unter Verwendung eines ersten Umrisskodierungverfahrens, wenn die Anzahl der Umriss-Blöcke kleiner ist als der erste vorgegebene Schwellenwert und der Krümmungsmittelwert größer oder gleich dem zweiten vorgegebenen Schwellenwert ist; und
• (e2) Kodieren (300) der Umrissabbildung unter Verwendung eines zweiten Umrisskodierungsverfahrens, wenn die Anzahl der Umriss-Blöcke größer oder gleich dem ersten vorgegebenen Schwellenwert ist oder der Krümmungsmittelwert kleiner als der zweite vorgegebene Schwellenwert ist,
• wobei das erste Umrisskodierungsverfahren ein Kettenkodierungsverfahren ist und das zweite Umrisskodierungsverfahren eine polygonale Approximation und eine diskrete Sinustransformation umfasst.
• Die obigen und andere Aufgaben und Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung bevorzugter Ausführungsformen in Verbindung mit den beigefügten Zeichnungen deutlich:
• Fig. 1 stellt ein Blockschaltbild einer die vorliegende Erfindung realisierenden Umrisskodierungsvorrichtung dar;
• Fig. 2 zeigt ein veranschaulichendes Diagramm zum Definieren von Umrissblöcken; und
• Fig. 3 zeigt ein erläuterndes Diagramm, das einen Krümmungsberechnungsprozess beschreibt.
• In Fig. 1 ist ein Blockschaltbild einer Umrisskodierungsvorrichtung 10 zum adaptiven Kodieren einer Umrissabbildung eines Objekts in einem Videobild eines Videosignals gezeigt, die die vorliegende Erfindung realisiert.
• Umrissabbildungsdaten eines in dem Videobild enthaltenen Objekts werden parallel in eine Größenerkennungseinheit 110, eine Komplexitätserkennungseinheit 130, eine erste Umrisskodierungseinheit 200 und eine zweite Umrisskodierungseinheit 300 eingegeben, wobei die Umrissabbildungsdaten Positionsinformationen von Umriss- Bildpunkten repräsentieren, die Bildpunkte repräsentieren, die auf dem Umriss angeordnet sind.
• In der Größenerkennungseinheit 110 wird das Videobild zunächst in eine Vielzahl von Blöcken von K · L Bildpunkten unterteilt, wobei K und L jeweils positive ganze Zahlen sind, und die Anzahl von Umriss-Blöcken wird für den Umriss bestimmt, wobei jeder Umrissblock einen Block bezeichnet, in dem mindestens ein Umriss- Bildpunkt enthalten ist. Das heißt, wie in Fig. 2 gezeigt, überlappt jeder in einem schattierten Bereich 20 angeordnete Block einen Teil eines Umrisses 30 in dem Videobild 40, und diese Blöcke werden als Umriss-Blöcke bezeichnet.
• Dann wird die Anzahl von Umriss-Blöcken in eine erste Vergleichseinheit 120 eingegeben, wobei die Anzahl mit einem ersten vorbestimmten Schwellenwert TH1 verglichen wird. Eine Ausgabe der ersten Vergleichseinheit 120 ist ein logisches High-Signal, wenn die Anzahl größer oder gleich dem ersten Schwellenwert TH1 ist, d. h. wenn die Größe der Umrissabbildung als groß angesehen wird, andernfalls ist die Ausgabe ein logisches Low-Signal.
• In der Zwischenzeit berechnet die Komplexitätserkennungseinheit 130 Krümmungen bei gewählten Umriss- Bildpunkten und bestimmt einen Krümmungsmittelwert für den Umriss.
• Fig. 3 zeigt ist ein erläuterndes Diagramm eines in der Komplexitätserkennungseinheit 130 durchgeführten Krümmungsberechnungsprozesses. Zuerst wird ein Umriss- Bildpunkt, z. B. T2, als Ziel-Bildpunkt gewählt, und seine zwei N-ten, z. B. 6-ten, benachbarten Umriss- Bildpunkte, z. B. T1 und T3, auf beiden Seiten des Umrisses 30 werden bestimmt. Danach werden zwei Linien durch den Ziel-Bildpunkt T2 und seine zwei N-ten benachbarten Umriss-Bildpunkte T1 und T3 gezogen. Ein Winkelunterschied zwischen den beiden Linien, die durch den Ziel-Bildpunkt T2 gehen, wird als die Krümmung des Umrisses bei dem Ziel-Bildpunkt T2 definiert. Bei der bevorzugten Ausführungsform der Erfindung werden alle Umriss-Bildpunkte als Ziel-Bildpunkte ausgewählt. Um jedoch den rechnerischen Aufwand zu reduzieren, können jeweils die P-ten Umriss-Bildpunkte als Ziel-Bildpunkte ausgewählt werden, wobei P eine ganze Zahl größer als 1 ist. Danach werden Krümmungen des Umrisses bei den übrigen Ziel-Bildpunkten auf dieselbe Weise wie oben beschrieben berechnet.
• Da die Krümmungen des Umrisses bei allen Ziel- Bildpunkten bestimmt werden, kann man den Krümmungsmittelwert des Umrisses folgendermaßen berechnen:
• wobei CM den Krümmungsmittelwert bezeichnet, M die Anzahl der Ziel-Bildpunkte ist und θi eine Krümmung an jedem der Ziel-Bildpunkte bezeichnet.
• Bezug nehmend auf Fig. 1 wird in einer zweiten Vergleichseinheit 140 der in der Komplexitätserkennungseinheit 130 bestimmte Krümmungsmittelwert CM mit einem zweiten vorbestimmten Schwellenwert TH2 verglichen. Die zweite Vergleichseinheit 140 liefert einer Steuereinheit 150 ein logisches Low-Signal, wenn der Krümmungsmittelwert CM größer oder gleich dem zweiten Schwellenwert TH2 ist, d. h. wenn die Umrissabbildung als relativ komplex bestimmt wird, und andernfalls ein logisches High-Signal.
• In der Steuereinheit 150 werden die Signale aus den beiden Vergleichseinheiten 120 und 140 logisch verknüpft, und es wird ein logisches Low-Steuersignal für eine Umschalteinheit 400 erzeugt, wenn beide Signale aus den Vergleichseinheiten 120 und 140 im logischen Low-Zustand sind, d. h. wenn der Umriss als klein und komplex angesehen wird. Andernfalls, d. h. wenn die Umrissabbildung groß oder einfach ist, wird ein logisches High-Steuersignal für die Umschalteinheit 400 erzeugt.
• In der Zwischenzeit werden die Umrissabbildungsdaten in der ersten und der zweiten Umrisskodierungseinheit 200 und 300 kodiert.
• Genauer gesagt werden in der ersten Umrisskodierungseinheit 200 die Umrissabbildungsdaten z. B. durch Verwendung eines herkömmlichen Kettenkodierungsverfahrens kodiert und als erste kodierte Daten der Umschalteinheit 400 zugeführt, wobei die Richtungsvektoren zwischen aufeinanderfolgenden Umriss-Bildpunkten kodiert werden. Beispielsweise verwendet ein häufig verwendetes Kettenkodierungsverfahren acht Richtungsvektoren, die durch 3-Bit-Kodewörter kodiert werden können. Bei der Kettenkodierung folgt den Start-Umriss-Bildpunktadresseninformationen in der Regel eine Kette von Kodewörtern.
• In der zweiten Umrisskodierungseinheit 300 werden dagegen die Umrissabbildungsdaten z. B. durch Verwenden des die polygonale Approximation und die DST benutzenden Verfahrens kodiert, und die resultierenden kodierten Daten werden als zweite kodierte Daten der Umschalteinheit 400 zugeführt, wobei die Umrissabbildungsdaten zuerst durch polygonale Approximation approximiert werden, Fehler zwischen der ursprünglichen Umrissabbildung und der approximierten Umrissabbildung durch DST berechnet werden, das Ergebnis der polygonalen Approximation z. B. durch Verwenden eines Kodes fester Länge ohne Komprimierung kodiert wird, und das Ergebnis der DST dann z. B. durch Verwendung eines binären arithmetischen Kodes der JPEG (Joint Picture Experts Group) kodiert wird. Einzelheiten der Techniken der polygonalen Approximation und der DST sind in dem oben erwähnten U.S.- Patent Nr. 5 774 595 beschrieben.
• Als Reaktion auf das Steuersignal, das aus der Steuereinheit 150 zugeführt wird, wählt die Umschalteinheit 400 als kodierte Umrissabbildungsdaten entweder die ersten oder die zweiten kodierten Daten. Das heißt, wenn das logische Low-Steuersignal daran angelegt wird, werden die ersten kodierten Daten zu einem (nicht gezeigten) Sender für die Übertragung übertragen, und wenn das Steuersignal auf logisch High liegt, werden die zweiten kodierten Daten gesendet.
• Folglich werden die kleineren und komplexeren Umrissabbildungen in dem Videobild ausgewählt, um durch das Kettenkodierungsverfahren in der ersten Umriss- Kodierungseinheit 200 kodiert zu werden, während die größeren oder die einfacheren Umrissabbildungen in dem Videobild ausgewählt werden, um durch das die polygonale Approximation und die DST benutzende Umrisskodierungsverfahren in der zweiten Umrisskodierungseinheit 300 kodiert zu werden.

Claims (4)

1. Verfahren zum adaptiven Kodieren einer Umrissabbildung eines Objekts, das in einem Videobild eines Videosignals enthalten ist, wobei das Videobild in eine Vielzahl von Blöcken unterteilt ist, wobei jeder der Blöcke K · L Bildpunkte aufweist, wobei K und L positive ganze Zahlen sind und wobei die Umrissabbildung aus mehreren Umriss-Bildpunkten besteht, wobei die Umriss-Bildpunkte Bildpunkte repräsentieren, die auf dem Umriss angeordnet sind, wobei das Verfahren die Schritte umfasst:

(a1) Kodieren (200, 300) der Umrissabbildung unter Verwendung eines ersten und eines zweiten Umrisskodierverfahrens, um dadurch erste bzw. zweite kodierte Umrissdaten zur Verfügung zu stellen, wobei die ersten kodierten Umrissdaten die Umrissabbildung genauer als die zweiten kodierten Umrissdaten darstellen;

(b1) Detektieren (110) der Anzahl von Umriss-Blöcken, wobei jeder der Umrissblöcke einen oder mehrere Umriss-Bildpunkte umfasst;

(c1) Vergleichen (120) der Anzahl von Umriss-Blöcken mit einem ersten vorgegebenen Schwellenwert;

(d1) Berechnen (130) von Krümmungen des Umrisses bei ausgewählten Umriss-Bildpunkten, um dadurch einen Krümmungsmittelwert basierend auf den berechneten Krümmungen zu ermitteln, wobei eine Krümmung des Umrisses (30) bei einem ausgewählten Umriss-Bildpunkt (T2) eine Winkeländerung zwischen zwei durch den Bildpunkt gehenden Linien bezeichnet, wobei die zwei Linien durch den ausgewählten Umriss-Bildpunkt (T2) und zwei Umriss-Bildpunkte (T1, T3), die eine vorgegebene Anzahl von Umriss-Bildpunkten zu beiden Seiten des Umrisses von dem ausgewählten Umriss-Bildpunkt (T1) entfernt sind, gezogen sind;

(e1) Vergleichen (140) des Krümmungsmittelwertes mit einem zweiten vorgegebenen Schwellenwert; und

(f1) Auswählen (150, 400) der ersten kodierten Umrissdaten, wenn die Anzahl der Umriss-Blöcke kleiner ist als der erste vorgegebene Schwellenwert und der Krümmungsmittelwert größer oder gleich dem zweiten vorgegebenen Schwellenwert ist, und Auswählen der zweiten kodierten Umrissdaten, wenn die Anzahl der Umriss-Blöcke größer oder gleich dem ersten vorgegebenen Schwellenwert ist oder der Krümmungsmittelwert kleiner als der zweite vorgegebene Schwellenwert ist, um dadurch die ausgewählten kodierten Umrissdaten als kodierte Umrissbilddaten bereitzustellen, wobei das erste Umrisskodierungsverfahren ein Kettenkodierungsverfahren ist und das zweite Umrisskodierungsverfahren eine polygonale Approximation und eine diskrete Sinustransformation umfasst.

2. Verfahren nach Anspruch 1, bei dem der Krümmungsmittelwert definiert ist als:

CM = 1/M θi²

wobei CM den Krümmungsmittelwert bezeichnet; M die Anzahl der ausgewählten Umriss-Bildpunkte ist; und θi die Krümmung an jedem der ausgewählten Umriss-Bildpunkte bezeichnet.

3. Verfahren zum adaptiven Kodieren einer Umrissabbildung eines Objekts, das in einem Videobild eines Videosignals enthalten ist, wobei das Videobild in eine Vielzahl von Blöcken unterteilt ist, wobei jeder der Blöcke K · L Bildpunkte aufweist, wobei K und L positive ganze Zahlen sind und wobei die Umrissabbildung aus mehreren Umriss-Bildpunkten besteht, wobei die Umriss-Bildpunkte Bildpunkte repräsentieren, die auf dem Umriss angeordnet sind, wobei das Verfahren die Schritte umfasst:

(a2) Detektieren (110) der Anzahl von Umriss-Blöcken, wobei jeder der Umrissblöcke einen oder mehrere Umriss-Bildpunkte umfasst;

(b2) Berechnen (130) von Krümmungen des Umrisses bei ausgewählten Umriss-Bildpunkten, um dadurch einen Krümmungsmittelwert basierend auf den berechneten Krümmungen zu ermitteln, wobei eine Krümmung des Umrisses (30) bei einem ausgewählten Umriss-Bildpunkt (T2) eine Winkeländerung zwischen zwei durch den Bildpunkt gehenden Linien bezeichnet, wobei die zwei Linien durch den ausgewählten Umriss-Bildpunkt (T2) und zwei Umriss-Bildpunkte (T1, T3), die eine vorgegebene Anzahl von Umriss-Bildpunkten zu beiden Seiten des Umrisses von dem ausgewählten Umriss-Bildpunkt (T1) entfernt sind, gezogen sind;

(c2) Vergleichen der Anzahl der Umriss-Blöcke und des Krümmungsmittelwertes mit einem ersten bzw. zweiten Schwellenwert;

(d2) Kodieren (200) der Umrissabbildung unter Verwendung eines ersten Umrisskodierungverfahrens, wenn die Anzahl der Umriss-Blöcke kleiner ist als der erste vorgegebene Schwellenwert und der Krümmungsmittelwert größer oder gleich dem zweiten vorgegebenen Schwellenwert ist; und

(e2) Kodieren (300) der Umrissabbildung unter Verwendung eines zweiten Umrisskodierungsverfahrens, wenn die Anzahl der Umriss-Blöcke größer oder gleich dem ersten vorgegebenen Schwellenwert ist oder der Krümmungsmittelwert kleiner als der zweite vorgegebene Schwellenwert ist,

wobei das erste Umrisskodierungsverfahren ein Kettenkodierungsverfahren ist und das zweite Umrisskodierungsverfahren eine polygonale Approximation und eine diskrete Sinustransformation umfasst.

4. Verfahren nach Anspruch 1, bei dem der Krümmungsmittelwert definiert ist als:

CM = 1/M θi²

wobei CM den Krümmungsmittelwert bezeichnet; M die Anzahl der ausgewählten Umriss-Bildpunkte ist; und θi die Krümmung an jedem der ausgewählten Umriss-Bildpunkte bezeichnet.