DE4330712A1 - Verfahren und Anordnung zum Schätzen einer Bewegung in einem Bild - Google Patents

Description

Die Erfindung bezieht sich auf ein Verfahren zum Schätzen einer Bewegung in einem Bild mittels eines Bewegungsschätzers, dessen Eingang ein Signal zugeführt bekommt, das Information über die Pixel des Bildes liefert, wobei dieses Signal digitale Daten mit einem Leuchtdichtesignal und einem Farbartsignal enthält.

Die Erfindung bezieht sich ebenfalls auf eine Anordnung mit einem Bewegungsschätzer, dessen Eingang ein Signal erhält, das Information über die Pixel eines Bildes liefert zum Schätzen einer Bewegung in diesem Bild, das durch digitale Daten dargestellt wird mit einem Leuchtdichtesignal und einem Farbartsignal.

Ein derartiges Verfahren und eine solche Anordnung werden benutzt zur Datenreduzierung bei digitalem Fernsehen oder bei Fernsehen mit digital zugeordneten Daten ("DATV").

Es ist bekannt, Bewegungsinformation für Elemente eines Fernsehbildes zu erhalten mit Hilfe eines Bewegungsschätzers auf Basis des Leuchtdichtesignals, das einen Bewegungsvektor für die Leuchtdichte liefert. Wenn aber die Leuchtdichte konstant ist, während der Farbartsignalpegel variiert (beispielsweise beim Bewegen der Kamera zu Fahnen gegen einen einheitlich gefärbten Himmel, wobei die Leuchtdichte der Fahnen und die des Himmels gleich oder nahezu gleich sind, oder zu Mitteilungs­ schildern usw.) wird der Bewegungsschätzer nicht einwandfrei arbeiten, was in einer Störerscheinung in einem wiedergegebenen Bild zum Ausdruck kommt. Eine gute Lösung wäre, einen zweiten Bewegungsschätzer zu benutzen, und zwar auf Basis des Farbartsignals, der einen Bewegungsvektor für die Farbart liefert, und den Wert des Chrominanz-Bewegungsvektors zu übertragen, oder den Leuchtdichtevektor durch den Farbartvektor gewichten zu lassen.

Diese Optionen weisen den Nachteil auf, daß sie sich nur schwer in Hardware verwirklichen lassen und außerdem erfordern sie eine Änderung der genorm­ ten Datenübertragung.

Es ist eine Aufgabe der Erfindung, eine Lösung zu liefern, die diese Nachteile nicht aufweist.

Das erfindungsgemäße Verfahren weist dazu das Kennzeichen auf, daß zum Zuführen des Signals zu dem Eingang des Bewegungsschätzers ein zusammen­ gesetztes Signal erzeugt wird, das nicht nur aus dem Leuchtdichtesignal sondern auch aus dem Farbartsignal erhalten wird.

Zum Erzeugen dieses zusammengesetzten Signals wird das Farbartsignal in einem zweidimensionalen Hochpaßfilter gefiltert, das den Absolutwert des Abgeleite­ ten des Signals liefert, d. h. die Kontur der gefärbten Bildelemente. Die Verwendung eines zweidimensionalen Filters ermöglicht eine Detektion von Konturen in allen Richtungen in einem Bild.

Auf vorteilhafte Weise wird ein zweidimensionales "Sobel"-Filter verwendet. Dieser Filtertyp ist eines der einfachsten Filter zum Verwirklichen der er­ wünschten Funktion.

Auf vorteilhafte Weise wird das Farbartsignal ebenfalls in einem Horizon­ talinterpolationsfilter und in einem Vertikalinterpolationsfilter gefiltert. Die Abtastrate der am Ausgang dieser Filter gelieferten Farbabtastwerte ist auf diese Weise dieselbe wie die der Leuchtdichteabtastwerte, wodurch das Ergebnis am Ausgang (des) der Zweidimensionalfilter(s) zu dem Leuchtdichtesignal mit einer Gewichtung addiert werden kann, wobei das sich daraus ergebende Signal dem Bewegungsschätzer zu­ geführt wird.

Da das Farbartsignal mehrere Komponenten aufweist, wird ein Zweidi­ mensionalfilter für jede Farbartsignalkomponente verwendet und die Ausgangssignale dieser Zweidimensionalfilter werden addiert.

Eine erfindungsgemäße Anordnung weist Mittel auf zum Extrahieren des Farbartsignals von den Elementen, welche die Konturen der gefärbten Bildteile darstellen, und Mittel zum Addieren dieser Elemente zu dem Leuchtdichtesignal, das dem Bewegungsschätzer zugeführt wird.

Auf vorteilhafte Weise weisen die genannten Mittel zum Extrahieren der Elemente ein zweidimensionales Hochpaßfilter auf, das den Absolutwert des Abgeleite­ ten des Farbartsignals liefert.

Das Zweidimensionalfilter ist vorzugsweise ein "Sobel"-Filter.

Die Anordnung enthält vorzugsweise für das Farbartsignal mindestens ein Horizontalinterpolationsfilter und ein Vertikalinterpolationsfilter, sowie eine Addier­ schaltung zum mit einer Gewichtung Addieren der Signale von dem Zweidimensionalfil­ ter zu dem Leuchtdichtesignal, wobei das resultierende Signal dem Bewegungsschätzer zugeführt wird.

Da das Farbartsignal mehrere Komponenten aufweist, weist die Anord­ nung auf vorteilhafte Weise ein Zweidimensionalfilter auf für jede Farbartsignalkom­ ponente und eine Addierschaltung zum Zusammenaddieren der Ausgangssignale der Zweidimensionalfilter.

Diese Aspekte der Erfindung sowie andere, detailliertere Aspekte dürften aus der nachfolgenden Beschreibung einer nicht beschränkenden Ausführungsform hervorgehen. Es zeigt

Fig. 1 ein Blockschaltbild einer erfindungsgemäßen Anordnung,

Fig. 2 eine Darstellung der Konfiguration von Abtastwerten, die in einem in der Anordnung verwendeten Sobel-Filter behandelt worden sind,

Fig. 3 eine Darstellung der Abtastwerte der Signale an den jeweiligen Stellen in der Anordnung.

Die Beschreibung der Wirkung der Anordnung nach der Erfindung ist eine Beschreibung des erfindungsgemäßen Verfahrens, das folglich nicht einzeln beschrieben wird.

Die Anordnung, deren Schaltbild in Fig. 1 dargestellt ist, hat eine Ein­ gangsklemme 1 für ein gemultiplextes digitales Farbartsignal vom Typ 1250/2 : 1, mit 1440 Pixeln je Bildzeile und wobei die Abtastfrequenz 54 MHz beträgt. Dieses Signal enthält wechselweise einen als "Cb" bezeichneten Blauabtastwert sowie einen als "Cr" bezeichneten Rotabtastwert.

Die Anordnung weist ebenfalls eine Eingangsklemme 2 auf für ein digitales Leuchtdichtesignal vom Typ 1250/1 : 1 mit 1440 Pixeln je Bildzeile, wobei die Abtastfrequenz 108 MHz beträgt.

Die Eingangsklemme 1 ist mit dem Eingang einer Trennstufe 4 verbunden zum Abtrennen der Blauabtastwerte Cb von den Rotabtastwerten Cr. Diese Trennstufe 4 hat zwei Ausgänge: einen für die Abtastwerte Cb und einen für die Abtastwerte Cr. Jedes dieser Signale weist nun 720 Pixel je Bildzeile auf, abgetastet mit 27 MHz. Das Signal Cb wird dem Eingang eines Filters 5 zugeführt, das ein Horizontalinterpolations­ filter ist und das die Anzahl Abtastwerte je Zeile sowie die Abtastfrequenz verdoppelt und dem ein Medianfilter 7 nachgeschaltet ist, das ein Vertikalinterpolationsfilter ist und die Abtastfrequenz wieder verdoppelt. Zum Schluß wird das Signal einem nachher noch zu beschreibenden 3×3 zweidimensionalen Hochpaßfilter vom "Sobel"-Typ zugeführt.

Das Signal Cr von der Trennstufe 4 wird denselben Vorgängen in den Filtern 6, 8, 10 ausgesetzt, die den Filtern 5, 7 bzw. 9 entsprechen.

Die Amplituden der Ausgangssignale der "Sobel"-Filter 9 und 10 werden in einem Amplitudenaddierer 11 addiert und danach wird die resultierende Amplitude des Signals in einem Amplitudenteiler 12 halbiert.

Die Amplitude des Leuchtdichtesignals von der Eingangsklemme 2 wird in einem Amplitudenmultiplizierer 13 mit drei multipliziert und in einem Amplituden­ addierer 14 zu der Amplitude des Signals vom Amplitudenteiler 12 addiert. Es sei bemerkt, daß dies möglich ist, weil die zwei Signale, deren Amplituden addiert werden müssen, dieselbe Abtastfrequenz von 108 MHz haben und dieselbe Anzahl Abtastwerte je Bildzeile. Das resultierende Signal vom Amplitudenaddierer 14 wird zum Schluß einem Amplitudenteiler 15 zugeführt, der die Amplitude durch vier teilt und zum Schluß an einer Ausgangsklemme 3 ein Signal liefert, das einem (nicht dargestellten) Bewe­ gungsschätzer irgendeiner bekannter oder jetzt noch unbekannter Art zugeführt wird.

Mit Signalen gleicher Amplitude an den beiden Eingängen 1 und 2, wird die Amplitude des Farbsignals durch Addierung in dem Addierer 11 verdoppelt, und danach in dem Amplitudenteiler 12 auf Eins verringert. Da die Amplitude des Leucht­ dichtesignals mit drei multipliziert ist in dem Multiplizierer 13, werden das Leucht­ dichtesignal und das Farbartsignal in einem Gewichtungsgang von drei zu eins mitein­ ander vermischt, wodurch ein Signal entsteht mit einer Amplitude vier, das in dem Teiler 15 auf eins zurückgebracht wird.

Der Teiler zum Teilen der Amplitude durch vier ist dazu vorgesehen, das Signal auf den gewünschten, für einen bekannten Schätzer erforderlichen Pegel zu bringen. Es ist deutlich, daß auf den Teiler 15 verzichtet werden könnte, wenn ein Schätzer konstruiert werden würde, der funktionieren würde mit einem Signal, das viermal großer ist als für die bekannten Schätzer erforderlich ist. Auf ähnliche Weise werden die Werte der Amplitudenteilung oder Amplitudenmultiplikation nur als Anzeige gegeben und können beliebig anders sein, je nach der relativen Bedeutung, die man den Leuchtdichte- und Farbartkomponenten beimißt.

Die Sobel-Filter 9 und 10 sind Filter, deren Ausgang durch die nachfol­ gende Formel definiert wird:

Amplitude für das Pixel i,j =F= √(X² + Y²) wobei X und Y die nachfolgenden Werte haben:
X = (A2+2*A3+A4)-(A0+2*A7+A6)
Y = (A0+2*A1+A2)-(A6+2*A5+A4)
wobei die Abtastwerte A1, A2, A3 usw. acht Abtastwerte des Signals sind. Die Notierung in Fig. 2 stellt die Konfiguration derjenigen Pixel in dem Bild dar, deren Abtastwerte verwendet werden. Die Amplitude F desjenigen Abtastwertes, der das Pixel an der Stelle F in der Figur darstellt, wird also von Pixeln erzeugt, die auf der vorhergehenden Zeile (Abtastwerte A0, A1, A2) liegen und von denen, die an die Stelle F auf derselben Zeile grenzen (Abtastwerte A7, A3) und zum Schluß von denen auf der nachfolgenden Zeile (Abtastwerte A6, A5, A4).

Bei einer digitalen Anwendung ist es einfach zu berücksichtigen, daß das Filter einen positiven Impuls liefert, wenn ein Signal einen ansteigenden Übergang in irgendeiner Richtung hat (horizontal, vertikal oder diagonal) und daß das Filter wieder denselben Impuls liefert, wenn das Signal einen abfallenden Übergang aufweist. Am Ausgang dieses Filters wird auf diese Weise der absolute Wert der Abgeleiteten erhalten, d. h. der Absolutwert der Abgeleiteten der Amplitude für die gefärbten Teile des Bildes (für die blau gefärbten Teile: am Ausgang des Filters 9 und für die rot gefärbten Teile: am Ausgang des Filters 10).

Die Fig. 3 bis 6 zeigen Abtastmuster, mit anderen Worten, sie zeigen, wie diejenigen Pixel in dem Bild liegen, die den in den oben beschriebenen Schaltungs­ anordnungen verarbeiteten Abtastwerten entsprechen.

Fig. 3 zeigt das Signal am Eingang der Trennschaltung 4. Die Quadrate stellen Abtastwerte der Farbe Blau dar und die Dreiecke die Abtastwerte der Farbe Rot. Die voll-gezogenen Quadrate und Dreiecke zeigen die Abtastwerte des ungeradzahligen Teilbildes und die gestrichelten Quadrate und Dreiecke zeigen die Abtastwerte des geradzahligen Teilbildes. Diese Abtastwerte haben eine Folgefrequenz von 54 MHz und und es gibt zwei Teilbildern von je 576 Zeilen. Die Abtastwerte stellen wechselwei­ se die Farbe Blau und die Farbe Rot dar und das Bild wird im Zeilensprungverfahren geschrieben.

Fig. 4 zeigt das Signal am Eingang des horizontalen Filters 5. Alle kleinen Figuren sind Quadrate und stellen nur Abtastwerte der Farbe Blau dar. Dies sind ganz einfach die in Fig. 3 dargestellten Abtastwerte, von denen die Abtastwerte Rot entfernt worden sind: kleine volle Kreise zeigen ebenfalls die Stellen, an denen die Abtastwerte fehlen. Nachdem die Hälfte der Abtastwerte entfernt worden ist, wird die Abtastfrequenz halbiert und beträgt 27 MHz. Es gibt zwei Teilbildner je 576 Zeilen.

Fig. 5 zeigt das Signal am Ausgang des horizontalen Filters 5. Die durch fette Linien dargestellten Quadrate stellen die vom Filter auf Basis der beiden an den erzeugten Abtastwert grenzenden erzeugten interpolierten Abtastwerte dar. Wie im Obenstehenden stellen die durch gezogene Linien dargestellten Quadrate die Abtastwerte des ungeradzahligen Teilbildes dar, während die gestrichelten Quadrate die Abtastwerte des geradzahligen Teilbildes darstellen. Die Folgefrequenz beträgt wieder 54 MHz und es gibt zwei Teilbildern von je 576 Zeilen.

Fig. 6 zeigt das Signal am Ausgang des Vertikalinterpolations-Medianfil­ ters 7. Die Quadrate sind dieselben aber die durch dicke Linien dargestellten Ab­ tastwerte stellen nun die vom Filter 7 erzeugten interpolierten Abtastwerte dar. Ein Abtastwert der Kombination dreier Abtastwerte, wie durch Pfeile angegeben, wird zwischen zwei Abtastwerte eines Teilbildes eingefügt: einer der drei Abtastwerte rührt von der vorhergehenden Zeile in demselben Teilbild her, ein anderer Abtastwert rührt von der nachfolgenden Zeile desselben Teilbildes her und der dritte rührt von der nächsten Stelle derselben Zeile des nächsten Teilbildes her. Die Anzeige "20 ms" zwischen zwei aufeinanderfolgenden Abtastwerten einer Zeile bedeutet, daß diese Abtastwerte von zwei aufeinanderfolgenden Teilbildern herrühren. Die Folgefrequenz dieser Abtastwerte wird wieder verdoppelt und beträgt nun 108 MHz. Die Darstellung anhand zeilenversprungener Zeilen wird ersetzt durch eine Darstellung mittels einer einzigen Bildes mit 1250 Bildzeilen, ebenso wie die Darstellung der Leuchtdichte.

Die jeweiligen Schaltungsanordnungen, deren Aufgaben oben definiert worden sind (Trennstufe 4, horizontale Interpolationsfilter 5 und 6, vertikale Median- Interpolationsfilter 7 und 8, zweidimensionales 3×3 Hochpaßfilter vom "Sobel"-Typ 9 und 10) können alle von einem an sich bekannten Typ sein und vom Fachmann ver­ wirklicht werden.

Es dürfte einleuchten, daß die obenstehende Beschreibung, die in diesem Fall auf ein spezielles Fernsehsystem angewandt worden ist, auf einfache Weise bei anderen Systemen angewandt werden kann, deren Kennzeichen, insbesondere diejeni­ gen, die sich beziehen auf die Art und Weise der Abtastung oder die Anzahl Pixel je Zeile, oder aber die Anzahl Komponenten, welche die Farbe beschreiben, anders sein können.

Claims (10)

1. Verfahren zum Schätzen einer Bewegung in einem Bild mittels eines Bewegungsschätzers, dessen Eingang ein Signal zugeführt bekommt, das Information über die Pixel des Bildes liefert, wobei dieses Signal digitale Daten mit einem Leucht­ dichtesignal und einem Farbartsignal enthält, dadurch gekennzeichnet, daß ein zu­ sammengesetztes Signal erzeugt wird, das nicht nur aus dem Leuchtdichtesignal sondern auch aus dem Farbartsignal erhalten wird, wobei das zusammengesetzte Signal dem Eingang des Bewegungsschätzers zugeführt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Farbart­ signal in einem zweidimensionalen Hochpaßfilter gefiltert wird, das den Absolutwert des Abgeleiteten des Signals liefert, d. h. die Kontur der gefärbten Bildelemente.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß ein zweidimen­ sionales sog. "Sobel"-Filter verwendet wird.

4. Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, daß das Farbartsignal ebenfalls in einem Horizontalinterpolationsfilter und in einem Vertikalinterpolationsfilter gefiltert wird, daß das Ergebnis am Ausgang (des) der Zweidimensionalfilter(s) zu dem Leuchtdichtesignal mit einer Gewichtung addiert wird, wobei das sich daraus ergebende Signal dem Bewegungsschätzer zugeführt wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, wobei das Farbartsignal mehrere Komponenten aufweist, dadurch gekennzeichnet, daß das Zweidimensionalfilter für jede der Farbartsignalkomponenten verwendet wird und daß die Ausgangssignale dieser Zweidimensionalfilter addiert werden.

6. Anordnung mit einem Bewegungsschätzer, dessen Eingang ein Signal erhält, das Information über die Pixel eines Bildes liefert zum Schätzen einer Bewegung in diesem Bild, das durch digitale Daten dargestellt wird mit einem Leuchtdichtesignal und einem Farbartsignal, dadurch gekennzeichnet, daß diese Anordnung Mittel aufweist zum aus dem Farbartsignal Extrahieren von Elementen, welche die Konturen der gefärbten Bildteile darstellen, und Mittel zum Addieren dieser Elemente zu dem Leuchtdichtesignal, das dem Bewegungsschätzer zugeführt wird.

7. Anordnung nach Anspruch 6, dadurch gekennzeichnet, daß die genannten Mittel zum Extrahieren der Elemente ein zweidimensionales Hochpaßfilter aufweisen, das den Absolutwert des Abgeleiteten des Farbartsignals liefert.

8. Anordnung nach Anspruch 7, dadurch gekennzeichnet, daß das Zweidi­ mensionale Filter ein sog. "Sobel"-Filter ist.

9. Anordnung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, daß sie für das Farbartsignal mindestens ein Horizontalinterpolationsfilter und ein Vertikalinterpolationsfilter aufweist, sowie eine Addierschaltung zum mit einer Gewich­ tung Addieren der Signale von dem Zweidimensionalfilter zu dem Leuchtdichtesignal, wobei das resultierende Signal dem Bewegungsschätzer zugeführt wird.

10. Anordnung nach einem der Ansprüche 7 bis 9, wobei das Farbartsignal mehrere Komponenten aufweist, dadurch gekennzeichnet, daß die Anordnung ein Zweidimensionalfilter für jede der Farbartsignalkomponenten und eine Addierschaltung zum Zusammenaddieren der Ausgangssignale der Zweidimensionalfilter aufweist.