DE69217444T2 - Rauschverminderung in bildübertragenen Videosignalen - Google Patents
Rauschverminderung in bildübertragenen VideosignalenInfo
- Publication number
- DE69217444T2 DE69217444T2 DE69217444T DE69217444T DE69217444T2 DE 69217444 T2 DE69217444 T2 DE 69217444T2 DE 69217444 T DE69217444 T DE 69217444T DE 69217444 T DE69217444 T DE 69217444T DE 69217444 T2 DE69217444 T2 DE 69217444T2
- Authority
- DE
- Germany
- Prior art keywords
- blocks
- block
- absolute difference
- reference image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
- In Systemen, die für die digitale Übertragung von Bildern mit so wenig Bits wie möglich entwickelt wurden, verschlechtert Rauschen von Kameras und anderen Quellen nicht nur das Bild, sondern erhöht auch die Anzahl der benötigten Bits. Solche Systeme arbeiten im allgemeinen durch Übertragung nur der Unterschiede zwischen aufeinanderfolgenden (Einzel-) Bildern, und da das Rauschen in der Natur üblicherweise zufällig ist, trägt es zu dem Unterschied bei bzw. wird zu diesem hinzuaddiert.
- Die US-A-4,729,021 offenbart eine Kodierungstechnik für digitale Fernsehsignale oder ähnliches, wobei ein digitales Videosignal in einen Blockbildungsschaltkreis gegeben wird, und dann einem Bewegungsunterscheidungsschaltkreis zugeführt wird. Wenn keine Bewegung in dem Block vorkommt, wird der Block einem Bildmittelungsschaltkreis zugeführt, welcher Durchschnittswerte der Bildelemente errechnet. Wenn der Block eine Bewegung aufweist, werden die Daten einer Vorrichtung zugeführt, welche nicht die Durchschnittswerte ermittelt und eine größere Anzahl von Bits ausgibt, als in dem Fall eines ruhigen bzw. unbewegten Blocks. Die so verschlüsselten bzw. kodierten Daten können in einer analogen Weise dekodiert werden, wobei die Daten einem von zwei Zweigen zugeführt werden, in Abhängigkeit davon, ob ein ruhiger bzw. unbewegter Block, oder ein Block, der eine Bewegung aufweist, dekodiert werden soll. In dem Fall eines ruhigen Blocks ist ein Mittelwertbildungsschaltkreis vorgesehen, welcher dazu dient, das Auftreten von ruckweisen Bewegungen (unnatürliche Bewegungen) in dem wiederhergestellten Bild zu verhindern. Ein Ansatz zur Rauschverminderung ist die Verwendung eines Bildmittelungszeitvorfilters (frame averaging temporal pre-filter). In dessen einfachster Form werden N benachbarte Bilder einer Bildsequenz miteinander gemittelt, um ein Bild zu bilden, in welchem das Signallrausch-Verhältnis S/N erhöht wird. Dies basiert auf der Tatsache, daß das Rauschen zufällig verteilt ist, so daß dessen Durchschnitt geringer sein wird als die Spitzenwerte, wohingegen der Durchschnitt eines wiederholten Signals die gleichen Werte wie das Signal aufweist. Es sei fj das eingegebene Bild und fi das Bild, welches durch Bildmittelung im Rauschen vermindert ist, und (n&sub1;, n&sub2;) die Position in dem Block. Dann gilt:
- Üblicherweise ist k = (N - 1)/2, jedoch ist es nur notwendig, daß k ε [O, N]. Wenn die eingegebene Bildfolge statisch ist, d.h. keine Bewegung aufweist, dann bewirkt dieses Verfahren die bestmögliche Rauschverminderung. Wenn ein Null-Mittelwert, stationäres, weißes Gauss-verteiltes Rauschen, mit N Bildern, die miteinander gemittelt werden, angenommen wird, so wird eine Verminderung der Varianz des Rauschens um einen Faktor von N erzielt, siehe "Two Dimensional Signal and Image Processing" von 3. Lim, (Prentice Hall, 1990, Seiten 568 - 574), insbesondere Seiten 568-9. Wenn sich jedoch das Bild bewegt, führt die Anwendung der einfachen Bildmittelung dazu, daß sich die bewegenden Objekte verwischen bzw. verschwimmen, so daß die Bildauflösung vermindert wird.
- Die Verwendung einer Bewegungskompensation mit Bildmittelung kann das Problem des Verwischens bzw. Verschwimmens lösen. Wenn eine Bewegungskompensation verwendet wird, werden N - 1 bewegungskompensierte Schätzwerte des betrachteten Referenzbildes ausgebildet, wenn N benachbarte Bilder in dem Durchschnitt verwendet werden sollen. Dann werden diese Schätzwerte, anders als die Eingabebilder, wie beim einfachen Bildmitteln, mit dem Referenzbild gemittelt, um das rauschverminderte Bild zu erzeugen. Es sei fj das Eingabebild, und fi die bewegungskompensierten bildgemittelten rauschverminderten Bilder und gj,i die bewegungskompensierte Vorhersage von fi unter Verwendung von fj, dann gilt:
- Der bewegungskompensierte Schätzwert kann durch Verwendung von Blockübereinstimmungsverfahren ermittelt werden. Diese Bilder werden in identische Blöcke aufgeteilt. Für jeden Block in dem Bild i wird der am besten übereinstimmende Block in jedem Bild j gefunden. Ein gemeinsames Kriterium zur Verwendung in der Beurteilung der besten Übereinstimmung zwischen zwei Blöcken ist die mittlere absolute Differenz MAD. Jeder Block in dem Bild i ist in dem Mittelwert enthalten.
- Sich bewegende Objekte in aufeinanderfolgenden Bildern werden durch dieses Verfahren gut abgestimmt, so daß die Bildauflösung erhalten bleibt. Die besten Übereinstimmungen werden erhalten, wenn kleine Blöcke verwendet werden. Wenn jedoch ein Blockübereinstimmungsverfahren (block matching) auf einen Block angewendet wird, welcher kleine Signalbestandteile und viel Rauschen aufweist, stimmt der gefundene übereinstimmende Block (matching block) eher mit dem Rauschen überein als mit dem Signal, so daß, wenn ein Blockmittelungsverfahren durchgeführt wird, nur wenig Rauschverminderung erreicht wird. Die Verwendung von großen Blöcken macht es unwahrscheinlicher, daß das Rauschen als Übereinstimmung erkannt (matched) wird, jedoch kann die Leistung bei der Erkennung der Übereinstimmung von Signalen (signal matching) schlechter sein. Demzufolge ist es schwierig, eine optimale Blockgröße zu wählen.
- In Übereinstimmung mit dieser Erfindung und wie in Anspruch 1 definiert, wird eine Rauschverminderung erhalten durch adaptiertes bzw. angepaßtes Umschalten auf einer Block zu Block-Basis zwischen einfacher Bildmittelung und bewegungskompensierter Bildmittelung. Wenn sich die Objekte innerhalb eines Blocks nicht bewegen, wird Bildmittelung verwendet, und wenn sich die Objekte bewegen, wird bewegungskompensierte Bildmittelung verwendet. In der bewegungskompensierten Bildmittelung werden die Blöcke eines Referenzbildes mit deren passenden Blöcken in anderen Bildern gemittelt. Eine Art zu bestimmen, ob Bewegung vorliegt oder nicht, ist die mittlere absolute Differenz, MAD&sub0;, zwischen jedem Block in dem Referenzbild, für welchen das Rauschen vermindert werden soll, und Blöcken in anderen Bildern an derselben Stelle, zu ermitteln. Wenn sich die Objekte in dem Block der untersucht wird nicht bewegen, hat MAD&sub0; einen sehr geringen Wert, so daß keine Notwendigkeit besteht, eine Bewegungskompensation zu verwenden. Wenn jedoch MAD&sub0; für einen Block in einem anderen Bild größer ist, als ein gegebener Wert A, sollte eine Bewegungskompensation berücksichtigt werden.
- Bei der Bewegungskompensation wird ein versetzter Block in einem anderen Bild gefunden, der die beste Übereinstimmung mit dem Block in dem Referenzbild hat. Dieser Block kann der sein, der eine minimale absolute Differenz, MADmin, mit dem Block in dem Referenzbild hat. Es wurde beobachtet, daß, wenn ein Block nur Rauschen enthält, die Werte von MAD&sub0; und MADmin nahe beieinander liegen und beide relativ klein sind, doch wenn ein Block ein bewegtes Objekt enthält, wird MAD&sub0; sehr groß und MADmin wird erheblich geringer, jedoch größer als in dem Fall, wo nur Rauschen vorliegt. Demzufolge kann, wenn das Verhältnis von MAD&sub0; zu MADmin größer ist, als ein vorherbestimmter Wert B, der passende Block in dem anderen Bild gemittelt werden mit dem Block in dem Referenzbild.
- Dieses Verfahren erlaubt die Verwendung von kleineren Blöcken, so daß weniger Verwischen oder Verstimmen vorkommt, weil, wenn der Block in dem Referenzbild hauptsächlich aus Rauschen besteht und mit einem Block mit Rauschen als passend ermittelt (matched) wird, wird der passende Block nicht verwendet.
- In Übereinstimmung mit einem Aspekt dieser Erfindung wird ein Block, der einen Wert für MADmin hat, welcher größer ist als ein empirisch bestimmter Wert C, als durch eine schlechte Bewegungsschätzung verursacht angesehen, wie aufgrund eines Wechsels der Szene bzw. des gesamten Bildes erachtet, so daß er nicht in den Mittelwert eingeschlossen wird.
- Es sei (n&sub1;, n&sub2;) die Position in dem Bewegungsblock der Größe (N&sub1;, N&sub2;) und d&sub1;, d&sub2; die Verschiebungen, und die fi's sind die Eingabebilder,
- In einigen Fällen kann das Kriterium, welches zum Auffinden eines passenden Blocks (block matching) verwendet wird, der minimale Wert des mittleren quadratischen Fehlers (Mean Square Error - MSE) sein, wobei:
- In Übereinstimmung mit einem weiteren Aspekt dieser Erfindung können die Blöcke aus verschiedenen Bildern direkt gemittelt werden, oder sie können gewichtet werden, z.B. wird Blöcken aus Bildern, welche weiter von dem Referenzbild entfernt sind, ein geringeres Gewicht gegeben. Das kann durch die folgenden Gleichungen ausgedrückt werden:
- Für einfache (nicht-versetzte) gewichtete Bildmittelung:
- Für bewegungskompensierte, gewichtete Bildmittelung:
- wobei
- Für den Fall der direkten Mittelung betragen die Gewichte aj = 1.
- Fig. 1 ist ein Blockschaltbild, welches die Bildmittelung aus dem Stand der Technik veranschaulicht;
- Fig. 2 ist ein Blockschaltbild, welches eine bewegungskompensierte Bildmittelung gemäß dem Stand der Technik veranschaulicht;
- Fig. 3 ist ein Blockschaltbild, welches die Verwendung einer Rauschverminderungsvorrichtung in einem System, in dem eine Signalkompression bzw. Datenreduktion verwendet wird, veranschaulicht;
- Fig. 4 ist ein Graph, welcher Betriebsfaktoren der Erfindung zeigt; und
- Fig. 5 und 6 sind die jeweiligen Bereiche eines Flußdiagramms, welches das Verfahren, das von der Erfindung bei der Rauschverminderung verwendet wird, veranschaulicht.
- Fig. 1 zeigt die Funktionsweise des Verfahrens zum Vermindern des Rauschens gemäß dem Stand der Technik durch Mitteln von drei aufeinanderfolgenden Bildern, so daß N = 3 in Gleichung 1. Die Bilder f&sub1;, f&sub2; und f&sub3; werden auf einen Addierer 2 gegeben, und dessen Ausgang wird durch drei in einem Teiler 4 geteilt, so daß ein rauschvermindertes Bild f&sub2; als ein Referenzbild f&sub2; ermittelt wird. Die nächste Folge von drei Bildern f&sub2;, f&sub3; und f&sub4; liefert ein rauschvermindertes Bild f&sub3; als ein Referenzbild f&sub3; in einer ähnlichen Art durch Addieren der Bilder in einem Addierer 6 und Teilen des Ausgangs des Addierers durch drei in einem Teiler 8. Dies erfordert das Speichern von zwei Bildern in einem Speicher und die Addition deren Bildelemente (Pixels) und den Bildelementen eines aktuellen Bildes, wenn diese ankommen. Wenn keine Bewegung vorliegt, ist dies das wirksamste Verfahren zur Rauschverminderung, jedoch wird jedes sich bewegende Objekt verwischt.
- In dem Stand der Technik, der in Fig. 2 gezeigt ist, wird das Verwischen bzw. Verschwimmen vermindert durch die Verwendung von Bewegungskompensation. Das Bild f&sub1;, das Referenzbild, f&sub2;, und das Bild f&sub3; werden in identische Blöcke von Bildelementen aufgeteilt, z.B. mit acht Bildelementen auf einer Seite, so daß jeder Block vierundsechzig Bildelemente enthält. Wenn ein Block von dem Bild f&sub2; adressiert wird, sucht eine Bewegungskompensationsvorrichtung 10 in einem Bereich von f&sub1;, der die Position des Blocks umgibt, nach einem passenden Block. Das kann durch das Auffinden der mittleren absoluten Differenz zwischen jedem Bildelement in einem Block von f&sub1; durchgeführt werden, das bedeutet innerhalb des Suchbereichs und den entsprechenden Bildelementen des adressierten Blocks von f&sub2; und Bestimmen des Mittelwerts MAD dieser Differenzen bzw. Unterschiede. Der Block in dem Suchbereich von f&sub1;, welcher die geringste Differenz MADmin aufweist, wird durch eine Auswahlvorrichtung 12 gefunden und einem Addierer 14 zugeführt. Die Blöcke in dem Referenzbild f&sub2;, für welche etwas Passendes bzw. ein passender Block gesucht wurde, werden durch eine Vorrichtung 16 ausgewählt und dem Addierer 14 zugeführt. Eine Bewegungskompensationsvorrichtung 18 und eine Auswahlvorrichtung 20 finden einen Block in f&sub3;, der den geringsten MADmin in Bezug auf den ausgewählten Block in f&sub2; aufweist und führen diesen dem Addierer 14 zu. Die Vorrichtung 22 teilt den Ausgang des Addierers 14 durch drei, um so den Block herzustellen, welcher verwendet werden soll in dem rauschreduzierten Bild f&sub2; für das Bild f&sub2;. Dieses Verfahren wird für alle Blöcke in f&sub2; verwendet.
- Fig. 3 zeigt, daß die Rauschverminderungsvorrichtung 24 über der Vorrichtung 26 zur Komprimierung der Anzahl der zur Übertragung benötigten Bits eingefügt wurde, sei es, daß sie gemäß dem Stand der Technik oder gemäß dieser Erfindung konstruiert ist.
- Fig. 4 ist eine graphische Darstellung der Verhältnisse zwischen MAD&sub0; und MADmin sowie der Werte von MAD&sub0; und MADmin, die berücksichtigt werden bei der Bestimmung, ob ein identisch angeordneter Block in einem anderen Bild, ein versetzter oder passender Block von diesem Bild, oder kein Block von diesem Bild verwendet werden sollte, zum Erhalten eines Mittelwertes, welcher verwendet wird für einen Block in dem Referenzbild. MAD&sub0; ist der Mittelwert der absoluten Differenzen zwischen Bildelementen in dem Block in einem Referenzbild, für welches Rauschen vermindert werden soll, und den Bildelementen in einem Block, welche die gleiche Position in einem anderen Bild haben, und MADmin ist der Mittelwert der absoluten Differenzen zwischen den Bildelementen in einem Block von einem Referenzbild und den Bildelementen von einem passenden Block in einem anderen Bild. Der passende Block ist der, welcher den minimalen Wert der mittleren absoluten Differenz MAD hat, welcher MADmin ist.
- Aus Fig. 4 kann gesehen werden, daß MADmin nie geringer ist als MAD&sub0;. Der Grund hierfür ist, daß, wenn der Block, der die gleiche Position wie der Block, für welchen ein passender Block gesucht wird, den minimalen Wert von MAD hat, wäre es der passende Block. Es ist wichtig festzuhalten, daß, wenn MAD&sub0; geringer ist als ein empirisch bestimmter Wert von A, oder wenn das Verhältnis von MAD&sub0; zu MADmin nicht größer ist, als ein empirisch bestimmter Wert von B, ein passender oder versetzter Block nicht in dem Mittelwert verwendet wird. Schließlich wird in einem bevorzugten Verfahren ein passender Block nicht verwendet, wenn MADmin größer ist als ein empirisch bestimmter Wert C. Die Werte von A, B und C können variieren mit der Anzahl von Bildelementen in einem Block, jedoch für einen Block, welcher vier Bildelemente breit und zwei Bildelemente hoch ist, wurden Werte von A = 80, B = 2 gefunden, um gute Ergebnisse zu erzielen.
- Die Gründe für die Verwendung von Werten wie A, B und C sind wie folgt. Wenn MAD&sub0; nicht größer ist als A, wird angenommen, daß sich die Objekte in dem Block nicht bewegen. Deshalb sollte der nicht versetzte Block eher verwendet werden als der versetzte Block. Wenn das Verhältnis MAD&sub0;/MADmin geringer ist als B, wird berücksichtigt, daß die Differenzen zwischen den Blöcken aufgrund von Rauschen vorkommen, so daß der nicht versetzte Block verwendet wird. Wenn MADmin für einen Block den Wert C überschreitet, ist dies wahrscheinlich aufgrund eines Wechsels der Szene oder eines auf der Kante eines Rahmens, wenn eine Kamera schwenkt und nicht aufgrund der Bewegung, so daß er nicht in dem Mittelwert verwendet werden sollte.
- Die Flußdiagramme von Fig. 5 und 6 zeigen ein Verfahren zur Durchführung der Erfindung.
- In dem Flußdiagramm von Fig. 5 zeigt ein Block 28 an, daß erhaltene Bilder von Daten um ein Bild verzögert werde, und ein Block 30 bestimmt, ob die Anzahl von Bildern, die in dem Mittelwert berücksichtigt werden sollen, erhalten wurden oder nicht. Demzufolge, wenn N = 3, würden drei Bilder verfügbar sein müssen, bevor der Block 30 eine Ja- Antwort gibt.
- Ein Block 32 sucht dann eines der Bilder, die verfügbar sind, aus, und wenn das zufälligerweise das Referenzbild ist, Block 34, d.h. das Bild, für welches Rauschen vermindert werden soll, dann werden alle Blöcke für dieses Bild zur Mittelwertbildung gehalten bzw. gespeichert, Block 36, wenn keine Berechnungen benötigt werden.
- Wenn das ausgewählte Bild ein anderes ist als das Referenzbild, wählt ein Block 38 einen Block in dem Referenzbild, und MAD&sub0; wird berechnet für einen nicht versetzten Block in dem ausgewählten Bild, und wenn MAD&sub0; < A ist, wird der nicht versetzte Block zur Mittelwertbildung gehalten bzw. gespeichert, Block 44 von Fig. 6.
- Wenn MAD&sub0; nicht < A ist, Block 42, schreitet das Verfahren fort entlang einer Linie 45 zu einem Block 46 von Fig. 6, wo ein passender Block in dem Bild, das gemittelt werden soll, gefunden wird, Block 46 von Fig. 6, für den Block in dem Referenzbild. Weil der Wert von MAD für den passenden Block bestimmt werden muß beim Auffinden, daß es ein passender Block ist, wird dessen MAD als MADmin zurückbehalten bzw. abgespeichert. Ein Block 48 bestimmt dann, ob MAD&sub0; für den ausgewählten Block in dem Referenzbild kleiner ist als BMADmin für den passenden Block, und wenn es so ist, wird der nicht versetzte Block zur Mittelwertbildung gehalten bzw. gespeichert, Block 44.
- Andererseits, wenn MAD&sub0; für einen Block in dem Referenzbild nicht ( BMADmin ist, ist dieser ein Kandidat, der in dem Mittelwertbildungsverfahren verwendet wird, jedoch bevor dieses durchgeführt wird, in einer bevorzugten Ausführungsform der Erfindung, bestimmt ein Block 50, ob MADmin ) C ist. Wenn das so ist, ist der Block möglicherweise das Ergebnis eines Wechsels in der Szene oder auf der Kante eines Rahmens, wenn eine Kamera geschwenkt wird, so daß er nicht in der Mittelwertbildung wie durch Block 52 gezeigt, verwendet werden sollte. Jedoch, wenn MADmin für den passenden Block nicht > C ist, Block 50, hält bzw. speichert ein Block 54 den passenden versetzten Block zur Mittelwertbildung. Wenn dieser Aspekt der Erfindung nicht verwendet wird, können die Blöcke 50 und 52 ausgelassen werden, so daß das Verfahren von dem NEIN-Ausgang des Blocks 48 zu dem Eingang des Blocks 54 fortschreitet.
- Ein Block 56 bestimmt dann, ob weitere Blöcke in dem Bild, das bearbeitet werden soll, vorliegen. Wenn dem so ist, kehrt das Verfahren über Linie 57 zurück zu den Block 38 von Fig. 5, und ein anderer Block in dem Referenzbild wird bearbeitet wie eben beschrieben. Wenn jedoch alle Blöcke in einem Bild, das gemittelt werden soll, verarbeitet worden sind, bestimmt ein Block 58, ob weitere Bilder, welche verarbeitet werden sollen, vorliegen. Wenn z. B. N = 3 und nur zwei Bilder verarbeitet wurden, kehrt das Verfahren zurück über eine Linie 59 zu dem Block 32 für die Auswahl eines anderen Bilds. Wenn keine weiteren Bilder für den Mittelwert benötigt werden, sind die Mittelwerte für die Blöcke, die zur Mittelwertbildung gehalten bzw. gespeichert wurden, erhalten, Block 60, und das Verfahren kehrt zurück zum Block 28 über Linie 61, so daß das ganze Verfahren wiederholt wird, um die Mittelwerte für Blöcke in dem nächsten Referenzbild zu finden.
- -Der Block 60 kann als ein Zeitfilter mit gleichen Gewichten bzw. Gewichtungen wie in Gleichungen 1 und 2, oder mit ungleichen Gewichten bzw. Gewichtungen wie in Gleichungen 7 und 8 betrieben werden.
- Einer der Vorteile des Verfahrens, das in den Flußdiagrammen von Figuren 5 und 6 gezeigt ist, ist, daß das Verfahren zum Auffinden von passenden Blöcken (matching process) des Blocks 46 nicht durchgeführt werden muß für Blöcke in dem Referenzbild, für welches der Block 48 bestimmt, daß MAD&sub0; < BMADmin.
Claims (10)
1. Verfahren zur Verminderung des Rauschens in Videosignalen für
aufeinanderfolgende (Einzel-) Bilder, wobei:
a) jeweils die Bildelementsignale (Pixelsignale) von Blöcken eines Referenzbildes mit
den Bildelementsignalen von entsprechenden Blöcken in einem anderen Bild
gemittelt werden, wenn keine Bewegung zwischen diesen Blöcken vorliegt;
dadurch gekennzeichnet, daß
b) die Bildelementsignale von Blöcken des Referenzbildes jeweils mit den
Bildelementsignalen ihrer jeweils passenden Blöcke des anderen Bildes gemittelt werden, wenn
Bewegung zwischen den Blöcken vorliegt.
2. Verfahren nach Anspruch 1, wobei die Feststellung von Bewegung auf den Werten
einer mittleren absoluten Differenz (MAD&sub0;) zwischen jedem Block des
Referenzbildes und Blöcken in anderen Bildern an derselben Stelle und einer minimalen
absoluten Differenz (MADmin) eines versetzten Blockes in einem anderen Bild, das
die beste Übereinstimmung mit einem Block in dem Referenzbild hat, basiert.
3. Verfahren nach Anspruch 2, wobei Bewegung zwischen entsprechenden Blöcken von
zwei Bildern als vorliegend angesehen wird, wenn die mittlere absolute Differenz
(MAD&sub0;) größer ist als ein erster vorherbestimmter Grenzwert (A), und wenn das
Verhältnis der mittleren absoluten Differenz (MAD&sub0;) zu der minimalen absoluten
Differenz (MADmin) größer ist als ein zweiter vorherbestimmter Grenzwert (B).
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei der passende Block
von der Mittelung ausgenommen wird, wenn die minimale absolute Differenz
(MADmin) größer ist als ein dritter Grenzwert (C).
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei jeder der Blöcke
Abmessungen von vier Bildelementen (Pixels) mal zwei Bildelementen (Pixels) hat,
und wobei der erste Grenzwert (A) 80 und der zweite Grenzwert (B) 2 ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Mittelung so
ausgeführt wird, daß alle Blöcke das gleiche Gewicht besitzen.
7. Verfahren nach einem der Ansprüche 1 bis 5, wobei der Mittelungsschritt durch
gewichtetes Mitteln ausgeführt wird, so daß Blöcken von Bildern, welche zeitlich
betrachtet weiter vom Referenzbild versetzt sind, ein geringeres Gewicht gegeben
wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei:
aus einer Anzahl von Bildern ein Referenzbild ausgewählt wird, in welchem das
Rauschen vermindert werden soll;
der Wert der mittleren absoluten Differenz (MAD&sub0;) für jeden aus einer Vielzahl von
Blöcken von Bildelementen in dem Referenzbild in Bezug auf entsprechende Blöcke
in mindestens einem anderen Bild abgeleitet wird;
für jeden der Blöcke in einem Referenzbild mit einem Wert der mittleren absoluten
Differenz (MAD&sub0;) größer als der vorherbestimmte erste Grenzwert (A) der Wert der
minimalen absoluten Differenz (MADmin) eines passenden Blocks in zumindest einem
weiteren Bild abgeleitet wird;
die Blöcke des Referenzbildes mit entsprechenden Blöcken von zumindest einem
weiteren Bild gemittelt werden, wenn
der Wert von deren mittlerer absoluter Differenz (MAD&sub0;) kleiner ist als der
erste vorherbestimmte Grenzwert (A), oder
das Verhältnis der Werte der mittleren absoluten Differenz (MAD&sub0;) zu der
minimalen absoluten Differenz (MADmin) kleiner ist als der vorherbestimmte zweite
Grenzwert (B); und
die Blöcke des Referenzbildes mit ihren passenden Blöcken in zumindest
einem weiteren Bild gemittelt werden, wenn
der Wert der mittleren absoluten Differenz (MAD&sub0;) größer ist als der
vorherbestimmte erste Grenzwert (A) und das Verhältnis der Werte der mittleren
absoluten Differenz (MAD&sub0;) zu der minimalen absoluten Differenz (MADmin) eines
passenden Blocks größer ist als der zweite vorherbestimmte Grenzwert (B).
9. Verfahren nach Anspruch 8, wobei der passende Block von der Mittelung
ausgeschlossen wird, wenn dessen Wert der minimalen absoluten Differenz (MADmin)
größer ist als der vorherbestimmte dritte Wert (C).
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei:
aus einer Anzahl von Bildern ein Referenzbild ausgewahlt wird, in welchem das
Rauschen vermindert werden soll;
die Blöcke in dem Referenzbild sequentiell adressiert werden;
die Blöcke in dem Referenzbild zur Mittelung gehalten bzw. gespeichert werden;
der Wert der mittleren absoluten Differenz (MAD&sub0;) für Blöcke in dem Referenzbild
ermittelt wird;
die entsprechenden Blöcke in zumindest einem weiteren Bild zur Mittelung mit den
Blöcken in dem Referenzbild, für welches der Wert der zugehörigen mittleren
absoluten Differenz (MAD&sub0;) kleiner ist als der erste vorherbestimmte Grenzwert
(A), gehalten werden;
passende Blöcke in dem zumindest einem weiteren Bild für Blöcke in dem
Referenzbild, für welche der Wert der mittleren absoluten Differenz (MAD&sub0;) größer ist als
der vorherbestimmte erste Grenzwert (A), gefunden werden;
die Werte der minimalen absoluten Differenz (Madmin) für die passenden Blöcke
zur Verfügung gestellt werden;
die passenden Blöcke zur Mittelung mit dem Block in dem Referenzbild, für
welchen sie passend sind, gehalten werden, wenn das Verhältnis des Werts der
minimalen absoluten Differenz (MADmin) zu dem Wert der mittleren absoluten Differenz
(MAD&sub0;) für den Block in dem Referenzbild, für welchen sie passend sind, größer ist
als der zweite vorherbestimmte Grenzwert (B); und
die Blöcke, die zur Mittelung mit dem Block von dem Referenzbild gehalten
wurden, gemittelt werden.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US07/788,026 US5208673A (en) | 1991-11-05 | 1991-11-05 | Noise reduction in frame transmitted video signals |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE69217444D1 DE69217444D1 (de) | 1997-03-27 |
| DE69217444T2 true DE69217444T2 (de) | 1997-07-10 |
Family
ID=25143219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE69217444T Expired - Fee Related DE69217444T2 (de) | 1991-11-05 | 1992-09-24 | Rauschverminderung in bildübertragenen Videosignalen |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5208673A (de) |
| EP (1) | EP0540872B1 (de) |
| JP (1) | JP2941582B2 (de) |
| CA (1) | CA2080086A1 (de) |
| DE (1) | DE69217444T2 (de) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5805762A (en) * | 1993-01-13 | 1998-09-08 | Hitachi America, Ltd. | Video recording device compatible transmitter |
| US5444575A (en) * | 1994-01-21 | 1995-08-22 | Hitachi America, Ltd. | Method for recording digital data using a set of heads including a pair of co-located heads to record data at a rate lower than the full recording rate possible using the set of heads |
| US5717816A (en) * | 1993-01-13 | 1998-02-10 | Hitachi America Ltd. | Method and apparatus for the selection of data for use in VTR trick playback operation in a system using intra-coded video frames |
| US5887115A (en) * | 1993-01-13 | 1999-03-23 | Hitachi America, Ltd. | Method and apparatus for implementing a video tape recorder for recording digital video signals having either a fixed or variable data transmission rate |
| US5438374A (en) * | 1993-12-10 | 1995-08-01 | At&T Corp. | System and method for filtering video signals |
| US5442407A (en) * | 1994-03-22 | 1995-08-15 | Matsushita Electric Corporation Of America | Video signal noise reduction system using time-varying filter coefficients |
| US5506622A (en) * | 1994-05-02 | 1996-04-09 | Daewoo Electronics Co., Ltd. | Block matching type motion vector determination using correlation between error signals |
| JP3228638B2 (ja) * | 1994-06-08 | 2001-11-12 | 松下電器産業株式会社 | 背景差分法を用いた移動体検出方法 |
| US6101276A (en) * | 1996-06-21 | 2000-08-08 | Compaq Computer Corporation | Method and apparatus for performing two pass quality video compression through pipelining and buffer management |
| SE511733C2 (sv) * | 1997-04-04 | 1999-11-15 | Limt Technology Ab | Förfarande och anordning för brusreducering |
| US6535254B1 (en) | 1997-10-31 | 2003-03-18 | Pinnacle Systems Inc. | Method and device for noise reduction |
| US6690835B1 (en) * | 1998-03-03 | 2004-02-10 | Interuniversitair Micro-Elektronica Centrum (Imec Vzw) | System and method of encoding video frames |
| JP3498734B2 (ja) * | 2000-08-28 | 2004-02-16 | セイコーエプソン株式会社 | 画像処理回路および画像データ処理方法、電気光学装置、ならびに電子機器 |
| US8275047B2 (en) * | 2001-09-20 | 2012-09-25 | Xilinx, Inc. | Method and device for block-based conditional motion compensation |
| KR100828353B1 (ko) * | 2003-02-05 | 2008-05-08 | 삼성전자주식회사 | 영상 블록 분할 방법 및 그 장치 |
| US7388603B2 (en) * | 2003-06-10 | 2008-06-17 | Raytheon Company | Method and imaging system with intelligent frame integration |
| JP4414904B2 (ja) * | 2004-04-16 | 2010-02-17 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
| JP2006345244A (ja) * | 2005-06-09 | 2006-12-21 | Fujitsu General Ltd | ノイズ検出方法、ノイズ低減方法、ノイズ検出装置およびノイズ低減装置 |
| JP4321626B2 (ja) * | 2007-05-23 | 2009-08-26 | ソニー株式会社 | 画像処理方法および画像処理装置 |
| US8903191B2 (en) * | 2008-12-30 | 2014-12-02 | Intel Corporation | Method and apparatus for noise reduction in video |
| WO2010150681A1 (ja) * | 2009-06-25 | 2010-12-29 | コニカミノルタオプト株式会社 | 画像入力装置 |
| JP5761195B2 (ja) * | 2010-08-02 | 2015-08-12 | 富士通株式会社 | 画像処理装置、画像処理プログラム及び画像処理方法 |
| US9323991B2 (en) | 2013-11-26 | 2016-04-26 | Xerox Corporation | Method and system for video-based vehicle tracking adaptable to traffic conditions |
| CN111311512B (zh) * | 2020-02-11 | 2024-05-03 | 上海奕瑞光电子科技股份有限公司 | 随机噪点校正方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61113377A (ja) * | 1984-11-07 | 1986-05-31 | Sony Corp | テレビジヨン信号の動き検出装置 |
| JP2512894B2 (ja) * | 1985-11-05 | 1996-07-03 | ソニー株式会社 | 高能率符号化/復号装置 |
| US4679086A (en) * | 1986-02-24 | 1987-07-07 | The United States Of America As Represented By The Secretary Of The Air Force | Motion sensitive frame integration |
| FR2606187B1 (fr) * | 1986-10-31 | 1988-12-09 | Thomson Grand Public | Procede et dispositif de reduction du bruit engendre par un codeur-decodeur d'images numeriques operant par blocs |
| DE3869475D1 (de) * | 1987-06-02 | 1992-04-30 | Siemens Ag | Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen. |
| DE68909271T2 (de) * | 1988-02-23 | 1994-03-24 | Philips Nv | Verfahren und Anordnung zum Abschätzen des Bewegungsausmasses bei einem Bildelement eines Fernsehbildes. |
| FR2633136B1 (fr) * | 1988-06-16 | 1991-10-11 | France Etat | Procede et installation de diffusion de programmes de television haute definition compatible |
-
1991
- 1991-11-05 US US07/788,026 patent/US5208673A/en not_active Expired - Lifetime
-
1992
- 1992-09-24 DE DE69217444T patent/DE69217444T2/de not_active Expired - Fee Related
- 1992-09-24 EP EP92116405A patent/EP0540872B1/de not_active Expired - Lifetime
- 1992-10-07 CA CA002080086A patent/CA2080086A1/en not_active Abandoned
- 1992-11-05 JP JP4296168A patent/JP2941582B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP0540872B1 (de) | 1997-02-12 |
| JPH05236302A (ja) | 1993-09-10 |
| DE69217444D1 (de) | 1997-03-27 |
| JP2941582B2 (ja) | 1999-08-25 |
| CA2080086A1 (en) | 1993-05-06 |
| EP0540872A1 (de) | 1993-05-12 |
| US5208673A (en) | 1993-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE69217444T2 (de) | Rauschverminderung in bildübertragenen Videosignalen | |
| EP0259562B1 (de) | Verfahren zur bewegungskompensierten Bild-zu-Bild-Prädiktionscodierung | |
| DE69529622T2 (de) | Auf mosaiken basiertes bildverarbeitungssystem und verfahren zum verarbeiten von bildern | |
| DE69421837T2 (de) | Videokoder und -dekoder | |
| DE69620984T2 (de) | Geräuschschätzungs- und Geräuschreduzierungsgerät zur Videosignalverarbeitung | |
| DE69530336T2 (de) | Bewegungskompensation für digitale Videosignale mit Zeilensprung | |
| DE69032437T2 (de) | Bewegungseinschätzer | |
| DE69524235T2 (de) | Verfahren und vorrichtung zur global-zu-lokal-block-bewegungsschätzung | |
| DE69129595T2 (de) | Systeme und Verfahren zur Kodierung alternierender Halbbilder in Zeilensprungbildsequenzen | |
| EP0154125B1 (de) | Verfahren zur bewegungsadaptiven Interpolation von Fernsehbildsequenzen sowie Anordnung und Anwendungen hierzu | |
| DE69225941T2 (de) | Bildkodierung und/oder -dekodierung | |
| DE69328602T2 (de) | Schaltungen zur Rauschunterdrückung | |
| DE69032177T2 (de) | Kodierungsgerät | |
| DE3851468T2 (de) | Kodierungsverfahren von Bildsignalen. | |
| DE69615948T2 (de) | Hierarchischer Bildkodierer und -dekodierer | |
| EP0293644B1 (de) | Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen | |
| EP0309669B1 (de) | Verfahren zur szenenmodellgestützten Bilddatenreduktion für digitale Fernsehsignale | |
| DE69519398T2 (de) | Abtastumsetzung mit Bewegungsadaptation unter Verwendung einer richtungsabhängigen Interpolation der Kanten | |
| DE3021033C2 (de) | Verfahren zur bewegungskompensierten Zwischen-Halbbild-Kodierung | |
| DE2937282C2 (de) | ||
| DE3885695T2 (de) | Bewegungsabschätzung. | |
| DE19618984B4 (de) | Verfahren zur Bewegungsbewertung in Bilddaten sowie Vorrichtung zur Durchführung dieses Verfahrens | |
| DE69024002T2 (de) | Vorrichtung zum Codieren von zweidimensionalen Informationen und entsprechende Decodiervorrichtung. | |
| DE3622204C2 (de) | Rekursivfilter zur Verminderung von Rauschen in einem Videosignalgemisch | |
| EP0525900B1 (de) | Filterschaltung zur Vorverarbeitung eines Videosignals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 8364 | No opposition during term of opposition | ||
| 8339 | Ceased/non-payment of the annual fee |