-
Die vorliegende Erfindung betrifft
das oberbegrifflich Beanspruchte und befaßt sich somit mit der Reduktion
von Daten bei Bilddatensequenzen.
-
Wenn Bilder übertragen werden sollen, treten
Probleme u. a. im Hinblick auf die zur Verfügung stehenden Datenraten der Übertragungskanäle bzw. den
Umfang des zur Verfügung
stehenden Speichervolumens auf, denn Bilddaten sind typisch sehr
umfangreich, insbesondere dann, wenn hochaufgelöste Bilder vorliegen. Dies
gilt besonders für
die Überwachung
von Objekten, wo es üblich
ist, über
einen längeren
Zeitraum kontinuierlich Bilddaten wegzuschreiben und nach Verstreichen
dieses Zeitraums von beispielsweise 48 oder 72 Stunden zyklisch
mit dem Überschreiben älterer Daten
zu beginnen, falls bis dann kein Bedarf erkannt wurde, die Daten
zu sichern. Tritt dage gen ein relevantes Ereignis auf, so liegt
dieses in einem typisch kurzen Zeitraum und es ist dann gewünscht, die
tatsächlich
relevanten Details mit einer hohen Genauigkeit wiederzugeben.
-
Es ist daher bereits üblich, den
Umfang von Bilddaten durch Kompression zu verringern. Ein bekanntes
Verfahren (JEPG-Kompression)
unterteilt das Bild etwa in eine Vielzahl von gleich großen Bereichen
(„Kacheln") und führen auf
jedem der Bereiche eine diskrete Cosinus-Transformation (DCT) mit anschließender verlustbehafteter
Lauflängen-Kodierung
der Koeffizienten (Huffmann-Encodierung) durch. Durch die Bestimmung
und Kompression der zu übertragenden
Koeffizienten wird zugleich die Qualität des zu übertragenden Bildes bestimmt.
Am Empfänger
wird für
jede Bildkachel eine Rücktransformation
mit den übertragenen
Koeffizienten durchgeführt
und dann das Bild kachelartig wieder zusammengesetzt. Es sei in
diesem Zusammenhang im übrigen
erwähnt,
daß die
Begriffe „Sender" und „Empfänger" sowie „Übertragung" nur aus Gründen der Veranschaulichung
gewählt
sind. Es sei darauf hingewiesen, daß ein Senden von Daten stets
auch lokal an eine bestimmte Einheit erfolgen kann, etwa einen Festplattenspeicher,
und daß der
Empfänger beispielsweise
derselbe PC sein kann, welcher zuvor als Sender Daten auf eine Festplatte
gespeichert hat und nun wieder von dort liest, um sie anzuzeigen. Auch
in Kameras ist es problemfrei möglich,
eine solche Kompression vorzunehmen und auf internen Speichern Bilder
abzulegen, ohne vom Konzept der Begriffe „Sender" und „Empfänger" im hier gebrauchten Sinne abzuweichen.
-
Die Kompression mit JPEG erlaubt
eine Datenreduktion unter zumindest passabler Belassung der Bildqualität bei Einzelbil dern.
Für bewegte
Bildsequenzen sind andere Verfahren bekannt. So ist das MPEG-Verfahren
verbreitet, bei welchem Bereiche eines Bildes unverändert blockweise
verschoben werden, um typischen Ereignissen bei bewegten Bildern
wie der Bewegung von Objekten, Personen usw. oder Kameraschwenks
gerecht zu werden. Zu spezifizieren ist hier nur der Block und dessen
Bewegung in einem sog. Schlüsselbild.
Es ist auch möglich,
für diese
Codierung mehrere getrennte Bildbereiche zu isolieren, separat deren
Verschiebung zu bestimmen und dann diese im Bild wieder zusammenzusetzen.
So kann etwa eine erste Bewegung für den Kopf einer Person und
eine zweite Bewegung für deren
Körper
ermittelt werden. Die unterschiedlich verschobenen Objekte werden
dann am Empfänger wieder
zusammengesetzt. Dabei wird aber in jedem Fall Gebrauch gemacht
von einem Schlüsselbild,
in dem Hintergrundinformation wiedergegeben ist und welches daher
zwingend erforderlich ist, um eine bestimmte Szenerie rekonstruieren
zu können.
Weil aber das Schlüsselbild
zwingend für
die Rekonstruktion erforderlich ist, kann nicht mit der Anzeige
eines Videostroms begonnen werden, bevor nicht dieses Schlüsselbild
vorliegt.
-
Nachteilig bei den bekannten Verfahren
ist somit unter anderem, daß die
Codierung oft sehr aufwendig ist, daß ein Schlüsselbild notwendig ist, daß die aufwendige
Codierung und das Warten auf eine Schlüsselbildübertragung eine beachtliche
Verzögerung
zwischen der am Sender erfaßten
Szene und der am Empfänger
wiedergegebenen Szene mit sich bringt und, was für bestimmte Anwendungen besonders
bedeutsam ist, daß wichtige
Details, die sich von Bild zu Bild ändern können, nicht erkennbar sind,
weil im wiedergegebenen Bild nur ein unveränderter Block verschoben wird.
Dies gilt insbesondere bei Sicherheitssystemen; wie sie bei der Überwachung
von Banken oder bestimmten Sicherheitsbereichen gebräuchlich
sind. Es wäre
wünschenswert,
zumindest einige der obigen Probleme wenigstens partiell zu lindern.
-
Das Ziel der vorliegenden Erfindung
besteht darin, Neues für
die gewerbliche Anwendung bereitzustellen.
-
Das Ziel wird erreicht mit dem in
unabhängiger
Form Beanspruchten. Bevorzugte Ausführungsformen finden sich in
den Unteransprüchen.
-
Die vorliegende Erfindung schlägt somit
in einem ersten Grundgedanken ein Verfahren zur Bildsequenzdatenreduktion
vor, bei welchem vorgesehen ist, daß Bildbereichspriorisierungsinformationen vorgesehen,
eine Bildbereichspriorisierung anhand der Bildbereichspriorisierungsinformationen
durchgeführt
und sich insbesondere von Bild zu Bild und/oder mit der Zeit ändernde,
hinreichend priorisierte Bildbereiche übertragen werden.
-
Ein erster wesentlicher Aspekt der
vorliegenden Erfindung besteht damit darin, daß die Bilddatenkomprimierung
durch Selektion erfolgt, die anhand spezifischer Selektionsinformationen
vorgenommen wird. Dies erlaubt es, lediglich jene Bildbereiche zu extrahieren,
die unter den zur Selektion herangezogenen Aspekten besonders wichtig
sind, was von vornherein die Datenrate bei der Übertragung senkt und im übrigen ermöglicht,
daß am
Empfänger
leicht Bilder aus den durch Priosierung im Hinblick auf die Priosierungsinformation
selektierte Bildbereiche durch Verknüpfung rekonstruiert werden.
Dazu ist lediglich erforderlich, eine entsprechende Menge an Bildbereichen
mit ihrer jeweiligen Lage innerhalb eines Bildes sowie der Zeit,
zu welcher sie übertragen bzw.
aufgenommen wurden, abzulegen. Durch die Auswahl unter Berücksichtigung
der Priorisierung wird also eine erste, massive Reduktion der Datenmenge
erreicht.
-
In einer besonders bevorzugten Variante wird
auf der Seite des Empfängers
ein Speicher für die
unterschiedlichen Bildbereiche vorgesehen und es werden dann die
Bilder aus den jeweils jüngsten, zur
Verfügung
stehenden Bildbereichen zusammengesetzt. Es sei noch einmal darauf
hingewiesen, daß im
Kontext der vorliegenden Anmeldung ein Empfänger auch ein Speicher sein
kann, wie ein RAM oder eine Festplatte, auf der die Bilddaten abgelegt
werden. Soweit nicht anders ersichtlich, ist gleichfalls zu verstehen,
daß dann,
wenn von einer verringerten Übertragungsrate
die Rede ist, genauso gut auf das zeitliche Integral derselben Bezug
genommen werden könnte,
also auf die Gesamtdatenmenge einer Bildsequenz.
-
Es ist besonders bevorzugt, wenn
innerhalb der Bildsequenz von Bild zu Bild zumindest für eine Vielzahl
von Bildern gleiche Bereiche vorgesehen werden. Besonders leicht
kann dies durch kachelartige Überdeckung
des Bildes mit immer gleichen Kacheln erreicht werden. Aufgrund
der Kürze
und Anschaulichkeit dieses Begriffes wird er nachfolgend oftmals
an Stellen verwendet, an denen statt dessen genauso gut auf nicht-kachelartige
Bildbereiche Bezug genommen wird.
-
Dies erlaubt zugleich eine weitere
Kompression des Datenstromes unter Rückgriff auf herkömmliche
Verfahren, wie die JPEG-Kompression.
Es sei in diesem Zusammenhang erwähnt, daß es durchaus möglich ist,
unterschiedliche Kompressionsverhältnisse für unterschiedliche Kacheln
vorzusehen. So kann für ein
Auffrischen von Bildbereichen ohne weitere Änderung eine andere Kompression
gewählt werden
als bei Kacheln, in denen große Änderungen im
Bild vorliegen. Dadurch kann gegebenenfalls die Übertragungsrate noch weiter
gesenkt werden.
-
Als Bildbereichspriorisierungsinformation können verschiedene
Größen ausgewertet
werden. Erwähnt
sei insbesondere für
die zyklische Auffrischung des Bildes die Zeit seit der letzten Übertragung;
diese ist auch deshalb wichtig, weil durch die Berücksichtigung
der Zeit seit der letzten Übertragung
kurzfristig zurückliegende,
sehr starke Änderungen
herangezogen werden können,
um einen Bildbereich hoch zu priorisieren. Dies ist etwa dann vorteilhaft,
wenn eine Person in ein Bild tritt, was an der Kante zunächst sehr
starke Änderungen
zur Folge hat. Es wird ein Benutzer dann aber typisch wissen wollen,
was nach dem Eintritt der Person in das Bild zu sehen ist. Ein Kantendurchlauf
wird daher typisch dazu führen,
daß man
den entsprechenden Bildbereich einige Zeit länger beobachtet. Weiter ist es
möglich,
Differenzen eines Bildbereiches zu einem Vorgängerbildbereich in einem Vorgängerbild
zu bestimmen, insbesondere dem unmittelbar vorhergehenden Bild,
oder einem mittleren Bild, wobei dieser Mittelwert unter Wichtung
bestimmt werden kann, etwa, um ein allmähliches „Abklingen" eines Vorgängerbildes zu simulieren. Es
kann auch das Auftreten von starken Änderungen in Nachbarfeldern
berücksichtigt
werden. Hier ist es insbesondere möglich, daß solche Nachbarbereiche mit
verringerter Auflösung,
also höherer
Kompression ihrer Kacheln im Vergleich zu jenen Bereichen übertragen
werden, in denen die Änderung
tatsächlich
stattgefunden hat.
-
Es ist möglich, bei der Differenzbildung
Helligkeits- und/oder
Farbunterschiede in wenigstens einem Farbkanal auszuwerten. Es sei
auch erwähnt, daß diese
Unterschiede unter Berücksichtigung
von Schwellwerten und/oder typischen, mittleren Änderungen von allen Kacheln
für eine
aktuelle Priorisierung herangezogen werden können. Bei der Priorisierung
können
sowohl lokale als auch globale Unterschiede zu einem unmittelbar
oder langfristig zurückliegenden
Bild ausgewertet werden. Globale Unterschiede berücksichtigen
dabei Änderungen
im Gesamtbild, wie sie etwa durch das Einschalten einer Beleuchtung
auftreten, lokale berücksichtigen
eher die tatsächlichen Änderungen
in einer Bildkachel oder einem anders definierten Bildbereich. Bezüglich der
Bildkacheln sei noch einmal betont, daß einleuchtenderweise überlappende
Bildbereiche gleichfalls für
die Priorisierung herangezogen werden können und eine Kachelung mit
aneinderliegenden Kacheln keinesfalls zwingend, wohl aber vorteilhaft
ist.
-
Die verschiedenen Einflußfaktoren,
wie sie nur beispielhaft für
bevorzugte Formen der Erfindung aufgezählt wurden, können auf
unterschiedliche Weise verknüpft
werden, etwa durch additive Verknüpfung dergestalt, daß gleichzeitig
eine Reihe von Bedingungen erfüllt
sein muß,
damit ein Bildbereich für die Übertragung
ausgewählt
wird und/oder es kann eine Wichtung bzw. eine Bestimmung mittels
Verfahren der unscharfen Logik erfolgen.
-
Besonders bevorzugt ist es, wenn
dem Datenstrom der zu übertragenden
Bildbereiche Information darüber
beigefügt
wird, welche die Lage der priorisierten Bildbereiche im Bild angibt.
Alternativ wäre es
möglich,
diese Information am Empfänger
zu rekonstruieren, da auch bei starken Änderungen im Bild typisch noch
jene Kacheln oder Bildbereiche identifizierbar sind, die jeweils übertragen
wurden. Der typische Overhead durch die Mitübertragung von Bereichsinformation
ist jedoch so gering, daß der
zusätzliche
Rechenaufwand bevorzugt vermieden wird.
-
Daß neben einer Kachelung auch
andere Arten der Bildbereichsbestimmung wie eine Vektorisierung,
Polygonzugbestimmung usw., Bitmapübertragung etc. möglich ist,
sei erwähnt.
-
Es sei erwähnt, daß die Verfahren in Videokameras
oder dergleichen implementierbar sind, genauso wie in herkömmlichen
Computersystemen. Schutz wird daher auch beansprucht sowohl für eine Videokamera,
die zur Ausführung
eines der Verfahren der Erfindung bestimmt und geeignet ist, als
auch für
Software, die beim Aufspielen auf eine Bilddaten manipulierende
Einrichtung wie ein Computersystem die Ausführung eines Verfahrens gemäß der Erfindung
ermöglicht.
-
Darüber hinaus wird Schutz begehrt
sowohl bezüglich
Datenträgern,
die solche Software beinhalten als auch für ein Verfahren zur Herstellung
solcher Datenträger.
-
Die Erfindung wird im folgenden und
beispielsweise anhand der Zeichnungen beschrieben. In dieser zeigt:
-
1 eine
Anordnung zur Übertragung
datenkomprimierter Bilder von einer Szene,
-
2 eine
Veranschaulichung der Bildbereichspriorisierung,
-
3 eine
Veranschaulichung einer Bildrekonstruktion am Empfänger.
-
Nach 1 umfaßt eine
allgemein mit 1 bezeichnete Anordnung 1 zur Datenkompression
bzw. -reduktion bei der Übertragung
von Bildern aus einer Sequenz, die hier beispielhaft eine Szene 2 an
einem Bankschalter darstellt, einen Bildgeber 3, eine nachgeordnete
Bilddatenreduktions- und -übertragungseinheit 4,
in welcher wie nachfolgend noch detailliert beschrieben wird, Bildbereichspriosierungsinformation
vorgesehen, eine Bildbereichspriosierung anhand der Bildbereichspriosierungsinformation
durchgeführt
und hinreichend priorisierte Bildbereiche über eine Übertragungsleitung 5 an
einen Empfänger 6 übertragen
werden, der, wie noch beschrieben wird, dazu ausgebildet ist, übertragene
Bildbereiche einer Vielzahl von Bildern einer Sequenz zwischenzuspeichern
und zur Anzeige von Einzelbildern und/oder der gesamten Bildsequenz
zu verknüpfen.
-
Die Bildszene 2 im vorliegenden
Beispiel zeigt einen aus vorgegebener Richtung beobachteten Bankschalter 2a mit
Publikumsverkehr, dargestellt durch eine Person 2b, und
im Bildbereich befindliche bankübliche
Einrichtung, hier dargestellt als Pflanze 2c. Es wird einsichtig
sein, daß bei
der Überwachung
der Szene 2 besonderes Gewicht auf die Beobachtung des
Kundenverkehrs, wie durch die Person 2b symbolisiert, und
weniger Gewicht auf die Möblierung,
wie durch den Schalter 2a und die Pflanze 2c symbolisiert,
zu legen ist.
-
Der Bildgeber 3 ist im vorliegenden
Fall als Kamera mit CCD-Feld
ausgebildet, welche Bilder aus der in 2a(I) – 2a(V) gezeigten Perspektive
der Szene 2 liefert. Wie erkennbar, ist diese Perspektive unveränderlich,
die Kamera also fest montiert; dies ist allerdings nicht zwingend
der Fall, son dern wurde nur aus Gründen der erleichterten Erläuterung
so gewählt.
-
In der Bilddatenreduktions- und -übertragungseinheit 4 ist
ein Eingang 4a für
die Bildsignale aus der Kamera 3 vorgesehen. Es ist ein
interner Speicher 4b mit dem Eingang 4a verbunden,
der dazu ausgelegt ist, mehrere Bilder zunächst vollständig aufzunehmen und ganz oder
bereichsweise wiederholt in eine Priorisierungsstufe 4c auszugeben. Der
Speicher 4b weist für
wenigstens zwei Bilder Speicherkapazität auf. Die Priorisierungsstufe 4c ist zur
Untergliederung einzelner Bilder in mehrere Bildbereiche und zur
Priorisierung der jeweiligen Bereiche in einem Bild ausgebildet,
wobei die Priorisierungsstufe 4c zum Empfang von Priorisierungsinformation
aus einem Priorisierungsinformationsspeicher 4d ausgebildet
ist. Die Priorisierungsstufe 4c ist an einem Ausgang mit
einer Bildbereichskompressions- und -übertragungsstufe 4e verknüpft, die
dazu ausgebildet ist, Daten zu Bildbereichen in komprimierter Form
auf die Übertragungsleitung 5 zu
speisen.
-
Die Übertragungsleitung 5 ist
in ihrer Bandbreite begrenzt, und zwar derart, daß nicht
dauerhaft Bildsequenzen vollständig
und unkomprimiert übertragen
werden können.
-
Der Empfänger 6 weist hinter
dem Auslaß für die Übertragungsleitung 5 eine
Eingangsstufe 6a mit einem Speicher für die übertragenen Bildbereiche und
die zusätzlich übertragene
Information über
deren Lage im jeweiligen Bild auf. Diese Eingangsstufe ist mit der
Verknüpfungsstufe 6b verbunden,
die lesend auf den Speicher der Eingangsstufe zugreift und die aus
dem Speicher gelesenen Daten auf noch zu beschreibende Weise verknüpft. Der
Verknüpfungsstufe 6b ist
eine Bildausga beeinheit 6c nachgeschaltet, um die zu einem
Bild verknüpften
Bereiche an ein Anzeigegerät
auszugeben.
-
Es sei erwähnt, daß die Bilddatenreduktions- und
-übertragungseinheit
durch eine programmierbare Mikroelektronik wie einen PC oder eine
dedizierte Signalaufbereitungselektronik realisiert sein kann, genauso
wie es möglich
ist, den Empfänger
und die beschriebenen Stufen etwa durch Software auf einem Computersystem
zu realisieren. Weiter ist es einleuchtenderweise möglich, Empfänger und
Sender zusammenzufassen, wobei gegebenenfalls auf ein und demselben
System, etwa einem PC, gleichzeitig eine Bildaufbereitung, Abspeicherung
und Wiedergabe erfolgen kann.
-
Mit dem beschriebenen System erfolgt
nun eine Bildsequenzdatenreduktion, also eine Komprimierung der
Daten einer Bildsequenz, etwa eines kontinuierlichen Stroms an Videodaten
mit 15 – 40 Bildern
pro Sekunde, wie nachfolgend unter Bezugnahme auf 2 und 3 erläutert. Anhand
von 2 wird dabei die
Bildbereichspriorisierung erläutert,
anhand von 3 die Bildrekonstruktion
eines Bildes einer Bildsequenz.
-
Die 2a
(I – V) zeigt
aufeinanderfolgend aufgenommene Bilder der Szene 2. In
den Bildern (I) und (II) ist eine Person am Bankschalter gezeigt,
die über
einen längeren
Zeitraum dort unbeweglich steht, so daß Änderungen von Bild (I) zu Bild
(II) lediglich durch Rauschen bedingt sind. Im Bild (III) zieht
die Person eine Waffe. In Bild (IV) beginnt die Person zu sprechen,
was dazu führt,
daß sich
der Bereich um den Mund zwischen Bild (III) und Bild (IV) stark ändert. Zugleich
ist durch das Abfallen eines Blattes der dargestellten Pflanze eine
zufällige Änderung
im Hintergrund aufgetreten.
-
Es wird einsichtig sein, daß diese Änderung im
Hintergrund für
den Betrachter der Überfall-Szene von
untergeordnetem Interesse ist. In Bild (V) wendet sich die Person
mit dem Gesicht der Kamera zu.
-
Diese Szene, die nur aus Gründen der
leichteren Erläuterung
und ungeachtet der bei tatsächlichen
Videosequenzen mit höheren
Frameraten typisch geringeren Änderungen
von Bild zu Bild so gewählt
wurde, kann nun wie folgt mit reduzierten Daten durch die Verwendung
der Vorrichtung 1 übertragen werden.
-
Die Bilder (I) – (V) werden zunächst in
eine Vielzahl von Bildbereichen unterteilt, nämlich vorliegend in 6 × 8 Kacheln,
die von Bild zu Bild identisch liegen. Dies ist durch das Gitternetz
in den Bildern gezeigt.
-
Weiter wird der unterschiedlichen
Bedeutung der Bildbereiche Rechnung getragen.
-
2(b) zeigt
ganz links Bereiche, die für den
Betrachter von geringerem Interesse sind. Es handelt sich hier einerseits
um den Bereich links im ersten Bild der Reihe nahe des Schalters,
der vollständig
unveränderlich
ist, und den Bereich ganz rechts in diesem Bild, der die gleichfalls
fast nicht veränderliche
Bankmöblierung,
d. h. eine Pflanze zeigt. Diese Bereiche geringeren Interesses können vom Benutzer
vorgegeben und als Priorisierungsinformation in der Bilddatenreduktions-
und -übertragungseinheit 4,
insbesondere im Priorisierungsinformationsspeicher 4d derselben,
abgelegt werden oder durch langfristige Beobachtung von Veränderungen automatisch
identifiziert werden.
-
Von Bild (I) nach Bild (II) treten Änderungen, wie
vorstehend beschrieben, nur durch Rauschen auf. Die Kacheln mit
den größten Änderungen
des Rauschwertes sind dabei im ersten Bild von 2b (ganz links in der Reihe) markiert.
Die Markierungen tragen dabei der Stärke des Rauschens Rechnung. Eine
Schlangenlinie deutet an, daß das
Rauschen unterhalb der eine Übertragung
rechtfertigenden Schwelle liegt, während bei dem Kreuz eine so
große Änderung
erkannt wurde, daß eine
tatsächlich
relevante Änderung
zunächst
nicht ausgeschlossen werden soll. Es ist einsichtig, daß typisch
in jeder Kachel Rauschen auftreten wird. Mit den Schlangenlinien gekennzeichnet
sind daher nur jene Kacheln, in denen das Rauschen zwischen Bild
(I) und Bild (II) die größten Unterschiede
verursacht hat.
-
Nun ist in 2b im Bild ganz links zu erkennen, daß zwei Kacheln,
die wie durch die Kreuze erkennbar eine besonders große Rauschdifferenz
zwischen beiden Bildern aufweisen, im als uninteressant bestimmten
und damit herunterpriorisierten Bereich der Pflanze liegen. Dies
ist in 2c im Bild ganz links
dadurch angedeutet, daß dort
anstelle der beiden Kreuze eine Null eingezeichnet ist, was bedeutet,
daß nach
der Verknüpfung
der Information über den
sich am stärksten
geändert
habenden Bereich mit der Information über die typische Relevanz derselben
Bereiche, in denen diese Änderung
auftritt, auf eine Übertragung
verzichtet werden kann. Die Bilder von 2c ganz links werden also gewonnen durch
Bestimmung der Differenzen zweier Bilder unter Berücksichtigung
der typischen Relevanz desselben aufgrund des jeweiligen Bereiches.
-
2d zeigt
nun, daß neben
dem durch Differenzbildung und Vergleich mit besonders relevanten
Bereichen als zu übertragen
ermittelten Bildbereichen noch zyklisch weitere hinzuge nommen werden. Im
gezeigten Beispiel ist dies ein Dreierkachelblock, der sich von
Bild zu Bild mäanderförmig weiterbewegt,
wie durch den schlangenlinienförmigen
Pfeil angedeutet und bei Betrachtung der Bilder von links nach rechts
klar ersichtlich. Dieser Block wird unabhängig davon übertragen, ob eine Bildkachel
in einem per se uninteressanten Bereich liegt oder nicht. Im gezeigten
Beispiel werden die 6 × 8
Kacheln, in welche jedes Einzelbild zerlegt wird, mit Dreiergruppen
nach Übertragung
von 16 Teilbildern vollständig übertragen.
Spätestens
nach 16 Teilbildern wurde also jede Kachel einmal neu übertragen,
und zwar selbst dann, wenn keine Änderung in ihr vorliegt. 2e zeigt daher ganz links,
daß für die Übertragung
lediglich die drei Bildkacheln aus der zyklischen Übertragung
und eine Kachel mit hohem Rauschen zu berücksichtigen sind.
-
Im Vergleich zwischen Bild (II) und
Bild (III) in 2a zeigen
sich nun die größten Änderungen
im Bereich der frisch gezückten
Waffe. Diese Änderungen
sind sehr groß.
Insbesondere sind sie deutlich größer als die gerade über die
Rauschschwelle kommenden, mit Kreuzen markierten Änderungen
zwischen den Bildern (I) und (II). Aus diesem Grund werden die beiden
Kacheln mit den größten Änderungen mit
einem Ausrufezeichen versehen und es wird festgestellt, daß, aufgrund
der sehr großen Änderung, Nachbarkacheln
als priorisiert mit zu übertragen
sind. Dies ist durch die Umrahmung der beiden mit Ausrufezeichen
versehenen Kacheln angedeutet, vgl. 2b,
2. Bild links. Das Feld um die beiden wichtigsten Kacheln ist insgesamt
3 × 4
Kacheln groß. Von
diesen zwölf
Kacheln liegen aber, wie in 2c im
zweiten Feld von links zu erkennen, zwei Kacheln in dem als prinzipiell
nicht interessant markierten Bereich. Diese Kacheln werden wiederum
ausgeblendet.
-
2c zeigt,
wo Kacheln für
die zyklische Auffrischung im aktuellen Bild vorzusehen sind und 2e zeigt, welche Kacheln
nach Berücksichtigung der
zyklischen Auffrischung tatsächlich
zu übertragen sind.
Wie ersichtlich, werden insgesamt dreizehn Kacheln übertragen.
-
Die Bilder (III) und (IV) unterscheiden
sich voneinander in jenen Kacheln, in denen der Mund der Person
liegt und in welchen das heruntergefallene Blatt der Pflanze sich
befand. Um die Kachel mit dem sich bewegenden Mund herum wird aufgrund
der großen Änderung
wieder ein Rahmen gezogen, da typisch auch in Nachbarkacheln Änderungen
relevant sein könnten
und überdies
damit ein vollständiger
Bildausschnitt mit der Umgebung der Änderung für die Übertragung vorgesehen werden
kann. Um die starke Änderung
an der Kachel des abgefallenen Pflanzenblattes herum wird hingegen
kein Rahmen gezogen, weil festgestellt wird, daß diese Kachel innerhalb eines
per se nicht interessierenden Bereiches liegt. Weiter wird bei der
Priorisierung von für die Übertragung
auszuwählenden
Bereichen festgestellt, daß zuvor
im Bereich jener Kacheln, in denen die Waffe aufgetaucht ist, starke Änderungen
vorlagen. Es kann daher nicht ausgeschlossen werden, daß weiterhin
relevante Details dort erkannt werden können, auch wenn die Gesamtänderungen
im Vergleich zu anderen Änderungen
des Bildes gering sein mögen.
Dies ist durch ein Fragezeichen in den respektiven Kacheln angedeutet,
vgl. 2b. 2c zeigt, daß somit
für die Übertragung
jene Bildbereiche priorisiert werden, die in Nachbarschaft der mit Ausrufezeichen
versehenen Bildkachel liegen sowie die beiden Kacheln, in welchen
zuvor die größte Änderung
beobachtet wurde. Hinzu kommen wiederum, wie in 2d angedeutet, drei Kacheln aus dem zykli schen
Durchlauf des Bildes. 2e zeigt,
wo damit die vierzehn insgesamt zu übertragenden Kacheln liegen.
-
Im Vergleich der Bilder (IV) und
(V) liegt die größte Änderung
im Bereich des Kopfes, wobei ein Teil der Kacheln mit starken Änderungen
zuvor schon aufgrund der Bewegung des Mundes betrachtet wurde. 2c zeigt ganz rechts jene
zwölf Kacheln,
die dementsprechend ausgewählt
wurden, 2d zeigt ganz
rechts, welche drei Kacheln durch die zyklische Auffrischung hinzukommen
und 2e zeigt, welche Kacheln
tatsächlich
für die Übertragung
bereitgestellt werden.
-
Aus dem Vorstehenden ist ersichtlich,
daß eine
Priorisierung u. a. erfolgt im Hinblick auf die allgemeine Bedeutung
bestimmter Bildbereiche, die sich durch Benutzervorgaben und/oder
aus der Bildanalyse selbst ergibt, daß und wie Rauschschwellen, Größen der Änderung
auch und insbesondere im Vergleich zu anderen Kacheln im aktuellen
Bild, die kurzfristige Historie von Differenzen und die Berücksichtigung
von Änderungen
in nahebei liegenden, vorliegend nur beispielhaft unmittelbar angrenzenden
Bildkacheln herangezogen werden können. Es sei erwähnt, daß weitere
Kriterien hinzukommen können
und/oder Teile oder alle der oben genannten Kriterien wegfallen
können
und dennoch eine beachtliche Bildsequenzdatenreduktion erhalten
wird. Es sei weiter erwähnt,
daß andere
Möglichkeiten
der Verknüpfung
der Priorisierungsinformation als die oben bestehende möglich sind,
also eine Verknüpfung
unter Verwendung von Verfahren der unscharfen Logik, Wichtung usw.
erfolgen kann.
-
3 zeigt
nun, wie die zu bestimmten Zeiten übertragenen Bildbereiche innerhalb
des Bildes liegen. Es ist einzusehen, daß diese Bereiche in einem Speicher
im Empfänger,
vorliegend im Speicher 6a, abgelegt und für die Rekonstruktion
eines gegebenen Bildes ausgelesen werden können. Die Bilder der Sequenz
sind in 3 durch die
Zeiten (t-0, t-1, t-2 ....) charakterisiert, zu welchen sie aufgenommen wurden.
-
Um nun für den Zeitpunkt t = 0 ein möglichst aktuelles
Bild zu konstruieren, werden zunächst
all jene Kacheln herangezogen, die für diesen Zeitpunkt t-0 übertragen
wurden. Sie sind in der untersten Zeile von 3 mit 0 im Bild gekennzeichnet. Danach
werden all jene Kacheln berücksichtigt,
die für
das Bild t-1 übertragen
wurden und noch nicht im Bild t-0 gefunden werden konnten. In der
letzten Zeile sind diese mit einer 1 im Bild gekennzeichnet. Danach
wird ermittelt, welche Kacheln weder in Bild t-0 noch in Bild t-1
auftauchen, aber in Bild t-2 gefunden werden können. Diese erhalten in der
letzten Zeile an den entsprechenden Stellen eine 2. Dies setzt sich
fort bis zum Bild t-15. Spätestens
jetzt sind durch den zyklischen Durchlauf alle Kacheln einmal vorhanden.
Das zum Zeitpunkt t-0 anzuzeigende Bild hat also eine geringe Anzahl
von Kacheln, die höchstens
sechzehn Bilder in der Sequenz zurückliegen und eine große Anzahl
von Kacheln aus Bildern, die jünger sind.
Insbesondere sind im Bild, das für
den Zeitpunkt t = 0 ausgegeben wird, im relevanten Bereich primär Kacheln
vorhanden, die sehr frische Änderungen aufweisen.
-
Es sei erwähnt, daß die vorstehende Beschreibung
ausschließlich
dem schnellen Verständnis
der Erfindung dient und daß Variationen
ohne weiteres erkennbar sind. So ist es nicht zwingend erforderlich,
die Übertragungsrate
von Bild zu Bild zu variieren. Es kann auch eine feste Übertragung
von jeweils n Kacheln eines Bildes vorgesehen werden. Es ist möglich, von der
Art und Weise abzuweichen, in der das Bild zum zyklischen Auffrischen
durchlaufen wird, es sind andere Priorisierungen usw. möglich. Das „Abklingen" von Bildern kann
länger
als nur ein Bild andauern und etwas von der Änderungssignifikanz und/oder
gegebenenfalls weiteren Änderungen
abhängen.
Es können
Helligkeitsunterschiede und/oder Farbkanalunterschiede einzeln und/oder gemeinsam
ausgewertet werden. Es sei darauf hingewiesen, daß jede einzelne
Kachel vor ihrer Übertragung
einer eigenen Kompression wie einer Wavelet-Kompression oder dergleichen
unterworfen werden kann. Dies ermöglicht es insbesondere, an
ein und demselben Sender über
eine beispielsweise andere Leitung ein typisches JPEG-Standbild
auszugeben und zugleich bewegte Bildsequenzen zu erzeugen und/oder
durch einfache Verknüpfung
von Kacheln ein Standbild im Standardformat zu erzeugen.