DE69707886T2

DE69707886T2 - Verfahren und gerät zum lokalisieren einer sich bewegenden zone und bestimmung der schnellheit und richtung der bewegung eines gebietes von relativer bewegung in einer szene

Info

Publication number: DE69707886T2
Application number: DE69707886T
Authority: DE
Inventors: Patrick Pirim
Original assignee: Bev Holding SA; Holding BEV SA
Current assignee: Bev Holding SA; Holding BEV SA
Priority date: 1996-07-26
Filing date: 1997-07-22
Publication date: 2002-06-27
Anticipated expiration: 2017-07-23
Also published as: WO1998005002A1; EP0912964A1; TW393859B; FR2751772B1; FR2751772A1; AU3775397A; KR20000029599A; US20030067978A1; PT912964E; DK0912964T3; CN1226329A; TR199900143T2; US6486909B1; US7190725B2; RU2216780C2; JP2000516004A; ES2165622T3; EP0912964B1; CN1192327C; DE69707886D1

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung, die es ermöglichen, eine in relativer Bewegung befindliche Zone in einer Szene zu erfassen und zu lokalisieren und die Geschwindigkeit und die Ausrichtung dieser relativen Bewegung zu bestimmen, und zwar im Echtzeitmodus.
Unter relativer Bewegung ist sowohl die Bewegung dieser Zone (die von einem "Objekt" im weitesten Sinne des Wortes gebildet sein kann, umfaßend ein Lebewesen, einen Teil eines Lebewesens, beispielsweise eine Hand) in einem im wesentlichen unbeweglichen Umfeld als auch die mehr oder weniger völlige Unbeweglichkeit dieser Zone (oder dieses "Objekts") in einem zumindest teilweise in Bewegung befindlichen Umfeld zu verstehen.
Die Erfindung betrifft die Bearbeitung eines digitalen Videosignals, das von einem Beobachtungssystem stammt, das von einem optischen Eingangssystem oder Objektiv, das in der Lage ist, ein Bild der beobachteten Szene zu bilden, und aus einem optoelektronischen Umwandlungssystem oder Sensor gebildet ist, das in der Lage ist, das Bild, das es empfängt, in ein digitales Ausgangssignal umzuwandeln.
Im allgemeinen ist das Beobachtungssystem aus einer Videokamera oder einem Kameskop gebildet, das die zu überwachende Szene beobachtet (wobei das digitale Ausgangssignal nun von dem digitalen Videosignal gebildet wird, das von einer Kamera mit digitalem Ausgang oder von dem Ausgang eines Analog/Digital-Umwandlers geliefert wird, dessen Eingang mit dem Ausgang einer Kamera verbunden ist, die ein analoges Videosignal Liefert).
Das Beobachtungssystem könnte auch aus dem Objektiv eines optischen Instruments (Fernglas, Beobachtungsfernrohr, Sucher), von dem zumindest ein Teil des austretenden Lichtstrahls entnommen wird, und aus einem photoelektrischen Sensor des Typs CCD oder CMOS beispielsweise mit der üblichen zugehörigen Elektronik gebildet sein, wobei der Sensor das von dem Lichtstrahlteil gebildete Bild empfängt und dieses durch die zugehörige Elektronik in ein digitales Ausgangsvideosignal umwandelt.
Die Erfindung besteht im wesentlichen darin, das digitale Ausgangsvideosignal eines Beobachtungssystems, insbesondere einer Videokamera, mit digitalem Ausgang zu bearbeiten, um davon Signale, die das Vorhandensein und die Lokalisierung einer in relativer Bewegung befindlichen Zone in der Szene anzeigen, sowie die Geschwindigkeit und die Ausrichtung der Verschiebung abzuleiten, falls sich die Zone tatsächlich in der Szene in bezug auf ein im wesentlichen unbewegliches Umfeld verschiebt, und zwar im Echtzeitmodus.
Das am meisten verbesserte System zur Erfassung und Lokalisierung eines in relativer Bewegung befindlichen Objekts und zur Bestimmung seiner Geschwindigkeit und Bewegungsrichtung ist das System der Tier- oder Menschenbeobachtung, beispielsweise eines Jägers, der sich auf dem Hochstand befindet und die Bewegung eines Tieres sowie die Richtung und die Geschwindigkeit dieser Bewegung lokalisiert.
Nach dem Stand der Technik hat man Überwachungseinrichtungen des Typs künstliche Netzhaut vorgeschlagen, die analog (Giocomo Indiveri et al. in Proceedings of MicroNeuro '96, S. 15 bis 22) oder digital waren (Pierre- Franpois Rüedi in Proceedings of MicroNeuro '96, S. 23 bis 29), jedoch geht es im ersten Artikel um Detektoren und analoge Einheiten komplexer Struktur und im zweiten Artikel um Mittel zur Erfassung der Ränder eines Objekts; ferner wird bei den beschriebenen Vorrichtungen auf sehr schnelle Speicher großer Kapazität zurückgegriffen, um im Echtzeitmodus arbeiten zu können, und es werden begrenzte Informationen erhalten, was die in Bewegung befindlichen Objekte oder Zonen betrifft.
Es wurde auch vorgeschlagen, in einem ersten zweidimensionalen Speicher das Signal eines Rasters, das von einer Videokamera oder dergleichen stammt und von einer Folge von Daten gebildet wird, die die Pixel betreffen, die für die von der Kamera zu einem Zeitpunkt t&sub0; beobachtete Szene repräsentativ sind, sodann in einem zweiten zweidimensionalen Speicher das Videosignal für den entsprechenden folgenden Raster, das für die Szene zu einem Zeitpunkt t, repräsentativ ist, zu speichern. Wenn sich ein Objekt zwischen t&sub1; und t&sub0; bewegt hat, wird einerseits die von diesem in der Szene zwischen t&sub1; und t&sub0; zurückgelegte Distanz d und andererseits die Dauer T = t&sub1; - t&sub0; zwischen den Anfangspunkten von zwei entsprechenden aufeinanderfolgenden Rastern, die sich auf dieselben Pixel beziehen, bestimmt. Die Verschiebungsgeschwindigkeit ist nun gleich d/T. Ein solches System erfordert eine sehr große Gesamtspeicherkapazität, falls genaue Angaben über die Geschwindigkeit und die Ausrichtung erhalten werden sollen, die die Bewegung kennzeichnen. Ferner besteht eine gewisse Verzögerung, was den Erhalt der Geschwindigkeits- und Richtungsangaben der Bewegung betrifft; solche Informationen sind nämlich nur zum Zeitpunkt t&sub1; + R verfügbar, wobei R als die Dauer der Berechnungen für den Zeitraum t&sub0; - t&sub1; bezeichnet wird. Dieser zweifache Nachteil (Erfordernis einer großen Speicherkapazität und Verzögerung beim Erhalt der gewünschten Informationen) beschränkt die Anwendungsmöglichkeiten eines solchen Systems.
Überdies beschreibt das französische Patent 2.611.063, dessen Erfinder (Patrick Pirim) einer der Erfinder der vorliegenden Erfindung ist, ein Verfahren und eine Vorrichtung zur Bearbeitung einer Datenreihe in Sequenzen im Echtzeitmodus, insbesondere gebildet aus dem Ausgangssignal eines Kameskops, um eine Datenkomprimierung durchzuführen. Nach diesem vorveröffentlichten Patent wird das Histogramm der Signalniveaus nach einem Klassifikationsgesetz für eine erste Sequenz gebildet, wird die repräsentative, diesem Histogramm zugeordnete Gauss-Funktion gespeichert, von der die maximalen und minimalen Niveaus entnommen werden, werden die Niveaus der späteren Sequenz oder zweiten Sequenz mit den Niveaus des Signals für die erste Sequenz verglichen mit einer konstanten Zeitkonstante, die für jedes Pixel identisch ist, gespeichert, wird das binäre Klassifikationssignal erzeugt, das die folgende Sequenz in bezug auf das Klassifikationsgesetz charakterisiert, wird aus diesem Binärsignal ein Hilfssignal erzeugt, das für die Dauer und die Position eines signifikanten Wertebereichs repräsentativ ist, und wird schließlich aus dem Hilfssignal ein Lokalisationssignal für den Bereich mit der längsten Dauer, dominanter Bereich genannt, erzeugt, diese Verfahrensschritte werden für die folgenden Sequenzen des in Sequenzen aufgebauten Signals wiederholt. Dieses Verfahren und diese Klassifikationseinrichtung ermöglichen eine Datenkomprimierung, indem nur die für die bearbeitete Datenreihe in Sequenzen interessanten Parameter festgehalten werden. Insbesondere ermöglicht es dieses Verfahren, ein digitales Videosignal zu bearbeiten, das für ein Videobild repräsentativ ist, um zumindest ein Merkmal von zumindest einer Zone des Bildes zu entnehmen und lokalisieren. Auf diese Weise können die Leuchtdichte- und/oder Farbtonniveaus des Signals klassifiziert und ein Objekt in dem Bild charakterisiert und lokalisiert werden.
Das Patent der Vereinigten Staaten 5 488 430 führt die Erfassung und Bewertung einer Verchiebung/Bewegung durch, indem die horizontalen und vertikalen Veränderungen des Bildes der beobachteten Zone getrennt bestimmt werden. Es werden hier Differenzsignale verwendet, um Verschiebungen von rechts nach links oder umgekehrt von oben nach unten oder umgekehrt jeweils in die Horizontal- und Vertikalrichtung zu erfassen, indem einerseits die logische Funktion exklusives ODER an horizontalen/vertikalen Differenzsignalen und Rasterdifferenzsignalen durchgeführt wird, und indem andererseits ein Verhältnis der Summen von horizontalen/vertikalen Signalen und der Summen der Rasterdifferenzsignale in bezug auf ein Fenster K · 3 verwendet wird. In diesem US-Patent 5 488 430 werden die berechneten Werte des Bildes entlang der beiden orthogonalen Richtungen, vertikal und horizontal, mit einer Widerholungsspanne gleich K in diesen beiden orthogonalen Richtungen verwendet, wobei diese Spanne K in Abhängigkeit von den Verschiebegeschwindigkeiten, die bestimmt werden sollen, definiert wird. Die Vorrichtung nach diesem US-Patent bestimmt die Richtung der Bewegungen entlang jeder der beiden orthogonalen Richtungen, indem an den Differenzsignalen eine Gesamtheit von Rechenoperationen angewandt wird, die in den Spalten 12 (zu Beginn und zu Ende) und 13 (zu Beginn) angeführt sind, die sehr komplexe (somit schwer herzustellende) elektronische Operationssymbole, insbesondere der Division, Multiplikation und Addition, erfordern; komplexe zusätzliche Operationssymbole sind ferner erforderlich, um aus den Projektionen auf die beiden Horizontal- und Vertikalachsen die Geschwindigkeit und Ausrichtung der Verschiebung/ Bewegung zu erhalten (Ziehen der Quadratwurzel, um die Amplitude der Geschwindigkeit zu erhalten, und Berechnung der Funktion arctg, um die Ausrichtung zu erhalten). In dem Patent 5 488 430 ist schließlich nicht der Einsatz eines Glättens der Pixelwerte mit Hilfe einer Zeitkonstante, die für jedes Pixel variabel ist, um die zu raschen Änderungen dieser Werte auszugleichen, vorgesehen.
Der Einsatz des erfindungsgemäßen Verfahrens erfolgt hingegen mit Hilfe einer Vorrichtung, die Gegenstand der Erfindung und digitalen Typs ist und einen relativ einfachen Aufbau und einen Speicher mit relativ geringer Kapazität aufweist und den schnellen Erhalt der gewünschten Informationen mit sehr unterschiedlichen Resultaten und Anwendungen ermöglicht (die je nach Anwendung einem vollständigen Halbbild im Falle verschlungener Raster oder einem Ganzbild entsprechen).
Ein Artikel von Alberto Tomita Sr. und Rokuya Ishii, mit dem Titel "Hand Shape Extraction from a Sequence of Digitized Gray-Scale Images", im Institute of Electrical and Electronics Engineers, Band 3, 1994, S. 1925-1930, setzt eine Bewegungserfassung durch Subtraktion zwischen aufeinanderfolgenden Bildern ein, gefolgt von der Bildung von Histogrammen auf Basis der Form der menschlichen Hand, um die Form einer menschlichen Hand in einer digitalisierten Szene zu entnehmen. Die Analyse durch Histogramm basiert auf einer der menschlichen Hand innewohnenden Grauskala. Es wird keine Bildung von Koordinatenhistogrammen der Ebene vorgesehen. Das einzige Ziel der Autoren dieses Artikels ist die Erfassung der Bewegungen einer menschlichen Hand, um beispielsweise durch Eingabe von Daten in einen Computer die übliche Maus durch eine Hand zu ersetzen, deren Bewegungen erfasst werden.
Die vorliegende Erfindung ist hingegen nicht darauf beschränkt, die Bewegung einer Hand zu erfassen, sondern ermöglicht es, die relative Bewegung jedes Objektes im weitesten Sinne des Wortes in einer Szene zu erfassen, und verwendet keine Histogramme, die auf den Grauwerten einer Hand basieren, sondern Histogramme gewisser besonderer digitaler Variablen, die für die mögliche Bewegung repräsentativ sind, und Koordinatenhistogramme der Ebene.

Gemäß der vorliegenden Erfindung:

- wird ein digitales Videosignal, das von einem Beobachtungssystem stammt, bearbeitet, das auf bekannte Weise von einer Aufeinanderfolge aus Rastern gebildet wird (die einem Halbbild im Falle zweier verschlungener Raster pro Bild oder einem Ganzbild im Falle eines einzigen Rasters pro Bild entsprechen), wobei jeder von einer bestimmten Anzahl von aufeinanderfolgenden Zeilen und in jeder dieser Zeilen von einer bestimmten Anzahl von Pixel oder Bildpunkten gebildet wird,
- um durch Verwendung eines Speichers mit relativ geringer Kapazität Signale zu erhalten, die in der Lage sind, falls vorhanden, in der beobachteten Szene eine in relativer Bewegung befindliche Zone anzuzeigen und in diesem Fall die Lokalisierung sowie die Geschwindigkeit und die Richtung (ausgerichtet) der Zone anzugeben, falls sich diese tatsächlich in bezug auf ihr Umfeld bewegt,
- und zwar indem zwei digitale Signale ausgearbeitet werden, wobei das eine für eine signifikante Veränderung oder Nichtveränderung des Pixelsignals für dieselbe Pixelstelle zwischen zwei entsprechenden aufeinanderfolgenden Rastern und das andere für die Amplitude dieser Veränderung, wenn vorhanden, charakteristisch ist, und indem eine Matrixverteilung dieser beiden Signale für die Pixel eines Rasterabschnittes zu einem selben Zeitpunkt vorgenommen wird.
Die Erfindung betrifft zuerst ein Verfahren, das im Echtzeitmodus arbeitet und für die Erfassung und Lokalisierung einer in Bewegung befindlichen Zone in einer Szene eingesetzt wird, die von einem Beobachtungssystem mit einem Ausgang beobachtet wird, der von einem digitalen Videosignal gebildet wird, umfaßend eine Aufeinanderfolge von entsprechenden Rastern, wobei jeder von einer Aufeinanderfolge von Zeilen gebildet wird, die jeweils von einer Aufeinanderfolge von Pixel gebildet wird, sowie zur Bestimmung der Geschwindigkeit und der Ausrichtung der Bewegung eingesetzt wird, welches Verfahren dadurch gekennzeichnet ist, daß es darin besteht, auf dem digitalen Ausgangsvideosignal nacheinander durchzuführen:
- eine Bearbeitung des Glättens des digitalen Ausgangsvideosignals durch Einsatz einer digitalen Zeitkonstante, deren digitaler Wert für jedes der Pixel des Ausgangssignals unabhängig für jedes von ihnen verändert werden kann;
- ein Speichern eines Rasters dieses Ausgangssignals nach dem Glätten einerseits und der diesem Raster zugeordneten Glättungszeitkonstante andererseits;
- eine zeitliche Bearbeitung, die für jede Pixelposition darin besteht, das Vorhandensein einerseits und die Amplitude andererseits einer für die Pixelsignalamplitude zwischen dem aktuellen Raster und dem genau davor liegenden geglätteten Raster signifikante Änderung, die gespeichert wurde, zu bestimmen, und zwei digitale Signale zu erzeugen, wobei das erste Signal ein Binär- oder Monobitsignal mit zwei möglichen Werten ist, von denen einer das Vorhandensein einer solchen signifikanten Änderung und der andere das Fehlen einer solchen Veränderung zwischen zwei aufeinanderfolgenden Rastern darstellt, wobei der Wert des Binärsignals den gespeicherten Wert der Zeitkonstante verändert, um diese zu verringern, wenn das Signal eine signifikante Veränderung darstellt, und diese zu erhöhen, wenn dieses Signal nicht eine solche Veränderung darstellt, wobei die Verringerung oder Erhöhung auf quantifizierte Weise durchgeführt wird, während das zweite digitale Signal, Amplitude genannt, ein Multibitsignal mit einer begrenzten Bitanzahl ist, das die Amplitude dieser Veränderung quantifiziert; und
- eine räumliche Bearbeitung, die für jedes Raster des digitalen Eingangsvideosignals darin besteht,
um die Pixelwerte zu charakterisieren, in einer Matrix mit reduzierter Zeilen- und Spaltenzahl im Vergleich mit der Zeilen- bzw. Pixelzahl pro Zeile in dem digitalen Videosignal nur die Werte zu demselben Beobachtungszeitpunkt für einen Bruchteil der Pixel eines Rasters - Bruchteil, der durch Abfragen über die Matrix während der Dauer eines Rasters abläuft - des Binärsignals einerseits und des digitalen Amplitudensignals andererseits zu verteilen;
in dieser doppelten momentanen Matrixdarstellung eine angepasste Zone zu bestimmen, in der gleichzeitig das Binärsignal den gewünschten Wert aufweist, der das Vorhandensein oder das Fehlen einer signifikanten Veränderung darstellt, und das digitale Amplitudensignal um einen signifikanten Wert zwischen benachbarten Pixel in der Matrix entlang einer Ausrichtung, ausgehend vom ursprünglichen Pixel, variiert oder nicht variiert, und zwar für ein und denselben Rasterabschnitt, somit zu ein und demselben Beobachtungszeitpunkt; und
für das Vorhandensein und die Lokalisierung der in relativer Bewegung befindlichen Zone repräsentative Signale sowie auch die relative Geschwindigkeit zwischen den Rastern und die Ausrichtung dieser Verschiebung, falls vorhanden, in bezug auf ihr Umfeld, auf Basis der momentanen Matrixverteilung dieser beiden digitalen Signale, des Binärsignals und des Amplitudensignals, zu erzeugen.
Vorzugsweise ist das erfindungsgemäße Verfahren dadurch gekennzeichnet, daß es ferner darin besteht,
die Histogramme der Werfe der matrixmäßig verteilten Signale einerseits und die Histogramme von Werfen der Neigungen von zwei Achsen mit variablem Gefälle von Koordinaten in einer. Ebene andererseits zu bilden,
in jedem gebildeten Histogramm einen Bereich der signifikanten Veränderung des bearbeiteten Wertes zu erfassen, und
von jedem erfassten Bereich das Vorhandensein und die Lokalisierung sowie die Geschwindigkeit und die Ausrichtung einer in relativer Bewegung befindlichen Zone abzuleiten.
Bei besonderen Ausführungsarten:
- ist die Matrix eine quadratische Matrix mit derselben ungeraden Anzahl (2l+1) aus Zeiten und Spalten, und werden die Matrices von 3 · 3, 5 · 5, 7 · 7, ... (2l + 1) · (2l + 1) Elementen geschachtelt angesehen, die auf dem Mittelpunkt dieser quadratischen Matrix zentriert sind, um die geschachtelte Matrix kleinerer Größe zu bestimmen, in der sich das digitale Signal in einer Ausrichtung, ausgehend vom Mittelpunkt, verändert, wobei der Wert des Binärsignals eine Überschreitung der Schwelle in dieser Richtung darstellt,
- ist die Matrix eine Hexagonalmatrix und werden die Hexagonalmatrices mit steigender Größe geschachtelt auf dem Mittelpunkt dieser Hexagonalmatrix zentriert angesehen, um die geschachtelte Matrix kleinerer Größe zu bestimmen, in der sich das digitale Signal in einer Ausrichtung verändert,
- ist die Matrix eine Matrix in Form eines umgekehrten L mit einer einzigen Zeile und einer einzigen Spalte, und werden die Matrices aus 3 · 3 Pixel, 5 · 5 Pixel, 7 · 7 Pixel ... (2l + 1) · (2l + 1) Pixel für die einzige Zeile und Spalte geschachtelt angesehen, um die Matrix kleinerer Größe zu bestimmen, in der sich das Signal in einer Ausrichtung verändert, nämlich die Zeile mit größerem Gefälle mit konstanter Quantifizierung.
Vorzugsweise weist die Zeitkonstante die Form 2p auf, wobei p eine Zahl kleiner als 16 ist und somit mit nicht mehr als 4 Bit ausgedrückt werden kann, wobei die Verringerung oder die Erhöhung der Zeitkonstante durch Subtraktion oder Addition einer Einheit zu p erfolgt.
In diesem Fall werden, falls gewünscht, aufeinanderfolgende abnehmende Abschnitte von kompletten Rastern gemäß dem Zeitalgorithmus - Mallat-Skala, angenommen, und der größte dieser Abschnitte wird ausgewählt, der Angaben über die Verschiebung, Geschwindigkeit und Ausrichtung macht und mit dem Wert von p vereinbar ist.
Die Erfindung betrifft auch eine Vorrichtung, die im Echtzeitmodus arbeitet und zur Erfassung und Lokalisierung einer in relativer Bewegung befindlichen Zone in einer durch ein Beobachtungssystem mit einem von einem digitalen Videosignal gebildeten Eingang beobachteten Szene bestimmt ist, umfassend eine Aufeinanderfolge von entsprechenden Rastern, eine Aufeinanderfolge von Zeilen in jedem entsprechenden Raster und aufeinanderfolgende Pixel in jeder Zeile, sowie für die Bestimmung der Geschwindigkeit und der Ausrichtung der Bewegung durch Einsatz des oben erwähnten Verfahrens bestimmt ist, welche Vorrichtung am Eingang das Ausgangsvideosignal empfängt und dadurch gekennzeichnet ist, daß sie in Kombination umfaßt:
- Mittel zum Glätten des digitalen Ausgangsvideosignals, indem eine digitale Zeitkonstante eingesetzt wird, deren digitaler Wert für jedes der Pixel des digitalen Videosignals und unabhängig für jedes von ihnen geändert werden kann;
- Mittel zur Speicherung eines Rasters des Ausgangssignals nach dem Glätten einerseits und der dem Raster zugeordneten Glättungszeitkonstante andererseits;
- Eine Einheit zur zeitlichen Bearbeitung zwecks Analyse der zeitlichen Veränderungen der Amplitude des Pixelsignals für ein und dieselbe Pixelposition zwischen dem aktuellen Raster und dem gerade davor geglätteten, gespeicherten Raster des digitalen Videosignals, wobei die Einheit in Verbindung mit einem Speicher der in der Lage ist, Informationen über den entsprechenden vorhergehenden geglätteten Raster zu empfangen, zu speichern und wiederzugeben, umfaßt: Vergleichsmittel, um für jede Pixelposition in dem Raster des eintreffenden Videosignals zu bestimmen, ob der Absolutwert der Differenz zwischen dem aktuellen Pixelsignal und einem für das Pixelsignal repräsentativen Wert für dieselbe Pixelposition eine Schwelle überschreitet oder nicht, indem ein Binärsignal oder Monobit-Signal mit zwei möglichen Werten erzeugt wird, von denen der erste das Vorhandensein einer solchen Überschreitung und der zweite das Fehlen einer solchen Überschreitung darstellt, und Berechnungsmittel, die in der Lage sind, ein digitales Multibit-Amplitudensignal zu bestimmen, welches eine begrenzte Bitanzahl aufweist, dessen Wert von der Amplitude der Veränderung des Wertes desselben Pixels zwischen dem aktuellen Raster und dem gerade davor geglätteten, gespeicherten Raster des digifialen Videosignals abhängt; und
eine Einheit zur räumlichen Bearbeitung, deren Eingänge von der Einheit zur zeitlichen Bearbeitung die digifialen Signale, das Binärsignal und das Amplitudensignal, die für die Pixel ein und demselben Raster aufeinanderfolgend sind, empfangen, welche Einheit um - faßt: Mittel, die in der Lage sind, die Amplitudenwerte der Pixel zu charakterisieren, wobei diese Mittel gemäß einer Matrix mit verringerter Zeilen- und Spaltenzahl in bezug auf die Zeilen- bzw. Pixelzahl pro Zeile in einem Raster des digitalen Videosignals nur die Binärsignale, die digitalen Signale und Amplitudensignale, die sich auf ein und denselben Augenblick, d. h. auf ein und dasselbe Raster, beziehen, verteilen, wobei dieser durch Abtastung über die Matrix während der Dauer eines Rasters abläuft, Erfassungsmittel, um in der Matrix eine Pixelzone zu bestimmen, in der zu diesem Zeitpunkt das Binärsignal den gewünschten Wert aufweist, und Mitte(, um in der Matrix eine Pixelzone zu bestimmen, in der zu diesem gleichen Zeitpunkt das digitale Amplitudensignal um eine signifikante Menge zwischen benachbarten Pixel variiert, und Mittel, die als Antwort auf die Angaben der beiden letztgenannten vorhergehenden Mittel Signale erzeugen, die für diese Pixelzone, somit für das Vorhandensein und die Lokalisierung einer in relativer Bewegung befindlichen Zone in der beobachteten Szene, repräsentativ sind, sowie für die relative Zwischenrastergeschwindigkeit und die Ausrichtung dieser Zone, wenn sich diese tatsächlich in bezug auf ihr Umfeld bewegt.
Vorzugsweise umfaßt die räumliche Bearbeitungseinheit ferner einen Ausgang, der ein verzögertes digitales Videosignal liefert das von dem digitalen verzögerten Eingangsvideosignal mit einer Dauer gleich der Dauer der Zeilen einer Matrix, verringert um die Dauer einer Zeile, gebildet wird, um ein zeitgerechtes Ausgangssignal der Analyse der Matrix in der zeitlichen Bearbeitungseinheit zu liefern.
Vorzugsweise umfaßt bei der erfindungsgemäßen Vorrichtung die räumliche Bearbeitungseinheit Verzögerungsmittel in Kaskadenschaltung, von denen jedes eine Verzögerung gleich dem zeitlichen Abstand zwischen dem Anfang zweier aufeinanderfolgender Zeilen erfordert, und Verzögerungsmittel in Kaskadenschaltung für jede Zeile, die jeweils eine Verzögerung gleich dem zeitlichen Abstand zwischen zwei aufeinanderfolgenden Pixeln einer Zeile erfordern, wobei die Ausgänge der Gesamtheit aller Register und des Eingangs der ersten Register jeder Zeile zu einem gegebenen Zeitpunkt die Werte des Binärsignals und des digitalen Amplitudensignals zu ein und demselben Zeitpunkt zu den Erfassungsmitteln liefern.
Vorzugsweise umfaßt die erfindungsgemäße Vorrichtung auch Mittel, die die Histogramme der Ausgangswerte der räumlichen Bearbeitungseinheit sowie die Histogramme der Neigungen von zwei Achsen mit variablem Gefälle von Koordinaten in einer Ebene bilden, sowie Mittel, um in jedem Histogramm einen Bereich mit signifikanter Veränderung des bearbeiteten Wertes zu erfassen, um diesen Bereich an ihrem Ausgang zu genehmigen und für alle Histogramme Ausgangssignale abzuleiten, die eine Zone der beobachteten Szene in relativer Bewegung anzeigen und lokalisieren, falls eine solche vorhanden ist, sowie die Geschwindigkeit und die Ausrichtung dieser Bewegung, wenn sich die Zone tatsächlich in bezug auf ihre Umgebung verschiebt.
Wenn die Bewegung eines Objekts in einem im wesentlichen unbeweglichen Umfeld erfasst werden soll, wird die Zone der Matrix bestimmt, in der gleichzeitig das Binärsignal den Wert aufweist, der einer Schwellenüberschreitung entspricht, und das digitale Amplitudensignal um einen signifikanten Wert zwischen benachbarten Pixel eines Rasters variiert.
Falls hingegen die Unbeweglichkeit des Objekts in einem im wesentlichen in Bewegung befindlichen Umfeld erfasst werden soll, wird die Zone der Matrix bestimmt, in der gleichzeitig das Binärsignal den Wert aufweist, der der Nichtüberschreitung der Schwelle entspricht, und das digitale Amplitudensignal nicht zwischen benachbarten Pixeln eines Rasters variiert.
Vorzugsweise bei der Vorrichtung zur Erfassung, Lokalisierung und Bestimmung der Geschwindigkeit und der Ausrichtung der Verschiebung einer in relativer Bewegung befindlichen Zone in einer Szene bei Einsatz des oben erwähnten Verfahrens:
- umfassen die Glättungsmittel einen Eingang, der das digitale Videosignal empfängt, und berechnen für die aufeinanderfolgenden Pixel eines Rasters dieses Videosignals ein geglättetes Signal, indem die zeitlichen Veränderungen des digitalen Videoeingangssignals durch Einsatz eines Schwellensignals, welches an einem anderen Eingang empfangen wird, und einer Zeitkonstante für jede Pixelposition eines Rasters verringert werden, deren Wert nacheinander verändert wird, damit die Glättung auch bei ihrer Verringerung die Neigung zur Veränderung des eingehenden digitalen Videosignals beibehält, wobei diese Glättungsmittel mit der Speichereinheit zusammenwirken, die die aktualisierten Werte für jede Pixelposition eines Rasters, des geglätteten Signals und der Zeitkonstante empfängt, speichert und wiederherstellt, und an ihren Ausgängen für jede Pixelposition zumindest die Aufeinanderfolge der Werfe der aktualisierten Zeitkonstante und der Werte eines Binärsignals über die Überschreitung oder Nicht-Überschreitung der Schwelle durch den Absolutwert des Unterschiedes zwischen dem Wert des Pixels und seinem geglätteten Wert liefern; wobei die räumliche Bearbeitungseinheit die Matrixverteilung pro Zeile und Spalte in verringerter Anzahl für die Ausgänge der Glättungsmittel durchführt, nämlich für die aufeinanderfolgenden Werte der Zeitkonstante und des Binärsignals;
- sind Erfassungsmittel vorgesehen, um in der Matrixverteilung eine Pixelzone zu erfassen, in der gleichzeitig entweder der Wert des Binärsignals einer Schwellenüberschreitung entspricht und sich die Zeitkonstante zwischen benachbarten Pixeln eines signifikanten Wertes in eine Richtung verändert, und um Ausgangssignale zu erzeugen, die die Lokalisierung der Zone und die Geschwindigkeit und die Ausrichtung der Verschiebung in der Zone anzeigen, oder in der der Wert des Binärsignals einer Nicht-Überschreitung der Schwelle entspricht und sich die Zeitkonstante zwischen benachbarten Pixeln nicht ändert, und um Ausgangssignale zu erzeugen, die die Lokalisierung der Zone anzeigen.
Bei den bevorzugten Ausführungsarten:
- umfassen die Glättungsmittel in Kombination mit einem Videospeicher oder einem Rasterspeicher (field memory), der die aufeinanderfolgenden Werte für jedes Rasterpixel der Zeitkonstante und des geglätteten digitalen Videosignals speichert, für jedes Pixel Mittel zur Berechnung des Absolutwertes der Differenz zwischen dem Wert des digitalen Videosignals, das von der Kamera kommt, und dem Wert des vorhergehenden geglätteten digitalen Videosignals, Mittel, um diese Differenz mit einer Schwelle zu vergleichen und ein Binärsignal zu erzeugen, wobei einer der beiden Werte eine Überschreitung der Schwelle anzeigt und der andere Wert eine Nichtüberschreitung derselben anzeigt; Mittel zur Aktualisierung der Zeitkonstante, die von dem Speicher den genau davor liegenden Wert der Zeitkonstante erhalten und diesen verringern, wenn ein Binärsignal empfangen wird, dessen Wert eine Schwellenüberschreitung anzeigt, diesen jedoch erhöhen, wenn der Wert des Binärsignals eine Nichtüberschreitung anzeigt, wobei die Verringerung oder Erhöhung allerdings nicht stattfindet, wenn sie zu einem negativen Wert oder zu einem Wert über dem Schwellenwert führen würde, und Mittel zur Aktualisierung des geglätteten Werts des digitalen Videosignals, die zu dem vorhergehenden Wert dieses geglätteten Signals, das von dem Speicher empfangen wird, algebraisch den Quotienten der Differenz zwischen dem digitalen Videosignal, das von der Kamera kommt, und dem vorhergehenden geglätteten Videosignal, das von dem Speicher kommt, mit einem Faktor gleich dem Wert der vorhergehenden Zeitkonstante, die von dem Speicher stammt, hinzufügen;
- ist die Zeitkonstante in der Form 2p vorhanden, wobei p eine ganze Zahl kleiner als 16 ist und somit von höchstens 4 Bits dargestellt werden können, wobei die Verringerung oder Erhöhung der Zeitkonstante durch Subtraktion oder Addition einer Einheit zu p erfolgt;
- umfassen die Matrixverteilungsmittel in Kombination mit Verzögerungsmitteln, die aufeinanderfolgende Verzögerungen, die gleich der Dauer einer Zeile des Videosignals sind, an das digitale Videosignal anlegen, das von der Kamera kommt, um an einer Aufeinanderfolge von Ausgängen dieses Videosignal zu liefern, das um die Dauer einer Verzögerung, zweier Verzögerungen und so weiter bis zu einer Anzahl von Verzögerungen gleich der Anzahl von Zeilen der Raumverteilungsmatrix, verringert um eine Einheit, verzögert ist; Matrixverteilungsmittel entlang der aufeinanderfolgenden Zeilen der Matrix, die einerseits das nicht verzögerte digitale Videosignal der Kamera und dieses nach und nach verzögerte Signal von den Ausgängen der Verzögerungsmittel und andererseits die Werte der Zeitkonstante und des Binärsignals, das von den Glättungsmitteln stammt, empfängt, um eine Matrixverteilung pro Zeile und pro Spalte zu einem gegebenen Zeitpunkt dieser Werte der Zeitkonstante und des Binärsignals für die Pixel eines Rasterausschnittes des digitalen Videosignals mit einer Dimension gleich jener der Matrix durchzuführen;
- umfassen die Matrixverteilungsmittel eine Aufeinanderfolge von Leitern digitaler Signale in einer Anzahl gleich jener der Zeilen der Verteilungsmatrix, jeweils mit Schieberegistern, die in Serie geschaltet sind und jeweils eine Verzögerung gleich dem zeitlichen Abstand zwischen zwei aufeinanderfolgenden Pixel einer Zeile des digitalen Videosignals vorgeben, wobei die Position eines in der Matrix verteilten Pixels durch einen Punkt der Matrix, der sich im Vorlaufbereich eines Verzögerungsregisters befindet, dessen Anzahl pro Zeile gleich der Anzahl von Spalten in der Matrix, verringert um eine Einheit, ist, und durch einen Punkt im Nachlaufbereich des Schiebregisters, das sich am weitesten im Nachlaufbereich befindet, bestimmt wird;
- umfassen die Mittel zur Erfassung einer in Bewegung befindlichen Zone in der Matrix durch Erfassung des gleichzeitigen Vorhandenseins eines Wertes des Binärsignals, der eine Überschreitung anzeigt, und der Veränderung des Wertes der Zeitkonstante Mittel, um entlang digitalisierter diskreter Ausrichtungen das Gefälle der Veränderung des Wertes der Zeitkonstante in der Nähe eines Pixels im Zentrum der Matrix zu bestimmen, das den Ausgangspunkt für diese Ausrichtungen darstellt, und Mittel, um das stärkste Gefälle der Veränderung in der Nähe dieses Ausgangszentrums auszuwählen und dessen Ausrichtung zu bestimmen, unter Berücksichtigung eines Auswahlkriteriums für die Auswahl der Richtung, falls mehrere Richtungen mit demselben maximalen Gefälle der Veränderung vorhanden sind, wobei letztgenannte Mittel am Ausgang Signale liefern, die für die Geschwindigkeit und die Ausrichtung der Verschiebung in der in Bewegung befindlichen Zone repräsentativ sind, mit einem Genehmigungssignal, das anzeigt, daß diese Geschwindigkeits- und Richtungssignale genehmigt sind sowie für den Wert der Zeitkonstante repräsentativ sind.
Vorzugsweise für den Fall, dass die erfindungsgemäße Vorrichtung sie umfaßt, umfassen die die Histogramme bildenden Mittel jeweils:
- Eingänge, die das Signal, dessen Histogramm gebildet wird, und ein Genehmigungssignal, das von den Matrixverteilungsmitteln stammt, empfangen; und
- Mittel, um zwei eindimensionale lineare Histogramme für die beiden Koordinaten der Ebene zu erstellen und diese beiden linearen Histogramme in einem Flächenhistogramm zu kombinieren, das die Zone der signifikanten Veränderung des Eingangssignals darstellt;
und
- einen Ausgang, der ein für diese Zone repräsentatives Signal liefert.
Ferner umfassen die die Histogramme bildenden Mittel vorzugsweise:
- Mittel zur Berechnung der Bezugspunktänderung, deren Eingänge ein Zeilensequenzsignal, ein Spaltensequenzsignal und ein Pixelzeitsignal empfangen und deren Ausgang für die Änderung des Bezugspunktes repräsentativ ist;
- zwei Mittel zur Bildung von Histogrammen für zwei Achsen, die die beiden Bezugssignale empfangen und die Histogramme dieser Achsen bilden; und
- Zonenmittel, die die Ausgänge der beiden Mittel zur Bildung von Histogrammen für die beiden Achsen empfangen und am Ausgang ein Informationssignal mit einem Gesamtgefälle der beiden Achsen liefern.
Bei gewissen Anwendungen kann vorgesehen werden, daß die Zeitkonstante von der Ordnungszahl der Intervalle in begrenzter Anzahl und in fortschreitend steigender Größe gebildet wird, nach denen der Absolutwert der Differenz zwischen dem aktuellen Pixelwert und dem genau davor liegenden Wert desselben Pixels nach dem Glätten für jede Pixelposition abgeschnitten wird.
Vorzugsweise wird für die Bestimmung des Binärsignals der Schwellenüberschreitung oder -nichtüberschreitung für jede Pixelposition der Absolutwert der Differenz zwischen dem Wert des aktuellen Pixels, der eingeht, und dem genau davor liegenden geglätteten Wert desselben Pixels, der von dem Speicher kommt, mit einer Schwelle verglichen.
Was das digitale Amplitudensignal betrifft, wird dieses vorzugsweise in Form einer ganzen Zahl erzeugt, die die Tendenz zur Annäherung zwischen dem aktuellen Pixelwert und dem genau davor liegenden geglätteten Wert desselben Pixels für jede Pixelposition darstellt.
Eines der Merkmale der Erfindung ist dadurch gebildet, dass zur Bestimmung sowohl des Binärsignals als auch des digitalen Amplitudensignals für den Wert des genau davor liegenden Pixels ein geglätteter gespeicherter Wert desselben verwendet wird, um die übermäßigen zeitlichen Veränderungen dieses Pixelsignals zu verringern, die in dem digitalen Eingangssignal, das von der Videokamera oder jeder anderen Beobachtungseinrichtung mit digitalem Ausgang stammt, vorhanden sein können.
Es ist nämlich bekannt, daß ein Glättungsverfahren dazu führt, daß nach und nach ein digitales Signal mit starken zeitlichen Amplitudenveränderungen durch ein Signal ersetzt wird, das geringere Veränderungen aufweist und somit mit einer verringerten Anzahl von Stufen, somit von Bits, in dem geglätteten digitalen Amplitudensignal leichter quantifizierbar ist.
Es ist nun unter Bezugnahme auf die beiliegende Zeichnung eine bevorzugte Ausführungsart beschrieben, die als Beispiel dient und keineswegs einschränkend ist und sich auf eine erfindungsgemäße Vorrichtung bezieht, die das erfindungsgemäße Verfahren einsetzt.
In dieser Zeichnung zeigen:
Fig. 1 ganz schematisch die Gesamtheit des erfindungsgemäßen Systems mit seinem Eingang und seinen Ausgängen sowie das Eingangssignal für dieses System,
Fig. 2 in Form von Funktionsblöcken die Haupteinheiten einer erfindungsgemäßen Vorrichtung, die eine Einheit zur zeitlichen und räumlichen Bearbeitung bildet,
Fig. 3 und Fig. 4 die Funktionsschemata der Einheit zur zeitlichen Bearbeitung durch Berechnung bzw. der Einheit zur räumlichen Bearbeitung durch Matrixverteilung, die Teil der Vorrichtung der Fig. 2 sind,
Fig. 5 schematisch die zeitliche und räumliche Bearbeitung in einem erfindungsgemäßen System,
Fig. 6 den digitalen Wert nach dem Freeman-Code der diskreten Richtungen, ausgehend von einem Ausgangszentrum in der Matrix der Fig. 4,
Fig. 7 zwei geschachtelte Matrices kleiner Größe im Inneren der Zeitverteilungsmatrix,
Fig. 8 und Fig. 9 zwei weitere Matrixtypen, eine hexagonale Matrix und eine Matrix, in Form eines umgekehrten L,
Fig. 10 schematisch die Zusammenstellung entlang der Linie Z-Z' der Vorrichtung der Fig. 2 mit einer Zusatzeinheit nach einer bevorzugten Ausführungsart der Erfindung;
Fig. 11 in Form von Blöcken diese Zusatzeinheit der Fig. 10, wobei die Fig. 2 und 11 entlang der Linie Z-Z' zusammengestellt sind, strichpunktiert dargestellt in Fig. 2 und Fig. 10,
Fig. 12 die Bildung von zwei eindimensionalen Histogrammen und, ausgehend von diesen, eines Oberflächenhistogramms der in Bewegung befindlichen Zone für ein Eingangssignal,
Fig. 13 einen detaillierten einen Block oder eine Einheit zur Bildung und Bearbeitung eines Histogramms und seinen zugehörigen linearen Kombinationsblock,
Fig. 14 ein eindimensionales Histogramm, und
Fig. 15 und Fig. 16 die Verwendung der Veränderung des Beobachtungsgefälles einer Szene,
Fig. 17, 18 und Fig. 19 in Form von Blöcken für die beiden ersten Figuren weitere mögliche Anwendungen einer erfindungsgemäßen Vorrichtung, wobei die erste Figur die Videokonferenz, die zweite die Autobahnüberwachung (oder Hauptstraßenüberwachung) und die dritte die Steuerung einer Maschine durch die Handbewegung einer Bedienperson betrifft,
Fig. 20 und Fig. 21 schematisch die Anwendung der Erfindung für die Überwachung des Einschlafens eines Kraftfahrzeugfahrers,
Fig. 22 das umgewandelte Bild nach dem Mallat-Diagramm.
Unter Bezugnahme auf zunächst Fig. 1 ist zu sehen, daß bei der bevorzugten Ausführungsart die erfindungsgemäße Vorrichtung 11 zuerst einen Eingang 12 umfaßt, der ein digitales Videosignal S einer Videokamera oder eines Kameskops 13 an einem oder mehreren Sensoren CCD des Typs CMOS mit direktem digitalem Ausgang oder analogem Ausgang, der in einem Analog-/Digital-Wandler in einen digitalen Ausgang umgewandelt wurde, empfängt. Dieses Signal S wird auf bekannte Weise von einer Aufeinanderfolge von verschlungenen Rasterpaaren TR&sub1; und TR'&sub1;, TR&sub2; und TR'&sub2; gebildet, die jeweils eine Aufeinanderfolge von horizontalen Abtastzeilen umfassen, wobei jede Zeile (wie I1,1 I,1,2... I1,17... von TR&sub1; und I2,1 von TR&sub2;) von einer Aufeinanderfolge von elementaren Pixelsignalen oder Bildpunkten PI gebildet wird, die für Punkte (wie a1,1, a1,2 und a1,3 für die Zeile I,1,1; a2,1, a2,2 für die Zeile I1,2; a17,1 und a17,2 für die Zeile I1,17; a1,1, a1,2 für die Zeile I2,1) der Szene 13a, die von der Kamera 13 überwacht wird, repräsentativ sind; deshalb wurde auf der Zeichnung S(PI), nämlich ein Signal S. das von Pixeln PI gebildet wird, angegeben.
Auf bekannte Weise umfaßt S(PI) Rastersynchronisationssignale ST zu Beginn jedes Rasters und Zeilensynchronisationssignale SL zu Beginn jeder Zeile.
Es ist somit zu sehen, daß das Signal S(PI) gebildet wird aus:
- einer Aufeinanderfolge von Sequenzen (den aufeinanderfolgenden Rastern) im Rahmen eines Zeitbereichs und
- in jeder Sequenz (in jedem Raster), aus einer Reihe von Untersequenzen (Zeilen, Pixel) im Rahmen eines Raumbereichs.
Im Zeitbereich werden mit dem Ausdruck "aufeinanderfolgende Raster" die aufeinanderfolgenden Raster derselben Natur (d. h. die ungeraden Raster, beispielsweise IR, oder die geraden Raster, beispielsweise TR'&sub1;) der Rasterpaare, beispielsweise TR&sub1;-TR'&sub1;, bezeichnet, die die aufeinanderfolgenden Bilder des digitalen Videosignals S(PI) bilden, und mit dem Ausdruck "aufeinanderfolgende Pixel in derselben Position" werden die aufeinanderfolgenden Pixelwerte (PI) an ein und derselben Steile der aufeinanderfolgenden Raster derselben Naturbezeichnet, beispielsweise a1,1 von I1,1 des Rasters TR&sub1; und a1,1 von I2,1 des entsprechenden folgenden Rasters TR&sub2;.
Die Vorrichtung 11 umfaßt überdies Ausgänge 14, die verschiedene digitale Signale, die von ihr ausgearbeitet wurden, liefert, die dazu dienen, das Vorhandensein einer Zone oder eines "Objektes" (im oben erwähnten allgemeinsten Sinne) in relativer Verschiebung und ihre Lokalisierung sowie ihre Geschwindigkeit und Verschieberichtung anzuzeigen, wenn diese in bezug auf ein im wesentlichen unbewegliches Umfeld tatsächlich vorhanden ist, nämlich das komplexe Signal ZH, das schematisch die Signale zusammenfaßt, die das Vorhandensein und die Lokalisierung dieser Zone oder dieses Objekts, die Geschwindigkeit V und die Ausrichtung DI der Verschiebung anzeigen, und eventuell das verzögerte digitale Eingangsvideosignal S. das mit den vorhergehenden Signalen synchron geschaltet ist, um ihre Berechnungszeit zu berücksichtigen, wobei es dieses verzögerte Signal SR ermöglicht, auf dem Bildschirm eines Monitors oder Fernsehers 10 das von der Kamera 13 zu dem Zeitpunkt erfaßte Bild anzuzeigen, zu dem die Informationen über die eventuelle, in relativer Bewegung befindliche Zone verfügbar sind, nämlich das Signal ZH, (V, DI), die in einer Bearbeitungs- und Kontrolleinheit 10a verwendbar sind.
Unter Bezugnahme auf Fig. 2 ist der Aufbau des ersten Teils der Vorrichtung 11 der Fig. 1 erklärt, wobei dieser erste Teil im Inneren des Rahmens 11a dieser Fig. 2 in unterbrochenen Linien dargestellt ist.
Die Einheit 11a umfaßt im wesentlichen einerseits eine zeitliche Bearbeitungseinheit 15 mit einer zugeordneten Speichereinheit 16 und andererseits eine räumliche Bearbeitungseinheit 17 mit einer zugeordneten Verzögerungseinheit 18 und Folgesteuerungseinheit 19, sowie eine Pixeluhr 20, die den Zyklus der Zeitbearbeitungseinheit 15 und der Folgesteuerungseinheit 19 steuert.
Die Zeitbearbeitungseinheit 15, die unter anderem eine Glättung des Videosignals vornimmt:
- erarbeitet aus dem digitalen Videosignal S. das von der Videokamera 13 kommt und eine Aufeinanderfolge von Pixelwerten PI umfaßt, und aus den Impulsen HP, die von der Uhr 20 (aus dem Signal S) in der zeitlichen Abfolge der Pixel in einem Raster (insbesondere 13,5 MHz) erzeugt wurden, eine gewisse Anzahl von Größen wie nachstehend unter Bezugnahme auf Fig. 3 dargelegt ist, und tauscht mit dem Speicher 16 die Werte zweier dieser Größen aus, nämlich die geglätteten Werte L des digitalen Videosignals und die Werte C der Zeitkonstante der Glättung, wobei auf die Werte L und C der Buchstabe O für die Werte folgt, die in den Speicher 16 von der Einheit 15 eingehen, oder der Buchstabe I folgt, für die Werte, die aus dem Speicher 16 austreten, um die Einheit 15 zu erreichen, und
- liefert am Ausgang ein Binärsignal DP für die Überschreitung oder Nichtüberschreitung der Schwelle und ein digitales Signal CO, das den aktualisierten berechneten Wert der Zeitkonstante anzeigt, nämlich den Wert CO, der in den Speicher 16 gesandt wurde.
Der Aufbau in Berechnungs- und/oder Vergleichsblöcken der zeitlichen Bearbeitungseinheit 15 ist in Fig. 3 erläutert; die Einheit 15 umfaßt vier Blöcke 15a, 15b, 15c, 15d.
Der erste Block 15a der Einheit 15 berechnet aus
- dem digitalen Eingangsvideosignal S. das aus einer Aufeinanderfolge von Pixelsignalen PI gebildet wird, und
- einem geglätteten Wert LI dieses Signals S für den entsprechenden genau davor Liegenden Raster, der vorher von der Einheit 15 als LO berechnet wurde und vorübergehend in dem Speicher 16 gespeichert wird (wie nachstehend erklärt),
- in dem von den Uhrzeitsignalen HP der Uhr 20 vorgegebenen Zyklen den Absolutwert AB der Differenz zwischen den eingehenden Werten von PI und LI für ein und dieselbe Pixelposition (beispielsweise a1,1, von I1,1 von TR&sub1; und von I2,1, von TR&sub2;)
AB = PI-LI
Der zweite Block 15b ist ein Testblock:
- er empfängt das vorgenannte digitale Signal AB von der Einheit 15a und ein digitales Schwellenwertsignal SE, welches feststehend sein könnte, welches aber von dem Pixelwert abhängt; dieses wird nun in dieselbe Richtung wie jenes variiert, um eine Gammakorrektur darzustellen (die bekannten Mittel zur Durchführung der Veränderung von SE, um eine Gammakorrektur zu verwirklichen, sind durch den Optionsblock 15e in unterbrochenen Linien dargestellt); und
- er vergleicht diese beiden digitalen Signale, die für AB und SE stehen, um ein Binärsignal DP zu bestimmen, d. h. welches zwei Werte 1 und 0 annehmen kann, die eine Überschreitung oder Nichtüberschreitung der Schwelle SE durch AB anzeigen:
- wenn AB größer als SE ist, wird DP in der Einheit 15b der Wert 1 zugeteilt, der für eine Überschreitung steht;
- wenn AB kleiner oder gleich SE ist, wird DP in der Einheit 15b der Wert 0 zugeteilt, der für eine Nichtüberschreitung steht.
Falls nämlich DP = 1 ist, ergibt sich eine zu große Differenz zwischen PI und LI, d. h. zwischen dem digitalen Eingangsvideosignal und dem vorhergehenden geglätteten digitalen Videosignal, und diese Differenz muß verringert werden, indem die Glättungszeitkonstante verkleinert wird, und umgekehrt, wenn DP = 0 ist, muß diese Zeitkonstante vergrößert werden.
Der dritte Block 15c führt genau die gewünschte Veränderung des Wertes der Zeitkonstante in Abhängigkeit von dem Wert von DP durch:
- falls DP = 1 ist, verringert der Block 15c um einen Einheitswert U die Zeitkonstante: CO (neuer Wert dieser Konstante) = CI (alter Wert der Konstante) - U;
- falls DP = 0 ist, erhöht der Block 15c um denselben Einheitswert U die Zeitkonstante: CO = CI + U.
Zu diesem Zweck empfängt der Block 15c an einem Eingang das vorgenannte Binärüberschreitungssignal DP von dem Block 15b und an einem anderen Eingang das Signal CI, das den vorherigen Wert der Zeitkonstante darstellt, der in dem Speicher 16 gespeichert ist, und führt die Verringerung oder Erhöhung der eingehenden Zeitkonstante CI um den Einheitswert U durch, die zu CO wird, welcher Wert als Ersatz für CI in den Speicher 16 gesandt wird.
Vorzugsweise wird die Zeitkonstante, von der die Konvergenz der Glättung (in Abhängigkeit von der erforderlichen Zeit, bis der geglättete Wert den Eingangswert des digitalen Videosignals erreicht) abhängt, von einer Leistung von 2, nämlich einem Wert 2p dargestellt, und diese ganze Zahl p wird nun in dem Block 15c um eine Einheit, d. h. um 1, verringert oder erhöht, während in Fig. 3U = 1 für p steht,
- falls DP = 1 ist, zieht der Block 15c eine Einheit (1) von dem Faktor p der Zeitkonstant 2p ab, die 2p-1 wird;
- falls DP = 0 ist, fügt der Block 15c eine Einheit (1) zu dem Faktor p der Zeitkonstante 2p hinzu, die 2p+1 wird.
Die Wahl einer Zeitkonstante des Typs 2p bietet den zweifachen Vorteil, daß sie der Physiologie des menschlichen Sehens entspricht und daß sie einfachere Berechnungen ermöglicht, wodurch der Aufbau des Blocks 15c vereinfacht wird.
Der Block 15c muß ferner eine zweifache Bedingung erfüllen, nämlich CO zwischen zwei Grenzwerten halten: CO darf nicht negativ werden (CO 0) und darf eine Schwelle N (CO ≤ N) nicht überschreiten. In dem besonderen Fall, in dem CI und CO die Form 2p aufweisen, wird die obere Schwelle N durch eine ganze Zahl n dargestellt, die einen Maximalwert für p darstellt.
Die obere Schwelle N (oder n) kann entweder konstant oder variabel sein; in diesem letztgenannten Fall führt eine Optionseinheit 15f (in unterbrochenen Linien) diese Veränderung von N (oder n) beispielsweise auf Befehl des Benutzers durch. Eine Erhöhung von N hat zur Folge, daß die Sensibilität der Erfassung der Verschiebung erhöht wird, während die Verringerung von N die Erfassung großer Geschwindigkeiten verbessert.
Schließlich empfängt der vierte Block 15d an einem ersten Eingang den Wert CO der neuen Zeitkonstante, die in dem Block 15c ausgearbeitet wurde, an einem zweiten Eingang das digitale Eingangsvideosignal S in Form einer Pixelwertinformation PI und an einem dritten Eingang den geglätteten Wert des vorhergehenden digitalen Eingangsvideosignals, nämlich LI, das von dem Speicher 16 stammt, und berechnet
LO = LI + (PI-LI)/CO
welcher Wert an seinem Ausgang abgeliefert wird.
Der Terminus (PI-LI)/CO stellt tatsächlich die Veränderung dar, die an dem geglätteten Wert des digitalen Videosignals vorgenommen unter Berücksichtigung des veränderten Wertes CO der Zeitkonstante wurde, und er ist zu der algebraischen Differenz zwischen dem tatsächlichen Wert des aktuellen Eingangspixels PI, der von der Kamera 13 stammt, und seinem vorhergehenden geglätteten Wert LI proportional und umgekehrt proportional zu CO.
Falls CO = 2p, ist nun
LO = LI + (PI-LI)/2po
unter Berücksichtigung von po, Wert von p, berechnet in der Einheit 15c, der in dem Speicher 16 den vorhergehenden Wert pi von p ersetzt.
Die Zeitbearbeitungseinheit 15 mit vier Berechnungsblöcken 15a, 15b, 15c, 15d demzufolge:
- empfängt S(PI) von der Videokamera 13 die Uhrzeitimpulse HP für die Folgesteuerung der Arbeitsschritte, die Schwellensignale SE und N (oder n);
- bestimmt aus den Eingangssignalen LI und CI, die von dem zugehörigen Speicher 16 stammen, aktualisierte Signale LO und CO, die in den Speicher als Ersatz für LI bzw. CI gesandt werden und die jeweils die neuen berechneten Werte des geglätteten digitalen Videosignals und der Zeitkonstante darstellen;
- und liefert am Ausgang zu der Raumbearbeitungseinheit 17 über die Verzögerungseinheit 18 das vorgenannte Signal CO und das Binärüberschreitungssignal DP, die sie aus PI, LI und SE berechnet hat.
Der Glättungsvorgang soll die Veränderungen des digitalen Wertes des Eingangsvideosignals für jedes Pixel oder jeden Bildpunkt normalisieren, nämlich die Veränderung jedes PI, indem die Variationsabweichungen verringert und für jedes Pixel die tatsächlichen variablen aufeinanderfolgenden Werte von PI an diesem Bildpunkt durch geglättete Werte LO ersetzt werden, die weniger variabel sind als die Werte PI.
So ersetzt bei jedem eingehenden PI die Zeitbearbeitungseinheit 15 in Kombination mit dem Speicher 16 einen geglätteten Wert LO mit geringeren Variationen durch Einsatz eines Binärsignals DP für die Überschreitung oder Nichtüberschreitung einer Schwelle und eines Signals CO für die Zeitkonstante, die aktualisiert und in die Raumbearbeitungseinheit 17, die in Fig. 4 dargestellt ist, gesandt werden.
Jedes Pixel im Inneren der Oberfläche eines Rasters kann durch zwei Koordinaten (im Prinzip orthogonal) von Abszissen und Ordinaten, nämlich x und y, erfasst werden, indem dem Pixel zwei Indices i (Zeilennummer) für die Koordinate y und j (Nummer des Pixels in der Zeile) für die Koordinate x zugeteilt werden. Jedes Pixel mit den Indices i und j hat einen Videowert (Wert der Amplitude des Videosignals) PIij.
Falls nun in der Zeit t die Entwicklung der PIij für die entsprechenden aufeinanderfolgenden Raster zu den aufeinanderfolgenden Zeitpunkten t&sub0;, t&sub1;, t&sub2;, t&sub3;... betrachtet wird, die durch eine Periode T getrennt sind, die der Bildperiode entspricht (die im allgemeinen gleich zwei Rasterperioden ist) und die 0,04 s im Falle einer Frequenz von 25 Hz für das Videobildsignal und 0,0333...s im Falle einer Frequenz von 30 Hz für dieses Signal oder von 50 Hz für progressive Bildsensoren (1 Raster/1 Bild) sein kann, hat das Signal eines Videopixels mit den Lokalisationsindices 1 und j aufeinanderfolgende Werte PIijt0, PIijt1, PIijt2, PIijt3 ... zu diesen Zeitpunkten t&sub0;, t&sub1;, t&sub2;, t&sub3; ...
Im Rahmen der Erfindung wird in der Zeitbearbeitungseinheit 15 Pijt, durch die aufeinanderfolgenden Glättungswerte LOijt, ersetzt, nämlich LOijt0, LOijt1, LOijt2, LOijt3 ...
Für jedes der Pixel oder aufeinanderfolgenden Bildpunkte mit den Koordinaten i, j zum Zeitpunkt t, d. h. Pijt, wird sein tatsächlicher Wert PIijt durch einen geglätteten Wertersetzt, der durch folgende Formel gegeben ist:
LOijt = LIij(t-1) + (PIijt - LIij(t-1))/COijt
Die Zeitkonstante hat vorzugsweise die Form 2pijt.
Die in der Einheit 15, insbesondere in dem Block 15d, durchgeführten Berechnungen für jedes Zeitintervall T, das t&sub1; von t&sub0;, t&sub2; von t&sub1;, t&sub3; von t&sub2; etc. trennt, gewährleisten eine Konvergenz des Wertes LOijt, zu dem Wert PIijt, deren Geschwindigkeit von der Zeitkonstante abhängt, die räumlich variabel ist (und somit von i und j abhängt) und zeitlich variabel ist (und somit von t abhängt), und die als COijt geschrieben werden kann.
In jedem Fall gilt, je größer COijt, desto langsamer ist die Konvergenz von LOijt. Falls COijt, = 1 ist, findet keine Glättung mehr statt.
In den vorhergehenden Formeln können natürlich die kartesischen Koordinaten y und x an die Stelle der Indices i und j der Ordnungszahlen der Zeile der Pixel pro Zeile gesetzt werden.
Der Block 15a berechnet AB = PI-LI wobei die Indices i, j und t nicht erklärt werden, wobei die Größe AB für die momentane Veränderlichkeit des digitalen Videosignals S(PI) in bezug auf das geglättete Signal LI für jedes Triplett i, j, t steht.
Eines der Merkmale einer erfindungsgemäßen Vorrichtung besteht darin, in der Zeitbearbeitungseinheit 15 eine Glättung der Pixelwerte durchzuführen, für jedes Pixel die aufeinanderfolgenden Werte einer Glättungszeitkonstante und eines Binärsignals für die Überschreitung oder Nichtüberschreitung einer Schwelle durch den absoluten Wert der Differenz zwischen dem Wert des Pixels und dem geglätteten Wert dieses Pixels für zwei entsprechende aufeinanderfolgende Raster zu bestimmen, um nach einer ebenen Matrixgleichzeitig die digitalen Werfe der Zeitkonstante zu ein und demselben Zeitpunkt und die Werte des Binärsignals für die Pixel eines begrenzten Rasterabschnittes zu verteilen, eines Abschnittes, der das Raster abtastet, um dank der lokalen Variationen dieser beiden Werte zu diesem Zeitpunkt eine in relativer Bewegung befindliche Zone zu lokalisieren und die Geschwindigkeit und die Ausrichtung der tatsächlichen Verschiebung in Abhängigkeit von dieser Verteilung zu bestimmen, wobei dies durch eine räumliche Bearbeitungseinheit erfolgt, die nachstehend unter Bezugnahme auf Fig. 4 beschrieben ist.
Die Konvergenz der Glättung wird durch die Berechnungsblöcke 15b und 15c gewährleistet, die eine Variation des Wertes der neuen eingehenden Zeitkonstante CO (tatsächlich COOijt) derart bestimmen, daß sie die Konvergenz beschleunigt. Dies erfolgt durch Vergleichen von AB (tatsächlich ABijt) mit einer Schwelle SE, die einen konstanten Wert oder vorzugsweise variablen Wert aufweisen kann, und in letztgenanntem Fall von dem Pixelwert abhängen kann, um eine Gammakorrekturzu gewährleisten: falls der Pixelwert ansteigt, steigt die Schwelle an und umgekehrt. Das Resultat des Vergleichs von AB mit der Schwelle SE (tatsächlich SEijt, falls sich die Schwelle in Abhängigkeit von dem Pixelwert verändert, wobei diese Veränderung in einem eventuellen Berechnungsblock 15e erfolgt) erzeugt in dem Block 15b das Binärverschiebungssignal DP mit zwei möglichen Werten 1 und 0, wie oben erklärt ist.
Das Binärsignal DP kommt in dem Block 15c an, um den Wert der Zeitkonstante zu variieren. Zu diesem Zweck empfängt die Berechnungseinheit 15c auch den Wert der eingehenden Zeitkonstante CI von dem Speicher 16 und aktualisiert diesen zu einem neuen Wert der Zeitkonstante CO, der unter anderem in den Speicher 16 gesandt wird, wo er den alten Wert CI ersetzt tatsächlich handelt es sich für die Werfe von CI und CO um CIij und COij zu zwei aufeinanderfolgenden Zeitpunkten, beispielsweise t&sub0; und t&sub1;, die durch das Intervall T zwischen zwei entsprechenden aufeinanderfolgenden Rastern (ungerade oder gerade) getrennt sind.
Der Block 15c, der DP und CI empfängt, addiert oder subtrahiert einen Einheitswert (U) zu dem Wert der Zeitkonstante CI oder eine Einheit zu p, wenn CO die Form 2p aufweist, je nachdem, ob das Binärsignal DP eine Überschreitung (DP = 1) oder eine Nichtüberschreitung (DP = 0) darstellt.
Falls eine Überschreitung vorhanden ist, ist der Wert dieser Konstante zu groß, und er wird verringert, und umgekehrt.
Ferner vergewissert sich der Block 15c, daß der neue Wert der Zeitkonstante CO, der von CI durch Addition oder Subtraktion einer Einheit abgeleitet wird, zwischen 0(CO nicht negativ) und einem Schwellenwert N(CO nicht größer als N) bleibt. Falls diese zweifache Bedingung nicht erfüllt ist, verändert der Block 15c nicht den Wert von CI (der sich tatsächlich innerhalb des Intervalls von 0 und N, Grenzen eingeschlossen, befand), und es gilt nun CO = CI.
Der obere Grenzwert N oder n kann entweder konstant oder variabel sein; im letztgenannten Fall darf er einen Grenzwert N max (oder n max) nicht überschreiten; die eventuelle Veränderung wird durch den Block 15f unter der Wirkung einer Steuerung, die dem Benutzer zur Verfügung steht, vorgegeben.
Als Variante kann N oder n von PI abhängig gemacht werden (wobei N, n und PI tatsächlich mit dem Triplett von Indices i, j, t belegt sind), um eine Regelung der Veränderung von LO (welches in dem Block 15d berechnet wurde) in Abhängigkeit von dem Niveau von PI zu gewährleisten, was ausgedrückt werden kann durch "Nijt oder nijt ist eine Funktion von PIijt", wobei die Bestimmung von Nijt oder Nijt = f(PIijt) in einem Berechnungsblock erfolgt, der den dargestellten Block 15f ersetzt und zusätzlich zu N den Wert von PI von der Videokamera 13 empfängt.
Vorzugsweise kann der Zeitkonstante C (tatsächlich jeder Cijt) die Bedingung auferlegt werden, einen digitalen Wert anzunehmen, der ein Vielfaches von 2, insbesondere eine Leistung von 2 ist, unabhängig von i, j und t; in diesem besonderen Fall ist Cijt = 2p(ijt) wobei p eine kleine ganze Zahl ist, die von i, j und 1 abhängt und durch eine verringerte Bitanzahl darstellbar ist. Diese Bedingung bringt die oben erwähnten zusätzlichen Vorteile:
- das Konvergenzgesetz der Glättung ist ähnlich den Gesetzen der Physiologie des menschlichen Sehens
- die elektronische Verwirklichung der Blöcke 15c und 15d ist einfacher; insbesondere in dem Block 15d, der die Entwicklung des Wertes der Zeitkonstante für jedes Paar i, j bestimmen soll; durch die Formel
LO = LI + (PI-LI)/CO,
werden die Berechnungen vereinfacht, falls CO die Form 2p aufweist (wobei p eine kleine ganze Zahl ist), wobei der Schwellenwert n von p selbst eine kleine ganze Zahl ist, die durch eine begrenzte Bitanzahl dargestellt werden kann.
In jedem Fall wird der neue Glättungswert LO des digitalen Eingangsvideosignals S in den Speicher 16 gesandt, in dem er an die Stelle von LI tritt (und zwar für jedes Paar von Indices ij).
Beim Studium der Fig. 2 und 3 kann festgestellt werden, daß die Zeitbearbeitungseinheit 15, die die Berechnungsblöcke 15a, 15b, 15c, 15d und eventuell den Block 15e und/oder den Block 15f umfaßt und die mit dem Speicher 16 zusammenwirkt, wie oben dargelegt, am Ausgang für jedes Triplett i, j, t bestimmt und liefert:
- einerseits den aktualisierten geglätteten Wert LO, der an den Speicher 16 als Ersatz für den vorhergehenden Glättungswert LI übertragen wird,
- andererseits zwei digitale Signale, nämlich:
- ein Binärsignal DP, das entweder die Überschreitung (DP = 1) oder die Nichtüberschreitung (DP = 0) einer gewissen Schwelle durch die Absolutwertveränderung des eingehenden Pixelsignals von der Videokamera in bezug auf das vorhergehende geglättete Videosignal für denselben Punkt anzeigt; und
- ein digitales Amplitudensignal, das von dem Wert der aktualisierten Zeitkonstante CO gebildet wird;
wobei diese digitalen Signale DP und CO über die Verzögerungseinheit 18 von der Raumbearbeitungseinheit 17, die nachstehend beschrieben ist, empfangen werden, wobei das Signal CO auch von dem Speicher 16 empfangen wird, in dem der Wert CO an die Stelle des vorhergehenden Wertes CI für dasselbe Pixel tritt.
Es ist somit zu sehen, daß die Kapazität des Speichers 16, um die aufeinanderfolgenden Werte des geglätteten Pixelsignals einerseits und der Zeitkonstante andererseits zu speichern, d. h. unter der Annahme, daß R Pixel in einem Raster vorhanden sind, somit 2R Pixel pro vollständigem Bild, zumindest 2R(e + f) Bit betragen muß, wobei e und f die Bitzahlen genannt werden, die einem Pixelsignal bzw. einer Zeitkonstante zugeordnet werden. Die Kapazität des Speichers braucht nämlich nicht viel größer zu sein; es reicht aus, wenn sie 2R(e + f) Bits der erforderlichen Bitanzahl für die Gewährleistung seines ordnungsgemäßen Betriebs überschreitet, insbesondere für die Adressierung und Entnahme der Bits der geglätteten Pixelsignale und der Bits der Zeitkonstanten in Abhängigkeit von den Indices i und j. Wenn jedes Videobild von einem einzigen Raster gebildet wird, reichen R(e + f) Bits an Stelle von 2R(e + f) Bits aus.
Die Ausgänge DPij und COij zu einem Zeitpunkt t der Zeitbearbeitungseinheit 15 werden analysiert und in einer in Fig. 4 dargestellten Raumbearbeitungseinheit verwendet, wobei die Verbindung der Fig. 3 und 4 in Fig. 2 dargestellt ist.
Die Zeitbearbeitungseinheit 15 bearbeitet nämlich die Rastersignale, während die Raumbearbeitungseinheit 17 der Fig. 4 die Untersequenzen von Zeilen und Pixel in einem Raster bearbeitet.
In Fig. 5 ist schematisch die Zeitbearbeitung der entsprechenden aufeinanderfolgenden Rastersequenzen TR&sub1;, TR&sub2;, TR&sub3;, die in der Figur übereinanderliegend sind, und die Raumbearbeitung des ersten dieser Raster, d. h. TR1, dargestellt, indem die kartesischen Koordinaten x und y und ein Pixel PI von Koordinaten y, x, d. h. von Indices i, j zum Zeitpunkt t&sub1; dargestellt sind; die aufeinanderfolgenden Pixel von selben Indices ij auf den drei Rastern TR&sub1;, TR&sub2;, TR&sub3; besitzen die Indices ijt&sub1;, ijt&sub2; bzw. ijt&sub3; und weisen die Pixelwerte PIijt1, PIijt2 bzw. PIijt3 auf. Ein Plan der Fig. 5 entspricht einer räumlichen Bearbeitung eines Rasters, während das Übereinanderlegen der Pläne der Zeitbearbeitung entspricht (wobei die Zeit t die Variable ist).
Die räumliche Bearbeitungseinheit 17, der eine Verzögerungseinheit 18 (ebenfalls in Fig. 4 dargestellt) angeschlossen ist, wirkt mit einer Steuereinheit 19 zusammen, die von einer Uhr 20 kontrolliert wird, die einen Uhrzeitimpuls HP an jedes der aufeinanderfolgenden Pixelsignale liefert (Fig. 2 für die Einheit).
Die Ausgänge DPij und COij der Zeitbearbeitungseinheit 15 sind in der Einheit 17 nach einer Matrix 21 reduzierter Abmessung verteilt, umfaßend eine Anzahl von Zeilen und eine Anzahl von Spalten, die wesentlich kleiner als die Anzahl von Zeilen L bzw. von Pixeln M pro Zeile der DPij und COij zu einem gegebenen Zeitpunkt t sind. Insbesondere kann die Matrix 2l + 1 Zeilen entlang der y-Achse und 2 m + 1 Spalten entlang der x-Achse (in kartesischen Koordinaten) umfaßen, wobei l und m kleine ganze Zahlen sind. Vorzugsweise werden 1 und m unter den Leistungen von 2 ausgewählt, wobei l gleich 2º und m gleich 2b ist, wobei a und b ganze Zahlen von ungefähr 2 bis 5 beispielsweise sind. Um die Zeichnung und die Erklärung zu vereinfachen, wird als Beispiel angenommen m = l (obwohl sie unterschiedlich sein können) und m = l = 2³ = 8; in diesem Fall hat die Matrix 21 2 · 8 + 1 = 17 Zeilen und 17 Spalten.
In Fig. 4 ist ein Teil der 17 Zeilen Y&sub0;, Y&sub1;, ... Y&sub1;&sub5;, Y&sub1;&sub6; und ein Teil der 17 Spalten X&sub0;, X&sub1;, ... X&sub1;&sub5;, X&sub1;&sub6;, die die Matrix 21 der Einheit 17 bilden, dargestellt.
Es geht darum, entlang der Matrix 21 auf l + 1 Zeilen, insbesondere 17 Zeilen, und m + 1 Spalten, insbesondere 17 Spalten, die eingehenden Ströme der DPijt, und COijt, d. h. Binärüberschreitungssignale DP und digitale Amplitudensignale, die die Zeitkonstante CO darstellen, die von der Zeitbearbeitungseinheit 15 stammen, gemäß einer Matrixverteilung zu verteilen, die für ein Raster stärker erweitert ist, nämlich L Zeilen, insbesondere 312,5, und M Pixel pro Zeile, insbesondere ungefähr 250 bis 800, gemäß der verwendeten TV-Norm.
Um die beiden Matrices zu unterscheiden, nämlich jene des Videosignals von L · M und jene der Einheit 17 von l · m, die mit 21 bezeichnet ist, werden die Indices i und j nach den beiden Koordinaten der ersten (die nur dann erscheint, wenn das digitale Videosignal auf einem Fernsehbildschirm oder Monitor angezeigt wird) und die Indices x und y nach den beiden Koordinaten der zweiten (dargestellt in Fig. 4) verwendet; zu einem gegebenen Zeitpunkt ist ein Pixel mit einem Momentanwert PIijt, am Eingang der räumlichen Bearbeitungseinheit 17 durch zwei digitale Signale DPijt, und COijt, gekennzeichnet. Die Matrix des L · M dieser beiden Signale verschiebt sich durch Abfragen über die Matrix 21 von (2l + 1) · (2m + 1), die viel kleiner ist, wie nachstehend unter Bezugnahme auf Fig. 4 erklärt, wobei die Matrix 21 (2l + 1) · (2m + 1) Pixel einem gleichen Raster entspricht.
In dieser Matrix 21 wird jedes Pixel durch eine Zeilenordnungszahl zwischen 0 und 16 (Klemmen inklusive) für die Zeilen Y&sub0; bis Y&sub1;&sub6; und eine Spaltenordnungszahl zwischen 0 und 16 (Klemmen inklusive) für die Spalten X&sub0; bis X&sub1;&sub6; definiert, falls l = m = 8, d. h. 2l + 1 + 2m + 1 = 17. In diesem Fall verwirklicht die Matrix 21 eine Darstellung in der Ebene 17 · 17 = 289 Pixel, während die Matrix des Videosignals mehrere Zehn- oder Hunderttausende Pixel oder auch mehr umfaßt.
In Fig. 4 ist durch längsförmige horizontale Rechtecke Y&sub0; bis Y&sub1;&sub6;, von denen nur vier dargestellt sind, nämlich Y&sub0;, Y&sub1;, Y&sub1;&sub5; und Y&sub1;&sub6;, und durch vertikale Zeilen X&sub0; bis X&sub1;&sub6;, von denen nur vier dargestellt sind, nämlich X&sub0;, X&sub1;, X&sub1;&sub5; und X&sub1;&sub6;, diese Matrix 21 (der Einheit 17) mit 17 · 17 Bildpunkten oder Pixel mit Indices dargestellt, die am Schnittpunkt einer Ordinatenzeile mit einer Abszissenspalte definiert sind. Beispielsweise die Pixelposition P&sub8;&sub8; befindet sich im Schnittpunkt der Spalte 8 und der Zeile 8, wie in Figur bei e, dem Zentrum der Matrix 21, dargestellt.
Um die aufeinanderfolgende räumliche Verteilung von Abschnitten dieser Matrix von L · M nach der Matrix 21 von (2l + 1) (2 m + 1) durchzuführen, wurde der Einheit 17 eine Verzögerungseinheit 18 zugeordnet, die einerseits die Signale DP und CO (denen die Indices ijt zugeordnet sind) und andererseits das Eingangspixelsignal S. d. h. PI (ebenfalls mit den Indices ijt), sowie ein Signal HP, das von einer Uhr 20 stammt, und Zeilensequenzsignale SL und Spaltensequenzsignale SC empfängt (Fig. 2 und 4).
Wie in Fig. 1 dargestellt, umfaßt das Signal S(PI) zusätzlich zu den Pixelwertsignalen, wie a1,1, a1,2, die eine zeitliche Sequenz (aufeinanderfolgende Raster) und räumliche Untersequenzen (Pixel pro Zeile in jedem Raster) bilden, Synchronisationssignale ST, SL, deren Zeiteinheit 20 nicht nur ein Uhrzeitsignal beispielsweise mit der Frequenz von 13,5 MHz, nämlich einen Gipfel für jedes Pixel eines Videorasters, ableitet, sondern auch Blankingsignale BL, die die Einheit 19 während der vorgenannten Synchronisationssignale inoperativ setzen.
Als Antwort auf diese Signale HP und BL, die von der Uhr 20 (Fig. 2) kommen, liefert die Taktsteuerungseinheit 19 an der Verzögerungseinheit 18 ein Zeilensequenzsignal SL mit einer Frequenz gleich dem Quotienten von 13,5 MHz durch die Spaltenanzahl pro Raster, d. h. beispielsweise 400, und ein Rastersignal SC, dessen Frequenz gleich dem vorgenannten Quotienten 13,5/400 MHz, geteilt durch die Zeilenzahl des Videobildes, beispielsweise 312,5, sowie HP ist.
Aus diesen Signalen SL und SC und dem Zeitsignal HP gewährleistet die Einheit 18 die räumliche Verteilung Zeile pro Zeile gemäß der Matrix 21.
Zu diesem Zweck empfangen die aufeinanderfolgenden Zeilen Y&sub0; bis Y&sub1;&sub6; die Signale DP und CO:
- die nicht verzögert sind (Zeile Y&sub0;);
- die um eine Periode TP gleich der Dauer einer Rasterzeile (Zeile Y&sub1;) verzögert sind;
- die um 2TP (Zeile Y&sub2;) verzögert sind,
und so weiter bis
zu jenen, die um 16TP (Zeile Y&sub1;&sub6;) verzögert sind.
Die aufeinanderfolgenden Verzögerungen der Dauer einer Rasterzeile, nämlich TP, werden in einer Kaskadenschaltung von sechzehn Verzögerungsschaltungen r&sub1;, r&sub2;, ... r&sub1;&sub6; verwirklicht, die die Zeilen Y&sub1;, Y&sub2;, ... Y&sub1;&sub6; versorgen, wobei die Zeile Y&sub0; direkt von den nicht verzögerten Signalen DP und CO von der Einheit 15 versorgt werden.
Die Gesamtheit der Schaltungen r&sub1;, r&sub2;, ... r&sub1;&sub6; kann von einer verzögerten Zeile mit sechzehn Ausgängen gebildet werden, wobei die von einem beliebigen Abschnitt zwischen zwei aufeinanderfolgenden Ausgängen vorgegebene Verzögerung konstant und gleich TP ist.
Das Ablaufen der gesamten Rastermatrix L · M auf der Matrix 21 von (2l + 1)(2m + 1) wird hinsichtlich der aufeinanderfolgenden Zeilen der durch Rollen aufeinanderfolgenden Raster von der Taktsteuerungseinheit 19 mit Hilfe der Zeilenfrequenzsignale SL folgendermaßen gewährleistet.
Was die Verschiebung der Pixel einer Zeile der Matrix eines Rasters auf der Matrix 17 · 17 durch Rollen betrifft, beispielsweise von X&sub0; bis X&sub1;&sub6; auf der Zeile Y&sub0;, so wird diese durch eine Kaskadenschaltung von sechzehn Schieberegistern d auf jeder der 17 Zeilen von Y&sub0; bis Y&sub1;&sub6; (das sind insgesamt 16 · 17 = 272 Schieberegister) gewährleistet, die in jeder Zeile zwischen zwei aufeinanderfolgenden Pixelpositionen angeordnet sind, nämlich zwischen den Positionen PI&sub0;&sub0; und PI&sub0;&sub1; das Register d&sub0;&sub1;, zwischen den Positionen PI&sub0;&sub1; und PI&sub0;&sub2; das Register d&sub0;&sub2;, usw. Jedes Register gibt eine Verzögerung von TS gleich dem zeitlichen Abstand zwischen zwei aufeinanderfolgenden Pixeln einer Zeile durch die Spaltensequenzsignale SC vor.
Es ist anzumerken, daß aufgrund der Tatsache, daß die Zeilen I&sub1;, I&sub2;, ... I&sub1;&sub7; eines Rasters TR1 (Fig. 1) sowohl für S(PI) als auch für DP und CO um TP versetzt (vollständige Dauer einer Zeile) nacheinander bei der Einheit 18 ankommen und diese sie mit progressiv um TP wachsenden Verzögerungen auf den Zeilen Y&sub0;, Y&sub1;... Y&sub1;&sub7; verteilt, diese zu einem gegebenen Zeitpunkt die Signale von DP und CO für die Zeilen I&sub1;, I&sub2;, ... I&sub1;&sub7; ein und desselben Rasterabschnittes anzeigen.
Ebenso in einer gegebenen Zeile, wie beispielsweise I&sub1;, kommen die aufeinanderfolgenden Pixelsignale a1,1, a1,2 .... um TS versetzt an und die Schieberegister d geben eine Verzögerung vor, die ebenfalls gleich TS ist; daraus ergibt sich somit, daß die Signale von DP und CO für Pixel einer gegebenen Zeile Y&sub0; bis Y&sub1;&sub6; der Matrix 21, auf dieser Zeile verfügbare Pixel, zeitgerecht sind, d. h. daß sie einem selben Rasterabschnitt entsprechen.
Es handelt sich somit sowohl für die Zeilen als auch für die Pixel dieser Zeilen eines Rasterabschnittes um eine rein räumliche Bearbeitung, da die Matrix 21 in ihren 17 · 17 Pixelpositionen die Werte von DP und CO für die 17 Pixel jeder der 17 Zeilen ein und derselben Matrix des digitalen Videosignals S(PI) anzeigt, obwohl diese Pixel, wie beispielsweise a1,1, nacheinander Zeile pro Zeile und Pixel pro Pixel in jeder der aufeinanderfolgenden Zeilen (Fig. 1) in der Einheit 18 ankommen, ebenso wie die entsprechenden Signale DP und CO, die angezeigt werden.
Die für die zeitgerechten CO und DP der Matrix 21 repräsentativen Signale sind zu einem gegebenen Zeitpunkt an den 16 · 17 = 272 Ausgängen der Schieberegister verfügbar, sowie im Vorlaufbereich der 17 Register an der Spitze der 17 Zeilen, d. h. der Register d0,1, d1,1 ... d16,1, was insgesamt 16 · 1 7 + 17 = 17 · 17 Ausgänge für die 17 · 17 Positionen P0,0, P0,1, ... P8,8 ... P16,16 macht.
Im Inneren der Matrix 21 um das Zentrum e derselben mit den Koordinaten x = 8, y = 8 (deshalb ist die Anzahl der Zeilen und die Anzahl der Spalten der Matrix 21 vorzugsweise ungerade: 2l + 1 bzw. 2m + 1) kann insbesondere eine kleine Matrix zu 3 Zeilen und 3 Spalten angenommen werden, deren zentrales Element ihrer 9 Elemente genau das Pixel e mit den Koordinaten x = 8, y = 8 ist. Nämlich
diese kleine Matrix, deren zentrales Element e unterstrichen ist.
Dieser Matrix von 3 · 3 Elementen, die 8 Stellen a, b, c, d, f, g, h, i um das zentrale Element oder die zentrale Stelle e aufweist, können 8 Ausrichtungen zugeordnet werden, die jeweils von der zentralen Stelle e abgehen und zu einer der 8 anderen führen.
Zu diesem Zweck können die 8 Richtungen mit Hilfe des Freeman-Codes erfasst werden, der in Fig. 6 dargestellt ist, wobei die Ausrichtungen von 0 bis 7 ausgehend von der x-Achse von 45º zu 45º codiert sind. Im Freeman-Code sind die 8 mit 0 bis 7 nummerierten möglichen Ausrichtungen durch eine Anzahl von 3 Bits darstellbar, da 2³ = 8, nämlich 8 Möglichkeiten.
Bei neuerlicher Betrachtung der vorhergehenden kleinen Matrix M3 sind die 8 Richtungen nach dem Freeman-Code, ausgehend von der zentralen Position e, folgende:
wie in Fig. 7 erklärt.
Zurückkommend auf die Matrix 21 der Fig. 4 mit 17 · 17 Bildpunkten oder Pixeln wird zuerst dargelegt, wie hier eine in relativer Bewegung befindliche Zone in bezug auf ein im wesentlichen unbewegliches Umfeld in der Szene erfasst wird, die durch die Videokamera 13 beobachtet und somit in dem digitalen Videosignal S dargestellt wird, welches sich aus Pixel PIijt, zusammensetzt, und wie die Geschwindigkeit und die Ausrichtung einer tatsächlichen Verschiebung in bezug auf ein im wesentlichen unbewegliches Umfeld bestimmt werden.
Zwischen zwei aufeinanderfolgenden Rastern, wie beispielsweise TR, und TR&sub2; (Fig. 5) sind die PIij Pixel des Signals S hinsichtlich ihrer Veränderung zwischen dem Zeitpunkt t&sub1; (erstes Raster) und dem Zeitpunkt t&sub2; (zweites Raster) durch die beiden Signale DPij und COij gekennzeichnet, die durch Abtasten gemäß der Matrix 21 verteilt sind.
Es besteht eine deutliche Veränderung des Pixelwertes an einem Punkt dieser Matrix, wenn DP = 1 für diesen Punkt ist. Somit wird eine in tatsächlicher Verschiebung befindliche Zone durch die Zone der Matrix erfasst, in der DP = 1 für jeden Punkt ist.
In einer Berechnungseinheit 17a werden tatsächlich gleichzeitig im Inneren der Matrix 21 mit 17 · 17 Positionen die verschiedenen verschachtelten quadratischen Matrices studiert, die auf e zentriert sind, mit den Abmessungen 15 · 15, 13 · 13, 11 · 11, 9 · 9, 7 · 7, 5 · 5 und 3 · 3, wobei letztgenannte die vorgenannte Matrix M3 ist. Es wird bestimmt, welche Matrix unter diesen diejenige ist, die eine kleinere Abmessung aufweist und DP = 1 entlang einer Geraden ausgerichtet besitzt, die die Verschiebrichtung der Zone bestimmt, in der DP = 1 ist, und die eine Veränderung von +1 und -1 um CO bestimmt. Bei einer Veränderung von +1 und -1 um CO muß DP = 1 für jeden Wert gelten, um den Test zu akzeptieren. Es wird für die Teilnahme am Test die kleinste Matrix ausgewählt (Zeile mit dem größten Gefälle).
Sodann wird im Inneren dieser in einer der verschachtelten Matrices in Verschiebung befindlichen Zone, beispielsweise in der kleinen Matrix M3 mit 3 · 3 Elementen, bestimmt, ob CO auf jeder Seite der Normalposition in eine gegebene Richtung um +1 in eine Ausrichtung und um -1 in dieselbe Richtung, jedoch entgegengesetzt ausgerichtet, variiert. Wenn beispielsweise -1,0, +1 für die Richtung (Ausrichtung) 1 gilt, d. h. in den Positionen g, e, c der kleinen Matrix M3, ist die Verschiebung in dieser Matrix von rechts nach links in Richtung (Ausrichtung) 1 des Freeman-Codes vorhanden (Fig. 6). Natürlich gilt gleichzeitig für diese Richtung der kleinen Matrix DP = 1. Je mehr CO um +1 oder -1 zwischen zwei benachbarten Positionen entlang einer Richtung in einer größeren Matrix von den verschachtelten Matrices 3 · 3 bis 15 · 15 variiert, desto größer ist die Verschiebegeschwindigkeit. Wenn beispielsweise -1,0, +1 in Ausrichtung 1 gilt, d. h. g, e, c in der Matrix 9 · 9, die mit M9 bezeichnet ist, ist die Verschiebung schneller als wenn -1,0, + 1 in der Matrix M3 von 3 · 3 gilt (Fig. 7).
Aufgrund der Tatsache, daß CO eine Leistung von 2 ist und durch diese Leistung in den bevorzugten Ausführungsarten dargestellt wird, kann ein erweiterter Geschwindigkeitsbereich erfasst werden, indem nur einige Bits für die Leistung von 2 verwendet werden, wobei sogar eine relativ geringe Geschwindigkeit erfasst wird (die gewählt werden kann, indem die Abweichung für den Test erhöht wird; beispielsweise -2,0, +2 in der Matrix M3 von 3 · 3 zeigt eine zweimal geringere Geschwindigkeit in bezug auf die entsprechende Geschwindigkeit in der Matrix M3 von -1, 0, +1 an, und dies für dieselben Positionen g, e, c).
Es sind ferner zwei Tests vorzusehen, um Unsicherheiten zu beseitigen:
- ein erster Test wählt die stärkste Veränderung aus, d. h. die höchste Zeitkonstante, falls in einer der verschachtelten Matrices, beispielsweise in der kleinen Matrix M3 von 3 · 3 Elementen, Veränderungen von CO in mehreren Richtungen vorhanden sind;
- ein zweiter Test wählt willkürlich eine Richtung aus zwei (oder mehr) Richtungen aus, in denen die Veränderung von CO identisch ist, beispielsweise indem der geringste Wert des Freeman-Codes ausgewählt wird; ein solcher Fall ergibt sich nämlich meistens, wenn sich die tatsächliche Ausrichtung der Verschiebung im wesentlichen zwischen zwei aufeinanderfolgenden, im Freeman-Code codierten Richtungen befindet, beispielsweise zwischen den Richtungen 1 und 2, was einer Ausrichtung entspricht, die mit 1,5 (Fig. 6) bezeichnet werden kann, die ungefähr 67,5º mit jener der x-Achse (0- Richtung im Freeman-Code) bildet.
Die Bestimmung der Ausrichtung und der Geschwindigkeit einer in tatsächlicher Bewegung befindlichen Zone auf die soeben beschriebene Weise erfolgt durch die Berechnungseinheit 17a (Fig. 4), die der Einheit 17 zugeordnet ist und die die 17 · 17 vorgenannten Ausgänge der Matrix 21 sowohl für CO als auch für DP empfängt (zwei Ausgänge von 21, nämlich s0,1, und s0,16, sind dargestellt). Die Einheit 17a bearbeitet die Werte von CO und DP für die aufeinanderfolgenden verschachtelten Matrices und bestimmt nach diesen Werten die Ausrichtung (im Freeman-Code) und die Verschiebegeschwindigkeit (nach der unter den verschachtelten Matrices festzuhaltenden Matrix), indem eventuell die vorgenannten Tests angewandt werden.
Das Ablaufen eines gesamten Rasters des digitalen Videosignals über die Matrix 21 erfolgt:
- zuerst für die Gruppe der 17 ersten Zeilen, Zeilen 1 bis 17, des Rasters: von links nach rechts in dem Raster, indem die relative Bewegung berücksichtigt wird, wie für das Raster TR&sub2; in Fig. 5 dargestellt: der Abschnitt TM&sub1; ganz links, sodann TM&sub2;, um eine Spalte in bezug auf TM, versetzt, und zwar bis zu TMM ganz rechts (wobei M die Pixelanzahl pro Rasterzeile ist);
- sodann analog von links nach rechts von Spalte zu Spalte für die Zeilen 2 bis 18 des Rasters;
- und so weiter, indem jedes Mal um eine Zeile tiefer gegangen wird: Zeile 3 bis 19 ... bis zu der letzten Gruppe im unteren Rasterbereich, nämlich jener der Zeilen L - 16 ... L (wobei L die Zeilenzahl pro Raster ist).
Bei Betrachtung der Fig. 2 und 4 ist zu sehen, daß die Ausgänge der Einheiten 17, 18 und 19, d. h. der Raumbearbeitungseinheit, sind:
- ein Signal V, das die Verschiebegeschwindigkeit nach der Amplitude der maximalen Veränderung von CO in der erfassten Zone darstellt, dessen Wert beispielsweise durch eine Skala von acht ganzen Zahlen von 0 bis 7 dargestellt werden kann, wenn die Geschwindigkeit in digitaler Form von Leistungen von 2 vorhanden ist und somit 3 Bits umfaßt;
- ein Signal DI, das die Richtung dieser Verschiebung nach der Richtung dieser maximalen Veränderung darstellt, wobei der Wert von DI auch durch einen von den acht Werfen von 0 bis 7 in dem Freeman-Code dargestellt werden kann, somit 3 Bits umfaßen kann;
- ein Genehmigungssignal VL, das angibt, daß das Ergebnis für die Geschwindigkeit und die Ausrichtung gültig ist, um einen gültigen Ausgang mit V = 0 und DI = 0 von einem fehlenden Ausgang aufgrund eines Zwischenfalls unterscheiden zu können, wobei dieses Signal entweder 1 (gültiger Ausgang) oder 0 (fehlender Ausgang) ist; somit ist für VL nur ein Bit erforderlich;
- vorzugsweise ein Signal CO der Zeitkonstante, somit beispielsweise 3 Bits;
- (die 3 oder 4 Signale V, DI, VL und eventuell CO werden von der Raumbearbeitungseinheit und ihrer zugehörigen Elektronik geliefert)
- ein verzögertes Videosignal SR, das aus dem Eingangsvideosignal gebildet wird, das in der Verzögerungseinheit 18 um die 16 aufeinanderfolgenden Zeitspannen der Zeilen TR und somit um die Dauer der Verteilung des Signals S in der Matrix 21 von 17 · 17 verzögert ist, um über das zeitgerechte digitale Videosignal der Matrixdarstellung in der Matrix 21 zu verfügen, ein Signal, dessen Inhalt in Klarschrift auf dem Bildschirm eines Fernsehers oder Monitors angezeigt werden kann;
- die Gesamtheit der drei Ausgangssignale der Einheit 19, nämlich die Uhrzeitsignale HP, die Zeilenfrequenzsignale SL und die Spaltenfrequenzsignale SC.
Die rechteckigen verschachtelten Matrices der Fig. 4 und 7 können durch verschachtelte hexagonale Matrices (Fig. 8) oder eine Matrix in Form eines umgekehrten L (Fig. 9) ersetzt werden.
Im Falle der Fig. 8 sind die verschachtelten Matrices (von denen nur die zentralsten Matrices MR1 und MR2 dargestellt sind) alle auf dem Punkt MRO zentriert, der dem zentralen Punkt (in dem das Binärsignal "0" ist) der Matrices M3, M9 der Fig. 7 entspricht. Der Vorteil eines hexagonalen Matrixsystems besteht darin, daß es einerseits ermöglicht, schräge Koordinatenachsen, xa, ya, zu verwenden, und andererseits eine Aufgliederung in Dreiecke, die identische Seiten aufweisen, was die Berechnung der isotropen Geschwindigkeiten verwirklicht.
Die Matrix der Fig. 9 besteht aus einer einzigen Zeile Lu und einer einzigen Spalten Cu, ausgehend von dem zentralen Feld MRu in dem die beiden Signale DP und CO "1" für DP betragen bzw. um eine Einheit für CO bei einer Verschiebung erhöht oder verringert werden.
Auf diese Weise wird bestimmt, ob die Richtung der (relativen) Verschiebung erfolgt:
- in Richtung der x-Koordinate: das Signal CO ist in allen Feldern der Spalte Cu identisch, und das Binärsignal DP ist gleich 1 in den Feldern der Zeile Lu, vom Ursprung MRu mit dem Wert COu bis zu dem Feld, in dem CO gleich COu +1 oder -1 inklusive ist;
- in Richtung der y-Koordinate: das Signal CO ist in allen Feldern der Zeile Lu identisch, und das Binärsignal DP ist gleich 1 in den Feldern der Spalte Cu, vom Ursprung MRu mit dem Wert COu bis zu dem Feld, in dem CO gleich COu +1 oder -1 inklusive ist;
- oder schließlich schräg zu x und y: das Binärsignal DP ist gleich 1 und CO ist gleich COu, in den Feldern von Lu und in den Feldern von Cu, wobei das Gefälle durch die Senkrechte auf die Zeile bestimmt wird, die durch die beiden Felder geht, in denen das Signal COu seinen Wert um eine Einheit ändert, wobei das Signal DP immer gleich 1 ist.
In Fig. 9 ist der Fall dargestellt, in dem DP = 1 und COu seinen Wert um eine Einheit in zwei besonderen Feldern Lu3 und Cu5 ändert, und ist das entsprechende Gefälle Pp angegeben.
In allen Fällen hängt die Verschiebegeschwindigkeit von dem Feld ab, in dem CO seinen Wert um eine Einheit ändert.
Falls sich CO um eine Einheit, wie bei Lu oder Cu, ändert, entspricht es dem Wert des Veränderungsfeldes von CO.
Falls sich CO um eine Einheit in einem Feld von Lu und in einem Feld von Cu ändert, ist die Geschwindigkeit proportional zu der Distanz zwischen MRu und Ex (Schnittpunkt der auf Cu-Lu senkrechten Zeile, die durch MRu geht).
Das bisher beschriebene System unter Bezugnahme auf die Fig. 1 bis 9 wird vorzugsweise durch ein komplementäres System ergänzt, das unter Bezugnahme auf die Fig. 11 bis 15 beschrieben ist, um ein Gesamtsystem 22 zu bilden, das in Fig. 10 dargestellt ist, in der einerseits die Einheit 11a der Fig. 2 mit Angabe der Signale V, DI, VL, C, SR und der zusammengesetzten Signale F (HP, SL, SC), die von der Einheit 11 (die das digitale Eingangsvideosignal S empfängt) an die Einheit 22a (die einen zusammengesetzten Ausgang ZH liefert) gesandt werden, dargestellt ist.
Die Verbindungslinie Z-Z&sub1; zwischen den Einheiten 11a und 22a ist in den Fig. 2, 10 und 11 dargestellt, wobei die Ausgänge der Einheit 11a an den Eingängen der Einheit 22a gemäß Z-Z&sub1; angeschlossen sind, um die vorgenannten Signale zu übertragen.
Der Ausgang der Einheit 22a und somit der Gesamtvorrichtung 22 wird von einem zusammengesetzten Signal ZH gebildet, das die gewünschte Information über die in relativer Verschiebung befindliche Zone der Szene 13a, die von der Videokamera 13 überwacht wird, liefert.
Die Ergänzungseinheit 22a, die an den Ausgängen der Einheit 11a angeschlossen ist, ist in Fig. 11 in Form von Funktionsblöcken dargestellt, wobei daran erinnert wird, daß diese Figur entlang der Zeile Z-Z&sub1; (an ihrem oberen Teil) sich an die Fig. 2 entlang der Zeile Z-Z&sub1; (am unteren Teil dieser letztgenannten Figur) anschließt.
Die Einheit der Fig. 11 stellt im wesentlichen eine Vorrichtung zur Bildung und Verwendung von Histogrammen dar und umfaßt:
- einen Mikrozeilenbus 23, der eine gewisse Anzahl von digitalen Signalen befördert, die nachstehend im Detail angeführt sind;
- sechs Blöcke oder Einheiten zur Bildung und Bearbeitung von Histogrammen, die die Bezugszeichen 24, 25, 26, 27, 28, 29 tragen, jeweils für die Histogramme von verzögerten digitalen Videosignalen, Geschwindigkeiten V, Ausrichtungen (im Freeman-Code) DI, Zeitkonstanten CO, ersten Achsen x(m) und zweiten Achsen y(m);
- sechs Blöcke oder Einheiten zur linearen Kombination 30, 31, 32, 33, 34, 35, die ihre Eingänge, die vom Bus 23 stammen, verbinden, um jeweils ein Genehmigungssignal V&sub1;, V&sub2;, V&sub3;, V&sub4;, V&sub5;, V&sub6; für die sechs Blöcke 24, 25, 26, 27, 28, 29 zu bilden, wobei 30 an 24 angeschlossen, 31 an 25 angeschlossen, 32 an 26 angeschlossen, 33 an 27 angeschlossen, 34 an 28 angeschlossen und 35 an 29 angeschlossen ist;
- einen Block oder eine Einheit der in Bewegung befindlichen Zone 36, der/die Ausgänge der Blöcke 28 und 29 für die Achsen x(m) und y(m) koordiniert; und
- einen Block oder eine Einheit zur Zeichenänderung 37, der/die Signale x(m)&sub0; und y(m)&sub0; über die Ausrichtung der Achsen x(m) und y(m) sowie Pixelzeitsignale HP, Zeilensequenzsignale SL und Spaltensequenzsignale SC (wobei diese drei Signale in dem Bündel F der Fig. 2, 4, 10 und 11 zusammengefaßt sind) von der Einheit 19 der Fig. 2 und 4 empfängt und die Signale x(m)&sub1; und y(m)&sub1; bildet, die an die Einheiten 28 bzw. 29 geleitet werden.
Die Einheiten 24, 25, 26 und 27 liefern jeweils an ihrem Ausgang SSR, SV, SDI, SDO an den Bus 23, während die Einheiten 28 und 29 jeweils ein Signal x(m)&sub2;, y(m)&sub2; an einen der beiden Eingänge der Einheit der in Bewegung befindlichen Zone 36 liefern, die diese beiden Signale von den Einheiten 28 und 29 kombiniert und am Ausgang ein zusammengesetztes Signal xy(m) an den Bus 23 liefert.
Die Funktion jeder der Einheiten 24 bis 29 zur Bildung und Bearbeitung von Histogrammen, die am Eingang einerseits ein Genehmigungssignal V&sub1;, V&sub2;, V&sub3;, V&sub4;, V&sub5; oder V&sub6; der zugehörigen Einheit zur linearen Kombination 30 bis 35 und andererseits ein zu bearbeitendes Signal SR, V, DI, CO, x(m)&sub1; oder y(m)&sub1; liefert, ist dieselbe, und deshalb ist die Funktion von nur einer dieser Einheiten dargelegt, nämlich der Einheit 25, die die Bildung und Bearbeitung der Geschwindigkeitshistogramme V zum Beispiel betrifft; nur die bearbeitete Variable unterscheidet sich bei den anderen analogen Einheiten 24, 26, 27, 28 und 29, wobei anzumerken ist, daß die verschiedenen Eingangssignale für die sechs Einheiten 24 bis 29 alle digitale Signale sind, wodurch ein gleicher Aufbau und eine gleiche Funktion dieser sechs Einheiten möglich ist.
In Fig. 12 sind schematisch jeweils mit ihren Umhüllenden die Histogramme 38 und 39 bei x bzw. y (kartesische Koordinatenachsen der Matrix 21 mit 17 · 17 Elementen der Fig. 4) der Geschwindigkeiten V der in Verschiebung befindlichen Zone dargestellt (in Fig. 14 sind die Elemente, wie beispielsweise C&sub1;, C&sub2; des Histogramms mit der Umhüllenden 38 angeführt); xM und yM stellen die Koordinaten bei x und y der Maxima der beiden Umhüllenden 38 und 39 dar, während la und lb für die x-Achse und lc und ld für die y-Achse die Grenzen des Bereichs der signifikanten oder interessanten Geschwindigkeiten darstellen, wobei la und lc die unteren Grenzen und lb und ld die oberen Grenzen der signifikanten Abschnitte der Histogramme darstellen.
Die vertikalen Geraden LO und Lb der Abszissen la und lb und die horizontalen Geraden Lc und Ld der Ordinaten lc und ld bilden ein Rechteck, das die schraffierte Zone 40 von signifikanten Geschwindigkeiten (für alle Richtungen x und y) umgibt, wobei einige Mikrozonen 41 mit geringeren Geschwindigkeiten, die nicht berücksichtigt werden, in der Nähe der Hauptzone 40 vorhanden sind.
Es reicht somit aus, die Koordinaten der vier Grenzen la, lb, lc und ld und der beiden Maxima xM und yM zu erfassen, um die Zone mit der größten Veränderung des in das Histogramm eingetragenen Parameters zu charakterisieren, die Geschwindigkeit V in dem besonderen betrachteten Fall. Diese Information über V liefert der Block 25 permanent am Ausgang an den Mikrobus 23.
Ebenso liefern die ähnlichen Blöcke 24, 26 und 27 permanent am Ausgang an den Mikrobus 23 die Informationen über die Zone mit dem Maximalwert für SR, DI bzw. CO.
Schließlich liefern die ähnlichen Blöcke 28 und 29 am Ausgang permanent an die Einheit 36 die Informationen über die Zone mit dem Maximalwert von x(m)&sub1; und y(m)&sub1;, wobei die Einheit 36 diese Abszissen- und Ordinateninformationen mit den Bezugszeichen x(m)&sub2; und y(m)&sub2; zu einem zusammengesetzten Signa) xy(m) kombiniert, das über den Ausgang der Einheit 36 an den Bus 23 geliefert wird.
Schließlich überträgt der Bus 23 die Informationen über die Zone der Maximalwerte von SR, V, DI, CO und xy(m), d. h. x(m)&sub1;, und x(m)&sub2;, wodurch es möglich ist, das Vorhandensein einer in Verschiebung befindlichen Zone in der von der Videokamera 13 beobachteten Szene zu bestimmen, diese Zone zu lokalisieren und deren Geschwindigkeit und Ausrichtung bei der Verschiebung zu bestimmen.
In Fig. 11 ist mit ZH das zusammengesetzte Ausgangssignal bezeichnet, das am Bus 23 verfügbar ist. Die vorgenannten Komponenten dieses Signals ZH können, insbesondere im Hinblick auf V und DI, d. h. die Geschwindigkeit und die Ausrichtung der in Verschiebung befindlichen Zone, in digitaler oder analoger Form angezeigt werden, ein Leucht- und/oder Lautsignal auslösen, insbesondere im Falle einer Schwellenüberschreitung durch die Geschwindigkeit V, oder auch durch Kabel, Glasfaser oder Funk zu Fernverwendungszwecken in einer Kontrolleinheit, wie beispielsweise der Einheit 10a der Fig. 1, die sich in der Nähe oder Ferne der erfindungsgemäßen Vorrichtung 11 befindet, übertragen werden.
Der Abschnitt der Einheiten der Fig. 12 über dem Bus 23 dient nach der Punkt für Punkt Bearbeitung eines gesamten Rasters und der Verbindung der Punkte eines Rasters, um davon einen globalen externen Wert abzuleiten, dazu, das Vorhandensein und die Lokalisierung einer Zone der beobachteten Szene in relativer Bewegung zu bestimmen, und, falls tatsächlich eine Verschiebung dieser Zone stattfindet, die Geschwindigkeit und die Ausrichtung dieser Verschiebung. Die Erfassung in der Beobachtungsebene dieser Zone in relativer Bewegung entlang zweier Richtungen x, y, die auch nicht orthogonal sein können (Fall der Anwendung der Fig. 15 und 16 beispielsweise), erfolgt durch den Abschnitt der Einheiten der Fig. 12 unter dem Bus 23.
Es sind nun im Detail unter Bezugnahme auf die Fig. 12, 13 und 14 der Aufbau und die Funktion eines Blocks zur Bildung und Bearbeitung eines Histogramms, wie beispielsweise 25, und seines zugehörigen Blocks zur linearen Kombination, wie beispielsweise 31, beschrieben.
Der Block 25 (Fig. 13) umfaßt einen Abschnitt 25a, der das Histogramm bildet, und einen Abschnitt 25b, der einen Klassierer für das Histogramm bildet, wobei diese beiden Abschnitte unter der Kontrolle einer Software arbeiten, die in Form eines integrierten Schaltungsabschnittes 25c vorhanden ist, der die Entnahme der Grenzen la, lb, lc und ld aus dem Histogramm durchführt (Fig. 11).
Der Klassierer 25b speist, wie auch die Klassierer der anderen Blöcke zur Bildung und Bearbeitung von Histogrammen 24, 26, 27, 28, 29 (für diese beiden letztgenannten über die Einheit 36 zur Kombination bei x(m) und y(m)) den Bus 23 und über diesen die lineare Kombinationseinheit 31, die somit parallel Informationen aller Klassierer der Einheiten 24, 25, 26, 27, 28, 29 empfängt und die in Abhängigkeit von diesen Informationen das Genehmigungssignal V&sub2; an die Einheit 25 liefert oder nicht.
Dank der Software von 25c bestimmt der Klassierer 25b die verschiedenen Klassen (wobei jede dieselbe Wertezahl der Geschwindigkeit in dem betreffenden Fall umfaßt), die die Umhüllende, wie beispielsweise 38 oder 39, definieren (Fig. 12).
In Fig. 14 sind entlang der x-Achse die aufeinanderfolgenden Klassen C&sub1;, C&sub2;, ... Cn-1, Cn und ihre Umhüllende 38 für die Geschwindigkeit V dargestellt, die in dem Klassierer 25b bestimmt werden.
Die Fig. 15 und 16 stellen die Rolle der Histogramme für x(m) und y(m) dar, die von den Einheiten 28 und 29 gebildet und in der Einheit 36 kombiniert werden, um ein Gefälle zu erhalten.
Zum Beispiel wird der Fall betrachtet, in dem eine Straße mit Hilfe einer Videokamera mit digitalem Ausgang beobachtet wird, die in ein Fahrzeug mit ihrer zugehörigen erfindungsgemäßen Einrichtung eingebaut ist.
In Fig. 15 sind zwei linke Bg und rechte Bd Ränder einer Straße R sowie die beispielsweise von 0 bis Z nummerierten Gefälle (nach einer anderen Vereinbarung als dem Freeman-Code) der Projektion Px bei x(m), die von der Einheit 28 verwirklicht ist, und der Projektion Py bei y(m), die von der Einheit 29 verwirklicht ist, dargestellt.
Um die beste Genauigkeit im Hinblick auf den rechten Rand Bd zu gewährleisten, d. h. eine maximale Sensibilität der Anzeigen, beispielsweise der Geschwindigkeit im Zusammenhang mit diesem Rand, ist es erforderlich, daß die Projektion Px das Gefälle aufweist, das möglichst nahe dem optimalen Gefälle P&sub0; ist, das zu Bd senkrecht steht, insbesondere das Gefälle 5 in der Darstellung der Fig. 15. Der Maximalwert des Histogramms der Geschwindigkeiten wird somit für das Gefälle 5 erzielt, das von der Einheit 28 bestimmt wird (Fig. 11).
Dieselbe Überlegung gelangt beim linken Rand Bg zur Anwendung, was das Gefälle der Projektion Py und somit die Rolle der Einheit 29 betrifft.
Die Einheit 36 zur Kombination der beiden optimalen Gefälle liefert die Optimierungsinformation für die Gesamtheit der beiden Ränder Bd und Bg.
Fig. 16 stellt die Anwendung der Bestimmung des optimalen Gefälles P&sub0; der Projektion Px, die als Beispiel herangezogen wird, dar, um eine ordnungsgemäße Steuerung eines Fahrzeugs Vh in Kontinentaleuropa mit Straßenrechtsverkehr (Fall a), in Großbritannien mit Straßenlinksverkehr (Fall b) und schließlich eines Flugzeuges Va für eine richtige Landung in der Mitte der Piste eines Flughafens (Fall c) zu gewährleisten.
Folglich umfaßt die erfindungsgemäße Vorrichtung, um die Steuerung eines Landfahrzeugs (Auto, Lkw) auf einer Straße oder eines Luftfahrzeugs (Flugzeug, Raumschiff) in der Nähe einer Flughafenpiste zu unterstützen, ferner Mittel zur Darstellung der rechten Bd und linken Bg Ränder der Straße bzw. der Piste und Mittel zur Ausrichtung von zumindest einer der Koordinatenachsen mit variablem Gefälle, um sich im wesentlichen orthogonal zum entsprechenden Rand zu halten (Position P&sub0;).
Bisher sind vor allem Mittel beschrieben, um eine in tatsächlicher Verschiebung befindliche Zone in einem im wesentlichen unbeweglichen Umfeld durch die Erfassung einer Region zu bestimmen, in der DP = 1 ist. Um eine Ruhezone in einem Umfeld in einer in Bewegung befindlichen Einheit zu bestimmen (Fall des Anhaltens eines Fahrzeugs bei einer Panne oder einer Kollision auf einer Autobahn beispielsweise) müssen im Gegenteil die Zonen, in denen DP = 0 ist, in bezug auf das Umfeld, in dem DP = 1 ist, lokalisiert werden. Natürlich sind in diesem Fall die Geschwindigkeiten in einer Zone gleich Null und der Begriff der Ausrichtung hat keinerlei Bedeutung. Die Berechnungen in 17a sind somit unterschiedlich.
Die erfindungsgemäße Vorrichtung kann, wenn sie nur dazu dient, eine unbewegliche Zone zu bestimmen, vereinfacht werden, indem Einheiten oder Blöcke weggelassen werden, die die Geschwindigkeiten und Richtungen erarbeiten, insbesondere die Blöcke 25, 26, 31, 32, und indem die Anzahl der Ausgänge der Einheit 11a und der Eingänge der Einheit 17 verringert wird.
In der Betriebseinheit 10a der erfindungsgemäßen Vorrichtung können Mittel vorgesehen sein, um auf einem Monitorbildschirm Histogramme und/oder Werte der Signale DP oder CO anzuzeigen.
Was das Signal SR betrifft, d. h. das verzögerte digitale Videosignal, wird es im allgemeinen für einen Fernseher oder Monitor 10 verwendet, um lokal oder in der Ferne auf dem Bildschirm desselben dieses Signal zu einem Zeitpunkt anzuzeigen, zu dem eine relative Bewegung gemeldet wird, um die Art dieser relativen Bewegung zu überprüfen. Es reicht somit aus, den Bildschirm des Fernsehers oder Monitors 10 nur dann zu beobachten, wenn eine in relativer Verschiebung befindliche Zone beispielsweise durch einen Sicht- und/oder Tonalarm angezeigt wurde.
Die Erfassung einer in relativer Bewegung befindlichen Zone auf dem Bildschirm kann vorzugsweise vereinfacht werden, indem dem verzögerten digitalen Videosignal SR willkürliche Farben gegeben werden, wobei jede Farbe oder Farbnuance eine Geschwindigkeit und/oder eine Richtung der Bewegung darstellt.
Die verschiedenen, unter Bezugnahme auf die Fig. 2, 3, 4, 11 und 13 beschriebenen Einheiten sind jeweils durch elektronische Schaltungen bekannten Typs verwirklichbar, insbesondere durch Mikroprozessoren, die Berechnungen und/oder Vergleiche durchführen oder verwenden: Abtastsignale; Speicher; Verzögerungseinheiten; Schieberegister; Einheiten, die lineare Histogramme bilden und in der Ebene solche Histogramme zuordnen; Mikrobusse.
Die Kombination dieser elektronischen Schaltungen in getrennten Einheiten 11a und 22a oder in einer Einheit 22, die aus 11a und 22a gebildet ist, kann in zwei integrierten Schaltungen oder in einer integrierten Schaltung sehr kleiner Abmessung von ungefähr 10 mm · 10 mm beispielsweise in der Technologie 0,7 u erfolgen, wobei die Einheit der beiden zusammengeschalteten integrierten Einheiten oder die einzige integrierte Schaltung mit ihrem Eingang an den digitalen Videoausgang einer Videokamera oder einer anderen Beobachtungseinrichtung oder mit ihren Ausgängen an eine oder mehrere Einrichtungen zur Verwendung vor Ort oder in der Ferne angeschlossen ist. Bei einer Variante ist, falls nur die vereinfachte Vorrichtung der Einheit 11a verwendet wird, diese, die vorzugsweise in Form einer einzigen integrierten Schaltung vorhanden ist, zwischen dem digitalen Ausgang und einer oder mehreren Vorrichtungen zur Verwendung vor Ort oder in der Ferne angeordnet.
Es sind nun, keineswegs als einschränkende Beispiele, zusätzliche Anwendungen einer erfindungsgemäßen Vorrichtung angeführt, insbesondere der Vorrichtung nach den Fig. 1 und 10, d. h. nach der Gesamtheit der Fig. 2 und 11, die entlang der Zeile Z-Z¹ verbunden sind.
Eine erste zusätzliche Anwendung, die in Fig. 17 dargestellt ist, besteht aus der automatischen Umrahmung einer Person, die sich in einem Raum, beispielsweise bei einer Videokonferenz, bewegt. Die automatische Umrahmung ermöglicht es, die Bewegungen der sich bewegenden Person zu beseitigen, wodurch die Definition des Bildes dieser von einer Videokamera mit digitalem Ausgang beobachteten Person erhöht wird und auch, wenn eine Komprimierung des digitalen Videosignals erfolgt, diese Komprimierung vereinfacht wird.
In Fig. 17 ist die Videokamera 13 zu sehen, die die Person P beobachtet, die sich bewegen kann. Das digitale Videosignal S der Videokamera wird nicht nur durch Kabel, Glasfaser oder Funk auf einen Fernseh- oder Monitorbildschirm 1 Ob übertragen, sondern auch von der erfindungsgemäßen Vorrichtung 11 empfangen, deren Ausgang ZH auf eine Einheit 42 einwirkt, die als Antwort auf die von der Vorrichtung 11 über die Lokalisierung und Bewegung der Person P empfangenen Signale die Motoren 43 der Kamera 13 steuert, um die optische Achse der Kamera zu der Person, insbesondere auf ihr Gesicht F, zu richten, in Abhängigkeit von der Lokalisierung ihrer Bewegung und der Geschwindigkeit und der Richtung derselben, und um eventuell auf die Zoom-Einstellung, die Brennweiteneinstellung und/oder die Anpassung der Kamera im Falle eines Vorschreitens oder Zurückweichens der Person P einzuwirken.
Es kann auch die Verfolgung einer Person (Schauspieler, Sänger) auf einer Szene durch mindestens einen Leuchtspot gesteuert werden, wobei die erfindungsgemäße Vorrichtung die Person im Zentrum des Bildes durch Verschiebung der Ausrichtung der Videokamera zentriert und die Richtung des Spots beispielsweise durch einen oder zwei ausrichtbare Spiegel für jeden Spot steuert.
Eine weitere Anwendung der erfindungsgemäßen Vorrichtung, die als Beispiel angeführt ist, ist in. Fig. 18 dargestellt, in der die Kamera 13 oder eine andere Beobachtungsvorrichtung zu sehen ist, die ein digitales Videosignal S in eine erfindungsgemäße Vorrichtung 11 liefert. Bei dieser Anwendung überwacht die Kamera 13 einen Autobahnabschnitt, um das ungewollte Anhalten eines Fahrzeugs zu erfassen, insbesondere auf dem Pannenstreifen, oder ein Anhalten eines Fahrzeugs nach einer Kollision.
Es geht somit in diesem Fall darum, die Unbeweglichkeit eines Objektes (Fahrzeug) in einem in Bewegung befindlichen Umfeld (die anderen Fahrzeuge) zu bestimmen, d. h. in der Matrix 21 mit 17 · 17 Elementen die Zone zu lokalisieren, in der DP = 0 ist. Normalerweise beobachtet die Kamera 13 eine Menge an Fahrzeugen, die Antworten DP = 1 mit Werten für die Geschwindigkeit und die Bewegungsrichtung erzeugen. Falls hingegen ein Fahrzeug anhält, wird es durch eine Antwort DP = 0 in seiner Beobachtungszone angezeigt.
Eine Einheit 44, die ZH sowie SR empfängt, erfasst das Auftauchen einer Zone, in der DP = 0 in ZH ist, und liefert am Ausgang ein Anomaliesignal NL, das einerseits einen Tonalarm und/oder Sichtalarm in einer Vorrichtung 45 auslöst und andererseits einen Schalter 46 steuert, der das Videosignal S (oder eher das verzögerte Videosignal SR) an den Bildschirm eines Fernsehers oder Monitors 10 anlegt, der es dem Überwacher, der durch den Ton- und/oder Sichtalarm gewarnt ist, ermöglicht, die Autobahn zu dem Zeitpunkt zu beobachten, zu dem ein Fahrzeug anhält oder eine Kollision stattfindet, um die erforderlichen Maßnahmen zu treffen, beispielsweise je nach der Reaktion des Fahrers des angehaltenen Fahrzeugs.
Dank der Erfindung kann auf einer Überwachungsstation ein Überwacher leicht eine große Anzahl von Abschnitten auf einer Autobahn (oder einer Straße) kontrollieren, in welchen jeweils eine Kamera 13 und eine erfindungsgemäße Vorrichtung 11 angeordnet sind, wobei die Ausgänge ZH und SR jeder Vorrichtung über Kabel, Glasfaser oder Funk an eine einzige Überwachungsstation, an der sich die gemeinsame Einheit 44 befindet, übertragen wird; der Beobachter braucht nämlich nur den Bildschirm von 10 im Falle eines Zwischenfalls oder Unfalls, der durch den Alarm gemeldet wird, zu betrachten, und es kommt selten vor, daß mehrere Zwischenfälle und/oder Unfälle an unterschiedlichen Stellen gleichzeitig passieren.
Insbesondere die Einheit 44 kann am Eingang einen Schalter vom Typ Drehschalter (nicht dargestellt) umfassen, der nach und nach und zyklisch die Signale ZH (und SR) der verschiedenen Einheiten 13 - 11 sendet, die entlang der Autobahn auf dem Abschnitt dieser Einheit 44 angeordnet sind, die das Signal NL erzeugt.
Dasselbe System ermöglicht es, nicht nur, wie angeführt, das Anhalten oder die Kollision, die ein Anhalten von Fahrzeugen bewirkt, zu erfassen, sondern auch eine Verlangsamung der Menge an Fahrzeugen (im Falle eines sehr verlangsamten Verkehrs) durch Verringerung der Geschwindigkeit in den verschiedenen Zonen, in denen D = 1 ist und umgekehrt ein Fahrzeug mit überhöhter Geschwindigkeit, wobei die Geschwindigkeit in einer beobachteten Zone nun die zulässige Höchstgeschwindigkeit überschreitet.
Schließlich ist in Fig. 19 eine weitere Anwendung der Erfindung, nämlich das Zusammenwirken Mensch - Maschine, dargestellt, die Verschiebung der Hand M oder insbesondere der Finger DG im Inneren einer Fläche SF, die in Rechtecke durch ein Koordinatensystem Cx und Cy zergliedert ist.
Eine Videokamera 13 mit digitalem Ausgang, die an eine erfindungsgemäße Vorrichtung 11 angeschlossen ist, wie in Fig. 1 dargestellt, ermöglicht es, die Bewegung einer Hand M und der Finger DG zu erkennen und diese für die Kontrolle eines Computers (in der Art einer "Maus") oder die Steuerung gewisser Funktionen in einer Maschine zu verwenden. Beispielsweise könnte die Einheit 13 - 11 einem Taubstummen, der den Standardcode der Taubstummensprache auf Basis von Handbewegungen verwendet, dazu dienen, in den Computer alphanumerische Daten, somit einen Text, einzugeben, ohne die übliche Tastatur verwenden zu müssen; dieser Vorgang kann natürlich auch von einer sprechenden Person durchgeführt werden, die die Taubstummensprache gelernt hat, um einen Text in einen Computer einzugeben, ohne eine Tastatur verwenden zu müssen. Ein solches System ist für Zeitabweichungen nicht empfindlich und erfordert keine genaue Anzeige des Beginns oder des Endes der Handbewegung.
Die Fig. 20 und 21 stellen schematisch die Anwendung der Erfindung für die Überwachung eines Kraftfahrzeugfahrers dar, um das Einschlafen desselben anzuzeigen.
Die Videokamera 13 ist in diesem Fall an dem Karosserieabschnitt im Inneren des Fahrzeugs angeordnet, beispielsweise über dem Rückspiegel, und beobachtet den Fahrer.
Der vorhergehende Verfahrensschritt besteht darin, diesen wie im Falle der Anwendung der Fig. 17 einzurahmen. In Fig. 20 ist symbolisch das Bild 1C des Fahrers auf dem Videobildschirm dargestellt. Es werden zuerst die unnötigen Abschnitte rechts und links (horizontale Schraffierung des Bildes) und auf diese Weise nur der zentrale Abschnitt des Bildes zwischen diesen beiden Abschnitten betrachtet.
Sodann reicht es in diesem zentralen Abschnitt aus, die nicht schraffierte Zone AA der Fig. 21, in der der Kopf eingerahmt ist, zu überwachen.
Die interessanten Bewegungen/Verschiebungen, die von der erfindungsgemäßen Vorrichtung erfasst werden, werden durch Augenzwinkern des Fahrers (das durch vertikale Bewegungen in der Zone AA angezeigt wird) gebildet, dessen Rhythmus sich vor dem Einschlafen verändert. Falls der Rhythmus und die Geschwindigkeit dieses Zwinkerns unter eine gewisse Schwelle absinken, wird ein Tonsignal ausgelöst und der Fahrer wird aufgeweckt.
In Fig. 22 ist ein Mittel angegeben, um, falls erforderlich, die begrenzte Anzahl von Bits p, die für die Zeitkonstante CO repräsentativ sind, zu verringern, um eine Berücksichtigung eines größeren Verschiebegeschwindigkeitsbereichs zu ermöglichen.
Zu diesem Zweck wird die Verwendung des Mallat-Diagramms vorgesehen (siehe Artikel von S. Mallat "A Theory for multiresolution signal decomposition" in IEEE Transactions an Pattern Analysis and Machine Intelligence, Juli 1989, S. 674-693), das darin besteht, nacheinander das gesamte Videobild in aufeinanderfolgende Hälften zu zergliedern, die mit 1, 2, 3, 4, 5, 6, 7 bezeichnet sind. Auf diese Weise wird eine Komprimierung durchgeführt, indem nur Bildabschnitte bearbeitet werden. Auf diese Weise kann mit p = 4, d. h. 2p = 16, eine Geschwindigkeit in einem erweiterten Bereich bestimmt werden.
Falls zu Beginn im Rahmen des Gesamtbildes die erfindungsgemäße Vorrichtung anzeigt, daß die Geschwindigkeit des beweglichen Objekts (im weitesten Sinne) die mit 2p = 16 für die Zeitkonstante bestimmbare Maximalgeschwindigkeit überschreitet, reicht es aus, nacheinander die beobachteten Teilbilder 1, 2, 3, 4, ... durchzugehen, bis die Geschwindigkeit des beweglichen Objekts die Maximalgeschwindigkeit im Rahmen des Teilbildes nach der Komprimierung nicht überschreitet.
Um die Mallat-Zusammensetzung durch Wellen einzusetzen, reicht es aus, auf dem Schema der Fig. 1 eine Einheit 13A (dargestellt in Fig. 22) zwischenzuschalten, die diese Komprimierung des Videosignals durchführt. Diese Einheit kann beispielsweise von der Komponente "AVD 601 Low Cost Multiformat Video Codec" der amerikanischen Firma ANALOG DEVICES gefertigt sein, die Gegenstand des Artikels "ADV 601 Preliminary Data Sheet" von Januar 1996 ist. In Fig. 2 ist eine solche optionale Komprimierungseinheit 13a dargestellt.
Schließlich ist in den Fig. 2 und 3 auf manchen Mikrobussen die Anzahl von übertragenen Bits (1, 3, (falls p = 3), 8, 15) angeführt, was die mögliche Größeneinsparung bei den verschiedenen Funktionsblöcken, die eine verringerte Bitanzahl zu bearbeiten haben, zeigt.
Es ist definitiv zu sehen, daß es die Erfindung ermöglicht, eine relative Bewegung in einer Szene zu erfassen, die von einer optoelektronischen Einrichtung, wie beispielsweise einer Videokamera, beobachtet wird, die die beobachtete Szene in der Form eines digitalen Videosignals, das aus einer Aufeinanderfolge von Rastern gebildet wird, die selbst von einer Aufeinanderfolge von Zeilen, die aus einer Aufeinanderfolge von Pixel bestehen, überträgt, wobei dieses digitale Signal analysiert wird, um eine in relativer Verschiebung befindliche Zone zu erfassen unter Angabe der Geschwindigkeit und der Richtung (Ausrichtung) dieser Verschiebung, wenn sich die Zone in tatsächlicher Bewegung in bezug auf ein im wesentlichen unbewegliches Umfeld befindet.
Da die erfindungsgemäße Vorrichtung die Ausrichtung und die Geschwindigkeit der Bewegung eines Objekts (im weitesten Sinne) bestimmt, können ihr Mittel zugeordnet werden, um von diesen beiden Parametern eine zukünftige Position des Objekts zu einem bestimmten Zeitpunkt abzuleiten, und Mittel, um die Eingangsvideokamera 13 im vorhinein auf diese zukünftige Position auszurichten.
Es ist anzumerken, daß die mit der erfindungsgemäßen Einrichtung erzielten Resultate keineswegs erfordern, daß die Kamera unbeweglich ist wodurch es möglich ist, die Kamera und die zugehörige Einrichtung in ein Landfahrzeug, Luftfahrzeug oder Raumfahrzeug einzubauen (für den Einsatz des in Fig. 16 dargestellten Verfahrens beispielsweise).
Nach einer sehr kurzen Initialisierungszeit gleich N (von weniger als zehn entsprechenden aufeinanderfolgenden Rastern) bestimmt die erfindungsgemäße Einrichtung die Parameter der relativen Verschiebung sofort nach Ende jedes Rasters, der den zeitlichen und räumlichen Bearbeitungen unterzogen wurde, aufgrund der Rekursivität der erfindungsgemäßen Berechnungen.
Es sind vorstehend eine bevorzugte Ausführungsart der Erfindung und einige Anwendungen derselben beschrieben. Natürlich sind diese Ausführungsart und diese Anwendungen nur als nicht einschränkende Beispiele angeführt und zahlreiche Varianten und Anpassungen, die für den Fachmann leicht ersichtlich sind, können vorgesehen werden, ohne über den Rahmen der Erfindung, wie in den Ansprüchen nachstehend definiert ist, hinauszugehen.
Es könnten beispielsweise auch Mittel zur Verwendung der Signale eingesetzt werden, die von der Einheit 11 der Fig. 2 geliefert werden und andere als die in Fig. 11 dargestellten sind, ohne über den Rahmen der Erfindung hinauszugehen.
Was die Anwendungen einer erfindungsgemäßen Vorrichtung betrifft, sind diese keinesfalls auf die in der vorgenannten Beschreibung als Beispiele angeführten beschränkt. So kann eine zu jener der Fig. 17 analoge Montage direkt mit einem Kameskop verbunden werden, um dieses gegenüber Verschiebungen zu stabilisieren, die durch die ungewollten Bewegungen des Benutzers verursacht werden.
Es können auch eine oder vorzugsweise mehrere erfindungsgemäße Vorrichtungen verwendet werden, die mit einem oder vorzugsweise mehreren Kameskopen mit digitalem Videoausgang verbunden sind, die in einem Gebäuderaum angeordnet sind, um einen "intelligenten Raum" dank eines solchen Systems zu bilden, das es ermöglicht, das Vorhandensein und die Bewegung einer oder mehrerer Personen in dem Raum zu erfassen und zu lokalisieren und diese Bewegung zu Zwecken der Sicherheit, der Identifikation und/oder zur Unterstützung der zu erfüllenden Aufgaben, beispielsweise zur Überwachung der Kinder in einem anderen Raum oder der Kunden eines Supermarktes, zu analysieren.
Es wurde im Wesentlichen die Verwendung eines Videosignals mit aufeinanderfolgenden, verschlungenen Rasterpaaren, insbesondere bei der Diskussion über die Kapazität des Speichers 16, angenommen, wobei die beiden Raster eines Paares in der erfindungsgemäßen Vorrichtung bearbeitet werden. Es ist allerdings möglich, nur einen von zwei Rastern zu verwenden (beispielsweise den ungeraden), indem die Kapazität des Speichers verringert wird, wobei jedoch die Geschwindigkeit für den Erhalt der gewünschten Informationen ungefähr um die Hälfte verringert wird. Es ist auch möglich, eine Videokamera oder andere eine Beobachtungsvorrichtung einzusetzen, deren digitaler Ausgang nur ein einziges Raster pro Bild umfaßt.
Es ist bei manchen Anwendungen möglich, der erfindungsgemäßen Vorrichtung Spezialsensoren zuzuordnen, beispielsweise einen oder mehrere Beschleunigungsfühler, um zusätzliche Parameter der Verschiebung/Bewegung bearbeiten zu können.
Natürlich ist die Erfindung weder auf die besonderen Ausführungsarten noch auf die beschriebenen Anwendungen beschränkt, sondern sie umfaßt alle Varianten und Veränderungen, die in die allgemeine Definition der Erfindung fallen.

Claims

1. Verfahren, das im Echtzeitmodus arbeitet und zur Erfassung und Lokalisierung einer in relativer Bewegung befindlichen Zone in einer Szene eingesetzt wird, die von einem Beobachtungssystem mit einem Ausgang beobachtet wird, der von einem digitalen Videosignal gebildet ist, umfassend herkömmlicherweise eine Aufeinanderfolge von entsprechenden Rastern derselben Natur, wobei jedes aus einer Aufeinanderfolge von Zeilen gebildet wird, die jeweils aus einer Aufeinanderfolge von Pixeln gebildet wird, sowie zur Bestimmung der Geschwindigkeit und der Ausrichtung der relativen Verschiebebewegung eingesetzt wird, wobei das Verfahren darauf beruht, auf dem digitalen Videosignal nacheinander durchzuführen

- eine zeitliche Bearbeitung, die für jede Pixelposition darin besteht, den Unterschied zwischen der Amplitude des Pixelsignals in dem aktuellen Raster und der Amplitude eines Pixelsignals, das für seine Werte in den vorherigen Rastern repräsentativ ist, zu bestimmen,

- eine räumliche Bearbeitung, die für jedes Raster des digitalen Videosignals darin besteht, in einer Matrix mit reduzierter Zeilen- und Spaltenzahl im Vergleich mit der Zeilen- bzw. Pixelzahl pro Zeile in dem digitalen Videosignal nur die Werte zu demselben Beobachtungszeitpunkt für einen Bruchteil der Pixel eines Rasters

- Bruchteil, der durch Abfragen über die Matrix während der Dauer eines Rasters abläuft - der Signale zu verteilen, die für die Änderungen der Pixelwerte repräsentativ sind, und von der Gesamtheit der Matrixdarstellungen in bezug auf einen gegebenen Beobachtungszeitpunkt, d. h. ein gegebenes Raster des Videosignals oder digitalen Signals, die Lokalisierung einer eventuellen, in relativer Bewegung befindlichen Zone und die Bewertung dieser Bewegung, falls vorhanden, abzuleiten,

und dadurch gekennzeichnet ist, daß

- es eine doppelte Vorbearbeitung umfasst, bestehend in

einem adaptativen Glätten des digitalen Videosignals, indem eine digitale Zeitkonstante eingesetzt wird, deren digitaler Wert für jedes der Pixel des digitalen Videosignals und unabhängig für jedes von ihnen als Reaktion auf die zeitliche Änderung oder Nichtänderung des Werts des Pixels geändert wird, und

einer Speicherung eines ganzen Rasters des Ausgangssignals nach dem Glätten einerseits und der Zeitkonstante für jede Pixelposition des Rasters andererseits;

- die zeitliche Bearbeitung darin besteht, für jede Pixelposition das Vorhandensein einerseits und die Amplitude andererseits einer eventuellen signifikanten Veränderung der Amplitude des Pixelsignals zwischen dem aktuellen Raster und dem genau davorliegenden geglätteten und gespeicherten Raster zu bestimmen und zwei digitale Signale zu erzeugen, wobei das erste ein Binärsignal, somit ein Monobit-Signal, mit zwei möglichen Werten ist, von denen der erste das Vorhandensein einer solchen signifikanten Veränderung und der zweite das Fehlen einer solchen signifikanten Veränderung zwischen den beiden erwähnten Rastern, dem aktuellen und dem genau davorliegenden, geglätteten, darstellt, wobei der Wert des Binärsignals den gespeicherten Wert der Zeitkonstante für das betreffende Pixel verändert, um sie zu verringern, wenn das Binärsignal den ersten Wert aufweist, und um sie zu erhöhen, wenn das Binärsignal den zweiten Wert aufweist, wobei die Verringerung oder Erhöhung auf quantifizierte Weise erfolgt, während das zweite digitale Signal, Amplitude genannt, ein Multibit-Signal mit begrenzter Bitanzahl ist, das die Amplitude dieser Veränderung quantifiziert; und

- die räumliche Bearbeitung darin besteht, für jedes Raster des Ausgangsvideosignals,

in der Matrix und während der Dauer eines Rasters das Binärsignal einerseits und das digitale Amplitudensignal andererseits zu verteilen,

in dieser doppelten momentanen Matrixdarstellung des Binärsignals und des digitalen Amplitudensignals für dasselbe Pixel eine angepasste Zone zu bestimmen, in der sowohl das Binärsignal den gewünschten Wert aufweist, der dem Vorhandensein bzw. dem Fehlen einer signifikanten Veränderung entspricht, als auch das digitale Amplitudensignal sich um einen signifikanten Wert zwischen benachbarten Pixeln in der Matrix entlang einer Richtung, ausgehend von einem Ausgangspixel, verändert oder nicht, und zwar für einen und denselben Rasterabschnitt, somit zu demselben Beobachtungszeitpunkt, und

Signale zu erzeugen, die für das Vorhandensein und die Lokalisierung der eventuellen relativen Verschiebezone, für den Wert der relativen Zwischenrastergeschwindigkeit und die Ausrichtung unter mehreren möglichen Ausrichtungen in der Beobachtungsebene dieser eventuellen relativen Verschiebung in ihrem Umfeld, ausgehend von der momentanen Matrixverteilung dieser beiden Signale, des Binärsignals und des Amplitudensignals, repräsentativ sind.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß es ferner darin besteht:

- die Histogramme der Werte der matrixmäßig verteilten Signale einerseits und die Histogramme von Werten der Neigungen von zwei Achsen mit variablem Gefälle von Koordinaten in einer Ebene andererseits zu bilden,

- in jedem gebildeten Histogramm einen Bereich der signifikanten Veränderung des bearbeiteten Wertes zu erfassen, und

- von jedem erfassten Bereich das Vorhandensein und die Lokalisierung sowie die Geschwindigkeit und die Ausrichtung einer in relativer Bewegung befindlichen Zone abzuleiten.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Matrix eine quadratische Matrix mit derselben ungeraden Anzahl (2/+1) aus Zeilen und Spalten ist und dass die Matrices von 3 · 3, 5 · 5, 7 · 7, ... (2/+1) · (2/+1) Elementen geschachtelt angesehen werden, die auf dem Mittelpunkt dieser quadratischen Matrix zentriert sind, um die geschachtelte Matrix kleinerer Größe zu bestimmen, in der sich das digitale Signal in einer Ausrichtung, ausgehend vom Mittelpunkt, verändert, wobei der Wert des Binärsignals eine Überschreitung der Schwelle in dieser Richtung darstellt.

4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Matrix eine Hexagonalmatrix ist und daß die Hexagonalmatrices mit steigender Größe geschachtelt auf dem Mittelpunkt dieser Hexagonalmatrix zentriert angesehen werden, um die geschachtelte Matrix kleinerer Größe zu bestimmen, in der sich das digitale Signal in einer Ausrichtung, ausgehend von der Spitze, verändert, wobei der Wert des Binärsignals eine Überschreitung der Schwelle entlang dieser Richtung darstellt.

5. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Matrix eine Matrix in Form eines umgekehrten L mit einer einzigen Zeile und einer einzigen Spalte ist und daß die Matrices aus 3 · 3 Pixel, 5 · 5 Pixel, 7 · 7 Pixel ... (2/+1) · (2/+1) Pixel für die einzige Zeile und Spalte geschachtelt angesehen werden, um die Matrix kleinerer Größe zu bestimmen, in der sich das Signal in einer Ausrichtung verändert, nämlich in der Zeile mit größerem Gefälle mit konstanter Quantifizierung.

6. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Zeitkonstante die Form 2p aufweist, wobei p eine Zahl kleiner als 16 ist und somit mit nicht mehr als 4 Bit ausgedrückt werden können, wobei die Verringerung oder die Erhöhung der Zeitkonstante durch Subtraktion oder Addition einer Einheit zu p erfolgt.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß aufeinanderfolgende abnehmende Abschnitte von kompletten Rastern gemäß dem Zeitalgorithmus-Mallat-Skala, angenommen werden und der größte dieser Abschnitte ausgewählt wird, der Angaben über die Verschiebung, Geschwindigkeit und Ausrichtung macht und mit dem Wert von p vereinbar ist.

8. Vorrichtung, die im Echtzeitmodus arbeitet und zur Erfassung und Lokalisierung einer in relativer Bewegung befindlichen Zone in einer beobachteten Szene sowie zur Bestimmung der Geschwindigkeit und der Ausrichtung der relativen Verschiebebewegung eingesetzt wird, durch Einsatz des Verfahrens nach Anspruch 1,

umfassend

- ein Beobachtungssystem mit einem Ausgang, der von einem digitalen Videosignal gebildet wird, herkömmlicherweise umfassend eine Aufeinanderfolge von Zeilen, die jeweils von einer Aufeinanderfolge von Pixeln gebildet werden,

- eine Einheit zur zeitlichen Bearbeitung, die für jede Pixelposition den Unterschied zwischen der Amplitude des Pixelsignals in dem aktuellen Raster und der Amplitude eines Pixelsignals, das für seine Werte in den vorherigen Rastern repräsentativ ist, bestimmt,

- eine Einheit zur räumlichen Bearbeitung, die für jedes Raster des digitalen Videosignals in einer Matrix mit reduzierter Zeilen- und Spaltenzahl im Vergleich mit der Zeilen- bzw. Pixelzahl pro Zeile in dem digitalen Videosignal nur die Werfe zu demselben Beobachtungszeitpunkt für einen Bruchteil der Pixel eines Rasters - Bruchteil, der durch Abfragen über die Matrix während der Dauer eines Rasters abläuft - der Signale verteilt, die für die Änderungen der Pixelwerte repräsentativ sind, und von der Gesamtheit der Matrixdarstellungen in bezug auf einen gegebenen Beobachtungszeitpunkt, d. h. ein gegebenes Raster des digitalen Videosignals, die Lokalisierung einer eventuellen, in relativer Bewegung befindlichen Zone und die Bewertung dieser Bewegung, falls vorhanden, ableitet,

wobei die Vorrichutung dadurch gekennzeichnet ist, daß sie in Kombination umfasst:

- Mittel zum adaptativen Glätten (15) des digitalen Videosignals, indem eine digitale Zeitkonstante (CO) eingesetzt wird, deren digitaler Wert für jedes der Pixel des digitalen Videosignals und unabhängig für jedes von ihnen als Reaktion auf die zeitliche Änderung oder Nichtänderung des Werts des Pixels geändert wird, und

- Mittel zur Speicherung (16) eines ganzen Rasters des Ausgangssignals nach dem Glätten (LI) einerseits und der Zeitkonstante für jede Pixelposition des Rasters andererseits;

- in der Einheit zur zeitlichen Bearbeitung (15)

Vergleichsmittel (15), um das Vorhandensein einerseits und die Amplitude andererseits einer eventuellen signifikanten Veränderung der Amplitude des Pixelsignals zwischen dem aktuellen Raster und dem genau davorliegenden, geglätteten und gespeicherten Raster zu bestimmen und ein erstes digitales Signal (DP) zu erzeugen, welches ein Binärsignal, somit ein Monobit-Signal, mit zwei möglichen Werten ist, von denen der erste das Vorhandensein einer solchen signifikanten Veränderung und der zweite das Fehlen einer solchen signifikanten Veränderung zwischen den beiden erwähnten Rastern, dem aktuellen und dem genau davorliegenden, geglätteten, darstellt, wobei der Wert des Binärsignals den gespeicherten Wert der Zeitkonstante für das betreffende Pixel verändert, um sie zu verringern, wenn das Binärsignal den ersten Wert aufweist, und um sie zu erhöhen, wenn das Binärsignal den zweiten Wert aufweist, wobei die Verringerung oder Erhöhung auf quantifizierte Weise erfolgt,

Berechnungsmittel (15c), die ein zweites digitales Signal (CO), genannt Amplitudensignal, erzeugen können, welches ein Multibit-Signal mit einer begrenzten Bitanzahl ist, das die Amplitude dieser Veränderung quantifiziert; und

- in der Einheit zur räumlichen Bearbeitung (11), deren Eingänge von der Bearbeitungseinheit die digitalen Signale, das Binärsignal und das Amplitudensignal empfangen, die für die Pixel ein und- desselben Rasters aufeinanderfolgen,

Mittel, um in der Matrix (21) und während der Dauer eines Rasters das Binärsignal einerseits und das digitale Amplitudensignal andererseits zu verteilen,

Mittel, um in dieser doppelten momentanen Matrixdarstellung des Binärsignals und des digitalen Amplitudensignals für dasselbe Pixel eine angepasste Zone zu bestimmen, in der sowohl das Binärsignal den gewünschten Wert aufweist, der dem Vorhandensein bzw. dem Fehlen einer signifikanten Veränderung entspricht, als auch das digitale Amplitudensignal sich um einen signifikanten Wert zwischen benachbarten Pixeln in der Matrix entlang einer Richtung, ausgehend von einem Ausgangspixel, verändert oder nicht, und zwar für ein und denselben Rasterabschnitt, somit zu ein und demselben Beobachtungszeitpunkt, und

Mittel, um Signale zu erzeugen, die für das Vorhandensein und die Lokalisierung der eventuellen relativen Verschiebezone, für den Wert der relativen Zwischenrastergeschwindigkeit und die Ausrichtung unter mehreren möglichen Ausrichtungen in der Beobachtungsebene dieser eventuellen relativen Verschiebung in ihrem Umfeld, ausgehend von der momentanen Matrixverteilung dieser beiden Signale, des Binärsignals und des Amplitudensignals, repräsentativ sind.

9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, daß die Einheit zur räumlichen Bearbeitung (17, 18) erste Verzögerungsmittel (r) in Kaskadenschaltung, von denen jedes eine Verzögerung gleich dem zeitlichen Abstand zwischen zwei aufeinanderfolgenden Zeilen erfordert, und zweite Verzögerungsmittel (d) in Kaskadenschaltung für jede Zeile umfasst, die jeweils eine Verzögerung gleich dem zeitlichen Abstand zwischen zwei aufeinanderfolgenden Pixeln einer Zeile erfordern, wobei die Ausgänge jedes dieser zweiten Verzögerungsmittel (d) und der Eingang der Kaskadenschaltung der zweiten Verzögerungsmittel (d) jeder Zeile zu einem gegebenen Zeitpunkt die Werte des Binärsignals und des digitalen Amplitudensignals zu ein und demselben Zeitpunkt zu den Erfassungsmitteln (17a) liefern.

10. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, daß sie auch Mittel (24-29) umfasst, die die Histogramme der Ausgangswerte der räumlichen Bearbeitungseinheit sowie die Histogramme der Neigungen der beiden Achsen mit variablem Gefälle von Koordinaten in einer Ebene bilden, sowie Mittel, um in jedem Histogramm einen Bereich mit signifikanter Veränderung des bearbeiteten Wertes zu erfassen, um diesen Bereich an ihrem Ausgang zu genehmigen und für alle Histogramme Ausgangssignale abzuleiten, die eine Zone der beobachteten Szene in relativer Bewegung anzeigen und lokalisieren, falls eine solche vorhanden ist, sowie die Geschwindigkeit und die Ausrichtung dieser Bewegung, wenn sich die Zone tatsächlich in bezug auf ihre Umgebung verschiebt.

11. Vorrichtung nach Anspruch 8, 9 oder 10, dadurch gekennzeichnet, daß die Glättungsmittel (15c, 15d) einen Eingang umfassen, der das digitale Videosignal S (PI) aufnimmt, und für die aufeinaderfolgenden Pixel eines Rasters dieses Videosignals ein geglättetes Signal (LO) berechnen, in dem die zeitlichen Veränderungen des digitalen Videoeingangssignals durch Einsatz eines Schwellensignals (N), welches an einem anderen Eingang empfangen wird, und einer Zeitkonstante (CO) für jede Pixelposition eines Rasters verringert werden, deren Wert nacheinander verändert wird, damit die Glättung auch bei ihrer Verringerung die Neigung zur Veränderung des eingehenden digitalen Videosignals beibehält, wobei diese Glättungsmittel mit der Speichereinheit (16) zusammenwirken, die die aktualisierten Werte für jede Pixelposition eines Rasters, des geglätteten Signals und der Zeitkonstante empfängt, speichert und wiederherstellt, und an ihren Ausgängen für jede Pixelposition zumindest die Aufeinanderfolge der Werte der aktualisierten Zeitkonstante und der Werte eines Binärsignals über die Überschreitung oder Nicht-Überschreitung der Schwelle durch den Absolutwert des Unterschiedes zwischen dem Wert des Pixels und seinem geglätteten Wert liefern.

12. Vorrichtung nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, daß die räumliche Bearbeitungseinheit (17, 18), die die Matrixverteilung pro Zeile und Spalte in verringerter Anzahl für die Ausgänge der Glättungsmittel durchführt, nämlich für die aufeinanderfolgenden Werte der Zeitkonstante (CO) und des Binärsignals, Erfassungsmittel (17a) umfaßt, um in der Matrixverteilung eine Pixelzone zu erfassen, in der gleichzeitig entweder der Wert des Binärsignals einer Schwellenüberschreitung entspricht und sich die Zeitkonstante zwischen benachbarten Pixeln eines signifikanten Wertes in einer Richtung verändert, und um Ausgangssignale zu erzeugen, die die Lokalisierung der Zone und die Geschwindigkeit und die Ausrichtung der Verschiebung in der Zone anzeigen, oder in der der Wert des Binärsignals einer Nicht-Überschreitung der Schwelle entspricht und sich die Zeitkonstante zwischen benachbarten Pixeln nicht ändert.

13. Verwendung der Vorrichtung nach Anspruch 10, 11 oder 12, um das Lenken eines Landfahrzeugs auf einer Straße oder eines Luftfahrzeugs in der Nähe einer Flughafenpiste zu unterstützen, dadurch gekennzeichnet, daß die Vorrichtung ferner Mittel zur Darstellung der rechten Ränder (Bd) und linken Ränder (Bg) der Straße bzw. der Piste und Mittel umfasst, um mindestens eine der Achsen mit variablem Gefälle von Koordinaten auszurichten, damit sie im wesentlichen orthogonal zum entsprechenden Rand bleibt (Position Po).

14. Verwendung der Vorrichtung nach einem der Ansprüche 8 bis 12, um den Aufmerksamkeitszustand des Fahrers eines Kraftfahrzeugs zu überwachen, um eine eventuelle Neigung zur Schläfrigkeit desselben festzustellen, wobei die Vorrichtung

- ein digitales Videosignal zu erzeugt, welches darstellt:

zu Beginn die aufeinanderfolgenden Bilder des Gesichts des Fahrers und

sodann kontinuierlich und im Echtzeitmodus die aufeinanderfolgenden Bilder nur den Augen des Fahrers,

- das Videosignal, das sich nur auf die Augen des Fahrers bezieht, bearbeitet, um nacheinander und im Echtzeitmodus

in den Bildern nur der Augen die Vertikalbewegungen der Augenlider, die das Zwinkern derselben darstellen, zu erfassen,

die aufeinanderfolgenden Häufigkeiten dieser Bewegungen zu bestimmen, und

die Häufigkeiten zu erfassen, die geringer als eine Schwelle für das Zwinkern der Augenlider sind, was einem Übergang zwischen dem Wachzustand und dem Schläfrigkeitszustand des Fahrers entspricht, und

- ein Warnsignal auslöst, das den Fahrer warnt, wenn diese Häufigkeiten die Schwelle überschreiten.