DE19704881A1 - Bildverfolgungsgerät zum Verfolgen eines Bildes innerhalb einer lokalen Region - Google Patents
Bildverfolgungsgerät zum Verfolgen eines Bildes innerhalb einer lokalen RegionInfo
- Publication number
- DE19704881A1 DE19704881A1 DE19704881A DE19704881A DE19704881A1 DE 19704881 A1 DE19704881 A1 DE 19704881A1 DE 19704881 A DE19704881 A DE 19704881A DE 19704881 A DE19704881 A DE 19704881A DE 19704881 A1 DE19704881 A1 DE 19704881A1
- Authority
- DE
- Germany
- Prior art keywords
- correlation
- image
- correlation value
- image data
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
Die vorliegende Erfindung betrifft ganz allgemein
Bildverfolgungsgeräte, und mehr im einzelnen ein Bildver
folgungsgerät, welches ein Bild innerhalb einer lokalen Re
gion verfolgt und welches geeignet ist, um ein sich bewe
gendes Objekt innerhalb eines Bildes, welches durch eine
Televisionskamera oder dergleichen aufgenommen wird, konti
nuierlich zu verfolgen.
Ein Bildverfolgungsgerät, welches ein Bild innerhalb
einer lokalen Region (nachfolgend einfach als "Lokalregion-Bild
verfolgungsgerät" bezeichnet) verfolgt, indem es ein
sich bewegendes Objekt innerhalb eines aufgenommenen Bildes
verfolgt, wird in verschiedenen Systemen eingesetzt. Bei
spiele von solchen Systemen sind Systeme, welche eine Bewe
gungsmessung der kontaktlosen Art ohne die Verwendung eines
Beschleunigungssensors machen oder Bewegungsvektoren sicht
bar machen, Systeme, welche eine automatische Überwachung
oder Beobachtung durchführen, Systeme, welche menschliche
Gebärden, menschlichen Ausdruck oder eine menschliche
Gesichtslinieerkennen, Systeme, welche bei der Herstellung
eines Films oder der Übertragung eines Sportprogramms Kame
ras steuern, Systeme, welche sich bewegende Roboter oder
selbststeuernde Fahrzeuge steuern, und Systeme, welche von
einem Satelliten aus sich bewegende Objekte verfolgen.
Fig. 1 ist ein System-Blockdiagramm, welches einen
Teil eines Beispieles für ein herkömmliches Lokalregion-Bild
verfolgungsgerät zeigt. In Fig. 1 umfaßt das Lokalre
gion-Bildverfolgungsgerät ganz allgemein eine Bildaufnahme
einrichtung 501, einen Analog-Digital-Wandler 502 (A/D),
einen Suchbildspeicher 503, einen Bezugsbildspeicher 504,
eine Korrelationsberechnungseinheit 505, einen Adressenge
nerator 506 und einen Detektor 507 für die Spitzenposition
des Korrelationswertes.
Analoge Bilddaten, die sich auf ein Bild beziehen,
welches von der Bildaufnahmeeinrichtung 501 aufgenommen
wird, werden durch den A/D-Wandler 502 in digitale Bildda
ten umgewandelt und werden anschließend in dem Suchbild
speicher 502 gespeichert. Der Bezugsbildspeicher (Referenz
bildspeicher) 504 speichert zuvor feste Bezugsbilddaten,
die sich auf ein vorgegebenes Objekt beziehen, das verfolgt
werden soll. Die Korrelationsberechnungseinheit 505 führt
eine Korrelationsberechnung durch, um einen Korrelations
wert zu gewinnen, welcher die Korrelation zwischen den
Bilddaten innerhalb des Suchbildspeichers 503 und den Refe
renzbilddaten innerhalb des Referenzbildspeichers 504 an
gibt. Der Detektor 507 für die Spitzenposition des Korrela
tionswertes detektiert eine Spitzenposition dieses Korrela
tionswertes, d. h. eine Position, welche die höchste Korre
lation innerhalb des aufgenommenen Bildes hat. Die Spitzen
position von dem Detektor 507 für die Spitzenposition des
Korrelationswertes wird zu dem Adressengenerator 506 rück
übertragen, und der Adressengenerator 506 erzeugt eine
Speicheradresse, welche der Spitzenposition entspricht, und
liefert diese Speicheradresse an den Suchbildspeicher 503
und den Bezugsbildspeicher 504. Demzufolge erhält man den
Spitzenwert des Korrelationswertes immer von dem Detektor
507 für die Spitzenposition des Korrelationswertes, und es
ist möglich, das vorgegebene Objekt innerhalb des aufgenom
menen Bildes in Realzeit, basierend auf dieser Spitzenposi
tion, zu verfolgen.
Mit anderen Worten berechnet, wie in Fig. 2 gezeigt
ist, die Korrelationsberechnungseinheit 505 die Korrelation
zwischen einem Bezugsbild (nachfolgend als Bezugsblock be
zeichnet) R, welches ein lokales Bild innerhalb eines be
stimmten Rahmens f ist, und einem Anwärterblock C, welcher
ein lokales Bild von der gleichen Größe innerhalb eines an
deren Rahmens g ist, und wiederholt diese Berechnungsopera
tion, während die Position des Anwärterblockes C innerhalb
eines Suchbildes (nachfolgend als ein Suchblock bezeichnet)
S geändert wird. Als ein Ergebnis dieser Korrelationsbe
rechnungsoperation ist es möglich, eine Bewegungsquantität
des Bezugsblockes R zwischen den beiden Rahmen f und g aus
der Position des Anwärterblockes C zu berechnen, wo der
Korrelationswert ein Maximum wird. Durch Wiederholen einer
solchen Operation ist es möglich, das sich bewegende Objekt
innerhalb des aufgenommenen Bildes zu verfolgen.
Die Korrelationsberechnungsoperation kann durch die
folgende Formel beschrieben werden, wobei "D" einen Korre
lationswert zwischen dem Bezugsblock R und dem Anwärter
block C bezeichnet, "u, v" eine Bewegungsquantität des Be
zugsblockes R, welche den Korrelationswert D zu einem Mini
mum macht, bezeichnen, der Bezugsblock R und der Anwärter
block C jeweils eine Abmessung von m Pixeln × m Pixeln ha
ben, "p, q" eine Bewegungsquantität des Anwärterblockes c
innerhalb des Suchblockes S bezeichnen, wie in Fig. 2 ge
zeigt ist, ferner -p u und v q sind.
Die obenstehende Formel berechnet den Absolutwert der
Summe der Differenzen zwischen den beiden lokalen Bildern.
Aus diesem Grund gilt, daß je kleiner diese Summe ist, d. h.
je kleiner der Korrelationswert D ist, umso höher ist die
Korrelation zwischen dem Bezugsblock R und dem Anwärter
block C.
Die Korrelationsberechnungsoperation erfordert eine
große Anzahl an Kalkulationen, und es ist für die Korrela
tionsberechnungseinheit 505 erwünscht, eine parallele Pipe
line-Verarbeitung zu verwenden. Fig. 3 zeigt ein Beispiel
der Korrelationsberechnungseinheit 505 für m = 4. In Fig. 3
ist ein Operationselement durch PE bezeichnet, ein Addier
element ist durch A bezeichnet und ein Verzögerungselement,
wie etwa ein Flip-Flop, ist durch d bezeichnet. Die in
Fig. 3 gezeigte Korrelationsberechnungseinheit 505 umfaßt
ganz allgemein Verzögerungselemente 601 bis 612, Operati
onselemente 621 bis 624, 631 bis 634, 641 bis 644 und 651
bis 654, sowie Addierelemente 661 bis 664, die in der ge
zeigten Weise verbunden sind.
Die Verzögerungselemente 601 bis 612 sind vorgesehen,
um Zeitlagen abzustimmen. Jedes der Operationselemente 621
bis 624, 631 bis 634, 641 bis 644 und 651 bis 654 berechnet
den Anteil der oben beschriebenen Formel innerhalb der Ab
solutwert-Zeichen, und es wird aus Gründen der Zweckdien
lichkeit angenommen, daß die Bilddaten des Bezugsblockes
darin gespeichert werden. Mit anderen Worten werden die
Bilddaten des Bezugsblockes jeweils als einzelne Pixel in
den Operationselementen 621 bis 624, 631 bis 634, 641 bis
644 und 651 bis 654 gespeichert, und durch Eingeben der
Bilddaten des Suchblockes jeweils in einzelnen Pixeln über
eine Eingabeleitung 600 ist es möglich, nacheinander den
Korrelationswert D (u, v) über eine Ausgabeleitung 670 aus
zugeben. Durch Verwendung von m × m Operationselementen
(4 × 4 = 16 in diesem speziellen Beispiel) ist es möglich,
den Prozeß des Verfolgens des sich bewegenden Objektes in
nerhalb des aufgenommenen Bildes mit einer hohen Geschwin
digkeit durchzuführen.
Allerdings hatte das herkömmliche Lokalregion-Bildver
folgungsgerät, welches die Korrelationsberechnungseinheit
mit dem oben beschriebenen Aufbau verwendet, die folgenden
Probleme.
Weil die Abmessungen des Bezugsblockes durch die An
zahl von Operationselementen bestimmt werden, welche die
Korrelationsberechnungseinheit bilden, gab es zunächst ein
Problem dahingehend, daß die Abmessungen des Bezugsblockes
in Abhängigkeit von der verwendeten Korrelationsberech
nungseinheit festgelegt ist. Wenn beispielsweise die Korre
lationsberechnungseinheit 256 Operationselemente umfaßt,
sind die Abmessungen des Bezugsblockes auf 16 Pixel × 16
Pixel festgelegt. Wenn das zu verfolgende Bildmuster jedoch
relativ groß ist, dann ist der Bezugsblock mit den Abmes
sungen von 16 Pixel × 16 Pixel zu klein, wodurch es schwie
rig wird, einen zufriedenstellenden Verfolgungsprozeß aus
zuführen. Obwohl es möglich ist, die Anzahl der die Korre
lationsberechnungseinheit bildenden Operationselemente zu
erhöhen, um die Abmessungen des Bezugsblockes zu erhöhen,
gab es zusätzlich ein Problem dahingehend, daß der Maßstab
des Schaltkreises in diesem Fall zu groß wird.
Als zweites gab es ein Problem dahingehend, daß das
herkömmliche Lokalregion-Bildverfolgungsgerät nur Schwarz-
Weiß-Bilder verarbeiten kann. Als ein Verfahren zum Verar
beiten eines Farbbildes ist es denkbar, beispielsweise eine
Korrelationsberechnungseinheit in jedem von drei Systemen
für die drei primären Farben Rot, Grün und Blau vorzusehen,
und die Ausgaben der Korrelationsberechnungseinheiten in
den drei Systemen zu addieren. Aber dieses denkbare Verfah
ren würde ein Problem dahingehend aufwerfen, daß der Maß
stab des Schaltkreises groß wird wegen der Notwendigkeit,
eine Korrelationsberechnungseinheit in jedem der drei
Systeme vorzusehen.
Auch wenn der zu verwendende Bezugsblock eine Abmes
sung in der Größenordnung von 16 Pixel × 16 Pixel hat, er
fordert drittens die Korrelationsberechnungseinheit 256
Operationseinheiten. Als Ergebnis gab es ein Problem dahin
gehend, daß es ungenügenden Randraum gibt, um zusätzlich zu
der Korrelationsberechnungseinheit periphere Schaltkreise
wie etwa einen Adressenzähler und einen Datenwähler auf ei
nem integrierten Schaltkreis vorzusehen, und daß die peri
pheren Schaltkreise oder dergleichen als externe oder ex
tern verbundene Schaltkreise vorgesehen werden müssen. Aus
diesem Grund ist das Lokalregion-Bildverfolgungsgerät als
Ganzes beispielsweise aus einer Vielzahl von gedruckten
Schaltungsplatten hergestellt, und es ist schwierig, die
Erfordernisse, wie Reduzieren der Abmessungen des Gerätes
und Reduzieren der Kosten des Gerätes zu erfüllen.
Dementsprechend ist es eine allgemeine Aufgabe der
vorliegenden Erfindung, ein neues und brauchbares Lokal
region-Bildverfolgungsgerät zu schaffen, bei welchem die
oben beschriebenen Probleme ausgeschlossen sind.
Eine andere und spezifischere Aufgabe der vorliegenden
Erfindung ist es, ein Lokalregion-Bildverfolgungsgerät zu
schaffen, welches mit einem relativ großen Bezugsblock
gleichwertig ist, welches Farbbilder verarbeiten kann und
welches den Maßstab des Schaltkreises des Gerätes als Gan
zes einschließlich der peripheren Schaltkreise so reduzie
ren kann, daß das Gerät in der Form eines integrierten
Schaltkreises ausgeführt werden kann.
Eine noch andere Aufgabe der vorliegenden Erfindung
ist die Schaffung eines Lokalregion-Bildverfolgungsgerätes
zum kontinuierlichen Verfolgen einer beliebigen Lokalregion
innerhalb eines Suchbildes, welches durch Suchbilddaten be
schrieben wird, durch Vergleichen der der beliebigen Lokal
region mit einer Abmessung von am Pixeln × bn Pixeln zuge
ordneten Suchbilddaten und Bezugsbilddaten im Verhältnis zu
eingegebenen Bilddaten, wo das Suchbild eine Abmessung hat,
die größer als am Pixel × bn Pixel ist, wobei a, b, m und n
natürliche Zahlen sind, und das Lokalregion-Bildverfol
gungsgerät Korrelationsberechnungsmittel zum mehrmaligen
Berechnen einer Korrelation zwischen einem Referenzbild mit
einer Abmessung von m Pixeln × n Pixeln zugeordneten Refe
renzbilddaten und den Suchbilddaten während der Bewegung
einer Position des Referenzbildes gegenüber dem Suchbild
sowie zum Ausgeben von Korrelationswerten umfaßt, welche
jeweils eine berechnete Korrelation angeben, und ferner
Korrelationswert-Akkumuliermittel zum Akkumulieren der von
den Korrelationsberechnungsmitteln aus gegebenen Korrelati
onswerte und zum Ausgeben eines Korrelationswertes, welcher
bezeichnend für eine Korrelation zwischen den Suchbilddaten
und Referenzbilddaten ist, die einem Äquivalent eines Refe
renzbildes mit einer Abmessung von am Pixeln × bn Pixeln
zugeordnet ist. Gemäß dem Lokalregion-Bildverfolgungsgerät
der vorliegenden Erfindung ist es möglich, den Vergleich
mit einem relativ großen Bezugsbild zu aufzunehmen. Zusätz
lich ist es auch möglich, Farbbilder zu verarbeiten. Dar
über hinaus kann der Schaltkreismaßstab des gesamten Gerä
tes einschließlich peripherer Schaltkreise klein ausgeführt
werden, womit das Gerät in der Form eines integrierten
Schaltkreises ausgeführt werden kann.
Andere Aufgaben und weitere Merkmale der vorliegenden
Erfindung ergeben sich aus der nachfolgenden, ins einzelne
gehenden Beschreibung, wenn diese in Verbindung mit den
beigefügten Zeichnungen gelesen wird.
Fig. 1 ist ein System-Blockdiagramm, welches ein Bei
spiel eines Teils eines herkömmlichen Lokalregion-Bildver
folgungsgerätes zeigt;
Fig. 2 ist eine Schemazeichnung zum Erläutern der Be
ziehung eines Bezugsblockes und eines Suchblockes, welche
in dem herkömmlichen Lokalregion-Bildverfolgungsgerät ver
wendet werden;
Fig. 3 ist ein System-Blockdiagramm, welches die Kon
struktion einer herkömmlichen Korrelationsberechnungsein
heit für einen Fall zeigt, bei welchem m = 4 ist;
Fig. 4 ist ein System-Blockdiagramm, welches die all
gemeine Konstruktion einer ersten Ausgestaltung eines
Lokalregion-Bildverfolgungsgerätes gemäß der vorliegenden
Erfindung zeigt;
Fig. 5 ist ein System-Blockdiagramm, welches eine Aus
gestaltung der Konstruktion eines Korrelations-Verfolgungs
prozessors der ersten Ausgestaltung zeigt;
Fig. 6 ist ein System-Blockdiagramm, welches eine Aus
gestaltung der Konstruktion eines Bildflußsteuerschaltkrei
ses zusammen mit Bildspeichern und einem Korrelationsbe
rechnungsschaltkreis zeigt;
Fig. 7 ist ein System-Blockdiagramm, welches eine Aus
gestaltung eines Speicherwählers zeigt;
Fig. 8 ist eine Schemazeichnung, welche ein 5-Bit-Adreßsignal
zeigt, welches einem Festwertspeicher (read
only memory = ROM) zugeführt wird;
Fig. 9 ist eine Schemazeichnung, welche die Beziehung
der Werte des dem ROM zugeführten 5-Bit-Adreßsignals und
der Werte von Auswahldaten zeigt, die aus dem ROM gelesen
werden;
Fig. 10 ist ein System-Blockdiagramm, welches eine
Ausgestaltung eines Suchbild-Adreßgenerators zeigt;
Fig. 11 ist ein System-Blockdiagramm, welches eine
Ausgestaltung eines Bezugsbild-Adreßgenerators zeigt;
Fig. 12 ist eine Schemazeichnung zum Erläutern eines
Akkumulierprozesses von Korrelationsberechnungsergebnissen
zeigt;
Fig. 13A, 13B und 13C sind jeweils Schemazeichnungen
zum Erläutern der Korrelationsberechnung des Korrelations
berechnungsschaltkreises und eines Bewegungsvektors (u, v)
für einen Fall, bei welchem ein Bezugsblock mit der Abmes
sung von 8 Pixel × 8 Pixel verwendet wird;
Fig. 14A, 14B und 14C sind jeweils Schemazeichnungen
zum Erläutern der Korrelationsberechnung des Korrelations
berechnungsschaltkreises und eines Bewegungsvektors (u, v)
für einen Fall, bei welchem ein Bezugsblock mit der Abmes
sung von 16 Pixel × 16 Pixel verwendet wird;
Fig. 15A und 15B sind jeweils Schemazeichnungen zum
Erläutern eines Mechanismus zum Realisieren eines Äquiva
lentes eines Bezugsblockes mit der Abmessung von 16 Pixel
× 16 Pixel durch Akkumulieren der Korrelationsberechnungs
ergebnisse, welche man bei Verwendung des Bezugsblockes mit
der Abmessung von 8 Pixel × 8 Pixel erhält;
Fig. 16A und 16B sind jeweils Schemazeichnungen zum
Erläutern des Mechanismus zum Realisieren des Äquivalentes
des Bezugsblockes mit der Abmessung von 16 Pixel × 16 Pixel
durch Akkumulieren der Korrelationsberechnungsergebnisse,
welche man bei Verwendung des Bezugsblockes mit der Abmes
sung von 8 Pixel × 8 Pixel erhält;
Fig. 17A und 17B sind jeweils Schemazeichnungen zum
Erläutern des Mechanismus zum Realisieren des Äquivalentes
des Bezugsblockes mit der Abmessung von 16 Pixel × 16 Pixel
durch Akkumulieren der Korrelationsberechnungsergebnisse,
welche man bei Verwendung des Bezugsblockes mit der Abmes
sung von 8 Pixel × 8 Pixel erhält;
Fig. 18A und 18B sind jeweils Schemazeichnungen zum
Erläutern des Mechanismus zum Realisieren des Äquivalentes
des Bezugsblockes mit der Abmessung von 16 Pixel × 16 Pixel
durch Akkumulieren der Korrelationsberechnungsergebnisse,
welche man bei Verwendung des Bezugsblockes mit der Abmes
sung von 8 Pixel × 8 Pixel erhält;
Fig. 19 ist ein System-Blockdiagramm, welches eine
Ausgestaltung der Konstruktion eines Korrelationswert-Akku
mulierschaltkreises und eines Korrelationswert-Speicher
schaltkreises zeigt;
Fig. 20 ist ein System-Blockdiagramm, welches eine
Ausgestaltung des Korrelations-Verfolgungsprozessors in ei
ner zweiten Ausgestaltung des Lokalregion-Bildverfolgungs
gerätes gemäß der vorliegenden Erfindung zeigt;
Fig. 21 ist eine Schemazeichnung, welche eine Ausge
staltung eines Bit-Wandlerschaltkreises
(Konversionsschaltkreises) zeigt;
Fig. 22 ist eine Schemazeichnung, welche eine andere
Ausgestaltung des Bit-Wandlerschaltkreises zeigt;
Fig. 23 ist ein System-Blockdiagramm, welches die all
gemeine Konstruktion einer dritten Ausgestaltung des Lokal
region-Bildverfolgungsgerätes gemäß der vorliegenden Erfin
dung zeigt; und
Fig. 24 ist ein System-Blockdiagramm, welches die all
gemeine Konstruktion einer vierten Ausgestaltung des Lokal
region-Bildverfolgungsgerätes gemäß der vorliegenden Erfin
dung zeigt.
Fig. 4 ist ein System-Blockdiagramm, welches die all
gemeine Konstruktion einer ersten Ausgestaltung eines
Lokalregion-Bildverfolgungsgerätes gemäß der vorliegenden
Erfindung zeigt.
In Fig. 4 umfaßt das Lokalregion-Bildverfolgungsgerät
allgemein eine Bildaufnahmeeinrichtung 1, wie etwa eine
Kamera, eine Bildeingabe-/-ausgabeeinheit 2, eine Vielzahl
von Korrelations-Verfolgungsprozessoren 4-1, 4-2, . . ., wel
che mit der Bildeingabe-/-ausgabeeinheit 2 über einen
Videobus 3 verbunden sind, einen Steuerbus 5, einen Steuer
rechner (Steuercomputer) 6 und eine Anzeigeeinheit 7, wel
che mit der Bildeingabe-/-ausgabeeinheit 2 verbunden ist.
Mit anderen Worten ist die Vielzahl der Korrelations-Ver
folgungsprozessoren 4-1, 4-2, . . . parallel bezüglich der
Bildeingabe-/-ausgabeeinheit 2 über den Videobus 3 gekop
pelt, und diese Korrelations-Verfolgungsprozessoren 4-1,
4-2, . . . sind parallel bezüglich des Steuercomputers 6 über
den Steuerbus 5 gekoppelt. Die Korrelations-Verfolgungspro
zessoren 4-1, 4-2, . . . haben jeweils die gleiche Konstruk
tion. Der Steuercomputer 6 steuert jeden der Korrelations
verfolgungsprozessoren 4-1, 4-2, . . ., indem er Prozesse wie
etwa die Bestimmung einer Position eines zu verfolgenden
Zieles über den Steuerbus und das Lesen eines Bewegungsvek
tors durchführt, welchen man als ein Ergebnis der Prozeß
verarbeitung erhält.
In dieser Ausgestaltung werden Eingabebilddaten von
der Bildaufnahmeeinrichtung 1 in die Bildeingabe-/-ausgabe
einheit 2 eingegeben. Es ist jedoch natürlich möglich, eine
Speichereinheit 1 anstelle der Bildaufnahmeeinrichtung 1 zu
verwenden. In diesem Fall ist die Speichereinheit 1 aus ei
nem Aufzeichnungsmedium wie etwa einer Videodiskette, einer
Magnetdiskette und einer CD-ROM, einem Speicher wie etwa
einem RAM, einem ROM, einem EPROM und einem EEPROM, einer
magnetischen oder optischen Karte oder dergleichen herge
stellt, und die aus der Speichereinheit 1 gelesenen Einga
bebilddaten werden in die Bildeingabe-/-ausgabeeinheit 2
eingegeben. Ferner können die Eingabebilddaten von einer
Übertragungsquelle über eine Kommunikationsleitung empfan
gen und in die Bildeingabe-/-ausgabeeinheit 2 eingegeben
werden.
Beispielsweise kann die Bildeingabe-/-ausgabeeinheit 2
einen Analog-Digital-Wandler (A/D), einen Digital-Analog-Wandler
(D/A), einen Decoderschaltkreis, welcher kompri
mierte Bilddaten decodiert, und dergleichen umfassen. Die
Bildeingabe-/-ausgabeeinheit 2 hat eine Funktion, das
Datenformat der von der Bildaufnahmeeinrichtung 1 eingege
benen Eingabebilddaten in ein Datenformat zu konvertieren,
welches für die Verarbeitung in den Korrelations-Verfol
gungsprozessoren 4-1, 4-2, . . . geeignet ist, sowie eine
Funktion, das Datenformat der Bilddaten in ein Datenformat
zu konvertieren, welches für die Anzeige auf der Anzeige
einheit 7 geeignet ist. Mit anderen Worten führt die
Bildeingabe-/-ausgabeeinheit 2 in dem A/D-Wandler eine
A/D-Konvertierung durch, wenn die Eingabebilddaten von der
Bildaufnahmeeinrichtung 1 eingegeben werden, und sie führt
eine Decodierung aus, wenn die Eingabebilddaten von der
Speichereinheit 1 gelesen werden. Ferner werden die auf der
Anzeigeeinheit 7 anzuzeigenden Bilddaten in dem D/A-Wandler
einer D/A-Konvertierung unterworfen, wenn das erforderlich
ist. Natürlich ist es nicht wesentlich, die Anzeigeeinheit
7 vorzusehen, und es ist möglich, lediglich das Ergebnis
der Verarbeitung zu verwenden.
Fig. 5 ist ein System-Blockdiagramm, welches eine Aus
gestaltung der Konstruktion des Korrelations-Verfolgungs
prozessors 4-1 der in Fig. 4 gezeigten ersten Ausgestaltung
zeigt. Die Konstruktionen der anderen Korrelations-Verfol
gungsprozessoren 4-2, . . . sind die gleichen wie die Kon
struktion des Korrelations-Verfolgungsprozessors 4-1, und
auf eine Illustrierung und Beschreibung derselben wird ver
zichtet.
Der in Fig. 5 gezeigte Korrelations-Verfolgungsprozes
sor 4-1 umfaßt allgemein einen Bildfluß-Steuerschaltkreis
71, einen Korrelationsberechnungsschaltkreis 72, ein Steu
erregister 73, einen Minimalwert-Detektierschaltkreis 74,
einen Korrelationswert-Akkumulierschaltkreis 75, einen Kor
relationswert-Speicherschaltkreis 76 und Bildspeicher 12-1
bis 12-3, welche wie dargestellt verbunden sind. Der Bild
fluß-Steuerschaltkreis 71 ist mit der in Fig. 4 gezeigten
Bildeingabe-/-ausgabeeinheit 2 über den Videobus 3 verbun
den. Zusätzlich sind der Bildfluß-Steuerschaltkreis 71 und
das Steuerregister 73 jeweils mit dem in Fig. 4 gezeigten
Steuercomputer 6 über den Steuerbus 5 gekoppelt.
Fig. 6 ist ein System-Blockdiagramm, welches die Kon
struktion einer Ausgestaltung des Bildfluß-Steuerschalt
kreises 71 zusammen mit den Bildspeichern 12-1 bis 12-3 und
dem Korrelationsberechnungsschaltkreis 72 zeigt. In Fig. 6
umfaßt der Bildfluß-Steuerschaltkreis 71 Wähler 11, 17 und
18, Adressenwähler 15 und 16, einen Speicherwähler 19, ei
nen Bezugsbild-Adressengenerator 20 und einen Suchbild-Adressen
generator 21, die wie dargestellt verbunden sind.
In dieser Ausgestaltung werden die drei Bildspeicher 12-1
bis 12-3 wahlweise verwendet, um den Verfolgungsprozeß in
jedem Rahmen, die Eingabe des Suchbildes (oder Blockes) bei
jedem Rahmen und das Updaten des Bezugsbildes (oder
Blockes) in beliebigen Rahmenintervallen zu realisieren.
Der Wähler 11 empfängt 8-Bit-Eingabebilddaten von
Bilddatensignalleitungen des Videobusses 3. Der Wähler 11
führt die 8-Bit-Eingabebilddaten einem aus den drei
Bildspeichern 12-1 bis 12-3 ausgewählten Speicher auf der
Basis eines 2-Bit-Eingabespeicherwahlsignals vom Speicher
wähler 19 zu.
Fig. 7 ist ein System-Blockdiagramm, welches eine Aus
gestaltung des Speicherwählers 19 zeigt. In Fig. 7 umfaßt
der Speicherwähler 19 einen Konstanten-ROM 31, einen Kompa
rator 32, einen Rahmenzähler 33, einen Riegelschaltkreis
34, einen Inverter 35, ein Flip-Flop 36 und einen ROM 37,
die wie dargestellt verbunden sind.
Der Konstanten-ROM 31 speichert Konstanten vor, welche
Schaltintervalle des Bezugsbildes angeben. Andererseits
wird ein Rahmensynchronisiersignal, welches man von einer
Rahmensynchronisiersignalleitung des Videobusses 3 erhält,
durch den Inverter 35 hindurch geschickt und dem Rahmenzäh
ler 33 sowie einem Taktsignaleingabeanschluß des Flip-Flop
36 zugeleitet. Demzufolge zählt der Rahmenzähler 33 das in
vertierte Rahmensynchronisiersignal von dem Inverter 35 und
führt einen gezählten Wert dem Komparator 32 zu. Der Kompa
rator 32 vergleicht die von dem Konstanten-ROM 31 gelesene
Konstante und den von dem Rahmenzähler 33 ausgegebenen ge
zählten Wert und gibt einen Schaltimpuls aus, wenn die ver
glichene Konstante und der gezählte Wert übereinstimmen.
Dieser Schaltimpuls startet das Schalten des Bezugsbild
speichers. Der Schaltimpuls wird dem Bezugsbild-Adressen
generator 20 zugeführt, der in Fig. 6 gezeigt ist, und
ebenso dem Riegelschaltkreis 34 und einem Löschanschluß des
Flip-Flop 36.
Eine /Q-Ausgabe (oder invertierte Q-Ausgabe) des Flip-Flop
36 wird einem Dateneingabeanschluß D desselben zuge
leitet, und eine Q-Ausgabe des Flip-Flop 36 wird dem ROM 37
als 1 Bit aus den Bits des Adressensignals des ROM 37 zuge
führt. Verbleibende 4 Bits des Adressensignals des ROM 37
werden vom Riegelschaltkreis 34 zugeführt. Der ROM 37 spei
chert der Auswahl der Bildspeicher 12-1 bis 12-3 zugeord
nete Auswahldaten vor. Die von der Adresse des ROM 37 gele
senen, durch das 5-Bit-Adressensignal spezifizierten Aus
wahldaten werden als ein 2-Bit-Eingabebildspeicherauswahl
signal, ein 2-Bit-Suchbildspeicherauswahlsignal und ein
2-Bit-Bezugsbildspeicherauswahlsignal ausgegeben. Das Ein
gabebildspeicherauswahlsignal bestimmt, welcher aus den
Bildspeichern 12-1 bis 12-3 als Eingabebildspeicher zum
Speichern der Eingabebilddaten verwendet werden soll. In
ähnlicher Weise bestimmt das Suchbildspeicherauswahlsignal,
welcher aus den Bildspeichern 12-1 bis 12-3 als Suchbild
speicher zum Speichern der Suchbilddaten verwendet werden
soll, und das Bezugsbildspeicherauswahlsignal bestimmt,
welcher aus den Bildspeichern 12-1 bis 12-3 als Bezugs
bildspeicher zum Speichern der Bezugsbilddaten verwendet
werden soll.
Das 2-Bit-Eingabebildspeicherauswahlsignal und das
2-Bit-Suchbildspeicherauswahlsignal werden dem ROM 37 als
die verbleibenden 4 Bit des Adressensignals über den Rie
gelschaltkreis 34 zugeführt. Zusätzlich wird das 2-Bit-Ein
gabebildspeicherauswahlsignal dem Wähler 11 zugeführt, das
2-Bit-Suchbildspeicherauswahlsignal wird dem Adressenwähler
15 und dem Wähler 18 zugeführt, und das 2-Bit-Bezugsbild
speicherauswahlsignal wird dem Adressenwähler 16 und dem
Wähler 17 zugeführt.
Fig. 8 ist eine Schemazeichnung, welche die dem ROM 37
zugeführte 5-Bit-Adresse zeigt. Wie in Fig. 8 gezeigt ist,
ist das Adressensignal aus den Bits A0 bis A4 gebildet. Das
Bit A0 entspricht dem Signal von dem Flip-Flop 36. Die Bits
A1 und A2 entsprechen dem 2-Bit-Suchbildspeicherauswahl
signal, welches man über den Riegelschaltkreis 34 erhält.
Die Bits A3 und A4 entsprechen dem 2-Bit-Eingabebildspei
cherauswahlsignal, welches man über den Riegelschaltkreis
34 erhält. In Abhängigkeit davon, ob das Bit A0 gleich "0"
oder "1" ist, werden die Bildspeicher 12-1 bis 12-3 so ge
schaltet, daß sie die Bilddaten abwechselnd in die beiden
Bildspeicher eingeben, die nicht dem als Bezugsbildspeicher
verwendeten Bildspeicher entsprechen.
Fig. 9 ist eine Schemazeichnung, welche die Abhängig
keit des Wertes des dem ROM 37 zugeführten 5-Bit-Adressen
signals (ROM-Adresse) zeigt, wobei die von der ROM-Adresse
von dem ROM 37 gelesenen Auswahldaten von der ROM-Adresse
abhängigen, d. h. den Werten des 2-Bit-Eingabebildspeicher
auswahlsignals, des 2-Bit-Suchbildspeicherauswahlsignals
und des 2-Bit-Bezugsbildspeicherauswahlsignals. Wenn z. B.
der Wert der ROM-Adresse gleich "2" ist, dann ist der Wert
des Eingabebildspeicherauswahlsignals gleich "2", der Wert
des Suchbildspeicherauswahlsignals ist "0", und der Wert
des Bezugsbildspeicherauswahlsignals ist "1". In diesem
Fall wird der Bildspeicher 12-1 ausgewählt, wenn der Wert
des Bildspeicherauswahlsignals gleich "0" ist, der
Bildspeicher 12-2 wird ausgewählt, wenn der Wert des
Bildspeicherauswahlsignals gleich "1" ist, und der
Bildspeicher 12-3 wird ausgewählt, wenn der Wert des
Bildspeicherauswahlsignals gleich "2" ist. Wenn der Wert
der ROM-Adresse gleich "2" ist, wird dementsprechend der
Bildspeicher 12-3 als Eingabebildspeicher ausgewählt, der
Bildspeicher 12-1 wird als der Suchbildspeicher ausgewählt,
und der Bildspeicher 12-2 wird als der Bezugsbildspeicher
ausgewählt. Mit anderen Worten führt der in Fig. 6 gezeigte
Wähler 11 wahlweise die Bilddaten den Bildspeichern 12-1,
12-2 oder 12-3 zu in Abhängigkeit davon, ob der Wert des
Eingabebildspeicherauswahlsignals gleich "0", "1" oder "2"
ist. Natürlich zeigt Fig. 9 nicht alle der Beziehungen, und
nur ein Teil der Beziehungen ist aus Gründen der Zweckdien
lichkeit gezeigt.
Der in Fig. 6 gezeigte Adressenwähler 15 führt eine
von dem Suchbildadressengenerator 21 generierte 18-Bit-Such
bildadresse einem der Bildspeicher 12-1 bis 12-3 zu,
welcher, basierend auf dem Suchbildspeicherauswahlsignal
von dem Speicherwähler 19, als Suchbildspeicher ausgewählt
wurde. Zusätzlich führt der Adressenwähler 16 eine von dem
Bezugsbildadressengenerator 20 generierte 18-Bit-Bezugs
bildadresse einem der Bildspeicher 12-1 bis 12-3 zu, wel
cher, basierend auf dem Bezugsbildspeicherauswahlsignal von
dem Speicherwähler 19, als Bezugsbildspeicher ausgewählt
wurde.
Die von den Bildspeichern 12-1 bis 12-3 gelesenen
Bilddaten werden jedem der Wähler 17 und 18 zugeführt. Wie
oben beschrieben wurde, empfängt der Wähler 17 das Such
bildspeicherauswahlsignal von dem Speicherwähler 19, und
der Wähler 18 empfängt das Bezugsbildspeicherauswahlsignal
von dem Speicherwähler 19. Demnach wählen die Wähler 17 und
18 aus den von den Bildspeichern 12-1 bis 12-3 gelesenen
Bilddaten nur die Suchbilddaten und die Bezugsbilddaten aus
und führen diese Bilddaten dem Korrelationsberechnungs
schaltkreis 72 zu. Der Korrelationsberechnungsschaltkreis
72 erhält den Korrelationswert durch Ausführen des Korrela
tionsberechnungsprozesses. Der Korrelationswert wird von
dem Korrelationsberechnungsschaltkreis 72 dem Minimalwert-Detektier
schaltkreis 74 über den Korrelationswert-Akkumu
lierschaltkreis 75 zugeführt, und der Minimalwert des Kor
relationswertes wird von dem Minimalwert-Detektierschalt
kreis 74 detektiert. Da der Minimalwert-Detektierschalt
kreis 74 eine 18-Bit-Spitzenpositionsadresse ausgibt, wel
che die Spitzenposition, d. h. den Minimalwert angibt, ist
es möglich, das vorgegebene Objekt innerhalb des aufgenom
menen Bildes auf der Basis dieser Spitzenpositionsadresse
in Realzeit zu verfolgen. Die von dem Minimalwert-Detek
tierschaltkreis 74 ausgegebene 18-Bit-Spitzenpositions
adresse wird im Steuerregister 73 gespeichert, wie später
beschrieben werden wird, und die Spitzenpositionsadresse
kann von dem Steuercomputer 6 über den Steuerbus 5 vom
Steuerregister 73 gelesen und in dieses geschrieben werden.
Die Spitzenpositionsadresse, welche von dem Steuerregister
73 durch den Steuercomputer 6 gelesen wird, wird über den
Steuerbus 5 dem Bezugsbildadressengenerator 20 und dem
Suchbildadressengenerator 21 zugeführt.
Fig. 10 ist ein System-Blockdiagramm, welches eine
Ausgestaltung des Suchbildadressengenerators 21 zeigt. In
Fig. 10 umfaßt der Suchbildadressengenerator 21 Konstanten-ROMs
41, 43, 47 und 49, Addierer 42, 46, 48 und 52, einen
X-Adressenzähler 44, Komparatoren 45 und 51, und einen
Y-Adressenzähler 50, die wie gezeigt verbunden sind.
Der Konstanten-ROM 41 speichert einen
9-Bit-X-Adressenminimalwert (Offset-Wert) vor. Der Addierer 42
addiert einen 9-Bit-X-Adressenminimalwert, welcher vom Kon
stanten-ROM 41 gelesen wird, sowie 9 auf die X-Adresse der
Bilddaten bezogene Bits aus der 18-Bit-Spitzenpositions
adresse von dem in Fig. 6 gezeigten Steuerbus 5, und führt
dem Addierer 46 einen 9-Bit-Addierwert zu. Der
X-Adressenzähler 44 zählt das Pixel-Taktsignal, welches man
von einer Pixel-Taktsignalleitung des Videobus 3 erhält,
und führt dem Addierer 46 und dem Komparator 45 einen
9-Bit-Zählwert zu. Das Pixel-Taktsignal wird in Überein
stimmung mit jedem der Pixel (Bildelemente) erzeugt, welche
die Bilddaten bilden.
Andererseits speichert der Konstanten-ROM 43
9-Bit-X-Formatdaten. Die X-Formatdaten geben das Format (oder die
Größe) des Suchbildes in der X-Richtung an. Der Komparator
45 vergleicht die von dem Konstanten-ROM 43 gelesenen
X-Formatdaten und den vom X-Adressenzähler 44 ausgegebenen
Zählwert, und gibt ein Übereinstimmungssignal aus, wenn die
beiden verglichenen Werte übereinstimmen. Dieses Überein
stimmungssignal wird einem Löschanschluß des
X-Adressenzählers 44 zugeführt, um diesen zu löschen, und
es wird auch dem Y-Adressenzähler 50 zugeführt.
Der Y-Adressenzähler 50 zählt das Übereinstimmungs
signal und führt dem Addierer 52 und dem Komparator 51 ei
nen 9-Bit-Zählwert zu. Der Konstanten-ROM 47 speichert ei
nen 9-Bit-Y-Adressenminimalwert (Offset-Wert) vor. Der
Addierer 48 addiert einen von dem Konstanten-ROM 47 gelese
nen 9-Bit-Y-Adressenminimalwert sowie 9 der Y-Adresse der
Bilddaten zugeordnete Bits aus der 18-Bit-Spitzenpositions
adresse von dem in Fig. 6 gezeigten Steuerbus 5, und führt
dem Addierer 52 einen 9-Bit-Addierwert zu. Der Konstanten-
ROM 49 speichert 9-Bit-Y-Formatdaten vor. Die Y-Formatdaten
geben das Format (oder die Größe) des Suchbildes in der
Y-Richtung an. Der Komparator 51 vergleicht die von dem
Konstanten-ROM 49 gelesenen Y-Formatdaten und den von dem
Y-Adressenzähler 50 ausgegebenen Zählwert, und gibt ein
Übereinstimmungssignal aus, wenn die beiden verglichenen
Werte übereinstimmen. Dieses Übereinstimmungssignal wird
einem Löschanschluß des Y-Adressenzählers 50 zugeführt, um
diesen zu löschen.
Demnach erhält man 9 Bits der unteren Adresse der
Suchbildadresse von dem Addierer 46, und man erhält 9 Bits
der oberen Adresse der Suchbildadresse von dem Addierer 52.
Die Suchbildadresse, die total 18 Bits hat, erhält man von
den Addierern 46 und 52, und sie wird dem in Fig. 6 gezeig
ten Adressenwähler 15 zugeführt.
Fig. 11 ist ein System-Blockdiagramm, welches eine
Ausgestaltung des Bezugsbildadressengenerators 20 zeigt. In
Fig. 11 umfaßt der Bezugsbildadressengenerator 20 einen
Riegelschaltkreis 55, Konstanten-ROMs 56, 58, 62 und 64,
Wähler 57 und 63, einen X-Adressenzähler 59, Komparatoren
60 und 66, einen Y-Adressenzähler 65 und Addierer 61 und
67, welche wie gezeigt verbunden sind.
Der Riegelschaltkreis 55 empfängt den Schaltimpuls von
dem in Fig. 6 gezeigten Speicherwähler 19, und eine Ausgabe
dieses Riegelschaltkreises 55 wird den Wählern 57 und 63
zugeführt. Der Konstanten-ROM 56 speichert einen
9-Bit-X-Adressenminimalwert vor, und der Konstanten-ROM 62 spei
chert einen 9-Bit-Y-Adressenminimalwert vor. Aus der
18-Bit-Spitzenpositionsadresse von dem in Fig. 6 gezeigten
Steuerbus 5 werden 9 der X-Adresse der Bilddaten zugeord
nete Bits dem Wähler 57 zugeführt. Zusätzlich werden aus
der 18-Bit-Spitzenpositionsadresse von dem Steuerbus 5 9
der Y-Adresse der Bilddaten zugeordnete Bits dem Wähler 63
zugeführt. Der Wähler 57 liefert wahlweise eine der beiden,
nämlich den von dem Konstanten-ROM 56 gelesenen
X-Adressenminimalwert bzw. die X-Adresse innerhalb der
Spitzenpositionsadresse in Abhängigkeit von der Ausgabe des
Riegelschaltkreises 55. Der Wähler 63 liefert wahlweise
eine der beiden, nämlich den von dem Konstanten-ROM 62 ge
lesenen Y-Adressenminimalwert bzw. die Y-Adresse innerhalb
der Spitzenpositionsadresse in Abhängigkeit von der Ausgabe
des Riegelschaltkreises 55.
Der X-Adressenzähler 59 zählt das von der Pixel-Takt
signalleitung des Videobus 3 erhaltene Pixel-Taktsignal und
führt dem Addierer 61 und dem Komparator 60 einen
9-Bit-Zählwert zu. Andererseits speichert der Konstanten-ROM 58
das X-Format in 9 Bits vor. Dieses X-Format gibt das Format
(oder die Größe) des Bezugsbildes in der X-Richtung an. Der
Komparator 60 vergleicht die von dem Konstanten-ROM 58 ge
lesenen X-Formatdaten und den von dem X-Adressenzähler 59
aus gegebenen Zählwert und gibt ein Übereinstimmungssignal
aus, wenn die beiden verglichenen Werte übereinstimmen.
Dieses Übereinstimmungssignal wird einem Löschanschluß des
X-Adressenzählers 59 zugeführt, um diesen zu löschen, und
es wird auch dem Y-Adressenzähler 65 zugeführt.
Der Y-Adressenzähler 65 zählt das Übereinstimmungs
signal und führt dem Addierer 67 und dem Komparator 66 ei
nen 9-Bit-Zählwert zu. Der Konstanten-ROM 64 speichert das
Y-Format in 9 Bits vor. Dieses Y-Format gibt das Format
(oder die Größe) des Bezugsbildes in der Y-Richtung an. Der
Komparator 66 vergleicht die von dem Konstanten-ROM 64 ge
lesenen Y-Formatdaten und den von dem Y-Adressenzähler 65
aus gegebenen Zählwert und gibt ein Übereinstimmungssignal
aus, wenn die beiden verglichenen Werte übereinstimmen.
Dieses Übereinstimmungssignal wird einem Löschanschluß des
Y-Adressenzählers 65 zugeführt, um diesen zu löschen.
Demnach erhält man 9 Bits der unteren Adresse der Be
zugsbildadresse von dem Addierer 61, und 9 Bits der oberen
Adresse der Bezugsbildadresse erhält man von dem Addierer
67. Die Bezugsbildadresse mit total 18 Bits erhält man von
den Addierern 61 und 67, und sie wird dem in Fig. 6 gezeig
ten Adressenwähler 16 zugeführt.
Wenn man deshalb das Referenzbild fixiert und den Ver
folgungsprozeß mit Bezug auf das eingegebene Bild in dieser
Ausgestaltung ausführt, dann wird einer der Bildspeicher
außer dem als Bezugsbildspeicher ausgewählten Bildspeicher
als der Suchbildspeicher ausgewählt, und der verbleibende
Bildspeicher wird als Eingabebildspeicher ausgewählt. Die
Korrelationsberechnung in dem Korrelationsberechnungs
schaltkreis 72 verwendet als Suchbild das neueste Eingabe
bild, dessen Eingabe abgeschlossen ist. Durch Verwenden des
Bildspeichers, welcher als Suchbildspeicher im vorliegenden
Rahmen verwendet wird, als Bezugsbildspeicher in dem näch
sten oder darauffolgenden Rahmen ist es zusätzlich möglich,
das Bezugsbild upzudaten. In einem Rahmen unmittelbar nach
dem das Bezugsbild upgedatet wurde, wird der Bildspeicher,
welcher in dem vorangehenden Rahmen als Eingabebildspeicher
verwendet wurde, als Suchbildspeicher verwendet, und der
Bildspeicher, welcher als Bezugsbildspeicher in dem voran
gehenden Rahmen verwendet wurde, wird als Eingabebildspei
cher verwendet. Als Ergebnis werden die drei Bildspeicher
12-1 bis 12-3 so geschaltet und verwendet, daß der Verfol
gungsprozeß in jedem Rahmen ausgeführt werden kann, daß die
Eingabe des Suchbildes in jedem Rahmen durchgeführt werden
kann, und daß das Bezugsbild in beliebigen Rahmeninterval
len upgedatet werden kann.
Als nächstes wird eine Beschreibung eines Schaltkreis
teils vorgelegt, welcher den von dem Korrelationsberech
nungsschaltkreis 72 ausgegebenen Korrelationswert verarbei
tet, indem auf Fig. 5 wieder Bezug genommen wird. In Fig. 5
akkumuliert, d. h. addiert der Korrelationsakkumulierschalt
kreis 75 den Korrelationswert, welcher von dem Korrelati
onsberechnungsschaltkreis 72 ausgegeben wird, und den Kor
relationswert, welcher von dem Korrelationsberechnungs
schaltkreis 72 während des vorangehenden Berechnungsprozes
ses ausgegeben wird, in Abhängigkeit von einem Steuersignal
vom Steuerregister 73, welches später beschrieben werden
wird. Wenn aus Gründen der Zweckdienlichkeit angenommen
wird, daß der Korrelationsberechnungsschaltkreis 72 in der
Lage ist, die Korrelationsberechnung mit Bezug auf den Be
zugsblock mit der Abmessung von 8 Pixeln × 8 Pixeln bei
spielsweise auszuführen, dann ist es möglich, durch Akkumu
lieren der Korrelationsberechnungsergebnisse, die man an
vier in Fig. 12 gezeigten Positionen erhält, ein Äquivalent
eines Korrelationsberechnungsergebnisses zu erhalten, wel
ches man mit Bezug auf den Bezugsblock mit den Abmessungen
von 16 Pixel × 16 Pixel gewinnt. Durch Wiederholen ähnli
cher Akkumulierprozesse mit Bezug auf die Korrelationsbe
rechnungsergebnisse ist es möglich, einen Verfolgungsprozeß
mit Bezug auf einen Bezugsblock mit den Abmessungen von
8a Pixeln × 8b Pixeln auszuführen, wobei a = 1, 2, . . . und
b = 1, 2, 3, . . . ist.
Der Minimalwert-Detektierschaltkreis 74 gewinnt einen
Bewegungsvektor und einen Minimalwert des Korrelationswer
tes (nachstehend vereinfacht als Minimal-Korrelationswert
bezeichnet), den man über den Korrelationswert-Akkumulier
schaltkreis 75 gewinnt, und speichert den Bewegungsvektor
und den Minimal-Korrelationswert in dem Steuerregister 73.
Das Steuerregister 73 speichert auch ein Akkumulier-In
struktionsbit mit einem Wert, welcher anzeigt, ob die Kor
relationswerte in dem Korrelationswert-Akkumulierschalt
kreis 75 akkumuliert werden sollen oder nicht, und dieses
Akkumulier-Instruktionsbit wird dem Korrelationswert-Akku
mulierschaltkreis 75 als das oben beschriebene Steuersignal
zugeführt. Die Information innerhalb des Steuerregisters 73
kann durch den Steuercomputer 6 über den Steuerbus 5 gele
sen und geschrieben werden. Der Korrelationswert-Akkumu
lierschaltkreis 75 akkumuliert den von dem Korrelationsbe
rechnungsschaltkreis 72 ausgegebenen Korrelationswert und
den vorangehenden Korrelationswert, welcher in dem Korrela
tionswert-Speicherschaltkreis 76 gespeichert ist, und er
führt einen dem Akkumulierergebnis entsprechenden Korrela
tionswert dem Minimalwert-Detektierschaltkreis 74 und dem
Korrelationswertspeicherschaltkreis 76 zu. Der dem Korrela
tionswertspeicherschaltkreis 76 zugeführte Korrelationswert
wird in dem Korrelationswertspeicherschaltkreis 76 gespei
chert, und dieser Korrelationswert wird von dem Korrelati
onswertspeicherschaltkreis 76 gelesen und dem Korrelations
wert-Akkumulierschaltkreis 75 als der vorangehende Korrela
tionswert zugeführt, wenn der nächste Korrelationswert von
dem Korrelationsberechnungsschaltkreis 72 ausgegeben wird,
und er wird dem Korrelationswert-Akkumulierschaltkreis 75
zugeführt.
Fig. 13A bis 13C sind jeweils Schemazeichnungen zum
Erläutern der Korrelationsberechnung des Korrelationsbe
rechnungsschaltkreises 72 und eines Bewegungsvektors (u, v)
für einen Fall, bei welchem ein Bezugsblock mit den Abmes
sungen von 8 Pixeln × 8 Pixeln verwendet wird. Fig. 13A
zeigt den Bezugsblock (oder Schablone) mit den Abmessungen
von 8 Pixeln × 8 Pixeln. Fig. 13B zeigt einen Suchblock mit
den Abmessungen von 23 Pixeln × 23 Pixeln, welcher einen
Suchbereich von -8 bis +7 überdeckt. Fig. 13C zeigt eine
Anordnung der Korrelationswerte von 16 Pixeln × 16 Pixeln,
welche den Suchbereich von -8 bis +7 beschreibt zusammen
mit dem Bewegungsvektor (u, v) für einen Fall, bei welchem
der in Fig. 13A gezeigte Bezugsblock innerhalb des in
Fig. 13B gezeigten Suchblockes bewegt wird.
Fig. 14A bis 14C sind jeweils Schemazeichnungen zum
Erläutern der Korrelationsberechnung des Korrelationsbe
rechnungsschaltkreises 72 und des Bewegungsvektors (u, v)
für einen Fall, bei welchem ein Bezugsblock mit den Abmes
sungen von 16 Pixeln × 16 Pixeln verwendet wird. Fig. 14A
zeigt den Bezugsblock (oder Schablone) mit den Abmessungen
von 16 Pixeln × 16 Pixeln. Fig. 14B zeigt einen Suchblock
mit den Abmessungen von 31 Pixeln × 31 Pixeln, welcher ei
nen Suchbereich von -8 bis +7 überdeckt. Fig. 14C zeigt
eine Anordnung der Korrelationswerte von 16 Pixeln × 16
Pixeln, welche den Suchbereich von -8 bis +7 beschreibt,
zusammen mit dem Bewegungsvektor (u, v) für einen Fall, bei
welchem der in Fig. 14A gezeigte Bezugsblock innerhalb des
in Fig. 14B gezeigten Suchblockes bewegt wird.
Als nächstes wird eine Beschreibung des Mechanismus
vorgelegt, durch den ein Äquivalent eines Bezugsblockes mit
den Abmessungen von 16 Pixeln × 16 Pixeln durch Akkumulie
ren der Korrelationsberechnungsergebnisse realisiert wird
unter Verwendung eines Bezugsblockes (oder einer Schablone)
mit den Abmessungen von 8 Pixeln × 8 Pixeln, in dem der
Korrelationsberechnungsprozeß in dem Korrelationsberech
nungsschaltkreis 72 und der Akkumulierprozeß in dem Korre
lationswert-Akkumulierschaltkreis 75 ausgeführt werden, und
zwar mit Bezug auf die Fig. 15 bis 18. In den Fig. 15A,
16A, 17A und 18A ist der Referenzblock mit den Abmessungen
von 8 Pixeln × 8 Pixeln durch die nach rechts abfallende
Schraffur gekennzeichnet. Zusätzlich ist in den Fig. 15B,
16B, 17B und 18B der Suchblock mit den Abmessungen von 23
Pixeln × 23 Pixeln durch die nach links abfallende Schraf
fur gekennzeichnet.
Der Bezugsblock mit den Abmessungen von
8 Pixeln × 8 Pixeln, welcher verwendet wird, wenn der erste
Korrelationsberechnungsprozeß in dem Korrelationsberech
nungsschaltkreis 72 ausgeführt wird, ist durch die Schraf
fur in Fig. 15A gekennzeichnet. Der Suchblock mit den Ab
messungen von 23 Pixeln × 23 Pixeln, welcher in diesem
Falle verwendet wird, ist durch die Schraffur in Fig. 15B
gekennzeichnet. Mit Bezug auf den Korrelationswert, welcher
durch diesen ersten Korrelationsberechnungsprozeß gewonnen
wird, existiert kein vorangehender Korrelationswert. Aus
diesem Grund führt der Korrelationswert-Akkumulierschalt
kreis 75 den Akkumulierprozeß mit Bezug auf den Korrelati
onswert in Beantwortung des Steuersignals vom Steuerregi
ster 73 nicht aus.
Der Bezugsblock mit den Abmessungen von
8 Pixeln × 8 Pixeln, welcher verwendet wird, wenn der
zweite Korrelationsberechnungsprozeß in dem Korrelationsbe
rechnungsschaltkreis 72 ausgeführt wird, ist durch die
Schraffur in Fig. 16A gekennzeichnet. Der Suchblock mit den
Abmessungen von 23 Pixeln × 23 Pixeln, welcher in diesem
Falle verwendet wird, ist durch die Schraffur in Fig. 16B
gekennzeichnet. Mit Bezug auf den Korrelationswert, welchen
man durch diesen zweiten Korrelationsberechnungsprozeß er
hält, existiert der vorangehende Korrelationswert. Dieser
vorangehende Korrelationswert wird durch den ersten, oben
beschriebenen Korrelationsberechnungsprozeß erhalten. In
folgedessen führt der Korrelationswert-Akkumulierschalt
kreis 75 den Akkumulierprozeß mit Bezug auf die Korrelati
onswerte in Beantwortung des Steuersignals von dem Steuer
register 73 aus.
Der Bezugsblock mit den Abmessungen von
8 Pixeln × 8 Pixeln, welcher verwendet wird, wenn der
dritte Korrelationsberechnungsprozeß in dem Korrelationsbe
rechnungsschaltkreis 72 ausgeführt wird, ist durch die
Schraffur in Fig. 17A gekennzeichnet. Der Suchblock mit den
Abmessungen von 23 Pixeln × 23 Pixeln, welcher in diesem
Fall verwendet wird, ist durch die Schraffur in Fig. 17B
gekennzeichnet. Mit Bezug auf den Korrelationswert, welcher
durch diesen dritten Korrelationsberechnungsprozeß gewonnen
wird, existiert der vorangehende Korrelationswert. Dieser
vorangehende Korrelationswert wird durch den zweiten, oben
beschriebenen Korrelationsberechnungsprozeß erhalten. Dem
nach führt der Korrelationswert-Akkumulierschaltkreis 75
den Akkumulierprozeß mit Bezug auf die Korrelationswerte in
Beantwortung des Steuersignals von dem Steuerregister 73
aus.
Ferner ist der Bezugsblock mit den Abmessungen von
8 Pixeln × 8 Pixeln, welcher verwendet wird, wenn der
vierte Korrelationsberechnungsprozeß in dem Korrelationsbe
rechnungsschaltkreis 72 ausgeführt wird, durch die Schraf
fur in Fig. 18A gekennzeichnet. Der Suchblock mit den Ab
messungen von 23 Pixeln × 23 Pixeln, welcher in diesem Fall
verwendet wird, ist durch die Schraffur in Fig. 18B gekenn
zeichnet. Mit Bezug auf den Korrelationswert, welchen man
durch diesen vierten Korrelationsberechnungsprozeß erhält,
existiert der vorangehende Korrelationswert. Dieser voran
gehende Korrelationswert wird durch den dritten, oben be
schriebenen Korrelationsberechnungsprozeß erhalten. Demnach
führt der Korrelationswert-Akkumulierschaltkreis 75 den
Akkumulierprozeß mit Bezug auf die Korrelationswerte in Be
antwortung des Steuersignals von dem Steuerregister 73 aus.
Durch den oben beschriebenen Akkumulierprozeß ist es
möglich, das Äquivalent des Bezugsblockes mit den Abmessun
gen von 16 Pixeln × 16 Pixeln durch Verwendung des Refe
renzblockes mit den Abmessungen von 8 Pixeln × 8 Pixeln zu
realisieren. Im allgemeinen ist es möglich, einen Verfol
gungsprozeß mit Bezug auf ein Äquivalent eines Bezugs
blockes mit den Abmessungen von am Pixeln × bn Pixeln durch
Verwendung eines Bezugsblockes mit den Abmessungen von m
Pixeln × n Pixeln auszuführen, wobei a = 1, 2, 3, . . . und b
= 1, 2, 3, . . . ist, indem man ähnliche Akkumulierprozesse
mit Bezug auf die Korrelationsberechnungsergebnisse wieder
holt.
Fig. 19 ist ein System-Blockdiagramm, welches eine
Ausgestaltung der Konstruktion des Korrelationswert-Akkumu
lierschaltkreises 75 und des Korrelationswert-Speicher
schaltkreises 76 zeigt. In Fig. 19 umfaßt der Korrelations
wert-Akkumulierschaltkreis 75 einen Wähler 751 und einen
Addierer 752, die wie gezeigt verbunden sind. Andererseits
umfaßt der Korrelationswert-Speicherschaltkreis 76 einen
Adressenzähler 761, einen Flip-Flop-Schaltkreis 762 und ei
nen Doppelkanalspeicher 763, die wie gezeigt verbunden
sind.
Der Wähler 751 des Korrelationswert-Akkumulierschalt
kreises 75 empfängt einen festen Wert "0", und den Korrela
tionswert (Lesedaten), welcher durch den vorangehenden Kor
relationsberechnungsprozeß erhalten und über einen Lesean
schluß RD des Doppelkanalspeichers 763 innerhalb des Korre
lationswert-Speicherschaltkreises 76 gelesen wird. Der Wäh
ler 761 gibt wahlweise einen der beiden Werte, nämlich den
festen Wert "0" bzw. den Korrelationswert (Lesedaten) in
Beantwortung des Steuersignals von dem in Fig. 5 gezeigten
Steuerregister 73 aus. Der Addierer 752 addiert die Ausgabe
des Wählers 751 und den Korrelationswert, welcher von dem
in Fig. 5 gezeigten Korrelationsberechnungsschaltkreis 72
ausgegeben wird, und führt ein addiertes Ergebnis (Schreib
daten) einem Schreibanschluß WD des Doppelkanalspeichers
763 innerhalb des Korrelationswertspeicherschaltkreises 76
zu. Obwohl in Fig. 19 nicht gezeigt, werden zusätzlich die
Schreibdaten auch dem in Fig. 5 gezeigten Minimalwert-De
tektierschaltkreis 74 zugeführt. Der Adressenzähler 761 des
Korrelationswertspeicherschaltkreises 76 zählt den Pixel
takt oder dergleichen, und gibt eine Schreibadresse und
eine Leseadresse des Doppelkanalspeichers 763 aus. Die
Schreibadresse von dem Adressenzähler 761 wird einem
Schreibadressen-Anschluß WA des Doppelkanalspeichers 763
über den Flip-Flop-Schaltkreis 762 zugeführt, welcher dazu
vorgesehen ist, die Zeitlage (timing) der Schreibadresse
beispielsweise um mehrere Pixeltakte zu verzögern. Anderer
seits wird die Leseadresse von dem Adressenzähler 761 di
rekt einem Leseadressen-Anschluß RA des Doppelkanalspei
chers 763 zugeführt.
Als nächstes wird eine Beschreibung einer zweiten Aus
gestaltung des Lokalregion-Bildverfolgungsgerätes gemäß der
vorliegenden Erfindung vorgelegt. Die allgemeine Konstruk
tion der zweiten Ausgestaltung ist die gleiche wie die der
ersten Ausgestaltung, die in Fig. 4 gezeigt ist, und eine
Illustrierung und Beschreibung derselben wird fortgelassen.
In der zweiten Ausgestaltung ist die Konstruktion des Kor
relationsverfolgungsprozessors 4-1 von der der ersten Aus
gestaltung verschieden. Fig. 20 ist ein System-Blockdia
gramm, welches eine Ausgestaltung des Korrelationsverfol
gungsprozessors 4-1 der zweiten Ausgestaltung zeigt. In
Fig. 20 sind die Teile, welche die gleichen wie die ent
sprechenden Teile in Fig. 5 sind, mit den gleichen Bezugs
zahlen bezeichnet, und eine Beschreibung derselben wird
fortgelassen.
Wie in Fig. 20 gezeigt ist, ist ein Bit-Konversions
schaltkreis 78 zwischen dem Bildfluß-Schaltkreis 71 und dem
Korrelationswertberechnungsschaltkreis 72 in dieser Ausge
staltung vorgesehen, so daß es möglich ist, den Korrelati
onsberechnungsprozeß mit Bezug auf ein Farbbild auszufüh
ren. Der Bit-Konversionsschaltkreis 78 führt einen Bit-Kon
versionsprozeß mit Bezug auf Farbbilddaten aus, die man von
dem Bildfluß-Steuerschaltkreis 71 erhält, und zwar basie
rend auf einem Bit-Konversionsinstruktionssignal von dem
Steuerregister 73.
Fig. 21 ist eine Schemazeichnung, welche eine Ausge
staltung des Bit-Konversionsschaltkreises 78 zeigt. Aus
Gründen der Zweckdienlichkeit wird angenommen, daß ein
24-Bit RGB-Signal die Farbbilddaten ausbildet. In diesem
Falle gibt ein 3 : 1-Wähler 781 wahlweise obere 8 Bits des
RGB-Signals, mittlere 8 Bits des RGB-Signals oder die unte
ren 8 Bits des RGB-Signals aus und führt die ausgewählten 8
Bits des RGB-Signals dem in Fig. 20 gezeigten Korrelations
berechnungsschaltkreis 72 zu. Der Korrelationsberechnungs
schaltkreis 72 wählt zuerst das R-Signal, d. h. dem Rot (R)
zugeordnete Bilddaten aus und führt den Korrelationsberech
nungsprozeß mit Bezug auf dieses R-Signal aus. Der Korrela
tionswert-Akkumulierschaltkreis 75 führt den Akkumulierpro
zeß an dem Korrelationswert mit Bezug auf das R-Signal
nicht aus. Als nächstes wählt der Korrelationsberechnungs
schaltkreis 72 das G-Signal, d. h. dem Grün (G) zugeordnete
Bilddaten aus und führt den Korrelationsberechnungsprozeß
mit Bezug auf dieses G-Signal aus. Der Korrelationswert-
Akkumulierschaltkreis 75 führt den Akkumulierprozeß an dem
Korrelationswert mit Bezug auf das G-Signal durch Akkumu
lieren des Korrelationswertes mit Bezug auf das R-Signal zu
dem Korrelationswert mit Bezug auf das G-Signal aus. Dar
über hinaus wählt der Korrelationsberechnungsschaltkreis 72
das B-Signal, d. h. dem Blau (B) zugeordnete Bilddaten aus
und führt den Korrelationsberechnungsprozeß mit Bezug auf
dieses B-Signal aus. Der Korrelationswert-Akkumulierschalt
kreis 75 führt den Akkumulierprozeß an dem Korrelationswert
mit Bezug auf das B-Signal durch Akkumulieren des akkumu
lierten Korrelationswertes mit Bezug auf die R-Signale und
die G-Signale zum Korrelationswert mit Bezug auf das
B-Signal aus. Durch Ausführen von insgesamt drei Korrelati
onsberechnungsprozessen mit Bezug auf die gleiche Bezugs
bildposition und Suchbildposition in der oben beschriebenen
Weise ist es möglich, den Verfolgungsprozeß mit Bezug auf
eine Bewegung innerhalb des Farbbildes zu realisieren.
Fig. 22 ist eine Schemazeichnung, welche eine andere
Ausgestaltung des Bit-Konversionsschaltkreises 78 zeigt.
Aus Gründen der Zweckdienlichkeit wird angenommen, daß ein
16-Bit-RGB-Signal die Farbbilddaten bildet. Wenn das
R-Signal 5 Bits aufweist, das G-Signal 6 Bits hat und das
B-Signal 5 Bits hat, dann werden die Bits von jedem Farb
signal als obere Bits von 8-Bitdaten verwendet, und ver
bleibende untere Bits der 8-Bitdaten werden auf einen Wert
"0" fixiert, bevor sie einem 3 : 1-Wähler 782 zugeführt wer
den. Der 3 : 1-Wähler 782 gibt wahlweise eines der drei aus
dem RGB-Signal gebildeten 8-Bitdaten (Farbsignal) aus und
führt die ausgewählten 8-Bitdaten dem Korrelationsberech
nungsschaltkreis 72 zu, der in Fig. 20 gezeigt ist. In die
sem Fall wählt der Korrelationsberechnungsschaltkreis 72
zuerst das R-Signal, d. h. dem Rot (R) zugeordnete Bilddaten
aus, und führt den Korrelationsberechnungsprozeß mit Bezug
auf dieses R-Signal aus. Der Korrelationswert-Akkumulier
schaltkreis 75 führt den Akkumulierprozeß an dem Korrelati
onswert mit Bezug auf das R-Signal nicht aus. Als nächstes
wählt der Korrelationsberechnungsschaltkreis 72 das
G-Signal, d. h. dem Grün (G) zugeordnete Bilddaten aus und
führt den Korrelationsberechnungsprozeß mit Bezug auf die
ses G-Signal aus. Der Korrelationswert-Akkumulierschalt
kreis 75 führt den Akkumulierprozeß an dem Korrelationswert
mit Bezug auf das G-Signal durch Akkumulieren des Korrela
tionswertes mit Bezug auf das R-Signal zu dem Korrelations
wert mit Bezug auf dieses G-Signal aus. Darüber hinaus
wählt der Korrelationsberechnungsschaltkreis 72 das
B-Signal, d. h. dem Blau (B) zugeordnete Bilddaten aus und
führt den Korrelationsberechnungsprozeß mit Bezug auf die
ses B-Signal aus. Der Korrelationswert-Akkumulierschalt
kreis 75 führt den Akkumulierprozeß an dem Korrelationswert
mit Bezug auf das B-Signal durch Akkumulieren des akkumu
lierten Korrelationswertes mit Bezug auf das R-Signal und
G-Signal zu dem Korrelationswert mit Bezug auf das B-Signal
aus. Durch Ausführen von insgesamt drei Korrelationsberech
nungsprozessen mit Bezug auf die gleiche Bezugsbildposition
und Suchbildposition in der oben beschriebenen Weise ist es
möglich, den Verfolgungsprozeß mit Bezug auf eine Bewegung
innerhalb des Farbbildes zu realisieren.
Als nächstes wird eine Beschreibung einer dritten Aus
gestaltung des Lokalregion-Bildverfolgungsgerätes gemäß der
vorliegenden Erfindung mit Bezug auf Fig. 23 vorgelegt.
Fig. 23 ist ein System-Blockdiagramm, welches die allge
meine Konstruktion der dritten Ausgestaltung zeigt. In
Fig. 23 sind die Teile, welche die gleichen wie diese ent
sprechenden Teile in den Fig. 4 und 5 sind, mit den glei
chen Bezugszahlen bezeichnet, und eine Beschreibung dersel
ben wird hier fortgelassen.
In dieser Ausgestaltung ist eine Microcomputer-Einheit
(MCU) 601, die dem in Fig. 4 gezeigten Steuerrechner 6 ent
spricht, innerhalb eines Korrelationsverfolgungsprozessors
401 vorgesehen. Aus diesem Grund ist in dieser Ausgestal
tung der in Fig. 4 gezeigte Steuerbus 5 nicht vorgesehen.
Zusätzlich ist ein ROM 602 zum Speichern von durch die MCU
601 auszuführenden Programmen und von durch die Programme
und dergleichen zu verwendenden Daten mit der MCU 601 ge
koppelt. Wie in Fig. 23 gezeigt ist, werden der MCU 601 In
struktionen von einer Eingabeeinrichtung 611, wie etwa ei
ner Tastatur, über eine Schnittstelle 610 eingegeben.
In dieser Ausgestaltung ist der Korrelationsverfol
gungsprozessor 401 als eine einzelne Einheit konstruiert.
Als nächstes wird eine Beschreibung einer vierten Aus
gestaltung des Lokalregion-Bildverfolgungsgerätes gemäß der
vorliegenden Erfindung mit Bezug auf Fig. 24 vorgelegt.
Fig. 24 ist ein System-Blockdiagramm, welches die allge
meine Konstruktion der vierten Ausgestaltung zeigt. In
Fig. 24 sind die Teile, welche die gleichen wie diese ent
sprechenden Teile in Fig. 23 sind, mit den gleichen Bezugs
zahlen bezeichnet, und eine Beschreibung derselben wird
fortgelassen.
In dieser Ausgestaltung ist auch ein Bildeingabe-/
ausgabeschaltkreis 201, welcher der in Fig. 4 gezeigten
Bildeingabe-/-ausgabeeinheit 2 entspricht innerhalb eines
Korrelationsverfolgungsprozessors 402 vorgesehen, und zwar
zusätzlich zu der MCU 601 und dem ROM 602. Aus diesem Grund
ist in dieser Ausgestaltung der in Fig. 4 gezeigte Videobus
3 nicht vorgesehen.
In dieser Ausgestaltung ist der Korrelationsverfol
gungsprozessor 402 auch als eine einzelne Einheit konstru
iert. Es ist demnach möglich, das Lokalregion-Bildverfol
gungsgerät zu relativ niedrigen Kosten durch einfaches Ver
binden der Eingabeeinrichtung 611, der Bildaufnahmeeinrich
tung 1 und der Anzeigeeinheit 7 mit dem Korrelationsverfol
gungsprozessor 402 zu realisieren.
Ferner ist die vorliegende Erfindung nicht auf diese
Ausgestaltungen beschränkt; vielmehr können verschiedene
Variationen und Abwandlungen vorgenommen werden, ohne damit
aus dem Umfang der vorliegenden Erfindung herauszutreten.
Claims (8)
1. Lokalregion-Bildverfolgungsgerät zum kontinuierli
chen Verfolgen einer beliebigen Lokalregion innerhalb eines
Suchbildes, welches durch Suchbilddaten beschrieben wird,
durch Vergleichen der Suchbilddaten und Bezugsbilddaten,
die der beliebigen Lokalregion, welche Abmessungen von am
Pixeln mal bn Pixeln hat, zugeordnet sind, mit Bezug auf
eingegebene Bilddaten, wobei das Suchbild Abmessungen grö
ßer als am Pixel mal bn Pixel hat, wobei a, b, m und n na
türliche Zahlen sind, dadurch gekennzeichnet, daß das
Lokalregion-Bildverfolgungsgerät umfaßt:
Korrelationsberechnungsmittel (72) zum vielfachen Berechnen einer Korrelation zwischen Referenzbilddaten, die einem Referenzbild zugeordnet sind, das eine Größe von in mal n Pixeln hat, und den Suchbilddaten, während eine Position des Referenzbildes in Bezug auf das Suchbild bewegt wird, und zum Ausgeben von Korrelationswerten, die jeweils eine berechnete Korrelation angeben; und
Korrelationswert-Akkumuliermittel (75, 76) zum Akkumu lieren der von den Korrelationsberechnungsmitteln ausgege benen Korrelationswerte und zum Ausgeben eines Korrelati onswertes, welcher bezeichnend für eine Korrelation zwi schen den Suchbilddaten und Referenzbilddaten ist, die ei nem Äquivalent eines Bezugsbildes mit Abmessungen von am Pixeln mal bn Pixeln zugeordnet sind.
Korrelationsberechnungsmittel (72) zum vielfachen Berechnen einer Korrelation zwischen Referenzbilddaten, die einem Referenzbild zugeordnet sind, das eine Größe von in mal n Pixeln hat, und den Suchbilddaten, während eine Position des Referenzbildes in Bezug auf das Suchbild bewegt wird, und zum Ausgeben von Korrelationswerten, die jeweils eine berechnete Korrelation angeben; und
Korrelationswert-Akkumuliermittel (75, 76) zum Akkumu lieren der von den Korrelationsberechnungsmitteln ausgege benen Korrelationswerte und zum Ausgeben eines Korrelati onswertes, welcher bezeichnend für eine Korrelation zwi schen den Suchbilddaten und Referenzbilddaten ist, die ei nem Äquivalent eines Bezugsbildes mit Abmessungen von am Pixeln mal bn Pixeln zugeordnet sind.
2. Lokalregion-Bildverfolgungsgerät nach Anspruch 1,
bei welchem die Eingabebilddaten über einen Videobus von
Eingabemitteln eingegeben werden, die aus einer Gruppe aus
gewählt werden, welche aus Bildaufnahmemitteln und
Bildspeichermitteln besteht, dadurch gekennzeichnet, daß
die Korrelationsberechnungsmittel und die Korrelationswert-
Akkumuliermittel einen Korrelationsverfolgungsprozessor
(4-1, . . .) bilden, und daß einer oder eine Vielzahl von
Korrelationsverfolgungsprozessoren parallel zu diesen Ein
gabemitteln über den Videobus gekoppelt sind.
3. Lokalregion-Bildverfolgungsgerät nach Anspruch 2,
dadurch gekennzeichnet, daß ferner vorgesehen sind:
ein Steuerrechner (6), welcher den einen oder die Vielzahl von Korrelationsverfolgungsprozessoren steuert,
wobei dieser eine oder die Vielzahl von Korrelations verfolgungsprozessoren über einen Steuerbus parallel zu diesem Kontrollrechner gekoppelt sind.
ein Steuerrechner (6), welcher den einen oder die Vielzahl von Korrelationsverfolgungsprozessoren steuert,
wobei dieser eine oder die Vielzahl von Korrelations verfolgungsprozessoren über einen Steuerbus parallel zu diesem Kontrollrechner gekoppelt sind.
4. Lokalregion-Bildverfolgungsgerät nach einem der An
sprüche 1 bis 3, dadurch gekennzeichnet, daß die Korrelati
onswert-Akkumuliermittel umfassen:
einen Korrelationswertspeicher (76), welcher einen Korrelationswert speichert, der von den Korrelationsberech nungsmitteln als Ergebnis einer vorangehenden Korrelations berechnung ausgegeben wird; und
einen Korrelationswert-Akkumulierschaltkreis (75), welcher einen akkumulierten Korrelationswert durch Addieren eines Korrelationswertes, welcher von den Korrelationsbe rechnungsmitteln als Ergebnis einer gegenwärtigen Korrela tionsberechnung ausgegeben wird, und des Korrelationswer tes, welcher von dem Korrelationswertspeicher gelesen wird, erhält.
einen Korrelationswertspeicher (76), welcher einen Korrelationswert speichert, der von den Korrelationsberech nungsmitteln als Ergebnis einer vorangehenden Korrelations berechnung ausgegeben wird; und
einen Korrelationswert-Akkumulierschaltkreis (75), welcher einen akkumulierten Korrelationswert durch Addieren eines Korrelationswertes, welcher von den Korrelationsbe rechnungsmitteln als Ergebnis einer gegenwärtigen Korrela tionsberechnung ausgegeben wird, und des Korrelationswer tes, welcher von dem Korrelationswertspeicher gelesen wird, erhält.
5. Lokalregion-Bildverfolgungsgerät nach einem der An
sprüche 1 bis 4, bei welchem die Eingabebilddaten Farbbild
daten umfassen, dadurch gekennzeichnet, daß das Lokalre
gion-Bildverfolgungsgerät ferner umfaßt:
Datenkonversionsmittel (78) zum aufeinanderfolgenden Zuführen von Farbbilddaten jeder Farbe zu den Korrelations berechnungsmitteln mit Bezug auf die gleiche Bezugsbildpo sition und Suchbildposition,
wobei die Korrelationswert-Akkumuliermittel Korrelati onswerte der Farbbilddaten jeder Farbe mit Bezug auf die gleiche Bezugsbildposition und Suchbildposition akkumu liert.
Datenkonversionsmittel (78) zum aufeinanderfolgenden Zuführen von Farbbilddaten jeder Farbe zu den Korrelations berechnungsmitteln mit Bezug auf die gleiche Bezugsbildpo sition und Suchbildposition,
wobei die Korrelationswert-Akkumuliermittel Korrelati onswerte der Farbbilddaten jeder Farbe mit Bezug auf die gleiche Bezugsbildposition und Suchbildposition akkumu liert.
6. Lokalregion-Bildverfolgungsgerät nach Anspruch 1,
dadurch gekennzeichnet, daß ferner vorgesehen ist:
eine Microcomputereinheit (601), die wenigstens steu ert, ob die Korrelationswerte in den Korrelationswert-Akku muliermitteln akkumuliert werden sollen oder nicht,
wobei die Korrelationsberechnungsmittel, die Korrela tionswert-Akkumuliermittel und die Microcomputereinheit eine einzige Einheit bilden.
eine Microcomputereinheit (601), die wenigstens steu ert, ob die Korrelationswerte in den Korrelationswert-Akku muliermitteln akkumuliert werden sollen oder nicht,
wobei die Korrelationsberechnungsmittel, die Korrela tionswert-Akkumuliermittel und die Microcomputereinheit eine einzige Einheit bilden.
7. Lokalregion-Bildverfolgungsgerät nach Anspruch 1,
bei welchem die Eingabebilddaten von Eingabemitteln einge
geben werden, die aus einer Gruppe ausgewählt werden, wel
che aus Bildaufnahmemitteln und Bildspeichermitteln be
steht, wobei die Eingabebilddaten auf Anzeigemitteln ange
zeigt werden, dadurch gekennzeichnet, daß das Lokalregion-Bild
verfolgungsgerät ferner umfaßt:
mit den Eingabemitteln und den Anzeigemitteln gekop pelte Bildeingabe-/-ausgabemittel (2) zum Empfangen der Eingabebilddaten von den Eingabemitteln,
wobei die Korrelationsberechnungsmittel, die Korrela tionswert-Akkumuliermittel und die Bildeingabe-/-ausgabe mittel eine einzige Einheit bilden.
mit den Eingabemitteln und den Anzeigemitteln gekop pelte Bildeingabe-/-ausgabemittel (2) zum Empfangen der Eingabebilddaten von den Eingabemitteln,
wobei die Korrelationsberechnungsmittel, die Korrela tionswert-Akkumuliermittel und die Bildeingabe-/-ausgabe mittel eine einzige Einheit bilden.
8. Lokalregion-Bildverfolgungsgerät nach Anspruch 7,
dadurch gekennzeichnet, daß ferner vorgesehen ist:
eine Microcomputereinheit (601), die wenigstens steu ert, ob die Korrelationswerte in den Korrelationswert-Akku muliermitteln akkumuliert werden sollen oder nicht,
wobei die Korrelationsberechnungsmittel, die Korrela tionswert-Akkumuliermittel und die Bildeingabe-/-ausgabe mittel und die Microcomputereinheit eine einzige Einheit bilden.
eine Microcomputereinheit (601), die wenigstens steu ert, ob die Korrelationswerte in den Korrelationswert-Akku muliermitteln akkumuliert werden sollen oder nicht,
wobei die Korrelationsberechnungsmittel, die Korrela tionswert-Akkumuliermittel und die Bildeingabe-/-ausgabe mittel und die Microcomputereinheit eine einzige Einheit bilden.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19346996A JP3434979B2 (ja) | 1996-07-23 | 1996-07-23 | 局所領域画像追跡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE19704881A1 true DE19704881A1 (de) | 1998-01-29 |
| DE19704881C2 DE19704881C2 (de) | 2000-07-06 |
Family
ID=16308540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE19704881A Expired - Fee Related DE19704881C2 (de) | 1996-07-23 | 1997-02-10 | Bildverfolgungsgerät zum Verfolgen eines Bildes innerhalb einer lokalen Region |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6298170B1 (de) |
| JP (1) | JP3434979B2 (de) |
| KR (1) | KR100259226B1 (de) |
| CN (1) | CN1130665C (de) |
| AU (1) | AU692726B2 (de) |
| DE (1) | DE19704881C2 (de) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0973044B1 (de) * | 1998-07-13 | 2006-08-09 | Oerlikon Contraves Ag | Verfahren zur Verfolgung bewegter Objekte anhand spezifischer Merkmale |
| US20010008561A1 (en) * | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
| US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
| US7050606B2 (en) * | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
| JP4060615B2 (ja) * | 2002-03-05 | 2008-03-12 | 株式会社東芝 | 画像処理装置及び超音波診断装置 |
| US20080065291A1 (en) * | 2002-11-04 | 2008-03-13 | Automotive Technologies International, Inc. | Gesture-Based Control of Vehicular Components |
| JPWO2004051575A1 (ja) * | 2002-12-05 | 2006-04-06 | セイコーエプソン株式会社 | 特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラム |
| JP4217876B2 (ja) * | 2002-12-20 | 2009-02-04 | 財団法人生産技術研究奨励会 | 画像における移動物体の追跡方法及び装置 |
| US7095786B1 (en) | 2003-01-11 | 2006-08-22 | Neo Magic Corp. | Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low |
| US7657059B2 (en) * | 2003-08-08 | 2010-02-02 | Lockheed Martin Corporation | Method and apparatus for tracking an object |
| US7835953B2 (en) * | 2003-09-29 | 2010-11-16 | International Business Machines Corporation | Method and structure for monitoring moving objects |
| US8972380B2 (en) * | 2003-09-29 | 2015-03-03 | International Business Machines Corporaton | System and method for monitoring events against continual range queries |
| US7327383B2 (en) * | 2003-11-04 | 2008-02-05 | Eastman Kodak Company | Correlating captured images and timed 3D event data |
| CN100541535C (zh) * | 2004-01-06 | 2009-09-16 | 索尼株式会社 | 图像处理设备和方法 |
| US7428557B2 (en) * | 2004-03-22 | 2008-09-23 | Microsoft Corporation | Efficient data transfer to/from storage medium of computing device |
| US7650016B2 (en) * | 2004-07-30 | 2010-01-19 | Lockheed Martin Corporation | System and method for tracking motion of an object image |
| US8995715B2 (en) * | 2010-10-26 | 2015-03-31 | Fotonation Limited | Face or other object detection including template matching |
| US20070192215A1 (en) * | 2006-02-10 | 2007-08-16 | Taylor Thomas B | Computer-implemented registration for providing inventory fulfillment services to merchants |
| JP4929474B2 (ja) * | 2006-09-27 | 2012-05-09 | 富士通株式会社 | 画像処理装置 |
| US7853480B2 (en) * | 2007-05-21 | 2010-12-14 | Amazon Technologies, Inc. | System and method for providing export services to merchants |
| JP5067282B2 (ja) * | 2008-06-27 | 2012-11-07 | ソニー株式会社 | 物体検出制御装置、物体検出システム、物体検出制御方法およびプログラム |
| US9053681B2 (en) | 2010-07-07 | 2015-06-09 | Fotonation Limited | Real-time video frame pre-processing hardware |
| US9661232B2 (en) | 2010-08-12 | 2017-05-23 | John G. Posa | Apparatus and method providing auto zoom in response to relative movement of target subject matter |
| US10915782B2 (en) * | 2017-12-14 | 2021-02-09 | Pixart Imaging Inc. | Image parameter calculating method, object tracking method, and image parameter calculating system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE2938853A1 (de) * | 1979-09-26 | 1981-04-09 | Vereinigte Flugtechnische Werke Gmbh, 2800 Bremen | Flaechennavigationssystem fuer luftfahrzeuge |
| DE3447930C1 (de) * | 1983-07-15 | 1996-04-25 | Marconi Gec Ltd | Datenprozessor |
| DE19724481A1 (de) * | 1996-06-12 | 1997-12-18 | Nippon Telegraph & Telephone | Schablonenvergleichsverfahren |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6016673B2 (ja) * | 1978-12-25 | 1985-04-26 | 川崎重工業株式会社 | サ−ボ系における被検体認識装置 |
| JPS6053349B2 (ja) * | 1981-06-19 | 1985-11-25 | 株式会社日立製作所 | 画像処理プロセツサ |
| US4864629A (en) * | 1985-12-31 | 1989-09-05 | Schlumberger Technologies, Inc. | Image correlation system |
| US4817175A (en) * | 1986-08-26 | 1989-03-28 | Schlumberger Systems And Services, Inc. | Video stream processing system |
| GB8703931D0 (en) * | 1987-02-19 | 1993-05-05 | British Aerospace | Tracking systems |
| US5341143A (en) * | 1987-07-24 | 1994-08-23 | Northrop Grumman Corporation | Hierarchical tracker and method |
| US4908751A (en) * | 1987-10-15 | 1990-03-13 | Smith Harry F | Parallel data processor |
| US5020113A (en) | 1988-08-08 | 1991-05-28 | Hughes Aircraft Company | Maskable bilevel correlators |
| US5226095A (en) * | 1988-11-04 | 1993-07-06 | Matsushita Electric Industrial Co., Ltd. | Method of detecting the position of an object pattern in an image |
| US4958224A (en) * | 1989-08-15 | 1990-09-18 | Hughes Aircraft Company | Forced correlation/mixed mode tracking system |
| US5870486A (en) * | 1991-12-11 | 1999-02-09 | Texas Instruments Incorporated | Method of inferring sensor attitude through multi-feature tracking |
| CA2100324C (en) * | 1992-08-06 | 2004-09-28 | Christoph Eisenbarth | Method and apparatus for determining mis-registration |
| JP3487436B2 (ja) * | 1992-09-28 | 2004-01-19 | ソニー株式会社 | ビデオカメラシステム |
| JPH0730796A (ja) | 1993-07-14 | 1995-01-31 | Sony Corp | ビデオ信号追従処理システム |
| JP3108585B2 (ja) * | 1993-07-28 | 2000-11-13 | 日本電信電話株式会社 | ビデオ画像プリントアクセス方法およびシステム |
| JPH08147477A (ja) | 1994-09-20 | 1996-06-07 | Fujitsu Ltd | 局所領域画像追跡装置 |
| JP3688377B2 (ja) * | 1996-01-31 | 2005-08-24 | 富士通株式会社 | 画像特徴追跡装置及び画像特徴追跡方法 |
-
1996
- 1996-07-23 JP JP19346996A patent/JP3434979B2/ja not_active Expired - Fee Related
-
1997
- 1997-01-14 US US08/783,056 patent/US6298170B1/en not_active Expired - Lifetime
- 1997-01-22 AU AU12283/97A patent/AU692726B2/en not_active Ceased
- 1997-02-04 CN CN97102408A patent/CN1130665C/zh not_active Expired - Fee Related
- 1997-02-05 KR KR1019970003585A patent/KR100259226B1/ko not_active Expired - Fee Related
- 1997-02-10 DE DE19704881A patent/DE19704881C2/de not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE2938853A1 (de) * | 1979-09-26 | 1981-04-09 | Vereinigte Flugtechnische Werke Gmbh, 2800 Bremen | Flaechennavigationssystem fuer luftfahrzeuge |
| DE3447930C1 (de) * | 1983-07-15 | 1996-04-25 | Marconi Gec Ltd | Datenprozessor |
| DE19724481A1 (de) * | 1996-06-12 | 1997-12-18 | Nippon Telegraph & Telephone | Schablonenvergleichsverfahren |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1130665C (zh) | 2003-12-10 |
| AU692726B2 (en) | 1998-06-11 |
| DE19704881C2 (de) | 2000-07-06 |
| KR100259226B1 (ko) | 2000-06-15 |
| KR980010827A (ko) | 1998-04-30 |
| CN1171583A (zh) | 1998-01-28 |
| US6298170B1 (en) | 2001-10-02 |
| JP3434979B2 (ja) | 2003-08-11 |
| JPH1040392A (ja) | 1998-02-13 |
| AU1228397A (en) | 1998-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE19704881C2 (de) | Bildverfolgungsgerät zum Verfolgen eines Bildes innerhalb einer lokalen Region | |
| DE4123713C2 (de) | Korrelationsdetektor für Bilder | |
| DE3688178T2 (de) | Verfahren zur Bildextraktion eines sich bewegenden Objekts. | |
| DE69427801T2 (de) | Verfahren und Gerät zur Bestimmung von Bewegungsvektorfelden durch die Unterdrückung lokaler Abweichungen | |
| DE68917026T2 (de) | Verfahren und Anordnung zur Bewegungsdetektion in einem nach einer Film-Fernseh-Umwendung erhaltenen Fernsehbild mit Zeilensprungverfahren. | |
| DE68902662T2 (de) | Verarbeitungsgeraet fuer zweipegelsignale zur bilddarstellung. | |
| DE3486494T2 (de) | Graphisches Musterverarbeitungsgerät | |
| DE69332458T2 (de) | Vektorprozessor | |
| DE3689926T2 (de) | Einrichtung zur sequenziellen Bildtransformation. | |
| DE69232431T2 (de) | Vorrichtung zur Lösung von linearen Gleichungssystem | |
| DE3732435C2 (de) | ||
| DE3038195C2 (de) | Vorrichtung zur Verarbeitung von visueller Information | |
| DE68918263T2 (de) | Maskierbarer zweistufen korrelator. | |
| DE3309846A1 (de) | Bilddrehvorrichtung | |
| DE2706655A1 (de) | Verfahren und vorrichtung zur realzeiterkennung von bildern | |
| DE69327223T2 (de) | Vorrichtung zur Bewegungsschätzung in Echtzeit und Verfahren dafür | |
| DE69421158T2 (de) | Bewegungsprädiktionsprozessor und -vorrichtung | |
| DE69125869T2 (de) | Gradationskorrekturvorrichtung | |
| DE19648016A1 (de) | Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens | |
| DE69802269T2 (de) | Vorrichtung und verfahren zum vergleichen von pixelblöcken | |
| DE69616111T2 (de) | Nachführgebiet-Bestimmungsgerät und Objektnachführgerät mit Verwendung desselben | |
| DE69735968T2 (de) | Vorrichtung und Verfahren zur Bildinformationsumwandlung | |
| DE69634896T2 (de) | Verfahren und struktur zur bewegungsschätzung unter verwendung von bildelementintensitätswerten mit niedriger präzision | |
| DE4316847A1 (de) | Verfahren zum Entzerren von Röntgenaufnahmen und Anordnung zur Durchführung des Verfahrens | |
| DE69027241T2 (de) | Gerät zur Bewegungsabschätzung von Fernsehbildern |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OP8 | Request for examination as to paragraph 44 patent law | ||
| D2 | Grant after examination | ||
| 8381 | Inventor (new situation) |
Free format text: MORITA, TOSHIHIKO, KAWASAKI, JP SAWASAKI, NAOYUKI, KAWASAKI, JP |
|
| 8364 | No opposition during term of opposition | ||
| 8328 | Change in the person/name/address of the agent |
Representative=s name: SEEGER SEEGER LINDNER PARTNERSCHAFT PATENTANWAELTE |
|
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20130903 |