[go: up one dir, main page]

DE19704881A1 - Bildverfolgungsgerät zum Verfolgen eines Bildes innerhalb einer lokalen Region - Google Patents

Bildverfolgungsgerät zum Verfolgen eines Bildes innerhalb einer lokalen Region

Info

Publication number
DE19704881A1
DE19704881A1 DE19704881A DE19704881A DE19704881A1 DE 19704881 A1 DE19704881 A1 DE 19704881A1 DE 19704881 A DE19704881 A DE 19704881A DE 19704881 A DE19704881 A DE 19704881A DE 19704881 A1 DE19704881 A1 DE 19704881A1
Authority
DE
Germany
Prior art keywords
correlation
image
correlation value
image data
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE19704881A
Other languages
English (en)
Other versions
DE19704881C2 (de
Inventor
Morita Toshihiho
Sawasaki Naoyuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of DE19704881A1 publication Critical patent/DE19704881A1/de
Application granted granted Critical
Publication of DE19704881C2 publication Critical patent/DE19704881C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

Die vorliegende Erfindung betrifft ganz allgemein Bildverfolgungsgeräte, und mehr im einzelnen ein Bildver­ folgungsgerät, welches ein Bild innerhalb einer lokalen Re­ gion verfolgt und welches geeignet ist, um ein sich bewe­ gendes Objekt innerhalb eines Bildes, welches durch eine Televisionskamera oder dergleichen aufgenommen wird, konti­ nuierlich zu verfolgen.
Ein Bildverfolgungsgerät, welches ein Bild innerhalb einer lokalen Region (nachfolgend einfach als "Lokalregion-Bild­ verfolgungsgerät" bezeichnet) verfolgt, indem es ein sich bewegendes Objekt innerhalb eines aufgenommenen Bildes verfolgt, wird in verschiedenen Systemen eingesetzt. Bei­ spiele von solchen Systemen sind Systeme, welche eine Bewe­ gungsmessung der kontaktlosen Art ohne die Verwendung eines Beschleunigungssensors machen oder Bewegungsvektoren sicht­ bar machen, Systeme, welche eine automatische Überwachung oder Beobachtung durchführen, Systeme, welche menschliche Gebärden, menschlichen Ausdruck oder eine menschliche Gesichtslinieerkennen, Systeme, welche bei der Herstellung eines Films oder der Übertragung eines Sportprogramms Kame­ ras steuern, Systeme, welche sich bewegende Roboter oder selbststeuernde Fahrzeuge steuern, und Systeme, welche von einem Satelliten aus sich bewegende Objekte verfolgen.
Fig. 1 ist ein System-Blockdiagramm, welches einen Teil eines Beispieles für ein herkömmliches Lokalregion-Bild­ verfolgungsgerät zeigt. In Fig. 1 umfaßt das Lokalre­ gion-Bildverfolgungsgerät ganz allgemein eine Bildaufnahme­ einrichtung 501, einen Analog-Digital-Wandler 502 (A/D), einen Suchbildspeicher 503, einen Bezugsbildspeicher 504, eine Korrelationsberechnungseinheit 505, einen Adressenge­ nerator 506 und einen Detektor 507 für die Spitzenposition des Korrelationswertes.
Analoge Bilddaten, die sich auf ein Bild beziehen, welches von der Bildaufnahmeeinrichtung 501 aufgenommen wird, werden durch den A/D-Wandler 502 in digitale Bildda­ ten umgewandelt und werden anschließend in dem Suchbild­ speicher 502 gespeichert. Der Bezugsbildspeicher (Referenz­ bildspeicher) 504 speichert zuvor feste Bezugsbilddaten, die sich auf ein vorgegebenes Objekt beziehen, das verfolgt werden soll. Die Korrelationsberechnungseinheit 505 führt eine Korrelationsberechnung durch, um einen Korrelations­ wert zu gewinnen, welcher die Korrelation zwischen den Bilddaten innerhalb des Suchbildspeichers 503 und den Refe­ renzbilddaten innerhalb des Referenzbildspeichers 504 an­ gibt. Der Detektor 507 für die Spitzenposition des Korrela­ tionswertes detektiert eine Spitzenposition dieses Korrela­ tionswertes, d. h. eine Position, welche die höchste Korre­ lation innerhalb des aufgenommenen Bildes hat. Die Spitzen­ position von dem Detektor 507 für die Spitzenposition des Korrelationswertes wird zu dem Adressengenerator 506 rück­ übertragen, und der Adressengenerator 506 erzeugt eine Speicheradresse, welche der Spitzenposition entspricht, und liefert diese Speicheradresse an den Suchbildspeicher 503 und den Bezugsbildspeicher 504. Demzufolge erhält man den Spitzenwert des Korrelationswertes immer von dem Detektor 507 für die Spitzenposition des Korrelationswertes, und es ist möglich, das vorgegebene Objekt innerhalb des aufgenom­ menen Bildes in Realzeit, basierend auf dieser Spitzenposi­ tion, zu verfolgen.
Mit anderen Worten berechnet, wie in Fig. 2 gezeigt ist, die Korrelationsberechnungseinheit 505 die Korrelation zwischen einem Bezugsbild (nachfolgend als Bezugsblock be­ zeichnet) R, welches ein lokales Bild innerhalb eines be­ stimmten Rahmens f ist, und einem Anwärterblock C, welcher ein lokales Bild von der gleichen Größe innerhalb eines an­ deren Rahmens g ist, und wiederholt diese Berechnungsopera­ tion, während die Position des Anwärterblockes C innerhalb eines Suchbildes (nachfolgend als ein Suchblock bezeichnet) S geändert wird. Als ein Ergebnis dieser Korrelationsbe­ rechnungsoperation ist es möglich, eine Bewegungsquantität des Bezugsblockes R zwischen den beiden Rahmen f und g aus der Position des Anwärterblockes C zu berechnen, wo der Korrelationswert ein Maximum wird. Durch Wiederholen einer solchen Operation ist es möglich, das sich bewegende Objekt innerhalb des aufgenommenen Bildes zu verfolgen.
Die Korrelationsberechnungsoperation kann durch die folgende Formel beschrieben werden, wobei "D" einen Korre­ lationswert zwischen dem Bezugsblock R und dem Anwärter­ block C bezeichnet, "u, v" eine Bewegungsquantität des Be­ zugsblockes R, welche den Korrelationswert D zu einem Mini­ mum macht, bezeichnen, der Bezugsblock R und der Anwärter­ block C jeweils eine Abmessung von m Pixeln × m Pixeln ha­ ben, "p, q" eine Bewegungsquantität des Anwärterblockes c innerhalb des Suchblockes S bezeichnen, wie in Fig. 2 ge­ zeigt ist, ferner -p u und v q sind.
Die obenstehende Formel berechnet den Absolutwert der Summe der Differenzen zwischen den beiden lokalen Bildern. Aus diesem Grund gilt, daß je kleiner diese Summe ist, d. h. je kleiner der Korrelationswert D ist, umso höher ist die Korrelation zwischen dem Bezugsblock R und dem Anwärter­ block C.
Die Korrelationsberechnungsoperation erfordert eine große Anzahl an Kalkulationen, und es ist für die Korrela­ tionsberechnungseinheit 505 erwünscht, eine parallele Pipe­ line-Verarbeitung zu verwenden. Fig. 3 zeigt ein Beispiel der Korrelationsberechnungseinheit 505 für m = 4. In Fig. 3 ist ein Operationselement durch PE bezeichnet, ein Addier­ element ist durch A bezeichnet und ein Verzögerungselement, wie etwa ein Flip-Flop, ist durch d bezeichnet. Die in Fig. 3 gezeigte Korrelationsberechnungseinheit 505 umfaßt ganz allgemein Verzögerungselemente 601 bis 612, Operati­ onselemente 621 bis 624, 631 bis 634, 641 bis 644 und 651 bis 654, sowie Addierelemente 661 bis 664, die in der ge­ zeigten Weise verbunden sind.
Die Verzögerungselemente 601 bis 612 sind vorgesehen, um Zeitlagen abzustimmen. Jedes der Operationselemente 621 bis 624, 631 bis 634, 641 bis 644 und 651 bis 654 berechnet den Anteil der oben beschriebenen Formel innerhalb der Ab­ solutwert-Zeichen, und es wird aus Gründen der Zweckdien­ lichkeit angenommen, daß die Bilddaten des Bezugsblockes darin gespeichert werden. Mit anderen Worten werden die Bilddaten des Bezugsblockes jeweils als einzelne Pixel in den Operationselementen 621 bis 624, 631 bis 634, 641 bis 644 und 651 bis 654 gespeichert, und durch Eingeben der Bilddaten des Suchblockes jeweils in einzelnen Pixeln über eine Eingabeleitung 600 ist es möglich, nacheinander den Korrelationswert D (u, v) über eine Ausgabeleitung 670 aus­ zugeben. Durch Verwendung von m × m Operationselementen (4 × 4 = 16 in diesem speziellen Beispiel) ist es möglich, den Prozeß des Verfolgens des sich bewegenden Objektes in­ nerhalb des aufgenommenen Bildes mit einer hohen Geschwin­ digkeit durchzuführen.
Allerdings hatte das herkömmliche Lokalregion-Bildver­ folgungsgerät, welches die Korrelationsberechnungseinheit mit dem oben beschriebenen Aufbau verwendet, die folgenden Probleme.
Weil die Abmessungen des Bezugsblockes durch die An­ zahl von Operationselementen bestimmt werden, welche die Korrelationsberechnungseinheit bilden, gab es zunächst ein Problem dahingehend, daß die Abmessungen des Bezugsblockes in Abhängigkeit von der verwendeten Korrelationsberech­ nungseinheit festgelegt ist. Wenn beispielsweise die Korre­ lationsberechnungseinheit 256 Operationselemente umfaßt, sind die Abmessungen des Bezugsblockes auf 16 Pixel × 16 Pixel festgelegt. Wenn das zu verfolgende Bildmuster jedoch relativ groß ist, dann ist der Bezugsblock mit den Abmes­ sungen von 16 Pixel × 16 Pixel zu klein, wodurch es schwie­ rig wird, einen zufriedenstellenden Verfolgungsprozeß aus­ zuführen. Obwohl es möglich ist, die Anzahl der die Korre­ lationsberechnungseinheit bildenden Operationselemente zu erhöhen, um die Abmessungen des Bezugsblockes zu erhöhen, gab es zusätzlich ein Problem dahingehend, daß der Maßstab des Schaltkreises in diesem Fall zu groß wird.
Als zweites gab es ein Problem dahingehend, daß das herkömmliche Lokalregion-Bildverfolgungsgerät nur Schwarz- Weiß-Bilder verarbeiten kann. Als ein Verfahren zum Verar­ beiten eines Farbbildes ist es denkbar, beispielsweise eine Korrelationsberechnungseinheit in jedem von drei Systemen für die drei primären Farben Rot, Grün und Blau vorzusehen, und die Ausgaben der Korrelationsberechnungseinheiten in den drei Systemen zu addieren. Aber dieses denkbare Verfah­ ren würde ein Problem dahingehend aufwerfen, daß der Maß­ stab des Schaltkreises groß wird wegen der Notwendigkeit, eine Korrelationsberechnungseinheit in jedem der drei Systeme vorzusehen.
Auch wenn der zu verwendende Bezugsblock eine Abmes­ sung in der Größenordnung von 16 Pixel × 16 Pixel hat, er­ fordert drittens die Korrelationsberechnungseinheit 256 Operationseinheiten. Als Ergebnis gab es ein Problem dahin­ gehend, daß es ungenügenden Randraum gibt, um zusätzlich zu der Korrelationsberechnungseinheit periphere Schaltkreise wie etwa einen Adressenzähler und einen Datenwähler auf ei­ nem integrierten Schaltkreis vorzusehen, und daß die peri­ pheren Schaltkreise oder dergleichen als externe oder ex­ tern verbundene Schaltkreise vorgesehen werden müssen. Aus diesem Grund ist das Lokalregion-Bildverfolgungsgerät als Ganzes beispielsweise aus einer Vielzahl von gedruckten Schaltungsplatten hergestellt, und es ist schwierig, die Erfordernisse, wie Reduzieren der Abmessungen des Gerätes und Reduzieren der Kosten des Gerätes zu erfüllen.
Zusammenfassung der Erfindung
Dementsprechend ist es eine allgemeine Aufgabe der vorliegenden Erfindung, ein neues und brauchbares Lokal­ region-Bildverfolgungsgerät zu schaffen, bei welchem die oben beschriebenen Probleme ausgeschlossen sind.
Eine andere und spezifischere Aufgabe der vorliegenden Erfindung ist es, ein Lokalregion-Bildverfolgungsgerät zu schaffen, welches mit einem relativ großen Bezugsblock gleichwertig ist, welches Farbbilder verarbeiten kann und welches den Maßstab des Schaltkreises des Gerätes als Gan­ zes einschließlich der peripheren Schaltkreise so reduzie­ ren kann, daß das Gerät in der Form eines integrierten Schaltkreises ausgeführt werden kann.
Eine noch andere Aufgabe der vorliegenden Erfindung ist die Schaffung eines Lokalregion-Bildverfolgungsgerätes zum kontinuierlichen Verfolgen einer beliebigen Lokalregion innerhalb eines Suchbildes, welches durch Suchbilddaten be­ schrieben wird, durch Vergleichen der der beliebigen Lokal­ region mit einer Abmessung von am Pixeln × bn Pixeln zuge­ ordneten Suchbilddaten und Bezugsbilddaten im Verhältnis zu eingegebenen Bilddaten, wo das Suchbild eine Abmessung hat, die größer als am Pixel × bn Pixel ist, wobei a, b, m und n natürliche Zahlen sind, und das Lokalregion-Bildverfol­ gungsgerät Korrelationsberechnungsmittel zum mehrmaligen Berechnen einer Korrelation zwischen einem Referenzbild mit einer Abmessung von m Pixeln × n Pixeln zugeordneten Refe­ renzbilddaten und den Suchbilddaten während der Bewegung einer Position des Referenzbildes gegenüber dem Suchbild sowie zum Ausgeben von Korrelationswerten umfaßt, welche jeweils eine berechnete Korrelation angeben, und ferner Korrelationswert-Akkumuliermittel zum Akkumulieren der von den Korrelationsberechnungsmitteln aus gegebenen Korrelati­ onswerte und zum Ausgeben eines Korrelationswertes, welcher bezeichnend für eine Korrelation zwischen den Suchbilddaten und Referenzbilddaten ist, die einem Äquivalent eines Refe­ renzbildes mit einer Abmessung von am Pixeln × bn Pixeln zugeordnet ist. Gemäß dem Lokalregion-Bildverfolgungsgerät der vorliegenden Erfindung ist es möglich, den Vergleich mit einem relativ großen Bezugsbild zu aufzunehmen. Zusätz­ lich ist es auch möglich, Farbbilder zu verarbeiten. Dar­ über hinaus kann der Schaltkreismaßstab des gesamten Gerä­ tes einschließlich peripherer Schaltkreise klein ausgeführt werden, womit das Gerät in der Form eines integrierten Schaltkreises ausgeführt werden kann.
Andere Aufgaben und weitere Merkmale der vorliegenden Erfindung ergeben sich aus der nachfolgenden, ins einzelne gehenden Beschreibung, wenn diese in Verbindung mit den beigefügten Zeichnungen gelesen wird.
Kurze Beschreibung der Zeichnungen
Fig. 1 ist ein System-Blockdiagramm, welches ein Bei­ spiel eines Teils eines herkömmlichen Lokalregion-Bildver­ folgungsgerätes zeigt;
Fig. 2 ist eine Schemazeichnung zum Erläutern der Be­ ziehung eines Bezugsblockes und eines Suchblockes, welche in dem herkömmlichen Lokalregion-Bildverfolgungsgerät ver­ wendet werden;
Fig. 3 ist ein System-Blockdiagramm, welches die Kon­ struktion einer herkömmlichen Korrelationsberechnungsein­ heit für einen Fall zeigt, bei welchem m = 4 ist;
Fig. 4 ist ein System-Blockdiagramm, welches die all­ gemeine Konstruktion einer ersten Ausgestaltung eines Lokalregion-Bildverfolgungsgerätes gemäß der vorliegenden Erfindung zeigt;
Fig. 5 ist ein System-Blockdiagramm, welches eine Aus­ gestaltung der Konstruktion eines Korrelations-Verfolgungs­ prozessors der ersten Ausgestaltung zeigt;
Fig. 6 ist ein System-Blockdiagramm, welches eine Aus­ gestaltung der Konstruktion eines Bildflußsteuerschaltkrei­ ses zusammen mit Bildspeichern und einem Korrelationsbe­ rechnungsschaltkreis zeigt;
Fig. 7 ist ein System-Blockdiagramm, welches eine Aus­ gestaltung eines Speicherwählers zeigt;
Fig. 8 ist eine Schemazeichnung, welche ein 5-Bit-Adreßsignal zeigt, welches einem Festwertspeicher (read only memory = ROM) zugeführt wird;
Fig. 9 ist eine Schemazeichnung, welche die Beziehung der Werte des dem ROM zugeführten 5-Bit-Adreßsignals und der Werte von Auswahldaten zeigt, die aus dem ROM gelesen werden;
Fig. 10 ist ein System-Blockdiagramm, welches eine Ausgestaltung eines Suchbild-Adreßgenerators zeigt;
Fig. 11 ist ein System-Blockdiagramm, welches eine Ausgestaltung eines Bezugsbild-Adreßgenerators zeigt;
Fig. 12 ist eine Schemazeichnung zum Erläutern eines Akkumulierprozesses von Korrelationsberechnungsergebnissen zeigt;
Fig. 13A, 13B und 13C sind jeweils Schemazeichnungen zum Erläutern der Korrelationsberechnung des Korrelations­ berechnungsschaltkreises und eines Bewegungsvektors (u, v) für einen Fall, bei welchem ein Bezugsblock mit der Abmes­ sung von 8 Pixel × 8 Pixel verwendet wird;
Fig. 14A, 14B und 14C sind jeweils Schemazeichnungen zum Erläutern der Korrelationsberechnung des Korrelations­ berechnungsschaltkreises und eines Bewegungsvektors (u, v) für einen Fall, bei welchem ein Bezugsblock mit der Abmes­ sung von 16 Pixel × 16 Pixel verwendet wird;
Fig. 15A und 15B sind jeweils Schemazeichnungen zum Erläutern eines Mechanismus zum Realisieren eines Äquiva­ lentes eines Bezugsblockes mit der Abmessung von 16 Pixel × 16 Pixel durch Akkumulieren der Korrelationsberechnungs­ ergebnisse, welche man bei Verwendung des Bezugsblockes mit der Abmessung von 8 Pixel × 8 Pixel erhält;
Fig. 16A und 16B sind jeweils Schemazeichnungen zum Erläutern des Mechanismus zum Realisieren des Äquivalentes des Bezugsblockes mit der Abmessung von 16 Pixel × 16 Pixel durch Akkumulieren der Korrelationsberechnungsergebnisse, welche man bei Verwendung des Bezugsblockes mit der Abmes­ sung von 8 Pixel × 8 Pixel erhält;
Fig. 17A und 17B sind jeweils Schemazeichnungen zum Erläutern des Mechanismus zum Realisieren des Äquivalentes des Bezugsblockes mit der Abmessung von 16 Pixel × 16 Pixel durch Akkumulieren der Korrelationsberechnungsergebnisse, welche man bei Verwendung des Bezugsblockes mit der Abmes­ sung von 8 Pixel × 8 Pixel erhält;
Fig. 18A und 18B sind jeweils Schemazeichnungen zum Erläutern des Mechanismus zum Realisieren des Äquivalentes des Bezugsblockes mit der Abmessung von 16 Pixel × 16 Pixel durch Akkumulieren der Korrelationsberechnungsergebnisse, welche man bei Verwendung des Bezugsblockes mit der Abmes­ sung von 8 Pixel × 8 Pixel erhält;
Fig. 19 ist ein System-Blockdiagramm, welches eine Ausgestaltung der Konstruktion eines Korrelationswert-Akku­ mulierschaltkreises und eines Korrelationswert-Speicher­ schaltkreises zeigt;
Fig. 20 ist ein System-Blockdiagramm, welches eine Ausgestaltung des Korrelations-Verfolgungsprozessors in ei­ ner zweiten Ausgestaltung des Lokalregion-Bildverfolgungs­ gerätes gemäß der vorliegenden Erfindung zeigt;
Fig. 21 ist eine Schemazeichnung, welche eine Ausge­ staltung eines Bit-Wandlerschaltkreises (Konversionsschaltkreises) zeigt;
Fig. 22 ist eine Schemazeichnung, welche eine andere Ausgestaltung des Bit-Wandlerschaltkreises zeigt;
Fig. 23 ist ein System-Blockdiagramm, welches die all­ gemeine Konstruktion einer dritten Ausgestaltung des Lokal­ region-Bildverfolgungsgerätes gemäß der vorliegenden Erfin­ dung zeigt; und
Fig. 24 ist ein System-Blockdiagramm, welches die all­ gemeine Konstruktion einer vierten Ausgestaltung des Lokal­ region-Bildverfolgungsgerätes gemäß der vorliegenden Erfin­ dung zeigt.
Beschreibung der bevorzugten Ausgestaltungen
Fig. 4 ist ein System-Blockdiagramm, welches die all­ gemeine Konstruktion einer ersten Ausgestaltung eines Lokalregion-Bildverfolgungsgerätes gemäß der vorliegenden Erfindung zeigt.
In Fig. 4 umfaßt das Lokalregion-Bildverfolgungsgerät allgemein eine Bildaufnahmeeinrichtung 1, wie etwa eine Kamera, eine Bildeingabe-/-ausgabeeinheit 2, eine Vielzahl von Korrelations-Verfolgungsprozessoren 4-1, 4-2, . . ., wel­ che mit der Bildeingabe-/-ausgabeeinheit 2 über einen Videobus 3 verbunden sind, einen Steuerbus 5, einen Steuer­ rechner (Steuercomputer) 6 und eine Anzeigeeinheit 7, wel­ che mit der Bildeingabe-/-ausgabeeinheit 2 verbunden ist. Mit anderen Worten ist die Vielzahl der Korrelations-Ver­ folgungsprozessoren 4-1, 4-2, . . . parallel bezüglich der Bildeingabe-/-ausgabeeinheit 2 über den Videobus 3 gekop­ pelt, und diese Korrelations-Verfolgungsprozessoren 4-1, 4-2, . . . sind parallel bezüglich des Steuercomputers 6 über den Steuerbus 5 gekoppelt. Die Korrelations-Verfolgungspro­ zessoren 4-1, 4-2, . . . haben jeweils die gleiche Konstruk­ tion. Der Steuercomputer 6 steuert jeden der Korrelations­ verfolgungsprozessoren 4-1, 4-2, . . ., indem er Prozesse wie etwa die Bestimmung einer Position eines zu verfolgenden Zieles über den Steuerbus und das Lesen eines Bewegungsvek­ tors durchführt, welchen man als ein Ergebnis der Prozeß­ verarbeitung erhält.
In dieser Ausgestaltung werden Eingabebilddaten von der Bildaufnahmeeinrichtung 1 in die Bildeingabe-/-ausgabe­ einheit 2 eingegeben. Es ist jedoch natürlich möglich, eine Speichereinheit 1 anstelle der Bildaufnahmeeinrichtung 1 zu verwenden. In diesem Fall ist die Speichereinheit 1 aus ei­ nem Aufzeichnungsmedium wie etwa einer Videodiskette, einer Magnetdiskette und einer CD-ROM, einem Speicher wie etwa einem RAM, einem ROM, einem EPROM und einem EEPROM, einer magnetischen oder optischen Karte oder dergleichen herge­ stellt, und die aus der Speichereinheit 1 gelesenen Einga­ bebilddaten werden in die Bildeingabe-/-ausgabeeinheit 2 eingegeben. Ferner können die Eingabebilddaten von einer Übertragungsquelle über eine Kommunikationsleitung empfan­ gen und in die Bildeingabe-/-ausgabeeinheit 2 eingegeben werden.
Beispielsweise kann die Bildeingabe-/-ausgabeeinheit 2 einen Analog-Digital-Wandler (A/D), einen Digital-Analog-Wandler (D/A), einen Decoderschaltkreis, welcher kompri­ mierte Bilddaten decodiert, und dergleichen umfassen. Die Bildeingabe-/-ausgabeeinheit 2 hat eine Funktion, das Datenformat der von der Bildaufnahmeeinrichtung 1 eingege­ benen Eingabebilddaten in ein Datenformat zu konvertieren, welches für die Verarbeitung in den Korrelations-Verfol­ gungsprozessoren 4-1, 4-2, . . . geeignet ist, sowie eine Funktion, das Datenformat der Bilddaten in ein Datenformat zu konvertieren, welches für die Anzeige auf der Anzeige­ einheit 7 geeignet ist. Mit anderen Worten führt die Bildeingabe-/-ausgabeeinheit 2 in dem A/D-Wandler eine A/D-Konvertierung durch, wenn die Eingabebilddaten von der Bildaufnahmeeinrichtung 1 eingegeben werden, und sie führt eine Decodierung aus, wenn die Eingabebilddaten von der Speichereinheit 1 gelesen werden. Ferner werden die auf der Anzeigeeinheit 7 anzuzeigenden Bilddaten in dem D/A-Wandler einer D/A-Konvertierung unterworfen, wenn das erforderlich ist. Natürlich ist es nicht wesentlich, die Anzeigeeinheit 7 vorzusehen, und es ist möglich, lediglich das Ergebnis der Verarbeitung zu verwenden.
Fig. 5 ist ein System-Blockdiagramm, welches eine Aus­ gestaltung der Konstruktion des Korrelations-Verfolgungs­ prozessors 4-1 der in Fig. 4 gezeigten ersten Ausgestaltung zeigt. Die Konstruktionen der anderen Korrelations-Verfol­ gungsprozessoren 4-2, . . . sind die gleichen wie die Kon­ struktion des Korrelations-Verfolgungsprozessors 4-1, und auf eine Illustrierung und Beschreibung derselben wird ver­ zichtet.
Der in Fig. 5 gezeigte Korrelations-Verfolgungsprozes­ sor 4-1 umfaßt allgemein einen Bildfluß-Steuerschaltkreis 71, einen Korrelationsberechnungsschaltkreis 72, ein Steu­ erregister 73, einen Minimalwert-Detektierschaltkreis 74, einen Korrelationswert-Akkumulierschaltkreis 75, einen Kor­ relationswert-Speicherschaltkreis 76 und Bildspeicher 12-1 bis 12-3, welche wie dargestellt verbunden sind. Der Bild­ fluß-Steuerschaltkreis 71 ist mit der in Fig. 4 gezeigten Bildeingabe-/-ausgabeeinheit 2 über den Videobus 3 verbun­ den. Zusätzlich sind der Bildfluß-Steuerschaltkreis 71 und das Steuerregister 73 jeweils mit dem in Fig. 4 gezeigten Steuercomputer 6 über den Steuerbus 5 gekoppelt.
Fig. 6 ist ein System-Blockdiagramm, welches die Kon­ struktion einer Ausgestaltung des Bildfluß-Steuerschalt­ kreises 71 zusammen mit den Bildspeichern 12-1 bis 12-3 und dem Korrelationsberechnungsschaltkreis 72 zeigt. In Fig. 6 umfaßt der Bildfluß-Steuerschaltkreis 71 Wähler 11, 17 und 18, Adressenwähler 15 und 16, einen Speicherwähler 19, ei­ nen Bezugsbild-Adressengenerator 20 und einen Suchbild-Adressen­ generator 21, die wie dargestellt verbunden sind. In dieser Ausgestaltung werden die drei Bildspeicher 12-1 bis 12-3 wahlweise verwendet, um den Verfolgungsprozeß in jedem Rahmen, die Eingabe des Suchbildes (oder Blockes) bei jedem Rahmen und das Updaten des Bezugsbildes (oder Blockes) in beliebigen Rahmenintervallen zu realisieren.
Der Wähler 11 empfängt 8-Bit-Eingabebilddaten von Bilddatensignalleitungen des Videobusses 3. Der Wähler 11 führt die 8-Bit-Eingabebilddaten einem aus den drei Bildspeichern 12-1 bis 12-3 ausgewählten Speicher auf der Basis eines 2-Bit-Eingabespeicherwahlsignals vom Speicher­ wähler 19 zu.
Fig. 7 ist ein System-Blockdiagramm, welches eine Aus­ gestaltung des Speicherwählers 19 zeigt. In Fig. 7 umfaßt der Speicherwähler 19 einen Konstanten-ROM 31, einen Kompa­ rator 32, einen Rahmenzähler 33, einen Riegelschaltkreis 34, einen Inverter 35, ein Flip-Flop 36 und einen ROM 37, die wie dargestellt verbunden sind.
Der Konstanten-ROM 31 speichert Konstanten vor, welche Schaltintervalle des Bezugsbildes angeben. Andererseits wird ein Rahmensynchronisiersignal, welches man von einer Rahmensynchronisiersignalleitung des Videobusses 3 erhält, durch den Inverter 35 hindurch geschickt und dem Rahmenzäh­ ler 33 sowie einem Taktsignaleingabeanschluß des Flip-Flop 36 zugeleitet. Demzufolge zählt der Rahmenzähler 33 das in­ vertierte Rahmensynchronisiersignal von dem Inverter 35 und führt einen gezählten Wert dem Komparator 32 zu. Der Kompa­ rator 32 vergleicht die von dem Konstanten-ROM 31 gelesene Konstante und den von dem Rahmenzähler 33 ausgegebenen ge­ zählten Wert und gibt einen Schaltimpuls aus, wenn die ver­ glichene Konstante und der gezählte Wert übereinstimmen. Dieser Schaltimpuls startet das Schalten des Bezugsbild­ speichers. Der Schaltimpuls wird dem Bezugsbild-Adressen­ generator 20 zugeführt, der in Fig. 6 gezeigt ist, und ebenso dem Riegelschaltkreis 34 und einem Löschanschluß des Flip-Flop 36.
Eine /Q-Ausgabe (oder invertierte Q-Ausgabe) des Flip-Flop 36 wird einem Dateneingabeanschluß D desselben zuge­ leitet, und eine Q-Ausgabe des Flip-Flop 36 wird dem ROM 37 als 1 Bit aus den Bits des Adressensignals des ROM 37 zuge­ führt. Verbleibende 4 Bits des Adressensignals des ROM 37 werden vom Riegelschaltkreis 34 zugeführt. Der ROM 37 spei­ chert der Auswahl der Bildspeicher 12-1 bis 12-3 zugeord­ nete Auswahldaten vor. Die von der Adresse des ROM 37 gele­ senen, durch das 5-Bit-Adressensignal spezifizierten Aus­ wahldaten werden als ein 2-Bit-Eingabebildspeicherauswahl­ signal, ein 2-Bit-Suchbildspeicherauswahlsignal und ein 2-Bit-Bezugsbildspeicherauswahlsignal ausgegeben. Das Ein­ gabebildspeicherauswahlsignal bestimmt, welcher aus den Bildspeichern 12-1 bis 12-3 als Eingabebildspeicher zum Speichern der Eingabebilddaten verwendet werden soll. In ähnlicher Weise bestimmt das Suchbildspeicherauswahlsignal, welcher aus den Bildspeichern 12-1 bis 12-3 als Suchbild­ speicher zum Speichern der Suchbilddaten verwendet werden soll, und das Bezugsbildspeicherauswahlsignal bestimmt, welcher aus den Bildspeichern 12-1 bis 12-3 als Bezugs­ bildspeicher zum Speichern der Bezugsbilddaten verwendet werden soll.
Das 2-Bit-Eingabebildspeicherauswahlsignal und das 2-Bit-Suchbildspeicherauswahlsignal werden dem ROM 37 als die verbleibenden 4 Bit des Adressensignals über den Rie­ gelschaltkreis 34 zugeführt. Zusätzlich wird das 2-Bit-Ein­ gabebildspeicherauswahlsignal dem Wähler 11 zugeführt, das 2-Bit-Suchbildspeicherauswahlsignal wird dem Adressenwähler 15 und dem Wähler 18 zugeführt, und das 2-Bit-Bezugsbild­ speicherauswahlsignal wird dem Adressenwähler 16 und dem Wähler 17 zugeführt.
Fig. 8 ist eine Schemazeichnung, welche die dem ROM 37 zugeführte 5-Bit-Adresse zeigt. Wie in Fig. 8 gezeigt ist, ist das Adressensignal aus den Bits A0 bis A4 gebildet. Das Bit A0 entspricht dem Signal von dem Flip-Flop 36. Die Bits A1 und A2 entsprechen dem 2-Bit-Suchbildspeicherauswahl­ signal, welches man über den Riegelschaltkreis 34 erhält. Die Bits A3 und A4 entsprechen dem 2-Bit-Eingabebildspei­ cherauswahlsignal, welches man über den Riegelschaltkreis 34 erhält. In Abhängigkeit davon, ob das Bit A0 gleich "0" oder "1" ist, werden die Bildspeicher 12-1 bis 12-3 so ge­ schaltet, daß sie die Bilddaten abwechselnd in die beiden Bildspeicher eingeben, die nicht dem als Bezugsbildspeicher verwendeten Bildspeicher entsprechen.
Fig. 9 ist eine Schemazeichnung, welche die Abhängig­ keit des Wertes des dem ROM 37 zugeführten 5-Bit-Adressen­ signals (ROM-Adresse) zeigt, wobei die von der ROM-Adresse von dem ROM 37 gelesenen Auswahldaten von der ROM-Adresse abhängigen, d. h. den Werten des 2-Bit-Eingabebildspeicher­ auswahlsignals, des 2-Bit-Suchbildspeicherauswahlsignals und des 2-Bit-Bezugsbildspeicherauswahlsignals. Wenn z. B. der Wert der ROM-Adresse gleich "2" ist, dann ist der Wert des Eingabebildspeicherauswahlsignals gleich "2", der Wert des Suchbildspeicherauswahlsignals ist "0", und der Wert des Bezugsbildspeicherauswahlsignals ist "1". In diesem Fall wird der Bildspeicher 12-1 ausgewählt, wenn der Wert des Bildspeicherauswahlsignals gleich "0" ist, der Bildspeicher 12-2 wird ausgewählt, wenn der Wert des Bildspeicherauswahlsignals gleich "1" ist, und der Bildspeicher 12-3 wird ausgewählt, wenn der Wert des Bildspeicherauswahlsignals gleich "2" ist. Wenn der Wert der ROM-Adresse gleich "2" ist, wird dementsprechend der Bildspeicher 12-3 als Eingabebildspeicher ausgewählt, der Bildspeicher 12-1 wird als der Suchbildspeicher ausgewählt, und der Bildspeicher 12-2 wird als der Bezugsbildspeicher ausgewählt. Mit anderen Worten führt der in Fig. 6 gezeigte Wähler 11 wahlweise die Bilddaten den Bildspeichern 12-1, 12-2 oder 12-3 zu in Abhängigkeit davon, ob der Wert des Eingabebildspeicherauswahlsignals gleich "0", "1" oder "2" ist. Natürlich zeigt Fig. 9 nicht alle der Beziehungen, und nur ein Teil der Beziehungen ist aus Gründen der Zweckdien­ lichkeit gezeigt.
Der in Fig. 6 gezeigte Adressenwähler 15 führt eine von dem Suchbildadressengenerator 21 generierte 18-Bit-Such­ bildadresse einem der Bildspeicher 12-1 bis 12-3 zu, welcher, basierend auf dem Suchbildspeicherauswahlsignal von dem Speicherwähler 19, als Suchbildspeicher ausgewählt wurde. Zusätzlich führt der Adressenwähler 16 eine von dem Bezugsbildadressengenerator 20 generierte 18-Bit-Bezugs­ bildadresse einem der Bildspeicher 12-1 bis 12-3 zu, wel­ cher, basierend auf dem Bezugsbildspeicherauswahlsignal von dem Speicherwähler 19, als Bezugsbildspeicher ausgewählt wurde.
Die von den Bildspeichern 12-1 bis 12-3 gelesenen Bilddaten werden jedem der Wähler 17 und 18 zugeführt. Wie oben beschrieben wurde, empfängt der Wähler 17 das Such­ bildspeicherauswahlsignal von dem Speicherwähler 19, und der Wähler 18 empfängt das Bezugsbildspeicherauswahlsignal von dem Speicherwähler 19. Demnach wählen die Wähler 17 und 18 aus den von den Bildspeichern 12-1 bis 12-3 gelesenen Bilddaten nur die Suchbilddaten und die Bezugsbilddaten aus und führen diese Bilddaten dem Korrelationsberechnungs­ schaltkreis 72 zu. Der Korrelationsberechnungsschaltkreis 72 erhält den Korrelationswert durch Ausführen des Korrela­ tionsberechnungsprozesses. Der Korrelationswert wird von dem Korrelationsberechnungsschaltkreis 72 dem Minimalwert-Detektier­ schaltkreis 74 über den Korrelationswert-Akkumu­ lierschaltkreis 75 zugeführt, und der Minimalwert des Kor­ relationswertes wird von dem Minimalwert-Detektierschalt­ kreis 74 detektiert. Da der Minimalwert-Detektierschalt­ kreis 74 eine 18-Bit-Spitzenpositionsadresse ausgibt, wel­ che die Spitzenposition, d. h. den Minimalwert angibt, ist es möglich, das vorgegebene Objekt innerhalb des aufgenom­ menen Bildes auf der Basis dieser Spitzenpositionsadresse in Realzeit zu verfolgen. Die von dem Minimalwert-Detek­ tierschaltkreis 74 ausgegebene 18-Bit-Spitzenpositions­ adresse wird im Steuerregister 73 gespeichert, wie später beschrieben werden wird, und die Spitzenpositionsadresse kann von dem Steuercomputer 6 über den Steuerbus 5 vom Steuerregister 73 gelesen und in dieses geschrieben werden. Die Spitzenpositionsadresse, welche von dem Steuerregister 73 durch den Steuercomputer 6 gelesen wird, wird über den Steuerbus 5 dem Bezugsbildadressengenerator 20 und dem Suchbildadressengenerator 21 zugeführt.
Fig. 10 ist ein System-Blockdiagramm, welches eine Ausgestaltung des Suchbildadressengenerators 21 zeigt. In Fig. 10 umfaßt der Suchbildadressengenerator 21 Konstanten-ROMs 41, 43, 47 und 49, Addierer 42, 46, 48 und 52, einen X-Adressenzähler 44, Komparatoren 45 und 51, und einen Y-Adressenzähler 50, die wie gezeigt verbunden sind.
Der Konstanten-ROM 41 speichert einen 9-Bit-X-Adressenminimalwert (Offset-Wert) vor. Der Addierer 42 addiert einen 9-Bit-X-Adressenminimalwert, welcher vom Kon­ stanten-ROM 41 gelesen wird, sowie 9 auf die X-Adresse der Bilddaten bezogene Bits aus der 18-Bit-Spitzenpositions­ adresse von dem in Fig. 6 gezeigten Steuerbus 5, und führt dem Addierer 46 einen 9-Bit-Addierwert zu. Der X-Adressenzähler 44 zählt das Pixel-Taktsignal, welches man von einer Pixel-Taktsignalleitung des Videobus 3 erhält, und führt dem Addierer 46 und dem Komparator 45 einen 9-Bit-Zählwert zu. Das Pixel-Taktsignal wird in Überein­ stimmung mit jedem der Pixel (Bildelemente) erzeugt, welche die Bilddaten bilden.
Andererseits speichert der Konstanten-ROM 43 9-Bit-X-Formatdaten. Die X-Formatdaten geben das Format (oder die Größe) des Suchbildes in der X-Richtung an. Der Komparator 45 vergleicht die von dem Konstanten-ROM 43 gelesenen X-Formatdaten und den vom X-Adressenzähler 44 ausgegebenen Zählwert, und gibt ein Übereinstimmungssignal aus, wenn die beiden verglichenen Werte übereinstimmen. Dieses Überein­ stimmungssignal wird einem Löschanschluß des X-Adressenzählers 44 zugeführt, um diesen zu löschen, und es wird auch dem Y-Adressenzähler 50 zugeführt.
Der Y-Adressenzähler 50 zählt das Übereinstimmungs­ signal und führt dem Addierer 52 und dem Komparator 51 ei­ nen 9-Bit-Zählwert zu. Der Konstanten-ROM 47 speichert ei­ nen 9-Bit-Y-Adressenminimalwert (Offset-Wert) vor. Der Addierer 48 addiert einen von dem Konstanten-ROM 47 gelese­ nen 9-Bit-Y-Adressenminimalwert sowie 9 der Y-Adresse der Bilddaten zugeordnete Bits aus der 18-Bit-Spitzenpositions­ adresse von dem in Fig. 6 gezeigten Steuerbus 5, und führt dem Addierer 52 einen 9-Bit-Addierwert zu. Der Konstanten- ROM 49 speichert 9-Bit-Y-Formatdaten vor. Die Y-Formatdaten geben das Format (oder die Größe) des Suchbildes in der Y-Richtung an. Der Komparator 51 vergleicht die von dem Konstanten-ROM 49 gelesenen Y-Formatdaten und den von dem Y-Adressenzähler 50 ausgegebenen Zählwert, und gibt ein Übereinstimmungssignal aus, wenn die beiden verglichenen Werte übereinstimmen. Dieses Übereinstimmungssignal wird einem Löschanschluß des Y-Adressenzählers 50 zugeführt, um diesen zu löschen.
Demnach erhält man 9 Bits der unteren Adresse der Suchbildadresse von dem Addierer 46, und man erhält 9 Bits der oberen Adresse der Suchbildadresse von dem Addierer 52. Die Suchbildadresse, die total 18 Bits hat, erhält man von den Addierern 46 und 52, und sie wird dem in Fig. 6 gezeig­ ten Adressenwähler 15 zugeführt.
Fig. 11 ist ein System-Blockdiagramm, welches eine Ausgestaltung des Bezugsbildadressengenerators 20 zeigt. In Fig. 11 umfaßt der Bezugsbildadressengenerator 20 einen Riegelschaltkreis 55, Konstanten-ROMs 56, 58, 62 und 64, Wähler 57 und 63, einen X-Adressenzähler 59, Komparatoren 60 und 66, einen Y-Adressenzähler 65 und Addierer 61 und 67, welche wie gezeigt verbunden sind.
Der Riegelschaltkreis 55 empfängt den Schaltimpuls von dem in Fig. 6 gezeigten Speicherwähler 19, und eine Ausgabe dieses Riegelschaltkreises 55 wird den Wählern 57 und 63 zugeführt. Der Konstanten-ROM 56 speichert einen 9-Bit-X-Adressenminimalwert vor, und der Konstanten-ROM 62 spei­ chert einen 9-Bit-Y-Adressenminimalwert vor. Aus der 18-Bit-Spitzenpositionsadresse von dem in Fig. 6 gezeigten Steuerbus 5 werden 9 der X-Adresse der Bilddaten zugeord­ nete Bits dem Wähler 57 zugeführt. Zusätzlich werden aus der 18-Bit-Spitzenpositionsadresse von dem Steuerbus 5 9 der Y-Adresse der Bilddaten zugeordnete Bits dem Wähler 63 zugeführt. Der Wähler 57 liefert wahlweise eine der beiden, nämlich den von dem Konstanten-ROM 56 gelesenen X-Adressenminimalwert bzw. die X-Adresse innerhalb der Spitzenpositionsadresse in Abhängigkeit von der Ausgabe des Riegelschaltkreises 55. Der Wähler 63 liefert wahlweise eine der beiden, nämlich den von dem Konstanten-ROM 62 ge­ lesenen Y-Adressenminimalwert bzw. die Y-Adresse innerhalb der Spitzenpositionsadresse in Abhängigkeit von der Ausgabe des Riegelschaltkreises 55.
Der X-Adressenzähler 59 zählt das von der Pixel-Takt­ signalleitung des Videobus 3 erhaltene Pixel-Taktsignal und führt dem Addierer 61 und dem Komparator 60 einen 9-Bit-Zählwert zu. Andererseits speichert der Konstanten-ROM 58 das X-Format in 9 Bits vor. Dieses X-Format gibt das Format (oder die Größe) des Bezugsbildes in der X-Richtung an. Der Komparator 60 vergleicht die von dem Konstanten-ROM 58 ge­ lesenen X-Formatdaten und den von dem X-Adressenzähler 59 aus gegebenen Zählwert und gibt ein Übereinstimmungssignal aus, wenn die beiden verglichenen Werte übereinstimmen. Dieses Übereinstimmungssignal wird einem Löschanschluß des X-Adressenzählers 59 zugeführt, um diesen zu löschen, und es wird auch dem Y-Adressenzähler 65 zugeführt.
Der Y-Adressenzähler 65 zählt das Übereinstimmungs­ signal und führt dem Addierer 67 und dem Komparator 66 ei­ nen 9-Bit-Zählwert zu. Der Konstanten-ROM 64 speichert das Y-Format in 9 Bits vor. Dieses Y-Format gibt das Format (oder die Größe) des Bezugsbildes in der Y-Richtung an. Der Komparator 66 vergleicht die von dem Konstanten-ROM 64 ge­ lesenen Y-Formatdaten und den von dem Y-Adressenzähler 65 aus gegebenen Zählwert und gibt ein Übereinstimmungssignal aus, wenn die beiden verglichenen Werte übereinstimmen. Dieses Übereinstimmungssignal wird einem Löschanschluß des Y-Adressenzählers 65 zugeführt, um diesen zu löschen.
Demnach erhält man 9 Bits der unteren Adresse der Be­ zugsbildadresse von dem Addierer 61, und 9 Bits der oberen Adresse der Bezugsbildadresse erhält man von dem Addierer 67. Die Bezugsbildadresse mit total 18 Bits erhält man von den Addierern 61 und 67, und sie wird dem in Fig. 6 gezeig­ ten Adressenwähler 16 zugeführt.
Wenn man deshalb das Referenzbild fixiert und den Ver­ folgungsprozeß mit Bezug auf das eingegebene Bild in dieser Ausgestaltung ausführt, dann wird einer der Bildspeicher außer dem als Bezugsbildspeicher ausgewählten Bildspeicher als der Suchbildspeicher ausgewählt, und der verbleibende Bildspeicher wird als Eingabebildspeicher ausgewählt. Die Korrelationsberechnung in dem Korrelationsberechnungs­ schaltkreis 72 verwendet als Suchbild das neueste Eingabe­ bild, dessen Eingabe abgeschlossen ist. Durch Verwenden des Bildspeichers, welcher als Suchbildspeicher im vorliegenden Rahmen verwendet wird, als Bezugsbildspeicher in dem näch­ sten oder darauffolgenden Rahmen ist es zusätzlich möglich, das Bezugsbild upzudaten. In einem Rahmen unmittelbar nach­ dem das Bezugsbild upgedatet wurde, wird der Bildspeicher, welcher in dem vorangehenden Rahmen als Eingabebildspeicher verwendet wurde, als Suchbildspeicher verwendet, und der Bildspeicher, welcher als Bezugsbildspeicher in dem voran­ gehenden Rahmen verwendet wurde, wird als Eingabebildspei­ cher verwendet. Als Ergebnis werden die drei Bildspeicher 12-1 bis 12-3 so geschaltet und verwendet, daß der Verfol­ gungsprozeß in jedem Rahmen ausgeführt werden kann, daß die Eingabe des Suchbildes in jedem Rahmen durchgeführt werden kann, und daß das Bezugsbild in beliebigen Rahmeninterval­ len upgedatet werden kann.
Als nächstes wird eine Beschreibung eines Schaltkreis­ teils vorgelegt, welcher den von dem Korrelationsberech­ nungsschaltkreis 72 ausgegebenen Korrelationswert verarbei­ tet, indem auf Fig. 5 wieder Bezug genommen wird. In Fig. 5 akkumuliert, d. h. addiert der Korrelationsakkumulierschalt­ kreis 75 den Korrelationswert, welcher von dem Korrelati­ onsberechnungsschaltkreis 72 ausgegeben wird, und den Kor­ relationswert, welcher von dem Korrelationsberechnungs­ schaltkreis 72 während des vorangehenden Berechnungsprozes­ ses ausgegeben wird, in Abhängigkeit von einem Steuersignal vom Steuerregister 73, welches später beschrieben werden wird. Wenn aus Gründen der Zweckdienlichkeit angenommen wird, daß der Korrelationsberechnungsschaltkreis 72 in der Lage ist, die Korrelationsberechnung mit Bezug auf den Be­ zugsblock mit der Abmessung von 8 Pixeln × 8 Pixeln bei­ spielsweise auszuführen, dann ist es möglich, durch Akkumu­ lieren der Korrelationsberechnungsergebnisse, die man an vier in Fig. 12 gezeigten Positionen erhält, ein Äquivalent eines Korrelationsberechnungsergebnisses zu erhalten, wel­ ches man mit Bezug auf den Bezugsblock mit den Abmessungen von 16 Pixel × 16 Pixel gewinnt. Durch Wiederholen ähnli­ cher Akkumulierprozesse mit Bezug auf die Korrelationsbe­ rechnungsergebnisse ist es möglich, einen Verfolgungsprozeß mit Bezug auf einen Bezugsblock mit den Abmessungen von 8a Pixeln × 8b Pixeln auszuführen, wobei a = 1, 2, . . . und b = 1, 2, 3, . . . ist.
Der Minimalwert-Detektierschaltkreis 74 gewinnt einen Bewegungsvektor und einen Minimalwert des Korrelationswer­ tes (nachstehend vereinfacht als Minimal-Korrelationswert bezeichnet), den man über den Korrelationswert-Akkumulier­ schaltkreis 75 gewinnt, und speichert den Bewegungsvektor und den Minimal-Korrelationswert in dem Steuerregister 73. Das Steuerregister 73 speichert auch ein Akkumulier-In­ struktionsbit mit einem Wert, welcher anzeigt, ob die Kor­ relationswerte in dem Korrelationswert-Akkumulierschalt­ kreis 75 akkumuliert werden sollen oder nicht, und dieses Akkumulier-Instruktionsbit wird dem Korrelationswert-Akku­ mulierschaltkreis 75 als das oben beschriebene Steuersignal zugeführt. Die Information innerhalb des Steuerregisters 73 kann durch den Steuercomputer 6 über den Steuerbus 5 gele­ sen und geschrieben werden. Der Korrelationswert-Akkumu­ lierschaltkreis 75 akkumuliert den von dem Korrelationsbe­ rechnungsschaltkreis 72 ausgegebenen Korrelationswert und den vorangehenden Korrelationswert, welcher in dem Korrela­ tionswert-Speicherschaltkreis 76 gespeichert ist, und er führt einen dem Akkumulierergebnis entsprechenden Korrela­ tionswert dem Minimalwert-Detektierschaltkreis 74 und dem Korrelationswertspeicherschaltkreis 76 zu. Der dem Korrela­ tionswertspeicherschaltkreis 76 zugeführte Korrelationswert wird in dem Korrelationswertspeicherschaltkreis 76 gespei­ chert, und dieser Korrelationswert wird von dem Korrelati­ onswertspeicherschaltkreis 76 gelesen und dem Korrelations­ wert-Akkumulierschaltkreis 75 als der vorangehende Korrela­ tionswert zugeführt, wenn der nächste Korrelationswert von dem Korrelationsberechnungsschaltkreis 72 ausgegeben wird, und er wird dem Korrelationswert-Akkumulierschaltkreis 75 zugeführt.
Fig. 13A bis 13C sind jeweils Schemazeichnungen zum Erläutern der Korrelationsberechnung des Korrelationsbe­ rechnungsschaltkreises 72 und eines Bewegungsvektors (u, v) für einen Fall, bei welchem ein Bezugsblock mit den Abmes­ sungen von 8 Pixeln × 8 Pixeln verwendet wird. Fig. 13A zeigt den Bezugsblock (oder Schablone) mit den Abmessungen von 8 Pixeln × 8 Pixeln. Fig. 13B zeigt einen Suchblock mit den Abmessungen von 23 Pixeln × 23 Pixeln, welcher einen Suchbereich von -8 bis +7 überdeckt. Fig. 13C zeigt eine Anordnung der Korrelationswerte von 16 Pixeln × 16 Pixeln, welche den Suchbereich von -8 bis +7 beschreibt zusammen mit dem Bewegungsvektor (u, v) für einen Fall, bei welchem der in Fig. 13A gezeigte Bezugsblock innerhalb des in Fig. 13B gezeigten Suchblockes bewegt wird.
Fig. 14A bis 14C sind jeweils Schemazeichnungen zum Erläutern der Korrelationsberechnung des Korrelationsbe­ rechnungsschaltkreises 72 und des Bewegungsvektors (u, v) für einen Fall, bei welchem ein Bezugsblock mit den Abmes­ sungen von 16 Pixeln × 16 Pixeln verwendet wird. Fig. 14A zeigt den Bezugsblock (oder Schablone) mit den Abmessungen von 16 Pixeln × 16 Pixeln. Fig. 14B zeigt einen Suchblock mit den Abmessungen von 31 Pixeln × 31 Pixeln, welcher ei­ nen Suchbereich von -8 bis +7 überdeckt. Fig. 14C zeigt eine Anordnung der Korrelationswerte von 16 Pixeln × 16 Pixeln, welche den Suchbereich von -8 bis +7 beschreibt, zusammen mit dem Bewegungsvektor (u, v) für einen Fall, bei welchem der in Fig. 14A gezeigte Bezugsblock innerhalb des in Fig. 14B gezeigten Suchblockes bewegt wird.
Als nächstes wird eine Beschreibung des Mechanismus vorgelegt, durch den ein Äquivalent eines Bezugsblockes mit den Abmessungen von 16 Pixeln × 16 Pixeln durch Akkumulie­ ren der Korrelationsberechnungsergebnisse realisiert wird unter Verwendung eines Bezugsblockes (oder einer Schablone) mit den Abmessungen von 8 Pixeln × 8 Pixeln, in dem der Korrelationsberechnungsprozeß in dem Korrelationsberech­ nungsschaltkreis 72 und der Akkumulierprozeß in dem Korre­ lationswert-Akkumulierschaltkreis 75 ausgeführt werden, und zwar mit Bezug auf die Fig. 15 bis 18. In den Fig. 15A, 16A, 17A und 18A ist der Referenzblock mit den Abmessungen von 8 Pixeln × 8 Pixeln durch die nach rechts abfallende Schraffur gekennzeichnet. Zusätzlich ist in den Fig. 15B, 16B, 17B und 18B der Suchblock mit den Abmessungen von 23 Pixeln × 23 Pixeln durch die nach links abfallende Schraf­ fur gekennzeichnet.
Der Bezugsblock mit den Abmessungen von 8 Pixeln × 8 Pixeln, welcher verwendet wird, wenn der erste Korrelationsberechnungsprozeß in dem Korrelationsberech­ nungsschaltkreis 72 ausgeführt wird, ist durch die Schraf­ fur in Fig. 15A gekennzeichnet. Der Suchblock mit den Ab­ messungen von 23 Pixeln × 23 Pixeln, welcher in diesem Falle verwendet wird, ist durch die Schraffur in Fig. 15B gekennzeichnet. Mit Bezug auf den Korrelationswert, welcher durch diesen ersten Korrelationsberechnungsprozeß gewonnen wird, existiert kein vorangehender Korrelationswert. Aus diesem Grund führt der Korrelationswert-Akkumulierschalt­ kreis 75 den Akkumulierprozeß mit Bezug auf den Korrelati­ onswert in Beantwortung des Steuersignals vom Steuerregi­ ster 73 nicht aus.
Der Bezugsblock mit den Abmessungen von 8 Pixeln × 8 Pixeln, welcher verwendet wird, wenn der zweite Korrelationsberechnungsprozeß in dem Korrelationsbe­ rechnungsschaltkreis 72 ausgeführt wird, ist durch die Schraffur in Fig. 16A gekennzeichnet. Der Suchblock mit den Abmessungen von 23 Pixeln × 23 Pixeln, welcher in diesem Falle verwendet wird, ist durch die Schraffur in Fig. 16B gekennzeichnet. Mit Bezug auf den Korrelationswert, welchen man durch diesen zweiten Korrelationsberechnungsprozeß er­ hält, existiert der vorangehende Korrelationswert. Dieser vorangehende Korrelationswert wird durch den ersten, oben beschriebenen Korrelationsberechnungsprozeß erhalten. In­ folgedessen führt der Korrelationswert-Akkumulierschalt­ kreis 75 den Akkumulierprozeß mit Bezug auf die Korrelati­ onswerte in Beantwortung des Steuersignals von dem Steuer­ register 73 aus.
Der Bezugsblock mit den Abmessungen von 8 Pixeln × 8 Pixeln, welcher verwendet wird, wenn der dritte Korrelationsberechnungsprozeß in dem Korrelationsbe­ rechnungsschaltkreis 72 ausgeführt wird, ist durch die Schraffur in Fig. 17A gekennzeichnet. Der Suchblock mit den Abmessungen von 23 Pixeln × 23 Pixeln, welcher in diesem Fall verwendet wird, ist durch die Schraffur in Fig. 17B gekennzeichnet. Mit Bezug auf den Korrelationswert, welcher durch diesen dritten Korrelationsberechnungsprozeß gewonnen wird, existiert der vorangehende Korrelationswert. Dieser vorangehende Korrelationswert wird durch den zweiten, oben beschriebenen Korrelationsberechnungsprozeß erhalten. Dem­ nach führt der Korrelationswert-Akkumulierschaltkreis 75 den Akkumulierprozeß mit Bezug auf die Korrelationswerte in Beantwortung des Steuersignals von dem Steuerregister 73 aus.
Ferner ist der Bezugsblock mit den Abmessungen von 8 Pixeln × 8 Pixeln, welcher verwendet wird, wenn der vierte Korrelationsberechnungsprozeß in dem Korrelationsbe­ rechnungsschaltkreis 72 ausgeführt wird, durch die Schraf­ fur in Fig. 18A gekennzeichnet. Der Suchblock mit den Ab­ messungen von 23 Pixeln × 23 Pixeln, welcher in diesem Fall verwendet wird, ist durch die Schraffur in Fig. 18B gekenn­ zeichnet. Mit Bezug auf den Korrelationswert, welchen man durch diesen vierten Korrelationsberechnungsprozeß erhält, existiert der vorangehende Korrelationswert. Dieser voran­ gehende Korrelationswert wird durch den dritten, oben be­ schriebenen Korrelationsberechnungsprozeß erhalten. Demnach führt der Korrelationswert-Akkumulierschaltkreis 75 den Akkumulierprozeß mit Bezug auf die Korrelationswerte in Be­ antwortung des Steuersignals von dem Steuerregister 73 aus.
Durch den oben beschriebenen Akkumulierprozeß ist es möglich, das Äquivalent des Bezugsblockes mit den Abmessun­ gen von 16 Pixeln × 16 Pixeln durch Verwendung des Refe­ renzblockes mit den Abmessungen von 8 Pixeln × 8 Pixeln zu realisieren. Im allgemeinen ist es möglich, einen Verfol­ gungsprozeß mit Bezug auf ein Äquivalent eines Bezugs­ blockes mit den Abmessungen von am Pixeln × bn Pixeln durch Verwendung eines Bezugsblockes mit den Abmessungen von m Pixeln × n Pixeln auszuführen, wobei a = 1, 2, 3, . . . und b = 1, 2, 3, . . . ist, indem man ähnliche Akkumulierprozesse mit Bezug auf die Korrelationsberechnungsergebnisse wieder­ holt.
Fig. 19 ist ein System-Blockdiagramm, welches eine Ausgestaltung der Konstruktion des Korrelationswert-Akkumu­ lierschaltkreises 75 und des Korrelationswert-Speicher­ schaltkreises 76 zeigt. In Fig. 19 umfaßt der Korrelations­ wert-Akkumulierschaltkreis 75 einen Wähler 751 und einen Addierer 752, die wie gezeigt verbunden sind. Andererseits umfaßt der Korrelationswert-Speicherschaltkreis 76 einen Adressenzähler 761, einen Flip-Flop-Schaltkreis 762 und ei­ nen Doppelkanalspeicher 763, die wie gezeigt verbunden sind.
Der Wähler 751 des Korrelationswert-Akkumulierschalt­ kreises 75 empfängt einen festen Wert "0", und den Korrela­ tionswert (Lesedaten), welcher durch den vorangehenden Kor­ relationsberechnungsprozeß erhalten und über einen Lesean­ schluß RD des Doppelkanalspeichers 763 innerhalb des Korre­ lationswert-Speicherschaltkreises 76 gelesen wird. Der Wäh­ ler 761 gibt wahlweise einen der beiden Werte, nämlich den festen Wert "0" bzw. den Korrelationswert (Lesedaten) in Beantwortung des Steuersignals von dem in Fig. 5 gezeigten Steuerregister 73 aus. Der Addierer 752 addiert die Ausgabe des Wählers 751 und den Korrelationswert, welcher von dem in Fig. 5 gezeigten Korrelationsberechnungsschaltkreis 72 ausgegeben wird, und führt ein addiertes Ergebnis (Schreib­ daten) einem Schreibanschluß WD des Doppelkanalspeichers 763 innerhalb des Korrelationswertspeicherschaltkreises 76 zu. Obwohl in Fig. 19 nicht gezeigt, werden zusätzlich die Schreibdaten auch dem in Fig. 5 gezeigten Minimalwert-De­ tektierschaltkreis 74 zugeführt. Der Adressenzähler 761 des Korrelationswertspeicherschaltkreises 76 zählt den Pixel­ takt oder dergleichen, und gibt eine Schreibadresse und eine Leseadresse des Doppelkanalspeichers 763 aus. Die Schreibadresse von dem Adressenzähler 761 wird einem Schreibadressen-Anschluß WA des Doppelkanalspeichers 763 über den Flip-Flop-Schaltkreis 762 zugeführt, welcher dazu vorgesehen ist, die Zeitlage (timing) der Schreibadresse beispielsweise um mehrere Pixeltakte zu verzögern. Anderer­ seits wird die Leseadresse von dem Adressenzähler 761 di­ rekt einem Leseadressen-Anschluß RA des Doppelkanalspei­ chers 763 zugeführt.
Als nächstes wird eine Beschreibung einer zweiten Aus­ gestaltung des Lokalregion-Bildverfolgungsgerätes gemäß der vorliegenden Erfindung vorgelegt. Die allgemeine Konstruk­ tion der zweiten Ausgestaltung ist die gleiche wie die der ersten Ausgestaltung, die in Fig. 4 gezeigt ist, und eine Illustrierung und Beschreibung derselben wird fortgelassen. In der zweiten Ausgestaltung ist die Konstruktion des Kor­ relationsverfolgungsprozessors 4-1 von der der ersten Aus­ gestaltung verschieden. Fig. 20 ist ein System-Blockdia­ gramm, welches eine Ausgestaltung des Korrelationsverfol­ gungsprozessors 4-1 der zweiten Ausgestaltung zeigt. In Fig. 20 sind die Teile, welche die gleichen wie die ent­ sprechenden Teile in Fig. 5 sind, mit den gleichen Bezugs­ zahlen bezeichnet, und eine Beschreibung derselben wird fortgelassen.
Wie in Fig. 20 gezeigt ist, ist ein Bit-Konversions­ schaltkreis 78 zwischen dem Bildfluß-Schaltkreis 71 und dem Korrelationswertberechnungsschaltkreis 72 in dieser Ausge­ staltung vorgesehen, so daß es möglich ist, den Korrelati­ onsberechnungsprozeß mit Bezug auf ein Farbbild auszufüh­ ren. Der Bit-Konversionsschaltkreis 78 führt einen Bit-Kon­ versionsprozeß mit Bezug auf Farbbilddaten aus, die man von dem Bildfluß-Steuerschaltkreis 71 erhält, und zwar basie­ rend auf einem Bit-Konversionsinstruktionssignal von dem Steuerregister 73.
Fig. 21 ist eine Schemazeichnung, welche eine Ausge­ staltung des Bit-Konversionsschaltkreises 78 zeigt. Aus Gründen der Zweckdienlichkeit wird angenommen, daß ein 24-Bit RGB-Signal die Farbbilddaten ausbildet. In diesem Falle gibt ein 3 : 1-Wähler 781 wahlweise obere 8 Bits des RGB-Signals, mittlere 8 Bits des RGB-Signals oder die unte­ ren 8 Bits des RGB-Signals aus und führt die ausgewählten 8 Bits des RGB-Signals dem in Fig. 20 gezeigten Korrelations­ berechnungsschaltkreis 72 zu. Der Korrelationsberechnungs­ schaltkreis 72 wählt zuerst das R-Signal, d. h. dem Rot (R) zugeordnete Bilddaten aus und führt den Korrelationsberech­ nungsprozeß mit Bezug auf dieses R-Signal aus. Der Korrela­ tionswert-Akkumulierschaltkreis 75 führt den Akkumulierpro­ zeß an dem Korrelationswert mit Bezug auf das R-Signal nicht aus. Als nächstes wählt der Korrelationsberechnungs­ schaltkreis 72 das G-Signal, d. h. dem Grün (G) zugeordnete Bilddaten aus und führt den Korrelationsberechnungsprozeß mit Bezug auf dieses G-Signal aus. Der Korrelationswert- Akkumulierschaltkreis 75 führt den Akkumulierprozeß an dem Korrelationswert mit Bezug auf das G-Signal durch Akkumu­ lieren des Korrelationswertes mit Bezug auf das R-Signal zu dem Korrelationswert mit Bezug auf das G-Signal aus. Dar­ über hinaus wählt der Korrelationsberechnungsschaltkreis 72 das B-Signal, d. h. dem Blau (B) zugeordnete Bilddaten aus und führt den Korrelationsberechnungsprozeß mit Bezug auf dieses B-Signal aus. Der Korrelationswert-Akkumulierschalt­ kreis 75 führt den Akkumulierprozeß an dem Korrelationswert mit Bezug auf das B-Signal durch Akkumulieren des akkumu­ lierten Korrelationswertes mit Bezug auf die R-Signale und die G-Signale zum Korrelationswert mit Bezug auf das B-Signal aus. Durch Ausführen von insgesamt drei Korrelati­ onsberechnungsprozessen mit Bezug auf die gleiche Bezugs­ bildposition und Suchbildposition in der oben beschriebenen Weise ist es möglich, den Verfolgungsprozeß mit Bezug auf eine Bewegung innerhalb des Farbbildes zu realisieren.
Fig. 22 ist eine Schemazeichnung, welche eine andere Ausgestaltung des Bit-Konversionsschaltkreises 78 zeigt. Aus Gründen der Zweckdienlichkeit wird angenommen, daß ein 16-Bit-RGB-Signal die Farbbilddaten bildet. Wenn das R-Signal 5 Bits aufweist, das G-Signal 6 Bits hat und das B-Signal 5 Bits hat, dann werden die Bits von jedem Farb­ signal als obere Bits von 8-Bitdaten verwendet, und ver­ bleibende untere Bits der 8-Bitdaten werden auf einen Wert "0" fixiert, bevor sie einem 3 : 1-Wähler 782 zugeführt wer­ den. Der 3 : 1-Wähler 782 gibt wahlweise eines der drei aus dem RGB-Signal gebildeten 8-Bitdaten (Farbsignal) aus und führt die ausgewählten 8-Bitdaten dem Korrelationsberech­ nungsschaltkreis 72 zu, der in Fig. 20 gezeigt ist. In die­ sem Fall wählt der Korrelationsberechnungsschaltkreis 72 zuerst das R-Signal, d. h. dem Rot (R) zugeordnete Bilddaten aus, und führt den Korrelationsberechnungsprozeß mit Bezug auf dieses R-Signal aus. Der Korrelationswert-Akkumulier­ schaltkreis 75 führt den Akkumulierprozeß an dem Korrelati­ onswert mit Bezug auf das R-Signal nicht aus. Als nächstes wählt der Korrelationsberechnungsschaltkreis 72 das G-Signal, d. h. dem Grün (G) zugeordnete Bilddaten aus und führt den Korrelationsberechnungsprozeß mit Bezug auf die­ ses G-Signal aus. Der Korrelationswert-Akkumulierschalt­ kreis 75 führt den Akkumulierprozeß an dem Korrelationswert mit Bezug auf das G-Signal durch Akkumulieren des Korrela­ tionswertes mit Bezug auf das R-Signal zu dem Korrelations­ wert mit Bezug auf dieses G-Signal aus. Darüber hinaus wählt der Korrelationsberechnungsschaltkreis 72 das B-Signal, d. h. dem Blau (B) zugeordnete Bilddaten aus und führt den Korrelationsberechnungsprozeß mit Bezug auf die­ ses B-Signal aus. Der Korrelationswert-Akkumulierschalt­ kreis 75 führt den Akkumulierprozeß an dem Korrelationswert mit Bezug auf das B-Signal durch Akkumulieren des akkumu­ lierten Korrelationswertes mit Bezug auf das R-Signal und G-Signal zu dem Korrelationswert mit Bezug auf das B-Signal aus. Durch Ausführen von insgesamt drei Korrelationsberech­ nungsprozessen mit Bezug auf die gleiche Bezugsbildposition und Suchbildposition in der oben beschriebenen Weise ist es möglich, den Verfolgungsprozeß mit Bezug auf eine Bewegung innerhalb des Farbbildes zu realisieren.
Als nächstes wird eine Beschreibung einer dritten Aus­ gestaltung des Lokalregion-Bildverfolgungsgerätes gemäß der vorliegenden Erfindung mit Bezug auf Fig. 23 vorgelegt. Fig. 23 ist ein System-Blockdiagramm, welches die allge­ meine Konstruktion der dritten Ausgestaltung zeigt. In Fig. 23 sind die Teile, welche die gleichen wie diese ent­ sprechenden Teile in den Fig. 4 und 5 sind, mit den glei­ chen Bezugszahlen bezeichnet, und eine Beschreibung dersel­ ben wird hier fortgelassen.
In dieser Ausgestaltung ist eine Microcomputer-Einheit (MCU) 601, die dem in Fig. 4 gezeigten Steuerrechner 6 ent­ spricht, innerhalb eines Korrelationsverfolgungsprozessors 401 vorgesehen. Aus diesem Grund ist in dieser Ausgestal­ tung der in Fig. 4 gezeigte Steuerbus 5 nicht vorgesehen. Zusätzlich ist ein ROM 602 zum Speichern von durch die MCU 601 auszuführenden Programmen und von durch die Programme und dergleichen zu verwendenden Daten mit der MCU 601 ge­ koppelt. Wie in Fig. 23 gezeigt ist, werden der MCU 601 In­ struktionen von einer Eingabeeinrichtung 611, wie etwa ei­ ner Tastatur, über eine Schnittstelle 610 eingegeben.
In dieser Ausgestaltung ist der Korrelationsverfol­ gungsprozessor 401 als eine einzelne Einheit konstruiert.
Als nächstes wird eine Beschreibung einer vierten Aus­ gestaltung des Lokalregion-Bildverfolgungsgerätes gemäß der vorliegenden Erfindung mit Bezug auf Fig. 24 vorgelegt. Fig. 24 ist ein System-Blockdiagramm, welches die allge­ meine Konstruktion der vierten Ausgestaltung zeigt. In Fig. 24 sind die Teile, welche die gleichen wie diese ent­ sprechenden Teile in Fig. 23 sind, mit den gleichen Bezugs­ zahlen bezeichnet, und eine Beschreibung derselben wird fortgelassen.
In dieser Ausgestaltung ist auch ein Bildeingabe-/ ausgabeschaltkreis 201, welcher der in Fig. 4 gezeigten Bildeingabe-/-ausgabeeinheit 2 entspricht innerhalb eines Korrelationsverfolgungsprozessors 402 vorgesehen, und zwar zusätzlich zu der MCU 601 und dem ROM 602. Aus diesem Grund ist in dieser Ausgestaltung der in Fig. 4 gezeigte Videobus 3 nicht vorgesehen.
In dieser Ausgestaltung ist der Korrelationsverfol­ gungsprozessor 402 auch als eine einzelne Einheit konstru­ iert. Es ist demnach möglich, das Lokalregion-Bildverfol­ gungsgerät zu relativ niedrigen Kosten durch einfaches Ver­ binden der Eingabeeinrichtung 611, der Bildaufnahmeeinrich­ tung 1 und der Anzeigeeinheit 7 mit dem Korrelationsverfol­ gungsprozessor 402 zu realisieren.
Ferner ist die vorliegende Erfindung nicht auf diese Ausgestaltungen beschränkt; vielmehr können verschiedene Variationen und Abwandlungen vorgenommen werden, ohne damit aus dem Umfang der vorliegenden Erfindung herauszutreten.

Claims (8)

1. Lokalregion-Bildverfolgungsgerät zum kontinuierli­ chen Verfolgen einer beliebigen Lokalregion innerhalb eines Suchbildes, welches durch Suchbilddaten beschrieben wird, durch Vergleichen der Suchbilddaten und Bezugsbilddaten, die der beliebigen Lokalregion, welche Abmessungen von am Pixeln mal bn Pixeln hat, zugeordnet sind, mit Bezug auf eingegebene Bilddaten, wobei das Suchbild Abmessungen grö­ ßer als am Pixel mal bn Pixel hat, wobei a, b, m und n na­ türliche Zahlen sind, dadurch gekennzeichnet, daß das Lokalregion-Bildverfolgungsgerät umfaßt:
Korrelationsberechnungsmittel (72) zum vielfachen Berechnen einer Korrelation zwischen Referenzbilddaten, die einem Referenzbild zugeordnet sind, das eine Größe von in mal n Pixeln hat, und den Suchbilddaten, während eine Position des Referenzbildes in Bezug auf das Suchbild bewegt wird, und zum Ausgeben von Korrelationswerten, die jeweils eine berechnete Korrelation angeben; und
Korrelationswert-Akkumuliermittel (75, 76) zum Akkumu­ lieren der von den Korrelationsberechnungsmitteln ausgege­ benen Korrelationswerte und zum Ausgeben eines Korrelati­ onswertes, welcher bezeichnend für eine Korrelation zwi­ schen den Suchbilddaten und Referenzbilddaten ist, die ei­ nem Äquivalent eines Bezugsbildes mit Abmessungen von am Pixeln mal bn Pixeln zugeordnet sind.
2. Lokalregion-Bildverfolgungsgerät nach Anspruch 1, bei welchem die Eingabebilddaten über einen Videobus von Eingabemitteln eingegeben werden, die aus einer Gruppe aus­ gewählt werden, welche aus Bildaufnahmemitteln und Bildspeichermitteln besteht, dadurch gekennzeichnet, daß die Korrelationsberechnungsmittel und die Korrelationswert- Akkumuliermittel einen Korrelationsverfolgungsprozessor (4-1, . . .) bilden, und daß einer oder eine Vielzahl von Korrelationsverfolgungsprozessoren parallel zu diesen Ein­ gabemitteln über den Videobus gekoppelt sind.
3. Lokalregion-Bildverfolgungsgerät nach Anspruch 2, dadurch gekennzeichnet, daß ferner vorgesehen sind:
ein Steuerrechner (6), welcher den einen oder die Vielzahl von Korrelationsverfolgungsprozessoren steuert,
wobei dieser eine oder die Vielzahl von Korrelations­ verfolgungsprozessoren über einen Steuerbus parallel zu diesem Kontrollrechner gekoppelt sind.
4. Lokalregion-Bildverfolgungsgerät nach einem der An­ sprüche 1 bis 3, dadurch gekennzeichnet, daß die Korrelati­ onswert-Akkumuliermittel umfassen:
einen Korrelationswertspeicher (76), welcher einen Korrelationswert speichert, der von den Korrelationsberech­ nungsmitteln als Ergebnis einer vorangehenden Korrelations­ berechnung ausgegeben wird; und
einen Korrelationswert-Akkumulierschaltkreis (75), welcher einen akkumulierten Korrelationswert durch Addieren eines Korrelationswertes, welcher von den Korrelationsbe­ rechnungsmitteln als Ergebnis einer gegenwärtigen Korrela­ tionsberechnung ausgegeben wird, und des Korrelationswer­ tes, welcher von dem Korrelationswertspeicher gelesen wird, erhält.
5. Lokalregion-Bildverfolgungsgerät nach einem der An­ sprüche 1 bis 4, bei welchem die Eingabebilddaten Farbbild­ daten umfassen, dadurch gekennzeichnet, daß das Lokalre­ gion-Bildverfolgungsgerät ferner umfaßt:
Datenkonversionsmittel (78) zum aufeinanderfolgenden Zuführen von Farbbilddaten jeder Farbe zu den Korrelations­ berechnungsmitteln mit Bezug auf die gleiche Bezugsbildpo­ sition und Suchbildposition,
wobei die Korrelationswert-Akkumuliermittel Korrelati­ onswerte der Farbbilddaten jeder Farbe mit Bezug auf die gleiche Bezugsbildposition und Suchbildposition akkumu­ liert.
6. Lokalregion-Bildverfolgungsgerät nach Anspruch 1, dadurch gekennzeichnet, daß ferner vorgesehen ist:
eine Microcomputereinheit (601), die wenigstens steu­ ert, ob die Korrelationswerte in den Korrelationswert-Akku­ muliermitteln akkumuliert werden sollen oder nicht,
wobei die Korrelationsberechnungsmittel, die Korrela­ tionswert-Akkumuliermittel und die Microcomputereinheit eine einzige Einheit bilden.
7. Lokalregion-Bildverfolgungsgerät nach Anspruch 1, bei welchem die Eingabebilddaten von Eingabemitteln einge­ geben werden, die aus einer Gruppe ausgewählt werden, wel­ che aus Bildaufnahmemitteln und Bildspeichermitteln be­ steht, wobei die Eingabebilddaten auf Anzeigemitteln ange­ zeigt werden, dadurch gekennzeichnet, daß das Lokalregion-Bild­ verfolgungsgerät ferner umfaßt:
mit den Eingabemitteln und den Anzeigemitteln gekop­ pelte Bildeingabe-/-ausgabemittel (2) zum Empfangen der Eingabebilddaten von den Eingabemitteln,
wobei die Korrelationsberechnungsmittel, die Korrela­ tionswert-Akkumuliermittel und die Bildeingabe-/-ausgabe­ mittel eine einzige Einheit bilden.
8. Lokalregion-Bildverfolgungsgerät nach Anspruch 7, dadurch gekennzeichnet, daß ferner vorgesehen ist:
eine Microcomputereinheit (601), die wenigstens steu­ ert, ob die Korrelationswerte in den Korrelationswert-Akku­ muliermitteln akkumuliert werden sollen oder nicht,
wobei die Korrelationsberechnungsmittel, die Korrela­ tionswert-Akkumuliermittel und die Bildeingabe-/-ausgabe­ mittel und die Microcomputereinheit eine einzige Einheit bilden.
DE19704881A 1996-07-23 1997-02-10 Bildverfolgungsgerät zum Verfolgen eines Bildes innerhalb einer lokalen Region Expired - Fee Related DE19704881C2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19346996A JP3434979B2 (ja) 1996-07-23 1996-07-23 局所領域画像追跡装置

Publications (2)

Publication Number Publication Date
DE19704881A1 true DE19704881A1 (de) 1998-01-29
DE19704881C2 DE19704881C2 (de) 2000-07-06

Family

ID=16308540

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19704881A Expired - Fee Related DE19704881C2 (de) 1996-07-23 1997-02-10 Bildverfolgungsgerät zum Verfolgen eines Bildes innerhalb einer lokalen Region

Country Status (6)

Country Link
US (1) US6298170B1 (de)
JP (1) JP3434979B2 (de)
KR (1) KR100259226B1 (de)
CN (1) CN1130665C (de)
AU (1) AU692726B2 (de)
DE (1) DE19704881C2 (de)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0973044B1 (de) * 1998-07-13 2006-08-09 Oerlikon Contraves Ag Verfahren zur Verfolgung bewegter Objekte anhand spezifischer Merkmale
US20010008561A1 (en) * 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
JP4060615B2 (ja) * 2002-03-05 2008-03-12 株式会社東芝 画像処理装置及び超音波診断装置
US20080065291A1 (en) * 2002-11-04 2008-03-13 Automotive Technologies International, Inc. Gesture-Based Control of Vehicular Components
JPWO2004051575A1 (ja) * 2002-12-05 2006-04-06 セイコーエプソン株式会社 特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラム
JP4217876B2 (ja) * 2002-12-20 2009-02-04 財団法人生産技術研究奨励会 画像における移動物体の追跡方法及び装置
US7095786B1 (en) 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
US7657059B2 (en) * 2003-08-08 2010-02-02 Lockheed Martin Corporation Method and apparatus for tracking an object
US7835953B2 (en) * 2003-09-29 2010-11-16 International Business Machines Corporation Method and structure for monitoring moving objects
US8972380B2 (en) * 2003-09-29 2015-03-03 International Business Machines Corporaton System and method for monitoring events against continual range queries
US7327383B2 (en) * 2003-11-04 2008-02-05 Eastman Kodak Company Correlating captured images and timed 3D event data
CN100541535C (zh) * 2004-01-06 2009-09-16 索尼株式会社 图像处理设备和方法
US7428557B2 (en) * 2004-03-22 2008-09-23 Microsoft Corporation Efficient data transfer to/from storage medium of computing device
US7650016B2 (en) * 2004-07-30 2010-01-19 Lockheed Martin Corporation System and method for tracking motion of an object image
US8995715B2 (en) * 2010-10-26 2015-03-31 Fotonation Limited Face or other object detection including template matching
US20070192215A1 (en) * 2006-02-10 2007-08-16 Taylor Thomas B Computer-implemented registration for providing inventory fulfillment services to merchants
JP4929474B2 (ja) * 2006-09-27 2012-05-09 富士通株式会社 画像処理装置
US7853480B2 (en) * 2007-05-21 2010-12-14 Amazon Technologies, Inc. System and method for providing export services to merchants
JP5067282B2 (ja) * 2008-06-27 2012-11-07 ソニー株式会社 物体検出制御装置、物体検出システム、物体検出制御方法およびプログラム
US9053681B2 (en) 2010-07-07 2015-06-09 Fotonation Limited Real-time video frame pre-processing hardware
US9661232B2 (en) 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
US10915782B2 (en) * 2017-12-14 2021-02-09 Pixart Imaging Inc. Image parameter calculating method, object tracking method, and image parameter calculating system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2938853A1 (de) * 1979-09-26 1981-04-09 Vereinigte Flugtechnische Werke Gmbh, 2800 Bremen Flaechennavigationssystem fuer luftfahrzeuge
DE3447930C1 (de) * 1983-07-15 1996-04-25 Marconi Gec Ltd Datenprozessor
DE19724481A1 (de) * 1996-06-12 1997-12-18 Nippon Telegraph & Telephone Schablonenvergleichsverfahren

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6016673B2 (ja) * 1978-12-25 1985-04-26 川崎重工業株式会社 サ−ボ系における被検体認識装置
JPS6053349B2 (ja) * 1981-06-19 1985-11-25 株式会社日立製作所 画像処理プロセツサ
US4864629A (en) * 1985-12-31 1989-09-05 Schlumberger Technologies, Inc. Image correlation system
US4817175A (en) * 1986-08-26 1989-03-28 Schlumberger Systems And Services, Inc. Video stream processing system
GB8703931D0 (en) * 1987-02-19 1993-05-05 British Aerospace Tracking systems
US5341143A (en) * 1987-07-24 1994-08-23 Northrop Grumman Corporation Hierarchical tracker and method
US4908751A (en) * 1987-10-15 1990-03-13 Smith Harry F Parallel data processor
US5020113A (en) 1988-08-08 1991-05-28 Hughes Aircraft Company Maskable bilevel correlators
US5226095A (en) * 1988-11-04 1993-07-06 Matsushita Electric Industrial Co., Ltd. Method of detecting the position of an object pattern in an image
US4958224A (en) * 1989-08-15 1990-09-18 Hughes Aircraft Company Forced correlation/mixed mode tracking system
US5870486A (en) * 1991-12-11 1999-02-09 Texas Instruments Incorporated Method of inferring sensor attitude through multi-feature tracking
CA2100324C (en) * 1992-08-06 2004-09-28 Christoph Eisenbarth Method and apparatus for determining mis-registration
JP3487436B2 (ja) * 1992-09-28 2004-01-19 ソニー株式会社 ビデオカメラシステム
JPH0730796A (ja) 1993-07-14 1995-01-31 Sony Corp ビデオ信号追従処理システム
JP3108585B2 (ja) * 1993-07-28 2000-11-13 日本電信電話株式会社 ビデオ画像プリントアクセス方法およびシステム
JPH08147477A (ja) 1994-09-20 1996-06-07 Fujitsu Ltd 局所領域画像追跡装置
JP3688377B2 (ja) * 1996-01-31 2005-08-24 富士通株式会社 画像特徴追跡装置及び画像特徴追跡方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2938853A1 (de) * 1979-09-26 1981-04-09 Vereinigte Flugtechnische Werke Gmbh, 2800 Bremen Flaechennavigationssystem fuer luftfahrzeuge
DE3447930C1 (de) * 1983-07-15 1996-04-25 Marconi Gec Ltd Datenprozessor
DE19724481A1 (de) * 1996-06-12 1997-12-18 Nippon Telegraph & Telephone Schablonenvergleichsverfahren

Also Published As

Publication number Publication date
CN1130665C (zh) 2003-12-10
AU692726B2 (en) 1998-06-11
DE19704881C2 (de) 2000-07-06
KR100259226B1 (ko) 2000-06-15
KR980010827A (ko) 1998-04-30
CN1171583A (zh) 1998-01-28
US6298170B1 (en) 2001-10-02
JP3434979B2 (ja) 2003-08-11
JPH1040392A (ja) 1998-02-13
AU1228397A (en) 1998-01-29

Similar Documents

Publication Publication Date Title
DE19704881C2 (de) Bildverfolgungsgerät zum Verfolgen eines Bildes innerhalb einer lokalen Region
DE4123713C2 (de) Korrelationsdetektor für Bilder
DE3688178T2 (de) Verfahren zur Bildextraktion eines sich bewegenden Objekts.
DE69427801T2 (de) Verfahren und Gerät zur Bestimmung von Bewegungsvektorfelden durch die Unterdrückung lokaler Abweichungen
DE68917026T2 (de) Verfahren und Anordnung zur Bewegungsdetektion in einem nach einer Film-Fernseh-Umwendung erhaltenen Fernsehbild mit Zeilensprungverfahren.
DE68902662T2 (de) Verarbeitungsgeraet fuer zweipegelsignale zur bilddarstellung.
DE3486494T2 (de) Graphisches Musterverarbeitungsgerät
DE69332458T2 (de) Vektorprozessor
DE3689926T2 (de) Einrichtung zur sequenziellen Bildtransformation.
DE69232431T2 (de) Vorrichtung zur Lösung von linearen Gleichungssystem
DE3732435C2 (de)
DE3038195C2 (de) Vorrichtung zur Verarbeitung von visueller Information
DE68918263T2 (de) Maskierbarer zweistufen korrelator.
DE3309846A1 (de) Bilddrehvorrichtung
DE2706655A1 (de) Verfahren und vorrichtung zur realzeiterkennung von bildern
DE69327223T2 (de) Vorrichtung zur Bewegungsschätzung in Echtzeit und Verfahren dafür
DE69421158T2 (de) Bewegungsprädiktionsprozessor und -vorrichtung
DE69125869T2 (de) Gradationskorrekturvorrichtung
DE19648016A1 (de) Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
DE69802269T2 (de) Vorrichtung und verfahren zum vergleichen von pixelblöcken
DE69616111T2 (de) Nachführgebiet-Bestimmungsgerät und Objektnachführgerät mit Verwendung desselben
DE69735968T2 (de) Vorrichtung und Verfahren zur Bildinformationsumwandlung
DE69634896T2 (de) Verfahren und struktur zur bewegungsschätzung unter verwendung von bildelementintensitätswerten mit niedriger präzision
DE4316847A1 (de) Verfahren zum Entzerren von Röntgenaufnahmen und Anordnung zur Durchführung des Verfahrens
DE69027241T2 (de) Gerät zur Bewegungsabschätzung von Fernsehbildern

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8381 Inventor (new situation)

Free format text: MORITA, TOSHIHIKO, KAWASAKI, JP SAWASAKI, NAOYUKI, KAWASAKI, JP

8364 No opposition during term of opposition
8328 Change in the person/name/address of the agent

Representative=s name: SEEGER SEEGER LINDNER PARTNERSCHAFT PATENTANWAELTE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20130903