DE3034838C1

DE3034838C1 - Verfahren zur Erkennung und Verfolgung eines Zieles

Info

Publication number: DE3034838C1
Application number: DE3034838A
Authority: DE
Inventors: Gerhard Ing Schoene; Klaus Dr Rer Nat Hesse
Original assignee: Telefunken Systemtechnik AG
Current assignee: Telefunken Systemtechnik AG
Priority date: 1980-09-16
Filing date: 1980-09-16
Publication date: 1990-11-29
Anticipated expiration: 2000-09-17
Also published as: FR2661738A1

Description

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff von Anspruch 1.

Es sind eine Reihe von Verfahren und Einrichtungen zur Erkennung und Verfolgung eines Zieles bekanntgeworden. So ist es auch bekannt, bei der im Oberbegriff von Anspruch 1 beschriebenen Einrichtung Vorrichtungen vorzusehen, die das Einblenden von für den Bediener wichtigen Informationen in den Überwachungsmonitor des Bedienungsgerätes ermöglichen (DE-OS 28 42 684).

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Erkennung und Verfolgung eines Zieles vorzuschlagen, das zur Erhöhung der Auffaßge schwindigkeit von Zielverfolgungseinrichtungen eine automatische, eine manuelle Zuweisung überflüssig machende Zieldetektion ermöglicht.

Die Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale von Anspruch 1 gelöst.

Ausgestaltungen der Erfindung sind in den Unteransprüchen 2 bis 27 be schrieben.

Von Vorteil ist, da bei der besonders gearteten Bilddarstellung von Wärmebildsensoren durch eine sensorspezifische Bildaufbereitung eine optimale Zielverfolgung erzielt wird. Weiterhin werden vorteilhafterweise für Fälle von Zielverdeckungen und von den realen Zielbewegungen zuwider laufende Prädiktionen verbesserte Suchkriterien und Suchverfahren zur Wiederentdeckung eines Zieles vorgeschlagen.

In der Zeichnung ist ein Ausführungsbeispiel nach der Erfindung dargestellt, und zwar in eine Einrichtung zur Durchführung des erfindungsgemäßen Verfahrens gezeigt. Diese Einrichtung weist einen, ein Zielobjekt erfassenden Bildsensor 1 auf, dessen Ausgangssignale über eine Einrichtung 2 zur tracker optimalen Aufbereitung einem Bildspeicher 3 zugeführt werden. Dem Bildspeicher 3, der als Arbeitsspeicher für die Bildverarbeitung nach der Bilderzeugung verwendet wird, ist ein Zieldetektor 4 nachgeschaltet, der zu dem Bildspeicher 3 nach der Bilderzeugung durch den Sensor 1 wahlweise Zugriff hat. Der Zieldetektor 4 weist eine Einrichtung zur Bildaufbereitung 5 auf und unterscheidet während einer Detektion mittels verschiedener hierarchisch gestaffelter Filter 6 Ziele und Störobjekte voneinander. Wenn durch die Filter 6 eine ausreichend sichere Zieldetektion betätigt worden ist, wird automatisch auf eine Verfolgung des entsprechenden Zieles mit Hilfe einer dem Zieldetektor 4 nachgeschalteten Zielverfolgungseinrichtung 7 und eines dem Bildsensor 1 zugeordneten Servoantriebes 8 umgeschaltet.

Die Zielverfolgungseinrichtung 7 weist einen Korrelationstracker 9 auf, dem ein bei Zielverlust als Zieldetektionseinrichtung fungierender Kontrast tracker 10 nebengeordnet ist. Mittels einer Betriebsartensteuereinrichtung 11 wird von der Korrelationsbetriebsart auf die Kontrastbetriebsart überge gangen, wenn der Korrelationstracker 9 ein Ziel bei Teilverdeckung nicht mehr erkennen kann, obwohl es noch deutlich, z. B. durch Baumwipfel hindurchleuchtet. Die Zielverfolgungseinrichtung 7 soll nur dann in die Kontrastbetriebsart übergeführt, d. h. Zieldetektion betrieben und gemeldet werden, wenn

a) die über der Kontrastschwelle liegende Bildpunktmenge des Zieles, die während des Korrelationstrackers per Akkumulieren festgestellt wurde, eine sinnvolle Größe hat. Dabei kann man beispielsweise bestimmte Varianzgrenzen setzen, d. h. eine positive Abweichung vom akkumulierten Bildpunktmengen-Mittelwert streng, eine negative Abweichung (Teilverdeckung) aber großzügig bewerten;
b) die für die Bildpunktmengendefinition notwendige Schwellermittlung während des Korrelationsbetriebes zu sinnvollen, aus einem eben falls akkumulierten zeitlichen Mittelwert, der beispielsweise vom Spitzenwert abgeleitet ist, sich ergebenden Werten geführt hat. Vorzuschlagen sind zumindest obere und untere Plausibilitätsgrenzen.

Da die Kontrast- bzw. Detektionsbetriebsart lediglich untergeordnete Bedeutung haben darf, muß ein Kriterium die Rückkehr in den Korrelations betrieb sichern. Hier soll die in Punkt a) beschriebene Varianz der Bildpunkt menge des Zieles verwendet werden, und wenn diese eine gewisse Zeit lang gegen Null geht (Ziel befindet sich wieder vor homogenem Himmel), soll per Einspeicher impuls an den Zielspeicher des Korrelators die Rückkehr in den Normalbetrieb mit der nun aktuellen Zielansicht ausgelöst werden.

Voraussetzung für dieses nach Möglichkeit reibungslose Ineinanderübergehen verschiedener Verfolgungsbetriebsarten ist das optimale Dimensionieren des Trackreglers, der die vom Tracker gelieferten Positionsmeßwerte in systemange paßte Führungssignale umwandelt. Hier wird die Umschaltung der PID-Regler- Konstanten je nach Betriebsart Track, Prädiktion oder Kontrasttracken vorge schlagen.

In bekannten Waffensystemen ist es häufig möglich, eine recht gute Zielzu weisung im Azimut zu bekommen, während in Elevation mit anderen optoelek tronischen Mitteln Zieldetektion betrieben werden muß. Da die automatische Zielzuweisung eines Zieles, das z. B. unter einem möglichen Elevationswinkel von 20° erscheint, in max. 0,5 s abgeschlossen sein soll, das vertikale Sehfeld eines E/O-Sensors (elektrooptischer Sensor) aber wegen der erforderlichen Reichweite nur 2,8° beträgt, muß eine Zieldetektionslogik in ¹/₂ Sekunden einen Streifen von mehr als 7 aufeinanderangestellten Bildern des Himmels (Himmelselement) abgearbeitet haben. Um dieses zu ermöglichen, kann als Bildsensor 1 eine TV-Kamera mit Kurzzeitbelichtung zur Zieldetektion verwendet werden, bei der in an sich bekannter Weise lediglich während der vertikalen Austastlücke das Target kurzzeitig belichtet wird, so daß sich das Ziel während des Absuchens des Himmels nicht über große Targetflächen verteilt. Während der Auslesezeit des Targets liegt ein quasi stehendes Speicherbild eines Himmelelementes vor nun kann mittels Bildverarbeitung nach relevanten Zielen abgesucht werden. Nimmt man an, daß während der Kurzzeitbelichtung sich ein Punktziel lediglich über drei Bildpunkte verschmieren darf, kann die Belichtungszeit etwa 0,2 ms betragen. Das ist ein Untersetzungsverhältnis von 1/100.

Wird als Bildsensor 1 ein Wärmebildsensor verwendet, der nur aus einem Sensorelement besteht und in CCIR-ähnlicher Norm über das Sehfeld bewegt wird, sind kurzzeitbelichtete Verhältnisse bereits durch diese Konzeption vorgegeben. Liegt ein WB-Sensor mit TDI-Sensorzeile vor, wird durch diese Maßnahme die Empfindlichkeit des Sensors erhöht. Das Ziel kann lediglich entsprechend der Anzahl der horizontalen Sensorelemente einen Bruchteil einer Zeilenzeit lang verschmiert werden. Die Integrationszeit ist bei einem bekannten Gerät dieser Art ca. ⁹/₅₀₀ von 64 µs ≈ 1 µs lang. Es ist sichergestellt, daß die Abtastgeschwindigkeit der Sensorelemente groß gegen die sich aus Suchgeschwindigkeit des Sensorkopfes und der Zielgeschwindigkeit zusammensetzenden Zielspur ist.

Ein besonderes Problem ist darin begründet, daß der Sensor einen in ternen CCIR-Norm-Scan von oben nach unten vollführt, das Gerät aber beispielsweise gerade einen Suchscan von unten nach oben. Das kann bei hohen Geschwindigkeiten dazu führen, daß die Himmelselemente gar nicht vollständig vom Sensor überstrichen werden, sondern nur schmale Streifen der Szene erfaßt sind.

Am Beispiel eines Wärmebildsensors mit flächenhaftem Detektor von 11 Zeilen mal 5 Elemente soll veranschaulicht werden, was gegen diese Problematik vorzusehen ist. (Bei einem solchen Sensor wird ein Bild punkt über eine Zeit von 11 Zeilen auf dem Detektor verschmiert, jedoch wegen der begrenzten horizontalen Ausdehnung um den geschätzten Faktor ⁵/₇₆₈ untersetzt. Es ergibt sich eine Integrationszeit von max. 11 · 64 µs · ⁵/₇₆₈ = 4,5 µs.) Es treten keine Probleme mit vertikaler Suchbewegung bei vertikalem internen Scan auf, wenn der interne vertikale Sensorscan zugunsten der externen vertikalen Suchbewegung abgeschaltet und der Himmel mittels eines nur noch durch horizontale Scan-Bewegungen erzeugten 11 Zeilen breiten Bandes erfaßt wird. Mittels Zwischenspeicherung der Bildstreifen werden stehende Bilder streifenförmiger Himmelselemente erzeugt, die dann per Bildverarbeitung untersucht werden können.

Bei Wärmebildsensoren in "vertical-scan-"Technik (Vertikal-Abtasttechnik), bei denen eine senkrechte Spalte von z. B. 120 Sensorelementen waagerecht über die Szene gezogen wird, ist ebenfalls ein Kurzzeitbelichtungseffekt gegeben, so daß solche Sensoren recht schnell den Himmel absuchen können, ohne daß eine Zielverschmierung auftritt. Ein solches Gerät braucht auch nicht - wie bei dem Wärmebildsensor mit flächenhaftem Detektor - angehalten zu werden. Solche Geräte erzeugen jedoch zunächst keine CCIR-Norm und müssen entweder per digitalem Bildspeicher-Normwandler oder per TV-Kamera normgewandelt werden, bevor eine intelligente Bildverarbeitung angesetzt werden kann.

Bei einer automatischen Zieldetektion ist für die verwendeten Sensoren zunächst sichergestellt, daß trotz hoher Suchgeschwindigkeit scharfe Bilder des Himmels mit darin befindlichen Zielen entstehen. Für eine Zieldetektion wird immer von dem zusätzlichen Bildspeicher 3 ausgegangen, der nach der eigentlichen Bilderzeugung für die Bildverarbeitung als Arbeitsspeicher zur Verfügung steht. Folgende detaillierte Ausgestaltungen sind möglich:

- Pufferspeicherung der vom schwenkenden Sensor angelieferten Daten (hardware),
- Segmentierung des Speicherbereiches und Bestimmung einer lokalen Kontrastschwelle (Temperaturschwelle) in jedem Segment (hardware),
- Durchmusterung jedes Segmentes in folgender Reihenfolge
Erster Diskriminationsschritt: Gibt es Objekte (potentielle Ziele) oberhalb der errechneten Schwelle? (hardware),
Zweiter Diskriminationsschritt, wenn erster Schritt mit ja beantwortet wird: erfüllen diese Objekte ein vorzugebendes Größenkriterium? (software),
Dritter Diskriminationsschritt, wenn zweiter Schritt mit ja zu beant worten ist: wie bewertet der Korrelator dieses Objekt gegen vorzugebende Referenzbilder (Formkriterium)? (software-Dialog mit Korrelator),
- wenn positiv, sind alle Maßnahmen zum lock-on des Trackers zu treffen.

Die Grundidee einer Zieldetektion ist, mit Hilfe je eines Amplituden- und eines Ausdehnungskriteriums eine Vorsortierung aller potentiellen Ziele vorzunehmen, um schließlich den Korrelator noch bei wenigen Kandidaten mit seiner "matched-filter"-Funktion einsetzen zu können.

Wärmebildsensoren haben je nach Konstruktion eine von einem TV-Bild ab weichende spezifische Bilddarstellung. Einmal ist wegen des großen Dyna mikbereiches von Wärmebildgeräten eine bestimmte Schwelldifferenz-Temperatur auszuwählen, so daß heißere innere Strukturen eines Zieles wegen der schnellen Sättigung des Videoverstärkers nicht mehr sichtbar werden. Das Ziel erscheint dadurch als heller Fleck oder Feinstruktur. Außerdem kann ein und dasselbe Ziel bestimmter Temperatur vor kaltem oder warmen Hintergrund heiß oder kalt erscheinen, weil letztlich die Temperaturdifferenzen gemessen werden. Zudem kann nach langen heißen Hintergrundobjekten der Differenzverstärker erst nach endlicher Zeit wieder auf richtigem Niveau eingeschwungen sein, was zu einem schwarzen Nachschwingen führt. Alle diese Eigenschaften beein trächtigen die Leistungsfähigkeit eines Trackers gravierend und können durch folgende Lösungswege beseitigt werden.

a) Mittels des Pufferspeichers 3 und einer problemspezifischen Software und/oder hardware werden die Bilder zunächst trackeroptimal aufbereitet. Das kann z. B. so geschehen, daß für die AD-Wandlung des Orignal-Sensor signals nichtlineare Schaltungen verwendet werden, die besonders heiße innere Partien des Zieles im digitalen Bild doch noch feinstrukturieren, bevor sie in den Pufferspeicher gegeben werden. Ferner werden nach langen heißen Störobjekten nicht die tief ins Schwarze reichenden Ausschwinger, sondern (bildverbessernde) Ersatzbildpunkte in sinnvollem Wertebereich geliefert.
b) Einem Korrelationstracker könnte man zur Vermeidung des Zielverlustes bei Kontrastumkehr (kalter/warmer Hintergrund) nicht nur das Originalbild des Zieles, sondern auch sein Negativ einspeichern, auf das er bei Bedarf, d. h. extremem Absinken des Korrelationsmaximums, zurückgreifen kann.

Im Falle der Zielverdeckungen und von den realen Zielbewegungen zuwiderlaufenden Prädiktionen sind verbesserte Suchkriterien und Suchverfahren zur Wiederent deckung eines Zieles vorgesehen. So wird während einer vollständigen Ziel verdeckung in der sogenannten Prädiktionsbetriebsart die Bahn des Zieles geschätzt. Vergeht eine zu lange Zeit bis zur Wiedererkennung, laufen die geschätzte Zielbahn und die reale Zielbewegung auseinander, d. h. das Ziel befindet sich nach Wiedererscheinen weit von der Visierlinie ent fernt und ist im begrenzten Suchbereich vor allem von Korrelationstrackern nicht mehr erkennbar. Hier soll nun erfindungsgemäß nach längerer Verdeckung der Suchbereich des Trackers per Programm um das zentrale Suchgebiet herum (außerhalb der Visierlinie) geführt werden, um die Entdeckungswahrscheinlichkeit zu erhöhen. Denkbar sind Suchalgorithmen, mit deren Hilfe das Trackfenster auf die vier Ecken eines um die Visierlinie gedachten Quadrates positioniert wird und von Bild zu Bild fortgeschaltet z. B. nach Uhrzeiger die Visier linie umläuft. Diese Suchverfahren lassen sich leicht von der Zielgeschwindigkeit abhängig machen und damit die Suche auf mehr oder weniger großen ggf. auch spiralig aufspreizenden Bahnen ringsum die Visierlinie durchführen.

Claims

1. Verfahren zur Erkennung und Verfolgung eines Zieles unter Verwendung eines Zielverfolgungssystems, das aus einem optronischen Bildsensor, eine Bildauswertelogik, einer Nachführautomatik für den Bildsensor und einem Bediengerät besteht, wobei die Nachführautomatik nach dem Korrelationsprinzip durch Vergleich der zwischengespeicherten Bilder der aktuellen Szene mit einer ge speicherten Referenzansicht des Zieles arbeitet und nach jedem Bild ein Ablagesignal an die Nachführautomatik liefert sowie eine elektronische Entscheidungs- oder Lernlogik durch Informationen, insbesondere durch Ähnlichkeit von zwischengespeicherter und aktueller Zielansicht, Zielge schwindigkeit oder Zielverdeckung, für die Aktualisierung oder Auswahl verschiedener, an einen gemeinsamen Datenbus angeschlossener Ziel speicher sorgt, dadurch gekennzeichnet, daß ein zusätzlicher Bildspeicher (3) als Arbeitsspeicher für die Bildverarbeitung nach der Bilderzeugung verwendet wird, daß die Bildauswertelogik (4) zu dem Arbeitsspeicher (3) jederzeit nach der Bilderzeugung durch den Sensor (1) wahlfreien Zugriff hat, daß die Bildauswertelogik (4) während der Suchphase mittels ver schiedener hierachisch gestaffelter Filterverfahren Ziele und Störobjekte voneinander unterscheidet, und daß nach einwandfreier Identifizierung automatisch auf die Verfolgung eines Zieles umgeschaltet wird, wenn durch die Filter (6) eine ausreichende sichere Zieldetektion bestätigt worden ist.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Arbeitsspeicher (3) zur Bestimmung lokaler Kontrastschwellen (Temperaturschwellen) in ge trennte Segmente aufgeteilt wird, und daß in jedem Segment eine lokale Kontrastschwelle (Temperaturschwelle) bestimmt wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß jedes Segment des Arbeitsspeichers (3) mittels der Filter (6) nach einer vorgegebenen Reihen folge von Diskriminationsschritten durchgemustert wird.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß als Bildsensor (1) eine TV-Kamera mit Kurzzeitbelichtung verwendet wird, deren Strahl ablenkung derart gestaltet ist, daß ein beliebiger Zugriff zu gespeicherten Bildteilen ermöglicht wird.

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß als Bildsensor (1) ein Wärmebildgerät mit unvollständiger CCIR-Norm vorgesehen wird, dessen vertikale Ablenkung zum Zwecke einer streifenförmigen Himmels abtastung während eines Detektionsvorganges abgeschaltet werden kann.

6. Verfahren nach Anspruch 5, gekennzeichnet durch die Verwendung eines Wärmebildsensors mit TDI-Sensorzeile.

7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß als Bildsensor (1) ein Wärmebildgerät in Vertikal-Abtasttechnik mit nachgeschaltetem Normwandler- Bildspeicher verwendet wird.

8. Verfahren nach Anspruch 5, 6 oder 7, dadurch gekennzeichnet, daß die Bilder durch eine sensorspezifische Bildverarbeitung trackeroptimal aufbereitet werden.

9. Verfahren nach Anspruch 8, gekennzeichnet durch eine trackeroptimale Aufbe reitung mittels eines Pufferspeichers (3).

10. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß für die Analog- Digital-Wandlung des Original-Sensorsignals nichtlinerare Schaltungen verwendet werden, die besonders heiße innere Partien des Zieles im digitalen Bild feinstrukturieren, bevor sie in einen Pufferspeicher gegeben werden.

11. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß einem Korrelations tracker (9) zur Vermeidung des Zielverlustes bei Kontrastumkehr neben dem Originalbild des Zieles auch sein Negativ eingespeichert wird, auf das der Korrelationstracker (9) bei extremen Absinken des Korrelations maximums zurückgreift.

12. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß neben dem Korrelationstracker (9) ein zusätzlicher Kontrasttracker (10) verwendet wird, der bei einem Zielverlust als Zieldetektionseinrichtung fungiert.

13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, daß die Zielver folgungseinrichtung (7) nur dann in die Kontrastbetriebsart überge führt wird, wenn die über der Kontrastschwelle liegende Bildpunktmenge des Zieles, die vornehmlich während der Korrelationsbetriebsart durch Akkumulation festgestellt wurde, eine vorgegebene Größe hat.

14. Verfahren nach Anspruch 13, gekennzeichnet durch die Verwendung von Varianzgrenzen, derart, daß eine positive Abweichung von akkumulierten Bildpunktmengen-Mittelwert streng, eine negative Abweichung (Teilver deckung) großzügig bewertet wird.

15. Verfahren nach Anspruch 12, dadurch gekennzeichnet, daß die Zielver folgungseinrichtung (7) nur dann in die Kontrastbetriebsart überge führt wird, wenn die für die Bildpunktmengendefinition notwendige Schwellermittlung während des Korrelationsbetriebes zu sinnvollen, aus einem akkumulierten zeitlichen Mittelwert sich ergebenden Werten geführt hat.

16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß der zeitliche Mittelwert von einem Spitzenwert abgeleitet wird.

17. Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, daß die Rückkehr in die Korrelationsbetriebsart mit der nun aktuellen Zielan sicht durch einen Einspeicherimpuls an den Zielspeicher des Korrelators ausgelöst wird, wenn die Varianz der Bildpunktmenge des Zieles für eine vorgegebene Zeitdauer gegen Null geht.

8. Verfahren nach einem der Ansprüche 12 bis 17, dadurch gekennzeichnet, daß die von der Zielverfolgungseinrichtung (7) gelieferten Positions meßwerte mittels Trackreglersoftware in systemangepaßte Führungssignale umgewandelt werden.

19. Verfahren nach Anspruch 18, gekennzeichnet durch die Umschaltung der PID-Reglerkonstanten in Abhängigkeit von der Betriebsart.

20. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß nach einer vollständigen Zielverdeckung für eine längere Zeitdauer ein ziel winkelgeschwindigkeitsabhängiges Suchverfahren zur Wiedererkennung des Zieles verwendet wird.

21. Verfahren nach Anspruch 20, gekennzeichnet durch die Verwendung von Suchalgorithmen, mit deren Hilfe das Fenster der Zielverfolgungs einrichtung auf die vier Ecken eines um die Visierlinie gedachten Quadrates positioniert wird und die Visierlinie umläuft.

22. Verfahren nach Anspruch 21, gekennzeichnet durch einen Umlauf im Uhrzeigersinn.

23. Verfahren nach Anspruch 20, dadurch gekennzeichnet, daß dem Korrelations tracker (9) zur Wiederkennung eines Zieles nach Kontrastumkehr die in der Helligkeit invertierte Ansicht des Zieles bei der Zielauffassung und späteren Aktualisierungsschritten zur Korrelation eingegeben wird.

24. Verfahren nach Anspruch 20, dadurch gekennzeichnet, daß dem Korrelations tracker (9) zur Wiedererkennung eines Zieles nach plötzlichen Drehungen um eine Achse die um diese Achse verdrehten Ansichten eines Zieles eingegeben werden.

25. Verfahren nach Anspruch 24, dadurch gekennzeichnet, daß die verdrehten Ansichten eines Zieles aus der aktuellen Zielansicht erstellt werden.

26. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Korrelations tracker (9) einen digitalen Regler zur Führung einer stabilisierten Plattform enthält, dessen Zeitkonstanten und Reglereigenschaften in Abhängigkeit von den Betriebsarten Korrelationstracken, Kontrasttracken oder Prädiktion umgeschaltet oder kontinuierlich einander angepaßt werden.

27. Verfahren nach Anspruch 26, dadurch gekennzeichnet, daß der digitale Regler sowohl während der Trackbetriebsarten als auch während der vorherigen Zielsuche mittels zuvor programmierbarer Suchstrategie die Führung der Plattform übernimmt.