DE19509277C1 - Verfahren zur Auswertung von Sensordaten, um präzise Ausgabesignale, insbesondere Steuersignale zur Bewegungsbestimmung von Automaten, zu erzeugen - Google Patents

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Auswertung von Sensordaten, um präzise Ausgabesignale, insbesondere Steuersignale zur Bewegungsbestimmung von Automaten, zu erzeugen, das die folgenden Schritte umfaßt:

• - Messung von Sensordaten y_i in Form von Tupeln mit mindestens einer Komponente und daraus Erhebung von Eingangsdaten zum Zweck der Bestimmung von gewünschten Ausgabesignalen x_k mit Hilfe eines funktionalen Zusammenhanges 0=F_i(y_i, x);
• - Bestimmung der in der Fehlerfortpflanzung im Rahmen einer linearen Näherung vorkommenden praktisch bestimmbaren partiellen Ableitungen

Eine automatische Steuerung benötigt i. allg. Sensordaten zur Bestimmung möglichst zuverlässiger und präziser Steuersignale. Alle Sensordaten sind mit einer begrenzten Meßgenauigkeit behaftet. Es stellt sich daher die Frage, auf welche Weise man mit einer begrenzten Meßgenauigkeit erhobene Sensordaten y_i automatisch auswählt und kombiniert, um möglichst zuverlässige und präzise Daten x_k als Steuersignale oder zur unmittelbaren Bestimmung von Steuersignalen bereitszustellen. Dies heißt, häufig werden Sensorsignaldaten erhoben, welche nicht direkt die gewünschte Information bereitstellen. Klassisch wird dieses Problem in der Numerik mittels Ausgleichsrechnung (J. Stoer, Einführung in die Numerische Mathematik I, Springer Verlag, 3. Auflage, Berlin, 1979) behandelt. Hier wird genau das Problem bearbeitet, wie eine interessierende Größe bestimmt werden kann, ohne daß es möglich ist, sie direkt zu messen. Man geht auf folgende indirekte Weise vor: Statt der gesuchten Größe mißt man eine andere, leichter der Messung zugängliche Größe, welche auf eine bekannte gesetzmäßige Art und Weise von der gesuchten Größe abhängt. Man führt eine Anzahl von Messungen durch, mißt die zugehörigen Resultate und stellt ein Gleichungssystem auf. Üblicherweise handelt es sich dabei um ein über- bzw. unterbestimmtes Gleichungssystem, außerdem sind die Meßwerte typischerweise mit Meßfehlern behaftet. Die Aufgabe besteht dann darin, dies Gleichungssystem, wenn schon nicht exakt, so doch "möglichst gut", zu lösen. Als Gütemaß für die Schätzung der gesuchten Parameter wird gewöhnlich die maximale Abweichung bzw. die Summe der quadratischen Abweichungen verwendet. Übertragen auf die z. B. bei einer Robotersteuerung bekannte Aufgabe, indirekt die Relativpositionen und -bewegungen aus den direkt vorliegenden Bilddaten eines bildgebenden Sensors zu bestimmen, bestehen die Meßorte aus benachbarten Bildpunkten und die Messung entspricht der Erhebung von Intensitäten und der Berechnung der Intensitätsgradienten. Ziel ist die Erzeugung des maximalen Informationsgewinns aus den vorliegenden Sensorsignaldaten.

Mit einem derartigen gattungsgemäßen Verfahren kann z. B. das als "Structure from Motion" bekannt gewordene Problem gelöst werden. Es kann allgemein wie folgt formuliert werden. Gegeben sei eine Bildsequenz, welche durch einen monokularen Beobachter aufgenommen wurde; rekonstruiere hieraus sowohl die Form und relative Tiefe der Objekte in der Szene als auch die relative dreidimensionale Rotations- und Translationsbewegung gegenüber sich unabhängig vom Beobachter bewegenden Objekten.

Das Problem kann grundsätzlich von den "visuellen" Sensoren auf die allgemeine Klasse der "bildgebenden Sensoren" erweitert werden. Wichtig ist hierbei nur die hohe Auflösung zur Gewinnung dichter und damit lokal auswertbarer Daten und die Kenntnis der zugrundeliegenden projektiven Abbildungsgeometrie. Der für visuelle Sensoren verwendete Ausdruck der Messung von "Intensitäten kann auf alle Sensoren, die als Ziel die Erfassung von Oberflächenreflexionseigenschaften haben (wie z. B. Sensoren für die verschiedenen Wellenlängenbereiche), erweitert werden.

Der oben genannte Schwerpunkt auf "monokulare" Bildfolgen kann gelockert werden, wenn die dreidimensionale Orientierung und Position der Sensoren (und damit die Korrespondenz der einzelnen Bildelemente) bekannt ist. Die Tiefeninformation kann zumindest bis zu einer Entfernung von etwa 5 m auch binokular, d. h. durch Methoden des Stereosehens, gewonnen werden. Auch sind hochauflösende "aktive" Sensoren, z. B. 2D Laserscanner, wie sie in Zukunft aufgrund ihrer zunehmend kompakteren Bauweise den Robotikbereich revolutionieren werden, zur Gewinnung der punktweisen Tiefeninformation denkbar.

Um die Problematik systematisch und konkret zu erschließen, sollte man sich zunächst bewußt machen, daß alle Verfahren prinzipiell letztlich auf Hypothesen beruhen. Dabei stellt sich die Frage, inwieweit diese praktisch immer erfüllt sind oder künstlich leicht erfüllbar gemacht werden können. Als typische praktisch allgemeingültige Hypothesen gelten:

• - Intensitätskonstanz: Die Intensität eines Objektpunktes ändert sich nicht von Bild zu Bild,
• - die Objekte werden mit Lambertoberflächen modelliert, d. h. die Intensität ändert sich nicht bei wechselndem Beobachterstandpunkt,
• - die Szene setzt sich aus Festkörpern, d. h. nichtdeformierbaren Objekten zusammen.

Unter den hochauflösenden Sensoren sind Verfahren mit dem Einsatz von Kameras am besten erforscht. Daher soll prototypisch im folgenden auf den Stand der Technik in der Bildverarbeitung eingegangen werden.

Die Forschung auf dem Gebiet der visuellen Bewegungswahrnehmung verlief im wesentlichen in drei Stufen (C. Fermüller. Navigational Preliminaries. In Y. Aloimonos, (Hrsg.), Active Perception, Kapitel 3, Seiten 103-150, Lawrence Erlbaum, 1993). Zunächst wurde überhaupt nach Lösungen für das "Strukture from Motion" Problem gesucht. Später beschäftigte man sich mit der Auflösung von verfahrensbedingten Mehrdeutigkeiten in den erzeugten Lösungen. Heute steht die Suche nach robusten Lösungen im Vordergrund welche Sicherheitsaspekte insbesondere im Zusammenhang mit der Anwendung (z. B. mobiler Robotik, siehe unten) berücksichtigen. In Bezug auf Sicherheitsaspekte sind heuristische Verfahren grundsätzlich problematisch. Schließlich müssen die Verfahren bei vielen Anwendungen, etwa in der Robotik, nicht nur sicher sein, sondern auch in Echtzeit und Rechenzeit schnell arbeiten und dabei ein hohes Auflösungsvermögen gewährleisten.

Traditionell wird das Problem als eine wesentliche Teilaufgabe genereller Sehsysteme, d. h. solcher mit universeller Einsetzbarkeit zur Lösung allgemeiner visueller Probleme, betrachtet. Deren Ziel besteht insbesondere darin, die Szene komplett zu rekonstruieren (D. Marr, Vision, W. H. Freeman, San Francisco, CA, 1982 und B. K. P. Horn, Robot Vision, MIT Press und McGraw-Hill, 1986). Diese Rekonstruktionsansätze sind vielfältig und die Mehrheit läßt sich durch den folgenden modularen und hierarchischen Aufbau beschreiben (Y. Aloimonos, (Hrsg.), Active Perception. Computer Vision, Lawrence Erlbaum, 1993):

• 1. Berechnung des optischen Flußfeldes, d. h. die Projektion der Bewegung der Szene relativ zum Beobachter auf die Kamera.
• 2. Segmentierung des Flußfeldes in Bereiche unterschiedlicher Relativbewegungen. Daraus Berechnung der 3D-Bewegungen.
• 3. Flächendeckende Berechnung der relativen Tiefen und damit der Objektoberflächennormalen, d. h. der Szenenstruktur.

Beispiele dieser Verfahren finden sich in (S. Ullman, The Interpretation of Visual Motion, MIT Press, Cambridge, USA, 1979, H.C. Longuet-Higgins, A computer algorithm for reconstructing a scene from two projections, Nature, 293: 133-135, September 1981, G. Adiv, Determining three-dimensional motion and structure from optical flow generated by several moving objects. IEEE Transactions on Pattern Analysis and Machine Intelligence, 7(4): 384-401, Juli 1985, M.E. Spetsakis und J.Y. Aloimonos. Structure from motion using line correspondences. Int. J. of Computer Vision, 4: 171-183, 1990). Kein robustes und schnelles Verfahren befindet sich im industriellen Einsatz.

Seit kurzer Zeit wird auf dem Forschungsgebiet der Bildverarbeitung der Sinn des Strebens nach der Entwicklung genereller Sehsysteme in Frage gestellt. Als alternative Aufgabenstellungen schlägt Aloimonos (Y. Aloimonos, (Hrsg.), Active Perception, Computer Vision, Lawrence Erlbaum, 1993) die Entwicklung aufgabengetriebener Sehsysteme vor, welche allgemeine statt spezielle Annahmen über die Szene machen, nur teilweise statt komplett rekonstruieren und spezielle statt allgemeine Probleme zu lösen versuchen (Y. Aloimonos, E. Rivlin und L. Huang, Designing Visual Systems: Purposive Navigation. In Y. Aloimonos, (Hrsg.), Active Perception, Kapitel 2, Seiten 47-102, Lawrence Erlbaum, 1993). Die meist aufwendige, fehlerbehaftete und/oder mit Heuristiken verbundene Berechnung der optischen Flußfelder (J.L. Barron, D.J. Fleet und S.S. Beauchemin, Systems and experiment: Performance of optical flow techniques, Int. J. of Computer Vision, 12(1): 43-77, 1994) könnte dabei z. B. umgangen werden.

Ein wichtiges Anwendungsgebiet des gattungsgemäßen Verfahrens liegt z. B. im Einsatz in Robotersystemen. Hier ist für die elementar wichtige Aufgabe des kollisionsfreien Manövrierens eine vollständige Rekonstruktion der Szene nicht notwendig. Für eine erfolgreiche Hindernisvermeidung muß lediglich die eigene Reaktionszeit mit der Zeit bis zu einer potentiellen Kollision in Beziehung gesetzt werden. Im Hinblick auf eine geforderte rechtzeitige Reaktion auf Gefahrensituationen ist es zudem notwendig echtzeitfähige Verfahren zu entwickeln und einzusetzen. Echtzeitfähig in diesem Kontakt bedeutet, daß der Roboter sich in üblichen Geschwindigkeiten bewegen kann. Damit scheiden rechenintensive Verfahren aus. Auch wenn die für heutige Verhältnisse schnelle Bildverarbeitungshardware eingesetzt wird, so stößt man doch schnell an die Grenzen.

Sicheres Manövrieren wird heute oft durch Telemanipulation, d. h. der Steuerung der Roboter unter direkter menschlicher Kontrolle, und durch in den Boden eingelassene Führungen erreicht. In Zukunft sind autonome Roboter gefragt, welche sich auch in unstrukturierter Umgebung zuverlässig bewegen. Zwei Ansätze werden verfolgt (C.E. Thorpe, Mobile robots, Int. Journal of Pattern Recognition and Artificial Intelligence, 5(3): 383-397, 1991): Erstens Szenenmanipulation durch Positionieren von Landmarken, zweitens Einsatz von Sensoren zum Aufbau interner Karten.

Die industriell eingesetzte aktive Sensorik beschränkt sich meist auf niedrigauflösende Sensorik wie Ultraschall und Infrarot und teure 1D-Laserscanner. Der Einsatz von hochauflösender Sensorik ist im Industriebereich heutzutage noch selten und nur in äußerst kontrollierten Umgebungen der Fall. Dabei bieten insbesondere die zunehmend kostengünstigeren Kameras eine ausreichende Auflösung und die Möglichkeit der zusätzlichen Extraktion weiterer Information wie z. B. die der Relativbewegung. In der Forschung ist der Einsatz von Kameras für die mobile Robotik populär, jedoch mangelt es an robusten Verfahren.

Aus dem Stand der Technik sind Verfahren zur Auswertung von Sensordaten bekannt, die die Durchführung von Ausgleichsrechnungen umfassen. Mit Ausgleichsrechnungen ist jedoch der Nachteil verbunden, daß Willkürentscheidungen bezüglich von Wichtungsfaktoren in die Rechnungen einfließen und zu einer z. B. für Robotersteuerungen ungenügenden Genauigkeit hinsichtlich der Ausgabesignale führen.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Verfügung zu stellen, das vorgegebene Gleichungen, die mit konstanter Meßgenauigkeit gemessene Größen und gewünschten Größen in Beziehungen setzen, so kombiniert, daß für die gewünschten Größen der Informationsgewinn maximal wird, d. h., daß die Ausgabesignale mit einer höheren Genauigkeit als z. B. bei Verwendung von Ausgleichsrechnungen bestimmbar werden.

Erfindungsgemäß wird diese Aufgabe gelöst durch Einlesen positiver Nützlichkeitsparameter v_k, welche die Genauigkeitsprioritäten eines Benutzers hinsichtlich der gewünschten Ausgabesignale x_k charakterisieren, und Einlesen mindestens einer bereitgestellten Meßgenauigkeit.

Gemeinsame Bestimmung der Ausgabesignale x_k und der adaptierten Wichtungsfaktoren γ_j derart, daß ein summierter quadratischer Fehler bei Verwendung der adaptierten Wichtungsfaktoren die Beziehung Σ_iγ_iF²_i (y_i, x) = minimal nahezu erfüllt und der wesentliche Informationsgewinn W = Σ_kv_klog₂ = maximal nahezu erfüllt ist, woei Σ_jγ_j = konstant einzuhalten ist.

Dabei kann vorgesehen sein, daß

• - die Sensordaten y_i Intensitäten I(x, y, t) an Bildpunkten (x, y) zu Zeitpunkten t eines bildgebenden Sensors entsprechen, wobei die Indizes i der Sensordaten y_i Tripel (x, y, t) darstellen,
• - die gewünschten Größen x₁, x₂, x₃, x₄, x₅ und x₆ jeweils einer x-Rotation, y- Rotation, z-Rotation, tiefenskalierten x-Translation, tiefenskalierten y-Translation und tiefenskalierten z-Translation zwischen beliebigen Objekten und dem bildgebenden Sensor anhand einer Bildsequenez entsprechen, und
• - die Funktionen F_i entsprechend der Geometrie des bildgebenden Sensors und unter der Voraussetzung, daß die Gesamtintensität von Objekten konstant bleibt, aufstellbar sind,
• - ferner eine Erhebung von räumlichen und zeitlichen Intensitätsableitungen I_x, I_y und I_t der Intensitäten I(x, y, t) an den Bildpunkten (x, y) des bildgebenden Sensors als Eingangsdaten vorgenommen wird,
• - ferner eine gewährleistete relative Meßgenauigkeit des Sensors,
• - Nützlichkeitsparameter v_k für die Bewegungsgrößen x₁, x₂, x₃, x₄, x₅, x₆ und
• - zusätzlich Bildregionen eingelesen werden, und
• - zur Bestimmung der Relativrotationen und tiefenskalierten Translationen Wichtungsmuster übernommen werden.

Weiterhin kann vorgesehen sein, daß die Erhebung der räumlichen und zeitlichen Intensitätsableitungen mittels der folgenden Schritte durchgeführt wird:

• - Messung der Intensitätsverteilungen I(x, y, t) an Bildpunkten (x, y) einer Bildfläche des bildgebenden Sensors zu mindestens zwei aufeinanderfolgenden Zeitpunkten t,
• - Bildung der zugehörigen Intensitätsableitungen I_x, I_y und I_t der Intensitätsverteilungen nach den Bildpunktkoordinaten x, y aus mindestens zwei benachbarten Bildpunkten bzw. nach der Zeit t aus mindestens zwei aufeinanderfolgenden Bildpunkten.

Alternativ dazu kann vorgesehen sein, daß die Erhebung der räumlichen und zeitlichen Intensitätsableitungen mittels der folgenden Schritte durchgeführt wird:

• - unmittelbare Umsetzung der gemessenen Intensität I(x, y, t) durch einen herkömmlichen elektronischen analogen Differentiatorschaltkreis in die partielle zeitliche Ableitung , wobei zur zusätzlichen Messung der räumlichen Intensitätsableitungen und dem bildgebenden Sensor hochfrequente Mikrobewegungen, sogenannte Mikrosakkaden, aufgeprägt werden.

Ferner kann dazu vorgesehen sein, daß die Mikrosakkaden durch Plazierung eines piezo- elektrisch gesteuerten Spiegels im parallelen Strahlengang des einfallenden Bildes erzeugt werden.

Andererseits kann auch vorgesehen sein, daß die Mikrosakkaden durch Plazierung brechungsindexvariierender Flüssigkristalle im parallelen Strahlengang des einfallenden Bildes erzeugt werden.

Alternativ dazu kann vorgesehen sein, daß die Mikrosakkaden durch mechanische, magnetisch getriebene Oszillationen eines Spiegels im parallelen Strahlengang des einfallenden Bildes erzeugt werden.

Weiterhin kann alternativ dazu auch vorgesehen sein, daß die Mikrosakkaden durch piezoelektrisch gesteuerte Oszillationen eines bildgebenden Chips realisiert werden.

In einer besonderen Ausführungsform der Erfindung kann vorgesehen sein, daß der bildgebende Sensor zusätzlich die Signallaufzeit für die doppelte Wegstrecke von dem bildgebenden Sensor zu einem auf den Bildpunkt (x, y) projizierten Objekt bestimmt.

Vorzugsweise werden zusätzlich Mustermarkierungen in der Szene verwendet.

Weiterhin kann vorgesehen sein, daß die Wichtungsmuster anhand des maximalen wesentlichen Informationsgewinnes bestimmt sind.

Alternativ dazu kann vorgesehen sein, daß die Wichtungmuster anhand des ausgewählten Bildmaterials vorab bestimmt werden, wobei eine Klassifikation der möglichen gemessenen Intensitäten und eine Bestimmung eines Wichtungsmusters mit relativ hohem wesentlichen Informationsgewinn für jede Klasse vorgenommen wird.

Ferner kann auch vorgesehen sein, daß die Wichtungsmuster anhand einer Transformation der gemessenen Intensitätsgradienten auf eingelesene Zielmuster bestimmt werden, wobei dies die folgenden Schritte umfaßt:

• - Einlesen von speziellen Verfahrensparametern, wie konjugierten Bildpunkten, Zielmustern, modulierten Multipolen und symmetriesierten modulierten Multipolgleichungen,
• - Umsetzung der speziellen Verfahrensparameter, die eine Bestimmung der Symmetriefaktoren P^q, eine Berechnung der Symmetriekoeffizienten a^x _q, b^x _q, c^x _q, d^x _q, a^x _q, b^y _q, c^y _q, d^y _q, a^t _q, b^t _q, c^t _q und d^t _q für die ausgewählten Multipole, eine Bestimmung von Konjugationsfaktoren und eine Bestimmung der ausgewählten transformierten modulierten Multipole für die Intensitätsgradienten I_x und I_y aus den ausgewählten Zielmustern umfaßt,
• - Tranformation der gemessenen Intensitätsgradienten auf linear kombinierte Intensitätsgradienten mit der Zielmusterorientierung durch Berechnung der Linearfaktoren α_k(j) für jeden konjugierten Bildpunkt eines Bildregionpunktes,
• - Bestimmung von Normierungsfaktoren p^s _j anhand einer Transformation der linear kombinierten Intensitätsgradienten auf das Zielmuster durch Normieren des linear kombinierten Intensitätsgradienten entsprechend dem Zielmuster,
• - Bestimmung der transformierten modulierten Multipole für zeitliche Intensitätsableitungen I_t durch Bestimmung der effektiven zeitlichen Intensitätsableitungen aus den gemessenen zeitlichen Intensitätsableitungen, den Linearfaktoren und den Normierungsfaktoren, Bestimmung der zeitlichen transformierten modulierten Multipolelemente aus den effektiven zeitlichen Intensitätsableitungen, Aufsummieren der transformierten modulierten Multipolelemente zu den transformierten modulierten Multipolen für die zeitlichen Intensitätsableitungen und Aufstellen der ausgewählten symmetrisierten modulierten Multipolgleichungen aus den transformierten modulierten Multipolen für die Intensitätsableitungen I_x, I_y und I_t.

Weiterhin kann auch vorgesehen sein, daß separat eine Bestimmung der x-Rotation, y- Rotation und der tiefenskalierten z-Translation und dann der z-Rotation, tiefenskalierten x-Translation und tiefenskalierten y-Translation vorgenommen wird.

Weiterhin kann auch vorgesehen sein, daß gewünschte relative Genauigkeiten q_k = mittels der folgenden Schritte in Nützlichkeitsparameter umgesetzt werden:

• - Einlesen der gewünschten Genauigkeiten q_k,
• - Bestimmung der v_k durch v_k = v₁.

Schließlich kann auch vorgesehen sein, daß die gemeinsame Optimierungsaufgabe der Minimierung von Σ_iγ_iF²_i(y_i, x) und der Maximierung des wesentlichen Informationsgewinnes durch folgende Schritte vorab gelöst wird:

• - Charakterisieren aller möglichen Konfigurationen der Eingangsdaten.
• - Auswahl von repräsentativen Konfigurationen der Eingangsdaten.
• - Für jede repräsentative Konfiguration der Eingangsdaten Lösung der Optimierungsaufgabe der gemeinsamen Bestimmung der gewünschten Daten x_k und der Wichtungsfaktoren γ_j, wobei gilt Σ_jγ_j = konstant und Σ_iγ_iF²_i(y_i, x) nahezu minimal, sowie Σ_kv_klog₂ nahezu maximal.
• - Erstellung einer Klassifikation aller möglichen Konfiguration der Eingangsdaten mit jeweils einer repräsentativen Konfiguration pro Klasse.
• - Für jede Klasse Zuordnung der Lösung der Optimierungsaufgabe der zugehörigen repräsentativen Konfiguration.
• - Erstellung einer Datei mit dieser Zuordnung.

Der Erfindung liegen folgende ineinandergreifende Erkenntnisse zur Verwendung von Sensordaten y_i für eine automatische Generierung von Steuersignalen zugrunde: Generell verwendet man bei einer automatischen Steuerung Sensoren, um Rückschlüsse von den Sensordaten auf die zugehörigen Teile der Außenwelt zu erzielen. In dem Maße, in dem diese Rückschlüsse mit entsprechenden Tatsachen der Außenwelt übereinstimmen, stellen sie eine Information dar. Information wird üblicherweise durch die Anzahl der Binärstellen einer Binärzahl bemessen. Entsprechend wird hier die für einen solchen Rückschluß gewonnene Information eingeführt als die Anzahl der zuverlässig berechneten Binärstellen einer (oder mehrerer) den Rückschluß beschreibenden Binärzahl(en) x_k. Weiterhin entsprechend wird hier für ein Verfahren zur Auswertung von Sensordaten gefordert, daß der Informationsgewinn bezüglich der interessierenden Rückschlüsse, der sogenannte wesentliche Informationsgewinn, maximal wird. Hierbei ist es essentiell, die in den gemessenen Größen enthaltene Information über die gemessenen Größen zu unterscheiden von der aus den gemessenen Größen gewinnbaren Information über die interessierenden Rückschlüsse. Denn einerseits unterscheiden sich die Information über die Meßgrößen und die gewinnbare Information quantitativ i. allg. sehr; andererseits erfordert ein Rückschluß prinzipiell immer eine eigene zugrundeliegende Theorie (hier ist diese durch die Funktionen F_i ausgedrückt).

Falls die relativen Meßgenauigkeiten der Sensordaten einigermaßen gutartig sind, so läßt sich der durch die Funktionen F_i zu den berechneten Daten x_k fortgepflanzte Meßfehler angemessen im Rahmen der linearen Fehlerfortpflanzungstheorie bestimmen. Hierdurch kann man die zu erwartenden relativen Fehler der berechneten Größen x_k aus den zu erwartenden relativen Fehlern der gemessenen Größen y_i bestimmen. Hieraus kann man den wesentlichen Informationsgewinn aus den zu erwartenden relativen Fehlern der gemessenen Größen y_i bestimmen.

Weiterhin kann man die gemessenen Sensordaten y_i entsprechend Wichtungen γ_i berücksichtigen, und den wesentlichen Informationsgewinn aus den zu erwartenden relativen Fehlern der gemessenen Größen y_i zusammen mit den Wichtungen γ_i bestimmen. Schließlich kann man die Wichtungen und die berechneten Größen zugleich so bestimmen, daß sowohl der wesentliche Informationsgewinn praktisch maximal wird, als auch der mittlere quadratische Fehler Σ_iγ_iF²_i(y_i, x) praktisch minimal wird. Auf diese Weise kann man die gewünschten Größen x_k mit maximalem Informationsgewinn berechnen.

Dieser Ansatz der Maximierung des wesentlichen Informationsgewinns kann in einer besonderen Ausführungsform gemäß Anspruch 2 für den wissenschaftlich und wirtschaftlich wichtigen Fall der Bewegungsbestimmung verwendet werden. Hierbei sind die Rückschlüsse über Bewegungen relativ schwierig zu gewinnen, weil die gemessenen Intensitäten ein Signal darstellen, aus dem zwar relativ unmittelbar Information über die Helligkeit von Objekten in der Außenwelt erschlossen werden kann, aus dem aber nur mit Hilfe relativ kleiner Differenzen oder Differentiale Information über die relative Bewegung von Objekten in der Außenwelt erschlossen werden kann. Daher ist es gerade hier besonders wichtig, ein Verfahren anzuwenden, das den (interessierenden) wesentlichen Informationsgewinn (hier über Bewegung) praktisch maximiert.

Zu diesem Zweck werden Meßgrößen naheliegender Bildpunkte einer sogenannten Bildpunktregion verwendet. Für jeden dieser Bildpunkte können mit Hilfe der gemessenen Intensitäten bzw. Intensitätsableitungen, unter der plausiblen Annahme konstanter Gesamtintensität und entsprechend der Projektionsgeometrie des bildgebenden Sensors lineare Gleichungen für die Rotationen und tiefenskalierten Translationen aufgestellt werden. Man kann die obigen Gleichungen beliebig auswählen, wichten und additiv kombinieren, ohne die Meßgenauigkeit effektiv zu beeinträchtigen; aber durch solche Gleichungskombination läßt sich der wesentliche Informationsgewinn maximieren. Damit ist ein Verfahren zur Maximierung des Informationsgewinns etabliert (dies ist unten in mehreren Varianten konkret ausgeführt). Der dabei resultierende maximale Informationsgewinn hängt schließlich noch von der anfänglichen Meßgenauigkeit der durch den bildgebenden Sensor gemessenen Daten ab. Um diese Meßgenauigkeit zu erhöhen, kann man die zeitlichen Intensitätsableitungen durch einen elektronischen Differentiator bestimmen, und die räumlichen durch zusätzliche Anwendung sogenannter Mikrosakkaden.

Insgesamt liegt dem hier entwickelten Verfahren die grundlegende Einsicht zugrunde, daß man das sogenannte Ausgleichsproblem (J. Stoer. Einführung in die Numerische Mathematik I. Springer Verlag, 3. Auflage, Berlin, 1979.) durch gewichtete Gleichungskombination abwandeln kann (dies ist als neutral für die Ergebnisse anzusehen, solange kein zusätzliches a priori Wissen verfügbar ist), und daß man dabei den wesentlichen Informationsgewinn maximieren kann. Dabei versteht man unter der Ausgleichsrechnung die Bestimmung von gewünschten Größen x_k (die einen Vektor x etablieren) aus gemessenen Größen y_i aufgrund eines funktionellen Zusammenhanges F_i(y_i,x) = f_i(x)-y_i = 0 mit geringstem quadratischen Fehler

Zunächst haben wird das Ausgleichsproblem dadurch abgewandelt, daß die Funktionen F_i nicht notwendig die Form f_i(x)-y_i haben müssen. Aufgrund der Hypothese konstanter Meßgenauigkeit haben wir dies Ausgleichsproblem durch optimal adaptierte Wichtungsfaktoren γ_i dahingehend abgewandelt, daß erstens die gesuchten Größen x_k mit geringstem quadratischen Fehler bestimmt sind

und daß zweitens dabei der wesentliche Informationsgewinn maximal wird

Die mit der Erfindung erzielten Vorteile sind in den folgenden drei Listen genannt. Die allgemeinen durch die Erfindung in Bezug auf maximierten Informationsgewinn erzielten Vorteile sind:

• 1. Man kann gewünschte Daten indirekt durch Messungen anderer Daten vermittelt durch Relationen gewinnen, und dabei den Informationsgewinn bezüglich der gewünschten Daten durch eine optimal adaptierte Kombination der Meßdaten und der Relationen maximieren.
• 2. Dabei kann man von den gewünschten Daten besonders wichtige durch einen Nützlichkeitsfaktor in einem sogenannten wesentlichen Informationsgewinn hervorheben, den wesentlichen Informationsgewinn maximieren, und so die hervorgehobenen gewünschten Daten besonders genau und zuverlässig, d. h. mit besonders hohem Informationsgewinn, bestimmen. So kann man etwa bei der automatisch gesteuerten Landung eines Flugzeuges die relevantere Höhe genauer bestimmen als die irrelevantere seitliche Abweichung.

Die allgemeinen durch die Erfindung erzielten Vorteile sind (siehe hierzu auch Fig. 1):

• 1. Das Verfahren ist allgemein auf die Klasse der bildgebenden Sensoren mit projektiver Abbildungseigenschaft anwendbar.
• 2. Das Verfahren ist echtzeitfähig, etwa durch mögliche Trennung von Offline Kalibration der Verfahrensparameter von der Online Auswertung.
• 3. Das Verfahren ist interpretierbar als komplett adaptiver Kalibrator mit maximalem Informationsgewinn.
• 4. Durch die Bereitstellung von dichten Daten durch den bildgebenden Sensor ist es möglich, den wesentlichen Informationsgewinn durch Auswahl und Wichtung von Sensordaten zu maximieren.
• 5. Der erzielte wesentliche Informationsgewinn wird explizit bestimmt, d. h. es wird eine Sicherheitsgarantie für die entsprechenden Binärstellen der bestimmten Größen bereitgestellt.
  In besonderen Ausführungsformen ergeben sich darüber hinaus weitere Vorteile.
• 6. Durch völlig lokale Verarbeitung von Intensitäten wird die relative Rotation und die tiefenskalierte Translation zwischen dem bildgebenden Sensor und einem beliebigen Objekt eindeutig bestimmt.
• 7. Und zwar wird diese Relativbewegung lokal, ohne Iteration, eindeutig und schnell bestimmt.
• 8. Man kann Bildpunkte mit der gleichen Relativbewegung als einheitliche Objekte interpretieren und somit größere Objekte anhand bestimmter Relativbewegungen aus Bildpunkten zusammenbinden.
• 9. Bei Verwendung mehrerer lokaler Bereiche des gleichen Objekts ergibt sich redundante Information, mit der die Relativbewegung durch gekoppelte lineare Gleichungen besonders robust beestimmt werden kann.
• 10. Darüber hinaus kann die Szenenstruktur für jeden Bildpunkt durch sogenannte tiefenskalierte Translationen flächendeckend bestimmt werden. Die so bestimmte Szenenstruktur ist durch die lokale Verarbeitung hochauflösend. Diese Szenenstruktur läßt sich mit dem Verfahren auch ohne vorherige Bestimmung der Relativbewegung separat bestimmen; somit ist das Verfahren in selbstständige Teile gegliedert.
• 11. Falls in der Szene bewegte Objekte mit Mustermarkierungen sind, so können durch das Verfahren hieraus die zugehörigen relativen Rotationen und tiefenskalierten Translationen sicher innerhalb einer eindeutig bestimmten Fehlertoleranz bestimmt werden.
• 12. Mit dem Verfahren kann durch völlig lokal moduliert gemittelte Intensitätsbleitungen die obige Relativbewegung durch lineare Gleichungen sukzessive bestimmt werden. Daher wird diese Relativbewegung völlig lokal und ohne Iteration besonders schnell und funktional transparent bestimmt.
• 13. Insbesondere ist bei dem Verfahren keine Flußfeldbestimmung nötig, d. h. wir verwenden ein sogenanntes direktes Verfahren.
• 14. Um besonders robuste und sichere Verarbeitung zu ermöglichen, können Bildbereiche mit anisotrop radialen Intensitätsgradienten, sogenannte Sternmuster (siehe Fig. 6), erkannt und verwendet werden.
• 15. Dies Verfahren kann nicht nur durch Verwendung von Sternmustern, sondern auch durch Verwendung anderer Muster etwas begünstigt werden. Und zwar können diese so bestimmt werden, daß der wesentliche Informationsgewinn maximal wird.
• 16. Falls bildgebende Sensoren zusätzlich die Tiefeninformation liefern, kann statt einer tiefenskalierten Translation die relative Translation bestimmt werden. Insgesamt ist dann die Relativposition und -bewegung hochauflösend und zuverlässig bestimmt.
• 17. Durch Verwendung von analogen Differentiatoren und Ausführung von Mikrobewegungen ("Mikrosakkaden") des Sensors ist es möglich, die Intensitätsgradienten ohne Diskretisierungsfehler, d. h. mit besonders geringen relativen Meßfehlern, zu bestimmen. Als Ausführungsbeispiel kann die Mikrosakkadenbewegung ohne bewegliches Bauteil durch Plazierung eines piezoelektrisch gesteuerten Spiegels im parallelen Strahlengang des einfallenden Bildes realisiert werden (siehe Fig. 2). Die konsequente Verringerung des Meßfehlers ist wesentlich, da das nachfolgende Verfahren ohnehin keine Näherung enthält und zudem den maximalen Informationsgewinn bei gegebenem Meßfehler sicherstellt.

Die durch die Erfindung im Hinblick auf spezielle Anwendungen erzielten Vorteile sind:

• 1. Das Verfahren ermöglicht generell eine möglichst effiziente Nutzung von Sensordaten zur automatischen Erzeugung von Ausgabesignalen, insbesondere Steuersignalen.
• 2. Kostenaufwendige Leitsysteme können durch Markierungen, etwa mit anisotrop radialen Intensitätsgradienten in der Szene, sogenannte Sternmustermarkierungen (siehe Fig. 6), oder durch andere Mustermarkierungen kostengünstig substituiert werden.
• 3. Durch die Verwendung von bildgebenden Sensoren ist die für die sichere schnelle Steuerung unabdingbare hochauflösende Signalaufnahme besonders kostengünstig im Vergleich zu anderen Signalgebern, wie etwa Ultraschall.
• 4. Verwendete Kameras liefern Bilder, die einem Roboter vielfach nützlich sind, im Gegensatz etwa zur reinen Tiefeninformation eines Laserscanners.
• 5. Unser funktional transparentes Verfahren ist, z. B. bei Verwendung von Sternmustermarkierungen (oder von ähnlichen in der Szene bereitgestellten Mustermarkierungen), die Grundlage für ein garantiert sicheres Steuerungsverfahren, auch für hohe Geschwindigkeiten des bildgebenden Sensors und/oder bewegter Objekte. Diese hohen Geschwindigkeiten werden auch durch obige Iterationsvermeidung wesentlich gefördert.

Die Durchführung des erfindungsgemäßen Verfahrens erfolgt für den speziellen Fall der Bildverarbeitung mit Hilfe lokaler Bildpunktregionen. Eine Bildpunktregion ist bestimmt durch das Bildpunktregionszentrum hier mit den Koordinaten (x_e, y_e) bezeichnet, in der Bildebene, sowie durch benachbarte Bildpunkte, hier mit den Koordinaten (x_j, y_j) bezeichnet (siehe Fig. 3), sogenannte Bildregionpunkte. Die folgenden Verarbeitungsschritte werden ausgeführt:

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus den nachstehenden Beschreibung, in der Ausführungsbeispiele anhand der Zeichnungen im einzelnen erläutert sind. Dabei zeigt

Fig. 1 eine Darstellung des Verfahrensprinzips für das Beispiel der Bewegungsbestimmung,

Fig. 2 Vorschläge zur Mikrosakkadensteuerung,

Fig. 3 eine Bildpunktregion der Größe 5 mal 5 Pixel,

Fig. 4 Faltungsmasken zur Berechnung der Intensitätsableitungen,

Fig. 5 mögliche konjugierte Punkte einer Bildpunktregion,

Fig. 6 die Illustration der Intensitätsverteilung eines sternförmigen und anisotropen Zielmusters,

Fig. 7 die Abbildungsgeometrie der Transformation von 3D Szene auf 2D Bildfläche am Beispiel eines Kameramodells.

Erläuterung zur Frage von a priori Wissen

Der Zweck dieses Verfahrens besteht darin, die Sensordaten von Automaten optimal in Bezug auf die Ausgabesignale, auszuwählen und zu wichten. Dabei wird davon ausgegangen, daß der Automat neben den Sensordaten y_i und den funktionalen Relationen F_i keine weiteren Hinweise (sogenanntes a priori Wissen) in Bezug auf die Steuersignale und die anderen Ausgabesignale nutzen kann. Falls irgendwelches Wissen vorläge, so wäre es mittels der Sensordaten y_i und der funktionalen Relationen F_i auszudrücken.

Erzeugung maximalen Informationsgewinnes für Ausgabesignale, insbesondere Steuersignale, von Automaten

Eine automatische Steuerung benötigt i. allg. Sensordaten zur Bestimmung möglichst zuverlässiger und präziser Ausgabesignale, insbesondere Steuersignale. Alle Sensordaten sind mit einer begrenzten Meßgenauigkeit behaftet. Es stellt sich daher die Frage, durch welches Verfahren man mit einer begrenzten Meßgenauigkeit erhobene Sensordaten automatisch auswählt und kombiniert, um möglichst zuverlässige und präzise Daten als Ausgabesignale, insbesondere Steuersignale, bereitzustellen. D. h. man möchte gewünschte aber nicht unmittelbar meßbare Daten x_k möglichst präzise mittels einer (aus theoretischen Gründen gültigen) funktionalen Relation 0 = F_i(y_i, x) aus meßbaren Daten y_i bestimmen. Dies heißt, man möchte für die gewünschten Daten x_k möglichst viele Binärstellen zuverlässig bestimmen. Es stellt sich also die Frage, welche Meßdaten man hierfür auswählen sollte, und mit welchem Verfahren man die ausgewählten Meßdaten kombinieren sollte, um möglichst viele Binärstellen der gewünschten Daten x_k zuverlässig zu bestimmen.

Diese Fragestellung wird zunächst im Rahmen der üblichen Bezeichnungen der Informationstheorie formuliert: Die in einer Binärzahl enthaltene Information in Einheiten von Bit ist gleich der Anzahl der Binärstellen der Zahl. Die durch eine Messung gewonnene Information in Einheiten von Bit ist entsprechend gleich der Anzahl der bei der Messung zuverlässig bestimmten Binärstellen für die gemessene Größe. Wenn bei der Messung die Größe y_j gemessen wurde, und wenn dabei der Betrag des Meßfehlers Δy_j nicht übersteigt, so ist der relative Fehler

das entsprechende Signal- zu Rausch-Verhältnis ist der Kehrwert

Die Anzahl der zuverlässig bestimmten Binärstellen ist gleich der Differenz aus der Anzahl der bestimmten Stellen und der Anzahl der unzuverlässig bestimmten Stellen, d. h. log₂|y_j|-log₂|Δy_j|=log₂|y_j/Δy_j|. Dies ist definitionsgemäß der bei der Messung in bezug auf die gemessene Größe erzielte Informationsgewinn:

Im Zusammenhang mit einer automatischen Generierung von Ausgabesignalen ist man i. allg. jedoch nicht unmittelbar an der gemessenen Größe interessiert, sondern an aus einer oder mehreren gemessenen Größen mit Hilfe funktionaler Relationen 0 = F_i(y_i, x) berechneten Größen x_k. Für eine solche berechnete Größe x_k ist der Informationsgewinn entsprechend durch die Anzahl der zuverlässig bestimmten Binärstellen gegeben.

Bei vielen Fragestellungen ist man nicht einmal an einem möglichst großen Informationsgewinn bezüglich einer jeden aus gemessenen Größen berechneten Größe interessiert, sondern es können bei manchen solchen berechneten Größen womöglich wenige zuverlässig bestimmte Binärstellen genügen, wogegen man bei einer anderen derartigen berechneten Größe womöglich viele zuverlässig bestimmte Binärstellen benötigt. Um solche Fragestellungen kurz auszudrücken, kann man für mehrere berechnete Größen x_k einen wesentlichen Informationsgewinn durch ein gewichtetes Mittel aus Informationsgewinnen wie folgt einführen: Vorab werden positive Nützlichkeitswichtungen v_k vereinbart mit Σ_kv_k = konstant; der wesentliche Informationsgewinn ist dann

Es stellt sich also hier die Frage, wie man aus den relativen Meßgenauigkeiten die relativen Genauigkeiten der berechneten Größen bestimmt. Für den Fall, daß eine berechnete Größe x_k aus gemessenen Größen mit einigermaßen kleinem relativen Fehler bestimmt wird (dies ist praktisch immer der Fall), ist es angemessen, den relativen Fehler der berechneten Größe mittels der linearen Fehlerfortpflanzungstheorie zu bestimmen. Dann ist

Hierbei kann man die partiellen Ableitungen entweder mit Hilfe expliziter Gleichungen bestimmen, oder numerisch durch Bestimmung von x_k bei den y_m für m≠j und bei y_j±Δy_j schätzen. Und zwar ist

In jedem Fall erhält man so den wesentlichen Informationsgewinn W explizit als Funktion der Meßgenauigkeiten Δy_j durch Einsetzen von Gl. (9) in Gl. (7) wie folgt.

Man kann nun die funktionalen Relationen entsprechend mit geringstem quadratischen Fehler auswerten, und dabei mit Wichtungsfaktoren γ_i, wobei gilt Σ_jγ_j = konstant, wichten. Schließlich kann man mit einem Optimierungsverfahren (etwa mit einem genetischen Algorithmus) gleichzeitig den gewichteten mittleren quadratischen Fehler

minimieren und den wesentlichen Informationsgewinn W (siehe Gl. (10)) maximieren. So erhält man die gewünschten berechneten Größen x_k entsprechend ihren Nützlichkeiten v_k mit maximalem Informationsgewinn.

Bei dieser Maximierung des Informationsgewinnes können i. allg. die y_i Tupel, d. h. Vektoren, aus einzelnen Sensordaten sein. In einem solchen Fall ist anstelle der partiellen Ableitung der Gradient zu bestimmen; und dieser ist mit dem Vektor Δy_j skalar zu multiplizieren (siehe Gln. (8) und (10)).

Für den speziellen illustrativen und besonders einfachen Fall, daß alle v_k gleich sind, und daß die x_k speziell die Steuersignale sind, wird der maximale Informationsgewinn in unmittelbarer Weise die Steuersignale x_k erzeugt.

Als besonderes Ausführungsbeispiel wird folgendes angeführt: Um die Komplexität der obigen Optimierungsaufgabe zu verringern, kann man eine Vorauswahl an Sensordaten anhand von allgemeinen Anhaltspunkten und Erfahrungswerten treffen.

Insgesamt werden also die gewünschten, für die Generierung von Steuersignalen relevanten Größen x_k mit maximalem wesentlichen Informationsgewinn durch folgende Schritte bestimmt: 1. Messung der Sensordaten y_i. 2. Bestimmung der partiellen Ableitungen. 3. Einlesen von Meßgenauigkeiten und Nützlichkeitsparametern. 4. Optimierungsaufgabe lösen, und zwar E in Gl. (11) minimieren und gleichzeitig W in Gl. (10) maximieren durch simultane Variation der gewünschten Größen x_k und der Wichtungen γ_i für die Sensordaten.

Hiermit ist das Verfahren zur Erzeugung maximalen Informationsgewinnes für Ausgabesignale, insbesondere Steuersignale, von Automaten komplett spezifiziert. Im folgenden werden wichtige Anwendungsgebiete des Verfahrens ausgeführt. Diese Ausführungen schränken in keiner Weise die Allgemeinheit des bis hierher komplett dargelegten Verfahrens ein.

Bestimmung der Relativrotationen und der tiefenskalierten Relativtranslationen mit beliebigen Objekten 22 anhand einer Bildsequenz eines bildgebenden Sensors

Dies betrifft besondere Ausführungsformen der Erfindung gemäß den Unteransprüchen. Ein wichtiges Anwendungsgebiet des gattungsgemäßen Verfahrens liegt im Einsatz von Robotersystemen. Hierbei ist die wichtige Aufgabe der Bestimmung von Relativrotationen und von tiefenskalierten Relativtranslationen mit beliebigen Objekten 22 anhand einer Bildsequenz eines bildgebenden Sensors zu lösen.

Vorverarbeitung

Dies betrifft den 4. Unterpunkt von Anspruch 2. Zunächst wird die Vorverarbeitung in zwei Schritten ausgeführt:

• 1. Ein bewegter bildgebender Sensor erhebt eine Folge entsprechender Intensitätsverteilungen I(x, y, t) an Punkten (x, y) der Bildebene 21 zu Zeitpunkten t.
  Man denke an folgendes Ausführungsbeispiel: um die Intensitätsverteilung für die folgende differentialgeometrische Analyse besonders günstig vorzubereiten, kann man einen Tiefpaßfilter verwenden.
• 2. Es werden die zugehörigen Intensitätsableitungen I_x, I_y und I_t der Intensitätsverteilung nach x, y bzw. t bestimmt.
  Man denke an folgende Ausführungsbeispiele:
  • (a) Man kann diese Intensitätsableitungen z. B. aus 2mal 2 oder aus 3mal 3 Bildpunkten zu zwei aufeinanderfolgenden Zeitpunkten bestimmen. (siehe Fig. 4).
  • (b) Bei Objektgrenzen können besonders hohe Ableitungen auftreten. Entsprechend werden Bildpunkte (x_k, y_k) mit besonders hohen Ableitungen nur bedingt verwendet.
  • (c) Bei homogenen Flächen können besonders niedrige Ableitungen auftreten. Entsprechend werden Bildpunkte (x_k, y_k) mit besonders niedrigen Ableitungen nur bedingt verwendet.

Vereinfachungen für einen bildgebenden Sensor, die daher rühren, daß bei bildgebenden Sensoren die relativen Meßgenauigkeiten benachbarter Bildpunkte praktisch gleich sind

Weil die Bildpunkte einer Bildpunktregion relativ dicht beieinander liegen, ist es plausibel anzunehmen, daß die relativen Meßfehler der zeitlichen und räumlichen Intensitätsableitungen an diesen Bildpunkten konstant sind. Diese Hypothese wird "error constancy", kurz ERCO genannt. Die ERCO wird wie folgt formuliert:

alles für (x_j, y_j) & (x_k, y_k) in gleicher Bildpunktregion. (Selbst wenn die ERCO nur näherungsweise gelten sollte, so ließe sich das präsentierte Verfahren dadurch verallgemeinern, daß man den relativen Meßfehler am Bildpunkt (x_j, y_j) mittels einer Taylorreihe ausdrückt durch den relativen Meßfehler am Bildpunkt (x_k, y_k) und durch den Abstandsvektor (x_j-x_k, y_j-y_k), denn mit dem repräsentierten Verfahren werden die Bewegungsgrößen explizit durch stetige Funktionen der gemessenen Intensitätsableitungen bestimmt.)

Partielle Ableitungen

Für die Anwendung des gattungsgemäßen Verfahrens der Maximierung des wesentlichen Informationsgewinnes auf den Fall der Bestimmung der Relativrotationen und der tiefenskalierten Relativtranslationen gilt folgende spezielle Betrachtung: Hier ist die berechnete Größe x_k mittels linearer Gleichungssysteme bestimmt (siehe Anhang), dies läßt sich wie folgt ausdrücken:

Ax = b.

Zudem sind hier die Meßfehler durch Δ, Δ und ΔI_t,j gegeben und bestimmen die Fehler der obigen Inhomogenität und Matrix wie folgt.

ΔA_ÿ = α_ÿΔ+_ÿΔ.

Δb_k = β_kΔI_t,j.

Der relative Fehler kann mit Hilfe der Pseudoinversen A⁺ folgendermaßen expliziert werden:

Setzt man dies in die obige Gl. (7) ein, so erhält man einen expliziten Ausdruck für den wesentlichen Informationsgewinn als Funktion der gemessenen Intensitätsgradienten inhärent in den Komponenten b_j und den Matrixelementen A_ÿ und auch als Funktion der sichergestellten Meßgenauigkeiten Δ, Δ und ΔI_t,j. Diese explizite Funktion vereinfacht hier speziell die Maximierung des wesentlichen Informationsgewinnes.

Mikrosakkaden

Dies betrifft Anspruch 4. Weil die besondere Ausführungsform des Verfahrens nach Anspruch 2 zur Bestimmung von Relativrotationen und tiefenskalierten Relativtranslationen aus Bildsequenzen bereits den wesentlichen Informationsgewinn bei gemessenen Intensitätsableitungen an den Bildpunkten und bei gegebener Meßgenauigkeit des bildgebenden Sensors maximiert, ist eine weitere Vergrößerung des wesentlichen Informationsgewinns nur durch Verbesserung der Meßgenauigkeit für die gemessenen Intensitätsableitungen möglich. Zu diesem Zweck kann man die Intensitätsableitungen an einzelnen Bildpunkten mit Hilfe eines elektronischen analogen Schaltkreises bestimmen, der als Differentiator arbeitet.

Und zwar liefert ein solcher Differentiator unmittelbar die zeitliche Ableitung der gemessenen Intensität; dies i. allg. genauer als die Bestimmung der zeitlichen Intensitätsableitung durch zwei aufeinanderfolgende Intensitätsmessungen.

Um auch bei der Messung der Intensitätsgradienten die Verwendung zweier, hier benachbarter, gemessener Intensitäten zu eliminieren, kann man den bildgebenden Sensor mit Geschwindigkeiten

effektive Bewegungen, sogenannte Mikrosakkaden 13 (Fig. 2), ausführen lassen.

Hierbei kann man die zeitliche Intensitätsableitung zu einem Zeitpunkt t^- sehr kurz vor dem Zeitpunkt t mit einem Differentiator messen, zum Zeitpunkt t und zu einem Zeitpunkt t⁺ sehr kurz nach dem Zeitpunkt t. Dies ergibt mit Hilfe der Kettenregel drei Gleichungen mit den drei Unbekannten

Daraus lassen sich die drei Unbekannten, d. h. die verwendeten Intensitätsableitungen, bestimmen. Die drei Gleichungen lauten

Hierbei ist die plausible Hypothese verwendet, daß I_t,j, und zu den Zeitpunkten t, t^- und t⁺ praktisch gleich sind.

Die obigen Mikrosakkaden 13 müssen physikalisch realisiert werden. Hierzu schlagen wir vier Ausführungsbeispiele vor:

• 1. Piezoelektrische Aufhängung des bildgebenden Sensors: Man kann die Abmessungen eines piezoelektrischen Bauteils durch Anlegen einer elektrischen Spannung variieren. Somit kann man die Position des bildgebenden Sensors elektrisch unmittelbar variieren, d. h. man kann somit Mikrosakkaden 13 erzeugen (siehe Fig. 2(d)). Dies betrifft Anspruch 8 des Verfahrens.
• 2. Alternativ können diese Mikrosakkaden 13 an einem gewünschten Bauteil des Sensors ansetzen, etwa an einem (oder zwei) Spiegeln 10 im parallelen Strahlengang 11 (siehe Fig. 2(a)). Dies betrifft Anspruch 5 des Verfahrens.
• 3. Man kann ein gewünschtes gering bewegliches (etwa ein an einer Stahlmembran aufgehängtes) Bauteil des bildgebenden Sensors, etwa einen Spiegel 14 im parallelen Strahlengang 11, mit Hilfe einer (oder zwei) elektromagnetischen Spule(n) bewegen, d. h. durch magnetische Kräfte (siehe Fig. 2(b)). Dies betrifft Anspruch 7 des Verfahrens.
• 4. Man kann völlig ohne bewegliches Teil effektiv Mikrosakkaden 13 dadurch erzeugen, daß man bei ein (oder zwei) schräg zum parallelen Strahlengang 11 gestellte(n) Platten aus geeignetem Material (etwa gefüllt mit einem flüssigkristallinen Material 16) den Brechungsindex durch variable anliegende elektrische Spannungen variiert (siehe Fig. 2(c)). Dies betrifft Anspruch 6 des Verfahrens.

Signallaufzeit

Nach Möglichkeit bestimmt der bildgebende Sensor zudem die Signallaufzeit für die doppelte Wegstrecke vom Sensor zu einem auf dem Bildpunkt (x, y) projizierten Objekt 22. Hieraus und aus der Signalausbreitungsgeschwindigkeit wird die Objektsensordistanz d(x, y) bestimmt. Hieraus und aus (x, y) wird mit Hilfe geometrischer Relationen die Objektposition bestimmt, einschließlich der Tiefe. Dies betrifft Anspruch 9 des Verfahrens.

Dies hat folgende Fallunterscheidung zur Konsequenz: In der besonderen Ausführungsform des Verfahrens nach Anspruch 2 kann in jedem Fall die Relativrotation und die tiefenskalierte Relativtranslation des Objektes 22 aus den gemessenen Intensitätsableitungen I_x, I_y und I_t bestimmt werden. Falls der Sensor zusätzlich die obige Laufzeit bestimmt, so kann aus der tiefenskalierten Relativtranslation zusammen mit der Tiefe auch die unmittelbare Relativtranslation bestimmt werden. Insgesamt ist dann die komplette Relativposition- und bewegung zwischen dem bildgebenden Sensor und einem beliebigen Objekt 22 bestimmbar.

Mustermarkierungen

Mustermarkierungen in der Szene werden verwendet, falls eine Sicherheitsgarantie für die Erkennung von Objekten 22 gewünscht ist (siehe z. B. Fig. 6). Dies betrifft Unteranspruch 10.

Zur Bestimmung der Wichtungsmuster

Die Bestimmung der Wichtungsmuster γ_i benötigt i. allg. relativ viel Rechenzeit, da eine Optimierungsaufgabe zu lösen ist. Entsprechend werden zur Bestimmung der Wichtungsmuster γ_i alternative unterschiedliche Ausführungsformen mit spezifischen Vor- und Nachteilen entsprechend den Unteransprüchen 11., 12. und 13. dargelegt.

In der Praxis kann man Sensordaten vorab kombinieren und erhält so unterschiedliche Gleichungen für Sensordaten. Somit entsprechen den Wichtungsmustern für Sensordaten auch Wichtungsmuster für Gleichungen (siehe etwa für den Fall einer planaren Bildfläche Gln. (90), (82), (80)). Alle verwendeten Gleichungen beruhen dabei letztlich auf der Geometrie des bildgebenden Sensors (geometrische Optik) (siehe etwa für den Fall einer planaren Bildfläche Gl. (84)) sowie auf der Hypothese ("brightness constancy", kurz BC) (siehe Gl. (85)), daß die gesamte von einem Objekt 22 auf die Bildfläche projizierte Intensität praktisch konstant ist, solange das Objekt 22 komplett auf die Bildfläche projiziert ist. Die Gleichungen können beliebig kombiniert und gewichtet werden.

Optimierung

Der direkte Weg zur Bestimmung der Wichtungsmuster für Gleichungen besteht in der Optimierung, d. h. in der Minimierung des Fehlers (siehe Gl. (11)) und der gleichzeitigen Maximierung des wesentlichen Informationsgewinnes W (siehe Gl. (10)). Dies betrifft den Unteranspruch 11 des Verfahrens.

Klassifikation

Um nicht Online optimieren zu müssen, kann man die günstigen Wichtungsmuster vorab bestimmen und Online durch eine look-up-Tabelle aufgreifen: Bestimmung der Wichtungsmuster entsprechend ausgewähltem Bildmaterial vorab.

• 1. Klassifikation der möglichen gemessenen Intensitäten,
• 2. Bestimmung eines Wichtungsmusters mit relativ hohem wesentlichen Informationsgewinn wie in obiger Optimierung für jede Klasse.

Es ist leicht erkennbar, daß man auf derartige Weise auch andere verwendete Verfahrensparameter, wie z. B. Zielmuster, optimieren kann. Dies betrifft den Unteranspruch 12 des Verfahrens.

Symmetrisierung

Man kann geeignete Wichtungsmuster γ_i auch bestimmen, ohne eine Optimierungsaufgabe zu lösen; dies führt zu einem relativ geringen Bedarf an Rechenzeit. Dies betrifft den Unteranspruch 13 des Verfahrens. Diese Bestimmung der Wichtungsmuster kann mit dem folgenden sogenannten /it Symmetrisierungsverfahren durchgeführt werden. Dies Verfahren ist so explizit ausführbar, daß eine geschlossene Lösung angegeben ist.

Für eine beliebige betrachtete Bildpunktregion mit Zentrum bei (x_e, y_e) werden die mit dem bildgebenden Sensor gemessenen Intensitätsableitungen an den Bildregionpunkten 19 (x_j, y_j) mit Hilfe von sogenannten konjugierten Bildpunkten 20 auf sogenannte Zielmuster transformiert und zu sogenannten modulierten Multipolen verarbeitet. Mit Hilfe dieser modulierten Multipole wird ein Gleichungssystem für die Relativbewegung (Kurznotation ψ_e ) zwischen dem bildgebenden Sensor und dem auf diese Bildpunktregion projizierten Objekt 22 aufgestellt. Diese Gleichungen des Gleichungssystems für die Bildpunktregion mit Zentrum (x_e, y_e) werden symmetrisierte modulierte Multipolgleichungen für (x_e, y_e) genannt, kurz SMME_e. Dieses Teilverfahren, d. h. diese Umsetzung der durch den bildgebenden Sensor gemessenen Intensitätsableitungen in die SMME_e, wird Symmetrisierung genannt.

Mit dieser Symmetrisierung wird zugleich eine statische Mittelung über die durch den bildgebenden Sensor gemessenen Intensitätsableitungen ausgeführt, und eine Transformation dieser Intensitätsableitungen auf Zielmuster durchgeführt. Durch diese statistische Mittelung wird das Verfahren robust gegenüber Rauschsignalen und durch die Transformation auf geeignete Zielmuster wird das Verfahren bei unterschiedlichen geometrischen Anordnungen von Objekten und bei unterschiedlichen Objekthelligkeitsverhältnissen robust anwendbar (weil die Matrix des Gleichungssystems bei geeigneten Zielmustern eine relativ große Determinante hat). Dabei unterstützen sich die Transformation und die statistische Mittelung gegenseitig. Insbesondere werden später modulierte Multipole bei beliebigen gemessenen Intensitätsableitungen genau Null und damit stabil zu Matrixelementen weiterverarbeitet.

An dieser Stelle ist es wichtig zu unterstreichen, daß sich statistische Fehler im Eingang, d. h. solche, die bei der Erhebung der Intensitäten durch den Sensor und bei der nachfolgenden Berechnung der Ableitungen entstehen, durch die Transformation nicht weiter akkumulieren, sondern im Gegenteil über den sich dann anschließenden Mittelungsprozeß (bei der Bestimmung der Multipole) nach dem zentralen Grenzwertsatz kompensieren. Dabei ist die Darstellung in Multipolen in Anlehnung an die elektromagnetische Feldtheorie gewählt. Die modulierten Multipole stellen in gewissem Sinne (siehe unten) ein vollständiges Funktionensystem dar mit prinzipiell unbegrenzt vielen modulierten Multipolen. Entsprechend kann man unterschiedliche Versionen des Verfahrens erhalten, indem man eine andere Auswahl modulierter Multipole trifft, indem man eine andere Auswahl konjugierter Bildpunkte 20 trifft, oder indem man eine Transformation auf andere (für die Invertierbarkeit der SMME_e günstige) Zielmuster anwendet.

Man könnte daran denken, ein anderes vollständiges Funktionensystem zu verwenden. Dies kann bei diesem Verfahren völlig analog gemacht werden, falls gewünscht, ist jedoch kaum sinnvoll. Es könnte höchstens bei bestimmten (nicht allgemeinen) gemessenen Intensitätsverhältnissen einen begrenzten Geschwindigkeitsvorteil ergeben, denn die modulierten Multipole kommen dadurch zustande, daß man die gemessenen Intensitätsableitungen mit einer beliebigen Modulationsfunktion moduliert und die Modulationsfunktion durch Polynome darstellt. Diese Darstellung ist nur für endlich viele Bildpunkte (im wesentlichen aus der Bildpunktregion) nötig und kann daher praktisch mit beliebigen Funktionensystemen mit endlich vielen Termen exakt erfolgen. Insgesamt kann das Verfahren praktisch mit jedem Funktionensystem durchgeführt werden, zudem ist die Wahl des Funktionensystem ist die Wahl des Funktionensystems weitgehend irrelevant und wird daher im folgenden nicht weiter diskutiert.

Zum Zwecke einer konkreten Darstellung wird das Teilverfahren der Symmetrisierung im folgenden mit einem sogenannten prototypisch ausgeführten Fall durch eine prototypische Auswahl modulierter Multipole (Gln. 17 siehe unten), konjugierter Punkte 20 (siehe Fig. 5) und eines sternförmigen Zielmusters (siehe Fig. 6) eingeführt; dabei werden Ausführungsbeispiele mit anderen modulierten Multipolen, konjugierten Punkten 20 und Zielmustern angeführt.

Im folgenden werden die Abkürzungen x_j-x_e: = Ξ_j und y_j-y_e: = Y_j verwendet. Die Symmetrisierung ist durch folgende zehn Verarbeitungsschritte bestimmt:

1. Bestimmung konjugierter Bildpunkte

Für einen betrachteten Bildregionpunkt 19 (Ξ_j, Y_j) werden weitere sogenannte konjugierte Bildpunkte 20 (Ξ_k(j), Y_k(j)) ausgewählt. Und zwar sind dies im prototypisch ausgeführten Fall

(Ξ_k, Y_k) = (-Ξ_j, Y_j), (Ξ_m, Y_m) = (Ξ_j, -Y_j), (Ξ_n, Y_n) = (-Ξ_j, -Y_j)

und ein Bildpunkt innerhalb der Bildpunktregion und auf der Halbgeraden vom Zentrum durch (Ξ_j, Y_j), d. h. ein Bildpunkt

(Ξ_p, Y_p) = (FΞ_j, FY_j)

bestimmt durch einen geeigneten Faktor F (siehe z. B. Fig. 5). Wegen der Diskretisierung der Bildpunkte durch den bildgebenden Sensor liegt ein solcher vierter konjugierter Bildpunkt 20 für relativ viele aber nicht für alle Bildpunkte (Ξ_j, Y_j) der Bildpunktregion vor.

Dies kann durch verschiedene Ausführungsbeispiele aufgefangen werden. Man kann etwa Bildpunkte (Ξ_j, Y_j) ohne den vierten konjugierten Bildpunkt 20 (Ξ_p, Y_p) schlicht bei der Bestimmung der modulierten Multipole (siehe unten) unberücksichtigt lassen. Man kann auch für einen Punkt auf der obigen Halbgeraden die Intensitätsableitungen durch Interpolation bestimmen, und diesen Punkt ersatzweise als vierten konjugierten Punkt 20 verwenden.

2. Statistische Mittelung der gemessenen Intensitätsableitungen mit modulierten Multipolen

In diesem zweiten Schritt wird das vollständige Funktionensystem der modulierten Multipole eingeführt. Zudem werden, zum Zweck der Erläuterung des Verfahrens, die zugehörigen sogenannten modulierten multipolaren Gleichungen, kurz MME_e bestimmt. Dieser Schritt hat definitorischen und erläuternden Charakter.

An einem Bildpunkt (x_j, y_j) lautet die BCCE (siehe Gl. 90 in Anhang A)

Dabei ist der Bewegungszustand bezeichnet durch:

ψ = (ω_x, ω_y, ω_z, T_e,x, T_e,y, T_e,z). (16)

Erläuterung der Modulation

Die BCCEs bei den Bildregionpunkten 19 (x_j, y_j) werden mit einer beliebigen Modulationsfunktion F(x_j, y_j) multipliziert und die multiplizierten Gleichungen werden addiert. Dies ergibt weitere Gleichungen, die sogenannten modulierten Gleichungen. Die Modulationsfunktion ist allgemein als Potenzreihe darstellbar. Man kann die entsprechenden Terme der Potenzreihe als neue separate Modulationsfunktionen auffassen, die zugehörigen modulierten Gleichungen bilden, diese summieren, die Summe mit der ursprünglichen Modulationsfunktion identifizieren und in der Summe sogenannte modulierte Multipole identifizieren (siehe Tabelle 1). Insofern bilden die modulierten Mutipole ein vollständiges Funktionensystem in Bezug auf die BCCE und damit in Bezug auf die Bestimmung der Relativbewegung. Diese Summe modulierter Gleichungen ausgedrückt durch modulierte Multipole wird modulierte multipolare Gleichung (MME_e) genannt.

Definition der modulierten Multipole

Ausführungsbeispiele für modulierte Multipole sind:

Gelegentlich unterlassen wir das Attribut "moduliert" wenn es aus dem Kontext ersichtlich ist.

Ausführungsbeispiele der daraus resultierenden modulierten multipolaren Gleichungen sind:

• (a) Wir führen die folgenden Modulationsfunktionen F(x_j, y_j) = ,mit den Exponenten g_x und g_y, welche die Werte (g_x, g_y) = (0,0), (0,1), (1,0) oder (1,1) annehmen, ein.
  Unter Benutzung der modulierten Multipole (Gln. 18) erhalten wir für die Paare (g_x, g_y) die Gln. (19).
  Obengenanntes ergibt ein System von vier Gleichungen für (g_x, g_y) = (0,0), (0,1), (1,0) und (1,1). Diese Gleichungen werden kurz (g_x, g_y)- MME_e genannt.
• (b) Als nächstes führen wir weitere vier Gleichungen über die Modulationsfunktion F(x_j, y_j) = ,mit den Exponenten g_x und g_y, welche die Werte (g_x, g_y) = (0,0), (0,1), (1,0) oder (1,1) annehmen, ein. Die resultierenden Gleichungen werden mittels der Multipole (Gln. 18) wie in Gl. (20) ausgedrückt. Diese vier Gleichungen werden kurz (g_x, g_y, Ξ)- MME_e genannt.
• (c) Analog führen wir vier weitere Gleichungen über die Modulationsfunktion F(x_j, y_j) = Y_j,mit den Exponenten g_x und g_y, welche die Werte (g_x, g_y) = (0,0), (0,1), (1,0) oder (1,1) annehmen, ein. Die resultierenden Gleichungen werden mittels der Multipole (Gln. 18) wie in Gl. (21) ausgedrückt. Diese vier Gleichungen werden kurz (g_x, g_y, Y)- MME_e genannt.

Die allgemeine Gleichung für beliebige Multipole lautet wie Gl. (22).

Bei dem prototypisch ausgeführten Fall benutzen wir von den oben hergeleiteten zwölf modulierten Multipolgleichungen die vier (g_x, g_y)- MME_e, die (0, 0, Ξ)- MME_e, die (0, 0, Y)- MME_e und die (1, 0, Y)- MME_e. Diese sieben Gleichungen bilden die Matrix A^multipole. Diese Matrix ist für den Fall, daß bereits eine Transformation mit Sternmustern als Zielmuster vorgenommen wurde, in Gl. (64) zur Illustration angegeben.

3. Symmetriekonforme Organisierung der modulierten Multipolelemente

Nun werden die modulierten Multipole entsprechend den Eigenschaften bezüglich Achsenspiegelungen gegliedert. Dies ist für das Verfahren besonders günstig, weil dies einer speziellen Symmetrieeigenschaft der BCCE entspricht. Es treten nämlich in der BCCE nur Terme proportional Ξ_jY_j, Ξ⁰_jY_j, Ξ_jY⁰_j und Ξ⁰_jY⁰_j auf, diese sind symmetrisch bzw. antisymmetrisch bzgl. solcher Achsenspiegelungen. Insgesamt hat dieser dritte Schritt erstens erläuternden Charakter und führt zweitens den im Verfahren verwendeten sogenannten Symmetriefaktor P^q, und die sogenannten Symmetriekoeffizienten a^x _q, b^x _q, c^x _q, d^x _q, a^y _q, b^y _q, c^y _q, d^y _q, a^t _q, b^t _q, c^t _q und d^t _q ein.

Symmetriegerechte Notation für modulierte Multipole

Damit man die Gliederung der modulierten Multipole entsprechend den Eigenschaften bezüglich Achsenspiegelungen effizient formulieren kann, wird erstens ein Symmetriefaktor

P_q = Ξ^p₁ _jY^p₂ _jsgn(Ξ_j)^p₃sgn(Y_j)^p₄ (23)

eingeführt, der symmetrisch ist in Ξ_j und in Y_j. D. h. p₁+p₃ ist gerade und auch p₂+p₄. q spezifiziert hierbei die Werte der vier Exponenten p₁, . . ., p₄.

Zweitens werden für einen modulierten Multipol µ die Multipolelemente µ_j eingeführt, aus denen µ als Summe über die Bildregionpunkte 19 (x_j, y_j) aufgebaut wird:

Mit diesen zwei Bezeichnungen wird ein jedes Multipolelement dargestellt durch

μ_j = μ^x _j + μ^y _j + μ^t _j (25)

mit

μ^x _j = a^x _qP^q + b^x _qP^qΞ_j + c^x _qP^qY_j + d^x _qP^qΞ_jY_j

μ^y _j = a^y _qP^q + b^y _qP^qΞ_j + c^y _qP^qY_j + d^y _qP^qΞ_jY_j

μ^t _j = a^t _qP^qI_t,j + b^t _qP^qΞ_jI_t,j + c^t _qP^qY_jI_t,j + d^t _qP^qΞ_jY_jI_t,j.

Dabei sind die zwölf Symmetriekoeffizienten (mit Werten 0 oder 1) a^x _q, b^x _q, c^x _q, d^x _q, a^y _q, b^y _q, c^y _q, d^y _q, a^t _q, b^t _q, c^t _q und d^t _q eingeführt. Für jeden modulierten Multipol ist genau ein Symmetriekoeffizient ungleich Null. Umgekehrt ist ein modulierter Multipol durch genau diesen Symmetriekoeffizienten zusammen mit der inhärenten Intensitätsablei­ tung I_t, I_x oder I_y spezifiziert. Hiermit ist ein jedes Multipolelement einer sogenannten Symmetrieklasse zugeordnet; und zwar der Klasse mit dem sogenann­ ten Symmetrieindex s = a für a^x _q = 1 oder a^y _q = 1 oder a^t _q = 1, der Klasse mit dem Symmetrieindex s = b für b^x _q = 1 oder b^y _q = 1 oder b^t _q = 1, der Klasse mit dem Symmetrieindex s =c für c^x _q = 1 oder c^y _q = 1 oder c^t _q = 1, der Klasse mit dem Symmetrieindex s = d für d^x _q = 1 oder d^y _q = 1 oder d^t _q = 1.

Zum Beispiel ist bestimmt durch den Symmetriekoeffizienten a^y _q = 1 mit q ∼ (p₁ = 1, p₂ = 0, p₃ = 1, p₄ = 0). Als weiteres Beispiel kann man betrachten. Es wird durch den Symmetriekoeffizienten d^x _q = 1 mit q ∼ (p₁ = 0, p₂ = -1, p₃ = 0, p₄ = 1) beschrieben.

Als nächstes sammeln wird die Terme des Multipolelementes, welche symmetrisch zu Ξ_j und zu Y_j sind und bezeichnen ihre Summe

μa_j = a^x _qP^q + a^y _qP^q + a^t _qP^qI_t,j (26)

als Ξ_j-Y_j-symmetriekonformes Subelement. Analog führen wir das _j-Y_j-symme­ triekonforme Subelement

μ^b _j = b^x _qP^qΞ_j + b^y _qP^qΞ_j + b^t _qP^qΞ_jI_t,j (27)

symmetrisch zu Y_j und antisymmetrisch zu Ξ_j, das Ξ_j-_j-symmetriekonforme Subelement

μ^c _j = c^x _qP^qY_j + c^y _qP^qY_j+ c^t _qP^qY_jI_t,j (28)

antisymmetrisch zu Y_j und symmetrisch zu Ξ_j, und das _j-_j-symmetriekonforme -Subelement

μ^d _j = d^x _qP^qΞ_jY_j + d^y _qP^qΞ_jY_j + d^t _qP^qΞ_jY_jI_t,j (29)

antisymmetrisch zu Y_j und Ξ_j ein. Mit Hilfe dieser symmetriekonformen Subele­ mente drücken wir das Multipolelement wie folgt aus:

μ_j = μa_j + μ^b _j + μ^c _j + μ^d _j. (30)

4. Lineare Kombination von modulierten Multipolelementen konjugierter Bildpunkte

Für den betrachteten Bildpunkt (x_j, y_j) nehmen wir die modulier­ ten Multipolelemente der konjugierten Bildpunkte 20 (x_k(j), y_k(j)). Wir bilden die Linearkombination

mit einem Koeffizienten α_k(j) für jeden konjugierten Bildpunkt 20. Diese Koeffizien­ ten werden später so gewählt, daß die durch den bildgebenden Sensor gemessenen Intensitätsableitungen das Zielmuster ergeben. Für generelle Zielmuster sind hierfür geeignete konjugierte Bildpunkte 20 zu wählen.

Generell ist ein Zielmuster durch eine Zuordnung eines 2D Vektors zu jedem Bildre­ gionpunkt 19 bestimmt (siehe etwa Fig. 6). Ein Zielmuster ist also ein Vektorfeld.

In einer Ausführungsvariante kann man auch für μ_j einen Koeffizienten ungleich 1 wählen.

Für das prototypisch ausgeführte Beispiel sind der Bildpunkt mit seinen konjugierten Punk­ ten 20 die fünf Bildpunkte (x_j, y_j), (x_k, y_k), (x_m, y_m), (x_n, y_n) und (x_p, y_p). Wir bilden die lineare Kombination

μ_sum,j = μ_j + αμ_k + βμ_m + γμ_n + δμ_p (32)

mit vier Koeffizienten α, β, γ und δ, welche unten berechnet werden. Insbesondere werden diese Koeffizienten unten für das sternförmige Zielmuster bestimmt.

5. Symmetriekonforme Organisierung von linearen Multipolelementkombi­ nationen

Analog zu oben (siehe Gl. (30)) führen wir auch für die Linearkombina­ tion (siehe Gl. (31)) die vier möglichen symmetriekonformen Subelemente ein.

Insgesamt erhalten wir

6. Bestimmung der effektiven Intensitätsgradienten

Für jeden konjugierten Bildpunkt 20 (x_k(j), y_k(j)) und jede Symmetrieklasse (s ∈ {a, b, c, d} wird ein Kon­ jugationsfaktor wie folgt bestimmt:

Dabei werden folgende Symmetrieexponenten n_x(a) = 0, n_y(a) = 0, n_x(b) = 1, n_y(b) = 0, n_x(c) = 0, n_y(c) = 1 und n_x(d) = 1, n_y(d) = 1 verwendet.

Also ist:

Analog gilt

und

sowie

Die eckigen Klammern in den obigen Gleichungen werden effektive Intensitätsgradi­ enten (in Anlehnung an Gl. 26) genannt. Diese effektiven Intensitätsableitungen wer­ den in dem Verfahren für die Koeffizienten α_k(j) tatsächlich bestimmt. Dabei werden zuvor die Koeffizienten α_k(j) so bestimmt, daß die effektiven Intensitätsableitungen der Bildregionpunkte 19 ein Vektorfeld bilden, das dem Zielmuster gleich ist.

Konkret lauten die effektiven Intensitätsableitungen wie folgt:

für s ∈ {a, b, c, d}.

Für den prototypisch ausgeführten Fall nimmt obige Gl. (33) folgende Form an.

Diese symmetriekonformen Subelemente werden wie folgt bestimmt:

Zuerst setzen wir nach Gln. (26), (27), (28) und (29) ein:

Analoge Gleichungen gelten für + und .

Zweitens erklären wir nützliche Symmetrierelationen, welche inhärent im Symmetriefaktor P^q stecken. Mit Ξ_k = -Ξ_j und Y_k = Y_j erhält man

P^q(Ξ_k, Y_k) = P^q(-Ξ_j, Y_j) = P^q (Ξ_j, Y_j). (42)

Analog bekommt man

P^q(Ξ_m, Y_m) = P^q(Ξ_j, -Y_j) = P^q (Ξ_j, Y_j). (43)

P^q(Ξ_n, Y_n) = P^q(-Ξ_j, -Y_j) = P^q (Ξ_j, Y_j). (44)

Für die konjugierten Punkte (x_p, y_p) und für die betrachteten Multipole gibt es einen Expo­ nenten E_q so, daß

P^q(Ξ_p, Y_p) = P^q(Ξ_j, Y_j) (45)

gilt. Insbesondere ist E_q gleich (p₁+p₂) für den betrachteten Wert von q; dies zeigt, daß ein solches E_q existiert. Wir bezeichnen P^q(Ξ_j, Y_j) im folgenden kürzer durch P^q.

Drittens kann man mit der obigen Relation die Gl. (41) vereinfachen und erhält

Analog kann man (zusätzlich mit Ξ_p = FΞ_j und Ξ_k = Ξ_n = -Ξ_j = Ξ_m)

herleiten und erhält auf ähnliche Weise

und

Insgesamt erhalten wir auch hier

Die obigen rechteckigen Klammern, welche die Intensitätsgradienten beinhalten, sind die effektiven Intensitätsgradienten des resultierenden linearkombinierten modulierten Multipols μ_sum,j.

Bildpunktweise Erfüllung des Zielmusters

Nun werden die Koeffizienten α_k(j) für die konjugierten Bildpunkte 20 so bestimmt, daß die effektiven Intensitätsgra­ dienten nach x und y proportional sind zum Vektor , ) des Zielmusters am Bildpunkt (x_j, y_j). Es werden also die Koeffizienten α_k(j) so bestimmt, daß folgende acht Gleichungen gelten:

p^s _j = und p^s _j = (51)

für s ∈ {a, b, c, d}. Hierbei ist p^s _j der Proportionalitätsfaktor.

Diese Intensitätsableitungen werden für die entsprechenden eckigen Klammern in den Gln. (36), (37), (38) und (39) eingesetzt, sodann werden diese Gleichungen entsprechend Gl. 34 zu μ_sum,j addiert. P^q (Ξ_j, Y_j) wird durch P^q abgekürzt. Also ist

Radialisierung

Für den prototypisch ausgewählten Fall erfolgt die Bestimmung der Koeffi­ zienten α, β, γ und δ wie folgt. Wir wählen diesen Koeffizienten so, daß das Paar (rechteckige Klammern mit Ξ-Intensitätsableitungen rechteckige Klammern mit Y-Intensitätsableitun­ gen) parallel zum Paar (-Ξ_j, -Y_j) ist, d. h. parallel zur radialen Richtung zum Zentrum der Bildpunktregion ist (für die rechteckigen Klammern siehe Gln. (46), (47), (48) und (49)).

Allgemeiner wünschen wir eine gewisse Abweichung von der radialen Richtung gekennzeich­ net durch einen Anisotropieparameter Ξ^anis, indem wir verlangen, daß (rechteckige Klammern mit Ξ-Intensitätsableitungen, rechteckige Klammern mit Y-Intensitätsableitungen) paral­ lel zum Paar (-Ξ^anisΞ_j, -Y_j) ist. Dabei führt der Spezialfall -Ξ^anis = 1 auf die isotropen radialen Richtungen und ein isotropes Richtungsfeld, während der Fall Ξ^anis ≠ 1 zu einem anisotropen Richtungsfeld führt. Die korrespondierenden einzelnen Richtungen bezeichnen wir als anisotrop radial. Unter einer verallgemeinerten radialen Richtung verstehen wir ent­ weder eine isotrope radiale Richtung parallel zu (-Ξ_j, -Y_j) oder eine anisotrope radiale Richtung parallel zu (-Ξ^anisΞ_j, -Y_j) mit Ξ^anis ≠ 1. Wir unterlassen das Attribut "verall­ gemeinert", wenn es aus dem Kontext ersichtlich ist.

Insgesamt werden diese Wunschrichtungen wie folgt erklärt. Wir wählen die Koeffizienten α, β, γ und δ so, daß

Das heißt, daß die vier Linearkombinationen der effektiven Intensitätsgradienten (ausge­ drückt durch korrespondierende rechteckige Klammern) parallel zur Richtung (-Ξ^anisΞ_j, -Y_j) liegen sollten. Das ergibt ein lineares Gleichungssystem, welches gelöst werden kann, indem zuerst die vier äquivalenten Gleichungen welche ausdrücken, daß die nichtradialen Kom­ ponenten verschwinden, formuliert werden und zweitens die Gaußelimination zur Lösung angewendet wird. Während diese Methode ziemlich komplizierte Formeln ergibt, kann es doch dazu herangezogen werden, schlußzufolgern, daß eine Lösung existiert. Auf der Basis dieser Erkenntnis kann das Gleichungssystem effizienter wie folgt gelöst werden.

Zuerst addiert man die erste, dritte, fünfte und siebte Gleichung in (53), als auch die zweite, vierte, sechste und achte, um

mit der kurzen Notation Δ = δF^Eq herzuleiten.

Zweitens kann man die dritte und die siebte Gleichung in (53) addieren, als auch die vierte und achte um

mit der Abkürzung herzuleiten.

Drittens kann man die fünfte und siebte Gleichung in (53) addieren, als auch die sechste und achte um

herzuleiten.

Viertens kann man die dritte und die fünfte Gleichung in (53) addieren, als auch die vierte und sechste um < 29404 00070 552 001000280000000200012000285912929300040 0002019509277 00004 29285VER NB=1<

mit der Abkürzung herzuleiten.

Durch Einsetzen von Gln. (53) in die obigen Gleichungen für die symmetriekonformen Subele­ mente (siehe Gln. (46), (47), (48) und (49)) erhalten wir

und analog

Jetzt summieren wir die obigen vier symmetriekonformen Subelemente (siehe Gl. (34)). Dazu sammeln wir die ersten Ausdrücke eines jeden symmetriekonformen Subelementes in der ersten Zeile des kombinierten Multipolelementes μ_sum,j, den zweiten Term eines jeden symmetriekonformen Subelements in der zweiten Zeile und den dritten Term in der dritten Zeile. Somit erhalten wir

Durch die Form dieser Gleichung und insbesondere durch die Tatsache, daß die zwei Klam­ mern die vier symmetriekonformen Subelemente beinhalten, kann man die Faktoren (-Ξ^anisΞ_j) und (-Y_j) dieser Klammern als effektive Intensitätsgradienten parallel zu -Ξ^anisΞ_j und parallel zu -Y_j identifizieren.

8. Normierung

Die obigen effektiven Intensitätsgradienten p^s _j (, können noch beliebige Länge haben, wegen des Proportionalitätsfaktors p^s _j. Dies wird durch Nor­ mieren behoben. Und zwar wird der Normierungsfaktor

N^q _j := pa_j(a^x _q + a^y _q + a^t _q) + p^b _j(b^x _q + b^y _q + b^t _q) + p^c _j(c^x _q + c^y _q + c^t _q) + p^d _j(d^x _q + d^y _q + d^t _q) (59)

verwendet. Dies ergibt

Für den prototypisch ausgeführten Fall werden die effektiven Intensitätsgradienten wie folgt normiert. Die obigen effektiven Intensitätsgradienten p^s _j (, ) zeigen radial (isotrop oder anisotrop) auf das Zentrum der Bildpunktregion. Die Vektorlänge kann jedoch für verschie­ dene Bildpunkte in der Bildpunktregion unterschiedlich sein, die durch Reflektion an der horizontalen oder vertikalen Achse durch das Zentrum der Bildpunktregion ineinander über­ gehen. Um diese Längendifferenzen zu kompensieren, normieren als nächstes für diese effekti­ ven Intensitätsgradienten. Als Resultat erhalten wir ein isotropes radiales Feld für Ξ^anis = 1 und ein anisotropes radiales Feld für Ξ^anis ≠ 1.

Zum Zwecke einer solchen Normierung teilen wir beide Seiten der obigen Gleichung durch den obigen Normierungsfaktor (siehr Gl. (59)). Also erhalten wir

Diese Gleichung kann wesentlich vereinfacht werden: Zu diesem Zweck betrachten wird den Fall, daß a^x _q + a^y _q + a^t _q = 1. Dann ergeben sich die neun Varianten b^x _q, b^y _q, b^t _q, c^x _q, c^y _q, c^t _q, d^x _q, d^y _q, d^t _q zu Null. Also bleiben die zu pa_j proportionalen Terme in Gl. (61) erhalten, während
Terme proportional zu p^b _j, p^c _j und p^d _j verschwinden. Damit ist in diesem Fall N^q _j gleich pa_j und man kann die Faktoren pa_j kürzen. Für b^x _q + b^y _q + b^t _q = 1 kürzt man analog den Faktor p^b _j, für c^x _q + c^y _q + c^t _q = 1 den Faktor p^c _j und für d^x _q + d^y _q + d^t _q = 1 den Faktor p^d _j. Insgesamt erhält man als Konsequenz der Gl. (58)

Aufgrund der Form der Gleichung, also aufgrund der Tatsache, daß die zwei Klammern die vier symmetriekonformen Subelemente ohne einen j abhängigen Term beinhalten, kann man die Faktoren (-Ξ^anisΞ_j) und (-Y_j) dieser Klammern als effektive normierte Inten­ sitätsgradienten = -Ξ^anisΞ_j und = - Y_j bezeichnen.

9. Transformierte Multipole

Zur Berechnung des transformierten modulierten Mul­ tipols summieren wir die obigen Multipolelemente (siehe Gl. (60)) über alle Bildpunkte einer Bildpunktregion:

10. Korrespondierende Linearkombination von Gleichungen

Zum Zweck der Erläuterung wird dargelegt, weshalb die SMME gültig ist, und weshalb sie eine robu­ ste Bestimmung der Relativbewegung erlaubt: Man kann eine transformierte MME (d. h. eine SMME) herleiten, welche mit der obigen Transformation der Multipole korrespondiert. Diese MME Transformation ist in Tabelle 1 illustriert und wird die folgt konstruiert.

• (a) Zuerst berücksichtigen wird die periphären MMEs für (Ξ_j, Y_j) und die konju­ gierten Bildpunkte 20 (Ξ_k(j), Y_k(j)).
• (b) Zweitens führen wir deren Linearkombination mit den Koeffizienten 1, α_k(j) ein.
• (c) Drittens beinhalten durch den Entwurf alle modulierten multipolaren Gleichun­ gen (MMEs) nur modulierte Multipole mit gleichem q. Damit kann jede MME und auch jeder modulierte Multipol mit einem Index q versehen werden (siehe Tabelle 1).
• (d) Viertens kann man eine jede solche MME durch N^q _j normieren (siehe Gl. (59)).
  Tabelle 1
  Übersicht
• (e) Fünftens kann man die Summe der resultierenden normierten MMEs der Bild­ punkte einer Bildpunktregion bilden (siehe Tabelle 1). Diese Summe wird als transformierte MME bezeichnet, oder kurz als symmetrisierte MME, kurz SM­ ME.
• (f) Sechstens drücken wir diese SMME mit den entsprechend den Zielmustern transformierten modulierten Multipolen aus.

11. Konsequenzen

Entwurfsbedingt entsprechen die Multipolelemente der modulier­ ten Multipole der SMME den transformierten Multipolelementen μ_sum,j (siehe Gln. (32) und (62) und die Tabelle 1), denn die normierte MME und die normierten mo­ dulierten Multipolelemente haben die gleichen Koeffizienten und . Wieder­ um entwurfsbedingt haben diese transformierten Multipolelemente effektive Intensitätsgradienten exakt gemäß dem Zielmuster.

Für das prototypisch ausgeführte Beispiel sind die transformierten gemessenen Intensitäts­ gradienten anisotrop radial, d. h. und = Y_j. Daher hat auch die transformierte MME anisotrop radiale effektive Intensitätsgradienten (siehe Fig. 6).

Dies schließt die komplette Kompensation von möglichen Anisotropien der gemessenen In­ tensitätsgradienten (, ) an beliebigen Bildpunkten (Ξ_j, Y_j) einer beliebigen Bildpunkt­ region mit Zentrum (x_e, y_e) durch eine Transformationsprozedur, genannt Symmetrisierung, ab.

Um zu illustrieren, weshalb ein sternförmiges Zielmuster für die Bestimmung von Bewegung relativ günstig ist, wird die daraus resultierende Matrix A^multipole (siehe oben Schritt 2) durch Gl. (64) dargestellt. Der Bewegungszustand ergibt sich aus

A^multipole ψ = b ^multipole (65)

mit

Man erkennt, daß viele Matrixelemente Null sind. Dies führt zu einem einfachen und robusten Verfahren zur Bestimmung der Relativbewegung.

Durch das Symmetrisierungsverfahren werden verschiedene SMMEs bereitgestellt, ent­ sprechend den verwendeten modulierten Multipolen. Man kann von diesen SMMEs eine gewünschte Teilmenge auswählen. Diese sind bei geeigneter Wahl der konjugierten Punkte 20, der modulierten Multipole und der Zielmuster robust bezüglich der statistischen Mittelung und auch bezüglich der Rekonstruktion des Bewegungszustandes durch Matrix­ inversion.

Sternmuster

Bei der Verwendung von anisotrop radialen Zielmustern, sogenannten Sternmustern, vereinfacht sich die Bestimmung der ψ_k durch Separation. Dies betrifft den Unteranspruch 14 des Verfahrens.

Bestimmung der x-y-Rotation und z-Translation bei Verwendung sternförmiger Zielmuster

Als nächstes betrachten wir das Gleichungssystem, welches durch die Matrix A^multipole ausgedrückt wird. Wir subtrahieren mal die fünfte Gleichung von der ersten Gleichung. Dann subtrahieren wir mal die sechste Gleichung von der zweiten Gleichung. Zusätzlich nehmen wir die vierte Gleichung. Wir erhalten die Matrix A^ttc wie folgt

mit

und

Die korrespondierende Inhomogenität b ^ttc ist

Also erhalten wir

A^ttc ψ = b ^ttc. (71)

Aus dieser Gleichung extrahieren wir die Rotationen sowie die transla­ torische Komponente T_e,z aufgrund des Nullblockes und aufgrund der tridiagonalen Form im Block verschieden von Null.

Bestimmung der z-Rotation und x-y-Translation bei Verwendung sternförmi­ ger Zielmuster

Für den Spezialfall anisotroper Bildpunktregionen erhält man von Null verschiedene Matrixelemente A_3,3 und A_7,3:

und

Mit den oben bestimmten ω_x, ω_y, T_e,z reicht einer dieser Matrixelemente für die Bestim­ mung der ω_z aus, indem die dritte oder siebte Zeile von A^multipole benutzt wird. Schließ­ lich können mit ω_z die T_e,x und T_e,y bestimmt werden, indem die erste und zweite Zeile von A^multipole benutzt wird. Insgesamt kann der komplette Relativbewegungszustand für den Fall anisotroper Bildpunktregionen mittels einer einzigen Bildpunktregion bestimmt werden. Also kann damit die Relativbewegung zwischen dem bildgebenden Sensor und ani­ sotroper Bildpunktregion bestimmt werden.

Das oben ausgeführte Verfahren stellt eine geschlossene Lösung für die Bestimmung der Bewegung dar. Zusätzlich werden nun sternförmige Mustermarkierungen (siehe Abb. 6) an den Objekten der Szene angebracht. Die von diesen Mustermarkierungen ausgehende Lichtintensität wird zunächst in eine gemessene Intensität und diese wiederum in einen berechneten Bewegungszustand ψ umgesetzt. Und zwar geschieht dies durch folgende Ver­ fahrensschritte:

• 1. Umsetzung der Mustermarkierungen in gemessene Intensitäten
• 2. Umsetzung der gemessenen Intensitäten in Intensitätsableitungen
• 3. Umsetzung der Intensitätsableitungen in transformierte modulierte Multipole, die entsprechend dem Zielmuster ungleich null sind.
• 4. Umsetzung der transformierten modulierten Multipole, die entsprechend dem Ziel­ muster ungleich null sind in einen berechneten Bewegungszustand c.

Diese vier Verfahrensschritte bestehen aus iterationsfreien relativ einfachen Transfor­ mationen. Daher ist eine Fehlerfortpflanzungsrechnung praktisch durchführbar. Somit wird eine garantiert eingehaltene Fehlertoleranz bestimmt.

Eine Betrachtung aller in diesem Verfahren auftretenden Transformationen zeigt, daß alle verwendeten Verfahrensschritte aus Additionen und Multiplikationen bestehen, die bzgl. der Fehlerfortpflanzung unproblematisch sind, außer den bei der Bestimmung der Koeffizienten α_k(j) für die lineare Kombination verwendeten Verfahrensschritte und außer der Matrixinversion. Die Matrixinversion ist durch Verwendung geeigneter anisotroper sternförmiger Zielmuster stabil durchführbar. Die Koeffizienten α_k(j) können durch Ver­ wendung sternförmiger Zeilmuster mit den Gln. (55), (56), (57) und (54) bestimmt werden. Hierbei tritt ein Nenner auf, der durch geeignete Wahl des Anisotropieparameters Ξ^anis relativ groß gemacht werden kann. Dadurch ist auch dieser Verfahrensschritt bzgl. der Fehlerfortpflanzung unproblematisch. Insgesamt ist die Fehlerfortpflanzungsrechnung also durchführbar und ergibt, z. B. bei geeigneten anisotropen Sternmustern, eine relativ geringe Verstärkung von Meßfehlern.

Daher wird der Bewegungszustand durch das vorgelegte Verfahren mit relativ geringen Fehlern bestimmt, und die zugehörigen Fehlertoleranzen werden durch die übliche Fehler­ fortpflanzungsrechnung direkt vorhergesagt. Insgesamt wird bei der Verwendung von anisotropen sternförmigen Mustermarkierungen ein Bewegungszustand innerhalb einer Fehlertoleranz bestimmt.

In einem weiteren Ausführungsbeispiel kann man anstelle der (günstigen) anisotropen sternförmigen Mustermarkierungen auch andere beliebige Mustermarkierungen verwen­ den, und die Fehlerfortpflanzungsrechnung hierauf anwenden.

In einem weiteren Ausführungsbeispiel kann man insgesamt auf das Anbringen von Mu­ stermarkierungen verzichten und stattdessen etwa durch unscharfe Einstellung der Kamera günstige Intensitätsverläufe erzeugen.

In einem weiteren Ausführungsbeispiel kann man die Fehlerfortpflanzungsrechnung auf die mit der Kamera gemessene Intensitätsverteilung gründen.

z-Rotation und x-y-Translation für isotrope Bildpunktregionen bei Verwendung sternförmiger Zielmuster

Für den Fall isotroper Bildpunktregionen benutzen wir zwei Bildpunktregionen an unterschiedlichen Bildpunkten (x_e, y_e) und (x_e′, y_e′). Für diese bestimmen wir zuerst T_e,z und T_e′,z wie oben. Dann führen wir den neuen Zustands­ vektor

ψ′ = (Ω_e,z, Ω_e′,z τ_x, τ_y)

ein mit

Als nächstes nehmen wir die zwei Gleichungen, welche mit den ersten zwei Zeilen der Matrix A^multipole korrespondieren, und wir dividieren diese Gleichungen durch T_e,z. Dann verfahren wir analog mit der anderen Bildpunktregion. So erhalten wir das folgende System von vier Gleichungen für den neuen Zustandsvektor

mit den Multipolen respektive als e und e′ gekennzeichnet und mit Gl. (75) und mit

A^rest ψ′ = b ^rest. (76)

Die Matrix A^rest ist regulär für die meisten Bildpunktregionenpaare, denn ihre Determi­ nante bestimmt sich zu

Damit ist das System gelöst.

Extremumkonstanzgleichung (Extremum constancy equation (ECE))

Abhängig von der Qualität des Bildmaterials kann es möglich sein, die Orte lokaler Intensitätsmaxima von Bildregionen zu extrahieren und über die Bildsequenz zu verfolgen. Es stellt sich die Frage, wie sich ein Bildpunkt (xⁱ, yⁱ) als Funktion des Relativbewe­ gungszustandes und der relativen Tiefe zum korrespondierenden Objekt verschiebt. Spe­ ziell: Was sind die infinitesimalen Verschiebungen dxⁱ und dyⁱ als lineare Funktionen eines infinitesimalen Zeitintervalls dt? Dies wird durch die Bewegungsgleichungen (Gl. 83)) be­ schrieben. Wie können nun diese lokalen Änderungen dxⁱ/dt und dyⁱ/dt im Bildmaterial gemessen werden?

Zuerst betrachten wir eine Bildpunktregion im Umfeld des lokalen Intensitätsmaxi­ mums. Zweitens schätzen wir die Distanz d von diesem lokalen Maximum zum nächst­ liegenden lokalen Intensitätsextremum. Drittens bestimmten wir den Kreis C_k mit Radius d um den Punkt (x^circle, Y^circle), welcher zu Beginn als lokales Maximum gewählt wurde. Viertens bestimmen wir den Massenschwerpunkt der Bildpunktintensitäten im Kreis

Fünftens interieren wir wie folgt: Wir setzen den neuen Kreismittelspunkt (X^circle, y^circle)′ gleich dem zu diesem Zeitpunkt berechneten Massenschwerpunkt r _cm und berechnen den neuen Schwerpunkt r′ _cm mittels dieses Kreises. Wir iterieren, bis der Schwerpunkt identisch eines Fixpunktes r* _cm bleibt. Sechstens basiert die ECE-Berechnung auf Intensitäten zu zwei aufeinanderfolgenden Zeitpunkten t₁ und t₂ aufgrund der gewählten Zeitableitung. Entsprechend bestimmen wir die oben vorgestellten Fixpunkte für beide. Wir berechen damit r _cm(t₁)* und r _cm(t₂)*. Siebentens bestimmen wir die Verschiebung

Δr = Δ(x^i,shift, Y^i,shift) = r _cm(t₁)*. (79)

Wir intepretieren dies als daß die Bildpunktregion durch einen Shift in dieser Größe verschoben wurde. (Für unsere Zwecke reicht es, diese Verschiebung für drei Bildpunktre­ gionzentren (x_e, Y_e) zu messen; also verwenden wir besonders geeignete Bildregionzentren.)

Jede Bildpunktregion folgt einer Gleichung nach (Eq. (84)) wie folgt

Diese Gleichungen nennen wir die Extremmumkonstanzgleichungen (ECE), im besonderen bezeichnen wir sie als ECEX und ECEY.

Um Rotation und Translation zu trennen, entwickeln wir Gleichungen, die Nullkom­ ponenten für die Translationsterme v^i,t _k,x und V^i,t _k,y besitzen. Zu diesem Zweck betrachten wir einen Punkt in der Bildpunktregion, nehmen die korrespondierenden BCCE (90) und subtrahieren I_x,j mal die ECEX und I_y,j mal die ECEY am Extremwertort (X_e, y_e). Damit erhalten wir

Hier setzen wir eine geeignete Approximation der Variablen v^i,t _y,j und v^i,t _y,j zu v^i,t _x,k und v^i,t _y,k genauso wie v^i,t _x,e und v^i,t _y,e zu v^i,t _x,k und v^i,t _y,k.

Um statistische Durchschnitte zu erhalten, summieren wir die obigen Gleichungen für alle Bildpunkte (x_j, y_j) der Bildpunktregion. Also erhalten wir

A Herleitung der BCCE Die Bewegungsgleichungen

Die perspektivisch projektive Transformation (Lochkamera) ist als realistisches Kamera­ modell in der Bildverarbeitungsforschung weit verbreitet (R. J. Schalkoff, Digital Image Processing and Computer Vision, John Wiley & Sons, Inc., New York, 1989). Es ap­ proximiert gut die geometrische Optik der Projektion der dreidimensionalen Welt auf die zweidimensionalen Bildpunkte. Abb. 7 zeigt die Geometrie in frontalprojektiver Dar­ stellung (Bezugszeichen 23).

Wenn sich Objekte (Bezugszeichen 22) vor der Kamera bewegen und/oder die Kamera sich in der Umwelt bewegt, werden korrespondierende Änderungen in den Bildern induziert. Wir leiten nun die Relation zwischen der dreidimensionalen Relativbewegung und der generierten Bewegung auf der Bildebene (Bezugszeichen 21) her.

Nach einem klassischen Resultat der Kinematik kann jede Festkörperbewegung (ohne Deformation) in sechs Komponenten aufgeteilt werden, nämlich Translation t = (t_x,t_y,t_z)^T und Rotation ω = (ω_x,ω_x,ω_z)^T. Die Wahl der zwei Koordinatensysteme für die Transla­ tion und Rotation ist willkürlich (d. h. die gleiche Bewegung kann mit unendlich vielen Kombinationen von Translationen und Rotationen beschrieben werden). Wir wählen hier das Kamerakoordinatensystem (Fig. 7).

Perspektivische Projektion von 3D-Bewegung resultiert in den Bewegungsgleichungen welche getrennt nach translatorischen und rotatorischen Bewegungskomponenten darge­ stellt werden können (H. C. Longuet-Higgins und K. Prazdny, The Interpretation of a Moving Retinal Image, Proc. R. Soc. Lond., B 208: 385-397, 1980):

Die Gleichungen beschreiben das Bewegungsvorfeld v ⁱ an jedem Bildpunkt x ⁱ. Der Absolutbetrag der translatorischen Geschwindigkeit kann durch den Beobachter nicht be­ stimmt werden; dies motiviert die Formulierung mit (T_x,T_y,T_z) = durch

Berechnung des Normalenfluß

Wir wählen den Gradientenansatz zur Bewegungsbestimmung. Die Gradienten sind lokal und berechnungstechnisch effizient. In einem heuristischen Ansatz geht man davon aus, daß sich die Intensität eines Raumpunktes in der Zeit nicht ändert:

Taylor Expansion in führender Ordnung resultiert in

Mit Gl. (85) erhält man die sogenannte brightness constancy equation (BCE) mit

und

Das Vektorfeld u = (u_x,u_y)^T = wird als optisches Flußfeld (H. von Helmholtz, Handbuch der Physiologischen Optik, Verlag von Leopold Voss, Hamburg, Dritte Ausgabe, 1909 und J. J. Gibson, The Ecological Approach to Visual Perception, Houghton Mifflin, Boston, 1979) bezeichnet. Wir führen den normierten Gradientenvektor n = und das normierte Flußfeld u ⁿ

ein.

Die BCCE

Für jeden Bildpunkt (x_j, y_j) kann die BCE mit den Bewegungsgleichungen wie folgt zu­ sammengeführt werden. Wir setzen die Geschwindigkeiten in Gln. (84) für diejenigen in Gln. (87) ein. Damit erhalten wir die sogenannte brightness change constraint equation (BCCE) (S. Negahdaripour und B.K.P. Horn, Direct Passive Navigation) IEEE Transac­ tions on Pattern Analysis and Machine Intelligence, 9(1): 168-176, Januar 1987):

B Notation

x

 Vektoren sind unterstrichen
x · y Skalarprodukt (inneres Produkt)
x × y Vektorprodukt
x ^T

 Transponierter Vektor

x ⁱ = (xⁱ, yⁱ)^T Pixel location
z^o Objektentfernung in z-Richtung
x ^c Ursprung des Kamerakoordinatensystems
(x_k, y_k) Bildpunkt
(x_e, y_e) Bildpunktregionzentrum
(x_j, y_j) Bildregionpunkt
(x_k(j), y_k(j)) konjugierter Bildpunkt
(Ξ_j, Y_j) = (x_j - x_e,y_j - y_e) relativer Bildregionpunkt

v ⁱ = (vⁱ _x, vⁱ _y)^T Bewegungsfeld (Bildpunktbewegung)
u = (u_x, u_y)^T Optisches Flußfeld
u ⁿ = (uⁿ _x, uⁿ _y)^T Normalenflußfeld
f Brennweite

t = (t_x, t_y, t_z)^T Relative Translationsbewegung
T =  tiefenskalierte relative Translationsbewegung
ω = (ω_x,ω_y,ω_z)^T Rotationsbewegung
c = (T, ω) Bewegungszustand

n Raumgradientenvektor im Bild (Einheitsvektor)
I(x,y,t) Intensitätsverteilung an Punkten (x, y) zum Zeitpunkt t
I_x, I_y, I_t Partielle Ableitungen der Intensität
Î_x, Î_y Effektive normierte Intensitätsgradienten

μ Modulierte Multipole
μ_j Multipolelement
μ_sum Summe der Multipolelemente über die Bildpunktregion
P^q Symmetriefaktor
(a^x _q, . . ., d^t _q) Symmetriekoeffizienten
s ∈ {a, b, c, d} Symmetrieindex für die Symmetrieklassen a, b, c und d
(μa_j, μ^b _j, μ^c _j, μ^d _j) Symmetriekonforme Submultipolelemente für die Symmetrieklassen
α_k(j) Koeffizienten für die konjugierten Bildpunkte
μ_sum,j Lineare Kombination der modulierten Multipolelemente der konjugierten Bildpunkte
n_x, n_y Symmetrieexponenten
(I^z, I^z) Zielmustervektor
Ξ^anis Anisotropieparameter
N^q _j Normierungsfaktor

Bezugszeichenliste

10 Piezoelektrisch gesteuerter Spiegel
11 Paralleler Strahlengang
12 Einfallendes Bild
13 Mikrosakkade
14 Spiegel
15 Mechanisch magnetisch getriebene Oszillation
16 Brechungsindexvariierender Flüssigkristall
17 Bildgebender Chip
18 Piezoelektrisch gesteuerte Oszillation und auch Mikrosakkade
19 Bildregionpunkt
20 Konjugierter Bildpunkt
21 Bildebene
22 Objekt
23 Frontalprojektive Darstellung

Claims (18)

1. Verfahren zur Auswertung von Sensordaten, um präzise Ausgabesignale, insbesondere Steuersignale zur Bewegungsbestimmung von Automaten, zu erzeugen, das die folgenden Schritte umfaßt:

• • Messung von Sensordaten y_i in Form von Tupeln mit mindestens einer Kompo­ nente und daraus Erhebung von Eingangsdaten zum Zweck der Bestimmung von gewünschten Ausgabesignalen x_k mit Hilfe eines funktionalen Zusammenhanges 0 = F_i(y_i, x);
• • Bestimmung der in der Fehlerfortpflanzung im Rahmen einer linearen Näherung vor­ kommenden praktisch bestimmbaren partiellen Ableitungen Δx_k = Σ_j Δy_j;

gekennzeichnet durch

• Einlesen positiver Nützlichkeitsparameter v_k, welche die Genauigkeitsprioritäten eines Benutzers hinsichtlich der gewünschten Ausgabesignale x_k charakterisieren, und Einlesen mindestens einer bereitgestellten Meßgenauigkeit;

• Gemeinsame Bestimmung der Ausgabesignale x_k und der adaptierten Wichtungs­ faktoren γ_j derart, daß ein summierter quadratischer Fehler bei Verwendung der ad­ aptierten Wichtungsfaktoren die Beziehung Σ_iγ_iF²_i (y_i, x) = minimal nahezu erfüllt und der wesentliche Informationsgewinn W = Σ_kv_klog₂ = maximal nahezu erfüllt ist, wobei Σ_jγ_j = konstant einzuhalten ist.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß

• • die Sensordaten y_i Intensitäten I(x, y, t) an Bildpunkten (x, y) zu Zeitpunkten t eines bildgebenden Sensors entsprechen, wobei die Indizes i der Sensordaten y_i Tripel (x, y, t) darstellen,
• • die gewünschten Größen x₁, x₂, x₃, x₄, x₅ und x₆ jeweils einer x-Rotation, y- Rotation, z-Rotation, tiefenskalierten x-Translation, tiefenskalierten y-Translation und tiefenskalierten z-Translation zwischen beliebigen Objekten (22) und dem bildgebenden Sensor anhand einer Bildsequenz entsprechen, und
• • die Funktionen F_i entsprechend der Geometrie des bildgebenden Sensors und unter der Voraussetzung, daß die Gesamtintensität von Objekten (22) konstant bleibt, aufgestellt sind,
• • ferner eine Erhebung von räumlichen und zeitlichen Intensitätsableitungen I_x, I_y und I_t der Intensitäten I(x, y, t) an den Bildpunkten (x, y) des bildgebenden Sensors als Eingangsdaten vorgenommen wird,
• • ferner eine gewährleistete relative Meßgenauigkeit des Sensors,
• • Nützlichkeitsparameter v_k für die Bewegungsgrößen x₁, x₂, x₃, x₄, x₅, x₆
• • zusätzlich Bildregionen eingelesen werden, und
• • zur Bestimmung der Relativrotationen und tiefenskalierten Translationen Wich­ tungsmuster übernommen werden.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Erhebung der räum­ lichen und zeitlichen Intensitätsableitungen mittels der folgenden Schritte durch­ geführt wird:

• • Messung der Intensitätsverteilung I(x, y, t) an Bildpunkten (x, y) einer Bild­ fläche des bildgebenden Sensors zu mindestens zwei aufeinanderfolgenden Zeit­ punkten t,
• • Bildung der zugehörigen Intensitätsableitungen I_x, I_y und I_t der Intensitätsver­ teilungen nach den Bildpunktkoordinaten x, y aus mindestens zwei benachbar­ ten Bildpunkten bzw. nach der Zeit t aus mindestens zwei aufeinanderfolgenden Bildpunkten.

4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Erhebung der räum­ lichen und zeitlichen Intensitätsableitungen mittels der folgenden Schritte durch­ geführt wird:

• • unmittelbare Umsetzung der gemessenen Intensität I(x, y, t) durch einen herkömm­ lichen elektronischen analogen Differentiatorschaltkreis in die partielle zeitliche Ableitung wobei zur zusätzlichen Messung der räumlichen Intensitätsablei­ tungen und dem bildgebenden Sensor hochfrequente Mikrobewegungen, sogenannte Mikrosakkaden (13), aufgeprägt werden.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Mikrosakkaden (13) durch Plazierung eines piezoelektrisch gesteuerten Spiegels (10) im parallelen Strah­ lengang (11) des einfallenden Bildes (12) erzeugt werden.

6. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Mikrosakkaden (13) durch Plazierung brechungsindexvariierender Flüssigkristalle (16) im parallelen Strah­ lengang (11) des einfallenden Bildes (12) erzeugt werden.

7. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Mikrosakkaden (13) durch mechanische, magnetisch getriebene Oszillationen (15) eines Spiegels (14) im parallelen Strahlengang (11) des einfallenden Bildes (12) erzeugt werden.

8. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Mikrosakkaden durch piezoelektrisch gesteuerte Oszillationen (18) eines bildgebenden Chips (17) realisiert werden.

9. Verfahren nach einem der Ansprüche 2 bis 8, dadurch gekennzeichnet, daß der bild­ gebende Sensor zusätzlich die Signallaufzeit für die doppelte Wegstrecke von dem bildgebenden Sensor zu einem auf den Bildpunkt (x, y) projizierten Objekt (22) bestimmt.

10. Verfahren nach einem der Ansprüche 2 bis 9, dadurch gekennzeichnet, daß zusätzlich Mustermarkierungen in der Szene verwendet werden.

11. Verfahren nach einem der Ansprüche 2 bis 10, dadurch gekennzeichnet, daß die Wich­ tungsmuster anhand des maximalen wesentlichen Informationsgewinnes bestimmt sind.

12. Verfahren nach einem der Ansprüche 2 bis 10, dadurch gekennzeichnet, daß die Wich­ tungsmuster anhand des ausgewählten Bildmaterials vorab bestimmt werden, wobei eine Klassifikation der möglichen gemessenen Intensitäten und eine Bestimmung eines Wichtungsmusters mit relativ hohem wesentlichen Informationsgewinn für jede Klasse vorgenommen wird.

13. Verfahren nach einem der Ansprüche 2 bis 10, dadurch gekennzeichnet, daß die Wich­ tungsmuster anhand der Transformation der gemessenen Intensitätsgradienten auf eingelesene Zielmuster bestimmt werden, wobei dies die folgenden Schritte umfaßt:

• • Einlesen von speziellen Verfahrensparametern, wie konjugierten Bildpunkten (20), Zielmustern, modulierten Multipolen und symmetrisierten modulierten Multipolgleichungen,
• • Umsetzung der speziellen Verfahrensparameter, die eine Bestimmung der Sym­ metriefaktoren P^q, eine Berechnung der Symmetriekoeffizienten a^x _q, b^x _q, c^x _q, d^x _q, a^y _q, b^y _q, c^y _q, d^y _q, a^t _q, b^t _q, c^t _q und d^t _q für die ausgewählten Multipole, eine Bestim­ mung von Konjugationsfaktoren und eine Bestimmung der ausgewählten trans­ formierten modulierten Multipole für die Intensitätsgradienten I_x und I_y aus den ausgewählten Zielmustern umfaßt,
• • Transformation der gemessenen Intensitätsgradienten auf linear kombinierte In­ tensitätsgradienten mit der Zielmusterorientierung durch Berechnung der Line­ arfaktoren α_k(j) für jeden konjugierten Bildpunkt (20) eines Bildregionpunktes (19),
• • Bestimmung von Normierungsfaktoren p^s _j anhand einer Transformation der li­ near kombinierten Intensitätsgradienten auf das Zielmuster durch Normieren des linear kombinierten Intensitätsgradienten entsprechend dem Zielmuster,
• • Bestimmung der transformierten modulierten Multipole für zeitliche Inten­ sitätsableitungen I_t durch Bestimmung der effektiven zeitlichen Intensitäts­ ableitungen aus den gemessenen zeitlichen Intensitätsableitungen, den Line­ arfaktoren und den Normierungsfaktoren, Bestimmung der zeitlichen transfor­ mierten modulierten Multipolelemente aus den effektiven zeitlichen Intensitäts­ ableitungen, Aufsummieren der transformierten modulierten Multipolelemente zu den transformierten modulierten Multipolen für die zeitlichen Intensitäts­ ableitungen und Aufstellen der ausgewählten symmetrisierten modulierten Mul­ tipolgleichungen aus den transformierten modulierten Multipolen für die Inten­ sitätsableitungen I_x, I_y und I_t.

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß separat eine Bestim­ mung der x-Rotation, y-Rotation und der tiefenskalierten z-Translation und eine Bestimmung der z-Rotation, tiefenskalierten x-Translation und tiefenskalierten y- Translation vorgenommen wird.

15. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß gewünschte relative Genauigkeiten q_k = mittels der folgenden Schritte in Nütz­ lichkeitsparameter umgesetzt werden:

• • Einlesen der gewünschten Geschwindigkeit q_k,
• • Bestimmung der v_k durch v_k =

16. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die gemeinsame Optimierungsaufgabe der Minimierung von Σ_i γ_iF²_i (y_i, x) und der Maximierung des wesentlichen Informationsgewinnes durch folgende Schritte vorab gelöst wird:

• • Charakterisieren aller möglichen Konfigurationen der Eingangsdaten.
• • Auswahl von repräsentativen Konfigurationen der Eingangsdaten.
• • Für jede repräsentative Konfiguration der Eingangsdaten Lösung der Optimie­ rungsaufgabe der gemeinsamen Bestimmung der gewünschten Daten x_k und der Wichtungsfaktoren γ_j, wobei gilt Σ_jγ_j = konstant und Σ_iγ_iF²_i(y_i, x) nahezu minimal, sowie Σ_kv_klog₂ nahezu maximal.
• • Erstellung einer Klassifikation aller möglichen Konfigurationen der Eingangs­ daten mit jeweils einer repräsentativen Konfiguration pro Klasse.
• • Für jede Klasse Zuordnung der Lösung der Optimierungsaufgabe der zugehöri­ gen repräsentativen Konfiguration.
• • Erstellung einer Datei mit dieser Zuordnung.