DE102020211507A1 - Verfahren zum Bewerten einer Kamerakalibrierung - Google Patents

Abstract

Verfahren zum Bewerten einer Kamerakalibrierung, bei dem ein erstes Gütemaß ermittelt wird, wobei mit ersten Gütemaß ein statistischer Fehler zu bewerten, wobei ein Erwartungswert für einen Abbildungsfehler ermittelt wird, wobei zunächst auf optimale Modellparameter und deren Kovarianzmatrix zugegriffen wird, dann eine Matrix eines Abbildungsfehlers bestimmt wird und abschließend der Erwartungswert des Abbildungsfehlers ermittelt wird.

Description

• Die Erfindung betrifft ein Verfahren zum Bewerten einer Kamerakalibrierung und eine Anordnung zum Durchführen des Verfahrens.
• Stand der Technik
• Als Kamera werden fototechnische Apparaturen bezeichnet, die statische oder bewegte Bilder auf einem fotografischen Film oder elektronisch auf einem Speichermedium aufzeichnen oder über eine Schnittstelle übermitteln können.
• Als Kalibrierung wird ein Messprozess bezeichnet, der dazu eingesetzt wird, um eine Abweichung eines Messgeräts gegenüber einem anderen Gerät, einem Referenzgerät, festzustellen. Diese Abweichung wird dann bei der anschließenden Benutzung des Messgeräts zur Korrektur der abgelesenen Werte berücksichtigt. Im Rahmen der Kalibrierung einer Kamera wird somit deren Abbildungsverhalten im Vergleich zum Abbildungsverhalten einer Referenzkamera festgestellt.
• Voraussetzung für die Verwendung von Kamera-Systemen als messende Instrumente ist, dass ihr geometrisches Abbildungsverhalten genauestens bekannt ist. Konkret bedeutet dies, dass die Abbildungsfunktion, d. h. die Projektion eines Punktes aus der dreidimensionalen Welt in das zweidimensionale Bild (p : ℝ³ → ℝ², x = (x, y, z)^T → u = (u, υ)^T), bekannt sein muss. Fehler bei der Bestimmung der Parameter dieser Abbildungsfunktion oder die Wahl eines ungeeigneten Modells können gravierende Auswirkungen auf alle nachfolgenden Verarbeitungsschritte haben.
• Durch den stetig wachsenden Einsatz von Kamerasystemen besteht zudem ein gesteigerter Bedarf an Methoden zur Bestimmung dieser Modellparameter. Dies sollte auch von Laien durchgeführt werden können.
• Zwei bekannte Probleme bei der Kamerakalibrierung sind erstens systematische Fehler, bei denen das Modell das tatsächliche Abbildungsverhalten nicht oder nicht ausreichend genau beschreiben kann, und zweitens hohe oder unbekannte verbleibende Parameterunsicherheiten, die typischerweise die Folge von zu wenigen Messungen bzw. Beobachtungen sind. Um diese beiden Fehlerarten erkennen zu können, sind Expertenwissen und Erfahrungswerte erforderlich, bspw. darüber, wie sich ähnliche Kamerasysteme verhalten, oder aufwendige Kontrollexperimente, wie sie in der Photogrammmetrie bekannt sind.
• Offenbarung der Erfindung
• Vor diesem Hintergrund werden ein Verfahren nach Anspruch 1 und eine Anordnung mit den Merkmalen des Anspruchs 11 vorgestellt. Ausführungsformen ergeben sich aus den abhängigen Ansprüchen und aus der Beschreibung.
• Das vorgestellte Verfahren dient zum Bewerten einer Kamerakalibrierung, wobei dieses dazu eingesetzt wird, einen statistischen Fehler zu bewerten und hierzu ein erstes Gütemaß zu ermitteln, das eine Bewertung des statistischen Fehlers ermöglicht.
• Bei dem Verfahren wird ein Erwartungswert für einen Abbildungsfehler ermittelt, wobei zunächst auf optimale Modellparameter und deren Kovarianzmatrix zugegriffen wird, dann eine Matrix eines Abbildungsfehlers bestimmt wird und abschließend der Erwartungswert des Abbildungsfehlers ermittelt wird.
• Unter einem Abbildungsfehler wird die Differenz im Abbildungsverhalten zwischen dem, typischerweise im Rahmen der Kalibrierung, geschätzten Kameramodell und der wahren Kamera verstanden.
• Der Erwartungswert des Abbildungsfehlers ist die sogenannte Unsicherheitsmetrik. Das hier betrachtete erste Gütemaß ist die Unsicherheitsmetrik. Es wird somit quantifiziert, wie unsicher man sich bezüglich der geschätzten Modellparameter ist. Diese Unsicherheitsmetrik entspricht daher gleichzeitig einem Maß für den zu erwartenden statistischen Fehler. Bei hoher Parameterunsicherheit kommt es statistisch zu höheren Fehlern. Die Definition bzw. Ausgestaltung der Unsicherheitsmetrik besteht darin, dass ein Erwartungswert eines Abbildungsfehlers bestimmt wird. Es wird somit von der Unsicherheit in den Modellparametern auf den zu erwartenden Abbildungsfehler geschlossen.
• Als Abbildungsfehler kann bspw. ein mittlerer quadratischer Fehler im Bildraum verwendet werden. Alternativ kann auch der ein mittlerer quadratischer Fehler in einem lokalen Bildbereich verwendet werden oder aber der Fehler in einer speziellen Anwendung der kalibrierten Kamera.
• Als Matrix kann bspw. eine Matrix bestimmt werden, die den Anstieg des Abbildungsfehlers in Abhängigkeit von dem Fehler in den Modellparametern beschreibt.
• Gegenstand dieser Anmeldung ist somit ein Verfahren, das es ermöglicht, den genannten statistischen Fehler zu bewerten bzw. abzuschätzen und damit diesen Fehler berücksichtigen zu können.
• Neben dem statistischen Fehler gibt es einen sogenannten systematischen Fehler, zu dessen Bewertung in Ausgestaltung des Verfahrens ein zweites Gütemaß ermittelt wird. Es wird somit hierin eine Ausführungsform des beschriebenen Verfahrens vorgestellt, bei der zwei informative Fehler- und Unsicherheitsmaße, die sich rein auf die zur Kalibrierung gemachten Aufnahmen bzw. Messungen stützen, berücksichtigt werden. Es werden somit in Ausgestaltung zwei Gütemaße und ein Verfahren zur Bestimmung dieser beiden Gütemaße vorgeschlagen, die erstens systematische Fehler und zweitens verbleibende Unsicherheiten quantitativ bewerten. Die Kombination dieser Gütemaße erlaubt sowohl ein direktes Feedback an die Person, die die Kalibrierung durchführt, als auch die Bewertung bestehender oder sich im Design befindender Kalibriermethoden und Aufbauten.
• Das zweite Gütemaß kann ermittelt werden, indem ein Gesamtkalibrierobjekt, das mindestens ein Kalibrierobjekt umfasst, virtuell in Kalibrierobjekt zerlegt wird, wobei für jedes Kalibrierobjekt ein Detektorrauschen geschätzt wird, die zu einer Gesamtschätzung kombiniert werden, die mit einer Schätzung des Detektorrauschens des Gesamtkalibrierobjekts verglichen wird.
• Zum Detektorrauschen wird ausgeführt: Ein Detektor bzw. Feature-Detektor ist ein Algorithmus der Bildverarbeitung, der die Position bzw. die Bildkoordinaten von markanten Stellen im Bild (Features) extrahiert. In der Kamerakalibrierung sind die Features typischerweise die Ecken der schachbrettartigen Kalibriertargets. Man spricht daher von Eckendetektoren. Die Detektion von Features ist im Allgemeinen nicht perfekt, d. h. die extrahierten Bildkoordinaten (u, v) weichen von den wahren Bildkoordinaten ab. Diese Abweichungen werden typischerweise als unkorreliertes Rauschen beschrieben, das sogenannte Detektorrauschen.
• Nach der detaillierten Beschreibung der Gütemaße werden diese hier auch in einer Machbarkeitsstudie, einem sogenannten Proof-of-Concept, demonstriert.
• Die Bewertung einer Kamerakalibrierung erfolgt typischerweise über die nach der Kalibrierung verbleibenden Fehler, nämlich die Residuen, d. h. die Differenzen zwischen den Beobachtungen und der Vorhersage durch das geschätzte Modell. In den meisten Fällen wird die Wurzel der mittleren Fehlerquadratsumme, der sogenannte root mean squared error (RMSE), oder ein ähnliches Maß angegeben, das den mittleren Fehler auf dem Kalibrier-Datensatz widerspiegelt. Es gilt: $$RMSE=\sqrt{\frac{1}{n_{obs}}{\displaystyle {\sum }_{i=1}^{n_{obs}/2}{\Vert u_i-{\widehat{\text{u}}}_i\Vert }^2}},$$

  

  wobei u_i die beobachteten Bildpunkte und û_i die auf Grundlage des Modells geschätzten Bildpunkte bezeichnet. Die Anzahl der individuellen Beobachtungen ist n_obs, wobei jeder beobachtete Bildpunkt (u_i = (u, υ)^T) entsprechend zwei Beobachtungen beisteuert.
• Die Residuen setzen sich zusammen aus systematischem Fehler, z. B. durch eine nicht modellierte Verzeichnung, und stochastischem Fehler durch das sogenannte Detektorrauschen. Die Detektion der Schachbrettecken in den beigefügten Figuren unterliegt zufälligen und unkorrelierten Fehlern. Asymptotisch gilt für den RMSE: $$RMSE=\underset{\text{statischer Fehler}}{\underbrace{\sigma \sqrt{1-\frac{n_{param}}{n_{obs}}}}}+\underset{\text{systematischer Fehler}}{\underbrace{{\epsilon }_{bias}}},$$

  

  bzw.: $$RMS{E}^2=\sigma \underset{\text{statischer Fehler}}{\underbrace{{}^2\left(1-\frac{n_{param}}{n_{obs}}\right)}}+\underset{\text{systematischer Fehler}}{\underbrace{{\epsilon }_{bias}^2}},$$

  

  je nach der Fehlerart,
  wobei σ das Detektorrauschen, n_param die Anzahl an Parametern des Modells und ε_bias den systematischen Fehler beschreibt. Im Allgemeinen bleibt jedoch unklar, wie hoch die einzelnen Beiträge (σ und ε_bias) sind. Dies stellt ein generelles Problem dar, da σ typischerweise unterschiedlich für verschiedene Kamera-Optik-Kombinationen ist. Damit sind zur Beurteilung eines Kamerasystems auf Basis des RMSEs typischerweise Erfahrungswerte aus früheren Kalibrierungen des gleichen Kamerasystems, typischerweise mit gleichen Einstellungen wie Apertur und Schärfe, erforderlich. Darüber hinaus enthält der RMSE keine Information über die Genauigkeit, mit der die Modellparameter auf Grundlage der vorhandenen Daten geschätzt werden konnten.
• Um die Unsicherheit der geschätzten Parameter zu beurteilen, wird typischerweise die Kovarianzmatrix der Parameter aus der Optimierung genutzt: Je kleiner die Varianz eines Parameters ist, desto sicherer ist man sich bzgl. seines Wertes. Die Varianzen einzelner Parameter sind als Gütemaß jedoch wenig geeignet, da es eine Vielzahl von Kameramodellen mit unterschiedlichen Parametern gibt. Dies führt zu einer mangelnden Vergleichbarkeit. Um dies zu verbessern, gibt es bereits eine Methode, die Parameterunsicherheit über eine Monte-Carlo Simulation in den Bildraum zu propagieren und dadurch eine maximale Unsicherheit im Bild abzuschätzen. Darüber hinaus wurde eine Methode vorgestellt, bei der die Unsicherheit der Modellparameter, hier quantifiziert über die approximierte Hesse-Matrix, mit dem Einfluss der Parameter auf das Kameramodell gewichtet wird.
• Das hierin vorgeschlagene Verfahren in seinen unterschiedlichen Ausführungsformen unterscheidet sich deutlich von den genannten Ansätzen, wie nachstehend im Detail beschrieben wird.
• Das vorgestellte Verfahren ermöglicht, zumindest in Ausgestaltung, die Bereitstellung eines informativen Fehler- und Unsicherheitsmaßes zur Bewertung von kalibrierkörperbasierten Kamerakalibrierungen. Es umfasst in einer Ausführungsform beide Beiträge des möglichen Fehlers: erstens systematische (Modell-) Fehler und zweitens eine verbleibende Unsicherheit bzw. Varianz. Diese Maße erlauben es einem Anwender, durch direktes Feedback die Kalibrierung zielgerichtet zu bewerten und zu verbessern. Dies kann bspw. durch Wahl eines geeigneteren Modells im Falle eines systematischen Fehlers oder durch Aufnahme zusätzlicher Daten im Falle von zu hoher Unsicherheit erfolgen.
• Das Fehlerfeedback kann außerdem verwendet werden, um Fehler in darauffolgenden Anwendungen, z. B. Selbstlokalisierung, Triangulation usw., abzuschätzen und um bestmögliche zusätzliche Messungen anzufordern. Des Weiteren können die Gütemaße auch dafür eingesetzt werden, bestehende oder neue Kalibrierverfahren und -aufbauten grundsätzlich zu bewerten.
• Die hier vorgeschlagenen Gütemaße erlauben die quantitative Bewertung von Kalibrierungen, wobei sie keine Erfahrungswerte über die vorliegende Kamera oder das Kameramodell voraussetzen. Damit erlauben sie insbesondere Laien, das Kalibrierergebnis zu bewerten und potenziell direkt zu verbessern. Im Folgenden sind weitere Vorteile im Detail aufgeführt.
• Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen.
• Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
• Figurenliste
• 1 zeigt einen Überblick über Ausführungen des vorgestellten Verfahrens für ein Fehler- und Unsicherheitsfeedback für eine Kamerakalibrierung.
• 2 zeigt in einem Flussdiagramm einen möglichen Ablauf des beschriebenen Verfahrens.
• 3 zeigt Visualisierungen des vorgestellten Verfahrens.
• 4 zeigt in einem Flussdiagramm eine Ausführung des vorgestellten Verfahrens.
• 5 zeigt ein Beispiel für die Verwendung einer Unsicherheitsmetrik.
• Ausführungsformen der Erfindung
• Die Erfindung ist anhand von Ausführungsformen in den Zeichnungen schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
• 1 zeigt in drei Darstellungen einen Überblick über die beschriebenen Verfahren für ein Fehler- und Unsicherheitsfeedback für eine Kamerakalibrierung. Eine erste Darstellung zeigt eine Kamerakalibrierung anhand von drei Schachbrettmustern, wobei Modellparameter geschätzt werden. Es ergeben sich Modellparameter, RMSE und eine Kovarianzmatrix. Eine zweite Darstellung 12 verdeutlicht ein Verfahren zum Erkennen systematischer Fehler.
• Hierbei geht ein (Pfeil 16) der RMSE. Ein Pfeil 18 verdeutlicht die Anpassung des Modells. Eine dritte Darstellung 20 verdeutlicht ein Verfahren zur Bestimmung der Unsicherheit im Abbildungsverhalten.
• Startpunkt ist eine kalibrierkörperbasierte Kamerakalibrierung, bei der Bilder von wohldefinierten Kalibrierkörpers aus verschiedenen Perspektiven aufgenommen werden. Auf Grundlage dieser Bilder werden (i) die Lage der Kamera relativ zu bspw. mehreren Kalibrierkörpern in jedem Bild mittels extrinsischer Parameter und (ii) die Modellparameter der Kamera mittels intrinsicher Parameter θ geschätzt. Die Schätzung erfolgt bspw. über ein sogennantes Bundle Adjustment, wobei eine Kalibrierkostenfunktion, typischerweise die Rückprojektionsfehler, mithilfe einer nichtlinearen kleinste Quadrate Methode optimiert wird. Aus der Optimierung ergeben sich die optimalen Modellparameter θ̂, die Residuen, sowie die Kovarianzmatrix der Modellparameter Σ_θ. Im Anschluss an eine solche Standard-Kamerakalibrierung können die hierin vorgestellten Verfahren zum Einsatz kommen.
• Zur Erkennung systematischer Fehler (ε_bias in Gleichung (2)) wird vorgeschlagen, eine unabhängige Schätzung des Detektorrauschens zu bestimmen, dies wird im Folgenden mit σ̂ bezeichnet. Diese kann dann ins Verhältnis mit der Abschätzung auf Basis des Kalibriererbnisses σ_calib gesetzt werden. Bei einer Kalibrierung ohne systematische Fehler sollte das Verhältnis nahe eins sein, da ε_bias verschwindet. Ein davon abweichender Wert deutet auf unmodellierte Eigenschaften oder anderweitige Fehler hin.
• Für eine unabhängige Schätzung des Detektorrauschens muss der Einfluss systematischer Fehler minimiert werden. Dem vorgestellten Verfahren liegt nunmehr die Erkenntnis zugrunde, dass sich systematische Fehler, wie bspw. eine nicht modellierte Verzeichnung, lokal im Bild geringfügiger äußern. Daher wird das Kalibrierobjekt virtuell in V physisch kleinere Kalibrierobjekte zerlegt, deren Posen, d. h. Position und Orientierung, jeweils unabhängig geschätzt werden. Unter der Annahme, dass die Schätzungen lokal frei von systematischen Fehlern sind, nämlich bias-frei, ergibt sich für jedes der virtuellen Kalibrierobjekte eine Abschätzung des Detektorrauschens entsprechend Gleichung (3): $$RMS{E}_v={\sigma }_v\sqrt{1-\frac{n_{param,virt}}{n_{obs,virt}}},$$

  

  mit υ ∈ {1 ... V}. In einer ersten Variante dieses Verfahrens (1A) werden die zur Kalibrierung benutzten Schachbrett-Kalibrier-Körper in einzelne Kacheln zerlegt, deren Posen dann unabhängig optimiert werden. Nach der Berechnung der RMSE-Werte (RMSE_υ) auf Basis der Residuen jeder Optimierung der Posenparameter wird dann σ_υ berechnet, wobei in diesem Fall n_obs,υirt = 8, da jede Kachel 4 Ecken und damit 8 Beobachtungen beisteuert, und n_param,υirt = 6, da eine Pose 6 Freheitsgrade besitzt, gilt. Die einzelnen Schätzungen σ_υ werden dann zu einer Gesamtschätzung σ̂ kombiniert. Dies erfolgt z. B. durch Mittelwertbildung. Nach Durchführung der Kalibrierung kann RMSE_calib nach Gleichung (1) bestimmt werden. Mit Gleichung (2) und unter der Annahme, dass keine systematischen Fehler vorliegen, ergibt sich $${\sigma }_{calib}=\frac{RMS{E}_{calib}}{\sqrt{1-\frac{n_{param}}{n_{obs}}}}.$$

  
• Nun wird das Verhältnis σ_calib/σ̂ bestimmt. War die Kalibrierung bias-frei, so sollte der Wert nahe eins sein und in der Praxis unterhalb eines Schwellwerts bzw. Thresholds τ_ratio liegen. Im Folgenden wird das Verfahren noch einmal zusammengefasst anhand eines Flussdiagramms in 2 wiedergegeben.
• In einem ersten Schritt 100 wird σ_calib auf Basis der Kalibrierresiduen u_i - û_i mit i ∈ {1 ... n_obs/2} nach Gleichung (1) und (5) bestimmt.
• In einem zweiten Schritt 102 werden die Posenparameter von jedem der V virtuellen Kalibrierobjekte optimiert, wobei die Parameter des Abbildungsverhaltens der Kamera nicht geändert werden. Die Restfehler (Residuen) nach der Optimierung werden bestimmt.
• In einem vierten Schritt 106 wird σ_υ aus den Residuen nach Gleichung (4) bestimmt, wobei hier die Residuen aller V virtuellen Kalibrierkörper zur Berechnung des RMSEs herangezogen werden.
• In einem fünften Schritt 108 wird das Gütemaß zur Erkennung systematischer Fehler σ_calib/σ̂ bestimmt.
• In einem sechsten Schritt 110 wird die Kalibrierung als frei von systematischen Fehlern (bias-frei) betrachtet, falls σ_calib/σ̂ ≤ τ_ratio.
• 3 zeigt eine Visualisierung der Methode zur Erkennung systematischer Fehler. Durch separate Optimierung lokaler Gruppen von Datenpunkten kann eine nahezu bias-freie Schätzung des Detektorrauschens erzielt werden (Bezugsziffer 150). Ergebnisse für zwei Beispiel-Kameras, die mit unterschiedlich komplexen Kameramodellen kalibriert wurden (Bezugsziffer 152). Für Kamera 1 160 wird ein Lochkamera-Modell mit zwei radialen Verzeichnungsparametern benötigt, bei einfacheren Modellen erkennt die Methode systematische Fehler. Für Kamera 2 162 wird ein Fisheye-Modell benötigt.
• 3 zeigt beispielhaft die Auswahl eines passenden Kameramodells mit diesem Verfahren.
• Tatsächlich führt eine systematisch gestörte Abbildungsfunktion dazu, dass σ̂ größer als das tatsächliche Rauschlevel des Detektors σ ist. Dies stellt jedoch kein Problem dar, da σ_calib von systematischen Fehlern stärker beeinflusst ist. Generell sollten sowohl für die Bestimmung der Kalibrierparameter, von RMSE_calib und von σ̂ robuste Schätzverfahren, wie M-Estimator (Maximum-Likelihood-Schätzer mit robuster Kostenfunktion) eingesetzt werden. Wichtig hierbei ist, dass alle Werte auf Basis ähnlicher und kompatibler Verfahren bestimmt werden.
• Die zweite Art von Fehlern bei einer Kamerakalibrierung entsteht durch eine verbleibende Unsicherheit in geschätzten Modellparametern. Ziel des zweiten Gütemaßes bzw. Unsicherheitsmaßes ist es, die Unsicherheit im Abbildungsverhalten der Kamera zu quantifizieren. Da aus der Kalibrierung nur die Unsicherheit der Parameter hervorgeht, muss quantifiziert werden, wie sich ein Parameterfehler Δθ auf das Abbildungsverhalten der Kamera auswirkt.
• Es wird dazu ein Abbildungsfehler K (θ̂, Δθ) definiert, der den Unterschied im Abbildungsverhalten zweier Kameramodelle p_C(x; θ̂) und p_C(x; θ̂ + Δθ) beschreibt. Es wird hierzu auf 1 verwiesen. Für jedes einzelne Pixel u_i, i = 1, ... n im Bild wird durch Rückprojektion mit Kameramodell 1 der zugehörigen Sichtstrahl r_i = p_C ^-1(u_i; θ̂) bestimmt. Anschließend werden 3D-Punkte auf diesen Sichtstrahlen ausgewählt und mit Kameramodell 2 wieder ins Bild projiziert. Der Abbildungsfehler K(θ̂, Δθ) quantifiziert nun die mittlere Differenz in den Koordinaten der ursprünglichen Bildpunkte u_i, und der rückprojezierten Bildpunkte ũ_i, i = 1, ... n: $$K\left(\widehat{\theta },\mathrm{\Delta }\theta \right)=\frac{1}{2n}{\displaystyle {\sum }_{pixeli}^n{\Vert u_i-p_C\left(x_i;\widehat{\theta }+\mathrm{\Delta }\theta \right)\Vert }^2}$$

  

  $$=\frac{1}{2n}{\displaystyle {\sum }_{pixeli}^n{\Vert \mathrm{\Delta }{u}_i\Vert }^2},$$

  

  wobei x_i = p_C ^-1(u_i; θ̂) der durch inverse Projektion von Pixel u_i bestimmte 3D-Punkt ist. Über eine Taylor-Approximation bis zur 2-ten Ordnung kann der Abbildungsfehler wie folgt ausgedrückt werden: $$K\left(\widehat{\theta },\mathrm{\Delta }\theta \right)\approx \mathrm{\Delta }{\theta }^{T}H\mathrm{\Delta }\theta ,$$

  

  wobei die Matrix $H=\frac{1}{2n}{J}_{res}{}^T{J}_{res}$

  

  als Produkt der Jacobi-Matrix J_res = dres/dΔθ des Residuenvektors res(θ̂, Δθ) = (Δu₁ ^T, ..., Δu_N ^T)^T definiert ist.
• Es kann nun mathematisch hergeleitet werden, dass der Erwartungswert des Abbildungsfehlers eines Kalibrierergebnisses p_C(x; θ̂) mit Kovarianzmatrix Σ_θ im Vergleich zum wahren (unbekannten!) Kameramodell p_C(x; θ̅) gegeben ist durch: $$\mathbb{E}\left[K\right]=trace\left({\mathrm{\Sigma }}_{\theta }{}^{1/2}H{\mathrm{\Sigma }}_{\theta }{}^{1/2}\right).$$

  
• Dies bedeutet, dass der erwarte Abbildungsfehler des Kalibrierergebnisses im Vergleich zu dem wahren Kameramodell vorhergesagt werden kann, obwohl das wahre Kameramodell unbekannt ist. Dieser Erwartungswert trace(Σ_θ ^1/2HΣ_θ ^1/2) ist die Unsicherheitsmetrik.
• Konkret erfolgt die Berechnung der Unsicherheitsmetrik wie dies anhand beigefügtem Flussdiagramm in 4 erläutert ist.
• In einem ersten Schritt 200 wird die kalibrierkörperbasierte Kalibrirung durchgeführt und es werden die optimalen Modellparameter θ̂ und die Kovarianzmatrix Σ_θ bestimmt.
• In einem zweiten Schritt 202 wird die Matrix H des Abbildungsfehlers bestimmt:
• Implementiere den Abbildungsfehler K(θ̂, Δθ) gemäß Gleichung 7 als Funktion von den geschätzten Modellparametern θ̂ und einem Parameterfehler Δθ.
• Bestimme die Jakobi-Matrix J_res = dres/dΔθ des Abbildungsfehlers K an der Stelle der optimalen Modellparameter θ̂ über numerische Approximation.
• Bestimme $H=\frac{1}{2n}{J}_{res}{}^T{J}_{res}.$
  
• In einem dritten Schritt 204 wird $\mathbb{E}\left[K\right]=trace\left({\mathrm{\Sigma }}_{\theta }{}^{1/2}H{\mathrm{\Sigma }}_{\theta }{}^{1/2}\right)$

  

  bestimmt.
• Ein Beispiel für die Verwendung der Unsicherheitsmetrik wird nachfolgend gegeben. Je nach Datensatz verbleibt bei der Kalibrierung eine Unsicherheit. Diese hängt von der Anzahl an Aufnahmen, und vom Informationsgehalt der Aufnahmen ab. Oben sind Beispiele für informative und weniger informative Aufnahmen gezeigt. Die vorgestellte Unsicherheitsmetrik gibt nach einer Kalibrierung an, wie hoch der zu erwartende Fehler im Bild ist. Dieser nimmt mit der Anzahl an Datenpunkten und dem Informationsgehalt der Daten ab.
• 5 in folgendem Abschnitt zeigt beispielhaft, wie die Metrik die verbleibende Unsicherheit für Kalibrierungen mit verschiedenen Datensätzen quantifiziert.
• Dieses Verfahren kann klar von den existierenden Verfahren zur Quantifizierung der Unsicherheit abgegrenzt werden.
• Die Berechnung der vorgestellten Metrik erfordert keine aufwendige Monte-Carlo Simulation. Anstelle eines Maximalfehlers in einem ausgewählten Set an Punkten tritt ein mittlerer Fehler über alle Pixel. Die hierin vorgeschlagene Methode ermöglicht die Berücksichtigung möglicher Kompensierungen durch extrinsische Parameter, sowie andere anwendungsspezifische Anpassungen des vorherzusagenden Abbildungsfehlers.
• Die Beobachtbarkeit gibt den Anstieg der Kalibrier-Kostenfunktion in die am schlechtesten beobachtbare Parameterrichtung an. Das hierin vorgeschlagene Verfahren betrachtet hingegen die Unsicherheit aller Parameterrichtungen (nicht nur die am schlechtesten beobachtbare Parameterrichtung). Darüber hinaus ist die hierin vorgeschlagene Metrik besser interpretierbar: es wird der zu erwartende Fehler im Bildraum bestimmt, während die Beobachtbarkeit einen Anstieg der Kalibrier-Kostenfunktion angibt.
• Das Verhalten beider Maße soll im Folgenden anhand realer Experimente dargestellt werden.
• In 3 wird zunächst anhand zweier Kameras gezeigt, wie rein auf Basis des Verhältnisses σ_calib/σ̂ entschieden werden kann, ob ein Abbildungsmodell ausreichend ist. Dazu wurden die beiden Kameras jeweils mit, in Komplexität steigenden, Kameramodellen kalibriert. Die grafischen Darstellungen in 3 unten zeigen auf der x-Achse Kameramodelle mit ansteigender Komplexität und auf der y-Achse die entsprechenden Werte von σ_calib (gestrichelte Linie) und σ̂ (durchgängige Linie). Die Werte σ_calib und σ̂ wurden hier durch robuste Schätzung auf Basis des Median-Absolute-Deviation-Verfahren (MAD) bestimmt und sind daher mit calibration MAD und detector MAD bezeichnet. Es ist zu sehen, wie die Werte von calibration MAD und detector MAD mit steigender Modelkomplexität nahezu gleich werden (Verhältnis ungefähr eins). Daran lässt sich erkennen, dass diese Modelle das Abbildungsverhalten unter den gegebenen Beobachtungen frei von systematischen Fehlern beschreiben können. Die absoluten Werte sind dabei nicht von Bedeutung und können stark schwanken. Aus diesem Grund waren in der Vergangenheit immer Expertenwissen und Erfahrungswerte für das konkrete Kameramodell erforderlich. In 3 oben ist zudem noch einmal die virtuelle Zerlegung des Kalibrierkörpers in einzelne Kacheln (Variante 1A) gezeigt.
• 5 zeigt beispielhaft die Anwendung des Unsicherheitsmaßes. Im Allgemeinen hängt die verbleibende Unsicherheit einer Kalibrierung vom Kalibrierdatensatz ab. Je mehr Aufnahmen und je informativer die Aufnahmen, umso geringer ist die verbleibende Unsicherheit. 5 zeigt die Kalibrierung von Kamera 1 (3, 160).
• Es wurde ein Lochkameramodell mit zwei radialen Verzeichnungparametern verwendet. Besonders informativ hier sind Aufnahmen, in denen der Kalibrierkörper groß im Bild ist, und in denen der Körper extreme Neigungswinkel relativ zur Kamera hat. Weniger informativ sind Aufnahmen, in denen der Körper weit entfernt und frontoparallel zur Kamera positioniert ist.
• Laien machen häufig ungeeignete (wenig informative) Aufnahmen. Die hierin vorgeschlagene Unsicherheitsmetrik liefert dafür ein direktes Feedback (5 unten): Bei Kalibrierung mit wenigen und wenig informativen Aufnahmen ist der erwartete Abbildungsfehler deutlich höher als bei vielen und informativen Aufnahmen. Je nach Anwendung kann dann entschieden werden, ob die Kalibrierung bereits ausreichend genau ist, oder ob mehr Messungen erforderlich sind. Der absolute Wert der Metrik ist insbesondere unabhängig vom gewählten Kameramodell und daher vergleichbar über verschiedenste Kalibrierungen hinweg.
• Die hier vorgeschlagenen Gütemaße erlauben die quantitative Bewertung von Kalibrierungen, wobei sie keine Erfahrungswerte über die vorliegende Kamera oder das Kameramodell voraussetzen. Damit erlauben sie insbesondere Laienanwendern das Kalibrierergebnis zu bewerten und potentiell direkt zu verbessern. Im Folgenden sind weitere Vorteile im Detail aufgeführt.
• Erkennung und Quantifizierung systematischer Fehler:
• Bisher verwendete Maße, wie bspw. RMSE, enthalten eine Mischung aus stochastischem Fehler (Detektorrauschen) und systematischem Fehler. Da der stochastische Fehler je nach Kamera und je nach Eckendetektor variiert, ist aus den bisher benutzten Maßen nicht ersichtlich, ob ein systematischer Fehler oder nur starkes Rauschen vorliegen. Das hier vorgeschlagene Verfahren ermöglicht die unabhängige Schätzung des Rauschens und damit die Entkopplung beider Anteile.
• Mit dem Verfahren können nahezu jegliche Arten von systematischen Fehlern, wie z. B. ein unzureichendes Kameramodell, falsche Bildzuordnung, Fehler im Kalibrierkörper usw. erkannt werden.
• Die Erkennung und quantitative Bewertung erfolgt ohne die Hinzunahme neuer Daten oder eines Referenzexperiments, wie es in der Photogrammetrie sonst üblich ist aber hohen Zusatzaufwand erfordert.
• Das vorgestellte Maß ist unabhängig vom zugrundliegenden Kameramodell und kann damit allgemein eingesetzt werden.
• Das vorgestellte Maß setzt keine Erfahrungswerte für untersuchte Kameras voraus. Dies wäre z. B. bei einer Analyse rein auf Basis des RMSE der Fall.
• Quantifizierung der Restunsicherheit
• Die verbleibende Unsicherheit wird typischerweise über die (Ko-)varianz der Kameramodellparameter, oder die Summe dieser Varianzen, angegeben. Es gibt jedoch eine Vielzahl verschiedener Kameramodelle, von einfachen Lochkameras mit drei Parametern, bis hin zu lokalen Kameramodellen mit ~ 10⁵ Parametern. Die Angabe von Parameterunsicherheiten ist daher schwer interpretierbar und nicht über Kameramodelle hinweg vergleichbar. Das vorgeschlagene Verfahren propagiert die Parameterunsicherheit in den Bildraum und liefert dadurch ein interpretierbares und vergleichbares Maß für die Unsicherheit im Bild.
• Das Verfahren ermöglicht eine flexible Anpassbarkeit des Referenzexperiments: Je nach Anwendung kann z. B. der erwartete mittlere Fehler in einem bestimmten Bildbereich vorhergesagt werden. Anstelle des Fehlers im Bildraum kann auch der Fehler in den Winkeln der Kamera-Sichtstrahlen vorhergesagt werden. Als Referenzexperiment kann auch eine spezielle Anwendung, z. B. Triangulation, Selbstlokalisierung usw., definiert werden. Dies liefert dann bspw. den zu erwartenden quadratischen Triangulationsfehler.
• Die Metrik kann genutzt werden, um bestmögliche zusätzliche Messungen anzufordern. Dadurch kann der erwartete Fehler im Bildraum schnellstmöglich reduziert werden.
• Die Berechnung der hierin vorgeschlagenen Metrik erfordert keine aufwendige Monte-Carlo Simulation. Anstelle eines Maximalfehlers in einem ausgewählten Set an Punkten tritt ein mittlerer Fehler über alle Pixel. Die hierin vorgeschlagene Methode ermöglicht die Berücksichtigung möglicher Kompensierungen durch extrinsische Parameter, sowie andere anwendungsspezifische Anpassungen des vorherzusagenden Abbildungsfehlers.
• Die Beobachtbarkeit gibt den Anstieg der Kalibrier-Kostenfunktion in die am schlechtesten beobachtbare Parameterrichtung an. Das hierin vorgeschlagene Verfahren betrachtet hingegen die Unsicherheit aller Parameterrichtungen (nicht nur die am schlechtesten beobachtbare Parameterrichtung). Darüber hinaus ist die hierin vorgeschlagene Metrik besser interpretierbar: es wird der zu erwartende Fehler im Bildraum bestimmt, während die Beobachtbarkeit einen Anstieg der Kalibrier-Kostenfunktion angibt.
• Erkennung systematischer Fehler
• (1B) Generell können verschiedene Verfahren zur Schätzung der Werte σ_calib und σ_υ eingesetzt werden. In der Praxis ist besonders die Benutzung von robusten Schätzern wie M-Estimatoren, oder Median-Absolute-Deviation wichtig.
• (1C) Das Kalibrierobjekt kann auf verschiedene Weisen in virtuelle Kalibrierobjekte zerlegt werden. Generell gilt hier nur, dass mehr als sechs unabhängige Beobachtungen vorliegen müssen, damit die Schätzung überbestimmt ist. Im Fall von genau sechs Beobachtungen ließen sich die Posenparameter schätzen, allerdings ließe sich σ_υ nicht bestimmen, da der RMSE_υ = 0 wäre. Es ließen sich z. B. auch Gruppen von sechs Ecken verwenden.
• (1D) Das Verfahren ist nicht auf planare oder schachbrettartige Kalibrierkörper beschränkt. Es können z. B. auch Kalibrierkörper mit Kreismarkierungen, die nicht auf einer Ebene liegen, verwendet werden. Die einzige Voraussetzung ist, dass die relative Position der einzelnen Markierungen zueinander bekannt ist. Bei Kalibrierung nur einer Kamera ist dabei unter Umständen nicht einmal Wissen über die Gesamtabmessung (Skale) des Kalibrierkörpers erforderlich.
• (1E) Es können auch alternative Gütemaße aus σ̂ und σ_calib berechnet werden, z. B. $$g_1=\frac{\widehat{\sigma }}{{\sigma }_{calib}}$$

  

  $$g_2={\sigma }_{calib}-\widehat{\sigma }$$

  

  $$g_3=100\%\frac{{\sigma }_{calib}}{\widehat{\sigma }}$$

  

  $$g_4=\frac{{\sigma }_{calib}-\widehat{\sigma }}{\widehat{\sigma }},$$

  

  oder ganz allgemein $$g_5=ƒ\left({\sigma }_{calib},\widehat{\sigma }\right).$$

  
• (1F) Des Weiteren gibt es die Möglichkeit, den Bias-Term ε_bias direkt auszurechnen. Dafür wird RMSE_calib und σ̂ in Gleichung (2) eingesetzt und umgeformt zu $${\epsilon }_{bias}=RMS{E}_{calib}-\widehat{\sigma }\sqrt{1-\frac{n_{param}}{n_{obs}}}.$$

  
• Damit lassen sich weitere alternative Gütemaße definieren, wie $$g_6=\frac{{\epsilon }_{bias}}{RMS{E}_{calib}-{\epsilon }_{bias}}$$

  

  $$g_7=100\%\frac{{\epsilon }_{bias}}{RMS{E}_{calib}-{\epsilon }_{bias}}$$

  

  $$g_8=\frac{{\epsilon }_{bias}}{RMS{E}_{calib}}$$

  

  (18) $$g_9=\frac{RMS{E}_{calib}^2-{\widehat{\sigma }}^2\left(1-\frac{n_{param}}{n_{obs}}\right)}{RMS{E}_{calib}^2}$$

  

  $$g_{10}=100\%\frac{{\epsilon }_{bias}}{RMS{E}_{calib}}.$$

  
• (1G) Eine weitere Art der Definition eines Gütemaßes ergibt sich aus der Prädiktion des RMSE $$R{\widehat{MSE}}_{calib}=\widehat{\sigma }\sqrt{1-\frac{n_{param}}{n_{obs}}}$$

  

  und diesen mit RMSE_calib ins Verhätnis zu setzen. $$g_{11}=\frac{RMS{E}_{calib}}{R{\widehat{MSE}}_{calib}}$$

  

  $$g_{12}=\frac{RMS{E}_{calib}^2}{R{\widehat{MSE}}_{calib}^2}$$

  

  $$g_{13}=\frac{RMS{E}_{calib}-R{\widehat{MSE}}_{calib}}{R{\widehat{MSE}}_{calib}}$$

  

  $$g_{14}=\frac{RMS{E}_{calib}-R{\widehat{MSE}}_{calib}}{RMS{E}_{calib}}.$$

  
• Einige der vorstehenden Formulieren können mathematisch äquivalent sein und unterscheiden sich nur in der Herleitung.
• Quantifizierung der Restunsicherheit
• (2B) Um die Berechnung zu beschleunigen, kann der Abbildungsfehler K(θ̂, θ̅) anstelle von allen Pixeln, über ein Subset von Pixeln (z. B. ein homogenes Gitter über den Bildbereich verteilt) bestimmt werden.
• (2C) In bestimmten Anwendungsszenarion sind nur begrenzte Bildbereiche relevant. In diesem Fall kann der Abbildungsfehler K(θ̂, θ̅) anstelle von allen Pixeln, nur über Pixel in diesem Bildbereich bestimmt werden. Darüber hinaus können Bildbereiche unterschiedlich stark gewichtet werden.
• (2D) Je nach Anwendung kann beim Abbildungsfehler K(θ̂, θ̅) berücksichtigt werden, dass Differenzen in intrinischen Parameter häufig durch eine andere Wahl der extrinsischen Parametern (der Lage der Kamera) kompensiert werden können. In solchen Fällen ist der Abbildungsfehler daher geringer, als über Gleichung 6 angegebene Fehler. Die alternative Formulierung unter Berücksichtigung der Extrinsik lautet: $$K=\frac{1}{N}{\displaystyle {\sum }_{pixeli}^N{\Vert u_i-p_C\left(\left[R/t\right]x_i;\widehat{\theta }+\mathrm{\Delta }\theta \right)\Vert }^2}$$

  

  $$\text{mit}3\text{D Punkten}{x}_i=p_C{}^{-1}\left(u_i;\widehat{\theta }\right),$$

  

  $$\text{und Extrinsik}\left[R/t\right]=mi{n}_{\left[R/t\right]}K.$$

  
• (2E) Anstelle des mittleren Fehlers im Bild kann der mittlerer Fehler in den Winkeln der Sichtstrahlen vorhergesagt werden. Der Abbildungsfehler K(θ̂, Δθ) definiert in diesem Fall nicht die mittlere Differenz im Bildraum (Gleichung 7), sondern die mittlere Differenz in Winkeln.
• (2F) Der Ausdruck $\mathbb{E}\left[K\right]=trace\left({\mathrm{\Sigma }}_{\theta }{}^{1/2}H{\mathrm{\Sigma }}_{\theta }{}^{1/2}\right)$

  

  kann auch wie folgt formuliert werden (mathematisch equivalent): $$\mathbb{E}\left[K\right]=trace\left({\mathrm{\Sigma }}_{\theta }H\right),$$

  

  $$\mathbb{E}\left[K\right]=trace\left(H{\mathrm{\Sigma }}_{\theta }\right),$$

  

  $$\mathbb{E}\left[K\right]={\displaystyle {\sum }_{i=1}^N{\lambda }_i},$$

  

  wobei λ_i die Eigenwerte der Matrix Σ_θ ^1/2HΣ_θ ^1/2 sind.
• (2G) Anstelle des Erwartungswertes des mittleren quadratischen Fehlers $\mathbb{E}\left[K\right]$

  

  (in der Einheit pixel²) kann die Quadratwurzel daraus $$\sqrt{\mathbb{E}\left[K\right]}=\sqrt{trace\left({\mathrm{\Sigma }}_{\theta }{}^{1/2}H{\mathrm{\Sigma }}_{\theta }{}^{1/2}\right)}$$

  

  (in der Einheit pixel) verwendet werden. Dies ist ggf. noch leichter interpretierbar.
• (2H) Ganz allgemein kann eine beliebige Funktion f(IE[K]) verwendet werden.

Claims (11)

1. Verfahren zum Bewerten einer Kamerakalibrierung, bei dem ein erstes Gütemaß ermittelt wird, wobei mit ersten Gütemaß ein statistischer Fehler zu bewerten, wobei ein Erwartungswert für einen Abbildungsfehler ermittelt wird, wobei zunächst auf optimale Modellparameter und deren Kovarianzmatrix zugegriffen wird, dann eine Matrix eines Abbildungsfehlers bestimmt wird und abschließend der Erwartungswert des Abbildungsfehlers ermittelt wird.
2. Verfahren nach Anspruch 1, bei dem eine Bewertung eines Kalibrier-Messaufbaus bzw. eines Kalibrier-Datensatzes vorgenommen wird.
3. Verfahren nach Anspruch 1 oder 2, bei dem basierend auf dem ersten Gütemaß zusätzliche Messungen angefordert oder vorgeschlagen werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem eine Bewertung der Parameterauswahl vorgenommen wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem ein zweites Gütemaß ermittelt wird, wobei mit dem zweiten Gütemaß ein systematischer Fehler zu bewerten.
6. Verfahren nach Anspruch 5, bei dem das zweite Gütemaß ermittelt wird, indem ein Gesamtkalibrierobjekt, das mindestens ein Kalibrierobjekt umfasst, virtuell in Kalibrierobjekte zerlegt wird, wobei für jedes Kalibrierobjekt ein Detektorrauschen geschätzt wird, die zu einer Gesamtschätzung kombiniert werden, die mit einer Schätzung des Detektorrauschens des Gesamtkalibrierobjekts verglichen wird.
7. Verfahren nach Anspruch 5 oder 6, bei dem eine Bewertung der Modellauswahl vorgenommen wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, bei dem einem Nutzer eine direkte Rückmeldung gegeben wird, um die Kalibrierung bewerten zu können.
9. Verfahren nach einem der Ansprüche 1 bis 8, bei dem als Abbildungsfehler ein mittlerer quadratischer Fehler im Bildraum verwendet wird.
10. Verfahren nach einem der Ansprüche 1 bis 9, bei dem eine Matrix bestimmt wird, die einen Anstieg des Abbildungsfehlers in Abhängigkeit von dem Fehler in den Modellparametern beschreibt.
11. Anordnung zum Bewerten einer Kamerakalibrierung, die zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 10 eingerichtet ist.

Images