DE102015008809B4

DE102015008809B4 - Vorrichtung zur Perspektivkorrektur eines Bildes

Info

Publication number: DE102015008809B4
Application number: DE102015008809.2A
Authority: DE
Inventors: Detlef Grosspietsch
Original assignee: Lenstrue GmbH
Current assignee: Lenstrue GmbH
Priority date: 2015-07-10
Filing date: 2015-07-10
Publication date: 2018-04-12
Anticipated expiration: 2035-07-11
Also published as: DE102015008809A1

Abstract

Vorrichtung zur Korrektur der perspektivischen Verzerrung eines Bildes, bestehend aus einer fotografischen Kamera mit/und Objektiv dadurch gekennzeichnet, dass das mit einer Kamera aufgenommenen Bild einer projektiven Transformation unterzogen wird, indem eine projektive Transformationsmatrix aus den bekannten intrinischen Objektivparametern und der mit den Winkelmessgeräten an allen drei Raumachsen gemessenen Ausrichtung der Kamera direkt ohne Rückgriff auf eine Datenbank mathematisch berechnet und auf das Bild angewandt wird, wobei die Rotationswinkel der Kamera um ihre optische Achse und ihre Horizontalachse mit einem Schwerefeldsensor anhand der Richtung des Vektors der Schwerebeschleunigung der Erde gemessen werden, um aus ihnen eine Bildansicht zu konstruieren, die einer Bildaufnahme mit vertikal ausgerichteter Bildebene entspricht, und dass für die Messung des Rotationswinkels um die Vertikalachse der Kamera ein messendes Winkelmessgerät verwendet wird, vorteilshafterweise ein Erdmagnetfeldsensor oder Kompass, und dass die absolut gemessenen drei Rotationswinkel der Kamera mit den bekannten intrinsischen Objektivparametern und einer projektiven Transformationsmatrix, ohne Rückgriff auf eine Datenbank, direkt für die Perspektivkorrektur des Bildes verwendet wird.

Description

Bei photographischen Aufnahmen, die mit einer Kamera mit starrer Anordnung von Objektiv und Bildsensor aufgenommen wurden, kommt es zu perspektivischen Verzerrungen, wenn die Kamera schräg nach oben oder unten gehalten wird und oder eine Drehung um die Vertikalachse erfolgt. Wird die Zentralperspektive verlassen äußern sich Verzerrungen beispielsweise in stürzenden Linien bei Objekten mit geraden Begrenzungskanten oder in einer Stauchung der Seitenverhältnisse bei runden Objekten.
In der traditionellen photographischen Praxis werden leichte Verschwenkungen der Kamera, von in der Regel wenigen Winkelgrad bedingten perspektivischen Verzerrungen, durch den Einsatz von Shift-Objektiven kompensiert.
Ein Verfahren und eine Vorrichtung zur rechnerischen Korrektur perspektivischer Verzerrungen auf Basis einer Kamera und eines Winkelsensors wird in der Patentschrift EP 1 906 655 B1 beschrieben, wobei zunächst im Rahmen eines Kalibrierprozesses für eine Vielzahl von Kameraausrichtungen und intrinsischen Objektivparametern eine Profildatenbank erstellt wird, für eine neue Aufnahme mit gegebener Kameraausrichtung und Objektiveinstellung das zu dieser Konfiguration am besten passende Profil aus der Datenbank ausgelesen wird und das Bild dann dementsprechend korrigiert wird. Nachteil des in der Patentschrift EP 1 906 655 B1 beschriebenen Verfahrens ist die Notwendigkeit der Erstellung einer Profildatenbank für eine große Anzahl von Kameraausrichtungen und Objektiveinstellungen, die mit einem hohen Aufwand verbunden ist. Des Weiteren ist aus der internationalen Patentanmeldung WO 2014/084148A1 eine Vorrichtung zur Korrektur bekannt, die eine Kombination aus einer Projektionseinheit und einer Bildaufnahmeeinheit beschreibt. Die Bildkorrektur ist hier darauf beschränkt, das aufgenommene Bild so zu transformieren, dass das Bild einer Aufnahme mit paralleler Projektions- und Bildebene entspricht. In einer Patentanmeldung US 2006/0078214A1 wird ein Schwerefeldsensor zur Messung von zwei Winkeln, die die Orientierung der Kamera im Raum beschreiben, verwendet. Hierbei handelt es sich lediglich um die Winkel um die Optische- und die Horizontalachse. Der Drehwinkel um die Vertikalachse wird hierbei nicht berücksichtigt, da der Winkel der Drehung um die Vertikalachse nicht mit einem Schwerefeldsensor bestimmt werden kann. Des Weiteren werden in der Patentanmeldung GB 2515797A zwei Winkel gemessen, die die Orientierung der Kamera im Raum beschreiben. Die Bildtransformation wird speziell für eine Bildsequenz so berechnet, dass das zweite Bild der Sequenz auf die bei Aufnahme des ersten Bildes gegebene Raumlage der Kamera umgerechnet wird. Es wird zwar die Möglichkeit einer manuellen Eingabe der Transformationsparameter erwähnt, doch erfolgt diese hier nicht im Zusammenhang mit einem virtuellen Perspektivwechsel, der die Messung des Drehwinkels der Vertikalachse erfordert.
Ausgehend von diesem Stand der Technik besteht die Aufgabe der vorliegenden Erfindung darin, ein mit einer Kamera aufgenommenes Bild einer projektiven Transformation ohne Rückgriff auf eine Datenbank zu unterziehen, um aus ihnen eine Bildansicht zu konstruieren, die einer Bildaufnahme mit vertikal ausgerichteter Bildebene entspricht. Die erfindungsgemäße Vorrichtung besteht aus einer Kamera mit einem Objektiv, dessen intrinsische Parameter bei der Aufnahme bekannt sind, drei Winkelsensoren, welche die an allen drei Raumachsen gemessene räumliche Ausrichtung der Kamera im Raum vermessen. Das Verfahren basiert auf einer projektiven Transformation des Bildes, wobei eine projektive Transformationsmatrix entsprechend der bekannten intrinsischen Objektivparameter bei der Aufnahme und der mit den Winkelsensoren ermittelten Ausrichtung der Kamera im Raum bei der Aufnahme mathematisch ermittelt und mit dieser Transformationsmatrix direkt, ohne Rückgriff auf eine Datenbank, eine perspektivische Korrektur des Bildes durchgeführt wird. Des weiteren kann durch manuelles Abändern der gemessenen Winkelwerte das aufgenommene Bild in eine beliebige Perspektive umgerechnet werden (virtueller Perspektivwechsel).
Das Verfahrensprinzip ist in schematisch dargestellt.
Die Erfindung unterscheidet sich dahingehend vom einschlägigen Stand der Technik, als dass die Perspektivkorrektur des Bildes gemäß den drei Winkeln um alle drei Raumachsen durchgeführt wird und nicht lediglich gemäß den zwei Winkeln um die optische und die Horizontalachse der Kamera. Darüber hinaus ist das Konzept des in der Erfindung beschriebenen virtuellen Perspektivwechsels in dieser Form nicht aus dem Stand der Technik bekannt.
Eine vorteilhafte Ausgestaltung der Vorrichtung besteht in der Verwendung eines oder mehrerer Winkelmessgeräte, welche die Kameraausrichtung anhand der Richtung des Vektors der Schwerebeschleunigung der Erde ermitteln, wodurch die Rotationswinkel um die optische Achse und um die Horizontalachse der Kamera bestimmt werden. Der Rotationswinkel der Kamera um die Vertikalachse wird bei dieser Ausführung der Vorrichtung zu Null gesetzt.
In einer weiteren vorteilhaften Ausgestaltung der Vorrichtung wird der Rotationswinkel um die Vertikalachse der Kamera nicht zu Null gesetzt, sondern manuell vorgegeben, was einen virtuellen Perspektivwechsel in horizontaler Richtung ermöglicht. Ein solcher Perspektivwechsel konnte in der traditionellen photographischen Praxis bislang nur mechanisch durch Verwendung einer Fachkamera mit verschwenkbarer Rückstandarte erzielt werden.
Eine weitere vorteilhafte Ausgestaltung der Vorrichtung besteht in der zusätzlichen Verwendung eines absolut messenden Winkelsensors für den Rotationswinkel um die Vertikalachse der Kamera, z. B. auf Basis eines Erdmagnetfeldsensors oder eines Kompasses. In dieser Ausgestaltung der Vorrichtung werden alle drei Orientierungswinkel der Kamera absolut gemessen, wodurch die projektive Transformationsmatrix bei bekannten intrinsischen Objektivparametern eindeutig ermittelt und direkt für die Perspektivkorrektur verwendet werden kann.
Eine weitere vorteilhafte Ausgestaltung der Vorrichtung besteht darin, die von den Winkelsensoren gemessenen Ausrichtungswinkel der Kamera durch manuellen Benutzereingriff so lange interaktiv anzupassen, bis durch Anwendung der aus den geschätzten Winkeln und den intrinsischen Objektivparametern berechneten projektiven Transformationsmatrix auf das Bild ohne Rückgriff auf eine Datenbank ein gewünschtes Bildergebnis erreicht wird.
Eine weitere vorteilhafte Ausgestaltung der Vorrichtung besteht darin, die Winkellage der Kamera nicht zu messen, sondern zu schätzen und interaktiv so lange zu variieren, bis durch Anwendung der aus den eingegebenen Winkeln und den intrinsischen Objektivparametern berechneten projektiven Transformationsmatrix das gewünschte Bildergebnis erreicht wird.

Claims

Vorrichtung zur Korrektur der perspektivischen Verzerrung eines Bildes, bestehend aus einer fotografischen Kamera mit/und Objektiv dadurch gekennzeichnet, dass das mit einer Kamera aufgenommenen Bild einer projektiven Transformation unterzogen wird, indem eine projektive Transformationsmatrix aus den bekannten intrinischen Objektivparametern und der mit den Winkelmessgeräten an allen drei Raumachsen gemessenen Ausrichtung der Kamera direkt ohne Rückgriff auf eine Datenbank mathematisch berechnet und auf das Bild angewandt wird, wobei die Rotationswinkel der Kamera um ihre optische Achse und ihre Horizontalachse mit einem Schwerefeldsensor anhand der Richtung des Vektors der Schwerebeschleunigung der Erde gemessen werden, um aus ihnen eine Bildansicht zu konstruieren, die einer Bildaufnahme mit vertikal ausgerichteter Bildebene entspricht, und dass für die Messung des Rotationswinkels um die Vertikalachse der Kamera ein messendes Winkelmessgerät verwendet wird, vorteilshafterweise ein Erdmagnetfeldsensor oder Kompass, und dass die absolut gemessenen drei Rotationswinkel der Kamera mit den bekannten intrinsischen Objektivparametern und einer projektiven Transformationsmatrix, ohne Rückgriff auf eine Datenbank, direkt für die Perspektivkorrektur des Bildes verwendet wird.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die von den Winkelsensoren gemessenen Ausrichtungswinkel der Kamera durch manuellen Benutzereingriff so lange interaktiv verändert werden, bis durch Anwendung der aus den eingegebenen Winkeln und den intrinsichen Objektivparametern berechneten projektiven Transformationsmatrix auf das Bild, ohne Rückgriff auf eine Datenbank, wahlweise ein gewünschtes Bildergebnis und/oder ein virtueller Perspektivwechsel erzielt wird.