DE102020126407A1

DE102020126407A1 - Bildaufnahmegerät

Info

Publication number: DE102020126407A1
Application number: DE102020126407.0A
Authority: DE
Inventors: Patrick Theis; Sylvia Schmitt
Original assignee: Leica Camera AG
Current assignee: Leica Camera AG
Priority date: 2020-10-08
Filing date: 2020-10-08
Publication date: 2022-04-14
Also published as: WO2022074186A1; EP4193588A1; JP2023546037A; US20230370562A1; JP7779910B2; CN116324883A; US12256168B2

Abstract

Ein Bildaufnahmegerät weist einen optoelektronischen Bildsensor, einen Lagesensor, eine grafische Benutzerausgabeschnittstelle und eine Auswerteeinheit auf. Der Bildsensor erfasst einen Bilddatensatz, welcher eine Abbildung einer vor dem Bildsensor befindlichen Szene auf eine Bildfläche des Bildsensors repräsentiert. Der Lagesensor erfasst eine räumliche Lage der Bildfläche relativ zu einer Referenzrichtung und stellt Lagedaten bereit, welche sowohl einen Rotationswinkel, als auch einen Verkippungswinkel des Bildsensors angeben. Die Auswerteeinheit bestimmt aus den Lagedaten eine projektive Transformation, welche den Bilddatensatz in Abhängigkeit sowohl der Rotation als auch der Verkippung auf eine gegenüber der Bildfläche verkippte Projektionsfläche abbildet. Die Auswerteeinheit bestimmt in der Projektionsebene einen Bildausschnitt für den mittels der projektiven Transformation auf die Projektionsebene abgebildeten Bilddatensatz und stellt den Bildausschnitt mit zumindest einem innerhalb des Bildausschnitts liegenden Bereich der abgebildeten Szene in der grafischen Benutzerausgabeschnittstelle dar.

Description

Die vorliegende Erfindung betrifft ein Bildaufnahmegerät mit einem optoelektronischen Bildsensor und ein Verfahren zum Betreiben eines Bildaufnahmegeräts mit einem optoelektronischen Bildsensor.
Bildaufnahmegeräte mit optoelektronischen Bildsensoren, beispielsweise Foto- oder Videokameras, bilden eine vor dem Bildaufnahmegerät befindliche Szene auf eine Bildfläche des Bildsensors ab und erzeugen Bilddaten, welche die auf die Bildfläche abgebildete Szene repräsentieren. Während der Abbildung der Szene kann es bei einer Verkippung der Bildfläche gegenüber einer Referenzfläche der Szene, beispielsweise gegenüber einer vertikalen Ebene einer Häuserfront, vorkommen, dass die Referenzfläche der Szene nicht parallel zur Bildfläche des Bildsensors ausgerichtet ist. Dadurch weisen unterschiedliche Bereiche innerhalb der Referenzfläche der Szene einen unterschiedlichen Abstand zur Bildfläche des Bildsensors auf und die unterschiedlichen Bereiche werden mit unterschiedlichen Vergrößerungen auf die Bildfläche abgebildet. Dies führt zu perspektivischen Verzerrungen der auf die Bildfläche abgebildeten Szene. Infolgedessen können beispielsweise Geraden, welche innerhalb der Referenzebene parallel zueinander verlaufen, als sogenannte stürzende Linien abgebildet werden, was insbesondere bei einer Abbildung hoher Gebäude von einem tief liegenden Standpunkt aus vorkommen kann.
Die aus einer Verkippung des Bildaufnahmegeräts resultierenden perspektivischen Verzerrungen können bei einer nachträglichen Bearbeitung der Bilddaten durch eine inverse Transformation, welche die während der Aufnahme der Bilddaten auftretende perspektivische Verzerrung kompensiert, rückgängig gemacht werden. Dabei werden üblicherweise Geraden innerhalb der Bilddaten identifiziert, welche in der ursprünglichen Szene parallel zueinander verlaufen, und die Bilddaten werden anschließend mittels der inversen Transformation derart korrigiert, dass die identifizierten Geraden auch in der aufgenommenen Szene parallel ausgerichtet sind.
Bei der inversen Transformation werden jedoch auch die Ränder der Bilddaten verzerrt, so dass die transformierten Bilddaten zur Vermeidung schräggestellter Ränder beschnitten werden müssen. Dadurch wird der nutzbare Bildausschnitt verringert. Bei einer nachträglichen Bearbeitung bereits aufgenommener Bilddaten kann dies zur Folge haben, dass in der ursprünglichen Aufnahme vorhandene und für die Komposition der Aufnahme wichtige Bildbereiche beschnitten werden müssen und nicht mehr verwendet werden können.
Es ist Aufgabe der Erfindung, es einem Benutzer eines Bildaufnahmegeräts zu ermöglichen, auf einfache Weise Bilddaten zu erzeugen, welche auch noch nach einer Korrektur einer während der Aufnahme auftretenden perspektivischen Verzerrung alle für die Komposition der Aufnahme relevanten Bildbereiche umfassen.
Diese Aufgabe wird durch ein Bildaufnahmegerät und ein Verfahren zum Betreiben eines Bildaufnahmegeräts gemäß den unabhängigen Ansprüchen gelöst. Weiterbildungen sind jeweils in den abhängigen Ansprüchen angegeben.
Ein Bildaufnahmegerät weist einen optoelektronischen Bildsensor, einen Lagesensor, eine grafische Benutzerausgabeschnittstelle und eine Auswerteeinheit auf. Der Bildsensor ist dazu ausgebildet, einen Bilddatensatz zu erfassen, welcher eine Abbildung einer vor dem Bildsensor befindlichen Szene auf eine Bildfläche des Bildsensors repräsentiert. Ferner ist der Lagesensor dazu ausgebildet, eine räumliche Lage der Bildfläche relativ zu einer Referenzrichtung zu erfassen und Lagedaten bereitzustellen, welche sowohl einen Rotationswinkel, um den die Bildfläche bei der Erfassung des Bilddatensatzes um eine optische Achse des Bildsensors, insbesondere gegenüber einer senkrechten Projektion der Referenzrichtung auf die Bildfläche, rotiert ist, als auch einen Verkippungswinkel, um den die Bildfläche bei der Erfassung des Bilddatensatzes um eine Horizontalachse, insbesondere gegenüber der Referenzrichtung, verkippt ist, angeben. Dabei ist die Horizontalachse senkrecht zu der optischen Achse und senkrecht zu der Referenzrichtung orientiert. Die Auswerteeinheit ist dazu ausgebildet, aus den Lagedaten eine projektive Transformation zu bestimmen, welche den Bilddatensatz in Abhängigkeit sowohl der Rotation als auch der Verkippung aus der Bildfläche auf eine Projektionsebene abbildet. Die Projektionsebene ist dabei gegenüber der Bildfläche in Abhängigkeit von dem Verkippungswinkel verkippt und schneidet die Bildfläche entlang einer Schnittlinie, welche in der Bildfläche gegenüber Mittelachsen der Bildfläche in Abhängigkeit von dem Rotationswinkel rotiert ist. Die Auswerteeinheit ist außerdem dazu ausgebildet, in der Projektionsebene einen Bildausschnitt für den mittels der projektiven Transformation auf die Projektionsebene abgebildeten Bilddatensatz zu bestimmen und den Bildausschnitt mit zumindest einem innerhalb des Bildausschnitts liegenden Bereich der auf die Bildfläche abgebildeten Szene in der grafischen Benutzerausgabeschnittstelle darzustellen.
Im Rahmen der Erfindung wurde erkannt, dass eine einfache und vor allem perspektivisch korrekte Korrektur perspektivischer Verzerrungen dadurch ermöglicht wird, dass die Lage des Bildsensors relativ zur aufgenommenen Szene über den Lagesensor automatisiert erfasst und eine projektive Transformation zur Kompensation der perspektivischen Verzerrungen aus den Lagedaten des Lagesensors errechnet wird. Indem bei der projektiven Transformation nicht nur die Verkippung des Bildsensors um die Horizontalachse, also eine Verkippung einer Bildebene des Bildsensors gegenüber einer parallel zu der Referenzrichtung ausgerichteten Referenzebene der Szene, sondern auch die Rotation des Bildsensors um die optische Achse berücksichtigt wird, erfolgt insbesondere auch noch bei rotiertem Bildsensor eine perspektivisch korrekte Korrektur der abgebildeten Szene.
Die Darstellung des durch die Auswerteeinheit bestimmten Bildausschnitts zusammen mit der auf die Bildfläche abgebildeten Szene in der Benutzerausgabeschnittstelle des Bildaufnahmegeräts ermöglicht es dann einem Benutzer, den Bildsensor bereits während der Aufnahme der Szene derart auszurichten, dass auch noch bei einem späteren Beschnitt der Bilddaten alle für die Komposition der Aufnahme wesentlichen Bildbereiche innerhalb des Bildausschnitts liegen. Insofern erhält ein Benutzer des Bildaufnahmegeräts bereits während der Aufnahme eine direkte Rückmeldung über den nach einer Korrektur der perspektivischen Verzerrung noch verwendbaren Bildausschnitt, so dass er alle relevanten Aufnahmeparameter bereits unter Berücksichtigung des später verfügbaren Bildausschnitts wählen kann.
Die zur Bestimmung der projektiven Transformation herangezogene Referenzrichtung kann insbesondere unabhängig sein von der durch den Lagesensor ermittelten Rotation und Verkippung des Bildsensors. Dadurch ist auch die absolute räumliche Lage der Projektionsebene unabhängig von der Rotation des Bildsensors um dessen optische Achse und der Verkippung des Bildsensors um die Horizontalachse. Da die Horizontalachse senkrecht zu der optischen Achse und der Referenzrichtung ausgerichtet ist, ist die optische Achse auch nach Anwendung der projektiven Transformation in einer durch die Referenzrichtung und die optische Achse aufgespannten und senkrecht zu der Horizontalachse orientierten Vertikalebene angeordnet. Insofern verschiebt sich die Blickrichtung auf die abgebildete Szene auch nach Anwendung der projektiven Transformation nicht aus der Vertikalebene, was eine Komposition des Bildausschnitts während der Aufnahme der Szene erleichtert, beispielsweise gegenüber Transformationen, bei denen die Projektionsebene unabhängig von einer Rotation des Bildsensors um die optische Achse stets die gleiche Ausrichtung gegenüber dem Bildsensor aufweist.
Die Verkippung der Projektionsebene gegenüber der Bildfläche kann insbesondere derart von dem Verkippungswinkel abhängen, dass die Verkippung der Projektionsebene gegenüber der Bildfläche dem Verkippungswinkel oder dem Verkippungswinkel abzüglich eines Restwinkels entspricht. Insbesondere kann die Verkippung der Projektionsebene gegenüber der Bildfläche derart von dem Verkippungswinkel abhängen, dass die Projektionsebene bei einem Verkippungswinkel ungleich Null gegenüber der Bildfläche verkippt ist und bei einem Verkippungswinkel gleich Null parallel zu der Bildfläche ausgerichtet ist.
Ebenso kann die Rotation der Schnittlinie zwischen der Bildfläche und der Projektionsebene gegenüber den Mittelachsen der Bildfläche derart von dem Rotationswinkel abhängen, dass die Rotation der Schnittlinie gegenüber den Mittelachsen dem Rotationswinkel entspricht. Insbesondere kann die Rotation der Schnittlinie gegenüber den Mittelachsen derart von dem Rotationswinkel abhängen, dass die Schnittlinie bei einem Rotationswinkel ungleich Null nicht parallel zu den Mittelachsen und bei einem Rotationswinkel gleich Null parallel zu einer Mittelachse der Bildfläche verläuft. Bei einer rechteckigen Bildfläche verläuft die Schnittlinie dann bei einem von Null verschiedenen Rotationswinkel auch nicht parallel zu einem Rand der Bildfläche.
Der Lagesensor kann als ein dreiachsiger Sensor ausgebildet sein, welcher die räumliche Lage von drei zueinander orthogonalen Achsen des Bildsensors bestimmt. Der Lagesensor kann zusammen mit dem Bildsensor ortsfest innerhalb eines gemeinsamen Gehäuses angeordnet sein. Der Lagesensor kann beispielsweise als ein Schwerkraftsensor oder als ein gyroskopischer Sensor ausgebildet sein. Alternativ kann die Referenzrichtung auch durch eine Benutzereingabe vorgebbar sein, beispielsweise durch eine Ausrichtung einer Mittelachse des Bildsensors entlang der gewünschten Referenzrichtung und eine Kalibration der Lagebestimmung auf die entsprechende räumliche Lage, etwa als Reaktion auf eine Benutzereingabe.
Die bei der Bestimmung der räumlichen Lage des Bildsensors herangezogene Referenzrichtung kann eine fest vorgegebene Richtung, beispielsweise die Richtung der Erdbeschleunigung, sein. Handelt es sich um die Erdbeschleunigung, ist die Horizontalachse insbesondere parallel zum Horizont der aufgenommenen Szene ausgerichtet, so dass der Verkippungswinkel die Verkippung der Bildfläche aus deren vertikaler Ausrichtung angibt.
Um eine eindeutige Definition der Lage der Horizontalachse auch in Fällen zu gewährleisten, in denen die Referenzrichtung parallel zur optischen Achse ausgerichtet ist, kann die Auswerteeinheit dazu ausgebildet sein, die Horizontalachse nur dann als eine senkrecht zu der Referenzrichtung und senkrecht zur optischen Achse ausgerichtete Richtung zu bestimmen, wenn der Verkippungswinkel höchstens einem vorgegebenen Grenzwert entspricht. Dabei kann der Grenzwert kleiner als 90°, beispielsweise kleiner als 45°, sein. Der Grenzwert kann beispielsweise um 1°, 3°, 5° oder 10° kleiner als 90° oder 45 ° sein. Ferner kann die Auswerteeinheit dazu ausgebildet sein, die projektive Transformation und den Bildausschnitt nur für Verkippungswinkel, die höchstens dem vorgegebenen Grenzwert entsprechen, zu bestimmen. Alternativ kann die Auswerteeinheit auch dazu ausgebildet sein, bei einem Überschreiten des vorgegebenen Grenzwerts die Horizontalachse parallel zu einer vorgegebenen Mittelachse der Bildfläche auszurichten.
Das Bildaufnahmegerät kann als eine Foto- oder Videokamera ausgebildet sein. Insbesondere kann das Bildaufnahmegerät als eine spiegellose Kamera ausgebildet sein. Zur Abbildung der Szene auf die Bildfläche des Bildsensors kann das Bildaufnahmegerät eine Abbildungsoptik, beispielsweise ein Objektiv, aufweisen, welches während der Abbildung ortsfest mit dem Bildsensor und dem Lagesensor, etwa mit einem den Bildsensor und den Lagesensor umfassenden Gehäuse, verbunden ist. Bei der Abbildungsoptik kann es sich insbesondere um ein Wechselobjektiv handeln. Eine optische Achse der Abbildungsoptik kann mit der optischen Achse des Bildsensors zusammenfallen.
Bei der Benutzerausgabeschnittstelle kann es sich um einen elektronischen oder optischen Sucher des Bildaufnahmegeräts oder um einen Bildschirm handeln. Handelt es sich um einen optischen Sucher, kann der Bildausschnitt dem innerhalb des Suchers dargestellten Bereich der abgebildeten Szene überlagert angezeigt werden, um gleichzeitig den Bildausschnitt und zumindest den innerhalb des Bildausschnitts liegenden Bereich der abgebildeten Szene in der als Sucher ausgebildeten Benutzerausgabeschnittstelle darzustellen. Der Bildschirm und/oder der Sucher können ebenfalls an dem den Bildsensor und den Lagesensor umfassenden Gehäuse angeordnet sein. Alternativ kann zumindest der Bildschirm entfernt von einem derartigen Gehäuse angeordnet sein, beispielsweise in einem mit dem Bildsensor und dem Lagesensor über eine Datenverbindung verbundenen Mobilgerät, etwa einem Smartphone oder Tablet-Computer.
Die Auswerteeinheit kann zumindest eine programmierbare Logikeinheit umfassen, beispielsweise einen ASIC, ein FPGA, einen Mikrochip oder dergleichen. Sie kann im gleichen Gehäuse wie der Bildsensor und der Lagesensor angeordnet sein. Alternativ können zumindest Komponenten der Auswerteeinheit außerhalb dieses Gehäuses angeordnet sein, beispielsweise in einer mit dem Gehäuse über eine Datenverbindung verbundenen externen Recheneinheit des Bildaufnahmegeräts, etwa dem Smartphone oder Tablet-Computer.
Der Bildsensor kann beispielsweise als ein CCD- oder CMOS-Bildsensor ausgebildet sein. Die Bildfläche des Bildsensors wird durch diejenige Fläche des Bildsensors gebildet, welche einfallende elektromagnetische Strahlung erfasst und in elektronische Signale zur Erstellung des Bilddatensatzes umwandelt. Die Bildfläche kann insbesondere rechteckig ausgebildet sein.
Der Bildausschnitt kann beispielsweise als ein rechteckiger Bildausschnitt bestimmt werden. Zur Bestimmung des Bildausschnitts kann die Auswerteeinheit zumindest alle Eckpunkte der Bildfläche mittels der projektiven Transformation auf die Projektionsebene abbilden. Insbesondere kann die Auswerteeinheit ausschließlich die Eckpunkte der Bildfläche, nicht jedoch die einzelnen Bildpunkte des Bildsensors, zur Bestimmung des Bildausschnitts auf die Projektionsebene abbilden. Nach Bestimmung der Koordinaten des Bildausschnitts innerhalb der Projektionsebene kann die Auswerteeinheit die Koordinaten des Bildausschnitts mittels einer zu der projektiven Transformation inversen Transformation zurück auf die Bildfläche des Bildsensors abbilden. Dies ermöglicht es, den Bildausschnitt innerhalb der untransformierten Szene in der grafischen Benutzerausgabeschnittstelle darzustellen. Dabei können insbesondere gleichzeitig der Bildausschnitt und alle durch die Bildfläche des Bildsensors erfassten Bilddaten dargestellt werden.
Alternativ kann in der Benutzerausgabeschnittstelle auch direkt der untransformierte Bildausschnitt dargestellt werden zusammen mit dem ebenfalls auf die Projektionsebene abgebildeten und innerhalb des Bildausschnitts liegenden Bereichs der abgebildeten Szene. Dies ermöglicht es, den nach der Korrektur der perspektivischen Verzerrung erhältlichen Bildausschnitt vollflächig innerhalb der Benutzerausgabeschnittstelle und damit in hoher Vergrößerung darzustellen.
Bei einer Weiterbildung entspricht die Referenzrichtung der Richtung der Erdbeschleunigung. Dadurch kann die räumliche Lage des Bildsensors auf einfache Art und Weise automatisiert bestimmt werden. Üblicherweise treten perspektivische Verzerrungen dann auf, wenn die abgebildete Szene hohe vertikale Objekte, beispielsweise Gebäude, umfasst, welche von einem tief- oder hochliegenden Standpunkt aus aufgenommen werden. Insbesondere bei derartigen perspektivischen Verzerrungen kann dann die projektive Transformation ohne eine Benutzereingabe ermittelt werden. Bei einer derartigen Weiterbildung kann der Lagesensor beispielsweise als ein Beschleunigungssensor zur Erfassung des Schwerefelds der Erde ausgebildet sein.
Bei einer Weiterbildung ist die Projektionsebene parallel zu der Horizontalachse und/oder parallel zu der Referenzrichtung ausgerichtet. Ist die Projektionsebene parallel zu der Horizontalachse, wird die Rotation der Bildfläche um die optische Achse vollständig korrigiert. Ist die Projektionsebene parallel zu der Referenzrichtung, wird die Verkippung der Bildfläche gegenüber der Referenzrichtung, beispielsweise gegenüber einer aus der Erdbeschleunigung bestimmten vertikalen Ausrichtung, vollständig kompensiert.
Alternativ kann die Projektionsebene mit der Horizontalachse einen Restwinkel einschließen, welcher von Null verschieden und kleiner als der Rotationswinkel ist, so dass die Rotation um die optische Achse nicht vollständig kompensiert wird. Alternativ oder zusätzlich kann die Projektionsebene mit der Referenzrichtung einen weiteren Restwinkel einschließen, welcher von Null verschieden und kleiner als der Verkippungswinkel ist. Dadurch wird die Verkippung der Bildfläche um die Horizontalachse nicht vollständig kompensiert. Insbesondere bei einer Unterkorrektur, also einer nicht vollständigen Kompensation der Verkippung der Bildfläche um die Horizontalachse kann die abgebildete Szene nach Anwendung der perspektivischen Korrektur natürlicher wirken als bei einer vollständigen Korrektur der Verkippung.
Bei einer Weiterbildung schneidet die Horizontalachse die optische Achse im Mittelpunkt der Bildfläche. Damit schneidet auch die Projektionsebene die Bildfläche im Mittelpunkt der Bildfläche und entlang der Horizontalachse.
Bei einer Weiterbildung ist ein Projektionszentrum der projektiven Transformation auf der optischen Achse angeordnet. Dies ermöglicht eine perspektivisch korrekte Kompensation der während der Abbildung auftretenden perspektivischen Verzerrungen.
Bei einer Weiterbildung entspricht ein Abstand des Projektionszentrums von der Bildfläche einer auf eine Diagonale der Bildfläche normierten Brennweite einer die Szene auf den Bildsensor abbildenden Abbildungsoptik des Bildaufnahmegeräts. Dadurch können während der Abbildung auftretende perspektivische Verzerrungen vollständig korrigiert werden. Ist das Bildaufnahmegerät dazu ausgebildet, verschiedene Abbildungsoptiken, beispielsweise als Wechselobjektive, aufzunehmen, kann die Auswerteeinheit dazu ausgebildet sein, den Abstand des Projektionszentrums anhand einer zur Verfügung gestellten Brennweite der während der Aufnahme verwendeten Abbildungsoptik zu bestimmen. Dabei kann die Brennweite beispielsweise durch die Abbildungsoptik, etwa durch eine Elektronikeinheit der Abbildungsoptik, zur Verfügung gestellt und von der Auswerteeinheit erfasst werden. Ist die Abbildungsoptik dazu ausgebildet, die aufgenommene Szene mit einstellbarer Brennweite abzubilden, beispielsweise bei einer als Zoom-Objektiv ausgebildeten Abbildungsoptik, kann die Auswerteeinheit dazu ausgebildet sein, die jeweils eingestellte Brennweite zu erfassen.
Bei einer Weiterbildung ist die Auswerteeinheit dazu ausgebildet, zur Bestimmung des Bildausschnitts lediglich auf die Projektionsebene projizierte Eckpunkte der Bildfläche heranzuziehen. Hierdurch ist eine besonders schnelle und einfache Bestimmung des Bildausschnitts möglich. Bei einer derartigen Weiterbildung des Bildaufnahmegeräts kann die Bestimmung des Bildausschnitts insbesondere ohne eine Projektion weiterer Bildpunkte des Bildsensors, insbesondere ohne eine Projektion aller Bildpunkte des Bildsensors auf die Projektionsebene erfolgen. Dadurch kann der Bildausschnitt bei geringem Rechenaufwand besonders schnell bestimmt werden.
Bei einer Weiterbildung ist die Auswerteeinheit dazu ausgebildet, den Bildausschnitt anhand eines vorgegebenen Seitenverhältnisses zu bestimmen. Durch die Vorgabe des Seitenverhältnisses kann der Bildausschnitt nachfolgend automatisiert bestimmt werden. Das vorgegebene Seitenverhältnis kann beispielsweise einem Seitenverhältnis der Bildfläche und/oder einem Seitenverhältnis der Benutzerausgabeschnittstelle entsprechen. Das Seitenverhältnis kann beispielsweise unveränderbar in der Auswerteeinheit hinterlegt sein oder durch einen Benutzer des Bildaufnahmegeräts über eine Benutzereingabeschnittstelle vorgebbar sein.
Bei einer Weiterbildung ist das vorgegebene Seitenverhältnis von einem Seitenverhältnis der Bildfläche und/oder der Benutzerausgabeschnittstelle verschieden und die Auswerteeinheit ist dazu ausgebildet, über eine Benutzereingabeschnittstelle eine Benutzereingabe zur Festlegung des vorgegebenen Seitenverhältnisses zu empfangen. Dadurch kann der Bildausschnitt besonders flexibel automatisiert bestimmt werden.
Bei einer Weiterbildung ist die Auswerteeinheit dazu ausgebildet, den Bildausschnitt, beispielsweise als einen rechteckigen Ausschnitt, derart zu bestimmen, dass in der Projektionsebene eine erste Mittenachse des Bildausschnitts parallel zu der Horizontalachse und eine zu der ersten Mittenachse senkrecht orientierte zweite Mittenachse des Bildausschnitts parallel zu der Referenzrichtung verläuft. Dadurch weist der in der Projektionsebene bestimmte Bildausschnitt eine Ausrichtung auf, welche die Rotation des Bildsensors um dessen optische Achse vollständig korrigiert.
Bei einer Weiterbildung ist die Auswerteeinheit dazu ausgebildet, den Bildausschnitt derart zu bestimmen, dass bei Einhaltung des vorgegebenen Seitenverhältnisses mindestens zwei Ecken des Bildausschnitts auf mittels der projektiven Transformation auf die Projektionsebene abgebildeten Rändern der Bildfläche liegen. Dadurch kann der Bildausschnitt besonders groß, insbesondere als bei Einhaltung des vorgegebenen Seitenverhältnisses maximal nutzbarer Bildausschnitt, bestimmt werden.
Bei einer Weiterbildung ist die Auswerteeinheit dazu ausgebildet, den Bildausschnitt unabhängig von der Lage des Bildsensors derart zu bestimmen, dass ein mittels der projektiven Transformation auf die Projektionsebene projiziertes Zentrum der Bildfläche auf einer Mittenachse des Bildausschnitts liegt. Dies erleichtert eine symmetrische Abbildung der Szene. Außerdem weist der innerhalb des Bildausschnitts befindliche Bereich der abgebildeten Szene bei einer derartigen Bestimmung des Bildausschnitts besonders wenig Bildfehler, beispielsweise Verzerrungen, auf, da durch die Abbildungsoptik hervorgerufene Bildfehler in der Regel mit zunehmendem Abstand von der optischen Achse und damit mit zunehmendem Abstand vom Zentrum der Bildfläche zunehmen.
Bei einer Weiterbildung ist die Auswerteeinheit dazu ausgebildet, zur Bestimmung des Bildausschnitts sowohl bei positiven, als auch bei negativen Verkippungswinkeln den gleichen Algorithmus zu verwenden und den Algorithmus nur dann, wenn ein positiver Verkippungswinkel vorliegt, oder nur dann, wenn ein negativer Verkippungswinkel vorliegt, anstatt auf die in die Projektionsebene projizierte Bildfläche auf die entlang der Referenzrichtung invertierte projizierte Bildfläche anzuwenden. Dadurch wird lediglich eine geringe Anzahl von Fallunterscheidungen benötigt, um sowohl eine Korrektur von positiven, als auch eine Korrektur von negativen Verkippungswinkeln zu ermöglichen.
Bei denjenigen Verkippungswinkeln, bei denen der Algorithmus auf die invertierte projizierte Bildfläche angewendet wird, also entweder bei allen positiven oder bei allen negativen Verkippungswinkeln, können die relevanten Punkte der Bildfläche, beispielsweise deren Eckpunkte, zunächst auf die Projektionsebene abgebildet und anschließend invertiert werden. Nachdem dann der Algorithmus angewendet wurde, kann der bestimmte Bildausschnitt ebenfalls entlang der Referenzrichtung invertiert werden, um die Lage des Bildausschnitts innerhalb der ursprünglichen, nicht invertierten projizierten Bildfläche zu erhalten.
Bei einer Weiterbildung ist die Auswerteeinheit dazu ausgebildet, zumindest dann, wenn der Verkippungswinkel gleich Null ist, in der Projektionsebene eine Ecke des Bildausschnitts als einen Schnittpunkt einer durch das Seitenverhältnis vorgegebenen Diagonalen des Bildausschnitts mit einem auf die Projektionsebene projizierten Rand der Bildfläche zu bestimmen. Bei einer derartigen grafischen Bestimmung des Bildausschnitts kann der Bildausschnitt besonders einfach und mit geringer Rechenleistung ermittelt werden. Bei einem Verkippungswinkel gleich Null entspricht der auf diese Weise bestimmte Bildausschnitt zugleich dem unter Einhaltung des Seitenverhältnisses maximal möglichen Bildausschnitt. Die Diagonalen des Bildausschnitts können dabei ausgehend von einem Zentrum des Bildausschnitts bestimmt werden, wobei das Zentrum insbesondere dem auf die Projektionsebene transformierten Zentrum der Bildfläche entsprechen kann.
Bei einer Weiterbildung ist die Auswerteeinheit dazu ausgebildet, zumindest dann, wenn der Verkippungswinkel mindestens um einen Schwellenwert von Null verschieden und der Rotationswinkel gleich Null ist, in der Projektionsebene eine Ecke des Bildausschnitts als einen Schnittpunkt einer durch das Seitenverhältnis vorgegebenen Diagonalen einer Hälfte des Bildausschnitts mit einem auf die Projektionsebene projizierten Rand der Bildfläche zu bestimmen, wobei die Diagonale in der Projektionsebene durch einen Mittelpunkt eines parallel zu der Horizontalachse ausgerichteten weiteren Randes des Bildausschnitts verläuft. Dies ermöglicht ebenfalls eine einfache grafische Bestimmung des Bildausschnitts bei geringer Rechenleistung.
Der Mittelpunkt des parallel zu der Horizontalachse ausgerichteten weiteren Randes des Bildausschnitts kann insbesondere auf einer parallel zu der Referenzrichtung ausgerichteten und durch den auf die Projektionsebene transformierten Mittelpunkt der Bildfläche verlaufenden Mittenachsen des Bildausschnitts angeordnet sein. Der Bildausschnitt kann an den parallel zu der Horizontalachse ausgerichteten weiteren Rand des Bildausschnitts angrenzen. Bei dem weiteren Rand kann es sich insbesondere um den längsten parallel zu der Horizontalachse ausgerichteten Rand des Bildausschnitts handeln.
Die Auswerteeinheit kann dazu ausgebildet sein, den Bildausschnitt ausschließlich dann, wenn der Verkippungswinkel gleich Null oder kleiner als der Schwellenwert ist, als den Schnittpunkt der durch das Seitenverhältnis vorgegebenen Diagonalen des Bildausschnitts mit dem projizierten Rand der Bildfläche zu bestimmen, und ausschließlich dann, wenn der Verkippungswinkel ungleich Null oder um mindestens den Schwellenwert von Null verschieden und der Rotationswinkel gleich Null oder höchstens um einen weiteren Schwellenwert von Null verschieden ist, als den Schnittpunkt der durch das Seitenverhältnis vorgegebenen Diagonalen der Hälfte des Bildausschnitts mit dem projizierten Rand der Bildfläche zu bestimmen.
Bei einer Weiterbildung ist die Auswerteeinheit dazu ausgebildet, den innerhalb des Bildausschnitts liegenden Bereich der auf die Bildfläche abgebildeten Szene in der grafischen Benutzerausgabeschnittstelle als mittels der projektiven Transformation in die Projektionsebene transformierten Bereich des Bilddatensatzes und den Bildausschnitt durch ein Beschneiden des transformierten Bilddatensatzes darzustellen, beispielsweise durch ein Beschneiden des transformierten Bilddatensatzes mittels Ränder der Benutzerausgabeschnittstelle. Dadurch wird einem Benutzer direkt der zugeschnittene und perspektivisch entzerrte Bereich der abgebildeten Szene dargestellt.
Bei einer Weiterbildung ist die Auswerteeinheit dazu ausgebildet, die auf die Bildfläche abgebildete Szene vollständig und ohne Anwendung der projektiven Transformation in der grafischen Benutzerausgabeschnittstelle darzustellen, wobei die Auswerteeinheit dazu ausgebildet ist, den Bildausschnitt mittels eines die abgebildete Szene überlagernden Rahmens darzustellen. Dadurch kann einem Benutzer des Bildaufnahmegeräts die auf die Bildfläche des Bildsensors abgebildete Szene vollständig dargestellt werden. Insbesondere kann ein Benutzer auch außerhalb des Bildausschnitts liegende Bereiche der Szene bei der Erstellung der Aufnahme berücksichtigen.
Wird die auf die Bildfläche abgebildete Szene untransformiert, also ohne Anwendung der projektiven Transformation, in der grafischen Benutzerausgabeschnittstelle dargestellt, so kann der in der Projektionsebene bestimmte Bildausschnitt in der Benutzerausgabeschnittstelle unter Anwendung einer zu der projektiven Transformation inversen Transformation dargestellt werden. Insbesondere kann der den Bildausschnitt umgebende Rahmen unter Anwendung der inversen Transformation dargestellt werden. Die inverse Transformation kann beispielsweise als weitere projektive Transformation den Bildausschnitt aus der Projektionsebene mit dem auf der optischen Achse liegenden Projektionszentrum auf eine die Bildfläche umfassende Bildebene projizieren.
Der Rahmen kann in der Benutzerausgabeschnittstelle mittels einzelner Linien dargestellt werden. Weitere visuelle Darstellungsvarianten können einen den Rahmen umgebenden ausgegrauten Bereich oder eine von einer Farbdarstellung im Inneren des Rahmens abweichende Farbdarstellung der außerhalb des Rahmens liegenden Bereiche umfassen. Außerdem kann der Rahmen allgemein auch mit überlagerten Gitternetzlinien, welche parallel und/oder orthogonal zu Rändern des Rahmens ausgerichtet sein können, dargestellt werden.
Derartige Gitternetzlinien können insbesondere in der Projektionsebene parallel und/oder orthogonal zu den Rändern des Rahmens ausgerichtet sein. Bei einer untransformierten Darstellung der abgebildeten Szene in der Benutzerausgabeschnittstelle können dann sowohl der Rahmen, als auch die Gitternetzlinien mittels der inversen Transformation auf die Bildebene transformiert dargestellt werden.
Bei einer Weiterbildung ist die Auswerteeinheit dazu ausgebildet, eine Position eines Messpunkts zur Bestimmung eines Aufnahmeparameters des Bilderfassungsgeräts in der Benutzerausgabeschnittstelle darzustellen, wobei die Position des Messpunkts relativ zu der vollständigen und untransformierten auf die Bildfläche abgebildeten Szene dargestellt wird. Dadurch kann insbesondere auch ein Messpunkt, welcher außerhalb des Bildausschnitts angeordnet ist, dargestellt und zur Bestimmung des Aufnahmeparameters herangezogen werden. Das Bildaufnahmegerät kann insbesondere dazu ausgebildet sein, Messdaten des Messpunktes auch dann zu berücksichtigen, wenn dieser außerhalb des Bildausschnitts angeordnet ist.
Bei dem Messpunkt kann es sich beispielsweise um einen Fokusmesspunkt, einen Belichtungsmesspunkt, einen Messpunkt zur Bestimmung einer Farbtemperatur für einen Weißabgleich des Bilddatensatzes oder ähnliches handeln. Der Messpunkt kann beispielsweise mittels einer Benutzereingabe gesetzt werden. Die Benutzereingabe kann beispielsweise über ein mechanisches Bedienelement des Bildaufnahmegeräts, beispielsweise einen Taster, Schalter oder Joystick, erfasst werden. Alternativ oder zusätzlich kann die Benutzereingabe auch über ein elektronisches Bedienelement, beispielsweise einen Touchscreen bzw. berührungsempfindlichen Bildschirm, erfasst werden.
Bei einer Weiterbildung umfasst das Bildaufnahmegerät eine kombinierte Benutzerschnittstelle, welche die Benutzerausgabeschnittstelle und eine überlagerte Positionseingabeschnittstelle zur Festlegung der Position des Messpunktes relativ zu der untransformierten Szene umfasst, wobei die kombinierte Benutzerschnittstelle dazu ausgebildet ist, die Position des Messpunktes als diejenige Position innerhalb der untransformierten Szene zu erfassen, an der eine Betätigung der überlagerten Positionseingabeschnittstelle erfasst wird. Auf diese Weise kann die Position des Messpunkts besonders einfach und intuitiv festgelegt werden. Bei der kombinierten Benutzerschnittstelle kann es sich beispielsweise um einen berührungsempfindlichen Bildschirm handeln, wobei in dem Bildschirm insbesondere die untransformierte Szene dargestellt werden kann.
Bei einer Weiterbildung liegt die Referenzrichtung in der Projektionsebene. Alternativ kann die Projektionsebene gegenüber der Referenzrichtung um einen Restwinkel verkippt sein, wobei der Restwinkel von Null verschieden und kleiner als der Verkippungswinkel ist. Beispielsweise kann der Restwinkel höchstens 10 %, etwa höchstens 5 %, höchstens 2 % oder höchstens 1 % des Verkippungswinkels betragen. Der Restwinkel kann insbesondere 2 % des Verkippungswinkels betragen. Gleichzeitig kann die Projektionsebene parallel zu der Horizontalachse ausgerichtet sein. Indem die Verkippung lediglich bis auf einen von Null verschiedenen Restwinkel korrigiert wird, erfolgt eine Unterkorrektur der Verkippung, was insbesondere bei starken Verkippungen zu einem natürlicher wirkenden korrigierten Bilddatensatz als eine vollständige Korrektur führen kann.
Bei einer Weiterbildung ist der Bildsensor dazu ausgebildet, eine Abfolge von Bilddatensätzen zu erfassen, welche die auf die Bildfläche abgebildete Szene zu aufeinanderfolgenden Zeitpunkten repräsentieren, und der Lagesensor ist dazu ausgebildet, für jeden Bilddatensatz eine jeweilige räumliche Lage des Bildsensors zu erfassen und jeweilige Lagedaten bereitzustellen. Außerdem ist die Auswerteeinheit dazu ausgebildet, für jeden mittels einer aus den jeweiligen Lagedaten ermittelten projektiven Transformation auf eine jeweilige Projektionsebene projizierten Bilddatensatz einen jeweiligen Bildausschnitt zu bestimmen und die jeweiligen Bildausschnitte zumindest zusammen mit dem innerhalb des jeweiligen Bildausschnitts liegenden Bereich der auf die Bildfläche abgebildeten Szene nacheinander in der grafischen Benutzerausgabeschnittstelle darzustellen.
Dies ermöglicht es einem Benutzer des Bildaufnahmegeräts, die auf den Bildsensor abgebildete Szene anhand der Darstellungen in der Benutzerausgabeschnittstelle festzulegen. Insbesondere bei einer derartigen Weiterbildung kann die Benutzerausgabeschnittstelle als ein elektronischer Sucher oder ein an einem Gehäuse des Bildaufnahmegeräts angeordneter Bildschirm ausgebildet sein. Das Bildaufnahmegerät kann beispielsweise dazu ausgebildet sein, das Erfassen der jeweiligen Bilddatensätze und das Bestimmen und/oder Darstellen der jeweiligen Bildausschnitte mit einer Wiederholrate von mindestens 5, beispielsweise mindestens 5, 10, 20, 40, 50, 60 oder 120 Bildern pro Sekunde auszuführen. Dabei können die Lagedaten durch den Lagesensor auch mit einer von der Wiederholrate verschiedenen, beispielsweise mit einer geringeren Frequenz zur Verfügung gestellt werden. In diesem Fall kann der Bildausschnitt mehrmals hintereinander auf Grundlage der gleichen Lagedaten bestimmt und/oder dargestellt werden.
Es wird ferner ein Verfahren zum Betreiben eines Bildaufnahmegeräts angegeben, wobei das Verfahren umfasst:

- Erfassen eines Bilddatensatzes mit einem Bildsensor des Bildaufnahmegeräts, wobei der Bilddatensatz eine Abbildung einer vor dem Bildsensor befindlichen Szene auf eine Bildfläche des Bildsensors repräsentiert;
- Erfassen einer räumlichen Lage der Bildfläche relativ zu einer Referenzrichtung;
- Bereitstellen von Lagedaten, welche sowohl einen Rotationswinkel, um den die Bildfläche bei dem Erfassen des Bilddatensatzes um eine optische Achse des Bildsensors, insbesondere gegenüber einer senkrechten Projektion der Referenzrichtung auf die Bildfläche, rotiert ist, als auch einen Verkippungswinkel, um den die Bildfläche bei dem Erfassen des Bilddatensatzes um eine Horizontalachse, insbesondere gegenüber der Referenzrichtung, verkippt ist, angeben, wobei die Horizontalachse senkrecht zu der optischen Achse und senkrecht zu der Referenzrichtung orientiert ist;
- Bestimmen einer projektiven Transformation aus den Lagedaten, wobei die projektive Transformation den Bilddatensatz in Abhängigkeit sowohl der Rotation als auch der Verkippung aus der Bildfläche auf eine Projektionsebene abbildet, wobei die Projektionsebene gegenüber der Bildfläche um die Horizontalachse in Abhängigkeit von dem Verkippungswinkel verkippt ist und die Bildfläche entlang einer Schnittlinie schneidet, welche in der Bildfläche gegenüber Mittelachsen der Bildfläche in Abhängigkeit von dem Rotationswinkel rotiert ist;
- Bestimmen eines Bildausschnitts für den mittels der projektiven Transformation auf die Projektionsebene abgebildeten Bilddatensatz in der Projektionsebene;
- Darstellen des Bildausschnitts gleichzeitig mit zumindest einem innerhalb des Bildausschnitts liegenden Bereichs der auf die Bildfläche abgebildeten Szene in einer grafischen Benutzerausgabeschnittstelle des Bildaufnahmegeräts.

Das Verfahren kann insbesondere mit dem angegebenen Bildaufnahmegerät durchgeführt werden. Insofern beziehen sich alle Weiterbildungen und technischen Effekte, welche im Zusammenhang mit dem Bildaufnahmegerät offenbart werden, auch auf das angegebene Verfahren und umgekehrt.
Die Erfindung wird nachfolgend anhand von Figuren erläutert. Dabei zeigen in jeweils schematischer Darstellung:

1 ein Bildaufnahmegerät mit einer vor einem Bildsensor des Bildaufnahmegeräts befindlichen Szene;
2 eine erste, zweite, dritte und vierte räumliche Lage des Bildaufnahmegeräts;
3 das Bildaufnahmegerät mit einer Anzeige der Szene in einer Benutzerausgabeschnittstelle des Bildaufnahmegeräts;
4 die aufgenommene Szene in einer Projektion auf eine Projektionsebene;
5 einen in der Projektionsebene bestimmten Bildausschnitt der Szene;
6 die Benutzerausgabeschnittstelle mit einer ersten Darstellung des Bildausschnitts und eines innerhalb des Bildausschnitts befindlichen Bereichs der Szene;
7 die Benutzerausgabeschnittstelle mit einer zweiten Darstellung des Bildausschnitts und eines innerhalb des Bildausschnitts befindlichen Bereichs der Szene;
8 eine projektive Transformation einer Bildfläche des Bildsensors auf die Projektionsebene;
9 die Bildfläche des Bildsensors und die Projektionsebene;
10 ein Verfahren zur Darstellung des Bildausschnitts in Benutzerausgabeschnittstellen des Bildaufnahmegeräts;
11 die auf die Projektionsebene projizierte Bildfläche mit einem ersten, zweiten und dritten Bildausschnitt;
12 ein Verfahren zum Bestimmen des ersten Bildausschnitts;
13 den ersten Bildausschnitt und die projizierte Bildfläche für von Null verschiedene Rotationswinkel und Verkippungswinkel;
14 den ersten Bildausschnitt für einen Verkippungswinkel gleich Null;
15 ein Verfahren zum Bestimmen des zweiten Bildausschnitts;
16 den zweiten Bildausschnitt und die projizierte Bildfläche für von Null verschiedene Rotationswinkel und Verkippungswinkel;
17 den zweiten Bildausschnitt für einen Verkippungswinkel gleich Null;
18 eine grafische Darstellung eines Verfahrens zur Bestimmung des dritten Bildausschnitts;
19 ein weiteres Verfahren zur Bestimmung des dritten Bildausschnitts;
20 ein Verfahren zur Bestimmung von in 18 dargestellten Schnittpunkten;
21 die projizierte Bildfläche mit weiteren Schnittpunkten;
22 ein Verfahren zum Festlegen der in 21 dargestellten weiteren Schnittpunkte;
23 die projizierte Bildfläche mit weiteren Schnittpunkten;
24 ein weiteres Verfahren zum Bestimmen des Bildausschnitts.

1 zeigt ein als eine spiegellose Systemkamera ausgebildetes Bildaufnahmegerät 10 mit einer vor dem Bildaufnahmegerät 10 befindlichen Szene 1. Das Bildaufnahmegerät 10 umfasst einen optoelektronischen Bildsensor 12 und eine als Wechselobjektiv ausgebildete Abbildungsoptik 18, welche die Szene 1, inklusive eines innerhalb der Szene 1 angeordneten Gebäudes 2, auf eine der Abbildungsoptik 18 zugewandte Bildfläche 30 des Bildsensors 12 abbildet. Eine optische Achse 43 des Bildsensors 30 fällt dabei mit einer optischen Achse der Abbildungsoptik 18 zusammen.
Das Bildaufnahmegerät 10 umfasst ferner eine Auswerteeinheit 20, welche mit dem Bildsensor 12, einem Lagesensor 14 des Bildaufnahmegeräts 10, einer als elektronischer Sucher ausgebildeten ersten Benutzerschnittstelle 16 des Bildaufnahmegeräts 10, einer als rückwärtiger Bildschirm ausgebildeten zweiten Benutzerschnittstelle 17 des Bildaufnahmegeräts und einer elektronischen Speichereinheit 22 verbunden ist. Die einzelnen Komponenten des Bildaufnahmegeräts 10 sind dabei an oder in einem gemeinsamen Gehäuse 11 angeordnet.
Insbesondere sind der optoelektronische Bildsensor 12 und der Lagesensor 14 ortsfest zueinander innerhalb des Gehäuses 11 angeordnet. Der Lagesensor 14 ist als ein dreiachsiger Beschleunigungssensor ausgebildet, welcher eine räumliche Lage des Lagesensor 14 und des ortsfest mit dem Lagesensor 14 verbundenen Bildsensors 12 relativ zu einer durch die Erdbeschleunigung 15 gegebenen Referenzrichtung 50 ermittelt und der Auswerteeinheit 20 die räumliche Lage repräsentierende Lagedaten übermittelt.
Bei der in 1 dargestellten räumlichen Lage des Bildaufnahmegeräts 10 ist der Bildsensor 30 um eine senkrecht zu der Referenzrichtung 50 und senkrecht zu der optischen Achse 43 orientierte Horizontalachse 121 um einen Verkippungswinkel 54 verkippt, so dass die optische Achse 43 das Gebäude 2 unter einem von einem rechten Winkel verschiedenen Winkel schneidet. Dadurch weicht die optische Achse 43 von einer senkrecht zu der Horizontalachse 121 und senkrecht zu der Referenzrichtung 50 ausgerichteten waagrechten Längsachse 123 ab.
Ferner weist die Bildfläche 30 bei der in 1 dargestellten räumlichen Lage des Bildaufnahmegeräts 10 keine Rotation bezüglich der Referenzrichtung 50 um die optische Achse 43 auf. Damit fällt eine erste Mittelachse 41 der Bildfläche 30 mit der Horizontalachse 121 zusammen und eine senkrecht zu der ersten Mittelachse 41 ausgerichtete zweite Mittelachse 42 der Bildfläche 30 ist in einer durch die Referenzrichtung 50 und die optische Achse 43 aufgespannten Vertikalebene angeordnet. Die erste und zweite Mittelachse 41, 42 sind dabei jeweils senkrecht zur optischen Achse 43 ausgerichtet. Die Mittelachsen 41, 42 und die optische Achse 43 bilden insgesamt ein kartesisches Sensorkoordinatensystem. Ebenso bilden die Horizontalachse 121, eine parallel zur Referenzrichtung 50 verlaufende Vertikalachse 122 und die Längsachse 123 ein kartesisches Koordinatensystem.
2 zeigt das Bildaufnahmegerät 10 in einer ersten räumlichen Lage 115, einer zweiten räumlichen Lage 116, einer dritten räumlichen Lage 117, sowie einer vierten räumlichen Lage 118. Die Orientierung des Sensorkoordinatensystems ist in den verschiedenen Lagen 115, 116, 117, 118 jeweils derart gewählt, dass die zweite Mittelachse 42 einen kleineren Winkel mit der Referenzrichtung 50 einschließt als die erste Mittelachse 41. Außerdem sind Richtungen des Sensorkoordinatensystems derart gewählt, dass eine Projektion eines die Referenzrichtung 50 definierenden Referenzvektors auf die zweite Mittelachse 42 einen positiven Koordinatenwert ergibt.
Dies hat zur Folge, dass in der ersten Lage 115, bei der eine Unterseite 111 des Bildaufnahmegeräts 10 in Richtung der Referenzrichtung 50 ausgerichtet ist, die erste Mittelachse 41 in Richtung einer rechten Seite 113 und die zweite Mittelachse in Richtung der Unterseite 111 des Bildaufnahmegeräts 10 orientiert ist. In der zweiten Lage 116, in der eine Oberseite 112 des Bildaufnahmegeräts 10 in Richtung der Referenzrichtung 50 orientiert ist, ist die erste Mittelachse 41 in Richtung einer linken Seite 114 des Bildaufnahmegeräts 10 und die zweite Mittelachse 42 in Richtung der Oberseite 112 orientiert. In der dritten Lage 117 ist die linke Seite 114 des Bildaufnahmegeräts 10 in Richtung der Referenzrichtung 50 orientiert, folglich ist die erste Mittelachse 41 in Richtung der Unterseite 111 und die zweite Mittelachse 42 in Richtung der linken Seite 114 des Bildaufnahmegeräts 10 ausgerichtet. In der vierten Lage 118 ist die rechte Seite 113 des Bildaufnahmegeräts 10 in Richtung der Referenzrichtung 50 orientiert, wodurch die erste Mittelachse 41 in Richtung der Oberseite 112 und die zweite Mittelachse 42 in Richtung der rechten Seite 113 des Bildaufnahmegeräts 10 orientiert ist.
Während der Aufnahme der in 1 dargestellten Szene 1 erfasst der Bildsensor 12 eine Abfolge von Bilddatensätzen, welche jeweils die auf die Bildfläche 30 abgebildete Szene zu aufeinanderfolgenden Zeitpunkten repräsentieren. Synchron werden die einzelnen Bilddatensätze der Abfolge jeweils zumindest bereichsweise in den Benutzerausgabeschnittstellen 16, 17 dargestellt, um einem Benutzer des Bildaufnahmegeräts 10 eine Auswahl des aufzunehmenden Bereichs der Szene 1 zu ermöglichen.
3 zeigt beispielhaft den Bildschirm 17 mit einem derartigen Bilddatensatz 100. Der Bilddatensatz 100 ist untransformiert auf dem Bildschirm 17 dargestellt, so dass parallele Kanten 105 des Gebäudes 2 aufgrund der Verkippung des Bildsensors 12 um die Horizontalachse 121 als stürzende Linien wiedergegeben werden.
Die Auswerteeinheit 20 ist dazu ausgebildet, die Bilddatensätze 100 jeweils mittels einer projektiven Transformation unter Berücksichtigung des Verkippungswinkels 54 und eines Rotationswinkels des Bildsensors 12 um die optische Achse 43 perspektivisch zu korrigieren, wobei der Rotationswinkel dem Winkel zwischen der Horizontalachse 121 und der ersten Mittelachse 41 entspricht. Dabei werden sowohl der Verkippungswinkel 54, als auch der Rotationswinkel aus den durch den Lagesensor 14 bereitgestellten Lagedaten bestimmt.
4 zeigt das Ergebnis einer derartigen projektiven Transformation des in 3 dargestellten Bilddatensatzes 100. Die Kanten 105 des Gebäudes 2 verlaufen nach Anwendung der projektiven Transformation parallel zueinander, sowie parallel zur Vertikalachse 122 und damit parallel zur Referenzrichtung 50. Wie aus 4 ersichtlich ist, werden bei der projektiven Transformation die Ränder des Bilddatensatzes 100, welche den Rändern der Bildfläche 30 entsprechen, verzerrt, so dass der Bilddatensatz 100 keinen rechteckigen Rand mehr aufweist.
Zur Korrektur der Verzerrung des Randes der Bildfläche 30 bei Anwendung der projektiven Transformation ist die Auswerteeinheit 20 dazu ausgebildet, einen in 5 dargestellten rechteckigen Bildausschnitt 60 zu bestimmen. Dabei wird der in 5 dargestellte Bildausschnitt 60 vollständig innerhalb des Bilddatensatzes 100 bestimmt. Bei alternativen Ausführungsformen kann der Bildausschnitt 60 auch Bereiche außerhalb des Bilddatensatzes 100 umfassen. Die Auswerteeinheit 20 ist ferner dazu ausgebildet, den Bildausschnitt 60 und zumindest einen innerhalb des Bildausschnitts 60 befindlichen Bereich der Szene 1 in den Benutzerausgabeschnittstellen 16, 17 darzustellen.
6 zeigt eine erste Darstellung des Bildausschnitts 60 und des innerhalb des Bildausschnitts 60 befindlichen Bereichs der Szene 1 in der zweiten Benutzerausgabeschnittstelle 17. Der innerhalb des Bildausschnitts 60 liegende Bereich wird dabei untransformiert dargestellt. Zusätzlich zu dem Bereich der Szene 1 innerhalb des Bildausschnitts 60 wird auch der Rest der auf die Bildfläche 30 abgebildeten Szene 1 untransformiert dargestellt. Der Bildausschnitt 60 ist als ein der dargestellten Szene 1 überlagerter Rahmen wiedergegeben.
In 6 ist außerdem ein erster Messpunkt 91 dargestellt, welcher in der Benutzerausgabeschnittstelle 17 dem Bilddatensatz 100 überlagert angezeigt ist und einen Fokusmesspunkt für eine Autofokusfunktion der Abbildungsoptik 18 festlegt. Der Fokusmesspunkt ist dabei außerhalb des Bildausschnitts 60 angeordnet, so dass die Autofokusfunktion auf einen außerhalb des Bildausschnitts 60 liegenden Bereich der Szene 1 fokussiert. Außerdem ist ein dem Bilddatensatz 100 ebenfalls überlagert angezeigter zweiter Messpunkt 92 dargestellt, welcher einen Belichtungsmesspunkt festlegt. Der zweite Messpunkt 92 liegt innerhalb des Bildausschnitts 60, so dass auf einen innerhalb des Bildausschnitts 60 liegenden Bereich der Szene 1 belichtet wird.
Die zweite Benutzerausgabeschnittstelle 17 ist Teil einer kombinierten Benutzerschnittstelle, welche als berührungsempfindlicher Bildschirm ausgebildet ist und neben der Benutzerausgabeschnittstelle 17 eine überlagerte berührungsempfindlichen Positionseingabeschnittstelle umfasst. Mittels der Positionseingabeschnittstelle können die Positionen der Messpunkte 91, 92 festgelegt werden. Dabei kann insbesondere auch der erste Messpunkt innerhalb des Bildausschnitts 60 und/oder der zweite Messpunkt 92 außerhalb des Bildausschnitts 60 platziert werden.
7 zeigt eine zweite Darstellung des Bildausschnitts 60 und das innerhalb des Bildausschnitts 60 befindlichen Bereichs der auf den Bildsensor 12 abgebildeten Szene 1. Der innerhalb des Bildausschnitts 60 liegende Bereich der Szene 1 wird dabei wie in den 4 und 5 dargestellt transformiert wiedergegeben und durch die Ränder der Benutzerausgabeschnittstelle 17 begrenzt. Insofern wird der Bildausschnitt 60 dadurch dargestellt, dass lediglich der innerhalb des Bildausschnitts 60 befindliche Bereich der auf den Bildsensor 12 abgebildeten Szene 1 dargestellt ist.
Bei alternativen Ausführungsformen kann auch der innerhalb des Bildausschnitts 60 befindliche Bereich der Szene 1 unter Anwendung der projektiven Transformation und der Bildausschnitt 60 als Rahmen dargestellt werden. Dabei können zusätzlich auch alle außerhalb des Bildausschnitts 60 befindlichen Bereiche der abgebildeten Szene 1 transformiert wiedergegeben werden, etwa auf die in 5 dargestellte Weise. Bei einer derartigen Darstellung ist es ebenfalls möglich, die Messpunkte 91, 92 sowohl außerhalb, als auch innerhalb des Bildausschnitts zu setzen.
8 zeigt die durch die Auswerteeinheit 20 zur Bestimmung des Bildausschnitts 60 ausgeführte projektive Transformation für die in 1 dargestellte räumliche Lage des Bildaufnahmegeräts 10. Bei der projektiven Transformation wird die Bildfläche 30 des Bildsensors 12 durch ein auf der optischen Achse 43 angeordnetes Projektionszentrum 125 auf eine Projektionsebene 120 projiziert. Die Projektionsebene 120 schließt dabei mit einer durch die Bildfläche 30 definierten Bildebene 40 den Verkippungswinkel 54 ein.
Die Projektionsebene 120 ist senkrecht zu einer durch die optische Achse 43 und die Referenzrichtung 50 aufgespannten Vertikalebene ausgerichtet und verläuft durch ein Zentrum 39 der Bildfläche 30. Außerdem liegt die Referenzrichtung 50 in der Projektionsebene 120. Damit liegen auch die in 1 dargestellte Horizontalachse 121 und die ebenfalls dargestellte Vertikalachse 122 in der Projektionsebene 120. Die Projektionsebene 120 schneidet die Bildfläche 30 entlang der Horizontalachse 121, so dass die Horizontalachse 121 eine Schnittlinie zwischen der Projektionsebene 120 und der Bildfläche 30 bildet.
Bei der in 1 dargestellten räumlichen Lage der Bildfläche 30 liegt keine Rotation der Bildfläche 30 um die optische Achse 43 vor. Dadurch fallen die Horizontalachse 121 und die erste Mittelachse 41 der Bildfläche 30 zusammen und die zweite Mittelachse 42 der Bildfläche 30 ist gegenüber der Vertikalachse 122 um den Verkippungswinkel 54 verkippt.
9 zeigt die Lage der Bildfläche 30 und der Projektionsebene 120 für einen von Null verschiedenen Rotationswinkel 52. Die Projektionsebene 120 schneidet die Bildfläche 30 entlang der Horizontalachse 121, wobei die Horizontalachse 121 gegenüber der ersten Mittelachse 41 der Bildfläche 30 um den Rotationswinkel 52 um die optische Achse 43 gedreht ist. Außerdem ist die Mittelachse 41 der Bildfläche 30 gegenüber einer senkrechten Projektion 51 der Referenzrichtung 50 auf die Bildfläche 30 bzw. auf die Bildebene 40 um den Rotationswinkel 52 um die optische Achse 43 gedreht.
Wie in 9 ebenfalls dargestellt ist, weist das Projektionszentrum 125 vom Zentrum 39 der Bildfläche 30 einen Abstand 126 auf. Der Abstand 126 ist durch die auf die Diagonale der Bildfläche 30 normierte Brennweite der Abbildungsoptik 18 gegeben und entspricht $ƒ_{n o r m a l i z e d} \frac{ƒ_{35 m m}}{\sqrt{{(24 m m)}^{2} + {(36 m m)}^{2}}}$
wobei ƒ_35mm die 35mm-Äquivalentbrennweite der Abbildungsoptik 18 bezeichnet.
Der Verkippungswinkel 54 gibt die Verkippung der Bildfläche 30 aus der Projektionsebene 120 um die Horizontalachse 121 an, wobei der Verkippungswinkel 54 ausgehend von der Projektionsebene 120 bei einer rechtshändigen Drehung um die Horizontalachse 121 positiv und bei einer linkshändigen Drehung um die Horizontalachse 121 negativ definiert ist. Bei der in 9 dargestellten Verkippung ist der Verkippungswinkel 54 negativ.
Der Rotationswinkel 52 gibt die Rotation einer durch die zweite Mittelachse 42 der Bildfläche 30 und der optischen Achse 43 definierten Normalenebene der Bildfläche 30 aus der durch die Referenzrichtung 50 und die optische Achse 43 aufgespannten Vertikalebene um die optische Achse 43 an, wobei der Rotationswinkel 52 ausgehend von der Vertikalebene bei einer rechtshändigen Rotation um die optische Achse 43 positiv und bei einer linkshändigen Drehung um die optische Achse 43 negativ definiert ist. Bei der in 9 dargestellten Rotation ist der Rotationswinkel 52 positiv.
10 zeigt ein durch die Auswerteeinheit 20 ausgeführtes Verfahren 300 zur Darstellung des Bildausschnitts 60 in den Benutzerausgabeschnittstellen 16, 17. Das Verfahren 300 umfasst zunächst ein Erfassen 305 des Bilddatensatzes 100 mittels des Bildsensors 12. Anschließend umfasst das Verfahren 300 ein Erfassen einer räumlichen Lage des Bildsensors 12 mittels des Lagesensors 14 und ein darauffolgendes Bereitstellen 315 der Lagedaten durch den Lagesensor 14. Die bereitgestellten Lagedaten werden sodann an die Auswerteeinheit 12 übertragen.
Die Auswerteeinheit 12 bestimmt (320) anschließend eine projektive Transformation, mit der die Bildfläche 30 auf die in 8 dargestellte Projektionsebene 120 transformiert wird. Insbesondere bestimmt die Auswerteeinheit 12 anhand des Verkippungswinkels 54 und des Rotationswinkels 52 eine räumliche Lage der Projektionsebene 120.
In der nachfolgenden Beschreibung wird das Sensorkoordinatensystem verwendet, dessen X-Achse der ersten Mittelachse 41, dessen Y-Achse der zweiten Mittelachse 42 und dessen Z-Achse der optischen Achse 43 entspricht. Ferner wird ein Referenzkoordinatensystem verwendet, dessen X-Achse der Horizontalachse 121, dessen Y-Achse der Vertikalachse 122 und dessen Z-Achse der Längsachse 123 entspricht. Außerdem werden homogene Koordinaten verwendet.
Ein Bildpunkt innerhalb der Bildfläche 30 ist im Sensorkoordinatensystem dann in homogenen Koordinaten gegeben durch: $p_{3 d i m a g e}_{p o i n t} = {(x, y,0,1)}^{T}$
Insbesondere sind die Eckpunkte der Bildfläche 30 gegeben durch: $P_{3 d i m a g e c o r n e r s} = {[\begin{matrix} x_{T L} & y_{T L} & 0 & 1 \\ x_{T R} & Y_{T R} & 0 & 1 \\ x_{B R} & y_{B R} & 0 & 1 \\ x_{B L} & y_{B L} & 0 & 1 \end{matrix}]}^{T}$
wobei x_TL, y_TL die Koordinaten eines im dritten Quadranten der X-Y-Ebene des Sensorkoordinatensystems gelegenen ersten Eckpunkts mit negativen X- und Y-Koordinaten, x_TR, y_TR die Koordinaten eines im zweiten Quadranten der X-Y-Ebene des Sensorkoordinatensystems gelegenen zweiten Eckpunkts mit positiver X-Koordinate und negativer Y-Koordinate, x_BR, y_BR die Koordinaten eines im ersten Quadranten der X-Y-Ebene des Sensorkoordinatensystems gelegenen dritten Eckpunkts mit positiven X- und Y- Koordinaten, sowie x_BL, y_BL die Koordinaten eines im vierten Quadranten der X-Y-Ebene des Sensorkoordinatensystems gelegenen vierten Eckpunkts mit negativer X-Koordinate und positiver Y-Koordinate bezeichnen.
Bei dem in 10 dargestellten Verfahren 300 werden diese Eckpunkte zunächst mittels der Matrixtransformation $M_{3 d i m a g e}_{\to 3 d w o r l d} = R (ϕ, θ) = R_{x} (ϕ) \cdot R_{z} (θ)$
in das Referenzkoordinatensystem transformiert (325). Die Matrixtransformation ist zusammengesetzt aus einer ersten Drehmatrix $R_{z} (θ) = [\begin{matrix} cos (θ) & - sin (θ) & 0 & 0 \\ sin (θ) & cos (θ) & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{matrix}]$
und einer darauffolgend angewandten zweiten Drehmatrix $R_{x} (ϕ) = [\begin{matrix} 1 & 0 & 0 & 0 \\ 0 & cos (ϕ) & - sin (ϕ) & 0 \\ 0 & sin (ϕ) & cos (ϕ) & 0 \\ 0 & 0 & 0 & 1 \end{matrix}] .$
Die erste Drehmatrix repräsentiert die Rotation der Bildfläche 30 um die optische Achse 43, wobei θ dem Rotationswinkel 52 entspricht. Die zweite Drehmatrix repräsentiert die Verkippung der Bildfläche 30 um die Horizontalachse 121, wobei ϕ dem Verkippungswinkel 54 entspricht.
Anschließend erfolgt die in 8 dargestellte projektive Transformation 330 der Eckpunkte der Bildfläche 30 auf die Projektionsebene 120, welche durch die X-Y-Ebene des Referenzkoordinatensystems gegeben wird und insofern sowohl die Verkippung um den Verkippungswinkel 54, als auch die Rotation um den Rotationswinkel 52 berücksichtigt. Die projektive Transformation auf die X-Y-Ebene des jeweiligen Koordinatensystems lässt sich in Matrixschreibweise darstellen durch $P_{x y - p l a n e} = [\begin{matrix} 1 & 0 & \frac{d_{x}}{q} & 0 \\ 0 & 1 & \frac{d_{y}}{q} & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & \frac{1}{q} & 1 \end{matrix}]; q = - d_{z}; d = {(d_{x}, d_{y}, d_{z})}^{T},$
wobei d das auf der optischen Achse 43 liegende Projektionszentrum 125 bezeichnet. Im Sensorkoordinatensystem ist d gegeben durch $d_{s e n s} = {(0,0 - ƒ_{n o r m a l i z e d},1)}^{T}$
und im Referenzkoordinatensystem durch $d_{r e f} = R (ϕ, θ) \cdot {(0,0, - ƒ_{n o r m a l i z e d},1)}^{T} .$
Die mittels der projektiven Transformation P_xy-plane bestimmten Koordinaten sind nach Anwendung der Projektionsmatrix noch anhand der vierten Vektorkomponente gemäß $\begin{array}{l} {(x_{p}, y_{p},0, w_{p})}^{T} = P_{x y - p l a n e} \cdot {(x, y, z,1)}^{T} \\ {(x_{n}, y_{n},0,1)}^{T} = {(\frac{x_{p}}{w_{p}}, \frac{y_{p}}{w_{p}},0,1)}^{T} \end{array}$
zu normieren.
Anschließend erfolgt das Bestimmen 340 des Bildausschnitts 60 in der Projektionsebene 120, indem vier Ecken des Bildausschnitts 60 festgelegt werden.
Diese Ecken des Bildausschnitts 60 werden anschließend mittels der zur Transformation M_3d _image →3d world inversen Transformation $M_{3 d w o r l d}_{\to 3 d i m a g e} = M_{3 d i m a g e \to 3 d w o r l d}^{- 1} = R {(ϕ, θ)}^{- 1} = R {(ϕ, θ)}^{T}$
aus dem Referenzkoordinatensystem zurück in das Sensorkoordinatensystem transformiert (345).
Soll der Bildausschnitt 60 zusammen mit der untransformierten auf die Bildfläche 30 abgebildeten Szene 1 dargestellt werden, erfolgt anschließend im Sensorkoordinatensystem eine projektive Transformation 350 der Eckpunkte durch das Projektionszentrum 125 auf die Bildebene 40, welche der X-Y-Ebene des Sensorkoordinatensystems entspricht. Die so transformierten Eckpunkte des Bildausschnitts 60 werden anschließend zusammen mit der untransformierten auf die Bildfläche 30 abgebildeten Szene 1 dargestellt (390).
11 zeigt die auf die Projektionsebene 120 projizierte Bildfläche 30 mit dem ersten Eckpunkt 35 im dritten Quadranten des Referenzkoordinatensystems, dem zweiten Eckpunkt 36 im zweiten Quadranten des Referenzkoordinatensystems, dem dritten Eckpunkt 37 im ersten Quadranten des Referenzkoordinatensystems, sowie dem vierten Eckpunkt 38 im vierten Quadranten des Referenzkoordinatensystems. Dabei ist die projizierte Bildfläche 30 für einen positiven Verkippungswinkel 54 und einen positiven Rotationswinkel 52 dargestellt.
Zusätzlich zu der Bildfläche 30 zeigt 11 einen ersten Bildausschnitt 81, einen zweiten Bildausschnitt 82, sowie einen dritten Bildausschnitt 83, wobei die jeweiligen Bildausschnitte 81, 82, 83 vollständig innerhalb der Bildfläche 30 liegen und durch die Auswerteeinheit 20 als der Bildausschnitt 60 bestimmbare Bildausschnitte bilden. Die jeweiligen Bildausschnitte 81, 82, 83 sind rechteckig und weisen einen jeweiligen ersten Rand 61, einen jeweiligen zweiten Rand 62, einen jeweiligen dritten Rand 63 und einen jeweiligen vierten Rand 64 auf. Der jeweilige erste Rand 61 und der jeweilige dritte Rand 63 verlaufen parallel zu der Horizontalachse 121 und der jeweilige zweite und vierte Rand 62, 64 verlaufen parallel zu der Vertikalachse 122. Außerdem weisen die Bildausschnitte 81, 82, 83 jeweilige parallel zu der Horizontalachse 121 ausgerichtete erste Mittenachsen 75, sowie jeweilige parallel zu der Vertikalachse 122 ausgerichtete zweite Mittenachsen 76 auf.
Die Bildausschnitte 81, 82, 83 werden jeweils unter Einhaltung eines vorgegebenen Seitenverhältnisses bestimmt. Außerdem werden die jeweiligen Bildausschnitte 81, 82, 83 derart bestimmt, dass deren jeweilige zweite Mittenachsen 76 durch das auf die Projektionsebene 120 projizierte Zentrum 39 der Bildfläche 30 verläuft.
Zusätzlich wird der erste Bildausschnitt 81 derart bestimmt, dass ein Zentrum 85 des ersten Bildausschnitts 81 dem Zentrum 39 der Bildfläche 30 entspricht. Der zweite Bildausschnitt 82 wird derart bestimmt, dass eine der parallel zu der Horizontalachse 121 verlaufenden Ränder 61, 63 des zweiten Bildausschnitts 82 einen gleichen Abstand zur Horizontalachse 121 aufweist wie einer der Eckpunkte 35, 36, 37, 38 der Bildfläche 30. Bei positiven Verkippungswinkeln 54 ist dies der der Horizontalachse 121 nächstgelegene Eckpunkt mit negativer Y-Koordinate, bei der in 11 dargestellten Projektion also der zweite Eckpunkt 36. Bei negativen Verkippungswinkeln 54 ist dies der der Horizontalachse 121 nächstgelegene Eckpunkt mit positiver Y-Koordinate. Der dritte Bildausschnitt 83 wird schließlich derart bestimmt, dass mindestens zwei seiner Ecken auf einem Rand der Bildfläche 30 liegen und zugleich der Flächeninhalt des dritten Bildausschnitts 83 maximiert wird.
Die 12 und 13 zeigt ein Verfahren 400, welches während des Bestimmens 340 des Bildausschnitts 60 ausgeführt wird, wenn der Bildausschnitt 60 als der erste Bildausschnitt 81 bestimmt wird. Dabei werden, ausgehend von dem Zentrum 39 der Bildfläche 30 eine erste Diagonale 77 und eine zweite Diagonale 78 des ersten Bildausschnitts 81 bestimmt (405). Die erste Diagonale 77 weist in der X-Y-Ebene des Referenzkoordinatensystems eine negative Steigung auf, deren Betrag dem Inversen des zur Bestimmung 340 des Bildausschnitts 60 vorgegebenen Seitenverhältnisses entspricht, und die zweite Diagonale 78 weist in der X-Y-Ebene eine positive Steigung auf, deren Betrag ebenfalls dem Inversen des vorgegebenen Seitenverhältnisses entspricht. Das vorgegebene Seitenverhältnis ist dabei stets als Ausdehnung des Bildausschnitts 60 entlang der Horizontalachse 121 zur Ausdehnung des Bildausschnitts 60 entlang der Vertikalachse 122 definiert.
Anschließend erfolgt ein Berechnen 410 von acht Schnittpunkten 46 der Diagonalen 77, 78 mit einer durch den ersten und zweiten Eckpunkt 35, 36, sowie einen ersten Rand 31 der Bildfläche 30 verlaufenden Geraden, einer durch den zweiten und dritten Eckpunkt 36, 37, sowie einen zweiten Rand 32 der Bildfläche 30 verlaufenden Geraden, einer durch den dritten und vierten Eckpunkt 37, 38, sowie einen dritten Rand 33 der Bildfläche 30 verlaufenden Geraden und einer durch den vierten und ersten Eckpunkt 38, 35, sowie einen vierten Rand 34 der Bildfläche 30 verlaufenden Geraden. In 13 ist der Schnittpunkt zwischen der zweiten Diagonale 78 und der durch den ersten Rand 31 verlaufenden Gerade nicht dargestellt.
Das Verfahren 400 umfasst anschließend ein Festlegen 415 des ersten Bildausschnitts 81. Hierbei wird derjenige Schnittpunkt 46 bestimmt, welcher einen minimalen Abstand 47 vom Zentrum 39 der Bildfläche 30 aufweist. Die Ecken des ersten Bildausschnitts 81 werden beim Festlegen 415 des ersten Bildausschnitts 81 anschließend derart bestimmt, dass sie auf den Diagonalen 77, 78 liegen und ihr jeweiliger Abstand zum Zentrum 39 der Bildfläche 30 dem minimalen Abstand 47 entspricht.
Wie in 14 dargestellt ist, entspricht bei einem Verkippungswinkel 54 von Null der mit dem Verfahren 400 bestimmte erste Bildausschnitt 81 dem dritten Bildausschnitt 83. Das heißt, dass der erste Bildausschnitt 81 bei einem Verkippungswinkel 54 von Null auch mit dem Verfahren 400 derart bestimmt wird, dass seine zweite Mittenachse 76 durch das Zentrum 39 der Bildfläche 30 verläuft und er bei Einhaltung des vorgegebenen Seitenverhältnisses eine maximale Fläche innerhalb der Bildfläche 30 umfasst. Dabei liegen zwei Ecken des ersten Bildausschnitts 81 auf den Rändern 31, 32, 33, 34 der Bildfläche 30.
In den 15 und 16 ist ein Verfahren 500 zum Bestimmen des zweiten Bildausschnitts 82 dargestellt. Dabei erfolgt zunächst ein Überprüfen 505 auf ein Vorliegen eines negativen Verkippungswinkels 54. Liegt ein negativer Verkippungswinkel 54 vor, so erfolgt zunächst ein Invertieren 510 der auf die Projektionsebene 120 projizierten Bildfläche 30 entlang der Vertikalachse 122. Dadurch wird der erste Eckpunkt 35 mit dem vierten Eckpunkt 38 vertauscht und der zweite Eckpunkt 36 mit dem dritten Eckpunkt 37 und es ist sichergestellt, dass der durch den zweiten und dritten Quadranten des Referenzkoordinatensystems verlaufende Rand 31, 33 der Bildfläche 30 eine größere Ausdehnung entlang der Zentralachse 121 aufweist als der durch den ersten und vierten Quadranten verlaufende Rand 31, 33 der Bildfläche 30.
Anschließend wird ein Mittelpunkt 74 des parallel zu der Horizontalachse 121 ausgerichteten ersten Rands 61 des zweiten Bildausschnitts 82 derart bestimmt (515), dass er entlang der Vertikalachse 122 auf gleicher Höhe liegt wie der der Zentralachse 121 nächstgelegene Eckpunkt 35, 36 der Bildfläche 30 im zweiten und dritten Quadranten des Referenzkoordinatensystems. Bei der in 16 dargestellten räumlichen Lage des Bildsensors 12 ist dies der zweite Eckpunkt 36.
Anschließend umfasst das Verfahren 500 ein Bestimmen 520 von Schnittpunkten 46 zwischen einer ersten Diagonale 72 und durch den zweiten, dritten und vierten Rand 32, 33, 34 der Bildfläche 30 verlaufenden Geraden, sowie von Schnittpunkten 46 zwischen einer zweiten Diagonale 73 und den durch den zweiten, dritten und vierten Rand 32, 33, 34 der Bildfläche 30 verlaufenden Geraden. Bei alternativen Ausführungsformen können auch lediglich die Schnittpunkte 46 zwischen der ersten Diagonale 72 und den durch den dritten und vierten Rand 33, 34 der Bildfläche 30 verlaufenden Geraden, und/oder lediglich die Schnittpunkte 46 zwischen der zweiten Diagonale 73 und den durch den zweiten und dritten Rand 32, 33 der Bildfläche 30 verlaufenden Geraden bestimmt werden.
Die jeweiligen Diagonalen 72, 73 sind Diagonalen von durch die zweite Mittenachse 76 des zweiten Bildausschnitts 82 getrennten Hälften 70 des zweiten Bildausschnitts 82 und verlaufen jeweils durch den Mittelpunkt 74. Die erste Diagonale 72 weist eine negative Steigung und die zweite Diagonale 73 eine positive Steigung auf, wobei ein Betrag der jeweiligen Steigungen dem Doppelten des Inversen des vorgegebenen Seitenverhältnisses entspricht.
Anschließend erfolgt ein Festlegen 525 des zweiten Bildausschnitts 82 dadurch, dass derjenige Schnittpunkt 46, welcher einen minimalen Abstand 47 zum Mittelpunkt 74 aufweist, bestimmt wird und die Lage der Ecken des zweiten Bildausschnitts 82 aus dem minimalen Abstand 47 und dem vorgegebenen Seitenverhältnis berechnet werden. Anschließend erfolgt, falls ein negativer Verkippungswinkel 54 festgestellt wurde, ein Invertieren 590 des festgelegten Bildausschnitts 82 entlang der Vertikalachse 122, um das zu Beginn des Verfahrens 500 erfolgte Invertieren 510 der projizierten Bildfläche 30 zu kompensieren.
Bei dem Verfahren 500 wird also sowohl für positive, als auch für negative Verkippungswinkel 54 der gleiche Algorithmus zur Bestimmung des zweiten Bildausschnitts 82 angewandt, wobei dieser Algorithmus die zwischen dem anfänglichen und abschließenden Invertieren 510, 590 ausgeführten Verfahrensschritte 515, 520, 525 umfasst. Bei alternativen Ausführungsformen kann das Invertieren 510, 590 auch durchgeführt werden, wenn ein positiver Verkippungswinkel 54 festgestellt wird, wobei dann die Verfahrensschritte 515, 520, 525 derart angepasst sind, dass der Mittelpunkt 74 auf dem durch den ersten und vierten Quadranten des Referenzkoordinatensystems verlaufenden dritten Rand 63 des zweiten Bildausschnitts 82 liegt.
Wie in 17 dargestellt ist, entspricht bei einem Rotationswinkel 52 von Null der mit dem Verfahren 500 bestimmte zweite Bildausschnitt 82 dem dritten Bildausschnitt 83. Das heißt, dass der mit dem Verfahren 500 bestimmte zweite Bildausschnitt 82 bei einem Rotationswinkel 52 von Null, wie der dritte Bildausschnitt 83, derart bestimmt wird, dass seine zweite Mittenachsen 76 durch das Zentrum 39 der Bildfläche 30 verläuft und er bei Einhaltung des vorgegebenen Seitenverhältnisses eine maximale Fläche innerhalb des Bildfläche 30 umfasst. Dabei liegen zwei Ecken des zweiten Bildausschnitts 82 auf den Rändern 31, 32, 33, 34 der Bildfläche 30. Anders als bei dem ersten Bildausschnitt 81, entspricht jedoch das Zentrum 85 des zweiten Bildausschnitts 82 nicht dem Zentrum 39 der Bildfläche 30.
18 zeigt eine grafische Darstellung eines Verfahrens zur Bestimmung des dritten Bildausschnitts 83. Das Verfahren umfasst zunächst ein Berechnen eines Schnittpunkts A des ersten Randes 31 der auf die Projektionsebene 120 projizierten Bildfläche 30 mit der Vertikalachse 122 und ein Berechnen eines Schnittpunktes E des dritten Randes 33 der projizierten Bildfläche 30 mit der Vertikalachse 122. Anschließend wird ein Auswertebereich zur Bestimmung des dritten Bildausschnitts 83 auf Y-Koordinatenwerte zwischen den Schnittpunkten A und E eingegrenzt.
Anschließend werden Randfunktionen f_oben(y).f_rechts(y).f_unten(y) und f_links(y) definiert, wobei f_oben(y) die Abhängigkeit der X-Koordinaten des ersten Randes 31, f_rechts(y) die Abhängigkeit der X-Koordinaten des zweiten Randes 32, f_unten(y) die Abhängigkeit der X-Koordinaten des dritten Randes 33 und f_links(y) die Abhängigkeit der X-Koordinaten des vierten Randes 34 der Bildfläche 30 von den Y-Koordinaten angeben. Für die weitere Berechnung werden dann die Absolutwerte der Funktionen f_oben(y),f_rechts(y),f_unten(y) und f_links(y) herangezogen, was einer Spiegelung der im dritten und vierten Quadranten des Referenzkoordinatensystem verlaufenden Abschnitte der Ränder 31, 32, 33, 34 der Bildfläche 30 an der Vertikalachse 122 entspricht, und die abschnittsweise definierte Funktion h(y)=min(|ƒ_oben(y)|, |ƒ_rechts(y)|, |ƒ_unten(y)|, |ƒ_links(y)|) verwendet.
In einem Auswertebereich entlang der X-Achse im Intervall ]0, x_max] mit x_max = max(h(y)) wird anschließend der X-Koordinatenwert meiner parallel zur Vertikalachse 122 verlaufenden Gerade bestimmt, für die gilt: $\frac{S V}{2} = \frac{x}{L},$
wobei SV das vorgegebene Seitenverhältnis bezeichnet und L die Länge eines parallel zur Vertikalachse 122 verlaufenden Liniensegments unter der Funktion h(y).
19 zeigt ein weiteres Verfahren 600 zum Bestimmen des dritten Bildausschnitts 83. Bei dem Verfahren 600 wird zunächst überprüft (605), ob ein negativer Verkippungswinkel 54 vorliegt. Ist dies der Fall, erfolgt zunächst das im Zusammenhang mit 15 beschriebene Invertieren 510 der projizierten Bildfläche 30 entlang der Vertikalachse 122. Anschließend werden die Schnittpunkte A und E wie vorstehend geschildert bestimmt (615). Liegt kein negativer Verkippungswinkel 54 vor, beginnt das Verfahren 600 direkt mit dem Bestimmen 615 der Schnittpunkte A und E.
Anschließend werden die in 18 dargestellten weiteren Schnittpunkte B, C und D bestimmt (620). Hierzu wird das in 20 dargestellte Verfahren verwendet. Dabei wird zunächst überprüft (626), ob eine Y-Koordinate des ersten Eckpunkts 35 der Bildfläche 30 kleiner ist als eine Y-Koordinate des zweiten Eckpunkts 36. Ist dies der Fall, wird der Schnittpunkt B als Schnittpunkt zwischen dem ersten Rand 31 und dem an der Vertikalachse 122 gespiegelten vierten Rand 34 der projizierten Bildfläche 30 bestimmt (628), wie es in 18 dargestellt ist. Andernfalls wird der Schnittpunkt B als Schnittpunkt zwischen dem an der Vertikalachse 122 gespiegelten ersten Rand 31 und dem zweiten Rand 32 der projizierten Bildfläche 30 bestimmt (629).
Anschließend umfasst das Verfahren 620 ein Bestimmen (630) des Schnittpunkts C als Schnittpunkt des zweiten Randes 32 oder des an der Vertikalachse 122 gespiegelten vierten Randes 34 mit der Horizontalachse 121. Daraufhin wird überprüft (632), ob eine Y-Koordinate des vierten Eckpunkts 38 der projizierten Bildfläche 30 kleiner ist als eine Y-Koordinate des dritten Eckpunkts 37 der projizierten Bildfläche 30. Ist dies der Fall, so wird der Schnittpunkt D als Schnittpunkt zwischen dem an der Vertikalachse 122 gespiegelten dritten Rand 33 mit dem zweiten Rand 32 der projizierten Bildfläche 30 bestimmt (634), wie es in 18 dargestellt ist. Andernfalls wird der Schnittpunkt D als Schnittpunkt zwischen dem dritten Rand 33 und dem an der Vertikalachse 122 gespiegelten vierten Rand 34 der projizierten Bildfläche 30 bestimmt (635).
Das in 19 dargestellte weitere Verfahren 600 zur Bestimmung des dritten Bildausschnitts 83 umfasst anschließend ein Festlegen 650 eines in 21 dargestellten ersten Schnittpunkts P1 und eines in 21 ebenfalls dargestellten zweiten Schnittpunkts P2, welche dasjenige Liniensegment der Ränder 31, 32, 33, 34 der projizierten Bildfläche 30 begrenzen, welches die dritte Ecke 67 des zu bestimmenden dritten Bildausschnitts 83 schneidet.
Das Festlegen 650 ist in 22 dargestellt und umfasst zunächst ein Bestimmen 652 eines in 21 dargestellten Schnittpunkts F des ersten Randes 31 der projizierten Bildfläche 30 mit einer parallel zu der Vertikalachse 122 verlaufenden Gerade durch den Schnittpunkt C. Anschließend umfasst das Festlegen 650 ein Bestimmen 654 eines in 21 ebenfalls dargestellten Schnittpunkts G des ersten Randes 31 mit einer parallel zu der Vertikalachse 122 durch den Schnittpunkt D verlaufenden Gerade.
Daraufhin wird die Verbindungslinie CF mit dem vorgegebenen Seitenverhältnis verglichen (656). Ist das Verhältnis aus dem Doppelten des X-Koordinatenwerts des Schnittpunkts F und der Länge der Verbindunglinie CF nicht größer als das vorgegebene Seitenverhältnis, so wird der erste Schnittpunkt P1 als der Schnittpunkt B und der zweite Schnittpunkt P2 als der Schnittpunkt C festgelegt (657). Andernfalls wird die Verbindungslinie DG mit dem vorgegebenen Seitenverhältnis verglichen (658). Ist das Verhältnis aus dem Doppelten des X-Koordinatenwerts des Schnittpunkts G und der Länge der Verbindungslinie DG größer als das vorgegebene Seitenverhältnis, so wird der erste Schnittpunkt P1 als der Schnittpunkt C und der zweite Schnittpunkt P2 als der Schnittpunkt D festgelegt (660), was in 21 dargestellt ist. Andernfalls wird der erste Schnittpunkt P1 als der Schnittpunkt D und der zweite Schnittpunkt P2 als der Schnittpunkt E festgelegt (661).
Anschließend wird ein Schnittpunkt K zwischen einer durch die Schnittpunkte A und B verlaufenden Gerade und einer durch die Schnittpunkte P1 und P2 verlaufenden Gerade, sowie ein Schnittpunkt L der durch die Schnittpunkte P1 und P2 verlaufenden Gerade mit der Vertikalachse 122 bestimmt (662), wie es in 23 dargestellt ist. Dabei weichen die relativen Längenverhältnisse der Darstellung in 23 von den in den 18 und 21 dargestellten Längenverhältnissen ab.
Das Festlegen 650 umfasst anschließend ein Bestimmen 664 von Abmessungen eines durch die Schnittpunkte A, K und L definierten Dreiecks. Hierbei werden zunächst die in 23 dargestellten Längen a, b und c aus den Koordinaten der Schnittpunkte A, K und L bestimmt. Dabei entspricht die Länge a der Differenz der Y-Koordinatenwerte der Punkte A und K, die Länge b der Differenz der Y-Koordinatenwerte der Punkte K und L und die Länge c dem Abstand des Punktes K von der die Y-Achse bildenden Vertikalachse 122.
Anschließend werden die Winkel γ und δ zu $\begin{array}{l} tan (γ) = \frac{a}{c} \\ tan (δ) = \frac{b}{c} \end{array}$
bestimmt.
Das Verfahren 600 umfasst anschließend ein Bestimmen 666 von Lage und Abmessungen des dritten Bildausschnitts 83. Dabei wird zunächst ein X-Koordinatenwert gdes zweiten Randes 62 des dritten Bildausschnitts 83 berechnet. Da das vorgegebene Seitenverhältnis durch $r = \frac{2 \cdot g}{d + e}$
mit d = ƒ ▪ tan(y) und e = ƒ ▪ tan(δ) gegeben ist und ferner f = c - g gilt, kann der X-Koordinatenwert g berechnet werden zu: $g = c - \frac{2 c}{r tan (δ) + r tan (γ) + 2} = c (1 - \frac{2}{r tan (δ) + r tan (γ) + 2}) .$
Eine Breite w des dritten Bildausschnitts 83 entlang der Horizontalachse 121 beträgt dann w = 2 ▪ g und eine Höhe h entlang der Vertikalachse 122 h = d + e. Ferner beträgt die Y-Koordinate des Zentrums 85 des dritten Bildausschnitts 83 K.y + (e - d)/2 mit der Y-Koordinate K.y des Schnittpunkts K, während die X-Koordinate des Zentrums 85 des dritten Bildausschnitts 83 gleich Null ist.
Wie in 19 dargestellt ist, werden anschließend die in 18 dargestellten Ecken 65, 66, 67, 68 des dritten Bildausschnitts 83 aus der Lage und den Abmessungen des dritten Bildausschnitts 83 berechnet (685). Abschließend wird in den Fällen, in denen ein negativer Verkippungswinkel 54 vorliegt, die Lage der Ecken 65, 66, 67, 68 des bestimmten Bildausschnitts 83 entlang der Vertikalachse 122 invertiert (590), um das zu Beginn des Verfahrens 600 erfolgte Invertieren 510 der Eckpunkte 35, 36, 37, 38 der Bildfläche 30 zu kompensieren.
Auch bei dem Verfahren 600 wird also sowohl für positive, als auch für negative Verkippungswinkel 54 der gleiche Algorithmus zur Bestimmung des dritten Bildausschnitts 83 angewandt, wobei dieser Algorithmus die zwischen dem anfänglichen und abschließenden Invertieren 510, 590 ausgeführten Verfahrensschritte 615, 620, 650, 685 umfasst. Bei alternativen Ausführungsformen kann das Invertieren 510, 590 auch durchgeführt werden, wenn ein positiver Verkippungswinkel 54 festgestellt wird, wobei dann die Verfahrensschritte 615, 620, 650, 685 entsprechend anzupassen sind.
24 zeigt ein weiteres Verfahren 700, mit dem das Bestimmen 340 des Bildausschnitts 60 durchgeführt werden kann. Dabei wird der Bildausschnitt 60, wie bei dem Verfahren 600, derart bestimmt, dass er das vorgegebene Seitenverhältnis aufweist, seine zweite Mittenachse 76 durch das projizierte Zentrum 39 der Bildfläche 30 verläuft und er eine maximale Fläche innerhalb der auf die Projektionsfläche 120 projizierten Bildfläche 30 aufweist. Insbesondere wird auch bei dem Verfahren 700 der Bildausschnitt 60 derart bestimmt, dass mindestens zwei seiner Ecken 65, 66, 67, 68 auf Rändern 31, 32, 33, 34 der projizierten Bildfläche 30 liegen.
Das weitere Verfahren 700 umfasst zunächst ein Überprüfen 705 des Verkippungswinkels 54. Falls der Verkippungswinkel 54 höchstens um einen Schwellenwert von Null abweicht, insbesondere wenn der Verkippungswinkel 54 gleich Null ist, so wird der Bildausschnitt 60 mit dem in Zusammenhang mit den 12 bis 14 beschriebenen Verfahren 400 bestimmt. Dadurch kann der Bildausschnitt 60 gegenüber den übrigen Verfahren 500, 600 mit besonders geringem Aufwand bestimmt werden, wobei er ebenfalls als maximaler Bildausschnitt mit vorgegebenem Seitenverhältnis und durch das Zentrum 39 der Bildfläche 30 verlaufender zweiten Mittenachse 76 bestimmt wird, vgl. 14. Andernfalls erfolgt, falls ein negativer Verkippungswinkel 54 vorliegt, das Invertieren 510 der projizierten Bildfläche 30 entlang der Vertikalachse 122. Bei einem positiven Verkippungswinkel 54 entfällt das Invertieren 510.
Anschließend erfolgt ein Überprüfen 710 des Rotationswinkels 52. Falls der Rotationswinkel 52 höchstens um einen weiteren Schwellenwert von Null abweicht, insbesondere falls der Rotationswinkel 52 gleich Null ist, wird der Bildausschnitt 60 mittels der im Zusammenhang mit den 15 bis 17 beschriebenen Verfahrensschritte 515, 520, 525 des Verfahrens 500 berechnet. Dadurch ist der Rechenaufwand zur Bestimmung des Bildausschnitts 60 ebenfalls geringer als bei dem Verfahren 600. Wie in 17 dargestellt ist, entspricht auch in diesem Fall der ermittelte Bildausschnitt 60 dem mit dem Verfahren 600 bestimmbaren dritten Bildausschnitt 83 maximaler Fläche.
Ergibt das Überprüfen 710 des Rotationswinkels 52, dass der Rotationswinkel 52 um mehr als den weiteren Schwellenwert von Null abweicht, wird der Bildausschnitt 60 mittels der Verfahrensschritte 620, 650, 685 des Verfahrens 600 berechnet. Abschließend erfolgt in den Fällen, in denen der Verkippungswinkel 54 um mehr als den Schwellenwert von Null abweicht und ein negativer Verkippungswinkel 52 vorliegt, das Invertieren 590 des bestimmten Bildausschnitts 60.
Bei alternativen Ausführungsformen des Bildaufnahmegeräts 10 kann der Bildausschnitt 60 auch halbautomatisch anhand eines durch einen Benutzer des Bildaufnahmegeräts 10 vorgebbaren Zentrums 85 des Bildausschnitts 60 bestimmt werden. Alternativ oder zusätzlich kann auch das vorbestimmte Seitenverhältnis durch eine Benutzereingabe vorgebbar sein. Darüber hinaus kann der Bildausschnitt 60 bei alternativen Ausführungsformen des Bildaufnahmegeräts 10 auch derart bestimmt werden, dass er in der Projektionsebene 120 außerhalb der projizierten Bildfläche 30 gelegene Bereiche umfasst. Die Auswerteeinheit 20 kann in diesen Fällen dazu ausgebildet sein, die außerhalb der projizierten Bildfläche 30 gelegenen Bereiche mit errechneten, beispielsweise interpolierten, Bildinformationen zu füllen.
Die Auswerteeinheit 20 ist darüber hinaus dazu ausgebildet, in der Speichereinheit 22 Referenzdaten zur perspektivischen Korrektur des aufgenommenen Bilddatensatzes 100 abzuspeichern. Die Referenzdaten können dabei getrennt von dem Bilddatensatz 100 in einer separaten Datei oder auch zusammen mit dem Bilddatensatz 100 in einer gemeinsamen Datei, beispielsweise als Metadaten, gespeichert werden. Die Referenzdaten können beispielsweise den Verkippungswinkel 54 und/oder den Rotationswinkel 52 und/oder eine Brennweite, beispielsweise eine normierte Brennweite, etwa eine auf das Kleinbildformat normierte Brennweite, der Abbildungsoptik 18 umfassen. Alternativ oder zusätzlich können die Referenzdaten Bildausschnittsdaten umfassen, welche Lage und Größe des Bildausschnitts 60 festlegen.
Derartige Bildausschnittsdaten können unter anderem die Positionen der Ecken 65, 66, 67, 68 des Bildausschnitts 60 und/oder das vorgegebene Seitenverhältnis und/oder eine relative Größe des korrigierten Bildes in Bezug auf den Bilddatensatz 100 umfassen. Dabei können beispielsweise die Positionen der Ecken 65, 66, 67, 68 in normierter Form als Zahlenwerte zwischen 0 und 1, das vorgegebene Seitenverhältnis als Verhältnis aus Breite zu Höhe und die relative Größe als Verhältnis einer Höhe des Bilddatensatzes 100 zu einer Höhe des korrigierten Bildes abgespeichert werden. Außerdem können die Referenzdaten eine Information umfassen, welche angibt, ob der abgespeicherte Bilddatensatz 100 bereits mittels der projektiven Transformation korrigiert wurde oder nicht.
Bezugszeichenliste

1: Szene
2: Gebäude
10: Bildaufnahmegerät
11: Gehäuse
12: Bildsensor
14: Lagesensor
15: Erdbeschleunigung
16: erste Benutzerausgabeschnittstelle
17: zweite Benutzerausgabeschnittstelle
18: Abbildungsoptik
20: Auswerteeinheit
22: Speichereinheit
30: Bildfläche
31: erster Rand
32: zweiter Rand
33: dritter Rand
34: vierter Rand
35: erster Eckpunkt
36: zweiter Eckpunkt
37: dritter Eckpunkt
38: vierter Eckpunkt
39: Zentrum
40: Bildebene
41: erste Mittelachse
42: zweite Mittelachse
43: optische Achse
46: Schnittpunkt
47: Abstand
50: Referenzrichtung
51: Projektion
52: Rotationswinkel
54: Verkippungswinkel
60: Bildausschnitt
61: erster Rand
62: zweiter Rand
63: dritter Rand
64: vierter Rand
65: erste Ecke
66: zweite Ecke
67: dritte Ecke
68: vierte Ecke
69: Diagonale
70: Hälfte
72: erste Diagonale
73: zweite Diagonale
74: Mittelpunkt
75: erste Mittenachse
76: zweite Mittenachse
77: erste Diagonale
78: zweite Diagonale
81: erster Bildausschnitt
82: zweiter Bildausschnitt
83: dritter Bildausschnitt
85: Zentrum
86: erster Schnittpunkt
87: zweiter Schnittpunkt
91: erster Messpunkt
92: zweiter Messpunkt
100: Bildatensatz
105: Kanten
111: Oberseite
112: Unterseite
113: rechte Seite
114: linke Seite
115: erste Lage
116: zweite Lage
117: dritte Lage
118: vierte Lage
120: Projektionsebene
121: Horizontalachse
122: Vertikalachse
123: Längsachse
125: Projektionszentrum
126: Abstand
127: Vertikalebene
130: gespiegelte Bildfläche
300: Verfahren
305: Erfassen eines Bilddatensatzes
310: Erfassen einer räumlichen Lage
315: Bereitstellen von Lagedaten
320: Bestimmen einer projektiven Transformation
325: Koordinatentransformation der Bildecken in Referenzkoordinaten
330: Projektion der Bildecken auf Projektionsebene
340: Bestimmen eines Bildausschnitts
345: Rücktransformation von Ecken des Bildausschnitts in Sensorkoordinaten
350: Rückprojektion der Ausschnittecken auf Bildebene
390: Darstellen des Bilddatensatzes und des Bildausschnitts
400: Verfahren zum Bestimmen eines ersten Bildausschnitts
405: Bestimmen von Diagonalen
410: Berechnen von Schnittpunkten
415: Festlegen des ersten Bildausschnitts
500: Verfahren zum Bestimmen eines zweiten Bildausschnitts
505: Überprüfen auf negative Verkippungswinkel
510: Invertieren der projizierten Bildfläche
515: Bestimmen eines Mittelpunkts
520: Bestimmen von Schnittpunkten
525: Festlegen des zweiten Bildausschnitts
590: Invertieren des Bildausschnitts
600: Verfahren zum Bestimmen eines dritten Bildausschnitts
605: Überprüfen auf negative Verkippungswinkel
615: Bestimmen eines Mittelpunkts
620: Bestimmen von Schnittpunkten B, C, D
626: Vergleichen von Y-Koordinaten eines ersten und zweiten Eckpunktes
628: Bestimmen eines Schnittpunkts B
629: Bestimmen eines Schnittpunkts B
630: Bestimmen eines Schnittpunkts C
632: Vergleichen von Y-Koordinaten eines dritten und vierten Eckpunktes
634: Bestimmen eines Schnittpunkts D
635: Bestimmen eines Schnittpunkts D
650: Festlegen von Schnittpunkten P1 und P2
652: Bestimmen eines Schnittpunktes F
654: Bestimmen eines Schnittpunktes G
656: Vergleichen einer Verbindungslinie CF mit vorgegebenem Seitenverhältnis
657: Festlegen des Schnittpunktes P1 als Schnittpunkt B und des Schnittpunktes P2 als Schnittpunkt C
658: Vergleichen einer Verbindungslinie DG mit vorgegebenem Seitenverhältnis
660: Festlegen des Schnittpunktes P1 als Schnittpunkt C und des Schnittpunktes P2 als Schnittpunkt D
661: Festlegen des Schnittpunktes P1 als Schnittpunkt D und des Schnittpunktes P2 als Schnittpunkt E
662: Bestimmen von Schnittpunkten K und L
664: Bestimmen von Abmessungen eines Dreiecks
666: Bestimmen von Lage und Abmessungen des dritten Bildausschnitts
685: Berechnen von Ecken des Bildausschnitts
700: Verfahren zum Bestimmen eines Bildausschnitts
705: Überprüfen des Verkippungswinkels
710: Überprüfen des Rotationswinkels

Claims

Bildaufnahmegerät (10) mit einem optoelektronischen Bildsensor (12), einem Lagesensor (14), einer grafischen Benutzerausgabeschnittstelle (16, 17) und einer Auswerteeinheit (20), wobei der Bildsensor (12) dazu ausgebildet ist, einen Bilddatensatz (100) zu erfassen, welcher eine Abbildung einer vor dem Bildsensor (12) befindlichen Szene (1) auf eine Bildfläche (30) des Bildsensors (12) repräsentiert, wobei der Lagesensor (14) dazu ausgebildet ist, eine räumliche Lage der Bildfläche (30) relativ zu einer Referenzrichtung (50) zu erfassen und Lagedaten bereitzustellen, welche sowohl einen Rotationswinkel (52), um den die Bildfläche (30) bei der Erfassung des Bilddatensatzes (100) um eine optische Achse (43) des Bildsensors (12) rotiert ist, als auch einen Verkippungswinkel (54), um den die Bildfläche (30) bei der Erfassung des Bilddatensatzes (100) um eine Horizontalachse (121) verkippt ist, angeben, wobei die Horizontalachse (121) senkrecht zu der optischen Achse (43) und senkrecht zu der Referenzrichtung (50) orientiert ist, wobei die Auswerteeinheit (20) dazu ausgebildet ist, aus den Lagedaten eine projektive Transformation zu bestimmen, welche den Bilddatensatz (100) in Abhängigkeit sowohl der Rotation als auch der Verkippung aus der Bildfläche (30) auf eine Projektionsebene (120) abbildet, wobei die Projektionsebene (120) gegenüber der Bildfläche (30) in Abhängigkeit von dem Verkippungswinkel (54) verkippt ist und die Bildfläche (30) entlang einer Schnittlinie schneidet, welche in der Bildfläche (30) gegenüber Mittelachsen (41, 42) der Bildfläche (30) in Abhängigkeit von dem Rotationswinkel (52) rotiert ist, wobei die Auswerteeinheit (20) dazu ausgebildet ist, in der Projektionsebene (120) einen Bildausschnitt (60, 81, 82, 83) für den mittels der projektiven Transformation auf die Projektionsebene (120) abgebildeten Bilddatensatz (100) zu bestimmen, wobei die Auswerteeinheit (20) dazu ausgebildet ist, den Bildausschnitt (60, 81, 82, 83) gleichzeitig mit zumindest einem innerhalb des Bildausschnitts (60, 81, 82, 83) liegenden Bereich der auf die Bildfläche (30) abgebildeten Szene (1) in der grafischen Benutzerausgabeschnittstelle (16, 17) darzustellen.
Bildaufnahmegerät (10) nach Anspruch 1, wobei ein Projektionszentrum (125) der projektiven Transformation auf der optischen Achse (43) angeordnet ist.
Bildaufnahmegerät (10) nach Anspruch 2, wobei ein Abstand (126) des Projektionszentrums (125) von der Bildfläche (30) einer auf eine Diagonale der Bildfläche (30) normierten Brennweite einer die Szene (1) auf den Bildsensor (12) abbildenden Abbildungsoptik (18) des Bildaufnahmegeräts (10) entspricht.
Bildaufnahmegerät (10) nach einem der vorhergehenden Ansprüche, wobei die Auswerteeinheit (20) dazu ausgebildet ist, zur Bestimmung des Bildausschnitts (60, 81, 82, 83) lediglich auf die Projektionsebene (120) projizierte Eckpunkte (35, 36, 37, 38) der Bildfläche (30) heranzuziehen.
Bildaufnahmegerät (10) nach einem der vorhergehenden Ansprüche, wobei die Auswerteeinheit (20) dazu ausgebildet ist, den Bildausschnitt (60, 81, 82, 83) anhand eines vorgegebenen Seitenverhältnisses zu bestimmen.
Bildaufnahmegerät (10) nach Anspruch 5, wobei das vorgegebene Seitenverhältnis von einem Seitenverhältnis des Bildsensors (12) und/oder der Benutzerausgabeschnittstelle (16, 17) verschieden ist, wobei die Auswerteeinheit (20) dazu ausgebildet ist, über eine Benutzereingabeschnittstelle (17) eine Benutzereingabe zur Festlegung des vorgegebenen Seitenverhältnisses zu empfangen.
Bildaufnahmegerät (10) nach einem der vorhergehenden Ansprüche, wobei die Auswerteeinheit (20) dazu ausgebildet ist, den Bildausschnitt (60, 81, 82, 83), beispielsweise als einen rechteckigen Ausschnitt, derart zu bestimmen, dass in der Projektionsebene (120) eine erste Mittenachse (75) des Bildausschnitts (60, 81, 82, 83) parallel zu der Horizontalachse (121) und eine zu der ersten Mittenachse (75) senkrecht orientierte zweite Mittenachse (76) des Bildausschnitts (60, 81, 82, 83) parallel zu der Referenzrichtung (50) verläuft.
Bildaufnahmegerät (10) nach einem der vorhergehenden Ansprüche, wobei die Auswerteeinheit (20) dazu ausgebildet ist, den Bildausschnitt (60, 81, 82, 83) derart zu bestimmen, dass bei Einhaltung des vorgegebenen Seitenverhältnisses mindestens zwei Ecken (65, 66, 67, 68) des Bildausschnitts (60, 81, 82, 83) auf mittels der projektiven Transformation auf die Projektionsebene (120) abgebildeten Rändern (31, 32, 33, 34) der Bildfläche (30) liegen.
Bildaufnahmegerät (10) nach einem der vorhergehenden Ansprüche, wobei die Auswerteeinheit (20) dazu ausgebildet ist, den Bildausschnitt (60, 81, 82, 83) unabhängig von der Lage des Bildsensors (12) derart zu bestimmen, dass ein mittels der projektiven Transformation auf die Projektionsebene (120) projiziertes Zentrum (39) der Bildfläche (30) auf einer Mittenachse (76) des Bildausschnitts (60, 81, 82, 83) liegt.
Bildaufnahmegerät (10) nach einem der vorhergehenden Ansprüche, wobei die Auswerteeinheit (20) dazu ausgebildet ist, zumindest dann, wenn der Verkippungswinkel (54) gleich Null ist, in der Projektionsebene (120) eine Ecke (65, 66, 67, 68) des Bildausschnitts (60, 81, 82, 83) als einen Schnittpunkt einer durch das Seitenverhältnis vorgegebenen Diagonalen (69) des Bildausschnitts (60, 81, 82, 83) mit einem auf die Projektionsebene (120) projizierten Rand (31, 32, 33, 34) der Bildfläche (30) zu bestimmen.
Bildaufnahmegerät (10) nach einem der vorhergehenden Ansprüche, wobei die Auswerteeinheit (20) dazu ausgebildet ist, zumindest dann, wenn der Verkippungswinkel (54) um mindestens einen Schwellenwert von Null verschieden und der Rotationswinkel (52) gleich Null ist, in der Projektionsebene (120) eine Ecke (65, 66, 67, 68) des Bildausschnitts (60, 81, 82, 83) als einen Schnittpunkt einer durch das Seitenverhältnis vorgegebenen Diagonalen (72, 73) einer Hälfte (70) des Bildausschnitts (60, 81, 82, 83) mit einem auf die Projektionsebene (120) projizierten Rand (31, 32, 33, 34) der Bildfläche (30) zu bestimmen, wobei die Diagonale (72, 73) in der Projektionsebene (120) durch einen Mittelpunkt (74) eines parallel zu der Horizontalachse (121) ausgerichteten weiteren Randes (61, 62, 63, 64) des Bildausschnitts (60, 81, 82, 83) verläuft.
Bildaufnahmegerät (10) nach einem der vorhergehenden Ansprüche, wobei die Auswerteeinheit (20) dazu ausgebildet ist, den innerhalb des Bildausschnitts liegenden Bereich der auf die Bildfläche (30) abgebildeten Szene in der grafischen Benutzerausgabeschnittstelle (16, 17) als mittels der projektiven Transformation in die Projektionsebene (120) transformierten Bereich des Bilddatensatzes (100) darzustellen, wobei die Auswerteeinheit (20) dazu ausgebildet ist, den Bildausschnitt (60, 81, 82, 83) durch ein Beschneiden des transformierten Bilddatensatzes (100) darzustellen, beispielsweise durch ein Beschneiden des transformierten Bilddatensatzes (100) mittels Ränder der Benutzerausgabeschnittstelle (16, 17).
Bildaufnahmegerät (10) nach einem der Ansprüche 1 bis 11, wobei die Auswerteeinheit (20) dazu ausgebildet ist, die auf die Bildfläche (30) abgebildete Szene (1) vollständig und ohne Anwendung der projektiven Transformation in der grafischen Benutzerausgabeschnittstelle (16, 17) darzustellen, wobei die Auswerteeinheit (20) dazu ausgebildet ist, den Bildausschnitt (60, 81, 82, 83) mittels eines die abgebildete Szene (1) überlagernden Rahmens darzustellen.
Bildaufnahmegerät (10) nach Anspruch 13, wobei die Auswerteeinheit (20) dazu ausgebildet ist, eine Position eines Messpunkts (91, 92) zur Bestimmung eines Aufnahmeparameters des Bilderfassungsgeräts (10) in der Benutzerausgabeschnittstelle (16, 17) darzustellen, wobei die Position des Messpunkts (91, 92) relativ zu der vollständigen und untransformierten auf die Bildfläche (30) abgebildeten Szene (1) dargestellt wird.
Bildaufnahmegerät (10) nach Anspruch 14, wobei das Bildaufnahmegerät (10) eine kombinierte Benutzerschnittstelle (17) umfasst, welche die Benutzerausgabeschnittstelle und eine überlagerte Positionseingabeschnittstelle zur Festlegung der Position des Messpunktes (91, 92) relativ zu dem untransformierten Szene (1) umfasst, wobei die kombinierte Benutzerschnittstelle (17) dazu ausgebildet ist, die Position des Messpunktes (91, 92) als diejenige Position innerhalb der untransformierten Szene (1) zu erfassen, an der eine Betätigung der überlagerten Positionseingabeschnittstelle erfasst wird.
Bildaufnahmegerät (10) nach einem der vorhergehenden Ansprüche, wobei die Referenzrichtung (50) in der Projektionsebene (120) liegt, oder wobei die Projektionsebene (120) gegenüber der Referenzrichtung (50) um einen Restwinkel verkippt ist, der Restwinkel von Null verschieden ist und einen kleineren Betrag als der Verkippungswinkel (54) aufweist.
Bildaufnahmegerät (10) nach einem der vorhergehenden Ansprüche, wobei der Bildsensor (12) dazu ausgebildet ist, eine Abfolge von Bilddatensätzen zu erfassen, welche die auf die Bildfläche (30) abgebildete Szene (1) zu aufeinanderfolgenden Zeitpunkten repräsentieren, wobei der Lagesensor (14) dazu ausgebildet ist, für jeden Bilddatensatz (100) eine jeweilige räumliche Lage des Bildsensors (12) zu erfassen und jeweilige Lagedaten bereitzustellen, wobei die Auswerteeinheit (20) dazu ausgebildet ist, für jeden mittels einer aus den jeweiligen Lagedaten ermittelten projektiven Transformation auf eine jeweilige Projektionsebene (120) projizierten Bilddatensatz (100) einen jeweiligen Bildausschnitt (60, 81, 82, 83) zu bestimmen, wobei die Auswerteeinheit (20) dazu ausgebildet ist, die jeweiligen Bildausschnitte (60, 81, 82, 83) zumindest zusammen mit dem innerhalb des jeweiligen Bildausschnitts (60, 81, 82, 83) liegenden Bereich der auf die Bildfläche (30) abgebildeten Szene (1) nacheinander in der grafischen Benutzerausgabeschnittstelle (16, 17) darzustellen.
Verfahren (300) zum Betreiben eines Bildaufnahmegeräts (10), wobei das Verfahren (300) umfasst: - Erfassen (305) eines Bilddatensatzes (100) mit einem Bildsensor des Bildaufnahmegeräts, wobei der Bilddatensatz (100) eine Abbildung einer vor dem Bildsensor (12) befindlichen Szene (1) auf eine Bildfläche (30) des Bildsensors (12) repräsentiert; - Erfassen (310) einer räumlichen Lage der Bildfläche (30) relativ zu einer Referenzrichtung (50); - Bereitstellen (315) von Lagedaten, welche sowohl einen Rotationswinkel (52), um den die Bildfläche (30) bei dem Erfassen (305) des Bilddatensatzes (100) um eine optische Achse (43) des Bildsensors (12) rotiert ist, als auch einen Verkippungswinkel (54), um den die Bildfläche (30) bei dem Erfassen (305) des Bilddatensatzes (100) um eine Horizontalachse (121) verkippt ist, angeben, wobei die Horizontalachse (121) senkrecht zu der optischen Achse (43) und senkrecht zu der Referenzrichtung (50) orientiert ist; - Bestimmen (320) einer projektiven Transformation aus den Lagedaten, wobei die projektive Transformation den Bilddatensatz (100) in Abhängigkeit sowohl der Rotation als auch der Verkippung aus der Bildfläche (30) auf eine Projektionsebene (120) abbildet, wobei die Projektionsebene (120) gegenüber der Bildfläche (30) um die Horizontalachse (121) in Abhängigkeit von dem Verkippungswinkel (54) verkippt ist und die Bildfläche (30) entlang einer Schnittlinie schneidet, welche in der Bildfläche (30) gegenüber Mittelachsen (41, 42) der Bildfläche (30) in Abhängigkeit von dem Rotationswinkel (52) rotiert ist; - Bestimmen (340) eines Bildausschnitts (60, 81, 82, 83) für den mittels der projektiven Transformation auf die Projektionsebene (120) abgebildeten Bilddatensatz (100) in der Projektionsebene (120); - Darstellen (390) des Bildausschnitts (60, 81, 82, 83) und zumindest eines innerhalb des Bildausschnitts (60, 81, 82, 83) liegenden Bereichs der auf die Bildfläche (30) abgebildeten Szene (1) in einer grafischen Benutzerausgabeschnittstelle (16, 17) des Bildaufnahmegeräts (10).