-
Technisches
Gebiet
-
Neben
passiven Sicherheitssystemen werden in der Automobiltechnik in zunehmendem
Maße auch
aktive Sicherheits- oder Assistenzsysteme eingesetzt. Derartige
Systeme erfassen insbesondere einen aktuellen Zustand einer Fahrzeugumgebung (beispielsweise
einen Bereich vor einem Kraftfahrzeug oder hinter einem Kraftfahrzeug)
oder auch einen aktuellen Zustand im Innenraum des Kraftfahrzeugs.
Derartige Systeme können
beispielsweise eine oder mehrere Kameras aufweisen. Es wird ein Kamerasystem
vorgeschlagen, welches eine Beobachtung eines größeren Bereichs, beispielsweise gleichzeitig
eines Innen- und Außenbereichs
eines Kraftfahrzeugs, beobachten kann und dabei gezielt eine Position
einzelner Objekte innerhalb dieses Bereichs steroskopisch ermitteln
kann.
-
Bereits
heute sind aus dem Automobilbereich mehrere Sicherheitssysteme bekannt,
bei denen Kamerasysteme zum Einsatz kommen. Dabei ist grundsätzlich zu
unterscheiden zwischen einer Beobachtung des Innenraums und einer
Beobachtung des Außenraums,
welche jeweils zu unterschiedlichen Zwecken erfolgen.
-
So
beschreiben beispielsweise die
DE 101 58 415 A1 und die US 2003/0098909
A1 Verfahren und Anordnungen zur optischen Überwachung des Innenraums eines
Kraftfahzeugs. Dabei kommt mindestens eine Rundumsichtkamera zum
Einsatz, welche Bilder in krummlinigen Koordinaten liefert. Anschließend werden
die Bilder mittels einer Entzerrungseinrichtung in zylindrische
oder ebene Koordinaten transformiert. Diese transformierten Bilder
können
dann einer elektronischen Bildauswertung unterzogen werden. Auf
diese Weise können
beispielsweise Personen im Fahrzeuginnenraum erkannt werden, sowie
eine Bestimmung der Sitzposition dieser Personen durchgeführt werden.
Diese Information kann beispielsweise zum Steuern von Airbagsystemen
genutzt werden. Auch eine teilweise Beobachtung eines Außenraums
ist mit dem offenbarten System möglich.
-
Auch
die
EP 1 375 253 A2 betrifft
ein Verfahren zur Überwachung
des Innen- bzw. Außenraums eines
Fahrzeugs sowie einer Anordnung mit wenigstens einer Rundsichtkamera.
Die erfassten Bilddaten werden ausgewertet, wobei mittels der Auswertung wenigstens
ein Bereich selektiert wird. Dieser Bereich wird mittels eines zweiten,
ausrichtbaren Sensors mit eingeschränktem räumlichen Erfassungsbereich
erfasst und die durch den zweiten Sensor erfassten Daten einer Auswertung
unterzogen.
-
Aus
der US 2001/0048816 A1 ist ein Kamerasystem bekannt, welches eine
Kamera und einen konvexen Spiegel aufweist. Das System kann zur Aufnahme
von Bildern in einem großen
Winkelbereich genutzt werden. Beispielsweise kann das System zur
Beobachtung eines Rückfahrbereiches
eines Kraftfahrzeugs genutzt werden. In der US 2001/0048816 A1 ist
weiterhin ein Verfahren beschrieben, mittels dessen die Bildinformationen,
die mittels des konvexen Spiegels gewonnen werden, entzerrt werden
können,
so dass ein Bild in geradlinigen Koordinaten generiert wird.
-
In
der
EP 1 197 937 A1 ist
ein Rundumüberwachungssystem
für ein
bewegtes Objekt beschrieben, beispielsweise für die Außenraumüberwachung eines Kraffahrzeugs.
Unter anderem wird dabei auch eine Anordnung beschrieben, bei der
das Rundumüberwachungssystem
einen hyperboloid-förmigen Spiegel
aufweist, sowie ein Kamerasystem, welches diesen hyperboloid-förmigen Spiegle
beobachtet und auf diese Weise Bildinformationen innerhalb eines vorgegebenen
Bildbereichs generiert.
-
In
US 2003/0156187 A1 wird ein catadioptrisches (Einzel-Kamera) Sensorsystem
beschrieben, bei welchem einer oder mehrere Spiegel genutzt werden,
um stereoskopische Bilder zu erzeugen. Unter anderem wird dabei
auch ein System beschrieben, bei dem stereoskopische Bilder dadurch
erzeugt werden, dass zwei aufeinander platzierte konvexe Spiegel
eingesetzt werden.
-
In
WO 00/41024 wird ein System zum Erfassen von Super-Weitwinkel-Panoramabildern
beschrieben. Das System weist zwei gekrümmte Reflektoren auf, deren
optische Fehler sich gegenseitig korrigieren. Einfallende Strahlen
werden zunächst vom
ersten Reflektor erfasst und auf den zweiten Reflektor gelenkt,
von wo sie wiederum reflektiert und in ein Kamerasystem gelenkt
werden.
-
In
S. K. Nayar et al. „Folded
Catadioptric Cameras",
proceedings of IEEE Conference on Computer Vision and Pattern Recognition,
Fort Collins, June 1999, wird ein Verfahren beschrieben, mittels
dessen Bildinformationen, welche durch Reflexion an einer nahezu
beliebig gekrümmten
Spiegelfläche
gewonnen sind „entzerrt" werden können. Unter
anderem werden dabei auch Kamerasysteme mit zwei Spiegel beschrieben,
bei denen einfallende Lichtstrahlen zunächst von einer Oberfläche eines
gekrümmten
Spiegels reflektiert werden, um dann von einem zweiten Spiegel hin
zu einer Kamera gelenkt zu werden. Dabei werden auch Spieglsysteme
mit hyperboloiden oder paraboloiden Spiegeln beschrieben.
-
Die
aus dem Stand der Techik bekannten Systeme zur Rundumbeobachtung
weisen jedoch für den
praktischen Einsatz, insbesondere in der Automobiltechnik, eine
Reihe von Nachteilen auf So ermöglichen
einfache Rundumsichtsysteme, wie beispielsweise die in der WO 00/41024,
der
EP 1 197 937 A1 ,
der US 2001/0048816 A1 oder der US 2003/0098909 A1 beschriebenen
Systeme, nur schwer eine Positionsbestimmung von einzelnen Objekten
innerhalb des erfassten Bildbereichs. Konventionelle catadioptrische
Systeme zur Stereo-Bilderfassung hingegen sind in der Regel mit
einem hohen Raumbedarf verbunden, da eine Positionsbestimmung mittels
derartiger Systeme stark vom Abstand der virtuellen Blickpunkte
des Stereosystems (Basisabstand) abhängig ist. Außerdem ist
der von derartigen konventionellen Systemen erfasste Bildbereich in
der Regel sehr klein und ermöglicht
keine Rundumbeobachtung. Ein Kombination mehrerer gekrümmter Spiegelsysteme,
wie beispielsweise in der US 2003/0156187 A1, weist insbesondere
den Nachteil auf dass der Bildbereich mindestens eines gekrümmten Spiegels
in derartigen Systemen die Kamera selbst erfasst, wodurch ein Bildbereich
entsteht, der nicht sinnvoll genutzt werden kann („toter Bereich").
-
Darstellung der Erfindung
-
Es
wird daher ein Kamerasystem zur Beobachtung eines oder mehrerer
Raumbereiche vorgeschlagen, welches die genannten Nachteile des Standes
der Technik vermeidet und welches insbesondere auch zum Einsatz
einer Innen- und/oder Außenraumbeobachtung
in einem Kraftfahrzeug geeignet ist.
-
Ein
Grundgedanke der vorliegenden Erfindung besteht insbesondere darin,
den genannten „toten" Bereich im Bildbereich
eines Rundumsicht-Kamerasystems für ein zweites Spiegelsystem
zu nutzen. Dem entsprechend wird ein Kamerasystem zur Beobachtung
eines oder mehrerer Raumbereiche vorgeschlagen, welches mindestens
eine Kamera mit Mitteln zum Speichern von Bildinformationen in einem
zweidimensionalen Bildbereich aufweist, sowie ein erstes, mindestens
eine nicht planare Spiegelfläche
aufweisendes Spiegelsystem. Dieses erste Spiegelsystem ist derart
ausgestaltet und/oder angeordnet, dass aus mindestens einem ersten
Raumwinkelbereich auf das erste Spiegelsystem auftreffende Lichtstrahlen
in einen ersten Teilbereich des zweidimensionalen Bildbereichs der
mindestens einen Kamera abgebildet werden. Grundsätzlich kann
das erste Spiegelsystem einen weitgehend beliebig gekrümmten Verlauf
aufweisen, wobei gegebenenfalls Hilfssysteme (z. B. in Form von
Software und/oder Hardware) zur Entzerrung des von diesem ersten Spiegelsystems
reflektierten Bildes erforderlich sind, welche beispielsweise in
S. K. Nayar et al., „Folded Catadioptric
Cameras", proceedings
of IEEE Conference on Computer Vision and Pattern Recognition, Fort
Collins, June 1999, beschrieben sind. Als besonders vorteilhaft
hat sich dabei jedoch erwiesen, wenn das erste Spiegelsystem eine
zumindest in einer Dimension im Verlauf einer hyperbolischen Funktion folgend
gekrümmte
Spiegelfläche
aufweist. Insbesondere kann das erste Spiegelsystem beispielsweise
dem Verlauf einer ersten Halbschale eines zweischaligen Hyperboloids
folgend gekrümmte
Spiegelfläche
aufweisen. Derartige Hyperboloide weisen zwei Hyperbelbrennpunkte
auf: einen ersten, der ersten Halbschale zugeordneten Hyperbelbrennpunkt auf
einer konkaven Seite der ersten Halbschale und einen zweiten, einer
zweiten Halbschale zugeordneten Hyperbelbrennpunkt auf einer konvexen
Seite der ersten Halbschale. Vorteilhafter Weise ist das Kamerasystem
dabei derart ausgestaltet, dass die mindestens eine Kamera (bzw.
ein der Kamera zugeordnetes Bildgebungsoptik) eine optische Achse
und einen Hauptpunkt aufweist, wobei die mindestens eine Kamera
derart angeordnet ist, dass die optische Achse der Kamera auf einer
Verbindungsgerade zwischen den beiden Hyperbelbrennpunkten liegt
und dass der Hauptpunkt mit dem zweiten Hyperbelbrennpunkt zusammenfällt. Ein
derartiges System ist beispielsweise auch in der
EP 1 197 937 A1 in
6 beschrieben. Stark vereinfacht gesagt,
wirkt die Kamera in dieser vorteilhaften Ausgestaltung wie eine Lochkamera,
wobei das Loch der Lochkamera in einem Hyperbelbrennpunkt auf der
konvexen Seite des Hyperboloids zu liegen kommt. Auf diese Weise
werden auf das Hyperboloid auftreffende Lichtstrahlen geeignet in
den Bildbereich der Kamera projeziert.
-
Alternativ
kann das erste Spiegelsystem auch eine dem Verlauf eines eliptischen
Paraboloids folgend gekrümmte
Spiegelfläche
aufweisen. Das eliptische Paraboloid soll dabei eine Rotationsachse aufweisen,
wobei die mindestens eine Kamera eine optische Achse aufweist, welche
auf der Rotationsachse des eliptischen Paraboloids liegt. In diesem Fall
ist es vorteilhaft, eine Kamera (gegebenenfalls mit einer Projektionsoptik)
und/oder eine Bildverarbeitung einzusetzen, welche eine orthographische Projektion
ermöglichen.
Bei einer derartigen Projektion „betrachtet" die Kamera ein Betrachtungsvolumen,
welches einem zur optischen Achse der Kamera parallelen Quader entspricht.
Objekte gleicher Größe innerhalb
dieses Betrachtungsvolumens erscheinen im zweidimensionalen Bildbereich
der Kamera mit gleicher Größe. Orthographische
Projektionen und geeignete Kameras sind dem Fachmann bekannt und
werden beispielsweise in Gluckman J., Nayar S.K., Thoresz K.J.: „Real-Time
Omnidirectional and Panoramic Stereo", in „Proceedings of the DARPA
Image Understanding Workshop",
1998, S. 299-303, beschrieben.
-
Weiterhin
weist das Kamerasystem mindestens ein zweites, mindestens einen
planaren Spiegelbereich aufweisendes zweites Spiegelsystem auf. Dieses
zweite Spiegelsystem ist derart ausgestaltet und/oder angeordnet,
dass aus mindestens einem zweiten Raumwinkelbereich auf das zweite
Spiegelsystem auftreffende Lichtstrahlen in einen zweiten Teilbereich
des zweidimensionalen Bildbereichs abgebildet werden. Das zweite
Spiegelsystem ist weiterhin derart ausgestaltet, dass es verhindert,
dass zumindest eine Teilmenge einer Menge von der mindestens einen
Kamera ausgehenden Lichtstrahlen durch das erste Spiegelsystem in
den ersten Teilbereich abgebildet werden. Dieses zweite Spiegelsystem
nutzt also den oben beschriebenen „toten" Bildbereich, innerhalb dessen bei Verwendung
lediglich des ersten Spiegelsystems die Kamera ihr eigenes Spiegelbild „sehen" würde, aus.
Dabei kann durch das zweite Spiegelsystem dieser „tote" Bildbereich teilweise
ausgenutzt werden, vollständig
ausgenutzt werden, oder es kann das zweite Spiegelsystem sogar in
den Bildbereich des ersten Spiegelsystems hineinragen.
-
Als
besonders vorteilhaft hat es sich dabei erwiesen, wenn das zweite
Spiegelsystem eine einzelne spiegelnde Fläche aufweist. Besonders vorteilhaft
ist es dabei, wenn der zweite Raumwinkelbereich, welcher von dem
zweiten Spiegelsystem erfasst wird, kleiner ist als der erste Raumwinkelbereich,
welcher von dem ersten Spiegelsystem erfasst wird. Die beiden Raumwinkelbereiche
können
dabei vorteilhafter Weise zumindest teilweise überlappen. Besonders vorteilhaft
ist es, wenn das Kamerasystem weiterhin einen Positioniervorrichtung
aufweist, welcher das zweite Spiegelsystem derart ausrichtet und/oder
anordnet, dass der zweite Raumwinkelbereich eingestellt werden kann.
Insbesondere ist diese Ausgestaltung vorteilhaft, wenn das Kamerasystem weiterhin
ein Bildbearbeitungssystem mit Mitteln zum vollständigen oder
teilweisen Entzerren der in dem zweidimensionalen Bildbereich gespeicherten
Bildinformationen aufweist, sowie zusätzlich oder alternativ ein
Bildverarbeitungssystem mit Mitteln zur Durchführung eines Triangulationsverfahrens
zur Positionsbestimmung eines im ersten Teilbereich und im zweiten
Teilbereich des zweidimensionalen Bildbereichs abgebildeten Objektes.
Beispielsweise lässt sich
das beschriebene Kamerasystem derart einsetzen, dass zunächst ein
erster Raumwinkelbereich in einen ersten Teilbereich eines zweidimensionalen Bildbereichs
abgebildet wird. Anschließend
oder parallel dazu wird ein mit dem ersten Raumwinkelbereich zumindest
teilweise überlappender
zweiter Raumwinkelbereich in einen zweiten Teilbereich des zweidimensionalen
Bildbereichs abgebildet. Somit sind nun sowohl die von dem ersten
Spiegelsystem als auch von dem zweiten Spiegelsystem generierten Bilddaten
in demselben zweidimensionalen Bildbereich der Kamera abgespeichert.
Mittels eines dem Fachmann bekannten Bilderkennungsverfahrens (welches
beispielsweise auf einer Kantenerkennung basiert) wird ein in beiden
Teilbereichen des zweidimensionalen Bildbereichs abgebildetes Objekt,
beispielsweise eine Person im Inneren des Kraftfahrzeugs oder ein
Fußgänger im
Außenbereich
eines Kraftfahrzeugs, erkannt. Mittels eines Triangulationsverfahrens
wird die Position und/oder der Abstand des Objekts relativ zum Kamerasystem
berechnet. Diese Position kann beispielsweise einem Bordcomputer
oder unmittelbar einem Fahrer des Kraftfahrzeugs zur Verfügung gestellt
werden. Alternativ oder zusätzlich
können
bei Erkennen einer Gefahr, beispielsweise einem in die Fahrbahn
tretenden Fußgänger, auch
unmittelbar Gegenmaßnahmen
eingeleitet werden.
-
Das
Verfahren lässt
sich insbesondere dahingehend erweitern, dass ein Raumwinkelbereich von
besonderem Interesse ausgewählt
wird (beispielsweise automatisch in Form eines besonders markanten
Objektes oder manuell durch einen Fahrer) und mittels des Positioniervorrichtung
das zweite Spiegelsystem anschließend derart eingestellt wird, dass
der zweite Raumwinkelbereich den Raumwinkelbereich von besonderem
Interesse ganz oder teilweise beinhaltet. Insbesondere kann das
Verfahren auch derart durchgeführt
werden, dass das zweite Spiegelsystem den ersten Raumwinkelbereich
des ersten Spiegelsystems mit seinem zweiten Raumwinkelbereich abrastert
oder abscannt (beispielsweise gesteuert durch einen Schrittmotor),
um auf diese Weise nach und nach mittels eines Triangulationsverfahrens
die Position aller, einiger ausgewählter oder zumindest aller
wesentlichen Objekte im Bildbereich des ersten Spiegelsystems zu
ermitteln.
-
Das
vorgeschlagene Kamerasystem hat gegenüber den aus dem Stand der Technik
bekannten Anordnungen den Vorteil, der „tote" Bildbereich gekrümmter Spiegelsysteme optimal
ausgenutzt wird. Weiterhin ermöglicht
das Kamerasystem eine Positionsbestimmung von Objekten im Bildbereich,
wobei die Präzision
der ermittelten Ortsinformationen die Genauigkeit bekannter Rundumsichtsysteme
bei weitem übertrifft.
Zudem ist die Baugröße des beschriebenen
Kamerasystems derart gering, dass das beschriebene Kamerasystem
zur Innen- und/oder Außenraumbeobachtung
in Kraftfahrzeugen, in denen eine geringe Baugröße ein entscheidender Vorteil
ist, eingesetzt werden kann. Das System kann auch als optionale
Ausstattung anstelle bereits bekannter Kamerasysteme, beispielsweise
in einem Scheinwerfergehäuse
eines Kraftfahrzeugs, eingesetzt werden.
-
Zeichnung
-
Anhand
der Zeichnung wird die Erfindung nachstehend näher erläutert.
-
Es
zeigt:
-
1 ein
dem Stand der Technik entsprechendes Rundumsicht-Kamerasystem mit
einem „toten" Bildbereich;
-
1a eine
in einem zweidimensionalen Bildbereich abgespeicherte Bildinformation
des Kamerasystems gemäß 1;
-
2 ein
erfindungsgemäßes Kamerasystem
mit Ausnutzung des „toten" Bildbereichs für ein zweites
Spiegelsystem;
-
2a eine
in einem zweidimensionalen Bildbereich eines Kamerasystems gemäß 2 abgespeicherte
Bildinformation;
-
3 eine
schematische Darstellung einer Ausgestaltung der Krümmung des
ersten Spiegelsystems in Form eines Hyperboloids;
-
4 eine
schematische Ausgestaltung einer Krümmung des ersten Spiegelsystems
in Form eines Paraboloids; und
-
5 einen
schematischen Ablaufplan einer möglichen
Ausgestaltung eines erfindungsgemäßen Verfahrens zur optischen
Umgebungsüberwachung mittels
eines erfindungsgemäßen Kamerasystems.
-
Ausführungsvarianten
-
In 1 ist
ein dem Stand der Technik entsprechendes Panorama-Kamerasystem dargestellt. Das
Kamerasystem weist eine Kamera 110 auf, welche über ein
Gehäuse 112 und
eine entsprechende Bildgebungsoptik 114 verfügt. Weiterhin
weist das Kamerasystem einen gekrümmten Spiegel 116 auf dessen
Oberfläche 118 in
diesem Ausführungsbeispiel
gemäß einer
Halbschale eines zweischaligen Hyperboloids gekrümmt ist. Dem entsprechend weist der
gekrümmte
Spiegel 116 einen Brennpunkt 120 auf welcher der
Oberfläche 118 zugeordnet
ist und sich auf der konkaven Seite der hyperboloidischen Oberfläche 118 befindet.
Der genaue Strahlenverlauf wird weiter unten erklärt (siehe 3).
Der gekrümmte
Spiegel 116 ist durch eine Aufhängung 122 gehaltert.
-
Der
gekrümmte
Spiegel 116 reflektiert auf die Spiegeloberfläche 118 auftreffende
Lichtstrahlen 124 zur Kamera 110 hin. Die Kamera 110 „sieht" somit dasselbe Bild,
welches ein virtueller Beobachter im Brennpunkt 120 des
gekrümmten
Spiegels 116 wahrnehmen wurde. Der maximale Raumwinkelbereich, innerhalb
dessen einfallende Lichtstrahlen 124 zur Kamera 110 hin
reflektiert werden, ist in 1 symbolisch
mit Bezugsziffer 126 gekennzeichnet und wird begrenzt durch
die Grenzstrahlen 128. Die genaue Lage der Grenzstrahlen 128 hängt von
der Ausgestaltung des gekrümmten
Spiegels 116 und/oder der Aufhängung 122 ab.
-
Wie
in 1 ebenfalls dargestellt, spiegelt sich auch die
Kamera 110 im gekrummten Spiegel 116. In diesem
Ausführungsbeispiel
wird der von der Kamera 110 eingenommene Raumwinkelbereich
begrenzt durch die Randstrahlen 130, welche vom äußersten
Rand des Gehäuses
der Bildgebungsoptik 114 der Kamera ausgehen. Diese Randstrahlen 130 werden
von der Oberfläche 118 des
gekrümmten Spiegels 116 zurück in die
Kamera 1l0 reflektiert und bilden somit einen „toten" Raumwinkelbereich 132, welcher
im Wesentlichen keine nutzbare Bildinformation aufweist.
-
Die
Kamera 110 weist Mittel 216 zum Speichern von
Bildinformationen in einem zweidimensionalen Bildbereich auf beispielsweise
einen CCD-Chip 216. In 1a ist
eine Abbildung der mit einer dem Stand der Technik entsprechenden
Anordnung gemäß 1a gewonnenen
Bildinformationen in einem zweidimensionalen Bildbereich 134 eines derartigen
CCD-Chips 216 dargestellt. Als Beispiel ist hier der Einsatz
eines Kamerasystems im Innenraum eines Kraftfahrzeugs dargestellt.
Die Grenzstrahlen 128 in 1, welche
den maximalen Raumwinkelbereich 126 des Kamerasystems begrenzen, werden
in dem zweidimensionalen Bildbereich 134 in 1a je
nach Ausgestaltung des gekrümmten
Spiegels 116, der Bildgebungsoptik 114 und des CCD-Chips 216 als
runde oder eliptische Sichtbereichsgrenze 136 abgebildet.
Alle innerhalb des maximalen Raumwinkelbereichs 126 reflektierten
Strahlen sind in dem zweidimensionalen Bildbereich 134 innerhalb
dieser Sichtbereichsgrenze 136 in einem ersten Teilbereich 138 abgebildet.
Aufgrund der Krümmung
der Oberfläche 118 des
gekrümmten Spiegels 116 sind
die Bildinformationen im Vergleich zur Realität verzerrt. Wie ebenfalls in 1a zu
erkennen, werden die Randstrahlen 130 in dem zweidimensionalen
Bildbereich 134 in Form einer runden oder eliptischen Totbereichsgrenze 140 abgebildet. In
dem sogenannten Totbereich 142 im Inneren dieser Totbereichsgrenze 140,
im Bildbereich 134 werden mit der Anordnung gemäß 1 Bildinformationen über die
Kamera 110 abgebildet. Dieser Totbereich 142 enthält somit
keine nutzbaren Bildinformationen und ist in 1a schraffiert
dargestellt.
-
In 2 ist
ein erfindungsgemäßes Kamerasystem
mit zwei Spiegelsystemen dargestellt. Wiederum weist das Kamerasystem
eine Kamera 110 mit einer Bildgebungsoptik 114 auf,
sowie einen gekrümmten
Spiegel 116, beispielsweise wiederum einen gekrümmten Spiegel 116 mit
einer Oberfläche 118,
welche dem Verlauf einer Halbschale eines zweischaligen Hyperboloids
folgt. Dem entsprechend weist der Spiegel 116 wieder einen
Brennpunkt 120 auf. Auch in diesem Ausführungsbeispiel würde sich grundsätzlich wiederum
die Kamera 110 aufgrund der von dem Gehäuse der Bildgebungsoptik 114 ausgehenden
Randstrahlen der Kamera 130 selbst abbilden, wodurch wiederum
ein „toter" Raumwinkelbereich 132 entstehen
würde.
In diesem Ausführungsbeispiel
gemäß 2 ist
jedoch in den „toten" Raumwinkelbereich 132 ein
zweites Spiegelsystem 210 eingebracht, welches in diesem
Ausführungsbeispiel lediglich
einen planaren Spiegel aufweist. Das Spiegelsystem 210 „blockiert" zumindest einen
Teil des von der Kamera 110 ausgehenden, durch die Randstrahlen 130 begrenzten
Strahlenbündels,
und „eliminiert" somit einen Teil
des „toten" Raumwinkelbereichs 132.
Statt dessen reflektiert das zweite Spiegelsystem 210 aus
einem zweiten Raumwinkelbereich 212 auf das zweite Spiegelsystem 210 auftreffende
Strahlen, begrenzt durch Grenzstrahlen 214, in die Kamera 110.
-
In 2a sind,
analog zu 1a, in einem zweidimensionalen
Bildbereich 134 eines CCD-Chips 216 der Kamera 110 gespeicherte
Bildinformationen, welche mit einer Anordnung gemäß 2 gewonnen
wurden, schematisch dargestellt. Wiederum sind die Bildinformationen
aus dem maximalen Raumwinkelbereich 126 im ersten Teilbereich 138 im
Inneren der Sichtbereichsgrenze 136 abgespeichert. Wiederum
wird in diesem Ausführungsbeispiel
der Totbereich 142 begrenzt durch die Totbereichsgrenze 140,
welche eine Abbildung der Randstrahlen 130 der Kamera darstellt.
Innerhalb des Totbereichs 142 sind jedoch nun erfindungsgemäß (auch)
Bildinformationen gespeichert, welche sich aus den Strahlen des
zweiten Raumwinkelbereichs 212 und deren Abbildung auf
den CCD-Chip 216 ergeben. Die Grenzstrahlen 214,
welche den zweiten Raumwinkelbereich 212 begrenzen, sind
in diesem Ausführungsbeispiel,
in dem ein näherungsweise quadratisches
zweites Spiegelsystem 210 verwendet wird, als rechteckförmige Zweitbildgrenze 216 abgebildet.
Im zweiten Teilbereich 218 des zweidimensionalen Bildbereichs 134,
welcher sich im Inneren der Zweitbildgrenze 216 befindet,
sind Bildinformationen aus dem zweiten Raumwinkelbererich 212 gespeichert.
Somit wird der Totbereich 142 des zweidimensionalen Bildbereichs 134 durch
das zweite Spiegelsystem 210 ausgenutzt.
-
Anstelle
der dargestellten Anordnung mit einem nährungsweise quadratischen zweiten
Spiegelsystem 210 lassen sich auch andere Ausgestaltungen
des Spiegelsystems 210 realisieren, beispielsweise runde
Spiegel oder auch Spiegelsysteme, welche mehrere einzelne Spiegel
aufweisen. Beispielsweise kann das zweite Spiegelsystem 210 auch
ein selbständiges
stereoskopisches Spiegelsystem aufweisen, welches mindestens zwei
einzelne (beispielsweise planare) Spiegel umfasst. Weiterhin lässt sich
das zweite Spiegelsystem 210 auch derart ausgestalten,
dass der Totbereich 142 beispielsweise durch den zweiten
Teilbereich 218 vollständig
ausgefüllt
wird. Auch eine Anordnung ist denkbar, bei welcher das zweite Spiegelsystem 210 über den
toten Raumwinkelbereich 132 hinausragt. In diesem Fall ragt
der zweite Teilbereich 218 in 2a über die Totbereichsgrenze 140 hinaus,
so dass der zweite Teilbereich 218 auch Teile des ersten
Teilbereichs 138 überdeckt,
welche nicht zum Totbereich 142 gehören.
-
Wie
in 2 dargestellt, wirkt der zweite Raumwinkelbereich 212 aus
Sicht der Kamera 110 wie der Blickbereich eines virtuellen
Beobachters im virtuellen Blickpunkt 220. Erfasst der zweite
Raumwinkelbereich 212 einen Bereich des maximalen Raumwinkelbereichs 126 des
ersten Spiegelsystems 116, so sind im zweiten Teilbereich 218 des
zweidimensionalen Bildbereichs 134 gemäß2a Bildinformationen über Objekte
gespeichert, welche sich auch im ersten Teilbereich 138,
welcher Bildinformationen des ersten Spiegelsystems 116 enthält, wiederfinden.
Dies ist symbolisch in 2a in Form eines Kopfes des
Fahrers eines Kraftfahrzeugs dargestellt. In diesem Fall definieren
die beiden Spiegelsysteme 116, 210 ein stereoskopisches
Spiegelsystem. Die Auflösung
dieses stereoskopischen Spiegelsystems wird im Wesentlichen bestimmt
durch einen Abstand D zwischen dem Brennpunkt 120 des ersten
Spiegelsystems 116 und einem Mittelpunkt 220 des
zweiten Spiegelsystems 210. Werden im zweiten Teilbereich 218 und
im ersten Teilbereich 138 des zweidimensionalen Bildbereichs 134 ein
oder mehrere Objekte identifiziert (beispielsweise durch eine geeignete
Bildbearbeitung), so lässt
sich aus der bekannten Geometrie des stereoskopischen Systems eine
Position des bzw. der Objekte relativ zum Spiegelsystem berechnen.
Hierbei können
dem Fachmann bekannte Triangulationsverfahren herangezogen werden,
welche beispielsweise in US 2003/0156187 A1 beschrieben sind.
-
Das
zweite Spiegelsystem 210 in dem Ausführungsbeispiel gemäß 2 über eine
Positioniervorrichtung 222 mit dem ersten Spiegelsystem 116 verbunden.
Diese Positioniervorrichtung erlaubt beispielsweise eine Rotation
des zweiten Spiegelsystems 210 um eine optische Achse 224.
Auch eine Positionierung der Gestalt, dass der Winkel α zwischen einem
Mittelpunktstrahl 226 des zweiten Raumwinkelbereichs 212 und
der optischen Achse 224 verändert wird, ist möglich. Insbesondere
lässt sich
die Positioniervorrichtung 222 auch derart ausgestalten, dass
die Positioniervorrichtung 222 einen oder mehrere Schrittmotoren
aufweist, mit welcher der zweite Raumwinkelbereich 212 exakt
eingestellt werden kann. Auf diese Weise lässt sich beispielsweise manuell
oder automatisch der zweite Teilbereich 218 des zweidimensionalen
Bildbereichs 134 auf ein beliebiges Objekt einstellen.
So kann beispielsweise die Position eines beliebigen Objektes bestimmt
werden.
-
In
den 3 und 4 sind exemplarisch und schematisch
mögliche
Krummungen der Oberfläche 118 des
ersten Spiegelsystems 116 dargestellt. Während 3 eine
hyperbolische Krümmung beschreibt,
ist in 4 eine parabolische Krümmung dargestellt.
-
Wie
in 3 dargestellt, folgt die Oberfläche 118 des
ersten Spiegelsystems 116 dem Verlauf einer ersten Halbschale 310 eines
Hyperboloids. Dieser Halbschale 310 ist auf ihrer konkaven
Seite ein erster Brennpunkt 120 zugeordnet. Analog existieren zu
diesem Hyperboloid eine zweite Halbschale 312 sowie ein
zweiter Brennpunkt 314 und zwei Leitlinien 316.
Beliebige Lichtstrahlen 318, 320, welche auf den Brennpunkt 120 zulaufen,
werden in den Punkten P1 und P2 an der Oberfläche 118 der ersten
Halbschale 310 zum zweiten Brennpunkt 314 hin
reflektiert. Ein virtueller Beobachter im zweiten Brennpunkt 314 nimmt
also das gleiche Bild wahr wie ein virtueller Beobachter im ersten
Brennpunkt 120. Das erfindungsgemäße Kamerasystem macht von dieser
geometrischen Eigenart dadurch Gebrauch, dass eine Kamera 110 eingesetzt
wird, welche einen Hauptpunkt 322 aufweist, welcher mit
dem zweiten Brennpunkt 314 zusammenfällt. Auf diese Weise wirkt
die Kamera 110 wie eine Lochkamera mit Loch im Hauptpunkt 322.
-
In 4 ist
schematisch eine Ausgestaltung der Oberfläche 118 dargestellt,
welche dem Verlauf eines Paraboloids 410 folgt. Im Gegensatz
zu einem Hyperboloid verfügt
ein Paraboloid 410 lediglich über einen Brennpunkt 120.
Lichtstrahlen 412, 414, welche auf einen virtuellen
Beobachter im Brennpunkt 120 zulaufen, werden an der Oberfläche 118 des
Paraboloids 410 in den Punkten P1, P2 reflektiert und verlaufen
nach dieser Reflexion parallel zur optischen Achse 224.
Zur Aufnahme der Gesamtheit der von der Oberfläche 118 reflektierten
Lichtstrahlen ist also eine Kamera 110 erforderlich, deren
optische Achse 224 mit der Achse 224 des Paraboloids 410 zusammenfällt. Weiterhin muss
die Kamera 110 in der Lage sein, sämtliche von der Oberfläche 118 reflektierten
Strahlen aufzunehmen, d.h. die Kamera muss einen lichten Durchmesser
von mindestens d aufweisen. Weiterhin müssen sämtliche auf der Oberfläche 118 liegende
Punkte P1, P2 gleicher Weise durch die Kamera 110 (bzw.
durch deren Bildgebungsoptik 114) abgebildet werden, was
durch eine orthographische Kamera (beispielsweise mit einer telezentrischen
Linse oder Blende) realisiert werden kann. Eine derartige Kamera
ist beispielsweise in Joshua M. Gluckman and Shree K. Nayar: "Planar catadioptric
stereo: geometry and calibration",
Proc. of IEEE Conference on Computer Vision and Pattern Recognition,
Fort Collins, June 1999, beschrieben.
-
In 5 ist
ein erfindungsgemäßes Verfahren
zur optischen Umgebungsüberwachung
mittels eines erfindungsgemäßen Kamerasystems
dargestellt. Die dargestellten Verfahrensschritte müssen nicht
notwendiger Weise in der abgebildeten Reihenfolge durchgeführt werden,
und es können
auch zusätzliche,
in 5 nicht dargestellte Verfahrensschritte durchgeführt werden.
-
Zunächst wird
in Verfahrensschritt 510 ein erster Raumwinkelbereich 126 mittels
eines ersten Spiegelsystems 116 in einen ersten Teilbereich 138 eines
zweidimensionalen Bildbereichs 134 abgebildet. In Verfahrensschritt 512 wird
diese in dem ersten Teilbereich 138 abgespeicherte Bildinformation
des ersten Raumwinkelbereichs 126 mittels eines geeigneten
Bildverarbeitungsalgorithmus, beispielsweise mittels des in S. K.
Nayar et al.: „Folded
Catadioptric Cameras",
proceedings of IEEE Conference on Computer Vision and Pattern Recognition,
Fort Collins, June 1999, beschriebenen Algorithmus. Diese Entzerrung 512 erleichtert
insbesondere in nachfolgenden Schritten die Bilderkennung. In einem
paralleln Verfahrensschritt 514 wird ein mit dem ersten
Raumwinkelbereich 126 zumindest teilweise überlappender
zweiter Raumwinkelbereich 212 in einen zweiten Teilbereich 218 des
zweidimensionalen Bildbereichs 134 abgebildet. Mittels
eines geeigneten Bilderkennungsverfahrens, welches dem Fachmann
bekannt ist und beispielsweise nach der Methode der Kantenerkennung
arbeitet, wird in beiden Teilbereichen 138, 218 des
zweidimensionalen Bildbereichs 134 in Schritt 516 eine
Objekterkennung durchgeführt.
Beispielsweise kann es sich bei diesem Objekt um eine Person im
Innenraum eines Kraftfahrzeugs oder um einen Fußgänger oder ein weiteres Kraftfahrzeug
im Außenbereich
eines Kraftfahrzeugs handeln. Es kann sich jedoch auch bei dem Objekt
lediglich um Teile eines derartigen Objekts handeln. Beispielsweise
können
auch bestimmte Objekte vorgegeben werden, nach denen gezielt gesucht
werden kann, beispielsweise ein Nummernschild eines vorausfahrenden
Kraftfahrzeugs. Anschließend
wird in Verfahrensschritt 518, sofern ein Objekt in beiden
Teilbereichen 138, 218 identifiziert worden ist,
mittels eines Triangulationsverfahrens die Position und/oder der Abstand
des Objektes relativ zum Kamerasystem berechnet. Anschließend oder
parallel dazu wird in Verfahrensschritt 520 der Raumwinkelbereich 212 des zweiten
Spiegelsystems 210 neu eingestellt. Dieses Neueinstellen 518 kann
beispielsweise manuell erfolgen, beispielsweise in dem ein Benutzer
einen Bereich von besonderem Interesse manuell auswählt, oder
es kann auch eine automatische Einstellung erfolgen. Die Neueinstellung
erfolgt insbesondere mittels einer Positioniervorrichtung 222.
Insbesondere kann diese Neueinstellung 520 auch dahingehend erfolgen,
dass der zweite Raumwinkelbereich 212 den maximalen Raumwinkelbereich 126 abrastert (siehe
oben). Mittels dieses Rasterverfahrens lässt sich nach und nach beispielsweise
der gesamte maximale Raumwinkelbereich 126 des ersten Spiegelsystems 116 abrastern,
um so in diesem Raumwinkelbereich 126 Objekte zu erkennen
und deren Position zu bestimmen. Das Verfahren kann gekoppelt werden
mit verschiedenen anderen Verfahrensschritten, beispielsweise mit
entsprechenden Warnfunktionen, wenn sich ein entsprechendes Objekt
in gefährlicher
Nähe in
der Fahrbahn eines Kraftfahrzeugs befindet oder zu erwarten ist,
dass sich dieses Objekt in die Fahrbahn bewegt. Auch eine Verfolgung
bestimmter Objekte, beispielsweise durch Integration in ein Staufolgesystem,
bei welchem der Abstand zu einem vorausfahrenden Kraftfahrzeug konstant
gehalten wird, ist denkbar. Wiederum lässt sich das Verfahren beispielsweise
in System einsetzen, welche wahlweise (beispielsweise als Zusatzausstattung)
in bereits existierende Kamerasysteme in Kraftfahrzeugen eingesetzt
werden können.