DE10359925A1 - Verfahren zur Bestimmung der Entfernung von Objekten in der Umgebung und Computerprogrammprodukt - Google Patents

Abstract

Es wird ein Verfahren zur Bestimmung der Entfernung von Objekten in der Umgebung beschrieben, das die folgenden Schritte aufweist: Aufnahme eines ersten Bilds mit einem bildaufzeichnenden Gerät (1) in einer Anfangsposition (2) des bildaufzeichnenden Geräts (1); Führen des bildaufzeichnenden Geräts (1) auf einem Kreisbogen mit definiertem Radius (r); Aufnahme eines zweiten Bilds in einer Endposition (3) des bildaufzeichnenden Geräts (1), nachdem das bildaufzeichnende Gerät (1) um einen Drehwinkel (alpha) gegenüber der Anfangsposition (2) des bildaufzeichnenden Geräts (1) gedreht wurde und dadurch das bildaufzeichnende Gerät (1) gegenüber der Anfangsposition (2) um einen Abstand (a) versetzt wurde; Bestimmen der zwischen dem bildaufzeichnenden Gerät (1) und dem Objekt bzw. den Objekten (4) bestehenden Entfernung (e) aus der Verschiebung jeweiliger Objekte (4) in dem ersten und dem zweiten Bild.

Description

• Die Erfindung betrifft ein Verfahren zur Bestimmung der Entfernung von Objekten in der Umgebung sowie ein Computerprogrammprodukt.
• Die Bestimmung der Entfernung von Objekten zur Erstellung eines Tiefenprofils bedient sich bislang zweier Lösungsprinzipien. Zum einen ist es bekannt, Abstandssensoren, die z.B. mit Ultraschall oder Licht (Radar) betrieben werden, zur Messung von Entfernungen einzusetzen. Ein anderes Verfahren zur Bestimmung von Entfernungen ist rein optischer Natur und erfolgt über die stereoskopische Parallaxe. Bei dieser werden wenigstens zwei Bildaufzeichnende Geräte, in der Regel Kameras, in einem definierten Abstand voneinander angeordnet, um über Triangulation die Entfernung zu einem oder auch mehreren Objekten zu messen. Als Parallaxe wird allgemein der Winkel zwischen den Verbindungslinien von zwei in bekanntem Abstand auseinander liegenden Beobachtungspunkten zu einem beobachteten Gegenstand bezeichnet. Der Abstand wird auch als Basis bezeichnet.
• Die Kenntnis der Entfernungen von Objekten von einem Betrachtungspunkt aus erlaubt die Erstellung eines Tiefenprofils bzw. einer Tiefenkarte der Umgebung. Unterschiedliche Entfernungen werden z.B. durch unterschiedliche Farbschattierungen in dem Profil angegeben. Tiefenprofile ermöglichen die Kombination realer Umgebungen mit virtuellen Objekten. Beispielsweise lässt sich mit Hilfe des Tiefenprofils ein dreidimensionales Modell eines Zimmers oder Gebäudes erstellen, um darin virtuell Möbel und Einrichtungsgegenstände einzublenden. Ein anderes Anwendungsgebiet betrifft die Erstellung von dreidimensionalen Spielen, wobei virtuelle Objekte mit realen Umgebungen kombiniert werden können.
• Die oben genannten Verfahren zum Bestimmen der Entfernung von Objekten bzw. Gegenständen in einer Umgebung sind verhältnismäßig aufwendig.
• Es ist daher Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zur Ausführung des Verfahrens anzugeben, welches die Bestimmung der Entfernung von Objekten in einer Umgebung auf einfache und wirtschaftliche Weise ermöglicht.
• Diese Aufgabe wird mit einem Verfahren zur Bestimmung der Entfernung von Objekten in der Umgebung mit den Merkmalen des Patentanspruches 1, einem Computerprogrammprodukt gemäß den Merkmalen des Patentanspruches 9 sowie mit einer Bildverarbeitungseinrichtung mit den Merkmalen des Patentanspruches 10 gelöst. Vorteilhafte Ausgestaltungen ergeben sich aus den abhängigen Patentansprüchen.
• Das erfindungsgemäße Verfahren zur Bestimmung der Entfernung von Objekten in der Umgebung weist die nachfolgenden Schritte auf: Mit einem Bildaufzeichnenden Gerät wird ein erstes Bild in einer Anfangsposition des Bildaufzeichnenden Gerätes aufgenommen; das Bildaufzeichnende Gerät wird auf einem Kreisbogen mit definierten Radius geführt; mit dem Bildaufzeichnenden Gerät wird ein zweites Bild in einer Endposition des selben aufgenommen, nachdem dieses um einen Drehwinkel gegenüber der Anfangsposition des Bildaufzeichnenden Gerätes gedreht wurde und dadurch das Bildaufzeichnende Gerät gegenüber der Anfangsposition um einen Abstand versetzt wurde; aus der Verschiebung jeweiliger Objekte in dem ersten und dem zweiten Bild wird die zwischen dem Bildaufzeichnenden Gerät und dem Objekt bzw. den Objekten bestehende Entfernung bestimmt.
• Das erfindungsgemäße Verfahren ermöglicht damit die Entfernungsmessung von Objekten mit Hilfe eines Schwenks, z.B. einer handgehaltenen Kamera, wie sie z.B. in Video-Handys oder Digital-Kameras zur Verfügung steht. Zur Erlangung eines zuverlässigen Ergebnisses ist keine Kalibrierung des Bildaufzeigenden Gerätes, z.B. mit einem Stativ oder anderer Messvorrichtungen, nötig. Als Ergebnis wird eine Tiefenkarte bzw. ein Tiefenprofil geliefert, die ein Entfernungsbild ermöglicht. Zur besseren Visualisierung kann das Tiefenprofil mit konkreten Entfernungsdaten oder verschiedenen Helligkeiten zur Information über unterschiedliche Entfernungen bzw. Tiefen versehen werden.
• Zur Bestimmung des Tiefenprofils bedient sich die Erfindung dabei der Bestimmung der Disparität zwischen dem ersten und dem zweiten Bild. Die Disparität ist eine kleine relative Verschiebung der Objekte in den zwei Bildern, die durch die unterschiedliche Perspektive der beiden Bilder auf die Objekte verursacht ist. Da die Verschiebung von der Entfernung der Objekte abhängt, kann aus der Disparität die Entfernung der Objekte berechnet werden. Dadurch ist es möglich, die räumliche Struktur der Umgebung zu erfassen.
• Zur Bestimmung der Disparität können beliebige bekannte Verfahren verwendet werden. Bekannt sind sogenannte Regionen basierte Schätzverfahren, die die Bildinhalte des ersten und des zweiten Bildes regionenweise, z.B. durch Verschieben von Bildblöcken unter Verwendung eines geeigneten Ähnlichkeitskriteriums, vergleichen. Dieses Verschieben der Bildblöcke wird als „Blockmatching" bezeichnet.
• Blockmatching-Verfahren zur Abschätzung der Bewegung eines Vektors bestimmen z.B. durch Minimieren eines bestimmten Bewertungskriteriums, welcher Block in dem ersten Bild einem Block in dem zweiten Bild entspricht. Die Bewertungskriterien hängen dabei in der Regel unter anderem von der Bildstruktur der zu vergleichenden Blöcke ab. Häufig verwendete Bewertungskriterien sind z.B. die Summe der absoluten Differenzen (SAD) oder das mittlere Fehlerquadrat (MSE).
• Voraussetzung für die Bestimmung der Disparität ist damit die Bestimmung korrespondierender Bildpunkte oder -Bereiche in dem stereoskopischen Bildpaar. Im Rahmen des Blockmatching ist es bevorzugt, wenn ein mit einem Referenzblock zur vergleichender Suchblock in seinem Helligkeitswert des Referenzblock angepasst wird. Durch die Skalierung der Luminanzwerte des Suchblocks hängt das Bewertungskriterium in vorteilhafter Weise nur noch von der Struktur, d.h. der Verteilung der Luminanzwerte, ab und ist somit Gesamtluminanz-Schwankungen gegenüber unempfindlich, die beispielsweise durch einen automatischen Weisabgleich des Bildaufzeichnenden Gerätes während des Schwenks durchgeführt werden.
• In einer vorteilhaften Ausgestaltung umfasst das erfindungsgemäße Verfahren zur Bestimmung der Entfernung zwischen einem Objekt und dem Bildaufzeichnenden Gerät die Ermittlung des Drehwinkels zwischen der Anfangs- und Endposition des Bildaufzeichnenden Gerätes, des Abstands des Bildaufzeichnenden Gerätes in seiner Anfangs- und Endposition und eines Verschiebungswinkels, der zwischen der Endpositionsgeraden und einer Geraden durch das betrachtete Objekt und den Schnittpunkt der Endpositionsgeraden und dem Kreisbogen gebildet ist. Die Endpositionsgerade wird dabei durch das Zentrum des Kreisbogens und die Endposition des Bildaufzeichnenden Gerätes auf dem Kreisbogen gebildet.
• Gemäß einer Ausgestaltung wird der Drehwinkel aus der Verschiebung jeweiliger Objekte in dem ersten und dem zweiten Bild ermittelt, aus dem sich der Abstand des Bildaufzeichnenden Gerätes zwischen seiner Anfangs- und Endposition errechnen lässt. Anschaulich bedeutet dies, dass sich das Bildaufzeichnende Gerät während der Aufnahme langsam auf dem Kreisbogen mit dem definierten Radius bewegt. Nachdem es einen zunächst noch nicht bekannten Abstand a zurückgelegt hat, erscheint ein Objekt aus Sicht des Bildaufzeichnenden Gerätes unter einem anderen Winkel. Die Bewegung des Bildaufzeichnenden Gerätes kann aus der Verschiebung des ersten und des zweiten Bildes berechnet werden. Hierdurch lässt sich der Drehwinkel bestimmen. Der Abstand lässt sich dann aus dem definierten Radius und dem ermittelten Drehwinkel bestimmen. Aus der Verschiebung korrespondierender Objekte in dem ersten und dem zweiten Bild mittels eines Matching-Verfahrens kann dann der Verschiebungswinkel bestimmt werden.
• Aus den nun bekannten Größen kann die Entfernung zu den Objekten nach dem Prinzip der stereoskopischen Parallaxe errechnet werden. Die Entfernung zu den Objekten wird dabei nach folgender Formel ermittelt:

  

  wobei r der Radius des Kreisbogens, α der Drehwinkel des Bildaufzeichnenden Gerätes und β der Verschiebungswinkel eines Objektes zwischen dem ersten und dem zweiten Bild ist.
• Gemäß einer Ausgestaltung der Erfindung kann der Zusammenhang zwischen dem Drehwinkel und dem Verschiebungswinkel in dem bildauswertenden Gerät gespeichert sein und vorab durch Versuche festgestellt worden sein. Diese Vorgehensweise weist den Vorteil auf, dass unabhängig von der verwendeten Kamera, und insbesondere von deren Brennweite, und im Falle einer Digital-Kamera der Größe des Bildsensors, gleiche Ergebnisse geliefert werden. Das bildauswertende Gerät kann dabei das Bildaufzeichnende Gerät selbst oder ein separater Rechner sein, dem die von dem Bildaufzeichnenden Gerät aufgenommenen Bilder übermittelt wurden.
• Der Zusammenhang zwischen dem Drehwinkel und dem Verschiebungswinkel wird in einer anderen Ausgestaltung bei der Auswertung der Bilder in einem bildauswertenden Gerät errechnet, wobei als weitere Parameter zumindest die Brennweite des Bildaufzeichnenden Gerätes berücksichtigt wird. Werden die Bilder mit einer digitalen Kamera gemacht, so ist zusätzlich die Größe des Bildsensors notwendig.
• Die Erfindung wird nachfolgend anhand der Figur näher erläutert.
• In der Figur sind die geometrischen Verhältnisse während der Durchführung des erfindungsgemäßen Verfahrens dargestellt. Ein Bildaufzeichnendes Gerät, z.B, eine Digital-Kamera oder ein Video-Handy, wird von einem Benutzer, der sich in einem Zentrum 8 befindet, auf einem Kreisbogen 5 mit dem Radius r um einen Drehwinkel α geschwenkt. Der Radius r ist dem Benutzer vorzugsweise bekannt und beschreibt den Abstand zwischen dem Bildaufzeichnenden Gerät und diesem selbst. Der Radius r beträgt vorzugsweise ungefähr 30 cm.
• Durch die Bewegung des Bildaufzeichnenden Gerätes auf dem Kreisbogen 5 legt dieses einen Abstand a zurück. Das Bildaufzeichnende Gerät 1 nimmt ein erstes Bild in seiner Anfangsposition auf, in dem es sich auf der Anfangspositionsgeraden 2 befindet, die durch eine Gerade zwischen dem Objekt 4 und dem Zentrum 8 gebildet ist. Ein zweites Bild wird in der Endposition, d.h. nach Erreichen des Drehwinkels α aufgenommen. Das Bildaufzeichnende Gerät befindet sich dabei auf einer Endpositionsgeraden 3, die durch die Gerade zwischen dem Zentrum 8 und dem Bildaufzeichnenden Gerät 1 in seiner Endposition gebildet ist.
• Nachdem das Bildaufzeichnende Gerät 1 den Abstand a zurückgelegt hat, erscheint das Objekt unter einem anderen Winkel. Dieser Winkel wird als Verschiebungswinkel β bezeichnet und ist zwischen der Endpositionsgeraden 3 und einer Geraden 7 durch das Objekt und den Schnittpunkt zwischen der Endpositionsgeraden 3 und dem Kreisbogen 5 gebildet.
• Zur Berechnung der Entfernung e zwischen dem Bildaufzeichnenden Gerät 1 und dem Objekt 4 nach dem Prinzip der stereosko pischen Parallaxe ist die Kenntnis des Abstandes a und des Verschiebungswinkels β erforderlich. Der Abstand a lässt sich über den Drehwinkel α ermitteln, welcher seinerseits aus der Bewegung der Kamera, insbesondere der Verschiebung des ersten und zweiten Bildes zueinander mit bekannten Bildverarbeitungstechniken berechnet werden kann. In einem weiteren Schritt werden mittels eines Matching-Verfahrens, das aus dem Stand der Technik ebenfalls bekannt ist, korrespondierende Objekte in dem ersten und dem zweiten Bild zugeordnet. Daraus ergibt sich für das Objekt 4 der gezeigten Figur eine Winkelverschiebung um den Verschiebungswinkel β.
• Mit den nun vorliegenden Größen lässt sich die Entfernung e zwischen dem Objekt 4 und dem Bildaufzeichnenden Gerät 1 nach folgender Formel bestimmen:

  
• Der Einfachheit halber wurde in der vorliegende Figur lediglich ein einziges Objekt 4 dargestellt. Das beschriebene Verfahren wird mit sämtlichen Objekten iterativ durchgeführt, so dass ein Tiefenprofil bzw, eine Tiefenkarte der von dem Bildaufzeichnenden Gerät 1 erfassten Umgebung entsteht.
• Das beschriebene Vorgehen ermöglicht auch das Erstellen eines Tiefenprofils in einem 360°-Winkel um einen Betrachter herum. Es versteht sich, dass der Drehwinkel α zwischen dem ersten und dem zweiten Bild keine 360° beträgt, sondern dass entlang des Kreisbogens das beschriebene Vorgehen mit dem ersten und dem zweiten Bild vielfach wiederholt wird.
• Die Erfindung beruht auf der Ausnutzung der stereoskopischen Parallaxe durch die Bildverschiebung und deren Auswertung bei einem Schwenk eines Bildaufzeichnenden Gerätes auf einem Kreisbogen. Der Vorteil des erfindungsgemäßen Verfahrens be steht darin, dass das Bildaufzeichnende Gerät unkalibriert sein kann.
• Zur Erhöhung der Bildauflösung lässt sich das Verfahren mit Methoden der sogenannten Super-Resolution verbinden. Dabei werden mehr als zwei Bilder zur Tiefenschätzung eines Objektes herangezogen und überlappende Bildbereiche ausgewertet, um zwischen Bildinformationen zu berechnen. Ein solches Verfahren ist beispielsweise in der DE 102 14 935 A1 beschrieben.
• Eine Steigerung der Genauigkeit der Tiefenschätzung ist durch die Berücksichtigung bekannter Entfernungen in dem ersten oder zweiten Bild aufgenommener Objekte möglich. Beispielsweise könnten Gebirge oder weit entfernte Gebäude näherungsweise als unendlich weit entfernt angesehen werden. Diese Information kann dem bildauswertenden Gerät entweder manuell übermittelt werden oder sie kann durch einen automatischen Erkennungsprozess durch das bildauswertende Gerät selbst ausfindig gemacht werden.
• Ein Anwendungsgebiet des erfindungsgemäßen Verfahrens betrifft die „Augmented Reality". So können reale Umgebungen, die durch das erfindungsgemäße Verfahren analysiert wurden, mit virtuellen Objekten kombiniert werden. So lässt sich beispielsweise ein dreidimensionales Modell eines Raumes erstellen, in welchem dann an einem Rechner durch den Benutzer Einrichtungsgegenstände eingeblendet werden können. Das Verfahren eignet sich auch für dreidimensionale Spiele, in welchen ein Benutzer seine Umgebung selbst in einem Rechner darstellen kann. Aufgrund des Tiefenprofils lassen sich dann Kollisionen virtueller Objekte mit der zuvor aufgenommenen realen Umgebung vermeiden.
• Eine Nutzung im Kraftfahrzeugbereich ist ebenfalls möglich, indem die Eigenbewegung eines Fahrzeuges durch eine rotieren de Kamera kompensiert wird, wodurch ebenfalls Tiefenprofile errechnet werden können.

Claims (10)

1. Verfahren zur Bestimmung der Entfernung von Objekten in der Umgebung, mit den Schritten: Aufnahme eines ersten Bilds mit einem Bildaufzeichnenden Gerät (1) in einer Anfangsposition (2) des Bildaufzeichnenden Geräts (1), Führen des Bildaufzeichnenden Geräts (1) auf einem Kreisbogen mit definierten Radius (r), Aufnahme eines zweiten Bilds in einer Endposition (3) des Bildaufzeichnenden Geräts (1), nachdem das Bildaufzeichnende Gerät (1) um einen Drehwinkel (α) gegenüber der Anfangsposition (2) des Bildaufzeichnenden Geräts (1) gedreht wurde und dadurch das Bildaufzeichnende Gerät (1) gegenüber der Anfangsposition (2) um einen Abstand (a) versetzt wurde, Bestimmen der zwischen dem Bildaufzeichnenden Gerät (1) und dem Objekt bzw, den Objekten (4) bestehenden Entfernung (e) aus der Verschiebung jeweiliger Objekte (4) in dem ersten und dem zweiten Bild.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Bestimmen der Entfernung (e) die Ermittlung des Drehwinkels (α), des Abstands (a) und eines Verschiebungswinkels (β), der zwischen der Endpositionsgeraden (3) und einer Geraden durch das betrachtete Objekt (4) und den Schnittpunkt der Endpositionsgeraden (3) und dem Kreisbogen (5) gebildet ist, umfasst.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Drehwinkel (α) aus der Verschiebung jeweiliger Objekte (4) in dem ersten und dem zweiten Bild ermittelt wird, aus dem sich der Abstand (a) errechnen lässt.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels eines Matching-Verfahrens korrespondierende Objekte in dem ersten und dem zweiten Bild zugeordnet werden, um den Verschiebungswinkel (β) zu bestimmen.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Zusammenhang zwischen dem Drehwinkel (α) und dem Verschiebungswinkel (β) in einem Bildauswertenden Gerät gespeichert ist und durch Versuche festgestellt wurde.
6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der Zusammenhang zwischen dem Drehwinkel (α) und dem Verschiebungswinkel (β) bei der Auswertung der Bilder in einem Bildauswertenden Gerät (1) errechnet wird, wobei als weitere Parameter zumindest die Brennweite des Bildaufzeichnenden Geräts berücksichtigt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Entfernung (e) zu den Objekten () nach dem Prinzip der stereoskopischen Parallaxe errechnet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Entfernung (e) zu den Objekten (4) nach folgender Formel ermittelt wird:

   

   mit r Radius des Kreisbogens, α Drehwinkel des Bildaufzeichnenden Geräts, β Verschiebungswinkel zwischen dem erstem und zweiten Bild.
9. Computerprogrammprodukt mit Codes zur Ausführung des Verfahrens nach einem der vorhergehenden Ansprüche.
10. Bildverarbeitungseinrichtung mit einem Bildaufzeichnenden Gerät, einem mit diesem gekoppelten Speicher zur Speicherung einer Mehrzahl an Bildern, und einer Auswerteeinheit, die auf die in dem Speicher gespeicherten Bilder zugreifen kann, und die dazu eingerichtet ist, das Verfahren gemäß einem der Ansprüche 1 bis 8 auszuführen.