-
Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs, ein Computerprogrammprodukt, ein System und ein Fahrzeug.
-
Das Parken von Fahrzeugen auf größeren Parkplätzen oder in Parkhäusern ist sehr zeitaufwändig. Insbesondere, wenn der Nutzer des Fahrzeugs abfahren möchte, muss er zunächst das Fahrzeug aufsuchen, was ein erstes Problem darstellen kann. Weiterhin muss der Nutzer, je nach Größe des Parkplatzes und der Parkposition des Fahrzeugs, beispielsweise mehrere hundert Meter zu Fuß zurücklegen, um zu dem Fahrzeug zu gelangen. Wenn der Nutzer hierbei noch Einkäufe oder dergleichen mit sich führt oder bei Parkplätzen im Freien bei schlechtem Wetter ist das besonders ärgerlich.
-
Es sind Fahrzeuge bekannt, die eine sogenannte „Smart Summon“-Funktion aufweisen. Bei dieser kann das Fahrzeug autonom zu einem vereinbarten Abholpunkt fahren. Hierbei navigiert das Fahrzeug mit seiner Bordelektronik.
-
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, den Betrieb eines Fahrzeugs zu verbessern.
-
Gemäß einem ersten Aspekt wird ein Verfahren zum Betreiben eines Fahrzeugs vorgeschlagen. Das Verfahren umfasst:
- a) Empfangen einer Anzahl von Bildern einer Umgebung des Fahrzeugs, wobei ein jeweiliges Bild eine Sicht von oben der Umgebung umfasst,
- b) Ermitteln einer digitalen Umgebungskarte auf Basis der Anzahl empfangener Bilder,
- c) Ermitteln einer Trajektorie von einer aktuellen Position des Fahrzeugs zu einer Zielposition auf Basis der ermittelten digitalen Umgebungskarte, und
- d) Veranlassen des Fahrens entlang der ermittelten Trajektorie durch eine Steuereinheit des Fahrzeugs.
-
Dieses Verfahren weist den Vorteil auf, dass vorzugsweise eine komplette Trajektorie von der aktuellen Position des Fahrzeugs zu der Zielposition bereits vor Fahrtbeginn zur Verfügung steht. Damit kann das Fahrzeug schneller den Zielpunkt erreichen, zudem wird eine Recheneinheit des Fahrzeugs während der Fahrt nicht zusätzlich mit dem Ermitteln der Trajektorie ausgelastet, so dass die Rechenleistung für andere Funktionen, insbesondere sicherheitsrelevante Funktionen, nutzbar ist. Weiterhin ist das Verfahren auch dann anwendbar, wenn keinerlei Vorkenntnisse zu der Umgebung vorhanden sind.
-
Die Anzahl von Bildern, die empfangen wird, umfasst mindestens ein Bild.
-
Die Anzahl empfangener Bilder zeigt insbesondere einen Bereich der Umgebung des Fahrzeugs, der die aktuelle Position des Fahrzeugs und die Zielposition enthält.
-
Die Anzahl kann aber auch mehrere Bilder umfassen, die beispielsweise von unterschiedlichen Quellen stammen, also beispielsweise mit verschiedenen Kameras aufgenommen wurden. Verschiedene Bilder der Anzahl können unterschiedliche Ausschnitte der Umgebung darstellen. Diese Bilder können beispielsweise zu einem Gesamtbild zusammengefügt werden („stitching“). Verschiedene Bilder, die zumindest teilweise einen gleichen Ausschnitt der Umgebung zeigen, können überlagert werden, um die Bildinformation der beiden unterschiedlichen Bilder für den Ausschnitt zu kombinieren.
-
Unter einer „Sicht von oben der Umgebung“ wird vorliegend insbesondere verstanden, dass das Bild die Umgebung von oben zeigt, wie eine Luftaufnahme. Im Rahmen dieser Patentanmeldung umfasst ein Bild eine Sicht von oben der Umgebung, wenn das Bild mit einem Winkel von bis zu 80°, bevorzugt 45°, und besonders bevorzugt 30° oder 20°, zur Senkrechten erfasst wurde. Vorzugsweise ist das Bild senkrecht von oben erfasst. Vorzugsweise wurde das Bild aus einer Höhe von wenigstens zwei Meter, bevorzugt wenigstens drei Meter, weiter bevorzugt wenigstens fünf Meter erfasst. Die „Sicht von oben“ ist vorzugsweise eine Draufsicht.
-
Die Anzahl von Bildern wird beispielsweise mittels Bildverarbeitungs-Verfahren analysiert. Hierbei kann insbesondere zunächst ein Gesamtbild aus mehreren Bildern der Anzahl ermittelt werden. Alternativ kann auf Basis mehrerer Bilder jeweils eine digitale Umgebungskarte ermittelt werden und die mehreren digitalen Umgebungskarten werden anschließend zu einer einzigen digitalen Umgebungskarte vereint. Damit wird jede Information, die in den mehreren Bildern enthalten ist, berücksichtigt.
-
Die digitale Umgebungskarte umfasst vorzugsweise wenigstens eine binäre Einteilung in einen befahrbaren Bereich und einen nicht befahrbaren Bereich. In Ausführungsformen kann die digitale Umgebungskarte auch detailliertere Informationen zu der Umgebung umfassen, zum Beispiel können Hindernisse oder Objekte in der digitalen Umgebungskarte separate dargestellt und gekennzeichnet sein, insbesondere können diese klassifiziert sein. Weiterhin kann die digitale Umgebungskarte als Parkflächen und als Fahrbahnen erkannte Bereiche umfassen, die beispielsweise anhand von Bodenmarkierungen oder dergleichen ermittelt werden. Auch kann eine Bodenbeschaffenheit, wie Asphalt, Beton, Pflaster, Kies, Erde oder Gras für die befahrbaren Bereiche ermittelt werden.
-
Die Auflösung der digitalen Umgebungskarte kann beispielsweise der Auflösung des Bildes oder der Bilder entsprechen, wobei jedem Bildpunkt des Bildes eine der beiden Eigenschaften „befahrbar“ und „nicht befahrbar“ zugeordnet wird. Vorzugsweise wird das Bild in ein gröberes Raster unterteilt, wobei eine Anzahl zusammenhängender Bildpunkte einen Rasterpunkt bilden, dem dann insgesamt eine der beiden Eigenschaften „befahrbar“ und „nicht befahrbar“ zugeordnet wird. Hierdurch kann ein Rechenaufwand beim Ermitteln der digitalen Umgebungskarte reduziert werden.
-
In Ausführungsformen wird die digitale Umgebungskarte als eine Heatmap ermittelt, wobei beispielsweise jedem Bildpunkt oder jedem Rasterfeld der digitalen Umgebungskarte ein Wert zwischen 0 und 100 zugeordnet wird. Der Wert „0“ bedeutet beispielsweise „befahrbar“, der Wert „100“ bedeutet „nicht befahrbar“, und Werte dazwischen entsprechen einer Wahrscheinlichkeit zwischen diesen Extremen. Ein Wert von „25“ bedeutet beispielsweise „sehr wahrscheinlich befahrbar“ und ein Wert von „75“ bedeutet „sehr wahrscheinlich nicht befahrbar“.
-
In der digitalen Umgebungskarte ist insbesondere die aktuelle Position des Fahrzeugs und die Zielposition gekennzeichnet.
-
Zum Ermitteln der Trajektorie von der aktuellen Position zu der Zielposition wird insbesondere ein Pfad von der aktuellen Position zu der Zielposition gesucht, der ausschließlich über Bereiche in der digitalen Umgebungskarte verläuft, die als befahrbar gekennzeichnet sind.
-
Falls die digitale Umgebungskarte als eine Heatmap ermittelt wurde, wird ein Pfad gesucht, der beispielsweise über Bereiche verläuft, die möglichst geringe Werte aufweisen.
-
In Szenarien, bei denen eine tatsächliche Zielposition, beispielsweise die aktuelle Position eines Nutzers des Fahrzeugs, entlang einem solchen Pfad nicht erreichbar ist, kann eine Trajektorie geplant werden, deren Zielposition beispielsweise möglichst nahe an der tatsächlichen Zielposition liegt, oder die an einer Position in der digitalen Umgebungskarte liegt, an der, möglicherweise durch eine Fehlerkennung, ein nicht befahrbarer Bereich ermittelt wurde oder, im Fall einer Heatmap, ein nicht befahrbarer Bereich mit einer relativ geringen Wahrscheinlichkeit vorhanden ist. Speziell in dem zweiten oder dritten Fall ist es dann möglich, dass das Fahrzeug auf Basis seiner eigenen Sensorik ermittelt, dass der in der digitalen Umgebungskarte als nicht befahrbar gekennzeichnete Bereich an dieser Position tatsächlich befahrbar ist, so dass von dieser Position aus die Trajektorie zu dem tatsächlichen Zielpunkt hin ermittelt werden kann.
-
Sobald die Trajektorie ermittelt wurde, wird das Fahrzeug veranlasst entlang der ermittelten Trajektorie zu fahren. Dies erfolgt durch eine Steuereinheit des Fahrzeugs.
-
Während des Fahrens entlang der Trajektorie orientiert sich das Fahrzeug oder die Steuereinheit beispielsweise auf Basis von Sensordaten, die von an dem Fahrzeug angeordneten Sensoren erfasst werden, wie Odometriedaten, Ortungsdaten, Ultraschall, Radar, Lidar oder Kameras. Damit ist insbesondere sichergestellt, dass eine Kollision des Fahrzeugs mit einem Hindernis, insbesondere mit einem beweglichen Objekt, ausgeschlossen ist.
-
Der Automatisierungsgrad des Fahrzeugs weist beispielsweise eine Automatisierungsstufe gemäß dem SAE-Klassifikationssystem auf. Das SAE-Klassifikationssystem wurde 2014 von SAE International, einer Standardisierungsorganisation für Kraftfahrzeuge, als J3016, „Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems“ veröffentlicht. Es basiert auf sechs verschiedenen Automatisierungsgraden und berücksichtigt das Maß des erforderlichen Eingreifens des Systems und der erforderlichen Aufmerksamkeit des Fahrers. Die SAE-Automatisierungsgrade reichen von Stufe 0, die einem vollständig manuellen System entspricht, über Fahrerassistenzsysteme in Stufe 1 bis 2 bis hin zu teil-autonomen (Stufe 3 und 4) und vollautonomen (Stufe 5) Systemen, bei der kein Fahrer mehr erforderlich ist. Ein autonomes Fahrzeug (auch als fahrerloses Auto, selbstfahrendes Auto und robotisches Auto bekannt) ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und ohne menschliche Eingabe zu navigieren und es entspricht dem SAE-Automatisierungsgrad 5. Die Steuereinheit weist insbesondere einen Automatisierungsgrad der Stufe 4 oder der Stufe 5 auf. Beispielsweise weist die Steuereinheit lediglich einen Automatisierungsgrad der Stufe 2 oder der Stufe 3 auf.
-
Die Steuereinheit ist insbesondere als ein Parkassistenzsystem des Fahrzeugs ausgebildet.
-
Gemäß einer Ausführungsform des Verfahrens umfasst der Schritt a) ein Empfangen eines Satellitenbildes der Umgebung, ein Empfangen eines Bildes der Umgebung von einer Infrastruktur-Kamera, und/oder ein Empfangen eines Bildes der Umgebung von einem Mobilgerät eines Nutzers des Fahrzeugs.
-
Das Satellitenbild wird insbesondere von einem Server über das Internet empfangen. Das Satellitenbild ist vorzugsweise ein möglichst aktuelles Satellitenbild, insbesondere zeigt das Satellitenbild die Umgebung in dem aktuellen baulichen Zustand. Das Satellitenbild hat den Vorteil, dass es eine große Fläche zeigen kann und damit auch für größere Abstände zwischen der aktuellen Position des Fahrzeugs und der Zielposition geeignet ist.
-
Eine Infrastruktur-Kamera kann beispielsweise eine Überwachungskamera oder eine Webcam sein, die einen Bereich der Umgebung erfasst. Das Bild oder auch ein Bilderstrom der Infrastruktur-Kamera kann von der Kamera direkt empfangen werden oder ebenfalls über einen Server über das Internet oder ein lokales Netzwerk empfangen werden.
-
Weiterhin kann der Nutzer des Fahrzeugs ein Bild mit einem Mobilgerät, insbesondere einem Mobiltelefon, erfassen und übermitteln. Dies kann in bestimmten Situationen hilfreich sein, beispielsweise wenn die Sicht auf einen Bereich in dem Satellitenbild durch Vegetation oder ein Gebäude verdeckt ist und/oder eine Bildqualität unzureichend ist, wie beispielsweise bei Bereichen, die im Schatten liegen und nicht ausreichend belichtet sind.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die Anzahl empfangener Bilder eine Anzahl Bilder mit einer Information aus einem UV-Spektralbereich, aus einem visuellen Spektralbereich, aus einem IR-Spektralbereich, aus einem Mikrowellen-Spektralbereich und/oder aus einem Radar-Spektralbereich.
-
Es kann vorgesehen sein, dass ein einzelnes Bild einen erweiterten Spektralbereich umfasst, also beispielsweise sowohl visuelle Daten als auch Radar-Daten umfasst. Alternativ werden mehrere Einzelbilder mit unterschiedlichen Spektralbereichen empfangen.
-
Unterschiedliche Spektralbereiche können unterschiedliche Informationen der Umgebung umfassen. Je mehr Informationen in der Anzahl von Bildern vorhanden sind, um so exakter kann die digitale Umgebungskarte ermittelt werden und um so zuverlässiger kann das Verfahren durchgeführt werden.
-
Gemäß einer weiteren Ausführungsform des Verfahrens wird der Schritt b) zumindest teilweise von einer zu dem Fahrzeug externen Einheit durchgeführt.
-
Insbesondere wird der Schritt b) ausschließlich von der externen Einheit durchgeführt. Die zu dem Fahrzeug externe Einheit ist insbesondere ein Server oder dergleichen, der über das Internet oder ein lokales Netzwerk zugänglich ist. Beispielsweise verbindet sich die Steuereinheit des Fahrzeugs über eine Mobilfunkverbindung mit dem Server und übermittelt die aktuelle Position des Fahrzeugs sowie die Zielposition.
-
Daraufhin kann der Server die Anzahl von Bildern empfangen und beispielsweise die digitale Umgebungskarte ermitteln. Die derart ermittelte digitale Umgebungskarte wird dann über das Mobilfunknetz an die Steuereinheit übertragen.
-
Diese Ausführungsform hat den Vorteil, dass eine Rechenleistung zum Ermitteln der digitalen Umgebungskarte nicht komplett von dem Fahrzeug, beispielsweise von der Steuereinheit, bereitgestellt werden muss, was die Komplexität des Fahrzeugs reduziert.
-
Wenn der Schritt b) teilweise von der externen Einheit durchgeführt wird, so umfasst dies beispielsweise ein Zusammenfügen mehrerer Bilder der Umgebung zu einem Bild, ein Transformieren von Bildern, ein Konvertieren von Bildern und dergleichen mehr.
-
Gemäß einer weiteren Ausführungsform des Verfahrens wird der Schritt b) zumindest teilweise von der Steuereinheit durchgeführt.
-
Dies umfasst beispielsweise, dass eine Teilmenge der Anzahl von Bildern an die Steuereinheit übertragen wird und die Steuereinheit die digitale Umgebungskarte ermittelt und/oder verfeinert. Insbesondere wenn der Nutzer des Fahrzeugs Bilder mit seinem Mobilgerät erfasst und überträgt, ist diese Ausführungsform vorteilhaft.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst dieses ein Empfangen einer Ortungsinformation des Fahrzeugs und einer Ziel-Ortsinformation, wobei der Schritt c) auf Basis der empfangenen Ortungsinformation und der Ziel-Ortsinformation ausgeführt wird.
-
Die Ortungsinformation des Fahrzeugs umfasst insbesondere eine GPS-Position oder dergleichen.
-
Die Ziel-Ortsinformation ist insbesondere indikativ für die Zielposition, das heißt, die Zielposition lässt sich auf Basis der Ziel-Ortsinformation ermitteln. Die Ziel-Ortsinformation kann eine aktuelle Position des Nutzers des Fahrzeugs und/oder einen vorbestimmten Abholbereich umfassen. Die aktuelle Position des Nutzers kann als eine Ortungsinformation, wie einer GPS-Position bereitgestellt werden. Die aktuelle Position des Nutzers kann aber auch relativ zu der aktuellen Position des Fahrzeugs bestimmt sein. Beispielsweise wird die Position des Nutzers basierend auf Sensorsignalen, insbesondere von Beschleunigungssensoren, mitverfolgt. Die Sensorsignale werden beispielsweise von einem von dem Nutzer mitgeführten Mobilgerät, wie einem Mobiltelefon oder einem Fahrzeugschlüssel, erfasst. Dies ist besonders vorteilhaft, wenn eine Ortungsinformation nicht zur Verfügung steht, wie in Innenräumen. Der Abholbereich kann beispielsweise ein vorbestimmter Bereich bei einem Ausgang eines Gebäudes oder dergleichen sein.
-
Gemäß einer weiteren Ausführungsform des Verfahrens wird der Schritt c) zumindest teilweise von einer zu dem Fahrzeug externen Einheit durchgeführt.
-
Insbesondere wird der Schritt c) ausschließlich von der externen Einheit durchgeführt.
-
Die zu dem Fahrzeug externe Einheit ist insbesondere ein Server oder dergleichen, der über das Internet oder ein lokales Netzwerk zugänglich ist. Beispielsweise verbindet sich die Steuereinheit des Fahrzeugs über eine Mobilfunkverbindung mit dem Server.
-
Es kann vorgesehen sein, dass beispielsweise die Steuereinheit des Fahrzeugs die digitale Umgebungskarte ermittelt und diese dann an den Server zum Ermitteln der Trajektorie übermittelt. Vorzugsweise ermittelt der Server sowohl die digitale Umgebungskarte als auch die Trajektorie und überträgt beide anschließend an die Steuereinheit.
-
Diese Ausführungsform hat den Vorteil, dass eine Rechenleistung zum Ermitteln der Trajektorie nicht komplett von dem Fahrzeug, beispielsweise von der Steuereinheit, bereitgestellt werden muss, was die Komplexität des Fahrzeugs reduziert.
-
Gemäß einer weiteren Ausführungsform des Verfahrens wird der Schritt c) zumindest teilweise von der Steuereinheit durchgeführt.
-
Gemäß einer weiteren Ausführungsform des Verfahrens wird die digitale Umgebungskarte als eine Heatmap ermittelt.
-
Die Heatmap ist insbesondere eine diskrete Darstellung der digitalen Umgebungskarte, wobei jeder diskreten Position in der Heatmap eine Wahrscheinlichkeit dafür zugeordnet ist, ob die jeweilige Position frei und befahrbar ist oder blockiert und nicht befahrbar ist.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst dieses:
- Empfangen eines für die Umgebung des Fahrzeugs indikativen Umgebungssensorsignals von einem an dem Fahrzeug angeordneten Umgebungssensor,
- Ermitteln eines Merkmals in der Umgebung des Fahrzeugs in Abhängigkeit des empfangenen Umgebungssensorsignals, und
- Ergänzen der ermittelten digitalen Umgebungskarte unter Verwendung des ermittelten Merkmals.
-
Diese Ausführungsform weist den Vorteil auf, dass die digitale Umgebungskarte fortlaufend aktualisiert und verfeinert werden kann.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst dieses:
- Empfangen eines für die Umgebung des Fahrzeugs indikativen Umgebungssensorsignals von einem an dem Fahrzeug angeordneten Umgebungssensor während des Fahrens entlang der ermittelten Trajektorie,
- Ermitteln eines Objekts in der Umgebung des Fahrzeugs in Abhängigkeit des empfangenen Umgebungssensorsignals, und
- Anpassen der ermittelten Trajektorie, so dass eine Kollision mit dem ermittelten Objekt vermieden wird.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst dieses ein Plausibilisieren der ermittelten digitalen Umgebungskarte in Abhängigkeit von vorbestimmten Plausibilisierungstests.
-
Die vorbestimmten Plausibilisierungstests umfassen beispielsweise empirisch ermittelte Tests. Zum Beispiel ist es erfahrungsgemäß nicht plausibel, dass eine sehr große Fläche im Wesentlichen frei von Hindernissen ist. Wenn die Anzahl von Bildern dies suggeriert, dann kann das beispielsweise darauf hindeuten, dass die Bilder der Umgebung zu einem ungeeigneten Zeitpunkt erfasst wurden, beispielsweise zeigen diese einen Parkplatz an einem Feiertag.
-
Wenn die Plausibilisierung fehlschlägt, kann das Verfahren abgebrochen werden und/oder es werden weitere Bilder der Umgebung ermittelt, die zu anderen Zeitpunkten aufgenommen wurden als die der ermittelten digitalen Umgebungskarte zugrundeliegenden, und/oder die von einer anderen Quelle stammen.
-
Alternativ kann die Anzahl von Bildern zusätzlich auf Fahrbahnmarkierrungen hin analysiert werden, die sich möglicherweise zum Ermitteln eines Pfades verwenden lassen.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst dieses ein Speichern der ermittelten Trajektorie und/oder der digitalen Umgebungskarte, wenn das Fahren entlang der ermittelten Trajektorie erfolgreich durchgeführt ist.
-
Dies kann vorteilhaft sein, da dann zu einem späteren Zeitpunkt, wenn der Nutzer den gleichen Parkplatz aufsucht, die durch das erfolgreiche Durchführen bestätigte digitale Umgebungskarte und/oder Trajektorie direkt zur Verfügung steht. Dies kann das Verfahren in solchen Fällen deutlich beschleunigen.
-
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß dem ersten Aspekt auszuführen.
-
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
-
Gemäß einem dritten Aspekt wird ein System vorgeschlagen, mit:
- einer Empfangseinheit zum Empfangen einer Anzahl von Bildern einer Umgebung des Fahrzeugs, wobei ein jeweiliges Bild eine Sicht von oben der Umgebung umfasst,
- einer ersten Ermittlungseinheit zum Ermitteln einer digitalen Umgebungskarte auf Basis der Anzahl empfangener Bilder,
- einer zweiten Ermittlungseinheit zum Ermitteln einer Trajektorie von einer aktuellen Position des Fahrzeugs zu einer Zielposition auf Basis der ermittelten digitalen Umgebungskarte, und
- einer Steuereinheit zum Veranlassen des Fahrens entlang der ermittelten Trajektorie.
-
Die für das vorgeschlagene Verfahren beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene System entsprechend. Alle zum vorgeschlagenen Verfahren gemäß dem ersten Aspekt beschriebenen Vorteile und Definitionen gelten für das vorgeschlagene System entsprechend.
-
Das System umfasst beispielsweise einen oder mehrere Server und/oder ein Mobilgerät des Nutzers, die die Funktionen zumindest einer der Einheiten des Systems ausführen können. Insbesondere kann das System eine jeweilige Einheit mehrfach umfassen und/oder die Funktion einer jeweiligen Einheit kann auf mehrere separate Einheiten des Systems verteilt sein. Das heißt, das System kann Einheiten umfassen, die an unterschiedlichen Orten angeordnet sind und die über eine Kommunikationsverbindung, insbesondere eine Mobilfunkverbindung, miteinander kommunizieren können.
-
Vorzugsweise umfasst der Server oder die mehreren Server die Empfangseinheit und die erste und zweite Ermittlungseinheit. Insbesondere kann das Fahrzeug in diesem Fall nur die Steuereinheit aufweisen, die zum Veranlassen des Fahrens entlang der Trajektorie eingerichtet ist. Damit ist die Komplexität des Fahrzeugs reduziert.
-
Die jeweilige Einheit kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem Motorsteuergerät (ECU: Engine Control Unit), ausgebildet sein.
-
Gemäß einer Ausführungsform des Systems ist das System als ein Parkassistenzsystem für das Fahrzeug ausgebildet.
-
Das heißt insbesondere, dass das Parkassistenzsystem alle Einheiten des Systems integriert.
-
Gemäß einem vierten Aspekt wird ein Fahrzeug mit einer Verarbeitungseinheit vorgeschlagen. Die Verarbeitungseinheit ist dazu eingerichtet, als die Steuereinheit in einem System gemäß dem dritten Aspekt betrieben zu werden.
-
Das Fahrzeug ist beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen.
-
In Ausführungsformen umfasst das Fahrzeug vorzugsweise eine Anzahl an Sensoreinheiten, die zum Erfassen des Fahrzustands des Fahrzeugs und zum Erfassen einer Umgebung des Fahrzeugs eingerichtet sind. Beispiele für derartige Sensoreinheiten des Fahrzeugs sind Bildaufnahmeeinrichtungen, wie eine Kamera, ein Radar (engl. radio detection and ranging) oder auch ein Lidar (engl. light detection and ranging), Ultraschallsensoren, Ortungssensoren, Radwinkelsensoren und/oder Raddrehzahlsensoren. Die Sensoreinheiten sind jeweils zum Ausgeben eines Sensorsignals eingerichtet, beispielsweise an die Verarbeitungseinheit, die das Fahren entlang der Trajektorie veranlasst.
-
Gemäß einem fünften Aspekt wird ein Fahrzeug vorgeschlagen. Das Fahrzeug umfasst:
- eine Empfangseinheit zum Empfangen einer Anzahl von Bildern einer Umgebung des Fahrzeugs, wobei ein jeweiliges Bild eine Sicht von oben der Umgebung umfasst,
- eine erste Ermittlungseinheit zum Ermitteln einer digitalen Umgebungskarte auf Basis der Anzahl empfangener Bilder,
- eine zweite Ermittlungseinheit zum Ermitteln einer Trajektorie von einer aktuellen Position des Fahrzeugs zu einer Zielposition auf Basis der ermittelten digitalen Umgebungskarte, und
- eine Steuereinheit zum Veranlassen des Fahrens entlang der ermittelten Trajektorie.
-
Das Fahrzeug ist beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen.
-
In Ausführungsformen umfasst das Fahrzeug vorzugsweise eine Anzahl an Sensoreinheiten, die zum Erfassen des Fahrzustands des Fahrzeugs und zum Erfassen einer Umgebung des Fahrzeugs eingerichtet sind. Beispiele für derartige Sensoreinheiten des Fahrzeugs sind Bildaufnahmeeinrichtungen, wie eine Kamera, ein Radar (engl. radio detection and ranging) oder auch ein Lidar (engl. light detection and ranging), Ultraschallsensoren, Ortungssensoren, Radwinkelsensoren und/oder Raddrehzahlsensoren. Die Sensoreinheiten sind jeweils zum Ausgeben eines Sensorsignals eingerichtet, beispielsweise an die Verarbeitungseinheit, die das Fahren entlang der Trajektorie veranlasst.
-
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
-
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
- 1 zeigt eine schematische Ansicht eines Fahrzeugs;
- 2 zeigt ein Beispiel eines Bildes einer Umgebung des Fahrzeugs;
- 3 zeigt ein Beispiel des Bildes der Umgebung nach einer Verarbeitung;
- 4 zeigt ein Beispiel einer ermittelten digitalen Umgebungskarte mit einer ermittelten Trajektorie;
- 5 zeigt eine schematische Ansicht eines Fahrzeugs auf einem Parkplatz;
- 6 zeigt ein schematisches Blockschaltbild eines Systems; und
- 7 zeigt ein schematisches Blockschaltbild eines Verfahrens zum Betreiben eines Fahrzeugs.
-
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
-
1 zeigt eine schematische Ansicht eines Fahrzeugs 100 aus einer Vogelperspektive. Das Fahrzeug 100 ist beispielsweise ein Auto, das in einer Umgebung 200 angeordnet ist. Das Auto 100 weist eine Verarbeitungseinheit 110 auf, die insbesondere die Funktion der Steuereinheit in dem anhand der 6 beschriebenen System und dem anhand der 7 beschriebenen Verfahren aufweist. Zudem sind an dem Auto 100 eine Mehrzahl an Umgebungssensoreinrichtungen 120, 130 angeordnet, wobei es sich beispielhaft um optische Sensoren 120 und Ultraschallsensoren 130 handelt. Die optischen Sensoren 120 umfassen beispielsweise visuelle Kameras, ein Radar und/oder ein Lidar. Die optischen Sensoren 120 können jeweils ein Bild eines jeweiligen Bereichs aus der Umgebung 200 des Autos 100 erfassen und als optisches Sensorsignal ausgeben. Die Ultraschallsensoren 130 sind zum Erfassen eines Abstands zu in der Umgebung 200 angeordneten Objekten und zum Ausgeben eines entsprechenden Sensorsignals eingerichtet. Mittels der von den Sensoren 120, 130 erfassten Sensorsignalen kann die Verarbeitungseinheit 110 in der Lage sein, das Auto 100 teilautonom oder auch vollautonom zu fahren. Außer den in der 1 dargestellten optischen Sensoren 120 und Ultraschallsensoren 130 kann vorgesehen sein, dass das Fahrzeug 100 verschiedene weitere Sensoreinrichtungen 120, 130 aufweist. Beispiele hierfür sind ein Mikrofon, ein Beschleunigungssensor, ein Raddrehzahlsensor, ein Lenkwinkelsensor, eine Antenne mit gekoppeltem Empfänger zum Empfangen von elektromagnetisch übertragbarer Datensignale, und dergleichen mehr.
-
2 zeigt ein Beispiel eines Bildes IMG1 einer Umgebung 200 eines Fahrzeugs 100, beispielsweise des in der 1 gezeigten Fahrzeugs. Das Fahrzeug 100, das auf dem Bild IMG1 selbst nicht sichtbar ist, da das Bild IMG1 beispielsweise kein Live-Bild ist, ist an einer aktuellen Position AP auf einem Parkplatz abgestellt. Ein Nutzer 105 des Fahrzeugs 100 befindet sich an einer Zielposition ZP neben dem Parkplatz.
-
Es handelt sich bei dem Bild IMG1 beispielsweise um ein unverarbeitetes Satellitenbild der Umgebung 200 des Fahrzeugs 100. Das Satellitenbild eignet sich, um befahrbare Flächen von nicht befahrbaren Flächen zu unterscheiden. Hierzu wird beispielsweise eine Bildverarbeitung durchgeführt, die Bildtransformationen wie eine Kantenerkennung, eine Kontrastfunktion, eine Sättigungsfunktion, eine Schärfungsfunktion und dergleichen mehr umfassen kann.
-
In Ausführungsformen kann die Bildverarbeitung zumindest teilweise von einer künstlichen Intelligenz, wie einem trainierten neuronalen Netzwerk, durchgeführt werden. Neuronale Netzwerke können insbesondere darauf trainiert werden, eine Objekterkennung und/oder eine Objektklassifikation auf Bildern durchzuführen.
-
3 zeigt ein Beispiel des verarbeiteten Bildes IMG1* der Umgebung 200. Das verarbeitete Bild IMG1* weist in diesem Beispiel nur noch zwei Bereiche auf: weiß entspricht einem befahrbaren Bereich und schwarz entspricht einem nicht befahrbaren Bereich. Auf Basis des verarbeiteten Bildes IMG1* kann die digitale Umgebungskarte MAP ermittelt werden. Ein Beispiel hierfür ist in der 4 dargestellt.
-
4 zeigt ein Beispiel einer ermittelten digitalen Umgebungskarte MAP mit einer ermittelten Trajektorie TR, die die aktuelle Position AP mit der Zielposition ZP verbindet. Die digitale Umgebungskarte MAP wurde insbesondere auf Basis des verarbeiteten Bildes IMG1 * der 3 ermittelt. Hierbei können auch noch weitere Informationen, wie beispielsweise aktuelle Sensorsignale einer Sensoreinheit des Fahrzeugs 100 (siehe 1) oder dergleichen berücksichtigt werden.
-
Die digitale Umgebungskarte MAP weist insbesondere ein Raster auf, wobei ein Rasterfeld etwa einer Größe von 100 cm x 100 cm in der Realität entspricht. Die Rasterfelder sind in diesem Beispiel mit dunklen Kreisen und mit hellen Kreisen gekennzeichnet. Die mit hellen Kreisen gekennzeichnete Fläche ist befahrbar, die mit dunklen Kreisen gekennzeichnete Fläche ist nicht befahrbar.
-
Zum Ermitteln der Trajektorie TR ist auf Basis der digitalen Umgebungskarte MAP ein Weg von der Anfangsposition AP zu der Zielposition ZP zu finden, der ausschließlich durch die befahrbare Fläche läuft. Die dargestellte Trajektorie TR erfüllt diese Bedingung ist daher geeignet, um das Fahrzeug 100 von dem Anfangspunkt AP zu dem Zielpunkt ZP zu führen.
-
5 zeigt eine schematische Ansicht eines Fahrzeugs 100, das auf einem Parkplatz neben weiteren Fahrzeugen 210 geparkt ist. Es handelt sich beispielsweise um das Fahrzeug 100 der 1. Das Fahrzeug 100 weist eine Verarbeitungseinheit 110 auf, die unter anderem dazu eingerichtet ist, eine Kommunikationsverbindung zu unterschiedlichen externen Geräten 310, IC, MD aufzubauen, wie nachfolgend erläutert. Die Verarbeitungseinheit 110 implementiert insbesondere die Funktion der Steuereinheit 308 (siehe 6) in einem System 300, das heißt, als die Steuereinheit 308 in einem Verfahren gemäß 7, betrieben zu werden. Das System 300 umfasst in diesem Beispiel insbesondere die Verarbeitungseinheit 110 und eine externe Einheit 310.
-
Beispielsweise kann die Verarbeitungseinheit 110 eine Kommunikationsverbindung zu einem Mobilgerät MD eines Nutzers 105 des Fahrzeugs 100 herstellen. Über die Kommunikationsverbindung kann die Verarbeitungseinheit 110 insbesondere ein Bild IMG3 der Umgebung 200 des Fahrzeugs 100, das der Nutzer 105 beispielsweise mit einer in dem Mobilgerät MD integrierten Kamera erfasst hat (durch die gestrichelten Linien angedeutet), sowie eine Zielposition ZP (siehe 2 - 4) empfangen. Die Kommunikationsverbindung mit dem Mobilgerät MD kann eine Direktverbindung (Punkt-zu-Punkt) sein, oder sie kann über ein Mobilfunknetzwerk und/oder das Internet, beispielsweise über die als ein Server ausgebildete externe Einheit 310, hergestellt werden. Hierbei stellt beispielsweise die Verarbeitungseinheit 110 stellt eine erste Kommunikationsverbindung mit dem Server 310 her und der Server stellt eine zweite Kommunikationsverbindung mit dem Mobilgerät MD her.
-
Weiterhin kann die Verarbeitungseinheit 110 eine Kommunikationsverbindung zu einer Infrastruktur-Kamera IC herstellen. Die Infrastruktur-Kamera IC ist beispielsweise eine Überwachungskamera, die ein Kamerabild IMG2 des Parkplatzes erfasst (durch die gestrichelten Linien angedeutet) und bereitstellt. Das Kamerabild IMG2 kann insbesondere ein Live-Bild sein, das den aktuellen Zustand des Parkplatzes zeigt. Die Kommunikationsverbindung mit der Infrastruktur-Kamera IC kann eine Direktverbindung (Punkt-zu-Punkt) sein, oder sie kann über ein Mobilfunknetzwerk und/oder das Internet, beispielsweise über den Server 310, hergestellt werden.
-
Weiterhin ist schematisch ein Satellit SAT dargestellt, der zum Erfassen und Bereitstellen eines Satellitenbildes IMG1 der Umgebung 200 des Fahrzeugs 100 eingerichtet ist. In diesem Beispiel überträgt der Satellit SAT das erfasste Bild IMG1 an den Server 310, der dieses speichert und auf Abruf bereitstellt.
-
Der Server 310 kann insbesondere eine Empfangseinheit 302 (siehe 6) zum Empfangen einer Anzahl von Bildern IMG1 - IMG3 umfassen. Der Server 310 kann weiterhin eine erste Ermittlungseinheit 304 (siehe 6) zum Ermitteln einer digitalen Umgebungskarte MAP (siehe 4 oder 6) umfassen. Der Server 310 kann zudem eine zweite Ermittlungseinheit 306 (siehe 6) zum Ermitteln einer Trajektorie TR (siehe 4 oder 6) umfassen. Der Server ist weiter dazu eingerichtet, die Anzahl von Bildern IMG1 - IMG3, die digitale Umgebungskarte MAP sowie die Trajektorie TR als Daten DATA an die Verarbeitungseinheit 110 zu übertragen.
-
6 zeigt ein schematisches Blockschaltbild eines Systems 300, das vorliegend eine Empfangseinheit 302, eine erste Ermittlungseinheit 304, einer zweite Ermittlungseinheit 306 und eine Steuereinheit 308 umfasst. Die verschiedenen Einheiten 302 - 308 des Systems 300 können insbesondere verteilt angeordnet sein, das heißt, sie können in verschiedenen und räumlich voneinander getrennten Geräten implementiert sein und/oder ausgeführt werden. Zudem können die verschiedenen Einheiten 302 - 308 in dem System 300 mehrfach vorhanden sein. Wenn die Einheiten 302 - 308 in unterschiedlichen Geräten integriert sind, dann sind die Geräte insbesondere zum Aufbauen einer Kommunikationsverbindung miteinander eingerichtet, so dass die verschiedenen Einheiten 302 - 308 Daten untereinander austauschen können. Ein Beispiel eines verteilt angeordneten Systems 300 ist in der 5 anhand der externen Einheit 310 und der Verarbeitungseinheit 110 (siehe 1 oder 5) des Fahrzeugs 100 (siehe 1 oder 5) gegeben.
-
Die Empfangseinheit 302 ist zum Empfangen einer Anzahl von Bildern IMG1 - IMG3 einer Umgebung 200 (siehe 1 oder 5) des Fahrzeugs 100 (siehe 1 oder 5) eingerichtet, wobei ein jeweiliges Bild IMG1 - IMG3 eine Sicht von oben der Umgebung 200 umfasst. Die erste Ermittlungseinheit 304 ist zum Ermitteln einer digitalen Umgebungskarte MAP auf Basis der Anzahl empfangener Bilder IMG1 - IMG3 eingerichtet. Die zweite Ermittlungseinheit 306 ist zum Ermitteln einer Trajektorie TR von einer aktuellen Position AP (siehe 2 - 4) des Fahrzeugs 100 zu einer Zielposition ZP (siehe 2 - 4) auf Basis der ermittelten digitalen Umgebungskarte MAP eingerichtet. Die Steuereinheit 308 ist dazu eingerichtet, das Fahrzeug 100 zum Fahren entlang der ermittelten Trajektorie TR zu veranlassen.
-
7 zeigt ein schematisches Blockschaltbild eines Verfahrens zum Betreiben eines Fahrzeugs 100, beispielsweise des Fahrzeugs 100 der 1. In einem ersten Schritt S1 wird einer Anzahl von Bildern IMG1 - IMG3 (siehe 5 oder 6) einer Umgebung 200 (siehe 1 oder 5) des Fahrzeugs 100 empfangen, wobei ein jeweiliges Bild IMG1 - IMG3 eine Sicht von oben der Umgebung 200 umfasst. In einem zweiten Schritt S2 wird eine digitale Umgebungskarte MAP (siehe 4 oder 6) auf Basis der Anzahl empfangener Bilder IMG1 - IMG3 ermittelt. In einem dritten Schritt S3 wird eine Trajektorie TR (siehe 4 oder 6) von einer aktuellen Position AP (siehe 2 - 4) des Fahrzeugs 100 zu einer Zielposition ZP (siehe 2 - 4) auf Basis der ermittelten digitalen Umgebungskarte MAP ermittelt. In einem vierten Schritt S4 wird das Fahrzeug 100 durch eine Steuereinheit 308 (siehe 6) des Fahrzeugs 100 dazu veranlasst, entlang der ermittelten Trajektorie TR zu fahren.
-
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
-
Bezugszeichenliste
-
- 100
- Fahrzeug
- 105
- Nutzer
- 110
- Verarbeitungseinheit
- 200
- Umgebung
- 210
- Fahrzeug
- 300
- System
- 310
- externe Einheit
- AP
- aktuelle Position
- DATA
- Daten
- IC
- Infrastruktur-Kamera
- IMG1
- Bild
- IMG1*
- verarbeitetes Bild
- IMG2
- Bild
- IMG3
- Bild
- MAP
- digitale Umgebungskarte
- MD
- Mobilgerät
- SAT
- Satellit
- TR
- Trajektorie
- ZP
- Zielposition