DE102020111250A1

DE102020111250A1 - Grafische benutzerschnittstelle zur anzeige des verhaltens autonomer fahrzeuge

Info

Publication number: DE102020111250A1
Application number: DE102020111250.5A
Authority: DE
Inventors: Ayman Alalao
Original assignee: Aptiv Technologies Ltd
Current assignee: Motional AD LLC
Priority date: 2019-04-25
Filing date: 2020-04-24
Publication date: 2020-10-29
Also published as: KR20220072816A; KR20200125910A; GB2607172B; GB2607172A; GB202204193D0; US11884155B2; KR102402293B1; US20220410710A1; GB202006064D0; KR102569789B1; GB2588983B; GB2588983A

Abstract

Es werden Techniken zur Erstellung und Darstellung einer grafischen Benutzerschnittstelle zum Anzeigen des Verhaltens autonomer Fahrzeuge offenbart. Die Techniken umfassen das Bestimmen einer Bewegungsbahn eines in einer realen Umgebung betriebenen Fahrzeugs. Sensoren des Fahrzeugs erhalten Sensordaten, die ein Objekt in der realen Umgebung darstellen. Ein Fahrmanöver des Fahrzeugs, um eine Kollision mit dem Objekt zu vermeiden, wird basierend auf den Sensordaten und der Bewegungsbahn des Fahrzeugs vorhergesagt. Es wird bestimmt, dass ein Insassenkomfortniveau eines Insassen im Fahrzeug basierend auf dem Fahrmanöver des Fahrzeugs abnehmen wird. Das Insassenkomfortniveau wird durch Insassensensoren des Fahrzeugs gemessen. Eine grafische Benutzerschnittstelle wird erzeugt, die Darstellungen des Fahrzeugs, des Objekts und eine Grafik, einen Text oder ein Symbol umfasst, die den Insassen vor dem vorhergesagten Fahrmanöver warnen. Die grafische Benutzerschnittstelle wird an eine Anzeigevorrichtung des Fahrzeugs übertragen.

Description

QUERVERWEISE AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung beansprucht die Priorität der am 22. April 2020 eingereichten US-Patentanmeldung Nr. 16/855.954 mit dem Titel „Graphical User Interface for Display of Autonomous Vehicle Behaviors“ und der am 25. April 2019 eingereichten vorläufigen US-Patentanmeldung Nr. 62/838.359 mit dem Titel „Graphical User Interface for Display of Autonomous Vehicle Behaviors“, deren gesamter Inhalt hier durch Verweis aufgenommen wird.
Die vorliegende Anmeldung bezieht sich auf jede der folgenden US-Patentanmeldungen und schließt sie durch Verweis in ihrer Gesamtheit ein: US-Patentanmeldung Nr. 16/656.655 mit dem Titel „Systems and Methods for Controlling Actuators Based on Load Characteristics and Passenger Comfort“, eingereicht am 18. Oktober 2019, die die Priorität der vorläufigen US- Patentanmeldung Nr. 62/752.277 mit dem Titel „Systems and Methods for Controlling Actuators Based on Load Characteristics and Passenger Comfort“, eingereicht am 29. Oktober 2018, und der vorläufigen US-Patentanmeldung Nr. 62/806.403 mit dem Titel „Systems and Methods for Measuring and Increasing Passenger Comfort“, eingereicht am 15. Februar 2019, beansprucht.
TECHNISCHES GEBIET
Diese Beschreibung bezieht sich allgemein auf grafische Benutzerschnittstellen für Automobilanwendungen.
STAND DER TECHNIK
Autonome Fahrzeuge versprechen, Verkehrsstaus und Unfälle zu reduzieren, Behinderten den Zugang zu ermöglichen und den Kohlenstoffausstoß zu verringern. Die weit verbreitete Akzeptanz von autonomen Fahrzeugen in der Öffentlichkeit könnte jedoch durch ein geringes Vertrauen der Öffentlichkeit in die Sicherheit von autonomen Fahrzeugen gebremst werden.
KURZDARSTELLUNG
Es werden Techniken zur Erstellung und Darstellung einer grafischen Benutzerschnittstelle zum Anzeigen des Verhaltens autonomer Fahrzeuge vorgestellt. Die Techniken umfassen die Verwendung eines oder mehrerer Prozessoren eines Fahrzeugs, die in einer realen Umgebung betrieben werden, um eine Bewegungsbahn des Fahrzeugs in der realen Umgebung zu bestimmen. Ein oder mehrere Sensoren des Fahrzeugs werden verwendet, um Sensordaten zu erhalten, die ein Objekt in der realen Umgebung darstellen. Der eine oder die mehreren Prozessoren werden verwendet, um basierend auf den Sensordaten und der Bewegungsbahn des Fahrzeugs ein Fahrmanöver des Fahrzeugs zur Vermeidung einer Kollision mit dem Objekt vorherzusagen. Der eine oder die mehreren Prozessoren werden verwendet, um zu bestimmen, ob das Insassenkomfortniveau eines Insassen im Fahrzeug aufgrund des Fahrmanövers des Fahrzeugs abnimmt. Das Insassenkomfortniveau wird durch einen oder mehrere Insassensensoren des Fahrzeugs gemessen. Der eine oder die mehreren Prozessoren werden dazu verwendet, eine grafische Benutzerschnittstelle mit Darstellungen des Fahrzeugs, des Objekts und einer Grafik, einem Text oder einem Symbol zu erzeugen, die den Insassen vor dem vorhergesagten Fahrmanöver warnen. Die grafische Benutzerschnittstelle wird an eine Anzeigevorrichtung des Fahrzeugs übertragen.
In einigen Ausführungsformen werden ein oder mehrere Prozessoren eines Fahrzeugs, das in einer realen Umgebung betrieben wird, dazu verwendet, ein Objekt basierend auf den aus einem oder mehreren Sensoren des Fahrzeugs empfangenen Sensordaten zu identifizieren. Der eine oder die mehreren Prozessoren werden dazu verwendet, eine grafische Benutzerschnittstelle mit Darstellungen des Fahrzeugs und des Objekts zu erzeugen. Der eine oder die mehreren Prozessoren werden dazu verwendet, zu bestimmen, ob die Wahrscheinlichkeit einer Kollision des Fahrzeugs mit dem Objekt größer als ein Schwellenwert ist. Der eine oder die mehreren Prozessoren werden dazu verwendet, eine Betriebseinschränkung für das Fahrzeug zu bestimmen, um eine Kollision des Fahrzeugs mit dem Objekt zu vermeiden. Der eine oder die mehreren Prozessoren werden dazu verwendet, die grafische Benutzerschnittstelle zu aktualisieren, um die Betriebseinschränkung anzuzeigen. Die aktualisierte grafische Benutzerschnittstelle wird an eine Anzeigevorrichtung des Fahrzeugs übertragen.
In einigen Ausführungsformen wird zu einem ersten Zeitpunkt eine grafische Benutzerschnittstelle erzeugt. Die grafische Benutzerschnittstelle weist geometrische Modelle eines Fahrzeugs und eines Objekts auf, das sich in einem ersten Abstand vom Fahrzeug befindet. Zu einem zweiten Zeitpunkt wird bestimmt, ob sich das Objekt in einem zweiten Abstand vom Fahrzeug befindet. Der zweite Zeitpunkt liegt nach dem ersten Zeitpunkt und der zweite Abstand ist kleiner als der erste Abstand. Ein oder mehrere Prozessoren des Fahrzeugs werden dazu verwendet, ein Fahrzeugmanöver für das Fahrzeug zu bestimmen, um eine Kollision mit dem Objekt zu vermeiden. Der eine oder die mehreren Prozessoren werden dazu verwendet, die grafische Benutzerschnittstelle so zu aktualisieren, dass die aktualisierte grafische Benutzerschnittstelle eine dem Fahrzeugmanöver entsprechende Bewegungsbahn des Fahrzeugs anzeigt. Die aktualisierte grafische Benutzerschnittstelle mitsamt der Bewegungsbahn des Fahrzeugs wird an eine Anzeigevorrichtung des Fahrzeugs übertragen.
In einigen Ausführungsformen wird eine grafische Benutzerschnittstelle auf einer Anzeigevorrichtung eines Fahrzeugs angezeigt, das in einer realen Umgebung betrieben wird. Die grafische Benutzerschnittstelle weist Darstellungen des Fahrzeugs und der realen Umgebung auf. Ein oder mehrere Prozessoren des Fahrzeugs werden dazu verwendet, zu bestimmen, ob das Fahrzeug zu einem ersten Zeitpunkt einen Bremsvorgang durchführen wird. Als Reaktion auf das Bestimmen, dass das Fahrzeug den Bremsvorgang zu einem ersten Zeitpunkt durchführt, werden ein oder mehrere Insassensensoren des Fahrzeugs dazu verwendet, zu bestimmen, ob sich ein oder mehrere Insassen im Fahrzeug befinden. Als Reaktion auf das Bestimmen, dass sich ein oder mehrere Insassen im Fahrzeug befinden, wird zu einem zweiten Zeitpunkt vor dem ersten Zeitpunkt eine Audioausgabe über einen Smart Speaker übertragen. Die Audioausgabe informiert den einen oder die mehreren Insassen darüber, dass das Fahrzeug den Bremsvorgang zu dem ersten Zeitpunkt durchführen wird. Eine Aktualisierung der grafischen Benutzerschnittstelle wird auf der Anzeigevorrichtung angezeigt. Die Aktualisierung enthält eine Darstellung einer Zeitdifferenz zwischen dem zweiten Zeitpunkt und dem ersten Zeitpunkt.
Diese und andere Aspekte, Merkmale und Implementierungen können als Verfahren, Vorrichtungen, Systeme, Komponenten, Programmprodukte, Einrichtungen oder Schritte zum Ausführen einer Funktion und auf andere Weise ausgedrückt werden.
Diese und andere Aspekte, Merkmale und Implementierungen werden aus den folgenden Beschreibungen einschließlich der Ansprüche ersichtlich.
Figurenliste

1 zeigt ein Beispiel für ein autonomes Fahrzeug (AF) mit autonomer Fähigkeit gemäß einer oder mehreren Ausführungsformen.
2 veranschaulicht ein Beispiel für eine „Cloud“-Computing-Umgebung gemäß einer oder mehreren Ausführungsformen.
3 veranschaulicht ein Computersystem gemäß einer oder mehreren Ausführungsformen.
4 zeigt ein Beispiel für die Architektur eines AF gemäß einer oder mehreren Ausführungsformen.
5 zeigt ein Beispiel für Eingaben und Ausgaben, die durch ein Wahrnehmungsmodul gemäß einer oder mehreren Ausführungsformen verwendet werden können.
6 zeigt ein Beispiel für ein LiDAR-System gemäß einer oder mehreren Ausführungsformen.
7 zeigt das LiDAR-System im Betrieb gemäß einer oder mehreren Ausführungsformen.
8 zeigt die Funktionsweise des LiDAR-Systems in zusätzlicher Detaillierung gemäß einer oder mehreren Ausführungsformen.
9 zeigt ein Blockdiagramm der Zusammenhänge zwischen Eingaben und Ausgaben eines Planungsmoduls gemäß einer oder mehreren Ausführungsformen.
10 zeigt einen gerichteten Graphen, der bei der Bahnplanung gemäß einer oder mehreren Ausführungsformen verwendet wird.
11 zeigt ein Blockdiagramm der Ein- und Ausgänge eines Steuermoduls gemäß einer oder mehreren Ausführungsformen.
12 zeigt ein Blockdiagramm der Eingänge, Ausgänge und Komponenten einer Steuervorrichtung gemäß einer oder mehreren Ausführungsformen.
13 ist ein Blockdiagramm einer AF-Betriebsumgebung gemäß einer oder mehreren Ausführungsformen.
14 veranschaulicht eine Anzeigevorrichtung zum Anzeigen des Verhaltens autonomer Fahrzeuge auf einer grafischen Benutzerschnittstelle gemäß einer oder mehreren Ausführungsformen.
15 veranschaulicht eine mobile Anzeigevorrichtung zum Anzeigen des Verhaltens autonomer Fahrzeuge auf einer grafischen Benutzerschnittstelle gemäß einer oder mehreren Ausführungsformen.
16 veranschaulicht eine grafische Benutzerschnittstelle zum Anzeigen des Verhaltens autonomer Fahrzeuge gemäß einer oder mehreren Ausführungsformen.
17 veranschaulicht geometrische Modelle zum Anzeigen des Verhaltens autonomer Fahrzeuge gemäß einer oder mehreren Ausführungsformen.
18 veranschaulicht eine grafischen Benutzerschnittstelle zum Anzeigen des Verhaltens autonomer Fahrzeuge gemäß einer oder mehreren Ausführungsformen.
19 veranschaulicht eine grafische Benutzerschnittstelle zum Warnen eines Insassen vor einem Bremsvorgang gemäß einer oder mehreren Ausführungsformen.
20 veranschaulicht eine grafischen Benutzerschnittstelle zum Anzeigen des Verhaltens autonomer Fahrzeuge gemäß einer oder mehreren Ausführungsformen.
Die 21-24 veranschaulichen Prozesse zum Erzeugen grafischer Benutzerschnittstellen, die das Verhalten autonomer Fahrzeuge gemäß einer oder mehreren Ausführungsformen darstellen.

DETAILLIERTE BESCHREIBUNG
In der folgenden Beschreibung werden zum Zwecke der Erklärung zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der vorliegenden Ausführungsformen zu ermöglichen. Es wird jedoch ersichtlich, dass die vorliegenden Ausführungsformen ohne diese spezifischen Details umgesetzt werden können.
Zur leichteren Beschreibung sind in den Zeichnungen bestimmte Anordnungen oder Reihenfolgen von schematischen Elementen abgebildet, wie z. B. solche, die Vorrichtungen, Module, Anweisungsblöcke und Datenelemente darstellen. Der Fachmann sollte jedoch verstehen, dass die spezifische Reihenfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht bedeuten soll, dass eine bestimmte Reihenfolge oder Sequenz der Bearbeitung oder eine Trennung der Prozesse erforderlich ist. Ferner soll die Aufnahme eines schematischen Elements in eine Zeichnung nicht bedeuten, dass dieses Element in allen Ausführungsformen erforderlich ist oder dass die durch dieses Element dargestellten Merkmale in einigen Ausführungsformen nicht in andere Elemente aufgenommen oder mit anderen Elementen kombiniert werden dürfen.
Ferner ist in den Zeichnungen, in denen Verbindungselemente, wie beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Verknüpfung zwischen oder unter zwei oder mehreren anderen schematischen Elementen darzustellen, das Fehlen solcher Verbindungselemente nicht so zu verstehen, dass keine Verbindung, Beziehung oder Verknüpfung bestehen kann. Mit anderen Worten, einige Verbindungen, Beziehungen oder Verknüpfungen zwischen Elementen werden in den Zeichnungen nicht dargestellt, um die Offenbarung nicht zu verschleiern. Zur leichteren Veranschaulichung wird außerdem ein einziges Verbindungselement verwendet, um mehrere Verbindungen, Beziehungen oder Verknüpfungen zwischen Elementen darzustellen. Wenn zum Beispiel ein Verbindungselement eine Kommunikation von Signalen, Daten oder Anweisungen darstellt, sollte der Fachmann verstehen, dass ein solches Element einen oder mehrere Signalpfade (z. B. einen Bus) darstellt, je nachdem, was erforderlich ist, um die Kommunikation zu bewirken.
Im Folgenden wird im Detail Bezug auf Ausführungsformen genommen, deren Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden detaillierten Beschreibung werden zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der verschiedenen beschriebenen Ausführungsformen zu ermöglichen. Jedoch wird für einen durchschnittlichen Fachmann deutlich sein, dass die verschiedenen beschriebenen Ausführungsformen auch ohne diese spezifischen Details umgesetzt werden können. In anderen Fällen sind allgemein bekannte Verfahren, Vorgehensweisen, Komponenten, Schaltkreise und Netzwerke nicht ausführlich beschrieben, um eine unnötige Verschleierung der Aspekte der Ausführungsformen zu vermeiden.
Im Folgenden werden mehrere Merkmale beschrieben, die jeweils unabhängig voneinander oder in einer beliebigen Kombination anderer Merkmale verwendet werden können. Allerdings kann es sein, dass ein einzelnes Merkmal keines der oben erörterten Probleme oder nur eines der oben erörterten Probleme anspricht. Einige der oben erörterten Probleme werden möglicherweise durch keines der hier beschriebenen Merkmale vollständig angesprochen. Obwohl Überschriften angegeben sind, können Informationen, die sich auf eine bestimmte Überschrift beziehen, aber nicht in dem Abschnitt mit dieser Überschrift zu finden sind, auch an anderer Stelle in dieser Beschreibung gefunden werden. Ausführungsformen werden hier gemäß der folgenden Übersicht beschrieben:

1. Allgemeiner Überblick
2. Systemübersicht
3. Architektur autonomer Fahrzeuge
4. Eingänge autonomer Fahrzeuge
5. Planung autonomer Fahrzeuge
6. Steuerung autonomer Fahrzeuge
7. Betriebsumgebung für autonome Fahrzeuge
8. Beispiel für Anzeigevorrichtungen für autonome Fahrzeuge
9. Beispiel für grafische Benutzerschnittstellen für autonome Fahrzeuge
10. Prozesse zum Erzeugen von grafischen Benutzerschnittstellen, die das Verhalten autonomer Fahrzeuge anzeigen

Allgemeiner Überblick
Ein autonomes Fahrzeug (AF) verwendet bordeigene Sensoren, um beim Navigieren in einer realen Umgebung Objekte zu erkennen und Abstände zu den Objekten zu bestimmen. Eine Anzeigevorrichtung des AF kann zur Anzeige einer grafischen Benutzerschnittstelle verwendet werden. Die grafische Benutzerschnittstelle weist Darstellungen des AF und der realen Umgebung auf. Beispielsweise kann die Darstellung der realen Umgebung Objekte wie Fahrstreifen, Ampeln, Baustellenbereiche, andere Fahrzeuge, Fußgänger, Radfahrer usw. umfassen. Ein vorhergesagtes Fahrmanöver des AF zum Vermeiden einer Kollision mit einem Objekt kann auf der grafischen Benutzerschnittstelle angezeigt werden. Bevor das AF beispielsweise einen Bremsvorgang durchführt, kann die Anzeigevorrichtung dazu verwendet werden, einen Insassen im AF im Voraus zu warnen, dass das AF den Bremsvorgang durchführen wird. So kann sich der Insasse durch Sichern von persönlichen Gegenständen oder Festhalten an einer Armlehne auf den Bremsvorgang vorbereiten. Die Anzeige von vorhergesagten Fahrmanövern und anderen Objekten erhöht das Insassenkomfortniveau und vermittelt dem Insassen ein größeres Gefühl des Vertrauens in das AF.
Systemübersicht
1 zeigt ein Beispiel für ein autonomes Fahrzeug 100 mit autonomer Fähigkeit.
Wie hier verwendet, bezieht sich der Begriff „autonome Fähigkeit“ auf eine Funktion, ein Merkmal oder eine Einrichtung, die es ermöglicht, ein Fahrzeug teilweise oder vollständig ohne menschliches Eingreifen in Echtzeit zu betreiben, einschließlich, aber nicht beschränkt auf vollständig autonome Fahrzeuge, hochgradig autonome Fahrzeuge, teilautonome und bedingt autonome Fahrzeuge.
Wie hier verwendet, ist ein autonomes Fahrzeug (AF) ein Fahrzeug, das über autonome Fähigkeiten verfügt.
Wie hier verwendet, umfasst „Fahrzeug“ Transportmittel für den Transport von Gütern oder Personen. Zum Beispiel Autos, Busse, Züge, Flugzeuge, Drohnen, Lastwagen, Boote, Schiffe, Tauchboote, Lenkflugkörper usw. Ein fahrerloses Kfz ist ein Beispiel für ein Fahrzeug.
Wie hier verwendet, bezieht sich „Bewegungsbahn“ auf einen Weg oder eine Strecke zum Navigieren eines ΛF von einem ersten räumlich-zeitlichen Ort zu einem zweiten räumlich-zeitlichen Ort. In einer Ausführungsform wird der erste räumlich-zeitliche Ort als Anfangs- oder Startort und der zweite räumlich-zeitliche Ort als Bestimmungsort, Endort, Ziel, Zielposition oder Zielort bezeichnet. In einigen Beispielen besteht eine Bewegungsbahn aus einem oder mehreren Segmenten (z. B. Straßenabschnitten), und jedes Segment besteht aus einem oder mehreren Blöcken (z. B. Abschnitte eines Fahrstreifens oder einer Kreuzung). In einer Ausführungsform entsprechen die räumlich-zeitlichen Orte den Orten der realen Welt. Die räumlich-zeitlichen Orte sind zum Beispiel Abhol- oder Absetzorte zum Abholen oder Absetzen von Personen oder Gütern.
Wie hier verwendet, umfasst „Sensor(en)“ eine oder mehrere Hardwarekomponenten, die Informationen über die Umgebung rund um den Sensor erfassen. Einige der Hardwarekomponenten können sensorische Komponenten (z. B. Bildsensoren, biometrische Sensoren), Sende- und/oder Empfangskomponenten (z. B. Laser- oder Hochfrequenzwellensender und -empfänger), elektronische Komponenten wie Analog-DigitalWandler, eine Datenspeichervorrichtung (z. B. ein RAM und/oder ein nichtflüchtiger Speicher), Software- oder Firmwarekomponenten und Datenverarbeitungskomponenten wie eine ASIC (anwendungsspezifische integrierte Schaltung), einen Mikroprozessor und/oder einen Mikrocontroller umfassen.
Wie hier verwendet, ist eine „Szenenbeschreibung“ eine Datenstruktur (z. B. Liste) oder ein Datenstrom, der ein oder mehrere klassifizierte oder gekennzeichnete Objekte enthält, die durch einen oder mehrere Sensoren auf dem AF-Fahrzeug erfasst oder durch eine AF-externe Quelle bereitgestellt werden.
Wie hier verwendet, ist eine „Straße“ ein physischer Bereich, der durch ein Fahrzeug befahren werden kann und einem benannten Verkehrsweg (z. B. Stadtstraße, Autobahn usw.) oder einem unbenannten Verkehrsweg (z. B. eine Einfahrt an einem Haus oder Bürogebäude, ein Abschnitt eines Parkplatzes, ein Abschnitt eines leeren Grundstücks, ein Feldweg in einem ländlichen Gebiet usw.) entsprechen kann. Da einige Fahrzeuge (z. B. Allradlastwagen, Geländewagen, usw.) in der Lage sind, eine Vielzahl physischer Bereiche zu befahren, die nicht speziell für den Fahrzeugverkehr ausgelegt sind, kann eine „Straße“ ein physischer Bereich sein, der nicht formell durch eine Gemeinde oder andere Regierungs- oder Verwaltungsbehörde als Verkehrsweg definiert ist.
Wie hier verwendet, ist ein „Fahrstreifen“ ein Abschnitt einer Straße, der durch ein Fahrzeug befahren werden kann und dem größten Teil oder der Gesamtheit des Zwischenraums zwischen den Fahrstreifenmarkierungen oder nur einem Teil (z. B. weniger als 50 %) des Zwischenraums zwischen den Fahrstreifenmarkierungen entsprechen kann. Zum Beispiel könnte eine Straße mit weit auseinanderliegenden Fahrstreifenmarkierungen zwei oder mehr Fahrzeuge zwischen den Markierungen aufnehmen, sodass ein Fahrzeug das andere überholen kann, ohne die Fahrstreifenmarkierungen zu überqueren, und könnte daher so interpretiert werden, dass ein Fahrstreifen schmaler als der Zwischenraum zwischen den Fahrstreifenmarkierungen ist oder dass zwei Fahrstreifen zwischen den Fahrstreifenmarkierungen liegen. Ein Fahrstreifen könnte auch bei Fehlen von Fahrstreifenmarkierungen interpretiert werden. Beispielsweise kann ein Fahrstreifen basierend auf physischen Merkmalen einer Umgebung, z. B. Felsen und Bäume entlang einem Verkehrsweg in einem ländlichen Gebiet, definiert werden.
„Eine oder mehrere“ umfasst eine Funktion, die durch ein Element ausgeführt wird, eine Funktion, die durch mehr als ein Element ausgeführt wird, z. B. auf verteilte Weise, wobei mehrere Funktionen durch ein Element ausgeführt werden, mehrere Funktionen durch mehrere Elemente ausgeführt werden, oder eine beliebige Kombination des oben Genannten.
Es versteht sich auch, dass die Begriffe „erste“, „zweite“ usw. hier zwar in einigen Fällen zur Beschreibung verschiedener Elemente verwendet werden, diese Elemente jedoch nicht durch diese Begriffe eingeschränkt werden sollten. Diese Begriffe werden lediglich verwendet, um ein Element von einem anderen abzugrenzen.
Die Terminologie, die bei der Beschreibung der verschiedenen hier beschriebenen Ausführungsformen verwendet wird, dient nur der Beschreibung bestimmter Ausführungsformen und ist nicht als einschränkend zu verstehen. Bei der Beschreibung der verschiedenen beschriebenen Ausführungsformen und der beigefügten Ansprüche sollen die Singularformen „ein“, „eine“ sowie „der“, „die“, „das“ auch die Pluralformen einschließen, sofern der Zusammenhang nicht eindeutig etwas anderes vorgibt. Es versteht sich auch, dass der Begriff „und/oder“ wie hier verwendet sich auf alle möglichen Kombinationen eines oder mehrerer der zugehörigen aufgelisteten Punkte bezieht und diese umfasst. Es versteht sich ferner, dass die Begriffe „enthalten“, „einschließlich“, „umfassen“ und/oder „umfassend“, wenn in dieser Beschreibung verwendet, das Vorhandensein angegebener Merkmale, Ganzzahlen, Schritte, Vorgänge, Elemente und/oder Komponenten davon angibt, aber nicht das Vorhandensein oder die Hinzufügung eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Vorgänge, Elemente, Komponenten und/oder Gruppen davon ausschließt.
Wie hier verwendet, ist der Begriff „falls“ gegebenenfalls so auszulegen, dass er je nach Zusammenhang „wenn“ oder „bei“ oder „als Reaktion auf das Bestimmen“ oder „als Reaktion auf das Erkennen“ bedeutet. In ähnlicher Weise ist die Formulierung „falls bestimmt wird“ oder „falls [ein angegebener Zustand oder ein Ereignis] erkannt wird“ je nach Zusammenhang gegebenenfalls so auszulegen, dass sie „beim Bestimmen“ oder „als Reaktion auf das Bestimmen“ oder „bei Erkennen [des angegebenen Zustands oder Ereignisses]“ oder „als Reaktion auf das Erkennen [des angegebenen Zustands oder Ereignisses]“ bedeutet.
Wie hier verwendet, bezieht sich ein AF-System auf das AF zusammen mit der Anordnung von Hardware, Software, gespeicherten Daten und in Echtzeit erzeugten Daten, die den Betrieb des AF unterstützen. In einer Ausführungsform ist das AF-System in das AF integriert. In einer Ausführungsform ist das AF-System über mehrere Orte verteilt. Zum Beispiel ist ein Teil der Software des AF-Systems auf einer Cloud-Computing-Umgebung implementiert, ähnlich der Cloud-Computing-Umgebung 300, die im Folgenden mit Bezug auf 3 beschrieben wird.
Allgemein beschreibt dieses Dokument Technologien, die auf alle Fahrzeuge anwendbar sind, die über eine oder mehrere autonome Fähigkeiten verfügen, einschließlich vollständig autonomer Fahrzeuge, hochgradig autonomer Fahrzeuge und bedingt autonomer Fahrzeuge, wie z. B. sogenannte Stufe-5-, Stufe-4- und Stufe-3-Fahrzeuge (siehe SAE International Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatischen Straßen-Kraftfahrzeug-Fahrsystemen), die durch Verweis in ihrer Gesamtheit übernommen wurde, für weitere Einzelheiten über die Klassifizierung von Autonomiegraden in Fahrzeugen). Die in diesem Dokument beschriebenen Technologien sind auch auf teilautonome Fahrzeuge und fahrerunterstützte Fahrzeuge anwendbar, wie z. B. sogenannte Stufe-2- und Stufe-1-Fahrzeuge (siehe SAE International's Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatischen Straßen-Kraftfahrzeug-Fahrsystemen)). In einer Ausführungsform können eines oder mehrere der Fahrzeugsysteme der Stufen 1, 2, 3, 4 und 5 unter bestimmten Betriebsbedingungen basierend auf dem Verarbeiten von Sensoreingaben bestimmte Fahrzeugfunktionen (z B. Lenken, Bremsen und Verwenden von Karten) automatisieren. Die in diesem Dokument beschriebenen Technologien können Fahrzeugen auf allen Stufen zugute kommen, von vollständig autonomen Fahrzeugen bis hin zu durch Menschen betriebenen Fahrzeugen.
Mit Bezug auf 1 betreibt ein AF-System 120 das AF-System 100 entlang einer Bewegungsbahn 198 durch eine Umgebung 190 bis zu einem Zielort 199 (gelegentlich auch als Endort bezeichnet), wobei Objekte (z. B. natürliche Hindernisse 191, Fahrzeuge 193, Fußgänger 192, Radfahrer und andere Hindernisse) vermieden und Straßenregeln (z. B. Betriebsregeln oder Fahrpräferenzen) befolgt werden.
In einer Ausführungsform beinhaltet das AF-System 120 Vorrichtungen 101, die dazu eingerichtet sind, Betriebsbefehle von den Computerprozessoren 146 zu empfangen und darauf zu reagieren. In einer Ausführungsform ähneln die Computerprozessoren 146 dem nachfolgend mit Bezug auf 3 beschriebenen Prozessor 304. Beispiele für Vorrichtungen 101 umfassen eine Lenkradvorrichtung 102, Bremsen 103, Gangschaltung, Gaspedal oder andere Beschleunigungssteuerungsmechanismen, Scheibenwischer, Seitentürschlösser, Fenstersteuervorrichtungen und Blinker.
In einer Ausführungsform umfasst das AF-System 120 Sensoren 121 zur Messung oder Ableitung von Zuständen oder Bedingungen des AF 100, wie z. B. die Position des AF, die Lineargeschwindigkeit und -beschleunigung, die Winkelgeschwindigkeit und -beschleunigung und die Fahrtrichtung (z. B. eine Ausrichtung des vorderen Endes des AF 100). Beispiele für Sensoren 121 sind Globale Navigationssatellitensysteme (GNSS) und Trägheitsmesseinheiten (IMUs), die sowohl lineare Fahrzeugbeschleunigungen als auch Winkelbeschleunigungen messen, Raddrehzahlsensoren zur Messung oder Schätzung von Radschlupfverhältnissen, Radbremsdruck- oder Bremsmomentsensoren, Motordrehmoment- oder Raddrehmomentsensoren sowie Lenkwinkel- und Winkelgeschwindigkeitssensoren.
In einer Ausführungsform umfassen die Sensoren 121 auch Sensoren zum Erfassen oder Messen von Eigenschaften der Umgebung des AF. Zum Beispiel Monokular- oder Stereo-Videokameras 122 im sichtbaren Licht-, Infrarot- oder Wärmespektrum (oder beiden Spektren), LiDAR 123, RADAR, Ultraschallsensoren, Time-of-Flight(TOF)-Tiefensensoren, Geschwindigkeitssensoren, Temperatursensoren, Feuchtigkeitssensoren und Niederschlagssensoren.
In einer Ausführungsform umfasst das AF-System 120 eine Datenspeichereinheit 142 und einen Speicher 144 zum Speichern von Maschinenanweisungen im Zusammenhang mit Computerprozessoren 146 oder durch Sensoren 121 gesammelten Daten. In einer Ausführungsform ähnelt die Datenspeichereinheit 142 dem ROM 308 oder der Speichervorrichtung 310, die nachfolgend mit Bezug auf 3 beschrieben werden. In einer Ausführungsform ähnelt der Speicher 144 dem nachfolgend beschriebenen Hauptspeicher 306. In einer Ausführungsform speichern die Datenspeichereinheit 142 und der Speicher 144 historische, Echtzeit- und/oder vorausschauende Informationen über die Umgebung 190. In einer Ausführungsform umfassen die gespeicherten Informationen Karten, Fahrleistungen, Aktualisierungen zu Verkehrsstaus oder Wetterbedingungen. In einer Ausführungsform werden Daten, die sich auf die Umgebung 190 beziehen, über einen Kommunikationskanal aus einer entfernt gelegenen Datenbank 134 an das AF 100 übertragen.
In einer Ausführungsform umfasst das AF-System 120 Kommunikationsvorrichtungen 140 zum Übermitteln gemessener oder abgeleiteter Eigenschaften von Zuständen und Bedingungen anderer Fahrzeuge, wie z. B. Positionen, Linear- und Winkelgeschwindigkeiten, Linear- und Winkelbeschleunigungen sowie Linear- und Winkelfahrtrichtungen an das AF-System 100. Diese Vorrichtungen umfassen Fahrzeug-zu-Fahrzeug(V2V)- und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikationsvorrichtungen und Vorrichtungen für drahtlose Kommunikation über Punkt-zu-Punkt- oder Ad-hoc-Netzwerke oder beides. In einer Ausführungsform kommunizieren die Kommunikationsvorrichtungen 140 über das elektromagnetische Spektrum (einschließlich Funk- und optische Kommunikation) oder andere Medien (z. B. Luft- und akustische Medien). Eine Kombination von Fahrzeug-zu-Fahrzeug(V2V)-Kommunikation, Fahrzeug-zu-Infrastruktur(V21)-Kommunikation (und in einigen Ausführungsformen eine oder mehrere andere Kommunikationsarten) wird mitunter als Fahrzeug-zu-alles (V2X)-Kommunikation bezeichnet. Die V2X-Kommunikation entspricht in der Regel einem oder mehreren Kommunikationsstandards für die Kommunikation mit, zwischen und unter autonomen Fahrzeugen.
In einer Ausführungsform umfassen die Kommunikationsvorrichtungen 140 Kommunikationsschnittstellen. Zum Beispiel drahtgebundene, drahtlose, WiMAX-, Wi-Fi-, Bluetooth-, Satelliten-, Zellular-, optische, Nahfeld-, Infrarot- oder Funkschnittstellen. Die Kommunikationsschnittstellen übertragen Daten aus einer entfernt gelegenen Datenbank 134 an das AF-System 120. In einer Ausführungsform ist die entfernt gelegene Datenbank 134 in eine Cloud-Computing-Umgebung 200 eingebettet, wie in 2 beschrieben. Die Kommunikationsschnittstellen 140 übertragen die aus den Sensoren 121 gesammelten Daten oder andere Daten, die sich auf den Betrieb des AF 100 beziehen, an die entfernt gelegene Datenbank 134. In einer Ausführungsform übertragen die Kommunikationsschnittstellen 140 Informationen, die sich auf Teleoperationen beziehen, an das AF 100. In einigen Ausführungsformen kommuniziert das AF 100 mit anderen entfernten (z. B. „Cloud“-) Servern 136.
In einer Ausführungsform speichert und überträgt die entfernte Datenbank 134 auch digitale Daten (z. B. Speichern von Daten wie Straßen- und Wegestandorte). Diese Daten werden im Speicher 144 des AF 100 gespeichert oder über einen Kommunikationskanal aus der entfernten Datenbank 134 an das AF 100 übertragen.
In einer Ausführungsform speichert und überträgt die entfernte Datenbank 134 historische Informationen über Fahreigenschaften (z. B. Geschwindigkeits- und Beschleunigungsprofile) von Fahrzeugen, die zuvor zu ähnlichen Tageszeiten entlang der Bewegungsbahn 198 gefahren sind. In einer Ausführungsform können diese Daten im Speicher 144 des AF 100 gespeichert oder über einen Kommunikationskanal aus der entfernten Datenbank 134 an das AF 100 übertragen werden.
Die im AF 100 befindlichen Rechenvorrichtungen 146 erzeugen algorithmisch Steueraktionen, die sowohl auf Echtzeit-Sensordaten als auch auf vorherigen Informationen basieren, sodass das AF-System 120 seine autonomen Fahrfähigkeiten ausführen kann.
In einer Ausführungsform umfasst das AF-System 120 Computerperipherievorrichtungen 132, die mit Rechenvorrichtungen 146 gekoppelt sind, um Informationen und Warnungen an einen Benutzer (z. B. einen Insassen oder einen entfernten Benutzer) des AF 100 zu liefern und Eingaben von diesem zu empfangen. In einer Ausführungsform ähneln die Peripherievorrichtungen 132 der Anzeige 312, der Eingabevorrichtung 314 und der Cursorsteuervorrichtung 316, die nachfolgend mit Bezug auf 3 behandelt werden. Die Kopplung erfolgt drahtlos oder drahtgebunden. Zwei oder mehrere der Schnittstellenvorrichtungen können zu einer einzelnen Vorrichtung integriert werden.
Beispiel für eine Cloud-Computing-Umgebung
2 veranschaulicht ein Beispiel für eine „Cloud“-Computing-Umgebung. Cloud Computing ist ein Modell zum Bereitstellen von Diensten, das einen komfortablen, bedarfsgerechten Netzwerkzugang zu einem gemeinsamen Bestand konfigurierbarer Computing-Ressourcen (z. B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Speicher, Anwendungen, virtuelle Maschinen und Dienste) ermöglicht. In typischen Cloud-Computing-Systemen sind in einem oder mehreren großen Cloud-Rechenzentren die Rechner untergebracht, die zum Erbringen der von der Cloud bereitgestellten Dienste verwendet werden. Mit Bezug auf 2 umfasst die Cloud-Computing-Umgebung 200 Cloud-Rechenzentren 204a, 204b und 204c, die über die Cloud 202 miteinander verbunden sind. Die Rechenzentren 204a, 204b und 204c bieten Cloud-Computing-Dienste für die mit der Cloud 202 verbundenen Computersysteme 206a, 206b, 206c, 206d, 206e und 206f.
Die Cloud-Computing-Umgebung 200 umfasst ein oder mehrere Cloud-Rechenzentren. Allgemein bezieht sich ein Cloud -Rechenzentrum, z. B. das in 2 dargestellte Cloud-Rechenzentrum 204a, auf die physische Anordnung von Servern, die eine Cloud, z. B. die in 2 dargestellte Cloud 202, oder einen bestimmten Abschnitt einer Cloud bilden. Beispielsweise sind die Server physisch im Cloud-Rechenzentrum in Räumen, Gruppen, Reihen und Racks angeordnet. Ein Cloud-Rechenzentrum hat eine oder mehrere Zonen, die einen oder mehrere Räume mit Servern umfassen. Jeder Raum hat eine oder mehrere Reihen von Servern, und jede Reihe umfasst ein oder mehrere Racks. Jedes Rack umfasst einen oder mehrere einzelne Serverknoten. In einigen Ausführungen sind Server in Zonen, Räumen, Racks und/oder Reihen basierend auf den physischen Infrastrukturanforderungen der Rechenzentrumseinrichtung, die Strom, Energie, Heizung, Wärme und/oder andere Anforderungen umfassen, in Gruppen angeordnet. In einer Ausführungsform ähneln die Serverknoten dem in 3 beschriebenen Computersystem. Das Rechenzentrum 204a verfügt über viele Rechnersysteme, die über viele Racks verteilt sind.
Die Cloud 202 umfasst die Cloud-Rechenzentren 204a, 204b und 204c sowie die Netzwerk- und Netzwerkressourcen (z. B. Netzwerkgeräte, Knoten, Router, Switches und Netzwerkkabel), die die Cloud-Rechenzentren 204a, 204b und 204c miteinander verbinden und dazu beitragen, den Zugang der Computersysteme 206a-f zu den Cloud-Computing-Diensten zu ermöglichen. In einer Ausführungsform stellt das Netzwerk eine Kombination aus einem oder mehreren lokalen Netzwerken, Weitverkehrsnetzwerken oder Internetnetzwerken dar, die über drahtgebundene oder drahtlose Verbindungen mittels terrestrischer oder satellitengestützter Verbindungstechnik gekoppelt sind. Daten, die über das Netzwerk ausgetauscht werden, werden unter Verwendung einer Anzahl von Netzwerkschichtprotokollen übertragen, wie z. B. Internet Protocol (IP), Multiprotocol Label Switching (MPLS), Asynchronous Transfer Mode (ATM), Frame Relay, usw. Fernerhin werden in Ausführungsformen, in denen das Netzwerk eine Kombination aus mehreren Teilnetzwerken darstellt, in jedem der zugrunde liegenden Teilnetzwerke unterschiedliche Netzwerkschichtprotokolle verwendet. In einigen Ausführungsformen stellt das Netzwerk ein oder mehrere miteinander verbundene Internetnetzwerke dar, wie z. B. das öffentliche Internet.
Die Verbraucher der Rechensysteme 206a-f oder Cloud-Computing-Dienste sind über Netzwerkverbindungen und Netzwerkadapter mit der Cloud 202 verbunden. In einer Ausführungsform sind die Computersysteme 206a-f als verschiedene Computervorrichtungen, z. B. Server, Desktops, Laptops, Tablets, Smartphones, Geräte für das Internet der Dinge (IoT), autonome Fahrzeuge (darunter Autos, Drohnen, Pendelfahrzeuge, Züge, Busse usw.) und Verbraucherelektronik. In einer Ausführungsform sind die Computersysteme 206a-f in oder als Bestandteil von anderen Systemen implementiert.
Computersystem
3 veranschaulicht ein Computersystem 300. In einer Ausführung ist das Computersystem 300 eine Spezialcomputervorrichtung. Die Spezialcomputervorrichtung ist fest verdrahtet, um die Techniken auszuführen, oder umfasst digitale elektronische Vorrichtungen wie eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs), die dauerhaft programmiert sind, um die Techniken auszuführen, oder kann einen oder mehrere Universal-Hardware-Prozessoren umfassen, die dazu programmiert sind, die Techniken gemäß Programmanweisungen in Firmware, Arbeitsspeicher, anderen Speichern oder einer Kombination davon auszuführen. Derartige Spezialcomputervorrichtungen können auch kundenspezifische fest verdrahtete Logik, ASICs oder FPGAs mit kundenspezifischer Programmierung kombinieren, um die Techniken zu erzielen. In verschiedenen Ausführungsformen sind die Spezialcomputervorrichtungen Desktop-Computersysteme, tragbare Computersysteme, Handgeräte, Netzwerkgeräte oder sonstige Vorrichtungen, die zur Implementierung der Techniken festverdrahtete und/oder programmgesteuerte Logik enthalten.
In einer Ausführungsform umfasst das Computersystem 300 einen Bus 302 oder einen anderen Kommunikationsmechanismus zum Übermitteln von Informationen und einen mit einem Bus 302 gekoppelten Hardware-Prozessor 304 zum Verarbeiten von Informationen. Der Hardware-Prozessor 304 ist zum Beispiel ein Allzweck-Mikroprozessor. Das Computersystem 300 umfasst auch einen Hauptspeicher 306, wie beispielsweise einen Direktzugriffsspeicher (RAM) oder eine andere dynamische Speichervorrichtung, die mit dem Bus 302 zum Speichern von Informationen und Anweisungen verbunden ist, die durch den Prozessor 304 ausgeführt werden sollen. In einer Ausführungsform wird der Hauptspeicher 306 zum Speichern von temporären Variablen oder anderen Zwischeninformationen während der Ausführung von Anweisungen durch den Prozessor 304 verwendet. Derartige in nichtflüchtigen, für den Prozessor 304 zugänglichen Speichermedien gespeicherte Anweisungen machen aus dem Computersystem 300 eine Spezialmaschine, die auf das Ausführen der in den Anweisungen angegebenen Funktionen zugeschnitten ist.
In einer Ausführungsform umfasst das Computersystem 300 ferner einen Nur-LeseSpeicher (ROM) 308 oder eine andere statische Speichervorrichtung, die mit dem Bus 302 verbunden ist, um statische Informationen und Anweisungen für den Prozessor 304 zu speichern. Eine Speichervorrichtung 310, wie beispielsweise eine Magnetplatte, eine optische Platte, ein Solid-State-Laufwerk oder ein dreidimensionaler Kreuzpunktspeicher, ist vorhanden und mit dem Bus 302 zum Speichern von Informationen und Anweisungen verbunden.
In einer Ausführungsform ist das Computersystem 300 über den Bus 302 an ein Display 312, wie z. B. eine Kathodenstrahlröhre (CRT), ein Flüssigkristalldisplay (LCD), ein Plasmadisplay, ein Leuchtdioden(LED)-Display oder ein organisches Leuchtdioden(OLED)-Display, zum Anzeigen von Informationen für einen Computerbenutzer gekoppelt. Eine Eingabevorrichtung 314 mit alphanumerischen und anderen Tasten ist mit dem Bus 302 zum Übertragen von Informationen und Befehlsauswahlen an den Prozessor 304 verbunden. Eine andere Art von Benutzereingabevorrichtung ist eine Cursorsteuervorrichtung 316, z. B. eine Maus, ein Trackball, ein berührungsempfindliches Display oder Cursorrichtungstasten zum Übermitteln von Richtungsinformationen und Befehlsauswahlen an den Prozessor 304 und zum Steuern der Cursorbewegung auf dem Display 312. Diese Eingabevorrichtung verfügt in der Regel über zwei Freiheitsgrade in zwei Achsen, eine erste Achse (z. B. x-Achse) und eine zweite Achse (z. B. y-Achse), mit denen die Vorrichtung Positionen in einer Ebene angeben kann.
Gemäß einer Ausführungsform werden die hier beschriebenen Techniken durch das Computersystem 300 als Reaktion darauf ausgeführt, dass der Prozessor 304 eine oder mehrere Sequenzen von einer oder mehreren Anweisungen ausführt, die im Hauptspeicher 306 enthalten sind. Derartige Anweisungen werden aus einem anderen Speichermedium, z. B. der Speichervorrichtung 310, in den Hauptspeicher 306 eingelesen. Die Ausführung der im Hauptspeicher 306 enthaltenen Anweisungssequenzen veranlasst den Prozessor 304, die hier beschriebenen Prozessschritte durchzuführen. In alternativen Ausführungsformen wird eine fest verdrahtete Schaltung anstelle von oder in Kombination mit Softwareanweisungen verwendet.
Der Begriff „Speichermedium“, wie hier verwendet, betrifft alle nichtflüchtigen Medien, die Daten und/oder Anweisungen speichern, die eine Maschine veranlassen, auf eine bestimmte Art und Weise zu arbeiten. Derartige Speichermedien umfassen nichtflüchtige Medien und/oder flüchtige Medien. Nichtflüchtige Medien umfassen z. B. optische Platten, Magnetplatten, Solid-State-Laufwerke oder dreidimensionale Kreuzpunktspeicher, wie z. B. die Speichervorrichtung 310. Flüchtige Medien umfassen dynamische Speicher, wie beispielsweise den Hauptspeicher 306. Übliche Formen von Speichermedien umfassen zum Beispiel eine Floppy-Disk, eine Diskette, eine Festplatte, ein Solid-State-Laufwerk, ein Magnetband oder jedes andere magnetische Datenspeichermedium, einen CD-ROM, ein beliebiges anderes optisches Datenspeichermedium, ein beliebiges physisches Medium mit Lochmustern, einen RAM, einen PROM und EPROM, einen FLASH-EPROM, NV-RAM, oder einen beliebigen anderen Speicherchip oder eine Speicherkassette.
Speichermedien unterscheiden sich von Übertragungsmedien, können aber zusammen mit diesen verwendet werden. Übertragungsmedien sind am Übertragen von Informationen zwischen Speichermedien beteiligt. Zum Beispiel umfassen Übertragungsmedien Koaxialkabel, Kupferdraht und Lichtwellenleiter, einschließlich der Leitungen, die den Bus 302 umfassen. Übertragungsmedien können auch die Form von akustischen Wellen oder Lichtwellen annehmen, wie etwa jene, die bei Funkwellen- und Infrarotdatenkommunikation erzeugt werden.
In einer Ausführungsform sind verschiedene Formen von Medien am Transportieren von einer oder mehreren Sequenzen von einer oder mehreren Anweisungen an den Prozessor 304 zur Ausführung beteiligt. Zum Beispiel werden die Anweisungen zuerst auf einer Magnetplatte oder einem Solid-State-Laufwerk eines entfernten Computers getragen. Der entfernte Computer lädt die Anweisungen in seinen dynamischen Speicher und sendet die Anweisungen unter Verwendung eines Modems über eine Telefonleitung. Ein am Computersystem 300 lokal vorhandenes Modem empfängt die Daten über die Telefonleitung und verwendet einen Infrarotsender, um die Daten in ein Infrarotsignal umzuwandeln. Ein Infrarotdetektor empfängt die in dem Infrarotsignal transportierten Daten, und eine entsprechende Schaltungsanordnung stellt die Daten auf den Bus 302. Der Bus 302 transportiert die Daten an den Hauptspeicher 306, aus dem der Prozessor 304 die Anweisungen abruft und ausführt. Die durch den Hauptspeicher 306 empfangenen Anweisungen können optional entweder vor oder nach dem Ausführen durch den Prozessor 304 auf der Speichervorrichtung 310 gespeichert werden.
Das Computersystem 300 umfasst auch eine Kommunikationsschnittstelle 318, die mit dem Bus 302 gekoppelt ist. Die Kommunikationsschnittstelle 318 stellt eine bidirektionale Datenkommunikationskopplung mit einer Netzwerkverbindung 320 bereit, die mit einem lokalen Netzwerk 322 verbunden ist. Die Kommunikationsschnittstelle 318 ist zum Beispiel eine Integrated Services Digital Network(ISDN)-Karte, ein Kabelmodem, Satellitenmoden oder ein Modem zum Bereitstellen einer Datenkommunikationsverbindung mit einem entsprechenden Typ einer Telefonleitung. Als weiteres Beispiel ist die Kommunikationsschnittstelle 318 eine Karte eines lokalen Netzwerks (LAN), um eine Datenkommunikationsverbindung zu einem kompatiblen LAN bereitzustellen. Bei einigen Implementierungen sind auch drahtlose Verbindungen implementiert. Bei jeder derartigen Implementierung sendet und empfängt die Kommunikationsschnittstelle 318 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme transportieren, die verschiedene Arten von Informationen darstellen.
Die Netzwerkverbindung 320 stellt typischerweise eine Datenkommunikation über ein oder mehrere Netzwerke zu anderen Datenvorrichtungen bereit. Zum Beispiel stellt die Netzwerkverbindung 320 eine Verbindung durch das lokale Netzwerk 322 zu einem Host-Computer 324 oder zu einem Cloud-Rechenzentrum oder Geräten bereit, die durch einen Internetdienstanbieter (ISP) 326 betrieben werden. Der ISP 326 stellt wiederum Datenkommunikationsdienste über das weltweite paketorientierte Datenkommunikationsnetzwerk bereit, das jetzt allgemein als das „Internet“ 328 bezeichnet wird. Sowohl das lokale Netzwerk 322 als auch das Internet 328 verwenden elektrische, elektromagnetische oder optische Signale, die digitale Datenströme transportieren. Die Signale über die verschiedenen Netzwerke und die Signale auf der Netzwerkverbindung 320 und über die Kommunikationsschnittstelle 318, die die digitalen Daten an das und aus dem Computersystem 300 transportieren, sind Beispielformen von Übertragungsmedien. In einer Ausführungsform enthält das Netzwerk 320 die Cloud 202 oder einen Teil der oben beschriebenen Cloud 202.
Das Computersystem 300 sendet Nachrichten und empfängt Daten einschließlich Programmcode über das/die Netzwerk(e), die Netzwerkverbindung 320 und die Kommunikationsschnittstelle 318. In einer Ausführungsform empfängt das Computersystem 300 einen Code zum Verarbeiten. Der empfangene Code wird sofort beim Empfang durch den Prozessor 304 ausgeführt und/oder auf der Speichervorrichtung 310 oder einem anderen nichtflüchtigen Speicher zum späteren Ausführen gespeichert.
Architektur autonomer Fahrzeuge
4 zeigt eine Beispielarchitektur 400 für ein autonomes Fahrzeug (z. B. das in 1 gezeigte AF 100). Die Architektur 400 umfasst ein Wahrnehmungsmodul 402 (mitunter als Wahrnehmungsschaltung bezeichnet), ein Planungsmodul 404 (mitunter als Planungsschaltung bezeichnet), ein Steuermodul 406 (mitunter als Steuerschaltung bezeichnet), ein Lokalisierungsmodul 408 (mitunter als Lokalisierungsschaltung bezeichnet) und ein Datenbankmodul 410 (mitunter als Datenbankschaltung bezeichnet). Jedes Modul spielt eine Rolle beim Betrieb des AF 100. Die Module 402, 404, 406, 408 und 410 können zusammen Teil des in 1 gezeigten AF-Systems 120 sein. In einigen Ausführungsformen sind die Module 402, 404, 406, 408 und 410 eine Kombination aus Computersoftware (z. B. ausführbarer Code, der auf einem computerlesbaren Medium gespeichert ist) und Computerhardwarc (z. B. ein oder mehrere Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], Hardware-Speichervorrichtungen, andere Arten von integrierten Schaltungen, andere Arten von Computerhardware oder eine Kombination von einem oder allen dieser Dinge).
Im Einsatz empfängt das Planungsmodul 404 Daten, die ein Ziel 412 darstellen, und ermittelt Daten, die eine Bewegungsbahn 414 (mitunter auch als Route bezeichnet) darstellen, die durch das AF 100 gefahren werden kann, um das Ziel 412 zu erreichen (z. B. am Zielort anzukommen). Damit das Planungsmodul 404 die Daten, die die Bewegungsbahn 414 darstellen, bestimmen kann, empfängt das Planungsmodul 404 Daten aus dem Wahrnehmungsmodul 402, dem Lokalisierungsmodul 408 und dem Datenbankmodul 410.
Das Wahrnehmungsmodul 402 identifiziert nahegelegene physische Objekte mittels eines oder mehrerer Sensoren 121, z. B. wie ebenfalls in 1 dargestellt. Die Objekte werden klassifiziert (z. B. gruppiert in Arten wie Fußgänger, Fahrrad, Kraftfahrzeug, Verkehrszeichen usw.), und eine Szenenbeschreibung einschließlich der klassifizierten Objekte 416 wird dem Planungsmodul 404 zur Verfügung gestellt.
Das Planungsmodul 404 empfängt auch Daten, die die AF-Position 418 darstellen, aus dem Lokalisierungsmodul 408. Das Lokalisierungsmodul 408 bestimmt die AF-Position unter Verwendung von Daten aus den Sensoren 121 und Daten aus dem Datenbankmodul 410 (z. B. geografische Daten), um eine Position zu berechnen. Zum Beispiel verwendet das Lokalisierungsmodul 408 Daten aus einem GNSS-Sensor und geografische Daten, um einen Längen- und Breitengrad des AF zu berechnen. In einer Ausführungsform umfassen die durch das Lokalisierungsmodul 408 verwendeten Daten hochpräzise Karten der geometrischen Eigenschaften der Fahrbahn, Karten, die die Verbindungseigenschaften des Straßennetzes beschreiben, Karten, die die physikalischen Eigenschaften der Straßen beschreiben (wie z. B. die Vcrkchrsgeschwindigkeit, das Verkehrsaufkommen, die Anzahl der Fahrstreifen für den Auto- und Radverkehr, die Fahrstreifenbreite, die Fahrstreifenrichtungen oder die Arten und Orte von Fahrstreifenmarkierungen oder Kombinationen davon), und Karten, die die räumliche Lage von Straßenmerkmalen wie Fußgängerüberwegen, Verkehrsschildern oder anderen Verkehrssignalen verschiedener Arten beschreiben.
Das Steuermodul 406 empfängt die Daten der Bewegungsbahn 414 und die Daten der AF-Position 418 und führt die Steuerfunktionen 420a-c (z. B. Lenken, Drosselklappenbetätigung, Bremsen, Zündung) des AF so aus, dass das AF 100 auf der Bewegungsbahn 414 bis zum Zielort 412 fährt. Falls z. B. die Bewegungsbahn 414 eine Linkskurve enthält, führt das Steuermodul 406 die Steuerfunktionen 420a-c so aus, dass der Lenkwinkel der Lenkfunktion das AF 100 zum Linksabbiegen veranlasst und das Betätigen der Drosselklappe und Bremsen das AF 100 zum Anhalten und Warten auf passierende Fußgänger oder entgegenkommende Fahrzeuge veranlasst, bevor das Abbiegen durchgeführt wird.
Eingänge autonomer Fahrzeuge
5 zeigt ein Beispiel für die Eingänge 502a-d (z. B. Sensoren 121 in 1) und Ausgänge 504a-d (z. B. Sensordaten), die durch das Wahrnehmungsmodul 402 (4) verwendet werden. Ein Eingang 502a ist ein LiDAR(„Light Detection and Ranging“)-System (z. B. LiDAR 123 wie in 1 gezeigt). LiDAR ist eine Technologie, die Licht (z. B. Lichtblitze wie Infrarotlicht) verwendet, um Daten über physische Objekte in Sichtlinie zu erhalten. Ein LiDAR-System erzeugt LiDAR-Daten als Ausgang 504a. LiDAR-Daten sind beispielsweise Sammlungen von 3D- oder 2D-Punkten (auch als Punktwolken bekannt), die zur Konstruktion einer Darstellung der Umgebung 190 verwendet werden.
Ein weiterer Eingang 502b ist ein RADAR-System. RADAR ist eine Technologie, die Funkwellen verwendet, um Daten über nahe gelegene physische Objekte zu erhalten. RADAR-Systeme können Daten über Objekte erhalten, die sich nicht in Sichtlinie eines LiDAR-Systems befinden. Ein RADAR-System 502b erzeugt RADAR-Daten als Ausgang 504b. Zum Beispiel sind RADAR-Daten ein oder mehrere elektromagnetische Hochfrequenzsignale, die zur Konstruktion einer Darstellung der Umgebung 190 verwendet werden.
Ein weiterer Eingang 502c ist ein Kamerasystem. Ein Kamerasystem verwendet eine oder mehrere Kameras (z. B. Digitalkameras, die einen Lichtsensor wie ein ladungsgekoppeltes Bauelement [CCD] verwenden), um Informationen über nahe gelegene physische Objekte zu erhalten. Ein Kamerasystem erzeugt Kameradaten als Ausgang 504c. Kameradaten liegen häufig in Form von Bilddaten vor (z. B. Daten in einem Bilddatenformat wie RAW, JPEG, PNG usw.). In einigen Beispielen verfügt das Kamerasystem über mehrere unabhängige Kameras, z. B. zwecks Stereopsis (Stereosehen), wodurch das Kamerasystem in der Lage ist, die Tiefe wahrzunehmen. Obwohl die durch das Kamerasystem wahrgenommenen Objekte hier als „nahe“ beschrieben werden, gilt dies relativ zum AF. Im Betrieb kann das Kamerasystem dazu ausgelegt sein, weit entfernte Objekte zu „sehen“, z. B. bis zu einem Kilometer oder mehr vor dem AF. Dementsprechend kann das Kamerasystem über Merkmale wie Sensoren und Objektive verfügen, die für die Wahrnehmung weit entfernter Objekte optimiert sind.
Ein weiterer Eingang 502d ist ein Ampelerkennungs(AE)-System. Ein AE-System verwendet eine oder mehrere Kameras, um Informationen über Ampeln, Straßenschilder und andere physische Objekte zu erhalten, die visuelle Navigationsinformationen liefern. Ein AE-System erzeugt AE-Daten als Ausgang 504d. AE-Daten liegen häufig in Form von Bilddaten vor (z. B. Daten in einem Bilddatenformat wie RAW, JPEG, PNG usw.). Ein AE-System unterscheidet sich von einem System mit einer Kamera dadurch, dass bei einem AF-System eine Kamera mit weitem Sichtfeld (z. B. mit einem Weitwinkelobjektiv oder einem Fischaugenobjektiv) verwendet wird, um Informationen über möglichst viele physische Objekte zu erhalten, die visuelle Navigationsinformationen liefern, sodass das AF 100 Zugriff auf alle relevanten Navigationsinformationen hat, die durch diese Objekte bereitgestellt werden. Beispielsweise kann der Sichtwinkel des AE-Systems etwa 120 Grad oder mehr betragen.
In einigen Ausführungsformen werden die Ausgänge 504a-d mittels einer Sensorfusionstechnik kombiniert. So werden entweder die einzelnen Ausgangsgrößen 504a-d anderen Systemen des AF 100 (z. B. einem Planungsmodul 404 wie in 4 dargestellt) zur Verfügung gestellt, oder die kombinierte Ausgangsgröße kann den anderen Systemen zur Verfügung entweder in Form einer einzelnen kombinierten Ausgangsgröße oder mehrerer kombinierter Ausgangsgrößen derselben Art (z. B. unter Verwendung derselben Kombinationstechnik oder Kombination derselben Ausgangsgrößen oder beides) oder unterschiedlicher Arten (z. B. unter Verwendung jeweils unterschiedlicher Kombinationstechniken oder Kombination jeweils unterschiedlicher Ausgangsgrößen oder beides) zur Verfügung gestellt werden. In einigen Ausführungsformen wird eine frühzeitige Fusionstechnik verwendet. Eine frühzeitige Fusionstechnik zeichnet sich dadurch aus, dass die Ausgangsgrößen kombiniert werden, bevor ein oder mehrere Datenverarbeitungsschritte auf die kombinierte Ausgangsgröße angewendet werden. In einigen Ausführungsformen wird eine späte Fusionstechnik verwendet. Eine späte Fusionstechnik zeichnet sich dadurch aus, dass die Ergebnisse kombiniert werden, nachdem ein oder mehrere Datenverarbeitungsschritte auf die einzelnen Ergebnisse angewendet wurden.
6 zeigt ein Beispiel für ein LiDAR-System 602 (z. B. die in 5 gezeigte Eingangsgröße 502a). Das LiDAR-System 602 emittiert Licht 604a-c aus einem Lichtsender 606 (z. B. einem Lasersender). Das durch ein LiDAR-System emittierte Licht liegt in der Regel nicht im sichtbaren Spektrum; beispielsweise wird häufig Infrarotlicht verwendet. Ein Teil des emittierten Lichts 604b trifft auf ein physisches Objekt 608 (z. B. ein Fahrzeug) und wird zurück zum LiDAR-System 602 reflektiert. (Das durch ein LiDAR-System emittierte Licht durchdringt normalerweise keine physischen Objekte, z. B. physische Objekte in fester Form.) Das LiDAR-System 602 verfügt auch über einen oder mehrere Lichtdetektoren 610, die das reflektierte Licht detektieren. In einer Ausführungsform erzeugen ein oder mehrere mit dem LiDAR-System verbundene Datenverarbeitungssysteme ein Bild 612, das das Sichtfeld 614 des LiDAR-Systems darstellt. Das Bild 612 enthält Informationen, die die Begrenzungen 616 eines physischen Objekts 608 darstellen. Auf diese Weise wird das Bild 612 verwendet, um die Begrenzungen 616 eines oder mehrerer physischer Objekte in der Nähe eines AF zu bestimmen.
7 zeigt das LiDAR-System 602 im Betrieb. In dem in dieser Figur dargestellten Szenario empfängt das AF 100 sowohl die Kamerasystemausgangsgröße 504c in Form eines Bildes 702 als auch die LiDAR-Systemausgangsgröße 504a in Form von LiDAR-Datenpunkten 704. Im Betrieb vergleicht das Datenverarbeitungssystem des AF 100 das Bild 702 mit den Datenpunkten 704. Insbesondere wird ein im Bild 702 identifiziertes physisches Objekt 706 ebenfalls unter den Datenpunkten 704 identifiziert. Auf diese Weise nimmt das AF 100 die Begrenzungen des physischen Objekts anhand der Kontur und Dichte der Datenpunkte 704 wahr.
8 zeigt die Funktionsweise des LiDAR-Systems 602 mit zusätzlichen Details. Wie oben beschrieben, erkennt das AF 100 die Begrenzung eines physischen Objekts anhand der Eigenschaften der durch das LiDAR-System 602 erfassten Datenpunkte. Wie in 8 gezeigt, reflektiert ein ebenes Objekt, wie z. B. der Boden 802, das durch ein LiDAR-System 602 emittierte Licht 804a-d auf konsistente Weise. Anders ausgedrückt: Da das LiDAR-System 602 Licht in gleichmäßigen Abständen emittiert, reflektiert der Boden 802 das Licht mit dem gleichen gleichmäßigen Abstand zum LiDAR-System 602 zurück. Während sich das AF 100 über den Boden 802 bewegt, erkennt das LiDAR-System 602 weiterhin das durch den nächsten gültigen Bodenpunkt 806 reflektierte Licht, falls nichts die Straße versperrt. Falls jedoch ein Objekt 808 die Straße versperrt, wird das durch das LiDAR-System 602 emittierte Licht 804e-f von den Punkten 810a-b in einer Weise reflektiert, die nicht mit der erwarteten Gleichmäßigkeit übereinstimmt. Aus diesen Informationen kann das AF 100 bestimmen, dass das Objekt 808 vorhanden ist.
Bahnplanung
9 zeigt in einem Blockdiagramm 900 die Zusammenhänge zwischen Ein- und Ausgangsgrößen eines Planungsmoduls 404 (z. B. wie in 4 gezeigt). Allgemein ist die Ausgangsgröße eines Planungsmoduls 404 eine Route 902 von einem Startpunkt 904 (z. B. Quellort oder Anfangsort) und einem Endpunkt 906 (z. B. Ziel- oder Endort). Die Route 902 ist in der Regel durch ein oder mehrere Segmente definiert. Ein Segment ist zum Beispiel eine Entfernung, die mindestens über einen Abschnitt einer Straße, einer Landstraße, einer Autobahn, einer Einfahrt oder eines anderen für den Autoverkehr geeigneten physischen Bereichs zurückzulegen ist. In einigen Beispielen, z. B. falls das AF 100 ein geländegängiges Fahrzeug wie z. B. ein vierradgetriebener (4WD) oder allradgetriebener (AWD) PKW, SUV, Lieferwagen o.ä. ist, umfasst die Route 902 „geländegängige“ Segmente wie unbefestigte Wege oder offene Felder.
Zusätzlich zur Route 902 gibt ein Planungsmodul auch Daten zur Routenplanung auf Fahrstreifenebene 908 aus. Die Routenplanungsdaten auf Fahrstreifenebene 908 werden verwendet, um Segmente der Route 902 basierend auf den Bedingungen des Segments zu einem bestimmten Zeitpunkt zu durchfahren. Falls die Route 902 beispielsweise eine Autobahn mit mehreren Fahrstreifen umfasst, enthalten die Routenplanungsdaten auf Fahrstreifenebene 908 die Bewegungsplanplanungsdaten 910, die das AF 100 verwenden kann, um einen Fahrstreifen unter den mehreren Fahrstreifen auszuwählen, z. B. in Abhängigkeit davon, ob sich eine Ausfahrt nähert, ob eine oder mehrere der Fahrstreifen andere Fahrzeuge aufweisen oder aufgrund anderer Faktoren, die im Laufe weniger Minuten oder weniger variieren. Ebenso enthalten bei einigen Implementierungen die Routenplanungsdaten auf Fahrstreifenebene 908 auch Geschwindigkeitsbeschränkungen 912, die spezifisch für ein Segment der Route 902 gelten. Falls das Segment zum Beispiel Fußgänger oder unerwarteten Verkehr enthält, können die Geschwindigkeitsbeschränkungen 912 das AF 100 auf eine Fahrgeschwindigkeit beschränken, die langsamer als eine erwartete Geschwindigkeit ist, z. B. eine Geschwindigkeit, die auf den Geschwindigkeitsbegrenzungsdaten für das Segment basiert.
In einer Ausführungsform umfassen die Eingangsgrößen an das Planungsmodul 404 auch die Datenbankdaten 914 (z. B. aus dem in 4 dargestellten Datenbankmodul 410), die aktuellen Standortdaten 916 (z. B. die in 4 dargestellte AF-Position 418), die Zielortdaten 918 (z. B. für den in 4 dargestellten Zielort 412) und die Objektdaten 920 (z. B. die klassifizierten Objekte 416, die durch das Wahrnehmungsmodul 402 wahrgenommen werden, wie in 4 dargestellt). In einigen Ausführungsformen enthalten die Daten der Datenbank 914 Regeln, die bei der Planung verwendet werden. Regeln werden durch eine formale Sprache spezifiziert, z. B. durch Boolesche Logik. In jeder Situation, in der sich das AF 100 befindet, sind mindestens einige der Regeln auf die Situation anwendbar. Eine Regel gilt für eine gegebene Situation, falls die Regel Bedingungen enthält, die basierend auf den dem AF 100 zur Verfügung stehenden Informationen, z. B. Informationen über die Umgebung, erfüllt sind. Regeln können eine Priorität aufweisen. Beispielsweise kann eine Regel, die besagt: „Falls die Straße eine Autobahn ist, auf den äußerst linken Fahrstreifen wechseln“, eine niedrigere Priorität als „Falls die Ausfahrt sich innerhalb von 2 Kilometern nähert, auf den äußerst rechten Fahrstreifen wechseln“ haben.
10 zeigt einen gerichteten Graphen 1000, der bei der Bahnplanung z. B. durch das Planungsmodul 404 verwendet wird (4). Allgemein wird ein gerichteter Graph 1000 wie der in 10 gezeigte verwendet, um einen Bahnverlauf zwischen einem beliebigen Startpunkt 1002 und Endpunkt 1004 zu bestimmen. In der Praxis kann die Entfernung zwischen dem Startpunkt 1002 und dem Endpunkt 1004 relativ groß (z. B. in zwei verschiedenen Ballungsgebieten) oder relativ klein (z. B. zwei Kreuzungen, die an einen Stadtblock angrenzen oder zwei Fahrstreifen einer Straße mit mehreren Fahrstreifen) sein.
In einer Ausführungsform hat der gerichtete Graph 1000 Knoten 1006a-d, die verschiedene Orte zwischen dem Startpunkt 1002 und dem Endpunkt 1004 darstellen, die durch ein AF 100 besetzt werden könnten. In einigen Beispielen, z. B. wenn der Startpunkt 1002 und der Endpunkt 1004 verschiedene Ballungsräume darstellen, stellen die Knoten 1006a-d Straßensegmente dar. In einigen Beispielen, z. B. wenn der Startpunkt 1002 und der Endpunkt 1004 verschiedene Orte auf derselben Straße darstellen, stellen die Knoten 1006a-d verschiedene Positionen auf dieser Straße dar. Auf diese Weise enthält der gerichtete Graph 1000 Informationen in unterschiedlicher Granularität. In einer Ausführungsform ist ein gerichteter Graph mit hoher Granularität auch ein Teilgraph eines anderen gerichteten Graphen mit einem größeren Maßstab. Zum Beispiel hat ein gerichteter Graph, bei dem der Startpunkt 1002 und der Endpunkt 1004 weit entfernt sind (z. B. viele Kilometer voneinander entfernt), die meisten seiner Informationen in einer niedrigen Granularität und basiert auf gespeicherten Daten, enthält aber auch einige Informationen mit hoher Granularität für den Abschnitt des Graphen, der physische Orte im Sichtfeld des AF 100 darstellt.
Die Knoten 1006a-d unterscheiden sich von den Objekten 1008a-b, die sich nicht mit einem Knoten überlappen können. In einer Ausführungsform, wenn die Granularität gering ist, stellen die Objekte 1008a-b Regionen dar, die nicht mit dem Auto befahren werden können, z. B. Gebiete, die keine Straßen oder Wege aufweisen. Bei hoher Granularität stellen die Objekte 1008a-b physische Objekte im Sichtfeld des AF 100 dar, z. B. andere Kraftfahrzeuge, Fußgänger oder andere Objekte, mit denen das AF 100 den physischen Raum nicht teilen kann. In einer Ausführungsform sind einige oder alle der Objekte 1008a-b statische Objekte (z. B. ein Objekt, das seine Position nicht ändert, wie eine Straßenlampe oder ein Strommast) oder dynamische Objekte (z. B. ein Objekt, das seine Position ändern kann, wie ein Fußgänger oder ein anderes Kraftfahrzeug).
Die Knoten 1006a-d sind durch die Kanten 101a-c verbunden. Falls zwei Knoten 1006a-b durch eine Kante 1010a verbunden sind, ist es möglich, dass ein AF 100 zwischen dem einen Knoten 1006a und dem anderen Knoten 1006b fahren kann, z. B. ohne zu einem Zwischenknoten fahren zu müssen, bevor es am anderen Knoten 1006b ankommt. (Wenn wir von einem zwischen Knoten fahrenden AF 100 sprechen, meinen wir, dass sich das AF 100 zwischen den beiden physischen Positionen bewegt, die durch die jeweiligen Knoten dargestellt werden.) Die Kanten 1010a-c sind oft bidirektional, in dem Sinne, dass ein AF 100 von einem ersten Knoten zu einem zweiten Knoten oder vom zweiten Knoten zum ersten Knoten fährt. In einer Ausführungsform sind die Kanten 1010a-c unidirektional, in dem Sinne, dass ein AF 100 von einem ersten Knoten zu einem zweiten Knoten fahren kann, das AF 100 jedoch nicht vom zweiten Knoten zum ersten Knoten fahren kann. Die Kanten 1010a-c sind unidirektional, wenn sie z. B. Einbahnstraßen, einzelne Fahrspuren einer Straße, eines Weges oder einer Landstraße oder andere Merkmale darstellen, die aufgrund rechtlicher oder physischer Beschränkungen nur in einer Richtung befahren werden können.
In einer Ausführungsform verwendet das Planungsmodul 404 den gerichteten Graphen 1000 zum Identifizieren eines Pfades 1012, der aus Knoten und Kanten zwischen dem Startpunkt 1002 und dem Endpunkt 1004 besteht.
Eine Kante 1010a-c ist mit einem Aufwand 1014a-b verbunden. Der Aufwand 1014ab ist ein Wert, der die Ressourcen darstellt, die aufgewendet werden, falls das AF 100 diese Kante auswählt. Eine typische Ressource ist die Zeit. Falls zum Beispiel eine Kante 1010a eine physische Entfernung darstellt, die doppelt so groß wie die einer anderen Kante 1010b ist, dann kann der zugehörige Aufwand 1014a der ersten Kante 1010a doppelt so groß wie der zugehörige Aufwand 1014b der zweiten Kante 1010b sein. Andere Faktoren, die sich auf die Zeit auswirken, sind der erwartete Verkehr, die Anzahl der Kreuzungen, Geschwindigkeitsbegrenzungen usw. Eine weitere typische Ressource ist der Kraftstoffverbrauch. Zwei Kanten 1010a-b können die gleiche physische Entfernung darstellen, aber eine Kante 1010a kann mehr Kraftstoff erfordern als eine andere Kante 1010b, z. B. aufgrund von Straßenbedingungen, voraussichtlichem Wetter usw.
Wenn das Planungsmodul 404 einen Pfad 1012 zwischen dem Startpunkt 1002 und dem Endpunkt 1004 identifiziert, wählt das Planungsmodul 404 in der Regel einen aufwandsoptimierten Pfad, z. B. den Pfad mit dem geringsten Gesamtaufwand, wenn die einzelnen Aufwände der Kanten addiert werden.
Steuerung autonomer Fahrzeuge
11 zeigt in einem Blockdiagramm 1100 die Ein- und Ausgangsgrößen eines Steuermoduls 406 (z. B. wie in 4 gezeigt). Ein Steuermodul arbeitet gemäß einer Steuervorrichtung 1102, die z. B. einen oder mehrere Prozessoren (z. B. einen oder mehrere Computerprozessoren wie Mikroprozessoren oder Mikrocontroller oder beides) ähnlich dem Prozessor 304, einen Kurzzeit- und/oder Langzeitdatenspeicher (z. B. Direktzugriffsspeicher oder Flash-Speicher oder beides) ähnlich dem Hauptspeicher 306, ROM 1308 und Speichervorrichtung 210 und im Speicher gespeicherte Anweisungen enthält, die Operationen der Steuervorrichtung 1102 durchführen, wenn die Anweisungen ausgeführt werden (z. B. durch den einen oder die mehreren Prozessoren).
In einer Ausführungsform empfängt die Steuervorrichtung 1102 Daten, die eine gewünschte Ausgangsgröße 1104 darstellen. Die gewünschte Ausgangsgröße 1104 umfasst in der Regel eine Geschwindigkeit und eine Fahrtrichtung. Die gewünschte Ausgangsgröße 1104 kann z. B. auf Daten basieren, die aus einem Planungsmodul 404 empfangen wurden (z. B. wie in 4 gezeigt). Die Steuervorrichtung 1102 erzeugt gemäß der gewünschten Ausgangsgröße 1104 Daten, die als Drosselklappeneingangsgröße 1106 und als Lenkeingangsgröße 1108 verwendet werden können. Die Drosselklappeneingangsgröße 1106 stellt die Größe dar, in der die Drosselklappe (z. B. Beschleunigungssteuerung) eines AF 100 zu betätigen ist, z. B. durch Betätigen des Lenkpedals oder durch Betätigen einer anderen Drosselklappensteuerung, um die gewünschte Ausgangsgröße 1104 zu erreichen. In einigen Beispielen umfasst die Drosselklappeneingangsgröße 1106 auch Daten, die zum Betätigen der Bremse (z. B. Verlangsamungssteuerung) des AF 100 verwendet werden können. Die Lenkeingangsgröße 1108 stellt einen Lenkwinkel dar, z. B. den Winkel, in dem die Lenksteuerung (z. B. Lenkrad, Lenkwinkelsteller oder eine andere Funktion zur Steuerung des Lenkwinkels) des AF positioniert werden sollte, um die gewünschte Ausgangsgröße 1104 zu erreichen.
In einer Ausführungsform empfängt die Steuervorrichtung 1102 eine Rückmeldung, die bei der Anpassung der für die Drosselklappe und Lenkung bereitgestellten Eingangsgrößen verwendet wird. Falls beispielsweise das AF 100 auf ein Hindernis 1110 wie z. B. einen Hügel trifft, wird die gemessene Geschwindigkeit 1112 des AF 100 unter die gewünschte Ausgangsgeschwindigkeit abgesenkt. In einer Ausführungsform wird der Steuervorrichtung 1102 eine Messwertausgangsgröße 1114 zur Verfügung gestellt, sodass die erforderlichen Anpassungen, z. B. basierend auf der Differenz 1113 zwischen der gemessenen Geschwindigkeit und der gewünschten Ausgangsgröße, durchgeführt werden. Die gemessene Ausgangsgröße 1114 umfasst die gemessene Position 1116, die gemessene Geschwindigkeit 1118 (einschließlich Drehzahl und Fahrtrichtung), die gemessene Beschleunigung 1120 und andere durch Sensoren des AF 100 messbare Ausgangsgrößen.
In einer Ausführungsform werden Informationen über die Störung 1110 im Voraus erkannt, z. B. durch einen Sensor wie eine Kamera oder einen LiDAR-Sensor, und einem vorausschauenden Rückmeldemodul 1122 zur Verfügung gestellt. Das vorausschauende Rückmeldemodul 1122 liefert dann Informationen an die Steuervorrichtung 1102, die die Steuervorrichtung 1102 zur entsprechenden Anpassung verwenden kann. Falls zum Beispiel die Sensoren des AF 100 einen Hügel erkennen („sehen“), können diese Informationen durch die Steuervorrichtung 1102 genutzt werden, um sich darauf vorzubereiten, die Drosselklappe zum geeigneten Zeitpunkt zu betätigen, um eine wesentliche Verlangsamung zu vermeiden.
12 zeigt ein Blockdiagramm 1200 der Eingangsgrößen, Ausgangsgrößen und Komponenten der Steuervorrichtung 1102. Die Steuervorrichtung 1102 weist einen Geschwindigkeitsprofilersteller 1202 auf, der den Betrieb einer Drosselklappen-/Bremssteuervorrichtung 1204 beeinflusst. Beispielsweise weist der Geschwindigkeitsprofilersteller 1202 die Drosselklappen-/Bremssteuervorrichtung 1204 an, eine Beschleunigung oder Verlangsamung mittels der Drosselklappen-/Bremssteuervorrichtung 1206 einzuleiten, abhängig z. B. von der Rückmeldung, die durch die Steuervorrichtung 1102 empfangen und durch den Geschwindigkeitsprofilersteller 1202 verarbeitet wird.
Die Steuervorrichtung 1102 weist auch eine Seitenführungssteuervorrichtung 1208 auf, die den Betrieb einer Lenkradvorrichtung 1210 beeinflusst. Zum Beispiel weist die Seitenführungssteuervorrichtung 1208 die Lenkradvorrichtung 1204 an, die Position des Lenkwinkelstellers 1212 abhängig von z. B. der Rückmeldung anzupassen, die durch die Steuervorrichtung 1102 empfangen und durch die Seitenführungssteuervorrichtung 1208 verarbeitet wird.
Die Steuervorrichtung 1102 empfängt mehrere Eingangsgrößen, mit denen bestimmt wird, wie die Drosselklappe/Bremse 1206 und der Lenkwinkelsteller 1212 gesteuert werden sollen. Ein Planungsmodul 404 liefert Informationen, die durch die Steuervorrichtung 1102 verwendet werden, um z. B. eine Fahrtrichtung zu wählen, wenn das AF 100 den Betrieb aufnimmt, und um zu bestimmen, welches Straßensegment befahren werden soll, wenn das AF 100 eine Kreuzung erreicht. Ein Lokalisierungsmodul 408 liefert der Steuervorrichtung 1102 Informationen, die zum Beispiel den aktuellen Standort des AF 100 beschreiben, sodass die Steuervorrichtung 1102 bestimmen kann, ob sich das AF 100 an einem Ort befindet, der basierend auf der Art und Weise, in der die Drosselklappe/Bremse 1206 und der Lenkwinkelsteller 1212 gesteuert werden, erwartet wird. In einer Ausführungsform empfängt die Steuervorrichtung 1102 Informationen von anderen Eingangsgrößen 1214, z. B. Informationen, die aus Datenbanken, Computernetzwerken usw. empfangen werden.
Betriebsumgebung für ein autonomes Fahrzeug
13 veranschaulicht ein Blockdiagramm einer AF-Betriebsumgebung 1300 gemäß einer oder mehreren Ausführungsformen. Die AF-Betriebsumgebung 1300 kann ein Beispiel für die Umgebung 190 sein, die oben mit Bezug auf 1 dargestellt und beschrieben ist. Die AF-Betriebsumgebung 1300 ist eine reale Umgebung. Die AF-Betriebsumgebung 1300 kann ein geografisches Gebiet sein, z. B. ein Bundesland, eine Stadt, eine Wohngegend oder ein Straßennetz oder -segment. Die AF-Betriebsumgebung 1300 umfasst ein AF 100, ein oder mehrere Fahrzeuge 193, einen oder mehrere Fußgänger 192 und ein oder mehrere Objekte 1008. In anderen Ausführungsformen umfasst die AF-Betriebsumgebung 1300 zusätzliche oder weniger Einheiten als die hier beschriebenen. Ebenso können die Funktionen auf andere Weise als hier beschrieben auf die verschiedenen Einheiten verteilt sein.
Das eine oder die mehreren Fahrzeuge 193 sind andere AF, halbautonome Fahrzeuge oder nichtautonome Fahrzeuge, die außerhalb oder innerhalb der AF-Betriebsumgebung 1300 navigieren oder geparkt sind. Das Fahrzeug 193 ist oben mit Bezug auf 1 dargestellt und beschrieben. Beispielsweise kann das Fahrzeug 193 während der Navigation in die AF-Betriebsumgebung 1300 hinein- und aus dieser herausfahren sowie in anderen Umgebungen navigieren. Das Fahrzeug 193 ist Teil des Verkehrs, den das AF 1300 auf Straßen der AF-Betriebsumgebung 1300 erfährt. In einigen Ausführungsformen gehört das Fahrzeug 193 zu einer oder mehreren AF-Flotten.
Der Fußgänger 192 ist eine Person, die auf einem Bürgersteig, einem Zebrastreifen, einer Straße oder einem anderen Abschnitt einer durch das AF 100 befahrbaren Fläche geht oder steht. Der Fußgänger 192 ist oben mit Bezug auf 1 dargestellt und beschrieben. In einigen Ausführungsformen stellt der Fußgänger 192 einen Satz von Objekten in der Umgebung dar, die in der AF-Betriebsumgebung 1300 erkannt und klassifiziert werden. Der Satz umfasst Fußgänger, Radfahrer oder Personen, die kleine Fahrzeuge mit kleinem Formfaktor fahren, wie z. B. Skateboards, E-Roller, SegwayTM, persönliche Elektroleichtfahrzeuge und persönliche Mobilitätsvorrichtungen.
Das eine oder die mehreren Objekte 1008 befinden sich außerhalb des AF 1308 und können Beispiele für die Objekte 416 sein, die oben mit Bezug auf 4 und 5 dargestellt und beschrieben sind. Das Objekt 1008 ist oben mit Bezug auf 1008 dargestellt und beschrieben. In einigen Ausführungsformen ist das Objekt 1008 ein statischer Abschnitt oder Aspekt der AF-Betriebsumgebung 1300, wie z. B. ein Straßensegment, eine Ampelanlage, ein Gebäude, ein Parkplatz auf einem Straßensegment, eine Autobahnaus- oder -einfahrtrampe, eine Vielzahl von Fahrstreifen eines befahrbaren Bereichs der AF-Betriebsumgebung 1300, eine Erhebung des befahrbaren Bereichs, ein an den befahrbaren Bereich angrenzender Bordstein oder ein Mittelstreifen, der zwei Fahrstreifen des befahrbaren Bereichs trennt. In einigen Ausführungsformen ist das Objekt 1008 ein dynamisches Objekt, wie z. B. ein anderes Fahrzeug, ein Fußgänger oder ein Radfahrer. Das AF 100 empfängt Sensordaten, die die dynamischen Eigenschaften des Objekts 1008 darstellen, und führt ggf. eine Kollisionsvorhersage durch und reduziert die Fahraggressivität. Das Objekt 1008 wird oben mit Bezug auf das physische Objekt 608, die Begrenzungen 616 eines physischen Objekts 608, das physische Objekt 706, den Boden 802 und das Objekt 808 in 6, 7 und 8 näher beschrieben.
Das AF 100 ist ein teilautonomes oder vollautonomes Fahrzeug, das mit seinen Sensoren 1304 und dem Planungsmodul 404 eine Bewegungsbahn plant, um die Objekte 1008 zu umfahren. Ein Beispiel für eine solche Bewegungsbahn ist die in 1 gezeigte Bewegungsbahn 198. Das AF 100 umfasst die Sensoren 1304, das Planungsmodul 404, eine Anzeigevorrichtung 312, eine Eingabevorrichtung 314, einen oder mehrere Insassensensoren 1308, einen oder mehrere Aktoren 1312, einen Smart Speaker 1316 und eine Mobilvorrichtung 1320. Das AF 100 ist oben mit Bezug auf 1 ausführlicher beschrieben. In anderen Ausführungsformen umfasst das AF 100 zusätzliche oder weniger Komponenten als die hier beschriebenen. Ebenso können die Funktionen auf andere Weise als hier beschrieben auf die Komponenten und/oder verschiedenen Einrichtungen verteilt werden.
Die Sensoren 1304 erfassen einen Zustand der Umgebung 1300, wie z. B. das Vorhandensein und die Struktur der Objekte 1008. Die Sensoren 1304 übertragen Sensordaten und semantische Daten, die den Zustand darstellen, an das Planungsmodul 404. In einigen Ausführungsformen werden die Sensoren 1304 verwendet, um Sensordaten zu erhalten, die die Objekte 1008 in der AF-Betriebsumgebung 1300 darstellen. Die Sensordaten werden durch das Planungsmodul 404 verwendet, um basierend auf den Sensordaten und der Bewegungsbahn des AF 100 ein Ausweichmanöver des AF 100 zum Vermeiden einer Kollision mit dem Objekt 1008 vorherzusagen. Die Sensoren 1304 können ein Beispiel für die Sensoren 122-123 sein, die oben mit Bezug auf 1 dargestellt und beschrieben sind. Die Sensoren 1304 sind kommunikativ mit dem Planungsmodul 404 gekoppelt, um die Sensordaten und semantischen Daten zu übertragen. Die Sensoren 1304 umfassen eine oder mehrere monokulare oder Stereo-Videokameras im sichtbaren Licht, im Infrarot- oder Wärmespektrum (oder in beiden Spektren), LiDAR, RADAR, Ultraschallsensoren, Time-of-Flight(TOF)-Tiefensensoren und können Audiosensoren (Mikrofone), Temperatursensoren, Feuchtigkeitssensoren oder Niederschlagssensoren umfassen.
In einigen Ausführungsformen umfassen die Sensoren 1304 räumlich verteilte Smart-Kamera- oder LiDAR-Vorrichtungen, die in der Lage sind, die Sensordaten der Umgebung 1300 aus verschiedenen Blickwinkeln zu verarbeiten und zu einer nützlicheren Form von Daten als Einzelbildern zu verschmelzen. Die Sensordaten können dreidimensionale LiDAR-Punktwolkendaten enthalten, die von einem Zielobjekt 1008 oder einem Kamerabild des Objekts 1008 oder der AF-Betriebsumgebung 1300 reflektiert werden. Die Sensordaten werden an das Planungsmodul 404 für Bildverarbeitungs-, Kommunikations- und Speicherfunktionen übertragen. Die Sensoren 1304 sind oben mit Bezug auf die Eingangsgrößen 502a-d, LiDAR-System 602, Licht 604a-c, Lichtemitter 606, Lichtdetektoren 610, Sichtfeld 614 und Licht 804a-d in 6, 7 und 8 näher beschrieben. Die Sensordaten sind oben mit Bezug auf die Ausgangsgrößen 504a-d, Bild 612 und LiDAR-Datenpunkte 704 in 6, 7 und 8 näher beschrieben.
Die Sensoren 1304 umfassen einen oder mehrere Odometriesensoren, die einen Zustand des AF 100 in Bezug auf die Umgebung 1300 erfassen und Odometriedaten an das Planungsmodul 404 übertragen. Die Odometriesensoren umfassen einen oder mehrere GNSS-Sensoren, IMUs, die sowohl lineare Fahrzeugbeschleunigungen als auch Winkelgeschwindigkeiten messen, Raddrehzahlsensoren zum Messen oder Schätzen von Radschlupfverhältnissen, Radbremsdruck- oder Bremsmomentsensoren, Motordrehmoment- oder Raddrehmomentsensoren oder Lenkwinkel- und Winkelgeschwindigkeitssensoren. Das AF 100 verwendet die Odometriedaten, um eine eindeutig identifizierende Signatur zum Unterscheiden zwischen verschiedenen räumlich-zeitlichen Orten innerhalb der Umgebung zu liefern.
In einigen Ausführungsformen messen und melden die Odometriesensoren einen räumlich-zeitlichen Standort des AF 100 und die Position relativ zu einem globalen Bezugsrahmen. Die Odometriedaten können zum Bestimmen der Lage, Geschwindigkeit und Position verwendet werden, indem die Winkelgeschwindigkeit aus einem Gyroskop zum Berechnen der Winkelstellung integriert wird. Das Planungsmodul 404 integriert und korreliert die Odometriedaten, um die Koordinaten des AF 100 und der Objekte 1008 abzuleiten. In einigen Ausführungsformen bestimmt das Planungsmodul 404 einen räumlich-zeitlichen Standort des AF 100 basierend auf den aus den Sensoren 1304 empfangenen Odometriedaten. In einigen Ausführungsformen bestimmt das Planungsmodul 404 einen räumlich-zeitlichen Standort eines Objekts 1008 relativ zum AF 100 basierend auf den aus den Sensoren 1300 empfangenen Sensordaten. Um den räumlich-zeitlichen Standort eines Objekts 1008 relativ zum AF 100 zu bestimmen, können Laufzeitberechnungen und Entfernungs-Pingen verwendet werden.
Die Anzeigevorrichtung 312 liefert Daten an einen Insassen im AF 100. Die Daten können die Bewegungsbahn 198 des AF 100, ein durch das AF 100 ausgeführtes Fahrmanöver, eine Karte, Komforteinstellungen für den Fahrzeuginsassen oder Betriebskennzahlen wie Geschwindigkeit oder Beschleunigung darstellen. Die Anzeigevorrichtung 312 ist oben mit Bezug auf 3 dargestellt und beschrieben. Die Anzeigevorrichtung 312 kann ein LCD-, LED- oder AMOLED-Display, einen Touchscreen, eine haptische Anzeige wie z. B. ein vibrierendes Pad (z. B. für einen blinden Insassen) oder einen Lautsprecher für die akustische Ausgabe an einen Insassen umfassen. Die Anzeigevorrichtung 312 kann eine Mobilvorrichtung (z. B. mit dem AF 100 fest verbunden), ein Tablet oder ein Laptop sein. In einigen Ausführungsformen ist die Anzeigevorrichtung 312 an einer Innenfläche des Fahrzeugs angebracht, z. B. an einer Sitzlehne oder an einer Säule des AF 100. Die Anzeigevorrichtung 312 ist mit den Sensoren 1304, dem Planungsmodul 404, der Eingabevorrichtung 314, den Insassensensoren 1308 und den Aktoren 1312 gekoppelt.
Die Eingabevorrichtung 314 ist oben mit Bezug auf 3 dargestellt und beschrieben. Die Eingabevorrichtung 314 kann verwendet werden, um haptische, gesprochene oder andere Eingaben von einem oder mehreren Insassen im AF 100 zu empfangen. In Ausführungsformen kann die Eingabevorrichtung 314 eine Maus, ein Touchscreen, ein Stift für ein Tablet, ein Mikrofon, eine Kamera, eine Tastatur usw. sein. Die Eingabe des Insassen kann Anweisungen zum Fahren, eine Präferenz für ein Fahrzeugbetriebsprofil oder eine gewünschte Metrik für die Fahraggressivität umfassen. In einigen Ausführungsformen übersetzt die Eingabevorrichtung 314 Daten aus einem vom Menschen lesbaren Format oder einer natürlichen Sprache in ein Computerprogramm, Pseudocode, Maschinensprachenformat oder Assembly-Level-Format für das Planungsmodul 404. In einigen Ausführungsformen empfängt die Eingabevorrichtung 314 Eingaben des Insassen, die an ein Objekt 1008 in der AF-Betriebsumgebung 1300 oder in einer grafischen Benutzerschnittstelle, die auf der Anzeigevorrichtung 312 angezeigt wird, gerichtet sind.
Der eine oder die mehreren Insassensensoren 1308 messen die Insassenkomfortdaten der Insassen im AF 100. Die Insassenkomfortdaten stellen ein Maß für den Komfort der Fahrzeuginsassen während einer Fahrt dar. Die Insassenkomfortdaten werden verwendet, um zu bestimmen, wie komfortabel sich der Insasse fühlt, und um die grafische Benutzerschnittstelle auf der Anzeigevorrichtung 312 mit zusätzlichen oder weniger Informationen zu aktualisieren, um den Insassenkomfort zu erhöhen. Die Insassenkomfortdaten basieren auf dem Messen verschiedener Metriken, z. B. Metriken für offene oder geschlossene Augen. Metriken mit offenen Augen werden durch die Insassensensoren 1308 gemessen, die auf der visuellen Erfahrung eines Insassen mit der Umgebung 1300 basieren, wenn der Insasse im AF 100 fährt. Metriken mit offenen Augen umfassen beispielsweise die Entfernung zu Umgebungsmerkmalen (Bordsteinkanten, Baustellenbereiche, Fahrstreifensperren, Gebäuden usw.), die Entfernung zu anderen Fahrzeugen 193 oder Fußgängern 192 oder die Sicht des Insassen auf die Straße. Metriken mit geschlossen Augen werden durch die Insassensensoren 1308 gemessen, die auf der nichtvisuellen Erfahrung eines Insassen basieren, wenn der Insasse im AF 100 fährt. Beispielsweise umfassen die Metriken mit geschlossenen Augen die Geschwindigkeit, Beschleunigung, Querbeschleunigung, den Grad des Lenkwinkels usw.
In einigen Ausführungsformen enthalten die Insassensensoren 1308 biometrische Sensoren, die zum Messen charakteristischer, messbarer physiologischer Merkmale des Insassen verwendet werden, die ein Komfortniveau darstellen. Die Insassensensoren 1308 können beispielsweise einen elektrodermalen Sensor, ein Puls- und Herzfrequenzmessgerät, ein Sphygmomanometer (Blutdruckmessgerät) oder einen Körpertemperatursensor (z. B. Infrarotthermometer) umfassen. Die Insassenkomfortdaten umfassen biometrische Daten wie elektrodermale Aktivität, Puls, Herzfrequenz, Blutdruck oder Körpertemperatur. Die elektrodermale Aktivität des Insassen verursacht Schwankungen in den elektrischen Eigenschaften der Haut und wird auch als Hautleitfähigkeit, galvanische Hautreaktion oder elektrodermale Reaktion bezeichnet. Elektrodermale Aktivität, Puls, Herzfrequenz, Blutdruck und Temperatur des Fahrzeuginsassen sind ein Maß für emotionale und empathische Reaktionen und werden zum Bestimmen des Insassenkomforts verwendet. In einer Ausführungsform enthalten die Insassensensoren 1308 Sensoren zum Messen physischer Eigenschaften der Insassen. Zum Beispiel können die Insassensensoren 1308 eine Waage zum Messen des Gewichts des Insassen und einen Laserscanner oder eine interne Kamera zum Messen der Körpergröße des Insassen umfassen.
In einigen Ausführungsformen umfassen die Insassensensoren 1308 einen oder mehrere Bildsensoren, die zum Aufnehmen von Bildern eines Insassen verwendet werden. Die Insassensensoren 1308 können zum Beispiel eine Kamera, eine Webcam oder einen Augenscanner umfassen. Die Insassenkomfortdaten können Bilddaten wie Gesichtsausdrücke oder eine Pupillenreaktion (z. B. Verengungsreaktion oder Höhe der Pupillenerweiterung) enthalten. Die Höhe der Pupillenerweiterung verändert die Größe der Pupille über den optischen und okulomotorischen Hirnnerv und stellt eine Adrenalinmenge dar, die zum Bestimmen des Insassenkomforts verwendet wird.
In einigen Ausführungsformen umfassen die Insassensensoren 1308 einen oder mehrere Drucksensoren auf dem Sitz, Gewichtssensoren, die auf dem AF-Boden unter den Füßen eines Insassen eingebettet sind, oder einen tragbaren Handschuh mit haptischen Sensoren, die zum Aufzeichnen der Insassenkomfortdaten verwendet werden, wie z. B. eines Drucks, den ein Insasse auf die Arm- und Rückenlehnen der Sitze ausübt, oder einer geballten Faust. Beispielsweise enthalten die Insassensensoren 1308 einen Dehnungsmessstreifen zum Erfassen der Dehnung aufgrund des angelegten Drucks, eine kapazitive Membran oder einen elektromagnetischen Sensor zum Messen der Änderung der Induktivität aufgrund des Drucks. Die Größe des Drucks oder der haptischen Rückmeldung, die der Insasse auf die Armlehnen der Sitze, die Rückenlehne oder den Boden ausübt, stellt ein Maß für das Unbehagen des Insassen im Zusammenhang mit dem Betriebsprofil des Fahrzeugs dar.
In einigen Ausführungsformen werden die Insassensensoren 1308 verwendet, um eine Änderung des Insassenkomfortniveaus zu bestimmen. Zum Beispiel kann eine Abnahme des Insassenkomfortniveaus durch einen Anstieg des Blutdrucks des Insassen erkannt werden, der durch die Insassensensoren 1308 gemessen wird und anzeigt, dass der Insasse sich ängstlicher fühlt. Eine Abnahme des Insassenkomfortniveaus kann durch einen Anstieg der durch die Insassensensoren 1308 gemessenen Pulsfrequenz des Insassen erkannt werden, was anzeigt, dass der Insasse Angst oder Unruhe empfindet. Eine Abnahme des Insassenkomfortniveaus umfasst eine Zunahme einer Pupillenerweiterung des Insassen, die durch die Insassensensoren 1308 gemessen wird und anzeigt, dass der Insasse sich in Panik befindet.
Die Insassenkomfortdaten können auch in einem Profil des Insassen entweder im Speicher des AF 100 oder auf einem entfernten Server gespeichert sein und durch das AF 100 abgerufen werden. Das Planungsmodul 404 bestimmt, dass das Insassenkomfortniveau des im AF 100 fahrenden Insassen mindestens teilweise basierend auf den gespeicherten Insassenkomfortdaten abnimmt. Beispielsweise kann ein vorhergesagtes Fahrmanöver Bremsen, Fahrstreifenwechsel oder Ausweichmanöver umfassen. Das AF 100 oder das Planungsmodul 404 kann durch Nachschlagen des Insassenprofils feststellen, dass ein bestimmter Insasse keine scharfen Kurven mag. Falls das AF 100 feststellt, dass eine scharfe Kurve erforderlich ist, um eine Kollision zu vermeiden, kann das AF 100 den Insassen über den Smart Speaker 1316 oder die grafische Benutzerschnittstelle warnen oder alarmieren. In einigen Ausführungsformen werden die Insassensensoren 1308 verwendet, um zu bestimmen, ob sich Insassen im AF 100 befinden oder ob das AF 100 leer ist. Zum Beispiel können dazu Gewichts- oder Drucksensoren in den Sitzen oder im Boden dazu verwendet werden. Bestimmte Mitteilungen an Insassen werden nur vorgenommen, wenn sich im AF 100 tatsächlich ein Insasse befindet.
Das eine oder die mehreren Aktoren 1312 sorgen für eine haptische Kommunikation mit dem Insassen im AF 100. Die Aktoren 1312 können durch einen Motor angetrieben werden, der elektrische Energie in ein mechanisches Drehmoment umwandelt. Die Aktoren 1312 können verwendet werden, um einen Sitz, eine Sitzlehne oder eine Armlehne in Schwingungen zu versetzen, z. B. um eine Warnung auszugeben.
Der Smart Speaker 1316 ist eine Komponente des AF 100, die Sprachbefehle von einem Insassen im AF 100 empfängt. Der Smart Speaker 1316 enthält ein oder mehrere Nah- oder Fernfeldmikrofone, um die Befehle zu empfangen. Der Smart Speaker 1316 kann auch Audionachrichten vom AF 100 an einen Insassen übermitteln. In einigen Ausführungsformen enthält der Smart Speaker 1316 einen intelligenten Assistenten des AF 100 oder ist mit diesem verbunden, über den der Insasse mittels Sprachbefehlen mit dem AF 100 kommunizieren kann. Der intelligente Assistent kann für den Insassen Informationen wie Wetter, Routenplanung usw. abfragen und den Insassen auch vor bevorstehenden Fahrmanövern warnen. In einigen Ausführungsformen wird der Smart Speaker 1316 als Eingabevorrichtung verwendet, um die Eingaben der Insassen in Form von Sprachbefehlen zu empfangen. Der Smart Speaker 1316 kann Sprachbefehle in Daten übersetzen, die durch das Planungsmodul 404 zum Erzeugen oder Ändern der Bewegungsbahnen verwendet werden können. In einigen Ausführungsformen überträgt der Smart Speaker 1316 eine Audioausgabe, die ein durch das AF 100 geplantes Fahrmanöver beschreibt, das auf das Empfangen eines Sprachbefehls reagiert.
Der Smart Speaker 1316 kann Daten aus dem AF 100 in eine Sprach- oder Audioausgabe übersetzen, die für die Übertragung an die Insassen geeignet ist. In einigen Ausführungsformen überträgt der Smart Speaker 1316 als Reaktion auf das Empfangen des Sprachbefehls eine Audioausgabe, die eine Bewegungsbahn des Objekts 1008 in der realen Umgebung 1300 beschreibt. Ein Insasse kann zum Beispiel fragen: „Wohin geht dieser Fußgänger?“ Der Smart Speaker 1316 empfängt den Sprachbefehl und überträgt die Daten basierend auf dem Sprachbefehl an das AF 100. Das Planungsmodul 404 identifiziert einen Fußgänger 192, auf den durch den Insassen basierend auf dem Sprachbefehl und den Sensordaten hingewiesen wird. Das Planungsmodul 404 bestimmt basierend auf den Sensordaten und Laufzeitmessungen eine Bewegungsbahn des Fußgängers 192. Das AF 100 überträgt die Ausgabedaten an den Smart Speaker 1316 zum Erzeugen einer Audionachricht oder einer Audioausgabe an den Insassen im AF 100, um die Frage des Insassen zu beantworten.
In einigen Ausführungsformen empfängt der Smart Speaker 1316 einen Sprachbefehl von einem Insassen im AF 100. Der Sprachbefehl wird an die grafische Benutzerschnittstelle gerichtet, die auf der Anzeigevorrichtung 312 oder der Mobilvorrichtung 1320 angezeigt wird. Der Insasse kann zum Beispiel sagen: „Sag mir mehr über das braune Gebäude“ oder „Nehmen wir die Route 130?“ Der Smart Speaker 1316 überträgt die Daten basierend auf dem Sprachbefehl an das AF 100. Das AF 100 identifiziert ein Objekt oder eine Bewegungsbahn, das/die durch den Insassen in der grafischen Benutzerschnittstelle basierend auf dem Sprachbefehl genannt wird. Das AF 100 bestimmt Informationen zum Beantworten der Frage des Insassen basierend auf Sensordaten, Laufzeitmessungen oder dem Zustand der grafischen Benutzerschnittstelle. Ein intelligenter Assistent kann ebenfalls durch das AF 100 verwendet werden. Das AF 100 überträgt die Ausgabedaten an den Smart Speaker 1316 zum Erzeugen einer Audionachricht oder einer Audioausgabe an den Insassen im AF 100, um die Frage des Insassen zu beantworten. Der Smart Speaker 1316 erzeugt eine Audioausgabe, die das Objekt oder die Bewegungsbahn beschreibt. In einigen Ausführungsformen kann ein Insasse nach einer Betriebseinschränkung fragen, die das AF 100 befolgt, wie z. B. „Warum werden wir langsamer?“ Der Smart Speaker 1316 verwendet die oben beschriebenen Verfahren, um eine Audioausgabe zu erzeugen, die die Betriebseinschränkung für das AF 100 beschreibt. Der Smart Speaker 1316 überträgt die Audioausgabe an den Fahrzeuginsassen.
In einigen Ausführungsformen kann die Anzeigevorrichtung 312 ein Touchscreen sein. Die Anzeigevorrichtung 312 zeigt die grafische Benutzerschnittstelle an. Ein Insasse im AF 100 kann eine haptische Eingabe 1508 in die Anzeigevorrichtung 312 vornehmen, um ein dem AF 100 oder einem Objekt 1008 entsprechendes Symbol auszuwählen, wie im Folgenden mit Bezug auf 15 dargestellt und beschrieben wird. Das AF 100 bzw. Planungsmodul 404 empfängt so die Insasseneingabe 1508, die über die Anzeigevorrichtung 312 an das Objekt 10008 gerichtet ist. Gleichzeitig kann das AF 100 einen Sprachbefehl empfangen, der über den Smart Speaker 1316 an das Objekt 1008 gerichtet ist, z. B. „Was bedeutet dieses Rechteck?“ Das AF 100 verwendet die oben beschriebenen Verfahren, um das bezeichnete Objekt 1008 zu identifizieren und die Frage des Insassen über den Smart Speaker 1316 zu beantworten.
In einigen Ausführungsformen wird der Smart Speaker 1316 verwendet, um eine Warnung oder einen Alarm an einen Insassen im AF 100 zu übertragen. Die Warnung oder der Alarm kann z. B. in Form einer akustischen Nachricht oder Ausgabe erfolgen, dass das AF 100 in Kürze zu einem bestimmten Zeitpunkt oder innerhalb einer bestimmten Anzahl von Minuten oder Sekunden einen Bremsvorgang durchführen wird. Die Audionachricht wird dem Insassen zu einem Zeitpunkt vor dem Zeitpunkt des Bremsvorgangs übermittelt. Die Audionachricht oder -ausgabe kann als Reaktion auf das Bestimmen, dass sich tatsächlich ein oder mehrere Insassen in dem Fahrzeug befinden, übertragen werden.
Die Mobilvorrichtung 1320 ist eine Vorrichtung, die ein Insasse im AF 100 mitführen kann. Die Mobilvorrichtung 1320 kann ein Smartphone, Tablet, eine Smartwatch usw. sein. Die Mobilvorrichtung 1320 kann mit dem AF 100 per Kabel verbunden werden, oder über Bluetooth oder eine Nahfeldkommunikations(NFC)-Verbindung mit dem AF 100 verbunden werden. In einigen Ausführungsformen kommuniziert die Mobilvorrichtung 1320 mit einem entfernten Server und dem AF 100 über das Internet mittels Mobilfunkdaten. Eine grafische Benutzerschnittstelle mit geometrischen Modellen des AF 100, der Objekte 1008, Fahrzeuge 193 und Fußgänger 192 kann auf die Mobilvorrichtung 1320 übertragen und dort angezeigt werden. Ein Lautsprecher an der Mobilvorrichtung 1320 kann Audionachrichten aus dem AF 100 an einen Insassen übermitteln. In einigen Ausführungsformen weist die Mobilvorrichtung 1320 einen intelligenten Assistenten auf, mit dessen Hilfe der Insasse über eingegebene Text oder Sprachbefehle mit dem AF 100 kommunizieren kann.
Das Planungsmodul 404 empfängt Sensordaten aus den Sensoren 1304 und erzeugt eine Bewegungsbahn für das AF 100 auf Makroebene basierend auf einer gewünschten Fahraggressivität oder einem gewünschten Verhalten. Das Planungsmodul 404 sagt Fahrmanöver vorher, die das AF 100 auf einer Mikroebene ausführen wird, um die geplante Bewegungsbahn einzuhalten. Das Planungsmodul 404 kann auch eine Bewegungsbahn, der ein Objekt 1008 folgen wird, oder ein Fahrmanöver, das das Objekt 1008 ausführen wird, basierend auf den Sensordaten vorhersagen. Basierend auf der durch das Planungsmodul 404 vorhergesagten Bewegungsbahn und dem Fahrmanöver erzeugt das AF 100 eine grafische Benutzerschnittstelle zum Anzeigen auf der Anzeigevorrichtung 312. Das Planungsmodul 404 ist oben mit Bezug auf 4 dargestellt und ausführlicher beschrieben. Die geometrischen Modelle, Graphen, Texte und Symbole, die in der grafischen Benutzerschnittstelle verwendet werden, können grobkörnig oder feinkörnig sein. Die grafischen Informationen können je nach den Insasseneingaben oder dem Benutzerprofil redigiert, wenig detailliert oder sehr detailliert sein. In einigen Ausführungsformen werden persönliche oder sensible Daten durch die Sensoren 1304 nicht erfasst oder werden vor dem Erzeugen der grafischen Benutzerschnittstelle oder auf Verlangen eines Insassen, einer Regierungs- oder Aufsichtsbehörde oder der Vollzugsbehörden gelöscht.
In einigen Ausführungsformen stellen die Sensordaten ein oder mehrere Objekte 1008, Fußgänger 192 oder Fahrzeuge 193 dar. Die Sensordaten können zweidimensionale (2D) oder dreidimensionale (3D) LiDAR-Daten sein. Das Planungsmodul 404 klassifiziert Objekte, die sich innerhalb einer Schwellenentfernung zum AF 100 befinden. Die Objekte können sich bewegende Objekte sein, wie beispielsweise Fußgänger 192, Radfahrer oder Fahrzeuge 193. In einigen Ausführungsformen enthält die grafische Benutzerschnittstelle eine 3D-Darstellung von Fahrstreifen, Ampeln, Verkehrszeichen oder Baustellenbereichen.
Das AF 100 erzeugt eine grafische Benutzerschnittstelle, die das AF 100 und das eine oder die mehreren Objekte 1008 darstellt. In einigen Ausführungsformen erzeugt das AF 100 ein geometrisches Modell eines Objekts 1008 zum Anzeigen. Die grafische Benutzerschnittstelle umfasst das geometrische Modell. Das geometrische Modell kann beispielsweise eine geometrische Form wie ein Rechteck, ein Oval, ein Quadrat, ein Kreis oder eine andere Art von Form zum Kennzeichnen des Objekts 1008 sein. Das geometrische Modell kann eine Gedankenblase enthalten, um das Verhalten des Objekts 1008 darzustellen. In einigen Ausführungsformen befinden sich Text oder Symbole als Beschriftungen, Zeiger oder andere Informationen innerhalb der geometrischen Form. Der Text kann zum Beispiel eine Geschwindigkeit des Objekts 1008 angeben. Beispiele für grafische Benutzerschnittstellen einschließlich geometrischer Modelle und Symbole werden nachstehend dargestellt und mit Bezug auf 15 und 16 beschrieben.
In einigen Ausführungsformen bestimmt das Planungsmodul 404 eine Bewegungsbahn des AF 100 in der realen Betriebsumgebung 1300. Das Planungsmodul 404 kann ein Verfahren für den kürzesten Weg verwenden oder die Bewegungsbahn basierend auf mehreren Aufwandsfaktoren optimieren, um die Anzahl der vorhandenen Ampeln zu minimieren, die Kraftstoffeffizienz zu maximieren und die Wahrscheinlichkeit einer Kollision zu verringern usw. Das Planungsmodul 404 sagt ein Fahrmanöver des AF 100 zum Vermeiden einer Kollision mit einem Objekt 1008 basierend auf Sensordaten und einer Bewegungsbahn des AF 100 vorher. Beispielsweise kann das Planungsmodul 404 bestimmen, dass das AF 100 nach links ausschwenkt, den Fahrstreifen wechseln, bremsen oder rückwärts fahren soll. In einigen Ausführungsformen sagt das Planungsmodul 404 das Fahrmanöver des AF 100 als Reaktion darauf vorher, dass sich das Objekt 1008 innerhalb einer Schwellenentfernung vom AF 100 befindet. Somit werden nutzlose und unnötige Fahrmanöver nicht vorhergesagt oder durchgeführt.
Das AF 100 oder das Planungsmodul 404 ruft die Insassenkomfortdaten aus einem entfernten Server oder Speicher des AF 100 ab. Das Planungsmodul 404 bestimmt, dass das Insassenkomfortniveau eines Insassen im AF 100 aufgrund des Fahrmanövers abnimmt. Das AF 100 erzeugt eine grafische Benutzerschnittstelle mit Darstellungen des AF 100 und des Objekts 1008 zum Anzeigen für den Insassen auf der Anzeigevorrichtung 312. Die grafische Benutzerschnittstelle enthält eine Grafik, einen Text oder ein Symbol, das den Insassen vor dem vorhergesagten Fahrmanöver warnt. Die grafische Benutzerschnittstelle kann beispielsweise ein Bild des AF 100 beim Bremsen, einen Text mit dem Hinweis „Bremsung in 15 Sekunden!“ oder ein Symbol für einen Bremsvorgang enthalten. Das AF 100 überträgt die grafische Benutzerschnittstelle an die Anzeigevorrichtung 312.
In einigen Ausführungsformen empfängt das Planungsmodul 404 aus den Insassensensoren 1308 Insassenkomfortdaten für einen Insassen im ΛF 100. Das Planungsmodul 404 stellt fest, dass das Insassenkomfortniveau als Reaktion auf das Übertragen der aktualisierten grafischen Benutzerschnittstelle an die Anzeigevorrichtung 312 tatsächlich abgenommen hat. Als Reaktion darauf beendet das AF 100 das Übertragen der aktualisierten grafischen Benutzerschnittstelle an die Anzeigevorrichtung 312.
Die grafische Benutzerschnittstelle umfasst geometrische Modelle, die das AF 100 und andere Objekte darstellen. In einigen Ausführungsformen ist das geometrische Modell eine geometrische Form oder ein Symbol, z. B. ein semantisches Symbol, ein computerausführbares Symbol oder ein anklickbares Symbol oder eine Grafik. Die grafische Benutzerschnittstelle kann eine Straßenstruktur enthalten (z. B. Fahrstreifen, Stoppschilder, Ampeln, Baustellenbereiche usw.). Die grafische Benutzerschnittstelle kann Gedankenblasen enthalten, die das Verhalten des AF 100 anzeigen (z. B. „Abbremsen an einem Fußgängerüberweg“, „Fahrstreifenwechsel“ usw.). Eine Gedankenblase kann nur für Objekte 1008 vorgesehen sein, die weniger als eine Schwellenentfernung vom AF 100 entfernt sind, sodass die grafische Benutzerschnittstelle nicht mit Daten und Symbolen überfüllt ist. In einigen Ausführungsformen zeigt die grafische Benutzerschnittstelle Betriebseinschränkungen für das AF 100 an, wie z. B. die Anforderung, langsamer zu fahren, weil ein Fahrzeug 193 vor dem AF 100 das Planungsmodul 404 veranlasst, die Geschwindigkeit des AF 100 zu reduzieren. In einigen Ausführungsformen wird eine Geschwindigkeitsbegrenzung oder die Darstellung eines Fußgängers 192 angezeigt, der vor das AF 100 gesprungen ist.
In einigen Ausführungsformen verwendet das Planungsmodul 404 Laufzeitverfahren oder LiDAR, um eine Entfernung des Objekts 1008 vom AF 100 zu bestimmen. Das Objekt 1008 wird nur dann auf der Anzeigevorrichtung 312 angezeigt, wenn es sich innerhalb einer Schwellenentfernung vom AF 100 befindet, um eine Überfüllung der Anzeigevorrichtung 312 zu verhindern und den Insassen nicht mit irrelevanten Informationen zu verwirren. Falls die Insassensensoren 1308 anzeigen, dass sich der Insasse aufgrund zu vieler Informationen unbehaglich fühlt, werden weniger Details über die Umgebung 1300 angezeigt. In einigen Ausführungsformen bestimmt das Planungsmodul 404, ob sich ein Insasse im AF 100 befindet. Die Bestimmung erfolgt basierend auf Sensordaten, die aus den Insassensensoren 1308 des AF 100 empfangen werden. Zum Beispiel kann dazu ein Gewichtssensor oder eine Kamera verwendet werden. Das AF 100 überträgt die grafische Benutzerschnittstelle an die Anzeigevorrichtung 312, die auf das Bestimmen reagiert, dass sich ein Insasse im AF 100 befindet. Dies reduziert die Berechnung, den Stromverbrauch und die Verwendung der Anzeigevorrichtung 312, wenn sich niemand im AF 100 befindet und keine Benachrichtigungen erforderlich sind.
In einigen Ausführungsformen enthält die grafische Benutzerschnittstelle eine Darstellung der Bewegung des einen oder der mehreren Objekte 1008. Beispielsweise kann der Weg eines sich bewegenden Objekts 1008 oder die Geschwindigkeit eines Objekts 1008 mit Linien, Pfeilen, Symbolen oder Text angezeigt werden. Das Planungsmodul 404 verwendet die Sensordaten, um eine Position des Objekts 1008 zu verschiedenen Zeitpunkten zu bestimmen und eine Bewegungsbahn des Objekts 1008 zu bestimmen. In einigen Ausführungsformen bestimmt das Planungsmodul 404 eine Bewegungsbahn des Objekts 1008 als Reaktion auf das Empfangen von Insasseneingaben, die über die Eingabevorrichtung 314 oder den Smart Speaker 1316 an das Objekt 1008 gerichtet sind. In einigen Ausführungsformen enthält die grafische Benutzerschnittstelle eine Darstellung der Bewegungsbahn oder der vorhergesagten Bewegung des Objekts 1008. Das Planungsmodul 404 verwendet vorherige Messungen (Position und Zeit) zum Vorhersagen einer Absicht des Objekts 1008. Falls das Objekt beispielsweise ein Fußgänger 192 auf einem Bürgersteig ist, kann das Planungsmodul 404 vorhersagen, dass der Fußgänger 192 die Straße überqueren oder auf einem Zebrastreifen gehen wird. Falls das Objekt ein sich bewegendes Fahrzeug 193 ist, das sich einer roten oder gelben Ampel nähert, sagt das Planungsmodul 404 vorher, dass das Fahrzeug 193 langsamer werden wird.
In einigen Ausführungsformen wird die grafische Benutzerschnittstelle mit Text auf der Anzeigevorrichtung 312 beschriftet. Beispielsweise kann die grafische Benutzerschnittstelle eine Geschwindigkeit, Koordinaten oder eine Fahrtrichtung des AF 100 oder des Objekts 1008 enthalten. Eine Wahrscheinlichkeit einer Kollision des AF 100 mit dem Objekt 1008 kann angezeigt werden. In anderen Ausführungsformen wird die grafische Benutzerschnittstelle mit einem Diagramm wie einem Zeitdiagramm, einem Balkendiagramm, einem Tortendiagramm, einem Histogramm usw. versehen, das die Entfernung, die zurückgelegte Zeit, die Zeit bis zum Zielort usw. anzeigt. In anderen Ausführungsformen wird die grafische Benutzerschnittstelle mit einem Symbol versehen. Beispielsweise können Ampeln, Baustellenbereiche, andere Fahrzeuge 193 oder Fußgänger 192 mit verschiedenen Symbolen markiert werden. In anderen Ausführungsformen wird die grafische Benutzerschnittstelle mit einem oder mehreren Bildern markiert. Beispielsweise kann ein Profilbild des Insassen verwendet werden, um das AF 100 auf der grafischen Benutzerschnittstelle zu markieren. Kamerabilder von Gebäuden oder Kreisverkehren können zum Markieren von Abschnitten der grafischen Benutzerschnittstelle verwendet werden, um die Umgebung 1300 oder den Zielort des AF 100 darzustellen.
In einigen Ausführungsformen filtert das Wahrnehmungsmodul 402 Rauschen oder Unsicherheiten, die mit den Sensordaten verbunden sind. Das Wahrnehmungsmodul 402 ist oben mit Bezug auf 4 dargestellt und beschrieben. Das Wahrnehmungsmodul 402 empfängt erste Sensordaten, die ein Objekt 1008 zu einem ersten Zeitpunkt darstellen. Das AF 100 verzögert das Erzeugen der Darstellung des Objekts 1008 innerhalb der grafischen Benutzerschnittstelle, um zu bestimmen, ob das Objekt 1008 wirklich in der AF-Betriebsumgebung 1300 vorhanden ist oder ob eine falsch-positive Klassifizierung durch Rauschen in den ersten Sensordaten entstanden ist. Nach einer Zeitverzögerung erzeugen die Sensoren 1304 zweite Sensordaten. Das Wahrnehmungsmodul 402 gleicht Merkmale des zum ersten Zeitpunkt erfassten Objekts 1008 mit den zum zweiten Zeitpunkt erfassten Merkmalen ab, um zu bestimmen, ob das Objekt 1008 wirklich in der Umgebung 1300 vorhanden ist. Wenn die Daten des zweiten Sensors mit den Daten des ersten Sensors übereinstimmen, überträgt das AF 100 die grafische Benutzerschnittstelle an die Anzeigevorrichtung 312. In einigen Ausführungsformen sagt das Planungsmodul 404 als Reaktion auf die Daten des zweiten Sensors, die mit den Daten des ersten Sensors übereinstimmen, ein Ausweichmanöver des AF 100 zum Vermeiden einer Kollision mit dem Objekt 1008 vorher. In einigen Ausführungsformen identifiziert das Wahrnehmungsmodul 402 eine Diskrepanz zwischen den Daten des zweiten Sensors und den Sensordaten. Das Wahrnehmungsmodul 402 bestimmt, dass die Diskrepanz mit dem zuvor identifizierten Objekt 1008 zusammenhängt. Daher ist das Objekt 1008 in der Umgebung 1300 nicht vorhanden. Das AF 100 entfernt einen Abschnitt der Sensordaten, die mit der Diskrepanz verbunden sind, vor dem Erzeugen der grafischen Benutzerschnittstelle.
In einigen Ausführungsformen gibt es eine Zeitdifferenz zwischen dem Erzeugen der grafischen Benutzerschnittstelle und dem Übertragen der grafischen Benutzerschnittstelle an die Anzeigevorrichtung 312. Das Erzeugen der grafischen Benutzerschnittstelle wird zu einem ersten Zeitpunkt und das Übertragen der grafischen Benutzerschnittstelle an die Anzeigevorrichtung 312 zu einem zweiten Zeitpunkt durchgeführt. In einigen Ausführungsformen wird eine Zeitdifferenz zwischen dem ersten und dem zweiten Zeitpunkt basierend auf einer Betriebsgeschwindigkeit des AF 100 erhöht. Die Zeitverzögerung kann dazu verwendet werden, sanftere Animationseffekte auf der Anzeigevorrichtung 312 bereitzustellen oder Informationen zu entfernen, die den Bildschirm überladen könnten. Die Zeitverzögerung kann auf eine Zeitspanne abgestimmt sein, die ein Insasse benötigt, um seine Aufmerksamkeit von einem Fahrzeugfenster oder Sichtfenster auf die Anzeigevorrichtung 312 zu richten. In einigen Ausführungsformen kann die Zeitverzögerung basierend auf einer Betriebsgeschwindigkeit des AF 100 eingestellt werden. Falls sich das AF 100 beispielsweise schneller bewegt, kann die Zeitverzögerung zwischen dem Erzeugen der grafischen Benutzerschnittstelle und deren Anzeige auf der Anzeigevorrichtung 312 geringer sein.
In einigen Ausführungsformen bestimmt das Wahrnehmungsmodul 402 ein Vertrauensniveau, das mit dem Erzeugen der grafischen Benutzerschnittstelle verbunden ist. Beispielsweise können LiDAR-Beobachtungen mit einem niedrigeren Vertrauensniveau herausgefiltert werden, sodass falsch-positive Ergebnisse auf der Anzeigevorrichtung 312 nicht angezeigt werden. Das Wahrnehmungsmodul 402 kann eine Punktzahl bestimmen, die eine Wahrscheinlichkeit größer als null anzeigt, dass ein Segment der Sensordaten einen Fußgänger 192 oder ein anderes Objekt 1008 darstellt. Unterschreitet die Punktzahl einen Schwellenwert, überträgt das AF 100 als Reaktion entweder die grafische Benutzerschnittstelle nicht an die Anzeigevorrichtung 312 oder löscht die Anzeige des Fußgängers 192 oder des Objekts 1008 in der Anzeigevorrichtung 312. Das Übertragen der grafischen Benutzerschnittstelle an die Anzeigevorrichtung 312 erfolgt in Reaktion darauf, dass das Vertrauensniveau einen Schwellenwert überschreitet.
In einigen Ausführungsformen filtert das Wahrnehmungsmodul 402 die Sensordaten, um Rauschen mittels digitaler Signalverarbeitung aus den Sensordaten zu entfernen. Zum Beispiel kann ein Medianfilter verwendet werden, um Rauschen aus einem Bild oder einem Sensorsignal in einem Vorverarbeitungsschritt zu entfernen und die Ergebnisse der späteren Verarbeitung zu verbessern. Das Erzeugen der grafischen Benutzerschnittstelle erfolgt basierend auf den gefilterten Sensordaten, sodass es nicht zu falsch-positiven Ergebnissen kommt. Falsch-Negative können ebenfalls durch Zeitverzögerungen und Rauschfiltern erkannt werden. Aufgrund von Rauschen in den Sensordaten kann ein Objekt 1008 von der grafischen Benutzerschnittstelle verschwinden, falls kein Rauschfiltern durchgeführt wird (falsch-negativ). Möglicherweise erscheint das Objekt 1008 dann einige Bilder später wieder. Das Wahrnehmungsmodul 402 vermeidet derartige Falsch-Negative durch Abgleichen aufeinanderfolgender Bilder, um festzustellen, ob das Objekt 1008 wirklich aus der Umgebung 1300 verschwunden ist. In einigen Ausführungsformen sagt das Planungsmodul 404 basierend auf den gefilterten Sensordaten ein Fahrmanöver des AF 100 zum Vermeiden einer Kollision mit einem Objekt 1008 vorher, sodass unnütze oder unnötige Fahrmanöver reduziert werden.
In einigen Ausführungsformen entfernt das AF 100 einen Abschnitt der Sensordaten vor dem Erzeugen der grafischen Benutzerschnittstelle. Die Sensordaten können unnötige Informationen oder Details über die Umgebung 1300 enthalten. Beispielsweise können Details einer stark befahrenen Autobahn oder von Gebäuden für einen Insassen von geringem Interesse sein oder den Insassen verwirren. Die LiDAR-Punktwolke kann bearbeitet werden, um Ausreißer oder Rauschen zu entfernen. Kantenerkennung kann an LiDAR-Bildern oder Kamerabildern durchgeführt werden, um Objekte zu identifizieren, die nicht angezeigt werden sollen. Sensordaten, die zu diesen Objekten gehören, werden gelöscht.
In einigen Ausführungsformen identifiziert das Planungsmodul 404 ein Objekt 1008 so, dass die Wahrscheinlichkeit einer Kollision des AF 100 mit dem Objekt 1008 größer als ein Schwellenwert ist. Das Objekt 1008 kann zum Beispiel ein Fahrzeug 193 sein, das vor dem AF 100 abbremst, oder ein Fußgänger 192, der vor dem AF 100 auf die Straße gesprungen ist. Die Kollisionswahrscheinlichkeit wird basierend auf dem seitlichen Abstand des AF 100 vom Objekt 1008 oder einer relativen Geschwindigkeit des Objekts 1008 und des AF 100 berechnet. In einigen Ausführungsformen bestimmt das Planungsmodul 404 die Wahrscheinlichkeit einer Kollision des AF 100 mit dem Objekt 1008 durch Vorhersagen einer Bewegungsbahn für das Objekt 1008. Das Planungsmodul 404 kann vorhersagen, dass sich das Objekt 1008 bei seiner gegenwärtigen Geschwindigkeit geradlinig bewegen wird. In einigen Ausführungsformen verwendet das Planungsmodul 404 einen erweiterten Kalmanfilter, um das Objekt 1008 zu verfolgen und einen Zeitpunkt für eine potenzielle Kollision zu bestimmen. In einer anderen Ausführungsform verwendet das Wahrnehmungsmodul 402 eine Sensorfusion, um Sensordaten (z. B. unter Verwendung eines Kalmanfilters) der Sensoren 1304 zu kombinieren. Das Planungsmodul 404 bestimmt potenzielle Verhaltensweisen für das Objekt 1008 (z. B. Fahrstreifenwechsel, Linksschwenken usw.) und weist jedem potenziellen Verhalten Wahrscheinlichkeiten zu.
In einigen Ausführungsformen identifiziert oder klassifiziert das Wahrnehmungsmodul 402 ein Objekt 1008 basierend auf den aus den Sensoren 1304 empfangenen Sensordaten. Das Planungsmodul 404 bestimmt eine oder mehrere Betriebsbedingungen für das AF 100, um eine Kollision des AF 100 mit dem Objekt 1008 zu vermeiden. Beispielsweise kann eine Betriebseinschränkung eine maximale Betriebsgeschwindigkeit für das AF 100 oder einen Mindestabstand festlegen, den das AF 100 von einem Fahrzeug 193 einhalten sollte, um eine Kollision zu vermeiden. Die Betriebseinschränkung kann das AF 100 dazu veranlassen, den Fahrstreifen zu wechseln, um eine Kollision zu vermeiden. In einigen Ausführungsformen umfasst die Betriebseinschränkung eine Mindestbetriebsgeschwindigkeit für das AF 100. Zum Beispiel kann das AF 100 erkennen, dass ein Fahrzeug 193 kurz davor ist, die Straße vor der Straße zu überqueren, und das AF 100 nicht genügend Zeit zum Anhalten hat. Das AF 100 kann möglicherweise schneller fahren, um dem Fahrzeug 193 auszuweichen.
In einigen Ausführungsformen umfasst die Betriebseinschränkung eine maximale Beschleunigung des AF 100. Beispielsweise kann das Planungsmodul 404 eine maximale Beschleunigungsgrenze bestimmen, sodass das AF 100 nicht zu schnell beschleunigt und mit dem Objekt 1008 kollidiert. In anderen Ausführungsformen umfasst die Betriebseinschränkung eine Mindestbeschleunigung. Zum Beispiel kann das AF 100 erkennen, dass ein Fußgänger 192 im Begriff ist, die Straße vor der Straße zu überqueren, und das AF 100 nicht genügend Zeit zum Anhalten hat. Das AF 100 kann möglicherweise beschleunigen, um dem Fußgänger 192 auszuweichen. In anderen Ausführungsformen gibt die Betriebseinschränkung einen Fahrstreifen der Straße vor, auf der das AF 100 fahren soll. So kann z. B. auf einem ersten Fahrstreifen der Straße, auf der das AF 100 fährt, ein Baustellenbereich voraus liegen. Das Planungsmodul 404 erzeugt daher eine Betriebseinschränkung, die einen zweiten Fahrstreifen der Straße für das Befahren des AF 100 vorgibt, sodass eine Kollision des AF 100 mit dem Baustellenbereich vermieden wird. Beispiele für Betriebseinschränkungen sind oben mit Bezug auf Geschwindigkeitsbeschränkungen 912 in 9 und physische Beschränkungen in 10 dargestellt und beschrieben. Das AF 100 aktualisiert die grafische Benutzerschnittstelle zum Anzeigen der Betriebseinschränkung. Beispielsweise wird der grafischen Benutzerschnittstelle eine Grafik, ein Text oder ein Symbol hinzugefügt, das die Betriebseinschränkung anzeigt.
In einigen Ausführungsformen passt das AF 100 eine Größe der Darstellung (z. B. Symbol oder Polygon) des Objekts 1008 basierend auf der Wahrscheinlichkeit der Kollision des AF 100 mit dem Objekt 1008 an. Falls das Planungsmodul 404 zum Beispiel bestimmt, dass die Wahrscheinlichkeit einer Kollision des AF 100 mit dem Objekt 1008 höher ist, vergrößert das AF 100 die Größe eines Symbols, das das Objekt 1008 darstellt. Das Planungsmodul 404 erzeugt dann eine Betriebseinschränkung für das AF 100, um die Kollision zu vermeiden. Sobald die Wahrscheinlichkeit der Kollision des AF 100 mit dem Objekt 1008 abnimmt, verringert das AF 100 die Größe des Symbols, das das Objekt 1008 darstellt.
In einigen Ausführungsformen erzeugt das AF 100 eine grafische Benutzerschnittstelle mit geometrischen Modellen des AF 100 und einem Objekt 1008, das sich in einem ersten Abstand d1 zum AF 100 zu einem ersten Zeitpunkt t1 befindet. Das AF 100 erfasst mit seinen Sensoren 1304 zum Zeitpunkt t1, dass sich das Objekt 1008 (z. B. ein Fahrzeug, ein Fußgänger, ein Baustellenbereich usw.) in einem Abstand d1 zum AF 100 befindet. Beispielsweise können LiDAR-Sensoren verwendet werden, um den Abstand d1 basierend auf der Zeit zu bestimmen, die benötigt wird, bis LiDAR-Strahlen, die durch das AF 100 in Richtung des Objekts 1008 ausgesendet werden, zum AF 100 zurückkehren. Das Wahrnehmungsmodul 402 empfängt aus den Sensoren 1304 zu einem zweiten Zeitpunkt t2 Sensordaten, die das Objekt 1008 darstellen. Zu einem zweiten Zeitpunkt t2 nach dem ersten Zeitpunkt t1 bestimmt das Planungsmodul 404, dass sich das Objekt 1008 in einem zweiten Abstand d2 zum AF 100 befindet und dass der zweite Abstand d2 kleiner als der erste Abstand d1 ist. Das Planungsmodul 404 bestimmt daher, dass sich das AF 100 und das Objekt 1008 einander nähern.
Das Planungsmodul 404 kann erkennen, dass eine Kollision des AF 100 mit dem Objekt 1008 wahrscheinlich oder möglich ist. In einigen Ausführungsformen bestimmt das Planungsmodul 404 eine Zeitdifferenz t2-t1 zwischen dem ersten Zeitpunkt t1 und dem zweiten Zeitpunkt t2. Das Planungsmodul 404 bestimmt eine Abstandsdifferenz d2-d1 zwischen dem ersten Abstand d1 und dem zweiten Abstand d2. Das Planungsmodul 404 bestimmt basierend auf der Zeitdifferenz t2-t1 und der Abstandsdifferenz d2-d1 die Wahrscheinlichkeit einer Kollision des AF 100 mit dem Objekt 1008. Falls zum Beispiel t2-tl kleiner und d2-d1 größer ist, ist die Wahrscheinlichkeit einer Kollision höher.
Das Planungsmodul 404 erzeugt eine Betriebseinschränkung für das AF 100, um eine Kollision mit dem Objekt 1008 zu vermeiden. Das Planungsmodul 404 kann für das AF 100 ein Fahrzeugmanöver bestimmen, um eine Kollision mit dem Objekt 1008 zu vermeiden. Zum Beispiel kann das Planungsmodul 404 bestimmen, dass das AF 100 eine Betriebsgeschwindigkeit erhöhen, abbremsen oder den Fahrstreifen wechseln soll, um die Kollision zu vermeiden. In einigen Ausführungsformen umfasst das Fahrzeugmanöver das Ändern einer Betriebsgeschwindigkeit des AF 100 unter Verwendung des Steuermoduls 406 des AF 100. Das Steuermodul 406 ist oben mit Bezug auf 4 dargestellt und beschrieben. Das Fahrzeugmanöver kann das Ändern einer Beschleunigung des AF 100 unter Verwendung des Steuermoduls 406 und der Steuerfunktionen 420a-c (z. B. Lenken, Drosselklappenbetätigung, Bremsen, Zündung) zum Verlangsamen oder Beschleunigen des AF 100 umfassen. Die Steuerfunktionen 420a-c (z. B. Lenken, Drosselklappenbetätigung, Bremsen, Zündung) sind oben mit Bezug auf 4 dargestellt und beschrieben. Mithilfe des Steuermoduls 406 und der Lenkradvorrichtung 102, die oben mit Bezug auf 1 dargestellt und beschrieben sind, kann das Fahrzeugmanöver auch das Wechseln eines Fahrstreifens umfassen, auf der das Fahrzeug fährt. In einigen Ausführungsformen umfasst ein Fahrzeugmanöver das Anpassen einer Bewegungsbahn des AF 100, sodass ein Abstand des AF 100 zum Objekt 1008 zu einem dritten Zeitpunkt t3 nach dem zweiten Zeitpunkt t2 vergrößert wird.
Das AF 100 aktualisiert die grafische Benutzerschnittstelle, sodass die aktualisierte grafische Benutzerschnittstelle eine Darstellung des Fahrzeugmanövers enthält. Beispielsweise kann die aktualisierte grafische Benutzerschnittstelle eine Gedankenblase mit Text enthalten, in der erklärt wird, dass das AF 100 beschleunigt oder verlangsamt, um einem Fußgänger 192 oder einem Fahrzeug 193 auszuweichen. Die aktualisierte grafische Benutzerschnittstelle kann Pfeile enthalten, die anzeigen, dass das AF 100 schwenkt, um einem Baustellenbereich auszuweichen. In einigen Ausführungsformen aktualisiert das AF 100 die grafische Benutzerschnittstelle, sodass die aktualisierte grafische Benutzerschnittstelle eine dem Fahrzeugmanöver entsprechende Bewegungsbahn des AF 100 anzeigt. Das AF 100 zeigt die aktualisierte grafische Benutzerschnittstelle auf der Anzeigevorrichtung 312 an.
Das AF 100 empfängt Insasseneingaben, die auf ein Objekt 1008 gerichtet sind, das auf der Anzeigevorrichtung 312 angezeigt wird. Beispielsweise kann ein Insasse auf der Anzeigevorrichtung 312 in der Nähe oder auf das referenzierte Objekt 1008 drücken, tippen oder scrollen, um weitere Informationen über das referenzierte Objekt 1008 anzufordern oder die Anzeige des referenzierten Objekts 1008 zu löschen. Die Insasseneingabe kann dem AF 100 angeben, dass der Insasse eine Nachricht aus der Anzeigevorrichtung 312 erhalten hat oder dass die Anzeigevorrichtung 312 mehr Details über das referenzierte Objekt 1008 anzeigen soll.
Als Reaktion auf das Empfangen der Insasseneingabe aus der Eingabevorrichtung 314 aktualisiert das AF 100 eine Darstellung des Objekts 1008 innerhalb der grafischen Benutzerschnittstelle. Beispielsweise kann das AF 100 mehr Details über das referenzierte Objekt 1008 anzeigen (z. B. einen Abstand des referenzierten Objekts 1008 zum AF 100, eine Farbe des referenzierten Objekts 1008, eine Klassifizierung des referenzierten Objekts 1008, eine vorhergesagte zukünftige Bewegung des referenzierten Objekts 1008 usw.). Das AF 100 zeigt möglicherweise weniger Details über das referenzierte Objekt 1008 an oder löscht das referenzierte Objekt 1008 in der Anzeigevorrichtung 312. In einigen Ausführungsformen aktualisiert das AF 100 basierend auf den Insasseneingaben eine Darstellung des Objekts 1008 durch Vergrößern des Objekts 1008 innerhalb der grafischen Benutzerschnittstelle. Beispielsweise kann ein Symbol, das das referenzierte Objekt 1008 darstellt, vergrößert werden. In einigen Ausführungsformen aktualisiert das AF 100 die Darstellung des Objekts 1008 durch Erhöhen der Anzeigeauflösung des referenzierten Objekts 1008 innerhalb der grafischen Benutzerschnittstelle. Dies kann dem Insassen helfen, die Art des Objekts 1008 oder das Verhalten des referenzierten Objekts 1008 besser zu verstehen.
In einigen Ausführungsformen empfängt das AF 100 eine Insasseneingabe (z. B. die haptische Eingabe 1508 in 15 unten), die sich auf ein Objekt 1008 bezieht, das mit der Anzeigevorrichtung 312 auf der grafischen Benutzerschnittstelle angezeigt wird, z. B. wenn die Anzeigevorrichtung 312 ein Touchscreen ist. Die grafische Benutzerschnittstelle kann ein computerausführbares semantisches Symbol umfassen, das das referenzierte Objekt 1008 darstellt. Das computerausführbare semantische Symbol ist dazu ausgelegt, die Insasseneingabe an das AF 100 zu übertragen. Ein Insasse wählt beispielsweise ein Symbol, das das Objekt 1008 auf der Anzeigevorrichtung 312 darstellt, um weitere Informationen zu einem Fahrmanöver zu erhalten, das das AF 100 durchführt, um eine Kollision mit dem referenzierten Objekt zu vermeiden. Als Reaktion auf das Empfangen der Insasseneingabe vom computerausführbaren semantischen Symbol zeigt das ΛF 100 Text an, der den ersten Zeitpunkt t1 und den ersten Abstand d1 auf der Anzeigevorrichtung 312 darstellt. In einigen Ausführungsformen zeigt das AF 100 Text an, der den zweiten Zeitpunkt t2 und den zweiten Abstand d2 auf der Anzeigevorrichtung 312 darstellt. Die Anzeige hilft dem Insassen, das Fahrmanöver und den Grund für das Manöver zu verstehen. In anderen Ausführungsformen kann die Darstellung eines angezeigten Fahrzeugmanövers ein oder mehrere animierte Symbole enthalten, die zum Anzeigen auf der Anzeigevorrichtung 312 ausgelegt sind. Die Symbole können zum Beispiel animierte GIF-Symbole sein, die einen Fußgänger darstellen, der vor dem AF 100 läuft, und das AF 100, das schwenkt oder anhält, um den Fußgänger nicht anzufahren.
In einigen Ausführungsformen warnt das AF 100 einen Insassen im AF 100 im Voraus, dass das AF 100 bremsen wird. Der Insasse kann sich somit vorbereiten, und die Warnung erhöht das Komfortniveau des Insassen. Für die Warnung bestimmt das Planungsmodul 404, ob das AF 100 zu einem dritten Zeitpunkt t3 einen Bremsvorgang durchführt. Zum Beispiel kann das AF 100 seine Sensoren 1304 verwenden, um ein Objekt 1008 zu erfassen. Das Planungsmodul 404 bestimmt anhand der Sensordaten, dass ein Bremsvorgang notwendig ist, um eine Kollision des AF 100 mit dem Objekt 1008 zu vermeiden. In einigen Ausführungsformen dient das Durchführen des Bremsvorgangs dazu, eine Kollision des AF 100 mit dem Objekt 1008 zu vermeiden. Als Reaktion auf das Bestimmen, dass das AF 100 den Bremsvorgang durchführt, bestimmt das AF 100 mithilfe der Insassensensoren 1308, ob sich ein oder mehrere Insassen im AF 100 befinden.
Als Reaktion auf das Bestimmen, dass Insassen vorhanden sind, überträgt das AF 100 die Audioausgabe über den Smart Speaker 1316 zu einem vierten Zeitpunkt t4 vor dem dritten Zeitpunkt t3. Die Audioausgabe oder Nachricht informiert die Insassen, dass das AF 100 den Bremsvorgang zum dritten Zeitpunkt t3 durchführen wird. In einigen Ausführungen enthält die Audioausgabe eine Anweisung an die Insassen, eine Armlehne des AF 100 zu ergreifen, bevor das AF 100 den Bremsvorgang durchführt. Die Audioausgabe kann eine Anweisung an die Insassen enthalten, sich auf den Bremsvorgang vorzubereiten, z. B. durch das Sichern von Taschen oder anderen persönlichen Gegenständen. In einigen Ausführungen überträgt das AF 100 die Audioausgabe basierend auf den Komfortpräferenzen der Insassen. In einigen Ausführungen überträgt das AF 100 die Audioausgabe, die die Insassen darüber informiert, dass das AF 100 den Bremsvorgang ausführt, wenn die Zeitdifferenz zwischen dem aktuellen Zeitpunkt t4 und dem dritten Zeitpunkt t3 einen Schwellenwert unterschreitet. In einigen Ausführungsformen wird die Aktualisierung der grafischen Benutzerschnittstelle als Reaktion auf das Unterschreiten der Zeitdifferenz unter einen Schwellenwert angezeigt. Das AF 100 zeigt ferner auf der Anzeigevorrichtung 312 eine Aktualisierung der grafischen Benutzerschnittstelle an. Die Aktualisierung enthält eine Darstellung einer Zeitdifferenz zwischen t4 und t3.
In einigen Ausführungsformen dient das Durchführen des Bremsvorgangs dazu, eine Verkehrsregel wie z. B. eine reduzierte Geschwindigkeitsbegrenzung zu befolgen. Zum Beispiel bestimmt das Planungsmodul 404 einen räumlich-zeitlichen Standort des AF 100 basierend auf Odometriedaten, die aus einem oder mehreren Sensoren 1304 des AF 100 empfangen werden. Die Sensoren 1304 enthalten GNSS-Sensoren zum Bestimmen des Standortes. Das Planungsmodul 404 bestimmt basierend auf den Sensordaten einen räumlich-zeitlichen Ort einer Ampel relativ zum AF 100. Zum Beispiel kann das Wahrnehmungsmodul 402 die LiDARs des AF 100 zum Erfassen der Ampel verwenden. Zum Bestimmen aus den Sensordaten kann das Wahrnehmungsmodul 402 Objekterkennung, Mustervergleich oder Objektklassifikation verwenden. Das Wahrnehmungsmodul 402 bestimmt ferner basierend auf den aus einem oder mehreren Sensoren 1304 empfangenen Sensordaten, ob eine Farbe der Ampel rot oder gelb ist. Zum Beispiel kann eine Kamera des AF 100 dazu verwendet werden, die Farbe der Ampel zu erkennen. Das Planungsmodul 404 erzeugt Anweisungen für den Bremsvorgang als Reaktion auf das Bestimmen, dass die Farbe der Ampel rot oder gelb ist.
Als Reaktion auf das Bestimmen, dass das AF 100 den Bremsvorgang zum dritten Zeitpunkt t3 durchführen wird, erzeugt das AF 100 eine grafische Darstellung des Bremsvorgangs. Beispielsweise kann die grafische Benutzerschnittstelle eine Gedankenblase enthalten, die das Bremsverhalten des AF 100 anzeigt. Die grafische Benutzerschnittstelle kann mit Text beschriftet sein, z. B. „Bremsen für Fußgänger beim Überqueren der Straße“ oder „Fahrstreifenwechsel, um einem Fahrzeug auszuweichen“. In einigen Ausführungsformen wird die Gedankenblase bei Objekten angezeigt, die weniger als einen Schwellenabstand zum AF 100 aufweisen. Auf diese Weise werden Gedankenblasen für weiter entfernte Objekte nicht angezeigt, um den Insassen nicht zu verwirren. Die Gedankenblase kann zum Erhöhen des Insassenkomforts verwendet werden. Falls die Gedankenblase beispielsweise die Nachricht „Bremsung in 10 Sekunden“ anzeigt, kann sich der Insasse auf seinem Sitz zurücklehnen, die Türgriffe greifen, sich abstützen usw.
Zu einem vierten Zeitpunkt t4, der vor dem dritten Zeitpunkt t3 liegt, wird die grafische Benutzerschnittstelle, die den Bremsvorgang anzeigt, an die Anzeigevorrichtung 312 des AF 100 übertragen. In einigen Ausführungsformen enthält die grafische Benutzerschnittstelle eine textliche Darstellung einer Differenz t3-t4 zwischen dem dritten Zeitpunkt t3 und dem vierten Zeitpunkt t4. Die Textdarstellung gibt dem Insassen Informationen darüber, wann oder wie schnell der Bremsvorgang stattfinden wird. In anderen Ausführungsformen werden Betriebseinschränkungen für das AF 100 auf der Anzeigevorrichtung 312 angezeigt. Beispielsweise kann die Anzeigevorrichtung 312 eine Nachricht oder Grafik anzeigen, die besagt, dass ein Fahrzeug 193 vor dem AF 100 das Planungsmodul 404 veranlasst, die Geschwindigkeit des AF 100 zu reduzieren. Die Anzeigevorrichtung 312 kann eine Nachricht oder Grafik anzeigen, die die Geschwindigkeitsbeschränkung der Straße angibt, oder dass ein Fußgänger 192 vor das AF 100 gesprungen ist.
In einigen Ausführungsvarianten ruft das Planungsmodul 404 die Komfortpräferenzen eines Insassen im AF 100 aus einem Server 136 oder einer Datenspeichereinheit 142 des AF 100 ab. Der Server 136 und die Datenspeichereinheit 142 sind oben mit Bezug auf 1 dargestellt und beschrieben. Die Komfortpräferenzen des Insassen können zum Beispiel festlegen, dass der Insasse eine bestimmte Zeit vor dem Bremsen gewarnt werden soll oder dass der Insasse lieber Text als Symbole auf der Anzeigevorrichtung 312 sehen möchte. Das Erzeugen der grafischen Benutzerschnittstelle wird durch das AF 100 basierend auf den Komfortpräferenzen der Insassen durchgeführt. In einigen Ausführungsformen enthält die grafische Benutzerschnittstelle ein semantisches Computersymbol. Die abgerufenen Insassenkomfortpräferenzen können eine Größe und eine Auflösung des semantischen Computersymbols festlegen. In anderen Ausführungsformen überträgt das AF 100 die grafische Benutzerschnittstelle an die Anzeigevorrichtung 312, die auf das Empfangen von Insassenkomfortdaten über den einen oder die mehreren Insassensensoren 1308 des AF 100 reagiert und ein bestimmtes Niveau des Insassenkomforts anzeigt. Beispielsweise kann der Insasse über bevorstehende Bremsvorgänge informiert werden, falls er sich unwohl fühlt.
In einigen Ausführungsformen überträgt das AF 100 ein Signal, z. B. ein elektrisches oder digitales Signal, an einen oder mehrere Aktoren 1312, die sich innerhalb des AF 100 befinden. Das Signal weist die Aktoren 1312 an, zu vibrieren. Die Vibration weist auf den Bremsvorgang hin. Die grafische Benutzerschnittstelle wird somit durch physische Signale begleitet, um den Insassen im AF 100 zu warnen. Zum Beispiel zeigen vibrierende Armlehnen oder Sitzkissen dem Insassen an, dass das AF 100 bremsen wird und dass der Insasse sich abstützen und auf den Bremsvorgang vorbereiten sollte. In einigen Ausführungsformen enthält die grafische Benutzerschnittstelle oder die Audioausgabe zu einem Zeitpunkt t4 vor dem Bremsen des AF 100 zum Zeitpunkt t3 die Anweisung an einen im Insassen im AF 100, eine Armlehne des AF 100 zu greifen. Die Anweisung kann auf der Anzeigevorrichtung 312 als Text, Symbol oder als Bildzeichen angezeigt werden.
In einigen Ausführungsformen ermittelt das Planungsmodul 404 die Zeitdifferenz t3-t4 zwischen dem dritten Zeitpunkt t3 und dem vierten Zeitpunkt t4. Der Zeitpunkt t4 wird so berechnet, dass der Insasse genügend Zeit hat, einen Türgriff zu ergreifen oder sich abzustützen. Das AF 100 überträgt die grafische Benutzerschnittstelle an die Anzeigevorrichtung 312, wenn die Zeitdifferenz t3-t4 einen Schwellenwert unterschreitet. Auf diese Weise wird der Insasse nur benachrichtigt, falls ein Bremsvorgang bevorsteht, und der Insasse wird nicht benachrichtigt, wenn das AF 100 vom Objekt 1008 weit entfernt ist.
Anzeigevorrichtungen für autonome Fahrzeuge
14 veranschaulicht eine Anzeigevorrichtung 312 zum Anzeigen des Verhaltens autonomer Fahrzeuge auf einer grafischen Benutzerschnittstelle gemäß einer oder mehreren Ausführungsformen. Die Anzeigevorrichtung 312 zeigt eine grafische Benutzerschnittstelle an, die einem Insassen im AF 100 Daten zur Verfügung stellt. Die Daten können die Bewegungsbahn 198 des AF 100, ein durch das AF 100 ausgeführtes Fahrmanöver, eine Karte, Komforteinstellungen für den Fahrzeuginsassen oder Betriebskennzahlen wie Geschwindigkeit oder Beschleunigung darstellen. Die Anzeigevorrichtung 312 ist oben mit Bezug auf 3 und 13 dargestellt und beschrieben. Die Anzeigevorrichtung 312 kann ein LCD-, LED- oder AMOLED-Display, einen Touchscreen, eine haptische Anzeige wie z. B. ein vibrierendes Pad (z. B. für einen blinden Insassen) oder einen Lautsprecher für die akustische Ausgabe an einen Insassen umfassen. Die Anzeigevorrichtung 312 kann eine Mobilvorrichtung (z. B. mit dem AF 100 fest verbunden), ein Tablet oder ein Laptop sein. In einigen Ausführungsformen ist die Anzeigevorrichtung 312 an einer Innenfläche des Fahrzeugs angebracht, z. B. an einer Sitzlehne 1404 oder an einer Säule des AF 100.
15 veranschaulicht eine mobile Anzeigevorrichtung 1512 zum Anzeigen des Verhaltens autonomer Fahrzeuge auf einer grafischen Benutzerschnittstelle 1500 gemäß einer oder mehreren Ausführungsformen. Ein Insasse kann die Mobilvorrichtung 1320 in das AF 100 mitnehmen und die Mobilvorrichtung 1320 kann mit dem AF 100 verbunden werden. Die Mobilvorrichtung 1320 ist oben mit Bezug auf 13 ausführlicher beschrieben. In einigen Ausführungsformen empfängt die Mobilvorrichtung 1320 haptische Insasseneingaben 1508 von einem Fahrzeuginsassen 1504. In anderen Ausführungsformen empfängt die Mobilvorrichtung 1320 gesprochene Sprachbefehle und sendet sie über Bluetooth oder NFC an das AF 100.
Grafische Benutzerschnittstelle zum Anzeigen des Verhaltens autonomer Fahrzeuge
16 veranschaulicht eine grafische Benutzerschnittstelle 1600 zum Anzeigen des Verhaltens autonomer Fahrzeuge gemäß einer oder mehreren Ausführungsformen. Die grafische Benutzerschnittstelle 1600 enthält Darstellungen des AF 100, eine Bewegungsbahn 1604 des AF 100 und die Objekte 1608 und 1612. Das Vertrauensniveau des AF 100 beim Identifizieren der Objekte basierend auf den Sensordaten wird dargestellt. Zur Darstellung der verschiedenen Objekte werden geometrische Modelle verwendet. Das Vertrauensniveau des AF 100 beim Identifizieren des Objekts 1608 beträgt 100%. Das Objekt 1608 wird daher mit einer dunkleren Farbe dargestellt. Das Vertrauensniveau des AF 100 beim Identifizieren des Objekts 1612 beträgt 50%. Das Objekt 1608 wird daher mit einer helleren Farbe dargestellt.
Geometrische Modelle zum Anzeigen des Verhaltens autonomer Fahrzeuge
17 veranschaulicht geometrische Modelle 1700 zum Anzeigen des Verhaltens autonomer Fahrzeuge gemäß einer oder mehreren Ausführungsformen. Zum Darstellen eines Fahrzeugs 193, eines Fußgängers 192, des AF 100, eines Radfahrers 1704, eines nicht identifizierten Objekts 1708 und eines Baustellenbereichs 1712 werden verschiedene Arten von geometrischen Modellen und Symbolen verwendet. Die geometrischen Modelle sind zum Anzeigen in eine grafische Benutzerschnittstelle eingebettet.
Grafische Benutzerschnittstellen zum Anzeigen des Verhaltens autonomer Fahrzeuge
18 veranschaulicht eine grafische Benutzerschnittstelle 1800 zum Anzeigen des Verhaltens autonomer Fahrzeuge gemäß einer oder mehreren Ausführungsformen. Die grafische Benutzerschnittstelle 1800 enthält Darstellungen des AF 100, eines Fahrzeugs 1804, eines Fußgängers 192, eines Fußgängers 1820, einer Gedankenblase 1812 und eines Fahrmanövers 1816 für das AF 100.
Das AF 100 erzeugt die grafische Benutzerschnittstelle 1800, die die Darstellungen des AF 100 und des Fußgängers 192 enthält, wie oben mit Bezug auf 13 beschrieben. Das AF 100 bestimmt, dass der Fußgänger 1820 die Straße vor dem AF 100 überquert und dass das AF 100 und der Fußgänger 1820 sich einander nähern. Das AF 100 kann eine Wahrscheinlichkeit einer Kollision des AF 100 mit dem Fußgänger 1820 bestimmen. Das AF 100 bestimmt ein Fahrzeugmanöver 1816 (z. B. nach links schwenken) für das AF 100, um eine Kollision mit dem Fußgänger 1820 zu vermeiden. Das AF 100 kann seine Geschwindigkeit erhöhen, um auszuweichen, die Geschwindigkeit verringern oder den Fahrstreifen wechseln usw. Das AF 100 aktualisiert die grafische Benutzerschnittstelle 1800, sodass die aktualisierte grafische Benutzerschnittstelle 1800 eine Darstellung des Fahrzeugmanövers 1816 enthält. Die Darstellung des Fahrmanövers ist die Gedankenblase 1812, die ein Symbol eines Fußgängers enthält. Das AF 100 zeigt die aktualisierte grafische Benutzerschnittstelle 1800 auf der Anzeigevorrichtung 312 an.
In einigen Ausführungsformen filtert das Wahrnehmungsmodul 402 Rauschen 1824 oder Unsicherheiten, die mit den Sensordaten verbunden sind, heraus. Das AF 100 verzögert das Aufbauen der Darstellung eines Objekts innerhalb der grafischen Benutzerschnittstelle 1800, um zu bestimmen, ob das Objekt wirklich vorhanden ist oder ob eine falsch-positive Klassifizierung durch Rauschen 1824 in den Sensordaten entstanden ist. Nach einer Zeitverzögerung erzeugen die Sensoren 1304 neue Sensordaten, die das Objekt darstellen. Das Wahrnehmungsmodul 402 gleicht Merkmale der Sensordaten ab, um zu bestimmen, ob das Objekt wirklich vorhanden ist. In einigen Ausführungsformen filtert das Wahrnehmungsmodul 402 die Sensordaten, um mittels digitaler Signalverarbeitung das Rauschen 1524 aus den Sensordaten zu entfernen. Zum Beispiel kann ein Medianfilter verwendet werden, um das Rauschen 1524 aus einem Bild oder einem Sensorsignal in einem Vorverarbeitungsschritt zu entfernen, um die Ergebnisse der späteren Verarbeitung zu verbessern. Das Erzeugen der grafischen Benutzerschnittstelle 1800 erfolgt basierend auf den gefilterten Sensordaten, sodass es nicht zu falsch-positiven Ergebnissen kommt.
19 veranschaulicht eine grafische Benutzerschnittstelle 1900 zum Warnen eines Insassen vor einem Bremsvorgang gemäß einer oder mehreren Ausführungsformen. Die grafische Benutzerschnittstelle 1900 enthält Darstellungen des AF 100, eines Fahrzeugs 193, einer Gedankenblase 1908, eines Fahrstreifens 1912 und eines Fußgängers 192.
Die grafische Benutzerschnittstelle 1900 von 19 warnt einen Insassen im AF 100 im Voraus, dass das AF 100 einen Bremsvorgang durchführen wird. Der Insasse kann sich somit abstützen oder vorbereiten, und die Warnung erhöht das Niveau des Insassenkomforts. Für die Warnung bestimmt das Planungsmodul 404, ob das AF 100 zu einem zukünftigen Zeitpunkt einen Bremsvorgang durchführen wird. Das AF 100 kann seine Sensoren 1304 verwenden, um ein Objekt (z. B. eine Ampel) zu erfassen. Zum Beispiel kann das Wahrnehmungsmodul 402 die LiDARs des AF 100 zum Erfassen der Ampel verwenden. Das AF 100 verwendet die Sensordaten, um zu bestimmen, ob die Ampel rot oder gelb leuchtet und ein Bremsvorgang erforderlich ist, um einen Verstoß gegen eine Verkehrsregel zu vermeiden.
In einigen Ausführungsformen bestimmt das Wahrnehmungsmodul 402 aufgrund von Sensordaten, dass ein Objekt, das sich in einem Schwellenabstand zum AF 100 befindet, eine Ampel ist. Zum Bestimmen aus den Sensordaten können Objekterkennung, Mustervergleich, Objektklassifizierung usw. verwendet werden. Das Wahrnehmungsmodul 402 bestimmt ferner basierend auf den Sensordaten, ob eine Farbe der Ampel gelb oder rot ist. Zum Beispiel kann eine Kamera des AF 100 dazu verwendet werden, die Farbe der Ampel zu erkennen. Als Reaktion auf das Bestimmen, dass die Farbe der Ampel gelb oder rot ist, erzeugt das Planungsmodul 404 Anweisungen für den Bremsvorgang durch das Steuermodul 406. In anderen Ausführungsformen wird ein Bremsvorgang durchgeführt, um eine Kollision des AF 100 mit einem Objekt (z. B. Fußgänger 192 oder Fahrzeug 193) zu vermeiden.
Als Reaktion auf das Bestimmen, dass das AF 100 den Bremsvorgang durchführen wird, erzeugt das AF 100 die Gedankenblase 1908. Die Gedankenblase 1908 zeigt die Darstellung einer Ampel. Die grafische Benutzerschnittstelle 1900 kann mit Text versehen sein, z. B. „Bremsen für Fußgänger beim Überqueren der Straße“ (z. B. für Fußgänger 192) oder „Fahrstreifenwechsel, um einem Fahrzeug auszuweichen“ (z. B. für Fahrzeug 193). In einigen Ausführungsformen 1908 wird die Gedankenblase bei Objekten angezeigt, die weniger als einen Schwellenabstand zum AF 100 aufweisen. Gedankenblasen für weiter entfernte Objekte werden nicht angezeigt, um den Insassen nicht zu verwirren. Die Gedankenblase 1908 kann zum Erhöhen des Insassenkomforts verwendet werden. Falls die Gedankenblase 1908 beispielsweise die Nachricht „Bremsung in 15 Sekunden“ anzeigt, kann sich der Insasse auf seinem Sitz zurücklehnen, die Türgriffe greifen, sich abstützen usw.
Die grafische Benutzerschnittstelle 1900 wird an die Anzeigevorrichtung 312 des AF 100 übertragen. In einigen Ausführungsformen enthält die grafische Benutzerschnittstelle 1900 eine Textdarstellung einer Zeitdauer, nach der das AF 100 zu bremsen beginnt. Die Textdarstellung gibt dem Insassen Informationen darüber, wann oder wie schnell der Bremsvorgang stattfinden wird. In anderen Ausführungsformen werden Betriebseinschränkungen für das AF 100 auf der Anzeigevorrichtung 312 angezeigt. Beispielsweise kann die Anzeigevorrichtung 312 eine Nachricht oder Grafik anzeigen, die besagt, dass das Fahrzeug 193 auf der Seite des AF 100 zu nahe kommt und das AF 100 zum Bremsen und Fahrstreifenwechsel veranlasst. Die Anzeigevorrichtung 312 kann eine Nachricht oder Grafik anzeigen, die die Geschwindigkeitsbeschränkung der Straße angibt, oder dass der Fußgänger 192 vor das AF 100 gesprungen ist.
In einigen Ausführungsformen ruft das AF 100 die Komfortpräferenzen eines Insassen im AF 100 aus einem Server 136 oder einer Datenspeichereinheit 142 des AF 100 ab. Der Server 136 und die Datenspeichereinheit 142 sind oben mit Bezug auf 1 dargestellt und beschrieben. Die Insassenkomfortpräferenzen können festlegen, dass der Insasse eine bestimmte Zeit vor dem Bremsen gewarnt werden soll oder dass der Insasse lieber Text als Symbole auf der Anzeigevorrichtung 312 sehen möchte. Das Erzeugen der grafischen Benutzerschnittstelle 1900 wird durch das AF 100 basierend auf den Komfortpräferenzen der Insassen durchgeführt. In einigen Ausführungsformen 1900 enthält die grafische Benutzerschnittstelle ein semantisches Computersymbol (z. B. für Fußgänger 192). Die abgerufenen Insassenkomfortpräferenzen können eine Größe und eine Auflösung des semantischen Computersymbols festlegen. In anderen Ausführungsformen überträgt das AF 100 die grafische Benutzerschnittstelle 1900 an die Anzeigevorrichtung 312, die auf das Empfangen von Insassenkomfortdaten über den einen oder die mehreren Insassensensoren 1308 des AF 100 reagiert und ein bestimmtes Niveau von Insassenkomfort anzeigt. Beispielsweise kann der Insasse über bevorstehende Bremsvorgänge informiert werden, falls er sich unwohl fühlt.
20 veranschaulicht eine grafische Benutzerschnittstelle 2000 zum Anzeigen des Verhaltens autonomer Fahrzeuge gemäß einer oder mehreren Ausführungsformen. Das AF 100 fährt über eine Kreuzung. Ein Fahrzeug 193 und ein Fußgänger befinden sich hinter dem AF 100. Die Sensoren 1304 des AF 100 erkennen einen Baustellenbereich 2004. Das Planungsmodul 404 passt die Bewegungsbahn des AF 100 an, um dem Baustellenbereich 2004 auszuweichen. Das AF 100 aktualisiert die grafische Benutzerschnittstelle 2000 um eine Gedankenblase 2008. Die Gedankenblase 2008 informiert einen Insassen im AF 100 darüber, dass das AF 100 seine Bewegungsbahn anpasst, um einem Baustellenbereich auszuweichen.
Prozesse zum Erzeugen von grafischen Benutzerschnittstellen, die das AF- Verhalten anzeigen
21 veranschaulicht einen Prozess 2100 zum Erzeugen einer grafischen Benutzerschnittstelle, die das Verhalten autonomer Fahrzeuge gemäß einer oder mehrerer Ausführungsformen anzeigt. In einigen Ausführungsformen wird der Prozess 2100 von 21 durch das AF 100 durchgeführt. In anderen Ausführungsformen führen z. B. das Planungsmodul 404 oder das Wahrnehmungsmodul 402 einige oder alle Schritte des Prozesses 2100 durch. Ebenso können Ausführungsformen verschiedene und/oder zusätzliche Schritte enthalten oder die Schritte in verschiedener Reihenfolge durchführen.
Das AF 100 bestimmt 2104 eine Bewegungsbahn des AF 100 innerhalb der AF-Betriebsumgebung 1300 unter Verwendung eines oder mehrerer Prozessoren. Zum Bestimmen der Bewegungsbahn kann zum Beispiel ein Kürzester-Weg-Algorithmus oder ein gewichteter Optimierungsalgorithmus verwendet werden.
Das AF 100 erhält 2018 unter Verwendung eines oder mehrerer Sensoren 1304 Sensordaten, die ein Objekt 1008 in der AF-Betriebsumgebung 1300 darstellen. Die Sensordaten können 2D oder 3D sein, z. B. 2D-Kamerabilder oder 3D-LiDAR-Daten. Objekte, die sich innerhalb eines Schwellenabstands zum AF 100 befinden, werden klassifiziert. Das Objekt 1008 kann ein Fahrzeug oder ein Fußgänger sein.
Das AF 100 sagt 2112 unter Verwendung des einen oder der mehreren Prozessoren ein Ausweichmanöver des AF 100 vorher, um basierend auf den Sensordaten und der Bewegungsbahn des AF 100 eine Kollision mit dem Objekt 1008 zu vermeiden. Zum Beispiel kann das AF 100 einen Zeitpunkt in der Zukunft bestimmen, an dem sich seine Bewegungsbahn mit einer Bewegungsbahn des Objekts 1008 schneidet.
Das AF 100 bestimmt mithilfe des einen oder der mehreren Prozessoren 2116, dass das Insassenkomfortniveau eines Insassen im Fahrzeug basierend auf dem Fahrmanöver des AF 100 abnimmt. Das Insassenkomfortniveau wird durch einen oder mehrere Insassensensoren 1308 des AF 100 gemessen. Das AF 100 trifft mindestens teilweise basierend auf den gespeicherten Insassenkomfortdaten die Feststellung, dass das Insassenkomfortniveau abnehmen wird.
Das AF 100 erzeugt 2120 eine grafische Benutzerschnittstelle mit Darstellungen des AF 100, des Objekts 1008 und einer Grafik, einem Text oder einem Symbol, das den Insassen vor dem vorhergesagten Fahrmanöver warnt. Die grafische Benutzerschnittstelle kann eine Darstellung der Straßenstruktur einschließlich Fahrstreifen, Stoppschildern, Ampeln, Baustellenbereichen usw. enthalten. Die grafische Benutzerschnittstelle kann Gedankenblasen enthalten, die das Verhalten des AF 100 darstellen, z. B. „Bremsen für einen Fußgänger, der die Straße überquert“, „Fahrstreifenwechsel“ usw. Die Gedankenblasen können Objekte darstellen, die weniger als einen Schwellenabstand vom AF 100 entfernt sind. Die grafische Benutzerschnittstelle kann Betriebseinschränkungen für das AF 100 enthalten, z. B. um zu vermeiden, dass ein Fahrzeug 193 vor dem AF 100 angefahren wird, das das Planungsmodul 404 zum Reduzieren der Geschwindigkeit des AF 100 veranlasst, oder ein Fußgänger 192, der plötzlich vor das AF 100 gesprungen ist.
Das AF 100 überträgt 2124 die grafische Benutzerschnittstelle an eine Anzeigevorrichtung 312. Die Anzeigevorrichtung 312 liefert Daten an einen Insassen im AF 100. Die Daten umfassen die grafische Benutzerschnittstelle und können eine Karte, Insassenkomfortpräferenzen oder Betriebsgrößen wie Geschwindigkeit oder Beschleunigung enthalten.
22 veranschaulicht einen Prozess 2200 zum Erzeugen einer grafischen Benutzerschnittstelle, die das Verhalten autonomer Fahrzeuge gemäß einer oder mehrerer Ausführungsformen anzeigt. In einigen Ausführungsformen wird der Prozess 2200 von 22 durch das AF 100 durchgeführt. In anderen Ausführungsformen führen z. B. das Planungsmodul 404 oder das Wahrnehmungsmodul 402 einige oder alle Schritte des Prozesses 2200 durch. Ebenso können Ausführungsformen verschiedene und/oder zusätzliche Schritte enthalten oder die Schritte in verschiedener Reihenfolge durchführen.
Das AF 100 identifiziert 2204 mittels eines oder mehrerer Prozessoren ein Objekt 1008 basierend auf Sensordaten, die aus einem oder mehreren Sensoren 1304 des AF 100 empfangen werden. Die Sensoren 1304 erfassen einen Zustand der Umgebung 1300, wie z. B. das Vorhandensein und die Struktur des Objekts 1008.
Das AF 100 erzeugt 2208 mittels eines oder mehrerer Prozessoren eine grafische Benutzerschnittstelle mit Darstellungen des AF 100 und des Objekts 1008. In einigen Ausführungsformen erzeugt das AF 100 ein geometrisches Modell oder Symbol des Objekts 1008 zum Anzeigen. Das geometrische Modell kann zum Beispiel eine geometrische Form wie ein Rechteck, ein Oval, ein Quadrat, ein Kreis oder eine andere Art von Form sein. Das geometrische Modell oder Symbol kann eine Gedankenblase enthalten, um das Verhalten des Objekts 1008 darzustellen.
Das AF 100 bestimmt 2212 mittels eines oder mehrerer Prozessoren, dass die Wahrscheinlichkeit einer Kollision des AF 100 mit dem Objekt 1008 größer als ein Schwellenwert ist.
Das AF 100 bestimmt 2216 mittels des einen oder der mehreren Prozessoren eine Betriebseinschränkung für das AF 100, um die Kollision des AF 100 mit dem Objekt 1008 zu vermeiden. Die Betriebseinschränkung kann eine Höchstgeschwindigkeit des AF 100, einen Fahrstreifenwechsel für das AF 100, einen Mindestabstand zum Objekt 1008 usw. umfassen.
Das AF 100 aktualisiert 2220 unter Verwendung eines oder mehrerer Prozessoren die grafische Benutzerschnittstelle zum Anzeigen der Betriebseinschränkung. Möglicherweise gibt es mehrere Betriebseinschränkungen, die in der Reihenfolge ihrer Bedeutung aufgeführt sind. Die Betriebseinschränkung, die das Verhalten des AF 100 am stärksten einschränkt, kann in Fettschrift gekennzeichnet sein. Beispielsweise kann ein Schild „Verlangsamen auf 5 km/h, um einem Fußgänger auszuweichen“ oder „Fahrstreifenwechsel nach links, um dem Verkehr auf dem rechten Fahrstreifen auszuweichen“ auf der grafischen Benutzerschnittstelle angezeigt werden. Ein Schild kann ein Symbol enthalten, das einen Bremsvorgang darstellt.
Das AF 100 überträgt 2224 die beschriftete grafische Benutzerschnittstelle an die Anzeigevorrichtung 312 des AF 100.
23 veranschaulicht einen Prozess 2300 zum Erzeugen einer grafischen Benutzerschnittstelle, die das Verhalten autonomer Fahrzeuge gemäß einer oder mehrerer Ausführungsformen anzeigt. In einigen Ausführungsformen wird der Prozess 2300 von 23 durch das AF 100 durchgeführt. In anderen Ausführungsformen führen z. B. das Planungsmodul 404 oder das Wahrnehmungsmodul 402 einige oder alle Schritte des Prozesses 2300 durch. Ebenso können Ausführungsformen verschiedene und/oder zusätzliche Schritte enthalten oder die Schritte in verschiedener Reihenfolge durchführen.
Das AF 100 erzeugt 2304 zu einem ersten Zeitpunkt t1 eine grafische Benutzerschnittstelle mit geometrischen Modellen des AF 100 und des Objekts 1008. Das Objekt 1008 befindet sich in einem ersten Abstand d1 zum AF 100. Das AF 100 erfasst mit seinen Sensoren 1304 zum Zeitpunkt t1, dass sich das Objekt 1008 (z. B. ein Fahrzeug, ein Fußgänger, ein Baustellenbereich usw.) im Abstand d1 zum AF 100 befindet. Beispielsweise können LiDAR-Sensoren verwendet werden, um den Abstand dl basierend auf der Zeit zu bestimmen, die benötigt wird, bis LiDAR-Strahlen, die durch das AF 100 in Richtung des Objekts 1008 ausgesendet werden, zum AF 100 zurückkehren.
Das AF 100 bestimmt 2308, dass sich das Objekt 1008 zu einem zweiten Zeitpunkt t2 in einem zweiten Abstand d2 vom AF 100 befindet. Der zweite Zeitpunkt t2 liegt nach dem ersten Zeitpunkt t1. Der zweite Abstand d2 ist kleiner als der erste Abstand d1. Daher bestimmt das AF 100, dass sich das AF 100 und das Objekt 1008 einander nähern.
Das AF 100 bestimmt 2312 unter Verwendung eines oder mehrerer Prozessoren ein Fahrzeugmanöver, um eine Kollision mit dem Objekt 1008 zu vermeiden. Zum Beispiel kann das AF 100 anhalten, die Geschwindigkeit erhöhen, um zu entkommen, langsamer werden oder den Fahrstreifen wechseln. In einigen Ausführungsformen umfasst das Bestimmen des Fahrzeugmanövers das Erzeugen einer Bewegungsbahn 198 für das AF 100. Die Bewegungsbahn 198 basiert auf der Darstellung eines gerichteten Graphen der Umgebung 1300 und des Objekts 1008. Ein Beispiel für einen solchen gerichteten Graphen 1000 ist oben mit Bezug auf 10 dargestellt und beschrieben.
Das AF 100 aktualisiert 2316 unter Verwendung eines oder mehrerer Prozessoren die grafische Benutzerschnittstelle so, dass die aktualisierte grafische Benutzerschnittstelle eine dem Fahrzeugmanöver entsprechende Bewegungsbahn des AF 100 anzeigt. Beispielsweise kann eine Darstellung des Fahrzeugmanövers Pfeile, die eine neue Bewegungsbahn für das AF 100 anzeigen, Symbole, die einen Beschleunigungsvorgang darstellen, oder Text, der einen Fahrstreifenwechsel darstellt, enthalten.
Das AF 100 überträgt 2320 die aktualisierte grafische Benutzerschnittstelle an die Anzeigevorrichtung 312. Die aktualisierte grafische Benutzerschnittstelle umfasst das Fahrzeugmanöver des AF 100, um einem Insassen im AF 100 Informationen und ein Gefühl der Kontrolle zu vermitteln und das Vertrauen in das AF 100 zu erhöhen.
24 veranschaulicht einen Prozess 2400 zum Erzeugen einer grafischen Benutzerschnittstelle, die das Verhalten autonomer Fahrzeuge gemäß einer oder mehrerer Ausführungsformen anzeigt. In einigen Ausführungsformen wird der Prozess 2400 von 24 durch das AF 100 durchgeführt. In anderen Ausführungsformen führen z. B. das Planungsmodul 404 oder das Wahrnehmungsmodul 402 einige oder alle Schritte des Prozesses 2400 durch. Ebenso können Ausführungsformen verschiedene und/oder zusätzliche Schritte enthalten oder die Schritte in verschiedener Reihenfolge durchführen.
Das AF 100 zeigt 2404 auf einer Anzeigevorrichtung 312 des AF 100 eine grafische Benutzerschnittstelle an. Die grafische Benutzerschnittstelle enthält Darstellungen des AF 100 und der AF-Betriebsumgebung 1300.
Das AF 100 bestimmt 2408 unter Verwendung eines oder mehrerer Prozessoren, ob das AF 100 zum ersten Zeitpunkt t1 einen Bremsvorgang durchführt. Der Bremsvorgang kann durchgeführt werden, um eine Kollision des AF 100 mit einem Objekt 1008 zu vermeiden, um eine Verkehrsregel, z. B. für eine Ampel, zu befolgen oder weil das AF 100 an einem Zielort angekommen ist, der durch einen Insassen des AF 100 angefordert wurde. Das Planungsmodul 404 bestimmt anhand der aus den Sensoren 1304 empfangenen visuellen Sensordaten, ob der Bremsvorgang durchgeführt wird.
Als Reaktion auf das Bestimmen, dass das AF 100 den Bremsvorgang zum ersten Zeitpunkt t1 durchführen wird, bestimmt 2412 das AF 100 unter Verwendung eines oder mehrerer Insassensensoren 1308, ob sich ein oder mehrere Insassen im AF 100 befinden. Zum Beispiel können dazu Gewichtssensoren verwendet werden.
Als Reaktion auf das Bestimmen, dass sich ein oder mehrere Insassen im AF 100 befinden, überträgt 2416 das AF 100 eine Audioausgabe zu einem zweiten Zeitpunkt t2 vor dem ersten Zeitpunkt t1. Die Audioausgabe wird über den Smart Speaker 1316 übertragen. Die Audioausgabe informiert die Insassen, dass das AF 100 den Bremsvorgang zum ersten Zeitpunkt t1 durchführen wird.
Das AF 100 zeigt auf der Anzeigevorrichtung 312 eine Aktualisierung der grafischen Benutzerschnittstelle an. Die Aktualisierung enthält eine Darstellung (z. B. Text oder eine Gedankenblase) des Bremsvorgangs.
Weitere Ausführungsformen
In einer Ausführungsform bestimmen ein oder mehrere Prozessoren eines Fahrzeugs, das in einer realen Umgebung fährt, eine Bewegungsbahn des Fahrzeugs in der realen Umgebung. Ein oder mehrere Sensoren des Fahrzeugs erhalten Sensordaten, die ein Objekt in der realen Umgebung darstellen. Der eine oder die mehreren Prozessoren sagen basierend auf den Sensordaten und der Bewegungsbahn des Fahrzeugs ein Fahrmanöver des Fahrzeugs vorher, um eine Kollision mit dem Objekt zu vermeiden. Der eine oder die mehreren Prozessoren bestimmen, ob das Insassenkomfortniveau eines im Fahrzeug befindlichen Insassen basierend auf dem Fahrmanöver des Fahrzeugs abnehmen wird. Das Insassenkomfortniveau wird durch einen oder mehrere Insassensensoren des Fahrzeugs gemessen. Der eine oder die mehreren Prozessoren erzeugen eine grafische Benutzerschnittstelle mit Darstellungen des Fahrzeugs, des Objekts und einer Grafik, einem Text oder einem Symbol, die den Insassen vor dem vorhergesagten Fahrmanöver warnen. Die grafische Benutzerschnittstelle wird an eine Anzeigevorrichtung des Fahrzeugs übertragen.
In einer Ausführungsform wird das Erzeugen der grafischen Benutzerschnittstelle zu einem ersten Zeitpunkt und das Übertragen der grafischen Benutzerschnittstelle zu einem zweiten Zeitpunkt durchgeführt. Die Zeitdifferenz zwischen dem ersten und dem zweiten Zeitpunkt wird basierend auf einer Betriebsgeschwindigkeit des Fahrzeugs erhöht.
In einer Ausführungsform erhalten der eine oder die mehreren Sensoren zweite Sensordaten, nachdem die das Objekt darstellenden Sensordaten erhalten wurden. Es wird eine Diskrepanz zwischen den Daten des zweiten Sensors und den Sensordaten festgestellt. Es wird festgestellt, dass die Diskrepanz mit dem Objekt zusammenhängt.
In einer Ausführungsform entfernen der eine oder die mehreren Prozessoren einen Abschnitt der Sensordaten, die mit der Diskrepanz verbunden sind, bevor die grafische Benutzerschnittstelle erzeugt wird.
In einer Ausführungsform basiert das Bestimmen, dass das Insassenkomfortniveau des Insassen im Fahrzeug abnimmt, mindestens teilweise auf gespeicherten Insassenkomfortdaten.
In einer Ausführungsform umfasst das Fahrmanöver des Fahrzeugs mindestens eines von Bremsen, Fahrstreifenwechsel oder Ausschwenken.
In einer Ausführungsform umfasst die Abnahme des Insassenkomfortniveaus einen Anstieg des Blutdrucks des Insassen, der durch einen oder mehrere Insassensensoren gemessen wird.
In einer Ausführungsform umfasst die Abnahme des Insassenkomfortniveaus eine Zunahme der Pulsfrequenz des Insassen, die durch einen oder mehrere Insassensensoren gemessen wird.
In einer Ausführungsform umfasst die Abnahme des Insassenkomfortniveaus eine Zunahme der Pupillenerweiterung des Insassen, die durch einen oder mehrere Insassensensoren gemessen wird.
In einer Ausführungsform ist die Eingabevorrichtung ein Smart Speaker und die Insasseneingabe ein Sprachbefehl.
In einer Ausführungsform überträgt der Smart Speaker als Reaktion auf das Empfangen des Sprachbefehls eine Audioausgabe, die das Fahrmanöver des Fahrzeugs beschreibt.
In einer Ausführungsform überträgt der Smart Speaker als Reaktion auf Empfangen des Sprachbefehls eine Audioausgabe, die die Bewegungsbahn des Objekts in der realen Umgebung beschreibt.
In einer Ausführungsform identifizieren ein oder mehrere Prozessoren eines Fahrzeugs, das in einer realen Umgebung betrieben wird, ein Objekt basierend auf Sensordaten, die aus einem oder mehreren Sensoren des Fahrzeugs empfangen werden. Der eine oder die mehreren Prozessoren erzeugen eine grafische Benutzerschnittstelle mit Darstellungen des Fahrzeugs und des Objekts. Der eine oder die mehreren Prozessoren bestimmen, ob die Wahrscheinlichkeit einer Kollision des Fahrzeugs mit dem Objekt größer als ein Schwellenwert ist. Der eine oder die mehreren Prozessoren bestimmen eine Betriebseinschränkung für das Fahrzeug, um eine Kollision des Fahrzeugs mit dem Objekt zu vermeiden. Der eine oder die mehreren Prozessoren aktualisieren die grafische Benutzerschnittstelle, um die Betriebseinschränkung anzuzeigen. Die aktualisierte grafische Benutzerschnittstelle wird an eine Anzeigevorrichtung des Fahrzeugs übertragen.
In einer Ausführungsform empfängt ein Smart Speaker des Fahrzeugs einen Sprachbefehl von einem Insassen im Fahrzeug. Der Sprachbefehl ist auf die grafische Benutzerschnittstelle gerichtet.
In einer Ausführungsform erzeugen der eine oder die mehreren Prozessoren eine Audioausgabe, die das Objekt beschreibt.
In einer Ausführungsform erzeugen der eine oder die mehreren Prozessoren eine Audioausgabe, die die Betriebseinschränkung für das Fahrzeug beschreibt.
In einer Ausführungsform überträgt der Smart Speaker die Audioausgabe an den Insassen.
In einer Ausführungsform umfassen die Sensordaten dreidimensionale LiDAR-Daten oder Kamerabilder.
In einer Ausführungsform umfassen die Darstellungen des Fahrzeugs und des Objekts geometrische Modelle des Fahrzeugs und des Objekts.
In einer Ausführungsform befindet sich der Text innerhalb mindestens eines der geometrischen Modelle.
In einer Ausführungsform ist die Anzeigevorrichtung eine Mobilvorrichtung.
In einer Ausführungsform ist die Anzeigevorrichtung ein Tablet.
In einer Ausführungsform ist die Anzeigevorrichtung ein Laptop.
In einer Ausführungsform ist die Anzeigevorrichtung an einer Innenfläche des Fahrzeugs angebracht.
In einer Ausführungsform umfasst die Betriebseinschränkung eine maximale Betriebsgeschwindigkeit.
In einer Ausführungsform umfasst die Betriebseinschränkung eine minimale Betriebsgeschwindigkeit.
In einer Ausführungsform umfasst die Betriebseinschränkung eine maximale Beschleunigung.
In einer Ausführungsform umfasst die Betriebseinschränkung eine minimale Beschleunigung.
In einer Ausführungsform gibt die Betriebseinschränkung einen Fahrstreifen auf der Straße an, auf dem das Fahrzeug zu fahren hat.
In einer Ausführungsform nimmt die Größe der Darstellung des Objekts innerhalb der grafischen Benutzerschnittstelle mit abnehmender Wahrscheinlichkeit einer Kollision des Fahrzeugs mit dem Objekt ab.
In einer Ausführungsform umfasst das Aktualisieren der grafischen Benutzerschnittstelle zum Anzeigen des Betriebs das Hinzufügen von Text, der die Betriebseinschränkung beschreibt.
In einer Ausführungsform umfasst das Aktualisieren der grafischen Benutzerschnittstelle zum Anzeigen des Betriebs das Hinzufügen einer Grafik, die die Betriebseinschränkung beschreibt.
In einer Ausführungsform umfasst das Aktualisieren der grafischen Benutzerschnittstelle zum Anzeigen des Betriebs das Hinzufügen eines Symbols, das die Betriebseinschränkung beschreibt.
In einer Ausführungsform umfasst das Aktualisieren der grafischen Benutzerschnittstelle zum Anzeigen des Betriebs das Hinzufügen eines Bildes, das die Betriebseinschränkung beschreibt.
In einer Ausführungsform wird zu einem ersten Zeitpunkt eine grafische Benutzerschnittstelle erzeugt, die geometrische Modelle eines Fahrzeugs und eines in einem ersten Abstand vom Fahrzeug befindlichen Objekts enthält. Zu einem zweiten Zeitpunkt wird bestimmt, ob sich das Objekt in einem zweiten Abstand vom Fahrzeug befindet. Der zweite Zeitpunkt liegt nach dem ersten Zeitpunkt und der zweite Abstand ist kleiner als der erste Abstand. Ein oder mehrere Prozessoren des Fahrzeugs bestimmen ein Fahrzeugmanöver für das Fahrzeug, um eine Kollision mit dem Objekt zu vermeiden. Der eine oder die mehreren Prozessoren aktualisieren die grafische Benutzerschnittstelle so, dass die aktualisierte grafische Benutzerschnittstelle eine dem Fahrzeugmanöver entsprechende Bewegungsbahn des Fahrzeugs anzeigt. Die aktualisierte grafische Benutzerschnittstelle mitsamt der Bewegungsbahn des Fahrzeugs wird an eine Anzeigevorrichtung des Fahrzeugs übertragen.
In einer Ausführungsform erhalten ein oder mehrere Sensoren des Fahrzeugs Sensordaten, die das Objekt zum zweiten Zeitpunkt darstellen.
In einer Ausführungsform bestimmen der eine oder die mehreren Prozessoren den zweiten Abstand basierend auf den zum zweiten Zeitpunkt empfangenen Sensordaten.
In einer Ausführungsform umfasst das Fahrzeugmanöver das Ändern einer Betriebsgeschwindigkeit des Fahrzeugs unter Verwendung eines Steuermoduls des Fahrzeugs.
In einer Ausführungsform umfasst das Fahrzeugmanöver das Ändern einer Beschleunigung des Fahrzeugs unter Verwendung eines Steuermoduls des Fahrzeugs.
In einer Ausführungsform umfasst das Fahrzeugmanöver das Wechseln eines Fahrstreifens, auf dem das Fahrzeug fährt, unter Verwendung eines Steuermoduls des Fahrzeugs.
In einer Ausführungsform bestimmen der eine oder die mehreren Prozessoren eine Zeitdifferenz zwischen dem ersten und dem zweiten Zeitpunkt.
In einer Ausführungsform bestimmen der eine oder die mehreren Prozessoren eine Abstandsdifferenz zwischen dem ersten Abstand und dem zweiten Abstand.
In einer Ausführungsform bestimmen der eine oder die mehreren Prozessoren basierend auf der Zeitdifferenz und der Abstandsdifferenz eine Wahrscheinlichkeit für eine Kollision des Fahrzeugs mit dem Objekt.
In einer Ausführungsform empfängt die Anzeigevorrichtung die auf das Objekt gerichtete Insasseneingabe. Ein Smart Speaker des Fahrzeugs empfängt einen an das Objekt gerichteten Sprachbefehl.
In einer Ausführungsform umfassen die geometrischen Modelle computerausführbare semantische Symbole.
In einer Ausführungsform empfängt mindestens eines der computerausführbaren semantischen Symbole die auf das Fahrzeug oder das Objekt gerichtete Insasseneingabe.
In einer Ausführungsform wird als Reaktion auf das Empfangen der Insasseneingabe auf der Anzeigevorrichtung ein Text angezeigt, der den ersten Zeitpunkt und den ersten Abstand oder den zweiten Zeitpunkt und den zweiten Abstand darstellt.
In einer Ausführungsform umfasst das Anzeigen der Bewegungsbahn das Übertragen eines oder mehrerer animierter Symbole, die das Fahrzeugmanöver darstellen, an die Anzeigevorrichtung.
In einer Ausführungsform umfasst das Aktualisieren der grafischen Benutzerschnittstelle das Anzeigen einer Gedankenblase, die das Fahrzeugmanöver darstellt.
In einer Ausführungsform empfangen ein oder mehrere Insassensensoren des Fahrzeugs Insassenkomfortdaten für einen Insassen im Fahrzeug. Der eine oder die mehreren Prozessoren bestimmen, dass das Insassenkomfortniveau als Reaktion auf das Übertragen der aktualisierten grafischen Benutzerschnittstelle an die Anzeigevorrichtung abgenommen hat. Der eine oder die mehreren Prozessoren beenden das Übertragen der aktualisierten grafischen Benutzerschnittstelle an die Anzeigevorrichtung.
In einer Ausführungsform umfasst das Fahrzeugmanöver das Anpassen einer Bewegungsbahn des Fahrzeugs so, dass zu einem dritten Zeitpunkt nach dem zweiten Zeitpunkt ein dritter Abstand des Fahrzeugs vom Objekt vergrößert wird.
In einer Ausführungsform wird eine grafische Benutzerschnittstelle, die Darstellungen des Fahrzeugs und der realen Umgebung umfasst, auf einer Anzeigevorrichtung eines Fahrzeugs angezeigt, das in einer realen Umgebung betrieben wird. Ein oder mehrere Prozessoren des Fahrzeugs bestimmen, ob das Fahrzeug zu einem ersten Zeitpunkt einen Bremsvorgang durchführen wird. Als Reaktion auf das Bestimmen, dass das Fahrzeug den Bremsvorgang zu einem ersten Zeitpunkt durchführen wird, bestimmen ein oder mehrere Insassensensoren des Fahrzeugs, ob sich ein oder mehrere Insassen im Fahrzeug befinden. Als Reaktion auf das Bestimmen, dass sich ein oder mehrere Insassen im Fahrzeug befinden, überträgt ein Smart Speaker zu einem zweiten Zeitpunkt vor dem ersten Zeitpunkt eine Audioausgabe, die den einen oder den mehreren Insassen mitteilt, dass das Fahrzeug zum ersten Zeitpunkt den Bremsvorgang durchführen wird. Eine Aktualisierung der grafischen Benutzerschnittstelle wird auf der Anzeigevorrichtung angezeigt. Die Aktualisierung enthält eine Darstellung einer Zeitdifferenz zwischen dem zweiten Zeitpunkt und dem ersten Zeitpunkt.
In einer Ausführungsform führt das Fahrzeug den Bremsvorgang aus, um eine Kollision des Fahrzeugs mit einem in der realen Umgebung befindlichen Objekt zu vermeiden.
In einer Ausführungsform führt das Fahrzeug den Bremsvorgang aus, um eine Verkehrsregel zu befolgen.
In einer Ausführungsform werden ein oder mehrere im Fahrzeug befindliche Aktoren in Schwingungen versetzt. Die Schwingung des einen oder der mehreren Aktoren zeigt den Bremsvorgang an.
In einer Ausführungsform bestimmen der eine oder die mehreren Prozessoren einen räumlich-zeitlichen Ort des Fahrzeugs basierend auf Odometriedaten, die aus einem oder mehreren Sensoren des Fahrzeugs empfangen werden.
In einer Ausführungsform bestimmen der eine oder die mehreren Prozessoren einen räumlich-zeitlichen Ort des Objekts relativ zum Fahrzeug basierend auf den aus dem einen oder den mehreren Sensoren empfangenen Sensordaten.
In einer Ausführungsform umfasst die Audioausgabe eine Anweisung an einen oder mehrere Insassen, eine Armlehne des Fahrzeugs zu ergreifen, bevor das Fahrzeug den Bremsvorgang zum ersten Zeitpunkt durchführt.
In einer Ausführungsform enthält die Audioausgabe eine Anweisung an einen oder mehrere Insassen, sich auf den Bremsvorgang vorzubereiten, bevor das Fahrzeug den Bremsvorgang zum ersten Zeitpunkt durchführt.
In einer Ausführungsform bestimmen der eine oder die mehreren Prozessoren basierend auf den aus dem einen oder den mehreren Sensoren empfangenen Sensordaten, dass ein Objekt, das sich innerhalb eines Schwellenabstands zum Fahrzeug befindet, eine Ampel ist.
In einer Ausführungsform bestimmen ein oder mehrere Prozessoren anhand der aus einem oder mehreren Sensoren empfangenen Sensordaten, ob eine Farbe der Ampel rot oder gelb ist.
In einer Ausführungsform wird der Bremsvorgang als Reaktion auf das Bestimmen durchgeführt, dass die Farbe der Ampel rot oder gelb ist.
In einer Ausführungsform umfasst die Aktualisierung ferner eine Gedankenblase, die eine Darstellung des Objekts anzeigt.
In einer Ausführungsform werden die Komfortpräferenzen eines oder mehrerer Insassen des Fahrzeugs abgerufen.
In einer Ausführungsform wird das Übertragen der Audioausgabe basierend auf den Komfortpräferenzen der Insassen durchgeführt.
In einer Ausführungsform umfassen die Darstellungen des Fahrzeugs und der realen Umgebung mindestens ein semantisches Computersymbol.
In einer Ausführungsform geben die Komfortpräferenzen der Insassen eine Größe und eine Auflösung des mindestens einen semantischen Computersymbols vor.
In einer Ausführungsform wird die Zeitdifferenz zwischen dem ersten und dem zweiten Zeitpunkt bestimmt.
In einer Ausführungsform wird das Übertragen der Audioausgabe, die den einen oder die mehreren Insassen darüber informiert, dass das Fahrzeug zum ersten Zeitpunkt den Bremsvorgang durchführen wird, als Reaktion auf das Unterschreiten eines Schwellenwertes der Zeitdifferenz durchgeführt.
In einer Ausführungsform wird das Anzeigen der Aktualisierung auf der grafischen Benutzerschnittstelle als Reaktion auf das Unterschreiten einer Zeitdifferenz unter einen Schwellenwert durchgeführt.
Zu den Vorteilen und Nutzen der hier offenbarten Ausführungsformen gehört, dass das Vertrauen der Insassen und der Öffentlichkeit in AF in Bezug auf verschiedene und komplexe Selbstfahrszenarien auf sichere und kosteneffiziente Weise erhöht wird. Die Ausführungsformen fördern das Vertrauen, das Kontrollgefühl und das Sicherheitsgefühl der in den AF fahrenden Personen. Die Ausführungsformen bieten umfassende Wahrnehmung, klare Kommunikation, Reaktion auf Veränderungen und vielfältige Interaktionsmöglichkeiten. Die aktiven Sicherheitsfunktionen (z. B. Kollisionsvermeidung) und Infotainmentsysteme werden in einer einheitlichen Systemarchitektur zusammengefasst. Die Ausführungsformen verbinden die autonome Funktionalität der AF mit der visuellen, akustischen und haptischen Kommunikation mit den Insassen, um das Vertrauen zu erhöhen. Das gesteigerte Vertrauen in die AF führt zu einer erhöhten Sicherheit von Insassen und Fußgängern, einem geringeren Verschleiß des AF, einer kürzeren Fahrzeit, einem kürzeren Fahrweg usw. Auch für andere Fahrzeuge im Straßennetz wird eine erhöhte Sicherheit erreicht.
In der vorgenannten Beschreibung wurden Ausführungsformen mit Bezug auf zahlreiche spezifische Details beschrieben, die von Umsetzung zu Umsetzung verschieden sein können. Die Beschreibung und die Zeichnungen sind dementsprechend in einem veranschaulichenden statt einem einschränkenden Sinn zu sehen. Der einzige und ausschließliche Indikator für den Umfang der Ausführungsformen und das, was von den Anmeldern als Umfang der Ausführungsformen beabsichtigt ist, ist der wörtliche und äquivalente Umfang der Ansprüche, die aus dieser Anmeldung in der spezifischen Form hervorgehen, in der diese Ansprüche ausgestellt sind, einschließlich etwaiger späterer Korrekturen. Alle hier ausdrücklich dargelegten Definitionen für Begriffe, die in diesen Ansprüchen enthalten sind, regeln die Bedeutung der in den Ansprüchen verwendeten Begriffe. Darüber hinaus kann bei Verwendung des Begriffs „ferner umfassend“ in der vorstehenden Beschreibung oder in den folgenden Ansprüchen das auf diese Formulierung Folgende ein zusätzlicher Schritt oder eine zusätzliche Einrichtung oder ein Unterschritt bzw. eine Untereinrichtung eines bereits erwähnten Schritts oder einer bereits erwähnten Einrichtung sein.
Ausführungsformen
Obwohl die vorliegende Erfindung in den beigefügten Ansprüchen definiert ist, sollte man sich darüber im Klaren sein, dass die vorliegende Erfindung (alternativ) auch gemäß den folgenden Ausführungsformen definiert werden kann:

1. Verfahren, umfassend:
- Bestimmen einer Bewegungsbahn eines Fahrzeugs, das in der realen Umgebung betrieben wird, unter Verwendung eines oder mehrerer Prozessoren des Fahrzeugs in der realen Umgebung;
- Erhalten von ein Objekt in der realen Umgebung darstellenden Sensordaten unter Verwendung eines oder mehrerer Sensoren des Fahrzeugs;
- Vorhersagen eines Fahrmanövers des Fahrzeugs, um eine Kollision mit dem Objekt zu vermeiden, unter Verwendung des einen oder der mehreren Prozessoren basierend auf den Sensordaten und der Bewegungsbahn des Fahrzeugs;
- Bestimmen, dass das Insassenkomfortniveau eines Insassen im Fahrzeug basierend auf dem Fahrmanöver des Fahrzeugs abnehmen wird, unter Verwendung des einen oder der mehreren Prozessoren, wobei das Insassenkomfortniveau durch einen oder mehrere Insassensensoren des Fahrzeugs gemessen wird;
- Erzeugen einer grafischen Benutzerschnittstelle, die Darstellungen des Fahrzeugs, des Objekts und eine Grafik, einen Text oder ein Symbol umfasst, die bzw. das den Insassen vor dem vorhergesagten Fahrmanöver warnt, unter Verwendung des einen oder der mehreren Prozessoren; und
- Übertragen der grafischen Benutzerschnittstelle an eine Anzeigevorrichtung des Fahrzeugs.
2. Verfahren nach Ausführungsform 1, ferner umfassend das Empfangen einer auf das Objekt gerichteten Insasseneingabe unter Verwendung einer Eingabevorrichtung des Fahrzeugs, wobei das Objekt ein dynamisches Objekt ist.
3. Verfahren nach Ausführungsform 1 oder 2, ferner umfassend das Bestimmen einer Bewegungsbahn des Objekts in der realen Umgebung als Reaktion auf das Empfangen der Insasseneingabe unter Verwendung des einen oder der mehreren Prozessoren.
4. Verfahren nach einer der Ausführungsformen 1-3, ferner umfassend das Anzeigen der Bewegungsbahn des Objekts innerhalb der grafischen Benutzerschnittstelle.
5. Verfahren nach einer der Ausführungsformen 1-4, ferner umfassend das Erhalten von zweiten Sensordaten unter Verwendung des einen oder der mehreren Sensoren nach dem Erhalten der Sensordaten, die das Objekt darstellen.
6. Verfahren nach einer der Ausführungsformen 1-5, wobei das Vorhersagen des Fahrmanövers des Fahrzeugs, um die Kollision mit dem Objekt zu vermeiden, als Reaktion auf die mit den Sensordaten übereinstimmenden Daten des zweiten Sensors durchgeführt wird.
7. Verfahren nach einer der Ausführungsformen 1-6, ferner umfassend das Bestimmen eines Vertrauensniveaus im Zusammenhang mit dem Erzeugen der grafischen Benutzerschnittstelle, die eine Darstellung des Objekts anzeigt, unter Verwendung des einen oder der mehreren Prozessoren.
8. Verfahren nach einer der Ausführungsformen 1-7, wobei das Übertragen der grafischen Benutzerschnittstelle als Reaktion darauf durchgeführt wird, dass das Vertrauensniveau einen Schwellenwert überschreitet.
9. Verfahren nach einer der Ausführungsformen 1-8, wobei das Erzeugen der grafischen Benutzerschnittstelle das Erzeugen eines geometrischen Modells des Objekts basierend auf den Sensordaten unter Verwendung des einen oder der mehreren Prozessoren umfasst.
10. Verfahren nach einer der Ausführungsformen 1-9, ferner umfassend das Filtern der Sensordaten mittels digitaler Signalverarbeitung, um Rauschen aus den Sensordaten zu entfernen.
11. Verfahren nach einer der Ausführungsformen 1-10, wobei das Erzeugen der grafischen Benutzerschnittstelle basierend auf den gefilterten Sensordaten durchgeführt wird.
12. Verfahren nach einer der Ausführungsformen 1-11, wobei das Vorhersagen des Fahrmanövers des Fahrzeugs, um eine Kollision mit dem Objekt zu vermeiden, basierend auf den gefilterten Sensordaten durchgeführt wird.
13. Verfahren nach einer der Ausführungsformen 1-12, wobei das Vorhersagen des Fahrmanövers des Fahrzeugs, um eine Kollision mit dem Objekt zu vermeiden, als Reaktion darauf durchgeführt wird, dass sich das Objekt innerhalb eines Schwellenabstands vom Fahrzeug befindet.
14. Verfahren nach einer der Ausführungsformen 1-13, wobei das Objekt ein zweites Fahrzeug oder einen Fußgänger umfasst.
15. Verfahren nach einer der Ausführungsformen 1-14, wobei die grafische Benutzerschnittstelle ferner eine dreidimensionale (3D) Darstellung eines Fahrstreifens, einer Ampel, eines Verkehrszeichens und/oder eines Baustellenbereichs anzeigt.
16. Verfahren nach einer der Ausführungsformen 1-15, ferner umfassend das Vergrößern des Objekts innerhalb der grafischen Benutzerschnittstelle als Reaktion auf das Empfangen der Insasseneingabe.
17. Verfahren nach einer der Ausführungsformen 1-16, ferner umfassend das Erhöhen einer Anzeigeauflösung des Objekts innerhalb der grafischen Benutzerschnittstelle als Reaktion auf das Empfangen der Insasseneingabe.
18. Verfahren nach einer der Ausführungsformen 1-17, wobei das Erzeugen der grafischen Benutzerschnittstelle zu einem ersten Zeitpunkt und das Übertragen der grafischen Benutzerschnittstelle zu einem zweiten Zeitpunkt durchgeführt wird.
19. Verfahren nach einer der Ausführungsformen 1-18, ferner umfassend das Vergrößern einer Zeitdifferenz zwischen dem ersten und dem zweiten Zeitpunkt basierend auf einer Betriebsgeschwindigkeit des Fahrzeugs.
20. Verfahren nach einer der Ausführungsformen 1-19, ferner umfassend:
- Identifizieren einer Diskrepanz zwischen den zweiten Sensordaten und den Sensordaten; und
- Bestimmen, dass die Diskrepanz mit dem Objekt zusammenhängt.
21. Verfahren nach einer der Ausführungsformen 1-20, ferner umfassend:
- Entfernen eines Abschnitts der Sensordaten im Zusammenhang mit der Diskrepanz unter Verwendung des einen oder der mehreren Prozessoren vor dem Erzeugen der grafischen Benutzerschnittstelle.
22. Verfahren nach einer der Ausführungsformen 1-21, wobei das Bestimmen, dass das Insassenkomfortniveau des Insassen im Fahrzeug abnimmt, mindestens teilweise auf gespeicherten Insassenkomfortdaten basiert.
23. Verfahren nach einer der Ausführungsformen 1-22, wobei das Fahrmanöver des Fahrzeugs mindestens eines von Bremsen, Fahrstreifenwechsel oder Ausschwenken umfasst.
24. Verfahren nach einer der Ausführungsformen 1-23, wobei die Abnahme des Insassenkomfortniveaus einen Anstieg des durch den einen oder die mehreren Insassensensoren gemessenen Blutdrucks des Insassen umfasst.
25. Verfahren nach einer der Ausführungsformen 1-24, wobei die Abnahme des Insassenkomfortniveaus eine Zunahme der durch den einen oder die mehreren Insassensensoren gemessenen Pulsfrequenz des Insassen umfasst.
26. Verfahren nach einer der Ausführungsformen 1-25, wobei die Abnahme des Insassenkomfortniveaus eine Zunahme einer durch den einen oder die mehreren Insassensensoren gemessenen Pupillenerweiterung des Insassen umfasst.
27. Verfahren nach einer der Ausführungsformen 1-26, wobei die Eingabevorrichtung ein Smart Speaker und die Insasseneingabe ein Sprachbefehl ist.
28. Verfahren nach einer der Ausführungsformen 1-27, ferner umfassend das Übertragen einer das Fahrmanöver des Fahrzeugs beschreibenden Audioausgabe unter Verwendung des Smart Speakers als Reaktion auf das Empfangen des Sprachbefehls.
29. Verfahren nach einer der Ausführungsformen 1-28, ferner umfassend das Übertragen einer Audioausgabe, die die Bewegungsbahn des Objekts in der realen Umgebung beschreibt, unter Verwendung des Smart Speakers als Reaktion auf das Empfangen des Sprachbefehls.
30. Verfahren, umfassend:
- Identifizieren eines Objekts basierend auf Sensordaten, die aus einem oder mehreren Sensoren des Fahrzeugs empfangen werden, unter Verwendung eines oder mehrerer Prozessoren eines Fahrzeugs, das in einer realen Umgebung betrieben wird;
- Erzeugen einer grafischen Benutzerschnittstelle, die Darstellungen des Fahrzeugs und des Objekts umfasst, unter Verwendung des einen oder der mehreren Prozessoren;
- Bestimmen unter Verwendung des einen oder der mehreren Prozessoren, dass die Wahrscheinlichkeit einer Kollision des Fahrzeugs mit dem Objekt größer als ein Schwellenwert ist;
- Bestimmen unter Verwendung des einen oder der mehreren Prozessoren einer Betriebseinschränkung für das Fahrzeug, um die Kollision des Fahrzeugs mit dem Objekt zu vermeiden;
- Aktualisieren der grafischen Benutzerschnittstelle unter Verwendung des einen oder der mehreren Prozessoren, um die Betriebseinschränkung anzuzeigen; und Übertragen der aktualisierten grafischen Benutzerschnittstelle an eine Anzeigevorrichtung des Fahrzeugs.
31. Verfahren nach Ausführungsform 30, ferner umfassend das Empfangen eines Sprachbefehls von einem Insassen im Fahrzeug unter Verwendung eines Smart Speakers des Fahrzeugs, wobei der Sprachbefehl an die grafische Benutzerschnittstelle gerichtet ist.
32. Verfahren nach Ausführungsform 30 oder 31, ferner umfassend das Erzeugen einer das Objekt beschreibenden Audioausgabe unter Verwendung des einen oder der mehreren Prozessoren.
33. Verfahren nach einer der Ausführungsformen 30-32, ferner umfassend das Erzeugen einer die Betriebseinschränkung für das Fahrzeug beschreibenden Audioausgabe unter Verwendung des einen oder der mehreren Prozessoren.
34. Verfahren nach einer der Ausführungsformen 30-33, ferner umfassend das Übertragen der Audioausgabe an den Insassen unter Verwendung des Smart Speakers.
35. Verfahren nach einer der Ausführungsformen 30-34, wobei die Sensordaten dreidimensionale LiDAR-Daten oder Kamerabilder umfassen.
36. Verfahren nach einer der Ausführungsformen 30-35, wobei die Darstellungen des Fahrzeugs und des Objekts geometrische Modelle des Fahrzeugs und des Objekts umfassen.
37. Verfahren nach einer der Ausführungsformen 30-36, wobei sich der Text innerhalb mindestens eines der geometrischen Modelle befindet.
38. Verfahren nach einer der Ausführungsformen 30-37, wobei die Anzeigevorrichtung eine Mobilvorrichtung ist.
39. Verfahren nach einer der Ausführungsformen 30-38, wobei die Anzeigevorrichtung ein Tablet ist.
40. Verfahren nach einer der Ausführungsformen 30-39, wobei die Anzeigevorrichtung ein Laptop ist.
41. Verfahren nach einer der Ausführungsformen 30-40, wobei die Anzeigevorrichtung an einer Innenfläche des Fahrzeugs angebracht ist.
42. Verfahren nach einer der Ausführungsformen 30-41, wobei die Betriebseinschränkung eine maximale Betriebsgeschwindigkeit umfasst.
43. Verfahren nach einer der Ausführungsformen 30-42, wobei die Betriebseinschränkung eine minimale Betriebsgeschwindigkeit umfasst.
44. Verfahren nach einer der Ausführungsformen 30-43, wobei die Betriebseinschränkung eine maximale Beschleunigung umfasst.
45. Verfahren nach einer der Ausführungsformen 30-44, wobei die Betriebseinschränkung eine minimale Beschleunigung umfasst.
46. Verfahren nach einer der Ausführungsformen 30-45, wobei die Betriebseinschränkung einen Fahrstreifen der Straße angibt, auf dem das Fahrzeug fahren soll.
47. Verfahren nach einer der Ausführungsformen 30-46, ferner umfassend das Verringern der Größe der Darstellung des Objekts innerhalb der grafischen Benutzerschnittstelle, wenn die Wahrscheinlichkeit einer Kollision des Fahrzeugs mit dem Objekt abnimmt.
48. Verfahren nach einer der Ausführungsformen 30-47, wobei das Aktualisieren der grafischen Benutzerschnittstelle zum Anzeigen des Betriebs das Hinzufügen von die Betriebseinschränkung beschreibendem Text zur grafischen Benutzerschnittstelle umfasst.
49. Verfahren nach einer der Ausführungsformen 30-47, wobei das Aktualisieren der grafischen Benutzerschnittstelle zum Anzeigen des Betriebs das Hinzufügen einer die Betriebseinschränkung beschreibenden Grafik zur grafischen Benutzerschnittstelle umfasst.
50. Verfahren nach einer der Ausführungsformen 30-47, wobei das Aktualisieren der grafischen Benutzerschnittstelle zum Anzeigen des Betriebs das Hinzufügen eines die Betriebseinschränkung beschreibenden Symbols zur grafischen Benutzerschnittstelle umfasst.
51. Verfahren nach einer der Ausführungsformen 30-47, wobei das Aktualisieren der grafischen Benutzerschnittstelle zum Anzeigen des Betriebs das Hinzufügen eines die Betriebseinschränkung beschreibenden Bildes zur grafischen Benutzerschnittstelle umfasst.
52. Verfahren, umfassend:
- Erzeugen einer grafischen Benutzerschnittstelle, die geometrische Modelle eines Fahrzeugs und eines in einem ersten Abstand vom Fahrzeug befindlichen Objekts umfasst;
- Bestimmen zu einem zweiten Zeitpunkt, dass sich das Objekt in einem zweiten Abstand vom Fahrzeug befindet, wobei der zweite Zeitpunkt nach dem ersten Zeitpunkt liegt und der zweite Abstand kleiner als der erste Abstand ist;
- Bestimmen eines Fahrzeugmanövers für das Fahrzeug unter Verwendung eines oder
- mehrerer Prozessoren des Fahrzeugs, um eine Kollision mit dem Objekt zu vermeiden;
- Aktualisieren der grafischen Benutzerschnittstelle unter Verwendung eines oder mehrerer Prozessoren, sodass die aktualisierte grafische Benutzerschnittstelle eine dem Fahrzeugmanöver entsprechende Bewegungsbahn des Fahrzeugs anzeigt; und
- Übertragen der aktualisierten grafischen Benutzerschnittstelle einschließlich der Bewegungsbahn des Fahrzeugs an eine Anzeigevorrichtung des Fahrzeugs.
53. Verfahren nach Ausführungsform 52, ferner umfassend das Empfangen von Sensordaten, die das Objekt zum zweiten Zeitpunkt darstellen, unter Verwendung eines oder mehrerer Sensoren des Fahrzeugs.
54. Verfahren nach Ausführungsform 52 oder 53, ferner umfassend das Bestimmen des zweiten Abstands basierend auf den zum zweiten Zeitpunkt empfangenen Sensordaten unter Verwendung des einen oder der mehreren Prozessoren.
55. Verfahren nach einer der Ausführungsformen 52-54, wobei das Fahrzeugmanöver das Ändern einer Betriebsgeschwindigkeit des Fahrzeugs unter Verwendung eines Steuermoduls des Fahrzeugs umfasst.
56. Verfahren nach einer der Ausführungsformen 52-55, wobei das Fahrzeugmanöver das Ändern einer Beschleunigung des Fahrzeugs unter Verwendung eines Steuermoduls des Fahrzeugs umfasst.
57. Verfahren nach einer der Ausführungsformen 52-56, wobei das Fahrzeugmanöver das Wechseln eines Fahrstreifens, auf dem das Fahrzeug fährt, unter Verwendung eines Steuermoduls des Fahrzeugs umfasst.
58. Verfahren nach einer der Ausführungsformen 52-57, ferner umfassend das Bestimmen einer Zeitdifferenz zwischen dem ersten und dem zweiten Zeitpunkt unter Verwendung des einen oder der mehreren Prozessoren.
59. Verfahren nach einer der Ausführungsformen 52-58, ferner umfassend das Bestimmen einer Abstandsdifferenz zwischen dem ersten Abstand und dem zweiten Abstand unter Verwendung des einen oder der mehreren Prozessoren.
60. Verfahren nach einer der Ausführungsformen 52-59, ferner umfassend das Bestimmen einer Wahrscheinlichkeit der Kollision des Fahrzeugs mit dem Objekt basierend auf der Zeitdifferenz und der Abstandsdifferenz unter Verwendung des einen oder der mehreren Prozessoren.
61. Verfahren nach einer der Ausführungsformen 52-60, ferner umfassend:
- Empfangen der auf das Objekt gerichteten Insasseneingaben unter Verwendung der Anzeigevorrichtung; und Empfangen eines auf das Objekt gerichteten Sprachbefehls über einen Smart Speaker des Fahrzeugs.
62. Verfahren nach einer der Ausführungsformen 52-61, wobei die geometrischen Modelle computerausführbare semantische Symbole umfassen.
63. Verfahren nach einer der Ausführungsformen 52-62, ferner umfassend:
- Empfangen von auf das Fahrzeug oder das Objekt gerichteten Insasseneingaben unter Verwendung mindestens eines der computerausführbaren semantischen Symbole.
64. Verfahren nach einer der Ausführungsformen 52-63, ferner umfassend das Anzeigen von Text als Reaktion auf das Empfangen der Insasseneingabe auf der Anzeigevorrichtung mit Darstellung von:
- dem ersten Zeitpunkt und dem ersten Abstand; oder
- dem zweiten Zeitpunkt und dem zweiten Abstand.
65. Verfahren nach einer der Ausführungsformen 52-64, wobei das Anzeigen der Bewegungsbahn das Übertragen eines oder mehrerer animierter Symbole, die das Fahrzeugmanöver darstellen, an die Anzeigevorrichtung umfasst.
66. Verfahren nach einer der Ausführungsformen 52-65, wobei das Aktualisieren der grafischen Benutzerschnittstelle das Anzeigen einer Gedankenblase umfasst, die das Fahrzeugmanöver darstellt.
67. Verfahren nach einer der Ausführungsformen 52-63, ferner umfassend:
- Empfangen von Insassenkomfortdaten für einen Insassen im Fahrzeug unter Verwendung eines oder mehrerer Insassensensoren des Fahrzeugs; und
- Bestimmen unter Verwendung des einen oder der mehreren Prozessoren, dass ein Insassenkomfortniveau als Reaktion auf das Übertragen der aktualisierten grafischen Benutzerschnittstelle an die Anzeigevorrichtung abgenommen hat; und
- Beenden des Übertragens der aktualisierten grafischen Benutzerschnittstelle an die Anzeigevorrichtung unter Verwendung des einen oder der mehreren Prozessoren.
68. Verfahren nach einer der Ausführungsformen 52-67, wobei das Fahrzeugmanöver das Anpassen einer Bewegungsbahn des Fahrzeugs in der Weise umfasst, dass ein dritter Abstand des Fahrzeugs von dem Objekt zu einem dritten Zeitpunkt nach dem zweiten Zeitpunkt vergrößert wird.
69. Verfahren, umfassend:
- Anzeigen einer grafischen Benutzerschnittstelle mit Darstellungen des Fahrzeugs und der realen Umgebung auf einer Anzeigevorrichtung eines Fahrzeugs, das in einer realen Umgebung betrieben wird;
- Bestimmen unter Verwendung eines oder mehrerer Prozessoren des Fahrzeugs, ob das Fahrzeug zum ersten Zeitpunkt einen Bremsvorgang durchführen wird;
- als Reaktion auf das Bestimmen, dass das Fahrzeug den Bremsvorgang zum ersten Zeitpunkt durchführen wird, Bestimmen unter Verwendung eines oder mehrerer Insassensensoren des Fahrzeugs, ob sich ein oder mehrere Insassen im Fahrzeug befinden;
- als Reaktion auf das Bestimmen, dass sich ein oder mehrere Insassen im Fahrzeug befinden, Übertragen einer Audioausgabe über einen Smart Speaker zu einem zweiten Zeitpunkt vor dem ersten Zeitpunkt unter Verwendung eines Smart Speakers, um den einen oder die
- mehreren Insassen darüber zu informieren, dass das Fahrzeug den Bremsvorgang zum ersten Zeitpunkt durchführen wird; und
- Anzeigen einer Aktualisierung der grafischen Benutzerschnittstelle auf der Anzeigevorrichtung, wobei die Aktualisierung eine Darstellung einer Zeitdifferenz zwischen dem zweiten Zeitpunkt und dem ersten Zeitpunkt umfasst.
70. Verfahren nach Ausführungsform 69, wobei das Fahrzeug den Bremsvorgang durchführt, um eine Kollision des Fahrzeugs mit einem in der realen Umgebung befindlichen Objekt zu vermeiden.
71. Verfahren nach Ausführungsform 69 oder 70, wobei das Fahrzeug den Bremsvorgang durchführt, um eine Verkehrsregel zu befolgen.
72. Verfahren nach einer der Ausführungsformen 69-71, ferner umfassend: Vibrieren eines oder mehrerer Aktoren, die innerhalb des Fahrzeugs angeordnet sind, wobei die Vibration des einen oder der mehreren Aktoren den Bremsvorgang anzeigt.
73. Verfahren nach einer der Ausführungsformen 69-72, ferner umfassend das Bestimmen eines räumlich-zeitlichen Ortes des Fahrzeugs unter Verwendung des einen oder der mehreren Prozessoren basierend auf Odometriedaten, die aus einem oder mehreren Sensoren des Fahrzeugs empfangen werden.
74. Verfahren nach einer der Ausführungsformen 69-73, ferner umfassend das Bestimmen eines räumlich-zeitlichen Ortes des Objektes relativ zum Fahrzeug unter Verwendung des einen oder der mehreren Prozessoren basierend auf den aus dem einen oder den mehreren Sensoren empfangenen Sensordaten.
75. Verfahren nach einer der Ausführungsformen 69-74, wobei die Audioausgabe eine Anweisung an den einen oder die mehreren Insassen umfasst, eine Armlehne des Fahrzeugs zu ergreifen, bevor das Fahrzeug den Bremsvorgang zum ersten Zeitpunkt durchführt.
76. Verfahren nach einer der Ausführungsformen 69-75, wobei die Audioausgabe eine Anweisung an den einen oder die mehreren Insassen umfasst, sich auf den Bremsvorgang vorzubereiten, bevor das Fahrzeug den Bremsvorgang zum ersten Zeitpunkt durchführt.
77. Verfahren nach einer der Ausführungsformen 69-76, ferner umfassend das Bestimmen unter Verwendung des einen oder der mehreren Prozessoren basierend auf den aus dem einen oder den mehreren Sensoren empfangenen Sensordaten, dass ein Objekt, das sich innerhalb einer Schwellenentfernung zum Fahrzeug befindet, eine Ampel ist.
78. Verfahren nach einer der Ausführungsformen 69-77, ferner umfassend das Bestimmen unter Verwendung des einen oder der mehreren Prozessoren basierend auf den aus dem einen oder den mehreren Sensoren empfangenen Sensordaten, ob eine Farbe der Ampel rot oder gelb ist.
79. Verfahren nach einer der Ausführungsformen 69-78, wobei der Bremsvorgang als Reaktion auf das Bestimmen durchgeführt wird, dass die Farbe der Ampel rot oder gelb ist.
80. Verfahren nach einer der Ausführungsformen 69-79, wobei die Aktualisierung ferner eine Gedankenblase umfasst, die eine Darstellung des Objekts anzeigt.
81. Verfahren nach einer der Ausführungsformen 69-80, ferner umfassend das Abrufen von Insassenkomfortpräferenzen des einen oder der mehreren Insassen im Fahrzeug.
82. Verfahren nach einer der Ausführungsformen 69-81, wobei das Übertragen der Audioausgabe basierend auf den Insassenkomfortpräferenzen durchgeführt wird.
83. Verfahren nach einer der Ausführungsformen 69-82, wobei die Darstellungen des Fahrzeugs und der realen Umgebung mindestens ein semantisches Computersymbol umfassen.
84. Verfahren nach einer der Ausführungsformen 69-83, wobei die Insassenkomfortpräferenzen eine Größe und eine Auflösung des mindestens einen semantischen Computersymbols vorgeben.
85. Verfahren nach einer der Ausführungsformen 69-84, ferner umfassend das Bestimmen der Zeitdifferenz zwischen dem ersten und dem zweiten Zeitpunkt.
86. Verfahren nach einer der Ausführungsform 69-85, wobei das Übertragen der Audioausgabe, die den einen oder die mehreren Insassen darüber informiert, dass das Fahrzeug zum ersten Zeitpunkt den Bremsvorgang durchführen wird, als Reaktion auf das Unterschreiten eines Schwellenwertes der Zeitdifferenz durchgeführt wird.
87. Verfahren nach einer der Ausführungsformen 69-86, wobei das Anzeigen der Aktualisierung der grafischen Benutzerschnittstelle als Reaktion auf das Unterschreiten einer Zeitdifferenz unter einen Schwellenwert durchgeführt wird.
88. Fahrzeug, umfassend:
- einen oder mehrere Computerprozessoren; und
- ein oder mehrere nichtflüchtige Speichermedien, die Anweisungen speichern, die beim Ausführen durch den einen oder die mehreren Computerprozessoren das Durchführen des Verfahrens nach einer der Ausführungsformen 1-87 bewirken.
89. Ein oder mehrere nichtflüchtige Speichermedien, die Anweisungen speichern, die beim Ausführen durch ein oder mehrere Computervorrichtungen das Durchführen des Verfahrens nach einer der Ausführungsformen 1-87 bewirken.
90. Verfahren, umfassend das Durchführen eines maschinell ausgeführten Vorgangs mit Anweisungen, die beim Ausführen durch eine oder mehrere Rechenvorrichtungen das Durchführen des Verfahrens nach einer der Ausführungsformen 1-87 bewirken, wobei der maschinell ausgeführte Vorgang mindestens eines von Senden der Anweisungen, Empfangen der Anweisungen, Speichern der Anweisungen oder Ausführen der Anweisungen ist.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 16855954 [0001]
US 62838359 [0001]
US 16656655 [0002]
US 62752277 [0002]
US 62806403 [0002]

Claims

Verfahren, umfassend: Bestimmen einer Bewegungsbahn eines Fahrzeugs, das in der realen Umgebung betrieben wird, unter Verwendung eines oder mehrerer Prozessoren des Fahrzeugs in der realen Umgebung; Erhalten von ein Objekt in der realen Umgebung darstellenden Sensordaten unter Verwendung eines oder mehrerer Sensoren des Fahrzeugs; Vorhersagen eines Fahrmanövers des Fahrzeugs, um eine Kollision mit dem Objekt zu vermeiden, unter Verwendung des einen oder der mehreren Prozessoren, basierend auf den Sensordaten und der Bewegungsbahn des Fahrzeugs; Bestimmen, dass das Insassenkomfortniveau eines Insassen im Fahrzeug basierend auf dem Fahrmanöver des Fahrzeugs abnehmen wird, unter Verwendung des einen oder der mehreren Prozessoren, wobei das Insassenkomfortniveau durch einen oder mehrere Insassensensoren des Fahrzeugs gemessen wird; Erzeugen einer grafischen Benutzerschnittstelle, die Darstellungen des Fahrzeugs, des Objekts und eine Grafik, einen Text oder ein Symbol umfasst, die den Insassen vor dem vorhergesagten Fahrmanöver warnt, unter Verwendung des einen oder der mehreren Prozessoren; und Übertragen der grafischen Benutzerschnittstelle an eine Anzeigevorrichtung des Fahrzeugs.
Verfahren nach Anspruch 1, ferner umfassend das Empfangen einer auf das Objekt gerichteten Insasseneingabe unter Verwendung einer Eingabevorrichtung des Fahrzeugs, wobei das Objekt ein dynamisches Objekt ist.
Verfahren nach Anspruch 1 oder 2, ferner umfassend das Vergrößern des Objekts innerhalb der grafischen Benutzerschnittstelle als Reaktion auf das Empfangen der Insasseneingabe.
Verfahren nach einem der Ansprüche 2-3, ferner umfassend das Erhöhen einer Anzeigeauflösung des Objekts innerhalb der grafischen Benutzerschnittstelle als Reaktion auf das Empfangen der Insasseneingabe.
Verfahren nach einem der Ansprüche 2-4, ferner umfassend das Bestimmen einer Bewegungsbahn des Objekts in der realen Umgebung als Reaktion auf das Empfangen der Insasseneingabe unter Verwendung des einen oder der mehreren Prozessoren.
Verfahren nach Anspruch 5, ferner umfassend das Anzeigen der Bewegungsbahn des Objekts innerhalb der grafischen Benutzerschnittstelle.
Verfahren nach einem der Ansprüche 1-6, ferner umfassend das Erhalten von zweiten Sensordaten unter Verwendung des einen oder der mehreren Sensoren nach dem Erhalten der Sensordaten, die das Objekt darstellen.
Verfahren nach Anspruch 7, wobei das Vorhersagen des Fahrmanövers des Fahrzeugs, um die Kollision mit dem Objekt zu vermeiden, als Reaktion auf die mit den Sensordaten übereinstimmenden Daten des zweiten Sensors durchgeführt wird.
Verfahren nach einem der Ansprüche 1-8, ferner umfassend das Bestimmen eines Vertrauensniveaus im Zusammenhang mit dem Erzeugen der grafischen Benutzerschnittstelle, die eine Darstellung des Objekts anzeigt, unter Verwendung des einen oder der mehreren Prozessoren.
Verfahren nach Anspruch 9, wobei das Übertragen der grafischen Benutzerschnittstelle als Reaktion darauf durchgeführt wird, dass das Vertrauensniveau einen Schwellenwert überschreitet.
Verfahren nach einem der Ansprüche 1-10, wobei das Erzeugen der grafischen Benutzerschnittstelle das Erzeugen eines geometrischen Modells des Objekts basierend auf den Sensordaten unter Verwendung des einen oder der mehreren Prozessoren umfasst.
Verfahren nach einem der Ansprüche 1-11, ferner umfassend das Filtern der Sensordaten mittels digitaler Signalverarbeitung, um Rauschen aus den Sensordaten zu entfernen.
Verfahren nach Anspruch 12, wobei das Erzeugen der grafischen Benutzerschnittstelle basierend auf den gefilterten Sensordaten durchgeführt wird.
Verfahren nach einem der Ansprüche 12-13, wobei das Vorhersagen des Fahrmanövers des Fahrzeugs, um eine Kollision mit dem Objekt zu vermeiden, basierend auf den gefilterten Sensordaten durchgeführt wird.
Verfahren nach einem der Ansprüche 1-14, wobei das Vorhersagen des Fahrmanövers des Fahrzeugs, um eine Kollision mit dem Objekt zu vermeiden, als Reaktion darauf durchgeführt wird, dass sich das Objekt innerhalb eines Schwellenabstands vom Fahrzeug befindet.
Verfahren nach einem der Ansprüche 1-15, wobei das Objekt ein zweites Fahrzeug oder einen Fußgänger umfasst.
Verfahren nach einem der Ansprüche 1-16, wobei die grafische Benutzerschnittstelle ferner eine dreidimensionale (3D) Darstellung eines Fahrstreifens, einer Ampel, eines Verkehrszeichens und/oder eines Baustellenbereichs anzeigt.
Verfahren nach einem der Ansprüche 1-17, wobei das Erzeugen der grafischen Benutzerschnittstelle zu einem ersten Zeitpunkt und das Übertragen der grafischen Benutzerschnittstelle zu einem zweiten Zeitpunkt durchgeführt wird.
Nichtflüchtiges computerlesbares Speichermedium, das durch einen oder mehrere Computerprozessoren ausführbare Anweisungen speichert, wobei die Anweisungen beim Ausführen durch den einen oder die mehreren Computerprozessoren den einen oder die mehreren Computerprozessoren dazu veranlassen: eine Bewegungsbahn eines in einer realen Umgebung betriebenen Fahrzeugs zu bestimmen; unter Verwendung eines oder mehrerer Sensoren des Fahrzeugs Sensordaten zu erhalten, die ein Objekt in der realen Umgebung darstellen; basierend auf den Sensordaten und der Bewegungsbahn des Fahrzeugs ein Fahrmanöver des Fahrzeugs vorherzusagen, um eine Kollision mit dem Objekt zu vermeiden. zu bestimmen, dass ein Insassenkomfortniveau eines Insassen im Fahrzeug basierend auf dem Fahrmanöver des Fahrzeugs abnehmen wird, wobei das Insassenkomfortniveau durch einen oder mehrere Insassensensoren des Fahrzeugs gemessen wird; eine grafische Benutzerschnittstelle zu erzeugen, die Darstellungen des Fahrzeugs, des Objekts und eine Grafik, einen Text oder ein Symbol umfasst, die den Insassen vor dem vorhergesagten Fahrmanöver warnen; und die grafische Benutzerschnittstelle an eine Anzeigevorrichtung des Fahrzeugs zu übertragen.
Fahrzeug, umfassend: einen oder mehrere Computerprozessoren; und ein nichtflüchtiges computerlesbares Speichermedium, das durch einen oder mehrere Computerprozessoren ausführbare Anweisungen speichert, wobei die Anweisungen beim Ausführen durch den einen oder die mehreren Computerprozessoren den einen oder die mehreren Computerprozessoren dazu veranlassen: eine Bewegungsbahn eines in einer realen Umgebung betriebenen Fahrzeugs zu bestimmen; unter Verwendung eines oder mehrerer Sensoren des Fahrzeugs Sensordaten zu erhalten, die ein Objekt in der realen Umgebung darstellen; basierend auf den Sensordaten und der Bewegungsbahn des Fahrzeugs ein Fahrmanöver des Fahrzeugs vorherzusagen, um eine Kollision mit dem Objekt zu vermeiden. zu bestimmen, dass ein Insassenkomfortniveau eines Insassen im Fahrzeug basierend auf dem Fahrmanöver des Fahrzeugs abnehmen wird, wobei das Insassenkomfortniveau durch einen oder mehrere Insassensensoren des Fahrzeugs gemessen wird; eine grafische Benutzerschnittstelle zu erzeugen, die Darstellungen des Fahrzeugs, des Objekts und eine Grafik, einen Text oder ein Symbol umfasst, die den Insassen vor dem vorhergesagten Fahrmanöver warnen; und die grafische Benutzerschnittstelle an eine Anzeigevorrichtung des Fahrzeugs zu übertragen.