DE102020203814A1

DE102020203814A1 - Trainieren eines künstlichen neuronalen Netzwerks

Info

Publication number: DE102020203814A1
Application number: DE102020203814.7A
Authority: DE
Inventors: Steffen Biel; Christian Heupel
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2020-03-24
Filing date: 2020-03-24
Publication date: 2021-09-30

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung (16) zum autonomen oder teilautonomen Betreiben eines Fahrzeugs (12), mit: einer Eingangsschnittstelle (22) zum Empfangen von Kameradaten eines Kamerasensors (14), wobei die Kameradaten Informationen zu Objekten (18) in einer Umgebung des Fahrzeugs (12) umfassen; einer Auswerteeinheit (24) zum Ermitteln einer Fahrzeugreaktion basierend auf einer Auswertung der Kameradaten in einem vortrainierten künstlichen neuronalen Netzwerk; und einer Steuereinheit (26) zum Ermitteln eines Steuersignals für einen Aktor (20) des Fahrzeugs (12) zum Ausführen der Fahrzeugreaktion, wobei das künstliche neuronale Netzwerk basierend auf Umfeld-Beobachtungsdaten mit Informationen zu Objekten (18) in einem Sichtfeld des Fahrers (31), simultanen Fahrer-Beobachtungsdaten mit Informationen zu einer Blickrichtung des Fahrers (31) innerhalb des Sichtfelds des Fahrers (31) und Reaktionsdaten mit Informationen zu einer Aktion des Fahrers (31) vortrainiert ist. Die vorliegende Erfindung betrifft weiterhin ein System (10) und ein Verfahren zum autonomen oder teilautonomen Betreiben eines Fahrzeugs (12) sowie eine Trainingsvorrichtung (28) und ein Trainingsverfahren.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zum autonomen Betreiben eines Fahrzeugs. Die Erfindung betrifft weiterhin ein Verfahren und ein System zum autonomen Betreiben eines Fahrzeugs sowie eine Trainingsvorrichtung und ein Trainingsverfahren eines künstlichen neuronalen Netzwerks.
Moderne Fahrzeuge (Autos, Transporter, Lastwagen, Motorräder etc.) umfassen eine Vielzahl an Systemen, die dem Fahrer Informationen zur Verfügung stellen und einzelne Funktionen des Kraftfahrzeugs teil- oder vollautomatisiert steuern. Über Sensoren werden die Umgebung des Kraftfahrzeugs sowie andere Verkehrsteilnehmer erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumgebung reagiert werden. Durch die fortschreitende Entwicklung im Bereich der autonom und teilautonom fahrenden Fahrzeuge werden der Einfluss und der Wirkungsbereich solcher Fahrerassistenzsysteme (Advanced Driver Assistance Systems, ADAS) immer größer. Durch die Entwicklung immer präziserer Sensoren ist es möglich, die Umgebung und den Verkehr zu erfassen und einzelne Funktionen des Kraftfahrzeugs vollständig oder teilweise ohne Eingriff des Fahrers zu kontrollieren. Fahrerassistenzsysteme können dabei insbesondere zur Erhöhung der Sicherheit im Verkehr sowie zur Verbesserung des Fahrkomforts beitragen.
Für die Datenauswertung und Weiterverarbeitung sind in diesem Zusammenhang insbesondere künstliche neuronale Netzwerke relevant. Anwendungen liegen beispielsweise im Bereich der Objekterkennung basierend auf Kamera- und anderen Sensordaten und in der Ableitung relevanter Erkenntnisse und Handlungsempfehlungen. Eine Herausforderung liegt dabei darin, dass zum Trainieren eines neuronalen Netzwerks eine große Menge an Trainingsdaten erforderlich ist. Diese Trainingsdaten sind zumeist manuell annotiert, um eine Zuordnung zwischen Sensordaten als Eingabe-Trainingsdaten und entsprechenden Objekten als Ausgabe-Trainingsdaten bzw. eine korrekte Klassifizierung zu ermöglichen. Zudem besteht eine Herausforderung darin, geeignete Eingangsdaten zu verwenden, auf deren Basis eine adäquate und angemessene Reaktion eines autonomen oder teilautonomen Fahrzeugsteuerungssystems ermittelt werden kann.
In diesem Zusammenhang wird in der DE 10 2018 117 380 A1 ein Ansatz zur Bremsvorhersage und zu einem Bremseingriff offenbart. Eine Rechenvorrichtung in einem Fahrzeug ist dazu programmiert, ein Kollisionsrisiko durch Vergleichen eines erlangten Insassengesichtsausdrucks mit einer Vielzahl von gespeicherten Insassengesichtsausdrücken vorherzusagen und ein Fahrzeug auf der Grundlage des Kollisionsrisikos zu bremsen.
Eine relevante Problemstellung liegt darin, bei der Ableitung einer adäquaten Fahrzeugreaktion eine hohe Zuverlässigkeit zu erreichen. Das autonome oder teilautonome Fahrzeug soll mit möglichst hoher Zuverlässigkeit eine Reaktion auf eine erkannte Situation ausführen, die der erkannten Situation angemessen ist und möglichst einer Reaktion eines menschlichen Fahrers entspricht.
Ausgehend hiervon stellt sich der vorliegenden Erfindung die Aufgabe, bei einem autonomen oder teilautonomen Betrieb eines Fahrzeugs eine möglichst situationsadäquate Reaktion des Fahrzeugs auf eine Situation sicherzustellen. Insbesondere soll die Sicherheit des eigenen Fahrzeugs und der Insassen sowie anderer Verkehrsteilnehmer gewährleistet werden.
Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum autonomen oder teilautonomen Betreiben eines Fahrzeugs, mit:

einer Eingangsschnittstelle zum Empfangen von Kameradaten eines Kamerasensors, wobei die Kameradaten Informationen zu Objekten in einer Umgebung des Fahrzeugs umfassen;
einer Auswerteeinheit zum Ermitteln einer Fahrzeugreaktion basierend auf einer Auswertung der Kameradaten in einem vortrainierten künstlichen neuronalen Netzwerk; und
einer Steuereinheit zum Ermitteln eines Steuersignals für einen Aktor des Fahrzeugs zum Ausführen der Fahrzeugreaktion, wobei
das künstliche neuronale Netzwerk basierend auf Umfeld-Beobachtungsdaten mit Informationen zu Objekten in einem Sichtfeld des Fahrers, simultanen Fahrer-Beobachtungsdaten mit Informationen zu einer Blickrichtung des Fahrers innerhalb des Sichtfelds des Fahrers und Reaktionsdaten mit Informationen zu einer Aktion des Fahrers vortrainiert ist.

In einem weiteren Aspekt betrifft die Erfindung ein System zum autonomen oder teilautonomen Betreiben eines Fahrzeugs, mit:

einem Kamerasensor; und
einer Vorrichtung wie zuvor beschrieben.

In einem weiteren Aspekt betrifft die Erfindung eine Trainingsvorrichtung eines künstlichen neuronalen Netzwerks, mit:

einer Eingangsschnittstelle zum Empfangen von Umfeld-Beobachtungsdaten mit Informationen zu Objekten in einem Sichtfeld eines Fahrers eines Fahrzeugs, simultanen Fahrer-Beobachtungsdaten mit Informationen zu einer Blickrichtung des Fahrers innerhalb des Sichtfelds des Fahrers und Reaktionsdaten mit Informationen zu einer Aktion des Fahrers;
einer Trainingseinheit zum Eingeben der Umfeld-Beobachtungsdaten und der Fahrer-Beobachtungsdaten als Eingabe-Trainingsdaten sowie der Reaktionsdaten als Ausgabe-Trainingsdaten in ein künstliches neuronales Netzwerk.

Weitere Aspekte der Erfindung betreffen entsprechend der Vorrichtungen ausgebildete Verfahren und ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte der Verfahren, wenn der Programmcode auf einem Computer ausgeführt wird sowie ein Speichermedium, auf dem ein Computerprogramm gespeichert ist, das, wenn es auf einem Computer ausgeführt wird, eine Ausführung der hierin beschriebenen Verfahren bewirkt.
Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass das System und das Verfahren zum autonomen oder teilautonomen Betreiben des Kraftfahrzeugs sowie die Trainingsvorrichtung und das Trainingsverfahren des künstlichen neuronalen Netzwerks sowie das Computerprogrammprodukt entsprechend der für die Vorrichtung zum autonomen oder teilautonomen Betreiben des Fahrzeugs definierten Ausgestaltungen ausgeführt sein können.
Es ist vorgesehen, dass über eine Eingangsstelle Kameradaten empfangen werden. Diese Kameradaten werden ausgewertet, um darauf basierend eine Fahrzeugreaktion zu ermitteln. Die Fahrzeugreaktion entspricht dabei einem Fahrmanöver, das vom Fahrzeug ausgeführt werden soll, um ausgehend von einer aktuellen Situation möglichst eine Gefährdung des eigenen Fahrzeugs oder eines anderen Verkehrsteilnehmers zu vermeiden. Hierzu wird in einer Steuereinheit basierend auf der ermittelten Fahrzeugreaktion ein Steuersignal ermittelt. Mittels dieses Steuersignals kann ein Aktor des Fahrzeugs angesteuert werden, um eine Ausführung der Fahrzeugreaktion zu bewirken. Die Fahrzeugreaktion wird mittels eines künstlichen neuronalen Netzwerks ermittelt, das basierend auf Umfeld-Beobachtungsdaten, simultanen Fahrer-Beobachtungsdaten sowie Reaktionsdaten vortrainiert ist. Diese Daten sind dabei insbesondere über einen langen Zeitraum gesammelt worden und in einer Trainingsphase im künstlichen neuronalen Netzwerk verarbeitet worden.
Bei bisherigen Ansätzen wurde vorgeschlagen, die Blickrichtung des Fahrers als Eingangssignal für ein künstliches neuronales Netzwerk zum Ermitteln einer Fahrzeugreaktion zu verwenden. Demgegenüber sieht der beschriebene Ansatz vor, derartige Fahrer-Beobachtungsdaten nur für das Training des künstlichen neuronalen Netzwerks, nicht jedoch während des eigentlichen Betriebs des Fahrzeugs zu verwenden. Für die Entscheidung bezüglich der Fahrzeugreaktion im (späteren) Betrieb wird lediglich auf Kameradaten zurückgegriffen. In dieser Situation kann dann im Betrieb insoweit also eine Reaktion ausgelöst werden, auch wenn der Fahrer die Gefahr in diesem Fall nicht erkennt. Ebenfalls ist es möglich, keine Reaktion auszulösen, wenn der Fahrer aus anderen Gründen einen bestimmten Bereich beobachtet. Es ergibt sich eine höhere Zuverlässigkeit bei der Ermittlung der angepassten Fahrzeugreaktion auf eine aktuelle Situation.
In der Trainingsphase werden in einer erfindungsgemäßen Trainingsvorrichtung eines künstlichen neuronalen Netzwerks sowohl Umfeld-Beobachtungsdaten als auch simultan aufgenommene Fahrer-Beobachtungsdaten als Eingabe-Trainingsdaten verwendet. Als Ausgabe-Trainingsdaten werden die Aktionen des Fahrers in Reaktion auf das Umfeld des Fahrzeugs verwendet. Dadurch, dass die Umfeld-Beobachtungsdaten und die Fahrer-Beobachtungsdaten für das Training benutzt werden, kann eine Information über einen für die ausgeführte Aktion des Fahrers relevanten Bildbereich miteinbezogen werden. Insbesondere kann ein relevantes Objekt identifiziert werden. In anderen Worten kann das künstliche neuronale Netzwerk darauf hintrainiert werden, zu erkennen, welche Objekte in welchem Kontext eine bestimmte Reaktion bedingen bzw. erfordern. Durch den erfindungsgemäßen Ansatz kann insoweit die Zuverlässigkeit bei der Bestimmung einer geeigneten Fahrzeugreaktion verbessert werden. Zudem können Kosten für das manuelle Annotieren von Daten eingespart werden, sodass ein effizienteres Trainieren eines künstlichen neuronalen Netzwerks ermöglicht wird. Hierdurch können einerseits Kosten reduziert, andererseits die Datenmenge der Trainingsdaten erhöht werden.
In einer bevorzugten Ausgestaltung ist die Eingangsschnittstelle der Vorrichtung zum Empfangen der Kameradaten von einer auf eine geplante Trajektorie des Fahrzeugs gerichteten Kamera ausgebildet. Insbesondere ist derjenige Bereich relevant, den das Fahrzeug in nächster Zeit durchqueren will. Objekte innerhalb dieses Bereichs sind relevant. Eine Kamera observiert den Bereich, in den sich das Fahrzeug in nächster Zeit bewegen wird. Basierend auf den gewonnenen Daten kann dann eine Fahrzeugreaktion ermittelt und ein Steuersignal für einen Aktor des Fahrzeugs erzeugt werden.
In einer bevorzugten Ausgestaltung umfassen die Umfeld-Beobachtungsdaten Bilddaten einer auf das Umfeld des Fahrzeugs gerichteten Umfeld-Beobachtungskamera. Zusätzlich oder alternativ umfassen die Fahrer-Beobachtungdaten Bilddaten eines auf den Fahrer gerichteten Fahrer-Beobachtungskamerasensors. Weiter zusätzlich oder alternativ umfassen die Reaktionsdaten Sensordaten eines Sensors des Fahrzeugs und/oder Betriebsdaten eines Aktors des Fahrzeugs. Die Umfeld-Beobachtungdaten sind insbesondere Daten einer Umfeldkamera, die am Fahrzeug angebracht ist. Die Fahrer-Beobachtungsdaten sind insbesondere Daten einer Kamera, die auf den Fahrer und insbesondere dessen Augen gerichtet ist. Die Reaktionsdaten können sowohl Informationen eines Aktors bezüglich dessen Ansteuerung als auch Informationen eines Sensors, beispielsweise eines Inertialsensors oder eines direkt in einem Aktor des Fahrzeugs angebrachten Sensors sein. Es ergibt sich eine zuverlässige Ermittlung einer adäquaten Fahrzeugreaktion.
In einer bevorzugten Ausgestaltung ist die Steuereinheit zum Ansteuern des Aktors mit dem ermittelten Steuersignal ausgebildet. Insbesondere ist es möglich, dass über die Steuereinheit direkt ein Aktor angesteuert wird. Die Steuereinheit trifft insoweit eine Entscheidung, welche Aktion ausgelöst wird. Beispielsweise kann eine Druckeinheit eines Bremszylinders angesteuert werden, um einen Druck im Bremszylinder vorsorglich zu erhöhen. Ebenfalls ist es möglich, dass der Druck so weit erhöht wird, dass direkt eine Bremsung ausgelöst wird. Die Bremskraft kann dabei der Situation angemessen sein. Weiterhin können beispielsweise eine Lenkung oder auch eine Beschleunigungseinheit eines Fahrzeugs direkt angesteuert werden.
In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln der Fahrzeugreaktion ohne Berücksichtigung von aktuellen Fahrer-Beobachtungsdaten mit Informationen zu einer Blickrichtung des Fahrers innerhalb eines Sichtfelds des Fahrers als Eingangsdaten in dem vortrainierten künstlichen neuronalen Netzwerk ausgebildet. Das künstliche neuronale Netzwerk wurde basierend auf zuvor gesammelten Fahrer-Beobachtungsdaten vortrainiert. Die aktuellen Fahrer-Beobachtungsdaten werden bei der Ermittlung der Fahrzeugreaktion nicht berücksichtigt. Hierdurch kann die Zuverlässigkeit bei der Ermittlung der adäquaten Reaktion weiter erhöht werden. Der Fahrer kann abgelenkt oder unaufmerksam sein. Das System erkennt die notwendige Reaktion des Fahrzeugs auf das Umfeld ohne die aktuelle Blickrichtung des Fahrers zu berücksichtigen.
Ein Sichtfeld bzw. ein Sichtbereich eines Kamerasensors oder auch eines Fahrers entspricht einem vom Kamerasensor oder vom Fahrer einsehbaren Bereich. Insbesondere ist das Sichtfeld durch eine Angabe eines Winkels in Vertikalrichtung und eines Winkels in Horizontalrichtung festgelegt. Eine Fahrzeugreaktion kann insbesondere einer Kombination aus einem Brems-, Lenk- und Beschleunigungsvorgang entsprechen. Die Umfeld-Beobachtungsdaten und die Fahrer-Beobachtungsdaten werden simultan aufgenommen. Insbesondere findet eine entsprechende Koordinatentransformation statt, um die Blickrichtung des Fahrers in den Umfeld-Beobachtungsdaten abzubilden. Durch eine solche Koordinatentransformation wird es möglich, eine Blickrichtung einer Position innerhalb eines Bildes bzw. innerhalb der Fahrer-Beobachtungsdaten zuzuordnen. Die Reaktionsdaten entsprechen insbesondere Informationen über vom Fahrer durchgeführte Brems-, Lenk- und Beschleunigungsvorgänge in unmittelbarer Folge der Umfeld-Beobachtungsdaten und der Fahrer-Beobachtungsdaten. Die Reaktionsdaten bilden insoweit eine Reaktion des Fahrers auf einen Zustand des Umfelds ab. Das Training des künstlichen neuronalen Netzwerks erfolgt insbesondere vor dem Betrieb der Vorrichtung zum autonomen oder teilautonomen Betreiben des Fahrzeugs.
Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:

1 eine schematische Darstellung eines Fahrzeugs mit einem erfindungsgemäßen System;
2 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum autonomen oder teilautonomen Betreiben eines Fahrzeugs;
3 eine schematische Darstellung eines Fahrzeugs mit einer Trainingsvorrichtung eines künstlichen neuronalen Netzwerks;
4 eine Trainingsvorrichtung eines künstlichen neuronalen Netzwerks;
5 eine Fahrsituation aus der Perspektive eines Fahrzeugs bzw. eines Fahrers des Fahrzeugs; und
6 eine schematische Darstellung eines erfindungsgemäßen Verfahrens.

In der 1 ist schematisch ein erfindungsgemäßes System 10 in einem Fahrzeug 12 dargestellt. Die Darstellung ist als schematische seitliche Schnittansicht zu verstehen. Das System 10 umfasst dabei einen Kamerasensor 14 sowie eine Vorrichtung 16 zum autonomen oder teilautonomen Betreiben des Fahrzeugs 12. Mit dem Kamerasensor 14 wird ein Objekt 18 innerhalb eines Sichtfelds 19 des Kamerasensors 14 in der Umgebung des Fahrzeugs 12 erfasst. Mittels eines vortrainierten künstlichen neuronalen Netzwerks wird in der Vorrichtung 16 eine angepasste Fahrzeugreaktion auf das Objekt 18 bzw. die Situation in der Umgebung des Fahrzeugs 12 ermittelt. Um die ermittelte Fahrzeugreaktion des Fahrzeugs 12 auszuführen, umfasst das Fahrzeug 12 insbesondere einen Aktor 20, beispielweise einen Bremszylinder oder auch eine Beschleunigungseinheit etc.
Im dargestellten Ausführungsbeispiel sind der Kamerasensor 14, die Vorrichtung 16 sowie der Aktor 20 in das Fahrzeug 12 integriert. Ebenfalls ist es möglich, dass die Vorrichtung 16 und/oder der Kamerasensor 14 separat ausgeführt sind. Beispielsweise können die Vorrichtung 16 und/oder der Kamerasensor 14 auch in ein Mobilgerät integriert sein.
Hierin wird vorgeschlagen, zum Ermitteln einer Fahrzeugreaktion auf eine Situation in der Umgebung eines autonomen oder teilautonomen Fahrzeugs Kameradaten in einem vortrainierten künstlichen neuronalen Netzwerk auszuwerten. Das künstliche neuronale Netzwerk ist dabei basierend auf zuvor gesammelten Umfeld-Beobachtungsdaten, die Informationen zu Objekten in einem Sichtfeld des Fahrers umfassen, simultan aufgezeichneten Fahrer-Beobachtungsdaten mit Informationen zu einer Blickrichtung des Fahrers innerhalb des Sichtfelds des Fahrers sowie Reaktionsdaten mit Informationen zu einer Aktion des Fahrers vortrainiert. Insoweit ist zuvor ein Training des neuronalen Netzwerks erfolgt, bei dem einerseits Kameradaten der Umgebung (Umfeld-Beobachtungsdaten) und andererseits Informationen zu einer Blickrichtung des Fahrers (Fahrer-Beobachtungsdaten) verwendet wurden. Zum Erlernen der angemessenen Reaktion wurde die vom Fahrer in Reaktion auf die Situation ausgeführte Aktion miteinbezogen. Das neuronale Netzwerk ist insoweit basierend auf der Blickrichtung des Fahrers vortrainiert. Die Blickrichtung des Fahrers wird dann jedoch während des Betriebs nicht mehr verwendet, um die Fahrzeugreaktion zu ermitteln.
In der 2 ist schematisch eine erfindungsgemäße Vorrichtung 16 zum autonomen oder teilautonomen Betreiben eines Fahrzeugs dargestellt. Die Vorrichtung 16 umfasst eine Eingangsschnittstelle 22, eine Auswerteeinheit 24 sowie eine Steuereinheit 26. Die verschiedenen Einheiten und Schnittstellen können dabei separat oder kombiniert in Hard- und/oder in Software ausgeführt sein. Insbesondere ist es möglich, dass die Vorrichtung in Software implementiert ist, die auf einem Steuergerät eines Fahrzeugs ausgeführt wird. Die Vorrichtung 16 kann insbesondere als Teil eines High-Level-Assistenzsystems ausgebildet sein. Bei einem derartigen Assistenzsystem führt ein Fahrer das Fahrzeug, wobei das System über eine Ansteuerung verschiedener Aktoren des Fahrzeugs eingreifen kann.
Über die Eingangsschnittstelle 22 werden Kameradaten bzw. ein Bildsignal eines Kamerasensors empfangen. Zum Empfangen der Kameradaten kann die Eingangsschnittstelle 22 insbesondere an ein Bussystem des Fahrzeugs angebunden sein und über dieses Bussystem mit dem Kamerasensor verbunden sein. Insbesondere können Kameradaten eines Kamerasensors empfangen werden, der am Fahrzeug angebracht ist. Der Kamerasensor kann dabei beispielsweise einer Kamera entsprechen, die im Bereich einer Stoßstange des Fahrzeugs befestigt ist. Die Kameradaten entsprechen insbesondere Bilddaten eines Bereichs vor dem Fahrzeug. Insbesondere kann dieser Bereich eine geplante Trajektorie des Fahrzeugs umfassen. Die geplante Trajektorie ist dabei der Weg, den das Fahrzeug in der unmittelbaren Zukunft zurücklegen wird. Insbesondere ist die Fahrbahn vor dem Fahrzeug im Blickfeld der Kamera. Üblicherweise umfassen die Kameradaten dabei Informationen zu mehreren Objekten. Insbesondere sind mehrere Objekte im aufgezeichneten Bildsignal vorhanden.
In der Auswerteeinheit 24 wird basierend auf den Kameradaten eine Fahrzeugreaktion ermittelt. Hierzu wird ein vortrainiertes künstliches neuronales Netzwerk verwendet. Die Ermittlung der Fahrzeugreaktion kann dabei insbesondere eine Ermittlung einer notwendigen Brems-, Beschleunigungs- und/oder Lenkbewegung des Fahrzeugs umfassen. Eine Fahrzeugreaktion entspricht insoweit insbesondere einem Fahrmanöver, das in Reaktion auf die Objekte in der Umgebung des Fahrzeugs, wie sie vom Kamerasensor erkannt wurden, ausgeführt werden soll. Mittels des vortrainierten künstlichen neuronalen Netzwerks wird in der Auswerteeinheit eine adäquate Reaktion des Fahrzeugs auf die Situation in seiner Umgebung ermittelt. Das künstliche neuronale Netzwerk ist dabei basierend auf Umfeld-Beobachtungsdaten und simultanen Fahrer-Beobachtungsdaten einerseits sowie Reaktionsdaten mit Informationen zu einer Aktion des Fahrers andererseits vortrainiert. Die Trainingsdaten wurden zu einem früheren Zeitpunkt gesammelt. Im Betrieb erfolgt die Ermittlung der Fahrzeugreaktion lediglich basierend auf den aktuellen Kameradaten.
In der Steuereinheit 26 wird ausgehend von der ermittelten Fahrzeugreaktion ein Steuersignal für einen Aktor des Fahrzeugs ermittelt. Mittels des Steuersignals kann der Aktor des Fahrzeugs, also beispielsweise eine Lenkung, eine Bremseinheit oder auch eine Beschleunigungseinheit angesteuert werden. Hierzu kann die Steuereinheit 26 direkt mit dem entsprechenden Aktor verbunden sein. Ebenfalls ist es möglich, dass in der Steuereinheit lediglich das Steuersignal für den Aktor ermittelt wird, sodass dieses vor dem Anlegen an den entsprechenden Aktor erneut überprüft und gegebenenfalls weiterverarbeitet werden kann. Insbesondere kann über die Steuereinheit ein Steuersignal für eine Druckeinheit zum Erhöhen eines Drucks in einem Bremszylinder des Fahrzeugs ausgegeben werden.
Für das Training des künstlichen neuronalen Netzwerks wird eine Trainingsvorrichtung 28 verwendet. In der 3 ist ein Fahrzeug 12' dargestellt, das eine Trainingsvorrichtung 28 umfasst. Einerseits werden Umfeld-Beobachtungsdaten aufgezeichnet und als Eingabe-Trainingsdaten verwendet. Andererseits werden simultan Fahrer-Beobachtungsdaten aufgezeichnet und als Eingabe-Trainingsdaten verwendet. Weiterhin werden Reaktionsdaten als Ausgabe-Trainingsdaten verwendet. Die Umfeld-Beobachtungsdaten werden dabei insbesondere in Form von Kameradaten einer Umfeld-Beobachtungskamera 29 am Fahrzeug 12' aufgezeichnet. Die Fahrer-Beobachtungsdaten werden insbesondere mittels einer auf den Fahrer 31 gerichteten Fahrer-Beobachtungskamera 30 aufgezeichnet. Die Aktion des Fahrers wird über einen entsprechenden Sensor 32 ermittelt. Als Sensor 32 kann beispielsweise ein Drucksensor in einem Bremszylinder oder auch ein Beschleunigungssensor etc. verwendet werden. Die Umfeld-Beobachtungskamera 29, die Fahrer-Beobachtungskamera 30 sowie der Sensor 32 zeichnen dabei simultan Daten auf. Ausgehend von den Fahrer-Beobachtungsdaten kann eine Blickrichtung des Fahrers bestimmt werden. Es versteht sich, dass zum Verbinden mit den Umfeld-Beobachtungsdaten eine entsprechende Koordinatentransformation durchgeführt werden muss. Das neuronale Netzwerk versucht dann zu einem Zeitpunkt t+1 eine Aktion des Fahrers (auch als Fahrerwunsch bezeichnet) in einem darauffolgenden Zeitpunkt t2 vorherzusagen. Als Feedback wird dem neuronalen Netzwerk in der Trainingsphase die Aktion des Fahrers in Form der Reaktionsdaten mitgeteilt. Ausgehend hiervon kann die Trainingsvorrichtung 28 dann über die Zeit lernen, Szenarien basierend auf den Umfeld-Beobachtungsdaten und den Fahrer-Beobachtungsdaten mit durchzuführenden Aktionen zu verbinden. Durch ein derartiges kontinuierliches Labeln relevanter Bildbereiche basierend auf der Blickrichtung des Fahrers können Verhaltensmuster erlernt werden. Es ist dabei möglich, dass das System bereits während der Trainingsphase unterstützend zur Verfügung steht. Vorteilhafterweise wird dann sowohl für die Trainingsvorrichtung 28 als auch für die Vorrichtung 16 ein gemeinsamer Kamerasensor verwendet.
In der 4 ist schematisch eine erfindungsgemäße Trainingsvorrichtung 28 zum Trainieren eines künstlichen neuronalen Netzwerks dargestellt. Die Trainingsvorrichtung 28 umfasst eine Eingangsschnittstelle 34 sowie eine Trainingseinheit 36. Die Einheiten und Schnittstellen können wiederum separat oder kombiniert in Hard- und/oder in Software ausgeführt sein. Insbesondere ist es möglich, dass die Trainingsvorrichtung 28 und die Vorrichtung 16 zum autonomen oder teilautonomen Betreiben des Fahrzeugs kombiniert ausgeführt sind und insoweit beide Funktionen zur Verfügung stellen.
In der 5 ist schematisch ein Einsatzszenario einer erfindungsgemäßen Trainingsvorrichtung 28 dargestellt. Die Darstellung der 5 ist dabei als Situationsdarstellung aus einer Fahrerperspektive des Fahrers des Fahrzeugs 12' zu verstehen. Der Fahrer nimmt neben der Fahrbahn 38 vor dem Fahrzeug 12' ein Objekt 18 am Straßenrand wahr. Bei dem Objekt kann es sich beispielsweise um ein Reh handeln. Das Reh befindet sich am Straßenrand und das Fahrzeug 12' fährt auf das Reh zu. Der Fahrer kann die Situation gut einschätzen und bremst das Fahrzeug bzw. weicht dem Tier aus. In der Trainingsphase kann das neuronale Netzwerk dann ausgehend von der Blickrichtung des Fahrzeugs eine Einschätzung der Situation erreichen. Während des Betriebs zu einem späteren Zeitpunkt kann der Fahrer dann in ähnlichen Situationen unterstützt werden. Beispielsweise kann ein Druck in einem Bremsdruckbehälter erhöht werden, damit eine Bremsung schneller durchgeführt werden kann. Durch die zusätzliche Berücksichtigung der Blickrichtung des Fahrers kann im neuronalen Netzwerk abgebildet werden, dass dieser Bildausschnitt relevante Informationen bezüglich einer Aktion des Fahrers umfasst. Wenn sich beispielsweise der Fahrer für eine Bremsung entscheidet, nachdem sich das Tier umgedreht hat, kann das künstliche neuronale Netzwerk eine Verknüpfung zwischen der Bewegung des Tieres zu der Aktion Bremsung erlernen.
In der 5 ist schematisch ein erfindungsgemäßes Verfahren zum autonomen oder teilautonomen Betreiben eines Fahrzeugs dargestellt. Das Verfahren umfasst Schritte des Empfangens S10 von Kameradaten, des Ermittelns S12 einer Fahrzeugreaktion und des Ermittelns S14 eines Steuersignals. Das Verfahren kann insbesondere in Software implementiert sein, die auf einem Fahrzeugsteuergerät eines Fahrzeugs ausgeführt wird. Insbesondere kann es sich um Software handeln, die in einem Fahrerassistenzsystem umgesetzt wird.
Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend beschrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer genauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentansprüche.
In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprüchen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Schnittstelle, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet werden kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.
Bezugszeichenliste

10: System
12, 12': Fahrzeug
14: Kamerasensor
16: Vorrichtung
18: Objekt
19: Sichtfeld
20: Aktor
22: Eingangsschnittstelle
24: Auswerteeinheit
26: Steuereinheit
28: Trainingsvorrichtung
29: Umfeld-Beobachtungskamera
30: Fahrer-Beobachtungskamera
31: Fahrer
32: Sensor
34: Eingangsschnittstelle
36: Trainingseinheit
38: Fahrbahn

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018117380 A1 [0004]

Claims

Vorrichtung (16) zum autonomen oder teilautonomen Betreiben eines Fahrzeugs (12), mit: einer Eingangsschnittstelle (22) zum Empfangen von Kameradaten eines Kamerasensors (14), wobei die Kameradaten Informationen zu Objekten (18) in einer Umgebung des Fahrzeugs (12) umfassen; einer Auswerteeinheit (24) zum Ermitteln einer Fahrzeugreaktion basierend auf einer Auswertung der Kameradaten in einem vortrainierten künstlichen neuronalen Netzwerk; und einer Steuereinheit (26) zum Ermitteln eines Steuersignals für einen Aktor (20) des Fahrzeugs (12) zum Ausführen der Fahrzeugreaktion, wobei das künstliche neuronale Netzwerk basierend auf Umfeld-Beobachtungsdaten mit Informationen zu Objekten (18) in einem Sichtfeld des Fahrers (31), simultanen Fahrer-Beobachtungsdaten mit Informationen zu einer Blickrichtung des Fahrers (31) innerhalb des Sichtfelds des Fahrers (31) und Reaktionsdaten mit Informationen zu einer Aktion des Fahrers (31) vortrainiert ist.
Vorrichtung (16) nach Anspruch 1, wobei die Eingangsschnittstelle (22) zum Empfangen der Kameradaten von einer auf eine geplante Trajektorie des Fahrzeugs (12) gerichteten Kamera ausgebildet ist.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Umfeld-Beobachtungsdaten Bilddaten einer auf das Umfeld des Fahrzeugs (12) gerichteten Umfeld-Beobachtungskamera (29) umfassen; die Fahrer-Beobachtungsdaten Bilddaten einer auf den Fahrer (31) gerichteten Fahrer-Beobachtungskamera (30) umfassen; und/oder die Reaktionsdaten Sensordaten eines Sensors des Fahrzeugs (12) und/oder Betriebsdaten eines Aktors (20) des Fahrzeugs (12) umfassen.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Steuereinheit (26) zum Ansteuern des Aktors (20) mit dem ermittelten Steuersignal ausgebildet ist.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Steuereinheit (26) zum Ermitteln eines Steuersignals für einen Druckaktor zum Erhöhen eines Drucks in einem Bremszylinder des Fahrzeugs (12) ausgebildet ist.
Vorrichtung (16) nach einem der vorstehenden Ansprüche, wobei die Auswerteeinheit (24) zum Ermitteln der Fahrzeugreaktion ohne Berücksichtigung von aktuellen Fahrer-Beobachtungsdaten mit Informationen zu einer Blickrichtung des Fahrers (31) innerhalb eines Sichtfelds des Fahrers (31) als Eingangsdaten in dem vortrainierten künstlichen neuronalen Netzwerk ausgebildet ist.
System (10) zum autonomen oder teilautonomen Betreiben eines Fahrzeugs (12), mit: einem Kamerasensor (14); einer Vorrichtung (16) nach einem der Ansprüche 1 bis 6.
Verfahren zum autonomen oder teilautonomen Betreiben eines Fahrzeugs (12), mit den Schritten: Empfangen (S10) von Kameradaten eines Kamerasensors (14), wobei die Kameradaten Informationen zu Objekten (18) in einer Umgebung des Fahrzeugs (12) umfassen; Ermitteln (S12) einer Fahrzeugreaktion basierend auf einer Auswertung der Kameradaten in einem vortrainierten künstlichen neuronalen Netzwerk; und Ermitteln (S14) eines Steuersignals für einen Aktor (20) des Fahrzeugs (12) zum Ausführen der Fahrzeugreaktion, wobei das künstliche neuronale Netzwerk basierend auf Umfeld-Beobachtungsdaten mit Informationen zu Objekten (18) in einem Sichtfeld des Fahrers (31), simultanen Fahrer-Beobachtungsdaten mit Informationen zu einer Blickrichtung des Fahrers (31) innerhalb des Sichtfelds des Fahrers (31) und Reaktionsdaten mit Informationen zu einer Aktion des Fahrers (31) vortrainiert ist.
Trainingsvorrichtung (28) eines künstlichen neuronalen Netzwerks, mit: einer Eingangsschnittstelle (34) zum Empfangen von Umfeld-Beobachtungsdaten mit Informationen zu Objekten (18) in einem Sichtfeld eines Fahrers (31) eines Fahrzeugs (12'), simultanen Fahrer-Beobachtungsdaten mit Informationen zu einer Blickrichtung des Fahrers (31) innerhalb des Sichtfelds des Fahrers (31) und Reaktionsdaten mit Informationen zu einer Aktion des Fahrers (31); einer Trainingseinheit (36) zum Eingeben der Umfeld-Beobachtungsdaten und der Fahrer-Beobachtungsdaten als Eingabe-Trainingsdaten sowie der Reaktionsdaten als Ausgabe-Trainingsdaten in ein künstliches neuronales Netzwerk.
Trainingsverfahren eines künstlichen neuronalen Netzwerks, mit den Schritten: Empfangen von Umfeld-Beobachtungsdaten mit Informationen zu Objekten (18) in einem Sichtfeld eines Fahrers (31) eines Fahrzeugs (12), simultanen Fahrer-Beobachtungsdaten mit Informationen zu einer Blickrichtung des Fahrers (31) innerhalb des Sichtfelds des Fahrers (31) und Reaktionsdaten mit Informationen zu einer Aktion des Fahrers (31); Eingeben der Umfeld-Beobachtungsdaten und der Fahrer-Beobachtungsdaten als Eingabe-Trainingsdaten sowie der Reaktionsdaten als Ausgabe-Trainingsdaten in ein künstliches neuronales Netzwerk.
Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte eines der Verfahren nach Ansprüchen 8 und 10, wenn der Programmcode auf einem Computer ausgeführt wird.