DE102022130203A1

DE102022130203A1 - Insassenüberwachungssystem und Insassenüberwachungsverfahren für ein automatisiert fahrendes Fahrzeug

Info

Publication number: DE102022130203A1
Application number: DE102022130203.2A
Authority: DE
Inventors: Yannick Forster; Katharina Wiedemann
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-11-15
Filing date: 2022-11-15
Publication date: 2024-05-16

Abstract

Die vorliegende Offenbarung betrifft ein Insassenüberwachungssystem für ein automatisiert fahrendes Fahrzeug. Das Insassenüberwachungssystem umfasst eine Innenraumsensorik, die eingerichtet ist, um einen Fahrzeuginsassen während eines automatisierten Fahrens zu erfassen und entsprechende Erfassungsdaten auszugeben; ein Analysemodul, das für eine Analyse der Erfassungsdaten eingerichtet ist, um einen Schlafzustand des Fahrzeuginsassen zu erkennen; und ein Steuermodul, das eingerichtet ist, um wenigstens eine Aktion in Bezug auf eine Übernahme einer Fahrzeugführung durch den Fahrzeuginsassen unter Berücksichtigung einer Schlafparalyse aufgrund des erkannten Schlafzustands durchzuführen.

Description

Die vorliegende Offenbarung betrifft ein Insassenüberwachungssystem für ein automatisiert fahrendes Fahrzeug, ein Fahrzeug mit einem solchen Insassenüberwachungssystem, ein Insassenüberwachungsverfahren für ein automatisiert fahrendes Fahrzeug und ein Speichermedium zum Ausführen des Insassenüberwachungsverfahrens. Die vorliegende Offenbarung betrifft insbesondere eine Verhaltensanpassung beim Übergang zwischen einem hochautomatisierten Fahrmodus und einem manuellen Fahrmodus, wenn beim Fahrer eine Schlafparalyse erkannt wird.
Stand der Technik
Fahrassistenzsysteme zum automatisierten Fahren gewinnen stetig an Bedeutung. Das automatisierte Fahren kann mit verschiedenen Automatisierungsgraden erfolgen. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, bedingt automatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Die vorstehend genannten fünf Automatisierungsgrade entsprechen den SAE-Level 1 bis 5 der Norm SAE J3016 (SAE - Society of Automotive Engineering) gemäß dem Stand vom 30. April 2021.
Beispielsweise übernimmt das Fahrassistenzsystem beim bedingt automatisierten Fahren (SAE-Level 3) die Längs- und Querführung in bestimmten Fahrsituationen, wobei der Fahrer jederzeit in der Lage sein muss, die Fahrzeugführung auf Anforderung (Take-over Request, TOR) durch das Fahrassistenzsystem zu übernehmen.
Beim hochautomatisierten Fahren (SAE-Level 4) hingegen muss ein Fahrer das Fahrassistenzsystem nicht kontinuierlich überwachen, jedoch unter Umständen die Fahrzeugführung auf Anforderung durch das Fahrassistenzsystem übernehmen. Reagiert der Fahrer nicht, steuert das Fahrzeug weiterhin automatisiert und führt zum Beispiel ein Haltemanöver aus. Der Fahrer hat daher beim hochautomatisierten Fahren die Möglichkeit, sich mit Dingen abseits der Überwachung des Fahrassistenzsystems zu beschäftigen, die bei einem manuellen Fahren nicht möglich und/oder nicht erlaubt wären, wie zum Beispiel auf ein mobiles Endgerät zu sehen, ein Buch zu lesen und/oder zu schlafen.
Falls das Fahrassistenzsystem beim hochautomatisierten Fahren die übernommene Fahraufgabe zumindest teilweise nicht mehr selbst bewältigen kann (z.B. eine Querführung), ergeht eine Übernahmeaufforderung, die den Fahrer auffordert, die Fahraufgabe zumindest teilweise zu übernehmen. Schläft der Fahrer jedoch, kann es zu Sicherheitsrisiken kommen, wenn die Übernahmeaufforderung ausgegeben wird. Beispielsweise kann es vorkommen, dass der Fahrer aufgrund eines länger dauernden Aufwachprozesses nicht schnell genug auf die Übernahmeaufforderung reagieren kann und das Fahrassistenzsystem zum Beispiel ein Haltemanöver ausführen muss.
Offenbarung der Erfindung
Es ist eine Aufgabe der vorliegenden Offenbarung, ein Insassenüberwachungssystem für ein automatisiert fahrendes Fahrzeug, ein Fahrzeug mit einem solchen Insassenüberwachungssystem, ein Insassenüberwachungsverfahren für ein automatisiert fahrendes Fahrzeug und ein Speichermedium zum Ausführen des Insassenüberwachungsverfahrens anzugeben, die eine sichere und zuverlässige Übernahme einer Fahrzeugführung durch einen Fahrer ermöglichen. Insbesondere ist es eine Aufgabe der vorliegenden Offenbarung, eine Sicherheit im Straßenverkehr zu verbessern.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein Insassenüberwachungssystem für ein automatisiert fahrendes Fahrzeug, insbesondere ein automatisiert fahrendes Kraftfahrzeug, angegeben. Das Insassenüberwachungssystem umfasst eine Innenraumsensorik, die eingerichtet ist, um einen Fahrzeuginsassen während eines automatisierten Fahrens zu erfassen und entsprechende Erfassungsdaten auszugeben; ein Analysemodul, das für eine Analyse der Erfassungsdaten eingerichtet ist, um einen Schlafzustand des Fahrzeuginsassen zu erkennen; und ein Steuermodul, das eingerichtet ist, um wenigstens eine Aktion in Bezug auf eine Übernahme einer Fahrzeugführung durch den Fahrzeuginsassen unter Berücksichtigung einer Schlafparalyse aufgrund des erkannten Schlafzustands durchzuführen.
Erfindungsgemäß wird bei einer Übernahme der Fahrzeugführung durch einen Fahrer eine Schlafparalyse berücksichtigt. Beispielsweise kann eine Übernahmeaufforderung für einen Übergang zwischen einem hochautomatisierten Fahrmodus und einem manuellen Fahrmodus nach dem Wecken des Fahrers derart angepasst werden, dass die Übernahmeaufforderung früher ausgegeben wird, um dem Fahrer Zeit zu geben, die Schlafparalyse zu überwinden, bevor er die Fahrzeugführung übernimmt. In einem weiteren Beispiel kann ein haptischer Eingriff wie z.B. ein Vibrieren eines Fahrersitzes, ein Eingriff einer Massagefunktion, eine Straffung eines Gurtes und/oder eine Straffung von Sitzflanken erfolgen, damit der Fahrer die Schlafparalyse schneller überwindet und somit die Fahrzeugführung schneller übernehmen kann. Im Ergebnis kann eine sichere und zuverlässige Übernahme einer Fahrzeugführung durch einen Fahrer ermöglicht werden, wodurch eine Sicherheit im Straßenverkehr verbessert werden kann.
Unter dem Begriff „automatisiertes Fahren“ wird im Rahmen des Dokuments Fahren mit automatisierter Längs- und/oder Querführung verstanden. Beim automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens handeln. Der Begriff „automatisiertes Fahren“ umfasst automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind assistiertes, teilautomatisiertes, bedingt automatisiertes, hochautomatisiertes und vollautomatisiertes Fahren (mit jeweils zunehmendem Automatisierungsgrad). Die vorstehend genannten fünf Automatisierungsgrade entsprechen den SAE-Level 1 bis 5 der Norm SAE J3016 (SAE - Society of Automotive Engineering) gemäß dem Stand vom 30. April 2021.
Beim assistierten Fahren (SAE-Level 1) führt das System die Längs- oder Querführung in bestimmten Fahrsituationen durch. Beim teilautomatisierten Fahren (SAE-Level 2) übernimmt das System die Längs- und Querführung in bestimmten Fahrsituationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim bedingt automatisierten Fahren (SAE-Level 3) übernimmt das System die Längs- und Querführung in bestimmten Fahrsituationen, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung auf Anforderung durch das System zu übernehmen. Beim hochautomatisierten Fahren (SAE-Level 4) übernimmt das System die Fahrzeugführung in bestimmten Fahrsituationen, selbst wenn der Fahrer auf eine Anforderung zum Eingreifen nicht reagiert, so dass der Fahrer als Rückfallebene entfällt. Beim vollautomatisierten Fahren (SAE-Level 5) können vom System alle Aspekte der dynamischen Fahraufgabe unter jeder Fahrbahn- und Umgebungsbedingung durchgeführt werden, welche auch von einem menschlichen Fahrer beherrscht werden.
Darüber hinaus wird auch unter dem Begriff des „zumindest teilautomatisierten Fahrens bzw. Manövrierens“ im Rahmen des Dokuments teilautomatisiertes, bedingt automatisiertes, hochautomatisiertes, vollautomatisiertes Fahren verstanden. Mit anderen Worten wird also unter dem Begriff des „zumindest teilautomatisierten Fahrens“ ein Automatisierungsgrad ab einschließlich SAE-Level 2 verstanden.
Vorzugsweise ist das automatisiert fahrende Fahrzeug für ein automatisiertes Fahren gemäß SAE-Level 4 eingerichtet.
Der Begriff „Schlafparalyse“, wie er im Rahmen der vorliegenden Offenbarung verwendet wird, bezieht sich auf einen Zustand beim Aufwachen einer Person aus einem Schlafzustand, bei dem die Person noch keinen Muskeltonus hat, jedoch schon sehen, hören und denken kann. Schläft der Fahrer während des automatisierten Fahrens, besteht die Gefahr, dass der Fahrer beim Wecken durch eine Übernahmeaufforderung das Phänomen der Schlafparalyse erlebt (siehe beispielsweise https://www.sciencedirect.com/science/article/pii/S1087079217301120). Hierdurch kann es zu Verzögerungen bei der Übernahme der Fahrzeugführung kommen, was zu gefährlichen Situationen im Straßenverkehr führen kann. Erfindungsgemäß wird dies dadurch verhindert, dass eine tatsächlich oder potenziell vorhandene Schlafparalyse beim Übernahmeprozess berücksichtigt wird.
Das Analysemodul ist für eine Analyse der Erfassungsdaten eingerichtet, um den Schlafzustand des Fahrzeuginsassen zu erkennen. Hierzu kann das Analysemodul zum Beispiel Bilddaten und/oder Audiodaten auswerten, um beispielsweise einen Gesichtsausdruck, Schlafgeräusche etc. zu erkennen. Das Analysemodul kann hierzu eine geeignete Software verwenden, wie zum Beispiel ein trainiertes neuronales Netz.
Vorzugsweise ist das Analysemodul eingerichtet ist, um die Schlafparalyse durch die Analyse der Erfassungsdaten zu erkennen. Anders gesagt kann die Schlafparalyse direkt in den Erfassungsdaten erkannt werden. In einigen Ausführungsformen kann die Schlafparalyse direkt aufgrund charakteristischer Körpereigenschaften des Fahrzeuginsassen erkannt werden, wie zum Beispiel offener Augen (z.B. durch Eye-Tracking erkannt) und/oder fehlender Gesichtsmuskelbewegungen und/oder fehlender Körperbewegungen (z.B. Stillsitzen). Das Steuermodul kann eingerichtet sein, um die wenigstens eine Aktion in Bezug auf die Übernahme der Fahrzeugführung durch den Fahrzeuginsassen unter Berücksichtigung der Schlafparalyse durchzuführen, wenn das Analysemodul die Schlafparalyse erkennt.
Vorzugsweise ist das Analysemodul eingerichtet, um die Schlafparalyse (direkt) zu erkennen, wenn die Analyse der Erfassungsdaten ergibt, dass sich der Fahrzeuginsasse im Wesentlichen nicht bewegt und die Augen offen hat. Die Schlafparalyse ist insbesondere dadurch gekennzeichnet, dass die Person beim Aufwachen aus dem Schlafzustand noch keinen Muskeltonus hat, jedoch schon sehen, hören und denken kann. Daher sind offene Augen und fehlende Bewegungen ein Indikator für das Vorliegen einer Schlafparalyse.
Alternativ kann das Analysemodul eingerichtet sein, um die Schlafparalyse indirekt zu erkennen. Beispielsweise kann erkannt werden, dass der Fahrzeuginsasse aus seinem Schlafzustand erwacht und daraus abgeleitet werden, dass potenziell eine Schlafparalyse vorliegt. Anders gesagt kann ohne direktes Erkennen der Schlafparalyse angenommen werden, dass eine Schlafparalyse vorliegen könnte, wenn erkannt wird, dass der Fahrzeuginsasse aus seinem Schlafzustand erwacht.
Vorzugsweise umfasst das Fahrerüberwachungsmodul wenigstens einen Sensor, der eingerichtet ist, um den Fahrer zu erfassen und die Erfassungsdaten bereitzustellen. Der wenigstens eine Sensor kann ein optischer Sensor sein, wie zum Beispiel eine Kamera, insbesondere eine Innenraumkamera. Optional kann das Fahrerüberwachungsmodul wenigstens eine Lichtquelle umfassen. Die Lichtquelle kann in einigen Ausführungsformen eine Infrarotlichtquelle sein, und der wenigstens eine Sensor kann ein Infrarotsensor, wie zum Beispiel eine Infrarotkamera, sein.
Vorzugsweise umfasst die Innenraumsensorik wenigstens eine Innenraumkamera, die eingerichtet ist, um Bilddaten als die Erfassungsdaten bereitzustellen. Das Analysemodul kann eingerichtet sein, um den Schlafzustand des Fahrzeuginsassen durch Analyse der Bilddaten zu erkennen. Zudem kann das Analysemodul eingerichtet sein, um direkt die Schlafparalyse und/oder ein Aufwachen des Fahrzeuginsassen (z.B. zum indirekten Erkennen der potenziellen Schlafparalyse) in den Bilddaten zu erkennen. Optional kann die Innenraumsensorik wenigstens eine Lichtquelle umfassen. Die Lichtquelle kann in einigen Ausführungsformen eine Infrarotlichtquelle sein, und die wenigstens eine Innenraumkamera kann eine Infrarotkamera sein.
Ergänzend oder alternativ umfasst die Innenraumsensorik wenigstens einen Bewegungssensor, der in oder an einem Fahrzeugsitz vorhanden ist und eingerichtet ist, um Bewegungen des Fahrzeuginsassen zu erfassen und entsprechende Bewegungsdaten als die Erfassungsdaten bereitzustellen. Das Analysemodul kann eingerichtet sein, um den Schlafzustand des Fahrzeuginsassen durch Analyse der Bewegungsdaten zu erkennen. Zudem kann das Analysemodul eingerichtet sein, um direkt die Schlafparalyse und/oder ein Aufwachen des Fahrzeuginsassen (z.B. zum indirekten Erkennen der potenziellen Schlafparalyse) in den Bewegungsdaten zu erkennen.
Der wenigstens eine Bewegungssensor kann zum Beispiel einen Kraft- und/oder Drucksensor umfassen oder ein Kraft- und/oder Drucksensor sein.
Vorzugsweise umfasst die wenigstens eine Aktion in Bezug auf die Übernahme der Fahrzeugführung durch den Fahrzeuginsassen ein Ausgeben einer Übernahmeaufforderung an den Fahrzeuginsassen.
Vorzugsweise ist das Steuermodul eingerichtet, um einen Zeitpunkt für die Ausgabe der Übernahmeaufforderung basierend auf der Schlafparalyse zu bestimmen. In einigen Ausführungsformen kann der Zeitpunkt für die Ausgabe der Übernahmeaufforderung früher gewählt werden, wenn der Schlafzustand erkannt und somit eine potenzielle Schlafparalyse nach dem Aufwachen antizipiert wird, um dem Fahrzeuginsassen genügend Zeit zu geben, die Fahrzeugführung zuverlässig zu übernehmen.
In einigen Ausführungsformen kann ein Deaktivierungskriterium für die automatisierte Fahrfunktion erkannt werden, wie zum Beispiel eine Baustelle vor dem Fahrzeug. Der Zeitpunkt für die Ausgabe der Übernahmeaufforderung kann so früh erfolgen, dass dem Fahrzeuginsassen trotz (potenzieller) Schlafparalyse nach dem Aufwachen genügend Zeit bleibt, die Fahrzeugführung bis zum Erreichen des Deaktivierungskriteriums, wie der Baustelle, sicher zu übernehmen.
Vorzugsweise umfasst das Fahrzeug wenigstens eine Ausgabevorrichtung zur Ausgabe der Übernahmeaufforderung. Die wenigstens eine Ausgabevorrichtung kann wenigstens eine Anzeigevorrichtung und/oder wenigstens einen Lautsprecher umfassen. Die wenigstens eine Anzeigevorrichtung kann ein Display umfassen, insbesondere ein LCD-Display, ein Plasma-Display oder ein OLED-Display. Ergänzend oder alternativ kann die wenigstens eine Anzeigevorrichtung eine Projektionsvorrichtung umfassen, die eingerichtet ist, um Informationen direkt im Sichtfeld des Fahrers einzublenden, insbesondere auf eine Windschutzscheibe zu projizieren. In einigen Ausführungsformen kann die wenigstens eine Ausgabevorrichtung eine zentrale Informationsausgabevorrichtung eines Infotainmentsystems, wie beispielsweise eine Head Unit oder ein Pillar-to-Pillar-Display sein, sein. Vorzugsweise ist die wenigstens eine Ausgabevorrichtung fest im Fahrzeug verbaut.
Vorzugsweise umfasst die wenigstens eine Aktion in Bezug auf die Übernahme der Fahrzeugführung durch den Fahrzeuginsassen eine haptische Aktion am Fahrzeuginsassen, insbesondere einen haptischen Eingriff. Durch die haptische Aktion bzw. den haptischen Eingriff kann die Schlafparalyse beendet werden. Insbesondere kommt der Muskeltonus bei einer sich in der Schlafparalyse befindlichen Person zurück, sobald die Person an einer beliebigen Stelle berührt wird.
Vorzugsweise ist das Steuermodul eingerichtet, um die haptische Aktion durch ein Ansteuern wenigstens eines haptischen Aktuators im oder am Fahrzeugsitz auszuführen. Der wenigstens eine haptische Aktuator kann für ein Vibrieren des Sitzes und/oder eine Massagefunktion vorgesehen bzw. eingerichtet sein, um den haptischen Eingriff am Fahrzeuginsassen auszuführen.
Vorzugsweise ist das Steuermodul eingerichtet, um die haptische Aktion durch ein Ansteuern eines Gurtstraffungsmechanismus auszuführen. Der Gurtstraffungsmechanismus kann zum Beispiel den Gurt des Fahrzeuginsassen kurzzeitig straffen, um den haptischen Eingriff am Fahrzeuginsassen auszuführen.
Vorzugsweise ist das Steuermodul eingerichtet, um die haptische Aktion durch ein Ansteuern eines Sitzeinstellungsmechanismus auszuführen. Der Sitzeinstellungsmechanismus kann zum Beispiel zur Straffung der Flanken des Sitzes und/oder zur Bewegung einer Rückenlehne und/oder einer sonstigen Sitzbewegung eingerichtet sein, um den haptischen Eingriff am Fahrzeuginsassen auszuführen.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrzeug umfasst das Insassenüberwachungssystem für ein automatisiert fahrendes Fahrzeug gemäß den Ausführungsformen der vorliegenden Offenbarung.
Das Fahrzeug umfasst ein Fahrassistenzsystem zum automatisierten Fahren. Das Insassenüberwachungssystem kann im Fahrassistenzsystem zum automatisierten Fahren umfasst sein oder mit dem Fahrassistenzsystem zum automatisierten Fahren verbunden sein.
In einigen Ausführungsformen kann das Fahrassistenzsystem zum automatisierten Fahren gemäß SAE-Level 4 eingerichtet sein.
Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Insassenüberwachungsverfahren für ein automatisiert fahrendes Fahrzeug, insbesondere ein automatisiert fahrendes Kraftfahrzeug, angegeben. Das Insassenüberwachungsverfahren umfasst ein Erfassen eines Fahrzeuginsassen während eines automatisierten Fahrens durch eine Innenraumsensorik und Ausgeben entsprechender Erfassungsdaten; ein Analysieren der Erfassungsdaten, um einen Schlafzustand des Fahrzeuginsassen zu erkennen; und ein Durchführen wenigstens einer Aktion in Bezug auf eine Übernahme einer Fahrzeugführung durch den Fahrzeuginsassen unter Berücksichtigung einer Schlafparalyse aufgrund des erkannten Schlafzustands.
Das Insassenüberwachungsverfahren für ein automatisiert fahrendes Fahrzeug kann die Aspekte des in diesem Dokument beschriebenen Insassenüberwachungssystems für ein automatisiert fahrendes Fahrzeug implementieren.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Software (SW) Programm angegeben. Das SW Programm kann eingerichtet werden, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Insassenüberwachungsverfahren für ein automatisiert fahrendes Fahrzeug auszuführen.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Speichermedium angegeben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Insassenüberwachungsverfahren für ein automatisiert fahrendes Fahrzeug auszuführen.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist eine Software mit Programmcode angegeben. Die Software ist zur Durchführung des Insassenüberwachungsverfahrens für ein automatisiert fahrendes Fahrzeug eingerichtet, wenn die Software auf einer oder mehreren softwaregesteuerten Einrichtungen abläuft.
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Insassenüberwachungssystem für ein automatisiert fahrendes Fahrzeug angegeben. Das System umfasst einen oder mehrere Prozessoren; und wenigstens einen Speicher, der mit dem einen oder den mehreren Prozessoren verbunden ist und Anweisungen enthält, die von dem einen oder den mehreren Prozessoren ausgeführt werden können, um das in diesem Dokument beschriebene Insassenüberwachungsverfahren für ein automatisiert fahrendes Fahrzeug auszuführen.
Ein Prozessor bzw. ein Prozessormodul ist ein programmierbares Rechenwerk, also eine Maschine oder eine elektronische Schaltung, die gemäß übergebenen Befehlen andere Elemente steuert und dabei einen Algorithmus (Prozess) vorantreibt.
Kurze Beschreibung der Zeichnungen
Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:

1 schematisch ein Fahrzeug mit einem Fahrassistenzsystem zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung,
2 schematisch ein Insassenüberwachungssystem für ein automatisiert fahrendes Fahrzeug gemäß Ausführungsformen der vorliegenden Offenbarung, und
3 ein Flussdiagram eines Insassenüberwachungsverfahrens für ein automatisiert fahrendes Fahrzeug gemäß Ausführungsformen der vorliegenden Offenbarung.

Ausführungsformen der Offenbarung
Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
1 zeigt schematisch ein Fahrzeug 10 mit einem Fahrassistenzsystem 100 zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung.
Beim automatisierten Fahren erfolgt die Längs- und/oder Querführung des Fahrzeugs 10 automatisch. Das Fahrassistenzsystem 100 übernimmt also die Fahrzeugführung. Hierzu steuert das Fahrassistenzsystem 100 den Antrieb 20, das Getriebe 22, die hydraulische Betriebsbremse 24 und die Lenkung 26 über nicht dargestellte Zwischeneinheiten.
Zur Planung und Durchführung des automatisierten Fahrens werden Umfeldinformationen einer Umfeldsensorik, die das Fahrzeugumfeld beobachtet, vom Fahrassistenzsystem 100 entgegengenommen. Insbesondere kann das Fahrzeug wenigstens einen Umgebungssensor 12 umfassen, der zur Aufnahme von Umgebungsdaten, die das Fahrzeugumfeld angeben, eingerichtet ist. Der wenigstens eine Umgebungssensor 12 kann beispielsweise ein oder mehrere LiDAR-Systeme, ein oder mehrere Radar-Systeme, einen oder mehrere Laserscanner, einen oder mehrere Ultraschallsensoren und/oder eine oder mehrere Kameras umfassen.
Vorzugsweise ist das Fahrassistenzsystem 100 für ein hochautomatisiertes Fahren gemäß SAE-Level 4 eingerichtet. Beim hochautomatisierten Fahren muss ein Fahrer das Fahrassistenzsystem 100 nicht kontinuierlich überwachen, jedoch unter Umständen die Fahrzeugführung auf Anforderung durch das Fahrassistenzsystem 100 übernehmen, beispielsweise wenn wenigstens ein Deaktivierungskriterium wie eine Einfahrt in eine Baustelle erfüllt ist.
Das erfindungsgemäße Insassenüberwachungssystem kann im Fahrassistenzsystem 100 umfasst sein oder mit dem Fahrassistenzsystem 100 verbunden sein. Insbesondere kann das Insassenüberwachungssystem sicherstellen, dass der Fahrzeuginsasse die Fahrzeugführung auf die Übernahmeaufforderung durch das Fahrassistenzsystem 100 hin sicher und zuverlässig übernehmen kann. Eine beispielhafte Ausführungsform des erfindungsgemäßen Insassenüberwachungssystems ist im Folgenden beschrieben.
2 zeigt schematisch ein Insassenüberwachungssystem 200 für ein automatisiert fahrendes Fahrzeug gemäß Ausführungsformen der vorliegenden Offenbarung.
Das Insassenüberwachungssystem 200 umfasst eine Innenraumsensorik 210, die eingerichtet ist, um einen Fahrzeuginsassen während eines automatisierten Fahrens z.B. gemäß SAE-Level 4 zu erfassen und entsprechende Erfassungsdaten ED auszugeben; ein Analysemodul 220, das für eine Analyse der Erfassungsdaten ED eingerichtet ist, um einen Schlafzustand des Fahrzeuginsassen zu erkennen; und ein Steuermodul 230, das eingerichtet ist, um wenigstens eine Aktion in Bezug auf eine Übernahme einer Fahrzeugführung durch den Fahrzeuginsassen unter Berücksichtigung einer Schlafparalyse aufgrund des erkannten Schlafzustands durchzuführen.
Das Analysemodul 220 und/oder das Steuermodul 230 können in einem gemeinsamen Software- und/oder Hardware-Modul realisiert sein. Alternativ dazu können das Analysemodul 220 und/oder das Steuermodul 230 jeweils in getrennten Software- und/oder Hardware-Modulen realisiert sein.
In einer beispielhaften Ausführungsform der vorliegenden Offenbarung kann der Zustand des Fahrers über die im Fahrzeug verbaute Innenraumsensorik 210 detektiert werden, beispielsweise mittels Eye-Tracking mit einer Innenraumkamera und einer gleichzeitigen Analyse der Muskelbewegung im Gesicht des Fahrers. Insbesondere sind im Fall der Schlafparalyse die Muskeln gelähmt und damit regungslos. Optional kann über eine im Fahrersitz verbaute Sensorik erkannt werden, ob sich der Fahrer in irgendeiner Art und Weise bewegt. Ist dies nicht der Fall, d.h. weder der Körper noch die Muskeln im Gesicht sind in Bewegung und gleichzeitig sind die Augen offen, so ist damit zu rechnen, dass der Fahrer seine Umgebung zwar bewusst wahrnimmt, motorisch jedoch nicht in der Lage ist zu reagieren und sich damit in der Schlafparalyse befindet.
Durch einen haptischen Eingriff im Fahrersitz kann die Schlafparalyse beendet werden, sobald diese detektiert wird. Insbesondere kommt der Muskeltonus bei einer sich in der Schlafparalyse befindlichen Person zurück, sobald die Person an einer beliebigen Stelle berührt wird. Das Steuermodul 230 kann zum Beispiel eingerichtet sein, um den haptischen Eingriff durch ein Ansteuern wenigstens eines haptischen Aktuators 40 im oder am Fahrzeugsitz auszuführen. Der wenigstens eine haptische Aktuator 40 kann für ein Vibrieren des Sitzes und/oder eine Massagefunktion vorgesehen bzw. eingerichtet sein, um den haptischen Eingriff am Fahrer auszuführen.
Ergänzend oder alternativ kann ein Gurtstraffungsmechanismus den Gurt des Fahrers kurzzeitig straffen, um den haptischen Eingriff am Fahrer auszuführen. Des Weiteren kann ein Sitzeinstellungsmechanismus zur Straffung der Flanken des Sitzes und/oder zur Bewegung einer Rückenlehne und/oder einer sonstigen Sitzbewegung angesteuert werden, um den haptischen Eingriff am Fahrer auszuführen.
Ergänzend oder alternativ kann das Steuermodul 230 eingerichtet sein, um einen Zeitpunkt für die Ausgabe einer Übernahmeaufforderung durch wenigstens eine Ausgabevorrichtung 30 basierend auf der Schlafparalyse zu bestimmen. In einigen Ausführungsformen kann der Zeitpunkt für die Ausgabe der Übernahmeaufforderung früher gewählt werden, wenn der Schlafzustand erkannt und damit eine potenzielle Schlafparalyse nach dem Aufwachen angenommen wird, um dem Fahrer genügend Zeit zu geben, die Fahrzeugführung zuverlässig zu übernehmen.
Beispielsweise kann ein Deaktivierungskriterium für die automatisierte Fahrfunktion erkannt werden, wie zum Beispiel eine Baustelle vor dem Fahrzeug. Der Zeitpunkt für die Ausgabe der Übernahmeaufforderung kann so früh erfolgen, dass dem Fahrer trotz potenzieller Schlafparalyse nach dem Aufwecken durch die Übernahmeaufforderung genügend Zeit bleibt, die Fahrzeugführung bis zum Erreichen des Deaktivierungskriteriums, wie der Baustelle, sicher zu übernehmen.
Die wenigstens eine Ausgabevorrichtung 30 kann wenigstens eine Anzeigevorrichtung und/oder wenigstens einen Lautsprecher umfassen. Die wenigstens eine Anzeigevorrichtung kann ein Display umfassen, insbesondere ein LCD-Display, ein Plasma-Display oder ein OLED-Display. Ergänzend oder alternativ kann die wenigstens eine Anzeigevorrichtung eine Projektionsvorrichtung umfassen, die eingerichtet ist, um Informationen direkt im Sichtfeld des Fahrers einzublenden, insbesondere auf eine Windschutzscheibe zu projizieren. In einigen Ausführungsformen kann die wenigstens eine Ausgabevorrichtung eine zentrale Informationsausgabevorrichtung eines Infotainmentsystems, wie beispielsweise eine Head Unit oder ein Pillar-to-Pillar-Display sein, sein. Vorzugsweise ist die wenigstens eine Ausgabevorrichtung 30 fest im Fahrzeug verbaut.
3 zeigt schematisch ein Flussdiagramm eines Insassenüberwachungsverfahrens 300 für ein automatisiert fahrendes Fahrzeug gemäß Ausführungsformen der vorliegenden Offenbarung. Das Insassenüberwachungsverfahren 300 kann durch eine entsprechende Software implementiert werden, die durch einen oder mehrere Prozessoren (z.B. eine CPU) ausführbar ist.
Das Insassenüberwachungsverfahren 300 umfasst im Block 310 ein Erfassen eines Fahrzeuginsassen während eines automatisierten Fahrens durch eine Innenraumsensorik und Ausgeben entsprechender Erfassungsdaten; im Block 320 ein Analysieren der Erfassungsdaten, um einen Schlafzustand des Fahrzeuginsassen zu erkennen; und im Block 330 ein Durchführen wenigstens einer Aktion in Bezug auf eine Übernahme einer Fahrzeugführung durch den Fahrzeuginsassen unter Berücksichtigung einer Schlafparalyse aufgrund des erkannten Schlafzustands.
Erfindungsgemäß wird bei einer Übernahme der Fahrzeugführung durch einen Fahrer eine Schlafparalyse berücksichtigt. Beispielsweise kann eine Übernahmeaufforderung für einen Übergang zwischen einem hochautomatisierten Fahrmodus und einem manuellen Fahrmodus nach dem Wecken des Fahrers derart angepasst werden, dass die Übernahmeaufforderung früher ausgegeben wird, um dem Fahrer Zeit zu geben, die Schlafparalyse zu überwinden, bevor er die Fahrzeugführung übernimmt. In einem weiteren Beispiel kann ein haptischer Eingriff wie z.B. ein Vibrieren eines Fahrersitzes, ein Eingriff einer Massagefunktion, eine Straffung eines Gurtes und/oder eine Straffung von Sitzflanken erfolgen, damit der Fahrer die Schlafparalyse schneller überwindet und somit die Fahrzeugführung schneller übernehmen kann. Im Ergebnis kann eine sichere und zuverlässige Übernahme einer Fahrzeugführung durch einen Fahrer ermöglicht werden, wodurch eine Sicherheit im Straßenverkehr verbessert werden kann.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.

Claims

Insassenüberwachungssystem (200) für ein automatisiert fahrendes Fahrzeug (10), umfassend: eine Innenraumsensorik (210), die eingerichtet ist, um einen Fahrzeuginsassen während eines automatisierten Fahrens zu erfassen und entsprechende Erfassungsdaten (ED) auszugeben; ein Analysemodul (220), das für eine Analyse der Erfassungsdaten (ED) eingerichtet ist, um einen Schlafzustand des Fahrzeuginsassen zu erkennen; und ein Steuermodul (230), das eingerichtet ist, um wenigstens eine Aktion in Bezug auf eine Übernahme einer Fahrzeugführung durch den Fahrzeuginsassen unter Berücksichtigung einer Schlafparalyse aufgrund des erkannten Schlafzustands durchzuführen.
Das Insassenüberwachungssystem (200) nach Anspruch 1, wobei das Analysemodul (220) eingerichtet ist, um die Schlafparalyse durch die Analyse der Erfassungsdaten (ED) zu erkennen, und wobei das Steuermodul (230) eingerichtet ist, um die wenigstens eine Aktion in Bezug auf die Übernahme der Fahrzeugführung durch den Fahrzeuginsassen unter Berücksichtigung der Schlafparalyse durchzuführen, wenn das Analysemodul (220) die Schlafparalyse erkennt.
Das Insassenüberwachungssystem (200) nach Anspruch 2, wobei das Analysemodul (220) eingerichtet ist, um die Schlafparalyse zu erkennen, wenn die Analyse der Erfassungsdaten (ED) ergibt, dass sich der Fahrzeuginsasse im Wesentlichen nicht bewegt und die Augen offen hat.
Das Insassenüberwachungssystem (200) nach einem der Ansprüche 1 bis 3, wobei die Innenraumsensorik (210) umfasst: wenigstens eine Innenraumkamera, die eingerichtet ist, um Bilddaten als die Erfassungsdaten (ED) bereitzustellen, wobei das Analysemodul (220) eingerichtet ist, um den Schlafzustand des Fahrzeuginsassen durch Analyse der Bilddaten zu erkennen; und/oder wenigstens einen Bewegungssensor, der in oder an einem Fahrzeugsitz vorhanden ist und eingerichtet ist, um Bewegungen des Fahrzeuginsassen zu erfassen, insbesondere wobei der wenigstens eine Bewegungssensor einen Kraft- und/oder Drucksensor umfasst.
Das Insassenüberwachungssystem (200) nach einem der Ansprüche 1 bis 4, wobei die wenigstens eine Aktion in Bezug auf die Übernahme der Fahrzeugführung durch den Fahrzeuginsassen ein Ausgeben einer Übernahmeaufforderung an den Fahrzeuginsassen umfasst, insbesondere wobei das Steuermodul (230) eingerichtet ist, um einen Zeitpunkt für die Ausgabe der Übernahmeaufforderung basierend auf der Schlafparalyse zu bestimmen.
Das Insassenüberwachungssystem (200) nach einem der Ansprüche 1 bis 5, wobei die wenigstens eine Aktion in Bezug auf die Übernahme der Fahrzeugführung durch den Fahrzeuginsassen eine haptische Aktion am Fahrzeuginsassen umfasst.
Das Insassenüberwachungssystem (200) nach Anspruch 6, wobei das Steuermodul (230) eingerichtet ist, um die haptische Aktion auszuführen durch: ein Ansteuern wenigstens eines haptischen Aktuators (40) im oder am Fahrzeugsitz und/oder ein Ansteuern eines Gurtstraffungsmechanismus; und/oder ein Ansteuern eines Sitzeinstellungsmechanismus.
Fahrzeug (10), insbesondere Kraftfahrzeug, umfassend das Insassenüberwachungssystem (200) nach einem der Ansprüche 1 bis 7.
Insassenüberwachungsverfahren (300) für ein automatisiert fahrendes Fahrzeug, umfassend: Erfassen (310) eines Fahrzeuginsassen während eines automatisierten Fahrens durch eine Innenraumsensorik und Ausgeben entsprechender Erfassungsdaten; Analysieren (320) der Erfassungsdaten, um einen Schlafzustand des Fahrzeuginsassen zu erkennen; und Durchführen (330) wenigstens einer Aktion in Bezug auf eine Übernahme einer Fahrzeugführung durch den Fahrzeuginsassen unter Berücksichtigung einer Schlafparalyse aufgrund des erkannten Schlafzustands.
Speichermedium, umfassend ein Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Insassenüberwachungsverfahren (300) gemäß Anspruch 9 auszuführen.