DE102021126901A1

DE102021126901A1 - Verfahren und Vorrichtung zur Steuerung einer Sprachinteraktion in einem Fahrzeug

Info

Publication number: DE102021126901A1
Application number: DE102021126901.6A
Authority: DE
Inventors: Frederik Naujoks; Yannick Forster
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-10-17
Filing date: 2021-10-17
Publication date: 2023-04-20

Abstract

Es wird eine Vorrichtung (101) zur Steuerung einer Sprachinteraktion zwischen dem Fahrer eines Kraftfahrzeugs (100) und einer Benutzerschnittstelle des Fahrzeugs (100) beschrieben. Die Vorrichtung (101) ist eingerichtet, anhand von Fahrerdaten von ein oder mehreren Fahrersensoren (102) des Fahrzeugs (100), Aufmerksamkeitsinformation in Bezug auf die Aufmerksamkeit des Fahrers für die Sprachinteraktion zu ermitteln. Die Vorrichtung (101) ist ferner eingerichtet, die Sprachinteraktion in Abhängigkeit von der Aufmerksamkeitsinformation anzupassen.

Description

Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Steuerung einer Sprachinteraktion, insbesondere in einem Kraftfahrzeug.
Ein Fahrzeug kann eine Benutzerschnittstelle aufweisen, die eine Sprachinteraktion zwischen dem Fahrer und dem Fahrzeug ermöglicht. Die Sprachinteraktion kann insbesondere über einen persönlichen Assistenten, insbesondere einen intelligenten persönlichen Assistenten (IPA), des Fahrzeugs bereitgestellt werden. Im Rahmen der Sprachinteraktion können von dem Fahrer ein oder mehrere Sprachanweisungen an das Fahrzeug gegeben werden (z.B. um eine bestimmte Funktion des Fahrzeugs zu aktivieren oder zu deaktivieren). Die ein oder mehreren Sprachanweisungen können anhand eines Spracherkennungsalgorithmus analysiert und ggf. von dem Fahrzeug umgesetzt werden.
Ferner können von dem Fahrzeug ein oder mehrere sprachbasierte Rückmeldungen in Bezug auf die ein oder mehreren Sprachanweisungen gegeben werden. Beispielsweise kann dem Fahrer als Rückmeldung mitgeteilt werden, dass die gewünschte Funktion des Fahrzeugs aktiviert wurde. Ferner kann dem Fahrer ggf. Information zu einer aktivierten Funktion bereitgestellt werden.
Eine Sprachinteraktion zwischen dem Fahrer und dem Fahrzeug (insbesondere dem IPA des Fahrzeugs) kann ggf. mehrdeutig oder missverständlich sein. Dies kann zu einer Beeinträchtigung des Betriebs des Fahrzeugs und/oder zu einem reduzierten Komfort für den Fahrer führen.
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, die Zuverlässigkeit und den Komfort einer Sprachinteraktion in einem Fahrzeug in effizienter Weise zu erhöhen.
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
Gemäß einem Aspekt wird eine Vorrichtung zur Steuerung einer Sprachinteraktion zwischen dem Fahrer eines Kraftfahrzeugs und einer Benutzerschnittstelle des Fahrzeugs beschrieben. Das Fahrzeug kann zumindest ein Mikrofon umfassen, mit dem Sprachsignale (z.B. eine Sprachanweisung oder eine Rückmeldung) des Fahrers erfasst werden können. Ferner kann das Fahrzeug zumindest einen Lautsprecher umfassen, mit dem Sprachsignale (z.B. eine Bestätigung oder eine Rückfrage) an den Fahrer ausgegeben werden können.
Die Vorrichtung ist eingerichtet, anhand von Fahrerdaten von ein oder mehreren Fahrersensoren des Fahrzeugs, Aufmerksamkeitsinformation in Bezug auf die Aufmerksamkeit des Fahrers für die Sprachinteraktion zu ermitteln. Die ein oder mehreren Fahrersensoren können zumindest eine Kamera umfassen, die eingerichtet ist, Bilddaten in Bezug auf den Kopf des Fahrers zu erfassen. Die ein oder mehreren Fahrersensoren können Teil eines sogenannten Driver Monitoring Systems (DMS) sein.
Die Vorrichtung kann eingerichtet sein, anhand der Fahrerdaten als Aufmerksamkeitsinformation zu ermitteln, ob der Fahrer ein im Rahmen der Sprachinteraktion generiertes Sprachsignal der Benutzerschnittstelle des Fahrzeugs wahrgenommen hat oder nicht. Das Sprachsignal kann dabei insbesondere eine Rückfrage in Bezug auf eine vorhergehenden Sprachanweisung des Fahrers umfassen.
Die Vorrichtung ist ferner eingerichtet, die Sprachinteraktion in Abhängigkeit von der Aufmerksamkeitsinformation anzupassen. Dabei können der Verlauf und/oder der Inhalt der Sprachinteraktion, insbesondere in Bezug auf ein oder mehrere von der Benutzerschnittstelle ausgegebener Sprachsignale, in Abhängigkeit von der Aufmerksamkeitsinformation angepasst werden.
Durch die Einbindung der Fahrerüberwachung des Fahrzeugs in die Sprachinteraktion zwischen Fahrer und Fahrzeug können die Zuverlässigkeit und der Komfort der Sprachsteuerung des Fahrzeugs erhöht werden.
Wie oben dargelegt, kann die Aufmerksamkeitsinformation anzeigen, dass der Fahrer ein Sprachsignal der Benutzerschnittstelle, insbesondere eine Rückfrage auf eine Sprachanweisung des Fahrers, nicht wahrgenommen hat. Es kann dann von der Vorrichtung zumindest eine Maßnahme bewirkt werden, die darauf gerichtet ist, dass der Fahrer das Sprachsignal der Benutzerschnittstelle des Fahrzeugs wahrnimmt. Dabei kann die Maßnahme z.B. eine erneute Ausgabe des Sprachsignals der Benutzerschnittstelle des Fahrzeugs umfassen, ggf. mit einer gegenüber der vorhergehenden Ausgabe erhöhten Lautstärke. So kann die Zuverlässigkeit der Sprachinteraktion in effizienter Weise erhöht werden.
Die Vorrichtung kann eingerichtet sein, im Rahmen der Sprachinteraktion, eine Sprachanweisung des Fahrers an die Benutzerschnittstelle des Fahrzeugs zu erkennen (dies kann z.B. durch Empfang eines bestimmten Aktivierungs-Wortes, wie etwa „Hey BMW“, in Zusammenhang mit der Sprachanweisung erkannt werden).
Die Vorrichtung kann ferner eingerichtet sein, zu bestimmen, dass die Sprachanweisung auf eine sicherheitskritische Fahrzeugfunktion, insbesondere auf eine Fahrfunktion zur zumindest teilweise automatisierten Längs- und/oder Querführung des Fahrzeugs (etwa gemäß SAE (Society of Automotive Engineers)-Level 2 oder 3), gerichtet ist.
Es kann dann in Reaktion auf die erkannte sicherheitskritische Sprachanweisung eine Rückfrage der Benutzerschnittstelle bezüglich der Sprachanweisung an den Fahrer bewirkt werden. Ferner kann die Vorrichtung eingerichtet sein, die Ausführung der Sprachanweisung solange zu unterbinden, bis im Rahmen der Sprachinteraktion eine Rückmeldung des Fahrers auf die Rückfrage erkannt wird. So kann eine besonders sichere Sprachinteraktion in Bezug auf sicherheitskritische Fahrzeugfunktionen ermöglicht werden.
Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.
Gemäß einem weiteren Aspekt wird ein Verfahren zur Steuerung einer Sprachinteraktion zwischen dem Fahrer eines Kraftfahrzeugs und einer Benutzerschnittstelle (insbesondere einem IPA) des Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln, anhand von Fahrerdaten von ein oder mehreren Fahrersensoren des Fahrzeugs, von Aufmerksamkeitsinformation in Bezug auf die Aufmerksamkeit des Fahrers für die Sprachinteraktion. Des Weiteren umfasst das Verfahren das Anpassen der Sprachinteraktion in Abhängigkeit von der Aufmerksamkeitsinformation.
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. Ferner sind in Klammern aufgeführte Merkmale als optionale Merkmale zu verstehen.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

1 ein beispielhaftes Fahrzeug mit ein oder mehreren Fahrersensoren; und
2 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Bereitstellung einer Sprachinteraktion in einem Fahrzeug.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Erhöhung der Zuverlässigkeit einer Sprachinteraktion in einem Fahrzeug. In diesem Zusammenhang zeigt 1 ein beispielhaftes Fahrzeug 100, das ein oder mehrere Umfeldsensoren 106 umfasst, die eingerichtet sind, Umfelddaten (d.h. Sensordaten) in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Beispielhafte Umfeldsensoren 106 sind eine Kamera, ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor, etc. Des Weiteren kann das Fahrzeug 100 ein oder mehrere Längs- und/oder Querführungsaktoren 107 (z.B. einen Antriebsmotor, eine Bremsvorrichtung und/oder eine Lenkvorrichtung) umfassen.
Eine (Steuer-) Vorrichtung 101 des Fahrzeugs 100 kann eingerichtet sein, eine automatisierte Fahrfunktion, insbesondere eine Fahrerassistenzfunktion, bereitzustellen. Beispielhafte Fahrfunktionen sind ein Spurhalteassistent, ein Abstands- und/oder Geschwindigkeitsregler, etc. Eine Fahrfunktion kann eingerichtet sein, das Fahrzeug 100 zumindest teilweise automatisiert längs- und/oder querzuführen. Zu diesem Zweck können die ein oder mehreren Aktoren 107 auf Basis der Umfelddaten angesteuert werden.
Das Fahrzeug 100 kann eine Benutzerschnittstelle mit einem Lautsprecher 103 und einem Mikrofon 104 umfassen, über die eine Sprachinteraktion zwischen dem Fahrer und dem Fahrzeug 100 bereitgestellt werden kann. Dabei können durch das Mikrofon 104 Sprachsignale des Fahrers erfasst und anhand eines Spracherkennungsalgorithmus ausgewertet werden. Ferner können über den Lautsprecher 104 Sprachsignale des Fahrzeugs 100, insbesondere des IPA des Fahrzeugs 100, ausgegeben werden. Der IPA kann dabei z.B. durch Software implementiert sein, die durch die Vorrichtung 101 ausgeführt wird.
Im Rahmen der Sprachinteraktion kann es dem Fahrer ermöglicht werden, eine Funktion des Fahrzeugs 100, insbesondere eine Fahrfunktion, etwa eine Fahrerassistenzfunktion, zu aktivieren. Zu diesem Zweck kann der Fahrer eine entsprechende Sprachanweisung an das Fahrzeug 100 geben, die über das Mikrofon 103 erfasst und ausgewertet wird. Dabei kann es vorkommen, dass die Sprachanweisung nicht eindeutig von dem Fahrzeug 100 erkannt wird. Es kann dann zur Abklärung eine Rückfrage über den Lautsprecher 104 ausgegeben werden. Ferner kann auf eine Rückmeldung von dem Fahrer gewartet werden.
Ggf. erwartet der Fahrer keine Rückfrage von dem Fahrzeug 100, und hat seine Aufmerksamkeit bereits einer anderen Tätigkeit zugewandt (unter der Annahme, dass die Fahrfunktion aktiviert wurde). Dies kann ggf. zu einer sicherheitskritischen Situation führen. Ferner kann dies dazu führen, dass der Fahrer keine Rückmeldung auf die Rückfrage an das Fahrzeug 100 gibt.
Das Fahrzeug 100 kann ein oder mehrere Fahrersensoren 102 umfassen, die eingerichtet sind, Fahrerdaten (d.h. Sensordaten) in Bezug auf den Fahrer zu erfassen. Ein beispielhafter Fahrersensor 102 ist eine auf den Fahrer bzw. auf die Fahrerposition gerichtete Kamera, die eingerichtet ist, Bilddaten in Bezug auf die Vorderseite des Kopfes des Fahrers zu erfassen (wenn der Fahrer geradeaus durch die Windschutzscheibe des Fahrzeugs 100 schaut).
Die Vorrichtung 101 kann eingerichtet sein, auf Basis der Fahrerdaten Aufmerksamkeitsinformation in Bezug auf die Aufmerksamkeit des Fahrers, insbesondere in Bezug auf den Fokus der Aufmerksamkeit des Fahrers, zu ermitteln. Insbesondere kann Aufmerksamkeitsinformation ermittelt werden, die die Aufmerksamkeit, insbesondere den Grad der Aufmerksamkeit, des Fahrers bezüglich der Sprachinteraktion zwischen dem Fahrer und dem Fahrzeug 100 anzeigt.
Die Vorrichtung 101 kann insbesondere eingerichtet sein, auf Basis der Fahrerdaten zu bestimmen, ob der Fahrer eine Rückfrage des Fahrzeugs 100 an den Fahrer wahrgenommen hat oder nicht. Wenn erkannt wird, dass der Fahrer die Rückfrage nicht wahrgenommen hat, kann z.B. bewirkt werden, dass die Rückfrage nochmals wiederholt wird (ggf. mit einer erhöhten Lautstärke und/oder Dringlichkeit).
Es kann somit auf Basis der Fahrerdaten während einer Sprachinteraktion eine Überwachung des Fahrers durchgeführt werden. So können der Komfort, die Zuverlässigkeit und die Sicherheit des Fahrzeugs 100 erhöht werden (insbesondere in Bezug auf die Interaktion mit dem IPA des Fahrzeugs 100).
2 zeigt ein Ablaufdiagramm eines (ggf. Computer-implementierten) Verfahrens 200 zur Steuerung einer Sprachinteraktion zwischen dem Fahrer eines Kraftfahrzeugs 100 und einer Benutzerschnittstelle des Fahrzeugs 100. Die Benutzerschnittstelle kann dabei einen IPA umfassen.
Das Verfahren 200 umfasst das Ermitteln 201, anhand von Fahrerdaten von ein oder mehreren Fahrersensoren 102 des Fahrzeugs 100 (insbesondere von einer auf den Fahrer gerichteten Innenraumkamera), von Aufmerksamkeitsinformation in Bezug auf die Aufmerksamkeit des Fahrers für die Sprachinteraktion. Dabei kann insbesondere ermittelt werden, ob der Fahrer ein bestimmtes Sprachsignal der Benutzerschnittstelle wahrgenommen hat oder nicht.
Des Weiteren umfasst das Verfahren 200 das Anpassen 202 der Sprachinteraktion in Abhängigkeit von der Aufmerksamkeitsinformation. Dabei können insbesondere der Verlauf und/oder der Inhalt der Sprachinteraktion angepasst werden (zumindest der von der Benutzerschnittstelle bewirkte Teil der Sprachinteraktion). So können der Komfort und die Zuverlässigkeit der Sprachsteuerung in einem Fahrzeug 100 in effizienter Weise erhöht werden.
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.

Claims

Vorrichtung (101) zur Steuerung einer Sprachinteraktion zwischen dem Fahrer eines Kraftfahrzeugs (100) und einer Benutzerschnittstelle des Fahrzeugs (100); wobei die Vorrichtung (101) eingerichtet ist, - anhand von Fahrerdaten von ein oder mehreren Fahrersensoren (102) des Fahrzeugs (100), Aufmerksamkeitsinformation in Bezug auf die Aufmerksamkeit des Fahrers für die Sprachinteraktion zu ermitteln; und - die Sprachinteraktion in Abhängigkeit von der Aufmerksamkeitsinformation anzupassen.
Vorrichtung (101) gemäß Anspruch 1, wobei die Vorrichtung (101) eingerichtet ist, - anhand der Fahrerdaten als Aufmerksamkeitsinformation zu ermitteln, ob der Fahrer eine im Rahmen der Sprachinteraktion generierte Rückfrage der Benutzerschnittstelle des Fahrzeugs (100) wahrgenommen hat oder nicht; und - zumindest eine Maßnahme zu bewirken, die darauf gerichtet ist, dass der Fahrer die Rückfrage der Benutzerschnittstelle des Fahrzeugs (100) wahrnimmt, wenn die Aufmerksamkeitsinformation anzeigt, dass der Fahrer die Rückfrage nicht wahrgenommen hat.
Vorrichtung (101) gemäß Anspruch 2, wobei die Maßnahme eine erneute Ausgabe der Rückfrage der Benutzerschnittstelle des Fahrzeugs (100) umfasst, insbesondere mit einer gegenüber der vorhergehenden Ausgabe erhöhten Lautstärke.
Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist, - im Rahmen der Sprachinteraktion, eine Sprachanweisung des Fahrers an die Benutzerschnittstelle des Fahrzeugs (100) zu erkennen; - zu bestimmen, dass die Sprachanweisung auf eine sicherheitskritische Fahrzeugfunktion, insbesondere auf eine Fahrfunktion zur zumindest teilweise automatisierten Längs- und/oder Querführung des Fahrzeugs (100), gerichtet ist, und - in Reaktion darauf eine Rückfrage der Benutzerschnittstelle bezüglich der Sprachanweisung an den Fahrer zu bewirken.
Vorrichtung (101) gemäß Anspruch 4, wobei die Vorrichtung (101) eingerichtet ist, die Ausführung der Sprachanweisung solange zu unterbinden, bis im Rahmen der Sprachinteraktion eine Rückmeldung des Fahrers auf die Rückfrage erkannt wird.
Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die ein oder mehreren Fahrersensoren (102) zumindest eine Kamera umfassen, die eingerichtet ist, Bilddaten in Bezug auf einen Kopf des Fahrers zu erfassen.
Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist, einen Verlauf und/oder einen Inhalt der Sprachinteraktion, insbesondere in Bezug auf ein oder mehrere von der Benutzerschnittstelle ausgegebener Sprachsignale, in Abhängigkeit von der Aufmerksamkeitsinformation anzupassen.
Verfahren (200) zur Steuerung einer Sprachinteraktion zwischen dem Fahrer eines Kraftfahrzeugs (100) und einer Benutzerschnittstelle des Fahrzeugs (100); wobei das Verfahren (200) umfasst, - Ermitteln (201), anhand von Fahrerdaten von ein oder mehreren Fahrersensoren (102) des Fahrzeugs (100), von Aufmerksamkeitsinformation in Bezug auf die Aufmerksamkeit des Fahrers für die Sprachinteraktion; und - Anpassen (202) der Sprachinteraktion in Abhängigkeit von der Aufmerksamkeitsinformation.