[go: up one dir, main page]

DE102019216078B3 - Method and apparatus for identifying instructions in speech recorded in a vehicle - Google Patents

Method and apparatus for identifying instructions in speech recorded in a vehicle Download PDF

Info

Publication number
DE102019216078B3
DE102019216078B3 DE102019216078.6A DE102019216078A DE102019216078B3 DE 102019216078 B3 DE102019216078 B3 DE 102019216078B3 DE 102019216078 A DE102019216078 A DE 102019216078A DE 102019216078 B3 DE102019216078 B3 DE 102019216078B3
Authority
DE
Germany
Prior art keywords
topic
vehicle
list
instruction
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102019216078.6A
Other languages
German (de)
Inventor
Stefan Bieger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Germany De GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Priority to DE102019216078.6A priority Critical patent/DE102019216078B3/en
Application granted granted Critical
Publication of DE102019216078B3 publication Critical patent/DE102019216078B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Navigation (AREA)

Abstract

Es ist ein computerimplementiertes Verfahren zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache bereitgestellt. Das Verfahren weist Bereitstellen einer Liste mit Anweisungswörtern und einer Liste mit Themenwörtern bezüglich Gesprächsthemen auf. Eine Spracheinheit wird in einem Fahrzeug aufgezeichnet und im Fahrzeug mit den Anweisungswörtern und den Themenwörtern verglichen. Wenn ein Themenwort identifiziert wird, wird das Themenwort zu einer aktuellen Themenliste hinzugefügt. Wenn ein Anweisungswort identifiziert wird, werden Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste zu einem Fernserver übertragen. Im Fernserver wird eine Anweisung basierend auf den übertragenen Informationen identifiziert und Anweisungsdaten werden basierend auf der identifizierten Anweisung erzeugt. Die Anweisungsdaten werden vom Server zum Fahrzeug übertragen und im Fahrzeug verarbeitet.A computer implemented method for identifying instructions in speech recorded in a vehicle is provided. The method includes providing a list of instruction words and a list of topic words relating to topics of conversation. A unit of speech is recorded in a vehicle and compared with the instruction words and the topic words in the vehicle. When a topic word is identified, the topic word is added to a current topic list. When an instruction word is identified, information relating to the recorded speech unit and the current topic list is transmitted to a remote server. In the remote server, an instruction is identified based on the transmitted information and instruction data is generated based on the identified instruction. The instruction data are transmitted from the server to the vehicle and processed in the vehicle.

Description

Gebiet der ErfindungField of invention

Die Erfindung betrifft ein computerimplementiertes Verfahren, eine Vorrichtung und ein System zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache.The invention relates to a computer-implemented method, a device and a system for identifying instructions in speech recorded in a vehicle.

Hintergrund der ErfindungBackground of the invention

Viele moderne Fahrzeuge weisen fahrzeuginterne Spracherkennungssysteme auf, die dem Fahrer und/oder anderen Mitfahrern ermöglichen, unter Verwendung von Sprachanweisungen mit den Fahrzeugsystemen zu kommunizieren. Um diese Sprachanweisungen zu erkennen, kann ein Sprachaufzeichnungsgerät die Stimmen innerhalb des Fahrzeugs kontinuierlich aufzeichnen.Many modern vehicles have in-vehicle voice recognition systems that enable the driver and / or other passengers to communicate with the vehicle systems using voice instructions. To recognize these voice instructions, a voice recorder can continuously record the voices within the vehicle.

In der US Anmeldung US 2013 / 0 103 405 A1 ist ein Betriebssystem beschrieben das eine angeforderte Aufgabenschätzungseinheit enthält, die einen Bewerber für eine angeforderte Aufgabe anhand von Informationen schätzt, die in einer Äußerung eines ersten Redners enthalten sind.In the US application US 2013/0 103 405 A1 describes an operating system that includes a requested task estimation unit that estimates an applicant for a requested task based on information contained in an utterance of a first speaker.

Die US Anmeldung US 2016 / 0 085 854 A1 beschreibt wie ein Computergerät, das ein Gespräch mit einem Benutzer führt, mit der Identifizierung und Verwaltung eines oder mehrerer Themen verbessert wird. Mit den beschriebenen Techniken kann sich das Computergerät auf ein oder mehrere Themen konzentrieren, zwischen Themen hin- und herwechseln und/oder neue Themen einführen.The US filing US 2016/0 085 854 A1 describes how a computing device that is in conversation with a user is enhanced by identifying and managing one or more topics. With the techniques described, the computing device can concentrate on one or more topics, switch back and forth between topics and / or introduce new topics.

In der US Anmeldung US 2018 / 0 233 143 A1 wird ein Dialogsystem beschrieben, das Daten über Sprache-/Textsignale empfängt, probabilistische Systemzustände aktualisiert, eine relevante Kategorie über ein Identifikationsmodell identifiziert, irrelevante Kategorien ausschließt und eine Ausgabeaktion (z. B. Text oder synthetisierte Sprache) bestimmt.In the US application US 2018/0 233 143 A1 describes a dialog system that receives data via speech / text signals, updates probabilistic system states, identifies a relevant category via an identification model, excludes irrelevant categories and determines an output action (e.g. text or synthesized speech).

Es kann vorteilhaft sein, die Identifizierung von Sprachanweisungen in einem Fernserver, anstatt lokal im Fahrzeug auszuführen. In der Tat ermöglicht ein Fernserver die Verwendung einer größeren Verarbeitungsleistung und eine einfachere/schnellere Aktualisierung von Software und Hardware.It can be advantageous to carry out the identification of voice instructions in a remote server rather than locally in the vehicle. Indeed, a remote server enables more processing power to be used and easier / faster software and hardware updates.

Aufgrund von Datenschutzbedenken oder einer beschränkten verfügbaren Kommunikationsbandbreite zwischen dem Fahrzeug und dem Fernserver werden aufgezeichnete Stimmen jedoch nicht kontinuierlich zu einem derartigen Fernserver übertragen. Nur wenn ein Anweisungswort im Fahrzeug identifiziert wurde, werden Informationen bezüglich einer entsprechenden aufgezeichneten Sprachanweisung zu dem Fernserver übertragen. Diese Informationen werden entfernt verarbeitet, um die vollständige Sprachanweisung zu identifizieren, und Anweisungsdaten werden basierend auf der identifizierten Anweisung entfernt erzeugt. Diese Anweisungsdaten werden zu dem Fahrzeug übertragen, das dann die Anweisungsdaten verarbeitet, d. h. das Fahrzeug führt die identifizierte Sprachanweisung aus.However, due to privacy concerns or limited communication bandwidth available between the vehicle and the remote server, recorded voices are not continuously transmitted to such a remote server. Only when an instruction word has been identified in the vehicle is information relating to a corresponding recorded voice instruction transmitted to the remote server. This information is processed remotely to identify the complete voice instruction and instruction data is remotely generated based on the identified instruction. This instruction data is transmitted to the vehicle which then processes the instruction data, i.e. H. the vehicle carries out the identified voice instruction.

Ziel der ErfindungObject of the invention

Das Ziel der Erfindung besteht darin, die Erkennung von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache zu verbessern.The aim of the invention is to improve the recognition of instructions in speech recorded in a vehicle.

Kurzdarstellung der ErfindungSummary of the invention

Das Ziel der Erfindung wird durch ein Verfahren nach Anspruch 1, eine Vorrichtung nach Anspruch 10 und ein System nach Anspruch 12 erfüllt.The object of the invention is achieved by a method according to claim 1, an apparatus according to claim 10 and a system according to claim 12.

Ein computerimplementiertes Verfahren zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache ist bereitgestellt, das die folgenden Schritte aufweist:

  • - Bereitstellen einer Liste mit Anweisungswörtern;
  • - Bereitstellen einer Liste mit Themenwörtern bezüglich Gesprächsthemen;
  • - Aufzeichnen einer Spracheinheit in einem Fahrzeug;
  • - Vergleichen der aufgezeichneten Spracheinheit mit den Anweisungswörtern und den Themenwörtern in dem Fahrzeug;
  • - wenn ein Themenwort unter Verwendung des Vergleichs in der Spracheinheit identifiziert wird, Hinzufügen des Themenworts zu einer aktuellen Themenliste;
  • - wenn ein Anweisungswort unter Verwendung des Vergleichs in der Spracheinheit identifiziert wird, Übertragen von Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste vom Fahrzeug zu einem Fernserver;
  • - Identifizieren einer Anweisung basierend auf den Informationen in dem Fernserver;
  • - Erzeugen von Anweisungsdaten basierend auf der identifizierten Anweisung in dem Fernserver und Übertragen der Anweisungsdaten vom Server zum Fahrzeug; und
  • - Verarbeiten der Anweisungsdaten in dem Fahrzeug.
A computer implemented method for identifying instructions in voice recorded in a vehicle is provided, comprising the steps of:
  • - providing a list of instruction words;
  • - providing a list of topic words relating to topics of conversation;
  • - recording a speech unit in a vehicle;
  • - comparing the recorded speech unit with the instruction words and the subject words in the vehicle;
  • - when a topic word is identified using the comparison in the speech unit, adding the topic word to a current topic list;
  • if an instruction word is identified using the comparison in the speech unit, transmitting information relating to the recorded speech unit and the current topic list from the vehicle to a remote server;
  • - identifying an instruction based on the information in the remote server;
  • - generating instruction data based on the identified instruction in the remote server and transmitting the instruction data from the server to the vehicle; and
  • - processing the instruction data in the vehicle.

Die in dem Fahrzeug aufgezeichnete Sprache kann die Wörter und Sätze sein, die durch den Fahrer und/oder die anderen Mitfahrer im Fahrzeug gesprochen werden. Das Fahrzeug kann ein Auto, ein Motorrad, ein Kleintransporter oder ein Lastkraftwagen sein. Es kann auch ein Fahrrad oder ein Moped sein.The language recorded in the vehicle can be the words and phrases spoken by the driver and / or the other passengers in the vehicle. The vehicle can be a car, motorcycle, pickup truck, or truck. It can also be a bicycle or a moped.

Die Anweisungen in der aufgezeichneten Sprache können sich auf den Betrieb des Fahrzeugs und/oder das Infotainment-System des Fahrzeugs beziehen. Beispielsweise: „Öffne das linke hintere Fenster“; „Spiel das nächste Lied ab“, „Was ist das Gebäude auf der linken Seite?“, „Zeige ein Foto des Eiffelturms an“, „Berechne eine Route zu Pierre's“. Die Anweisungen können ein Hotword oder einen Anweisungszeiger aufweisen, wie etwa „Hallo Assistent“ oder einfach „Assistent“. Dieses Hotword kann angeben, dass ein Satz mit einer Anweisung angefangen oder beendet wurde. Beispielsweise: „Assistent: berechne eine Route zu Pierre's“ oder „Was ist das Gebäude auf der linken Seite, Assistent?“.The instructions in the recorded language may relate to the operation of the vehicle and / or the infotainment system of the vehicle. For example: "Open the left rear window"; "Play the next song", "What is the building on the left?", "Show a photo of the Eiffel Tower", "Calculate a route to Pierre's". The instructions can have a hotword or an instruction pointer, such as "hello assistant" or just "assistant". This hotword can indicate that a sentence started or ended with an instruction. For example: “Assistant: calculate a route to Pierre's” or “What is the building on the left, assistant?”.

Ein Anweisungswort kann Teil einer Anweisung sein oder kann (i) ein Befehl, wie etwa „Öffne“, „Zeig an“ oder „Berechne“; (ii) ein Fragewort wie etwa „was“ oder „wie“; (iii) ein Hotword wie oben beschrieben; oder eine beliebige Kombination aus (i), (ii) und/oder (iii) sein.An instruction word can be part of an instruction or can (i) be an instruction such as "open", "show" or "calculate"; (ii) a question word such as "what" or "how"; (iii) a hotword as described above; or any combination of (i), (ii) and / or (iii).

Ein Gesprächsthema bezieht sich auf die Thematik eines Gesprächs, Dialogs oder Monologs innerhalb des Fahrzeugs. Beispiele für die Gesprächsthemen sind „Reisen“, „Ernährung“, „Umgebung“, „Filme“ und „Unterhaltung“.A topic of conversation refers to the topic of a conversation, dialogue or monologue inside the vehicle. Examples of the topics of conversation are “Travel”, “Nutrition”, “Environment”, “Movies” and “Entertainment”.

Ein Themenwort ist ein Wort, das sich auf mindestens ein spezifisches Gesprächsthema bezieht, d. h. es kann eine Thematik eines Gesprächs angeben. Beispielsweise beziehen sich Themenwörter wie etwa „Hunger“ und „Abendessen“ auf das Gesprächsthema „Ernährung“ und können diesem zugewiesen werden. Themenwörter wie etwa „Gebäude“ und „Baum“ beziehen sich auf das Gesprächsthema „Umgebung“ und können diesem zugewiesen werden. Ein Themenwort „Geräusch“ kann sich sowohl auf das Gesprächsthema „Unterhaltung“ als auch das Gesprächsthema „Umgebung“ beziehen. Die Liste mit Themenwörtern kann Themenwörter und die zugewiesenen Gesprächsthemen aufweisen.A topic word is a word that relates to at least one specific topic of conversation; H. it can indicate a topic of a conversation. For example, topic words such as “hunger” and “dinner” relate to the topic of conversation “nutrition” and can be assigned to it. Topic words such as "building" and "tree" relate to the topic of conversation "environment" and can be assigned to it. A topic word “noise” can refer to both the topic of conversation “entertainment” and the topic of conversation “environment”. The list of topic words can include topic words and the assigned topics of conversation.

Die Formulierung „eine aufgezeichnete Spracheinheit“ bezieht sich auf eine Aufzeichnung von Sprache mit einer gewissen Zeitdauer. Beispielsweise kann eine aufgezeichnete Spracheinheit 3 Sekunden aufgezeichneter Sprache sein.The phrase “a recorded unit of speech” refers to a recording of speech over a period of time. For example, a recorded speech unit can be 3 seconds of recorded speech.

Wenn ein Themenwort in einer aufgezeichneten Spracheinheit identifiziert wird (lokal, d. h. im Fahrzeug), wird das identifizierte Themenwort zu einer aktuellen Themenliste hinzugefügt. Während des Gesprächs im Fahrzeug können viele Themenwörter zu der aktuellen Themenliste hinzugefügt werden.When a topic word is identified in a recorded speech unit (locally, i.e. in the vehicle), the identified topic word is added to a current topic list. During the conversation in the vehicle, many topic words can be added to the current topic list.

Wenn ein Anweisungswort in einer aufgezeichneten Spracheinheit identifiziert wird (lokal, d. h. im Fahrzeug), werden Informationen zu dem Fernserver übertragen. Diese Informationen können Informationen bezüglich der aufgezeichneten Spracheinheit aufweisen, die die vollständige aufgezeichnete Spracheinheit und/oder gewisse Charakteristiken der aufgezeichneten Spracheinheit repräsentieren können.When an instruction word is identified in a recorded speech unit (locally, i.e. in the vehicle), information is transmitted to the remote server. This information can include information relating to the recorded speech unit which can represent the complete recorded speech unit and / or certain characteristics of the recorded speech unit.

Die zu dem Fernserver übertragenen Informationen können auch Informationen bezüglich der aktuellen Themenliste mit den identifizierten Themenwörtern aufweisen. Diese Informationen können die aktuelle Themenliste selbst und/oder das Gesprächsthema repräsentieren, dem die meisten Themenwörter zugewiesen wurden.The information transmitted to the remote server can also include information relating to the current topic list with the identified topic words. This information may represent the current topic list itself and / or the topic of conversation to which most of the topic words have been assigned.

Der Fernserver ist ein Computerserver, der sich außerhalb des Fahrzeugs befindet, zum Beispiel in einem zentralen Rechen- oder Datenzentrum. Im Fernserver wird eine Anweisung auf Basis der Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste mit identifizierten Themenwörtern identifiziert.The remote server is a computer server that is located outside the vehicle, for example in a central computer or data center. In the remote server, an instruction is identified based on the information relating to the recorded language unit and the current topic list with identified topic words.

Basierend auf der identifizierten Anweisung werden Anweisungsdaten im Fernserver erzeugt und zurück zum Fahrzeug übertragen. Die Anweisungsdaten können die identifizierte Anweisung aufweisen.Based on the identified instruction, instruction data is generated in the remote server and transmitted back to the vehicle. The instruction data may include the identified instruction.

Nachdem das Fahrzeug die Anweisungsdaten empfangen hat, kann es die Anweisungsdaten verarbeiten. Dafür kann es die innerhalb des Fahrzeugs gesprochene und in der aufgezeichneten Spracheinheit aufgezeichnete Anweisung ausführen.After the vehicle receives the instruction data, it can process the instruction data. To do this, it can execute the instruction spoken inside the vehicle and recorded in the recorded speech unit.

Ein Vorteil kann darin bestehen, dass der Fernserver zusätzliche Informationen über die Gesprächsthematik im Fahrzeug empfängt und dies die Identifizierung von Anweisungen in der aufgezeichneten Spracheinheit verbessert.One advantage can be that the remote server receives additional information about the topic of conversation in the vehicle and this improves the identification of instructions in the recorded speech unit.

Da nur Informationen bezüglich der identifizierten Themenwörter zum Fernserver übertragen werden, werden ferner keine datenschutzempfindlichen Informationen zur Außenseite des Fahrzeugs übertragen, d. h. mit der Außenwelt geteilt.Since only information relating to the identified topic words is transmitted to the remote server, no data protection-sensitive information is transmitted to the outside of the vehicle, i. H. shared with the outside world.

Ein anderer Vorteil besteht darin, dass anstelle des gesamten Gesprächs nur Informationen bezüglich der identifizierten Themenwörter zum Fernserver übertragen werden. Daher sind die Anforderungen für die Kommunikationsverbindung (zum Beispiel eine 4G/5G- oder WiFi-Verbindung) zwischen dem Fahrzeug und dem Fernserver beschränkt.Another advantage is that instead of the entire conversation, only information relating to the identified topic words is transmitted to the remote server. Therefore, the requirements for the communication connection (e.g. a 4G / 5G or WiFi connection) between the vehicle and the remote server are limited.

Bei einer Ausführungsform des Verfahrens gemäß der Erfindung weist die aktuelle Themenliste Gesprächsthemen auf, wobei die Themenwörter den Gesprächsthemen zugewiesen werden. Bei einer weiteren Ausführungsform sind die Informationen bezüglich der aktuellen Themenliste Informationen bezüglich des Gesprächsthemas, dem die meisten Themenwörter zugewiesen wurden.In one embodiment of the method according to the invention, the current topic list has topics of conversation, the topic words being assigned to the topics of conversation. In another embodiment, the information relating to the current topic list is information relating to the topic of conversation to which the most topic words have been assigned.

Ein Vorteil dieser Ausführungsform besteht darin, dass anstelle des Übertragens von Informationen bezüglich des gesamten Gesprächs oder der aktuellen Themenliste nur Informationen bezüglich eines Gesprächsthemas (zum Beispiel das Gesprächsthema selbst) zum Fernserver übertragen werden. Somit werden noch weniger Informationen zur Außenseite des Fahrzeugs übertragen.One advantage of this embodiment is that instead of transmitting information relating to the entire conversation or the current list of topics, only information relating to a topic of conversation (for example the topic of conversation itself) is transmitted to the remote server. This means that even less information is transmitted to the outside of the vehicle.

Bei einer Ausführungsform des Verfahrens gemäß der Erfindung wird jedem hinzugefügten Themenwort ein Zeitstempel zugewiesen, der die Zeit angibt, zu der das Themenwort zu der aktuellen Themenliste hinzugefügt wurde.In one embodiment of the method according to the invention, each added topic word is assigned a time stamp which indicates the time at which the topic word was added to the current topic list.

Die Thematik eines Gesprächs kann sich während des Gesprächs ändern. Ein Gespräch kann aufhören und ein neues kann zu einem späteren Zeitpunkt anfangen. Je länger eine Identifizierung eines Themenworts her ist, desto weniger indikativ kann es daher über die Thematik des aktuellen Gesprächs sein. Daher kann ein Zeitstempel dabei helfen, die Informationen in der aktuellen Themenliste zu beurteilen.The subject of a conversation can change during the conversation. A conversation can end and a new one can start at a later time. The longer it has been since a topic word was identified, the less indicative it can be of the topic of the current conversation. Therefore, a timestamp can help assess the information in the current topic list.

Bei einer weiteren Ausführungsform des Verfahrens gemäß der Erfindung wird ein hinzugefügtes Themenwort aus der aktuellen Themenliste entfernt, wenn eine Zeitdifferenz zwischen einer aktuellen Zeit und seines assoziierten Zeitstempels länger als ein vordefinierter Zeitraum ist.In a further embodiment of the method according to the invention, an added topic word is removed from the current topic list if a time difference between a current time and its associated time stamp is longer than a predefined period of time.

Ein Vorteil dieser Ausführungsform besteht darin, dass Themenwörter, die zuvor identifiziert wurden und wahrscheinlich nicht die aktuelle Gesprächsthematik angeben, aus der aktuellen Themenliste entfernt werden.An advantage of this embodiment is that topic words that have previously been identified and are unlikely to indicate the current topic of conversation are removed from the current topic list.

Bei einer anderen Ausführungsform des Verfahrens gemäß der Erfindung werden alle hinzugefügten Themenwörter aus der aktuellen Themenliste entfernt, wenn eine Zeitdifferenz zwischen einer aktuellen Zeit und einem Zeitstempel eines hinzugefügten Schlüsselwortes, das zuletzt hinzugefügt wurde, länger als ein vordefinierter Zeitraum ist.In another embodiment of the method according to the invention, all added topic words are removed from the current topic list if a time difference between a current time and a time stamp of an added keyword that was added last is longer than a predefined period of time.

Ein Vorteil dieser Ausführungsform besteht darin, dass Themenwörter, die während eines vorherigen Gesprächs identifiziert wurden, aus der aktuellen Themenliste entfernt werden.An advantage of this embodiment is that topic words identified during a previous conversation are removed from the current topic list.

Bei einer Ausführungsform des Verfahrens gemäß der Erfindung wird die Liste mit Themenwörtern in dem Fahrzeug erzeugt. Die Liste mit Themenwörtern kann durch das Fahrzeug oder durch einen Benutzer des Fahrzeugs erzeugt werden. Ein Vorteil dieser Ausführungsform besteht darin, dass die Liste nicht im Fernserver erzeugt wird, was die Menge an Informationen beschränkt, die zwischen dem Fernserver und dem Fahrzeug übertragen wird.In one embodiment of the method according to the invention, the list of subject words is generated in the vehicle. The list of subject words can be generated by the vehicle or by a user of the vehicle. An advantage of this embodiment is that the list is not generated in the remote server, which limits the amount of information that is transmitted between the remote server and the vehicle.

Bei einer Ausführungsform des Verfahrens gemäß der Erfindung werden die Themenwörter basierend auf Regeln zu Gesprächsthemen zugewiesen, und wobei die Regeln vorzugsweise in dem Fahrzeug erzeugt werden. Ein Vorteil dieser Ausführungsform besteht darin, dass die Regeln nicht im Fernserver erzeugt werden, was die Menge an Informationen beschränkt, die zwischen dem Fernserver und dem Fahrzeug übertragen wird.In one embodiment of the method according to the invention, the topic words are assigned to topics of conversation based on rules, and the rules are preferably generated in the vehicle. An advantage of this embodiment is that the rules are not generated in the remote server, which limits the amount of information that is transmitted between the remote server and the vehicle.

Außerdem ist ein Computerprogramm bereitgestellt, wobei das Computerprogramm dazu ausgelegt ist, das Verfahren wie in diesem Dokument erläutert oder gemäß beliebiger der Ansprüche durchzuführen, während das Computerprogramm auf einem Computer ausgeführt wird.In addition, a computer program is provided, the computer program being designed to carry out the method as explained in this document or according to any one of the claims, while the computer program is being executed on a computer.

Zusätzlich ist ein computerlesbares Speicherungsmedium bereitgestellt, das einen Satz von durch eine Steuereinheit ausführbarem Code speichert, der bei Ausführung in einer Vorrichtung auf einem Verarbeitungssystem oder in einem Digitalsignalprozessor die Verfahrensschritte wie in diesem Dokument erläutert oder gemäß beliebigen der Ansprüche durchführt.In addition, a computer readable storage medium is provided which stores a set of code executable by a control unit which, when executed in an apparatus on a processing system or in a digital signal processor, performs the method steps as set out in this document or according to any of the claims.

Ferner weist eine Vorrichtung zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache Folgendes auf:

  • - ein Speicherungsmedium mit einer Liste mit Anweisungswörtern, einer Liste mit Themenwörtern bezüglich Gesprächsthemen und einer aktuellen Themenliste;
  • - ein Sprachaufzeichnungsgerät, das zum Aufzeichnen einer Spracheinheit eingerichtet ist;
  • - einen Sendeempfänger, der zum Austauschen von Informationen zwischen der Vorrichtung und einem Fernserver eingerichtet ist; und
  • - einen Prozessor, der eingerichtet ist zum:
    1. (i) Vergleichen der aufgezeichneten Spracheinheit mit den Anweisungswörtern und den Themenwörtern;
    2. (ii) wenn ein Themenwort unter Verwendung des Vergleichs in der Spracheinheit identifiziert wird, Hinzufügen des Themenworts zu der auf dem Speicherungsmedium gespeicherten aktuellen Themenliste;
    3. (iii) wenn ein Anweisungswort unter Verwendung des Vergleichs in der Spracheinheit identifiziert wird, Anweisen des Sendeempfängers, Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste zu dem Fernserver zu übertragen;
    4. (iv) Verarbeiten von Anweisungsdaten, die durch den Sendeempfänger vom Fernserver empfangen wurden und in dem Fernserver basierend auf den Informationen erzeugt wurden.
An apparatus for identifying instructions in speech recorded in a vehicle further comprises:
  • a storage medium with a list of instruction words, a list of topic words relating to topics of conversation and a current list of topics;
  • a voice recording device which is set up to record a unit of speech;
  • a transceiver configured to exchange information between the device and a remote server; and
  • - a processor that is set up to:
    1. (i) comparing the recorded unit of speech with the instruction words and the topic words;
    2. (ii) if a topic word is identified using the comparison in the speech unit, adding the topic word to the current topic list stored on the storage medium;
    3. (iii) if an instruction word is identified using the comparison in the speech unit, instructing the transceiver to transmit information regarding the recorded speech unit and the current topic list to the remote server;
    4. (iv) processing instruction data received by the transceiver from the remote server and generated in the remote server based on the information.

Die Vorrichtung kann in Infotainment-System oder ein Navigationssystem eines Fahrzeugs sein. Das Speicherungsmedium kann ROM- oder RAM-Computerspeicher sein. Der Prozessor kann die CPU des Infortainment- oder Navigationssystems sein.The device can be in the infotainment system or a navigation system of a vehicle. The storage medium can be ROM or RAM computer memory. The processor can be the CPU of the infortainment or navigation system.

Es ist ein Fahrzeug mit einer Vorrichtung wie in diesem Dokument oder gemäß Anspruch 10 beschrieben bereitgestellt.A vehicle with a device as described in this document or according to claim 10 is provided.

Und ein System zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache ist bereitgestellt, das Folgendes aufweist:

  • - eine Vorrichtung wie in diesem Dokument oder gemäß Anspruch 10 beschrieben, oder ein Fahrzeug wie in diesem Dokument oder gemäß Anspruch 11 beschrieben; und
  • - einen Fernserver, der eingerichtet ist zum:
    • (i) Empfangen von Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste;
    • (ii) Identifizieren einer Anweisung basierend auf den Informationen in dem Fernserver;
    • (iv) Erzeugen von Anweisungsdaten basierend auf der identifizierten Anweisung; und
    • (v) Übertragen der Anweisungsdaten zu dem Fahrzeug.
And a system for identifying instructions in recorded speech in a vehicle is provided, comprising:
  • a device as described in this document or according to claim 10, or a vehicle as described in this document or according to claim 11; and
  • - a remote server that is set up to:
    • (i) receiving information regarding the recorded speech unit and the current topic list;
    • (ii) identifying an instruction based on the information in the remote server;
    • (iv) generating instruction data based on the identified instruction; and
    • (v) transmitting the instruction data to the vehicle.

Es kann verstanden werden, dass (i) die Arbeitsweise dieser Vorrichtung, dieses Fahrzeugs und/oder dieses Systems, (ii) die assoziierten Vorteile und (iii) weitere Ausführungsformen dieser Vorrichtung gemäß den entsprechenden Verfahrensschritten wie in diesem Dokument vorliegen.It can be understood that (i) the operation of this device, this vehicle and / or this system, (ii) the associated advantages and (iii) further embodiments of this device are in accordance with the corresponding method steps as in this document.

FigurenlisteFigure list

Für ein vollständigeres Verständnis der vorliegenden Erfindung wird ein Bezug auf die folgende Beschreibung hergestellt, der in Verbindung mit begleitenden Zeichnungen vorgenommen wird, in denen gilt:

  • 1 zeigt schematisch eine Vorrichtung, ein Fahrzeug und ein System gemäß einer Ausführungsform der Erfindung;
  • 2 zeigt schematisch eine Vorrichtung gemäß einer Ausführungsform der Erfindung; und
  • 3 zeigt schematisch ein Verfahren gemäß einer Ausführungsform der Erfindung.
For a more complete understanding of the present invention, reference is made to the following description, taken in conjunction with the accompanying drawings, in which:
  • 1 shows schematically an apparatus, a vehicle and a system according to an embodiment of the invention;
  • 2 shows schematically an apparatus according to an embodiment of the invention; and
  • 3 shows schematically a method according to an embodiment of the invention.

Ausführliche Beschreibung der ErfindungDetailed description of the invention

1 zeigt schematisch eine Ausführungsform einer Vorrichtung 120 zum Identifizieren von Anweisungen in in einem Fahrzeug 110 aufgezeichneter Sprache. 1 shows schematically an embodiment of a device 120 for identifying instructions in a vehicle 110 recorded speech.

In 1 ist auch ein Fernserver 130 abgebildet. Der Fernserver 130 und das Fahrzeug 110 oder die Vorrichtung 120 sind in dem System 100 zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache enthalten.In 1 is also a remote server 130 pictured. The remote server 130 and the vehicle 110 or the device 120 are in the system 100 for identifying instructions in speech recorded in a vehicle.

Eine Kommunikationsverbindung 180 zwischen dem Fernserver 130 und der Vorrichtung 120 ermöglicht das Übertragen von Daten oder Informationen zwischen den beiden. Die Kommunikationsverbindung 180 kann eine beliebige drahtlose Kommunikationsverbindung sein, wie etwa 4/5G-, WiFi- oder Fahrzeug-zu-X-basierte Kommunikationsverbindungen.A communication link 180 between the remote server 130 and the device 120 allows data or information to be transferred between the two. The communication link 180 can be any wireless communication link, such as 4 / 5G, WiFi, or vehicle-to-X based communication links.

Wie in 2 gezeigt, weist die Vorrichtung 120 ein Speicherungsmedium 210 mit einer Liste 220 mit Anweisungswörtern, eine Liste 230 mit Themenwörtern bezüglich Gesprächsthemen und eine aktuelle Themenliste 270 mit identifizierten Themenwörtern auf. Die Vorrichtung 120 weist ferner ein Sprachaufzeichnungsgerät 240, das zum Aufzeichnen einer Spracheinheit eingerichtet ist, und einen Sendeempfänger 250, der zum Austauschen von Informationen zwischen der Vorrichtung 120 und dem Fernserver 130 eingerichtet ist, auf. Die Vorrichtung 120 weist ferner einen Prozessor 260 auf.As in 2 shown, the device 120 a storage medium 210 with a list 220 with instruction words, a list 230 with topic words relating to topics of conversation and a current list of topics 270 with identified topic words. The device 120 further comprises a voice recorder 240 arranged to record a unit of speech, and a transceiver 250 that is used to exchange information between the device 120 and the remote server 130 is set up. The device 120 further comprises a processor 260 on.

In 3 ist ein schematischer Überblick eines Verfahrens 300 gemäß einer Ausführungsform der Erfindung abgebildet. Das Verfahren 300 weist die Schritte 310-390 auf. Die Schritte 330-360 werden in der Vorrichtung 120 innerhalb des Fahrzeugs 110 ausgeführt und die Schritte 370 und 380 werden im Fernserver 130 ausgeführt. Die Schritte 310 und/oder 320 können im Fernserver 130, in der Vorrichtung 120 innerhalb des Fahrzeugs 110, während der Herstellung der Vorrichtung 120 ausgeführt werden. Dies wird durch die gestrichelten Linien in 2 angegeben.In 3 Figure 3 is a schematic overview of a process 300 mapped according to an embodiment of the invention. The procedure 300 instructs the steps 310-390 on. The steps 330-360 are in the device 120 inside the vehicle 110 executed and the steps 370 and 380 are in the remote server 130 executed. The steps 310 and or 320 can in the remote server 130 , in the device 120 inside the vehicle 110 , during the manufacture of the device 120 are executed. This is indicated by the dashed lines in 2 specified.

In Schritt 310 wird eine Liste mit Anweisungswörtern bereitgestellt. Die Liste 220 kann durch den Hersteller der Vorrichtung 120 oder des Fahrzeugs 110 erzeugt werden und kann auf dem Speicherungsmedium 210 der Vorrichtung 120 gespeichert sein. Wie oben beschrieben, ist ein Beispiel für ein derartiges Anweisungswort „Berechne“. Die Liste 220 kann durch die Vorrichtung 120 vom Fernserver 130 unter Verwendung des Sendeempfängers 250 in der Vorrichtung 120 empfangen werden.In step 310 a list of instruction words is provided. The list 220 can be made by the manufacturer of the device 120 or the vehicle 110 and can be generated on the storage medium 210 the device 120 be saved. As described above, an example of such an instruction word is “calculate”. The list 220 can through the device 120 from the remote server 130 using the transceiver 250 in the device 120 be received.

In Schritt 320 wird eine Liste mit Themenwörtern bezüglich Gesprächsthemen bereitgestellt. Die Gesprächsthemen können durch den Hersteller der Vorrichtung 120 oder des Fahrzeugs 110 definiert oder erzeugt werden. Wie oben beschrieben, ist ein Beispiel für ein derartiges Gesprächsthema „Ernährung“. Die Gesprächsthemen können durch die Vorrichtung 120 unter Verwendung des Sendeempfängers 250 in der Vorrichtung 120 vom Fernserver 130 empfangen werden.In step 320 a list of topic words related to topics of conversation is provided. The topics of conversation can be provided by the manufacturer of the device 120 or the vehicle 110 defined or generated. As described above, an example of such a topic of conversation is “nutrition”. The topics of conversation can be through the device 120 using the transceiver 250 in the device 120 from the remote server 130 be received.

Die Liste 230 mit Themenwörtern bezüglich dieser Gesprächsthemen kann durch den Benutzer der Vorrichtung 120 oder durch den Hersteller der Vorrichtung 120 oder des Fahrzeugs 110 erzeugt werden. Die Liste 230 kann auf dem Speicherungsmedium 210 der Vorrichtung 120 gespeichert werden. Beispiele für Themenwörter bezüglich des Themas „Ernährung“ können die Wörter „Hunger“, „Abendessen“ oder „essen“ sein.The list 230 with subject words relating to these topics of conversation can be made by the user of the device 120 or by the manufacturer of the device 120 or the vehicle 110 be generated. The list 230 can be on the storage medium 210 the device 120 get saved. Examples of topic words relating to the topic of "nutrition" can be the words "hunger", "dinner" or "eat".

In Schritt 330 wird eine Spracheinheit durch das Sprachaufzeichnungsgerät 240 im Fahrzeug 110 aufgezeichnet. Das Sprachaufzeichnungsgerät 240 kann zum kontinuierlichen Aufzeichnen der Sprache oder Stimmen im Fahrzeug in Spracheinheiten mit einer gewissen Zeitlänge, zum Beispiel 2 Sekunden, eingerichtet sein.
Als ein Beispiel kann eine erste aufgezeichnete Spracheinheit Stimmen aufweisen, die Folgendes sagen: „Ich bin hungrig“, „Willst du zum Abendessen ausgehen?“, und eine zweite aufgezeichnete Spracheinheit kann eine Stimme aufweisen, die „Assistent, berechne eine Route zu Pierre's“ sagt. Die aufgezeichnete Spracheinheit kann auf dem Speicherungsmedium 210 gespeichert werden.
In step 330 becomes a unit of speech by the voice recorder 240 in the vehicle 110 recorded. The voice recorder 240 can be set up for continuous recording of the speech or voices in the vehicle in speech units with a certain length of time, for example 2 seconds.
As an example, a first recorded speech unit may have voices that say, "I'm hungry,""Do you want to go out for dinner?" says. The recorded speech unit can be stored on the storage medium 210 get saved.

In Schritt 340 wird die aufgezeichnete Spracheinheit mit den gespeicherten Anweisungswörtern und den gespeicherten Themenwörtern im Fahrzeug 110 verglichen, zum Beispiel durch die Verarbeitungseinheit 260 der Vorrichtung 120. Bei einer oder mehreren Ausführungsformen werden Informationen bezüglich der aufgezeichneten Spracheinheit mit Informationen bezüglich der gespeicherten Anweisungswörter und Themenwörter verglichen.In step 340 becomes the recorded speech unit with the stored instruction words and the stored subject words in the vehicle 110 compared, for example by the processing unit 260 the device 120 . In one or more embodiments, information related to the recorded speech unit is compared with information related to the stored instructional words and topic words.

In Schritt 350 wird, wenn ein Themenwort in der Spracheinheit unter Verwendung des Vergleichs identifiziert wird, das identifizierte Themenwort zum Beispiel durch die Verarbeitungseinheit 260 zu der aktuellen Themenliste 270 hinzugefügt. Die aktuelle Themenliste 270 kann die Gesprächsthemen aufweisen, denen die identifizierten Themenwörter zugewiesen wurden.In step 350 when a topic word is identified in the speech unit using the comparison, the identified topic word becomes, for example, the processing unit 260 to the current list of topics 270 added. The current list of topics 270 may have the topics of conversation to which the identified topic words were assigned.

Dem vorherigen Beispiel folgend, sind möglicherweise die Themenwörter „hungrig“ und „Abendessen“ identifiziert und möglicherweise zu der aktuellen Themenliste 270 mit dem zugewiesenen Gesprächsthema „Ernährung“ hinzugefügt wurden.Following the previous example, the topic words "hungry" and "dinner" may be identified and possibly related to the current topic list 270 with the assigned topic of conversation “Nutrition”.

In Schritt 360, wenn ein Anweisungswort unter Verwendung des Vergleichs in der Spracheinheit (zum Beispiel durch die Verarbeitungseinheit 260) identifiziert wird, werden Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste vom Fahrzeug 110 zum Fernserver 130 übertragen. Diese Informationen können durch den Sendeempfänger 250 unter Verwendung der Kommunikationsverbindung 180 übertragen werden.In step 360 when an instruction word using the comparison in the language unit (for example by the processing unit 260 ) is identified, information relating to the recorded speech unit and the current topic list is obtained from the vehicle 110 to the remote server 130 transfer. This information can be provided by the transceiver 250 using the communication link 180 be transmitted.

In dem Beispiel wurde möglicherweise das Anweisungswort „berechne“ durch die Verarbeitungseinheit 260 in der zweiten aufgezeichneten Spracheinheit identifiziert. Dann werden Informationen bezüglich der zweiten aufgezeichneten Spracheinheit, zum Beispiel die aufgezeichnete Stimme „Assistent, berechne eine Route zu Pierre's“ selbst, zum Fernserver 130 übertragen. Diese Informationen können durch den Sendeempfänger 250 unter Verwendung der Kommunikationsverbindung 180 übertragen werden.In the example, the instruction word “calculate” may have been used by the processing unit 260 identified in the second recorded speech unit. Then information related to the second recorded speech unit, for example the recorded voice “Assistant, calculate a route to Pierre's” himself, becomes the remote server 130 transfer. This information can be provided by the transceiver 250 using the communication link 180 be transmitted.

Ferner werden Informationen bezüglich der Liste mit identifizierten Themenwörtern „hungrig“ und „Abendessen“ (zum Beispiel diese Wörter) und/oder bezüglich des Gesprächsthemas mit den meisten hinzugefügten zugewiesenen identifizierten Themenwörtern (in diesem Fall zum Beispiel das Gesprächsthema „Ernährung“) zum Fernserver 130 übertragen. Diese Informationen können durch den Sendeempfänger 250 unter Verwendung der Kommunikationsverbindung 180 übertragen werden.Further, information regarding the list of identified topic words "hungry" and "dinner" (for example these words) and / or the topic of conversation with most of the assigned identified topic words added (in this case, for example, the topic of conversation "diet") is transferred to the remote server 130 transfer. This information can be provided by the transceiver 250 using the communication link 180 be transmitted.

Die Informationen können durch den Fernserver 130 empfangen werden. In Schritt 370 wird die Anweisung basierend auf den übertragenen Informationen identifiziert. In dem Beispiel kann die Anweisung „Assistent, berechne eine Route zu Pierre's“ identifiziert werden, und insbesondere kann die Bedeutung des Wortes „Pierre's“ hinsichtlich dessen, dass das Gesprächsthema „Ernährung“ ist, identifiziert werden. In der Tat kann die zu berechnende Route eine Route zu einem Restaurant mit dem Namen „Pierre's“ sein.The information can be provided by the remote server 130 be received. In step 370 the instruction is identified based on the information transmitted. In the example, the instruction “Assistant, calculate a route to Pierre's” can be identified, and in particular the meaning of the word “Pierre's” in terms of the topic of conversation being “Diet” can be identified. In fact, the route to be calculated can be a route to a restaurant called "Pierre's".

In Schritt 380 werden Anweisungsdaten im Fernserver 130 basierend auf der identifizierten Anweisung erzeugt. Die Anweisungsdaten werden vom Fernserver 130 zu der Vorrichtung 120 im Fahrzeug 180 übertragen. Die Anweisungsdaten können der identifizierten Anweisung entsprechen. In dem Fall des Beispiels können die Anweisungsdaten die Vorrichtung 120 im Fahrzeug 110 anweisen, eine Route zu der Adresse des Restaurants „Pierre's“ zu berechnen. Die Anweisungsdaten können daher die GPS-Koordinaten des Restaurants aufweisen, die durch den Fernserver 130 bestimmt wurden. Die Anweisungsdaten können durch den Sendeempfänger 250 unter Verwendung der Kommunikationsverbindung 180 empfangen werden.In step 380 become instruction data in the remote server 130 generated based on the identified instruction. The instruction data is from the remote server 130 to the device 120 in the vehicle 180 transfer. The instruction data can correspond to the identified instruction. In the case of the example, the instruction data can be the device 120 in the vehicle 110 instructs to calculate a route to the address of the restaurant "Pierre's". The instruction data can therefore include the GPS coordinates of the restaurant obtained by the remote server 130 were determined. The instruction data can be sent by the transceiver 250 using the communication link 180 be received.

In Schritt 390 werden die Anweisungsdaten in der Vorrichtung 120 (oder genauer gesagt durch die Verarbeitungseinheit 260) im Fahrzeug 110 verarbeitet oder ausgeführt. In dem Beispiel kann die Vorrichtung 120 die Anweisung ausführen und eine Route zu den GPS-Koordinaten des Restaurants „Pierre's“ berechnen.In step 390 becomes the instruction data in the device 120 (or more precisely by the processing unit 260 ) in the vehicle 110 processed or executed. In the example, the device 120 follow the instructions and calculate a route to the GPS coordinates of the restaurant "Pierre's".

Ferner kann der Fall vorliegen, dass eine dritte aufgezeichnete Spracheinheit Stimmen aufweisen kann, die Folgendes sagen: „Wie heißt der Film von Woody Allen nochmal?“ und „Ich habe den im Kino angeschaut“. Die Themenwörter „Film“ und „Kino“ können dann identifiziert und zu der aktuellen Themenliste hinzugefügt werden. Diese Themenwörter sind möglicherweise dem Gesprächsthema „Filme“ zugewiesen worden. Ein vierte aufgezeichnete Spracheinheit kann eine Stimme aufweisen, die „Assistent, spiel Midnight in Paris ab“.Furthermore, there may be the case that a third recorded speech unit can have voices that say: “What's the name of Woody Allen's film again?” And “I saw it in the cinema”. The topic words "film" and "cinema" can then be identified and added to the current topic list. These topic words may have been assigned to the topic of conversation “Movies”. A fourth recorded speech unit may have a voice saying "Assistant, play Midnight in Paris".

Falls nun Informationen über die aktuelle Themenliste zum Fernserver übertragen werden, können diese Informationen jetzt deutlich angeben, ob das Gesprächsthema „Ernährung“ oder „Kino“ war, da beide Gesprächsthema-Themenwörter zu der aktuellen Themenliste hinzugefügt wurden.If information about the current topic list is now transmitted to the remote server, this information can now clearly indicate whether the topic of conversation was "nutrition" or "cinema", since both topic words have been added to the current topic list.

Daher kann bei einer Ausführungsform jedem hinzugefügten Themenwort ein Zeitstempel zugewiesen werden, der die Zeit angibt, zu der das Themenwort zu der aktuellen Themenliste hinzugefügt wurde. In diesem Fall können später hinzugefügte Themenwörter das Gesprächsthema genauer angeben sein. Dem Beispiel folgend werden dann Informationen über die aktuelle Themenliste angeben, dass das Gesprächsthema wahrscheinlicher „Kino“ als „Ernährung“ ist.Thus, in one embodiment, each added topic word may be assigned a time stamp indicating the time the topic word was added to the current topic list. In this case, topic words added later can specify the topic of the conversation. Following the example, information about the current list of topics will then indicate that the topic of conversation is more likely “cinema” than “nutrition”.

Eine andere Lösung besteht darin, ein hinzugefügtes Themenwort aus der aktuellen Themenliste zu entfernen, wenn eine Zeitdifferenz zwischen einer aktuellen Zeit und seines assoziierten Zeitstempels länger als ein vordefinierter Zeitraum ist. In dem Beispiel wurden möglicherweise die Themenwörter „Hunger“ und „Abendessen“ aus der aktuellen Themenliste entfernt, sodass die Informationen über die aktuelle Themenliste angeben werden, dass das Gesprächsthema „Kino“ ist.Another solution is to remove an added topic word from the current topic list when a time difference between a current time and its associated time stamp is longer than a predefined period of time. In the example, the topic words “hunger” and “dinner” may have been removed from the current topic list so that the information about the current topic list will indicate that the topic of conversation is “movies”.

Der Fernserver kann die Informationen über das aktuelle Thema, die angeben, dass das Gesprächsthema „Kino“ ist, zur Bestimmung verwenden, dass sich die Formulierung „Midnight in Paris“ auf einen Film und nicht ein Lied bezieht. Die Anweisungsdaten, die der Fernserver zurück zum Fahrzeug übertragen kann, können daher einen Zeiger zum einen Download-Ort des Films „Midnight in Paris“ aufweisen.The remote server may use the current topic information indicating that the topic of conversation is "cinema" to determine that the phrase "Midnight in Paris" refers to a movie, not a song. The instruction data, which the remote server can transmit back to the vehicle, can therefore have a pointer to a download location of the film "Midnight in Paris".

Bei einer oder mehreren Ausführungsformen werden alle hinzugefügten Themenwörter aus der aktuellen Themenliste entfernt, wenn eine Zeitdifferenz zwischen einer aktuellen Zeit und einem Zeitstempel eines hinzugefügten Schlüsselwortes, das zuletzt hinzugefügt wurde, länger als ein vordefinierter Zeitraum ist.In one or more embodiments, all added topic words are removed from the current topic list when a time difference between a current time and a timestamp of an added keyword that was last added is longer than a predefined time period.

Es kann verstanden werden, dass, wenn während eines gewissen Zeitraums keine neuen Themenwörter zu der aktuellen Themenliste hinzugefügt wurden, es wahrscheinlich ist, dass das Gespräch vorübergehend aufgehört hat. Daher kann es vorteilhaft sein, alle hinzugefügten Themenwörter aus der aktuellen Themenliste zu entfernen, bevor ein neues Gespräch mit voraussichtlich einem neuen Gesprächsthema anfangen wird.It can be understood that if no new topic words have been added to the current topic list during a period of time, it is likely that the conversation has temporarily stopped. It can therefore be advantageous to remove all topic words you have added from the current topic list before starting a new conversation with a likely new topic.

Im Allgemeinen kann die Entfernung von Themenwörtern aus der aktuellen Themenliste durch die Identifizierung eines Anweisungsworts ausgelöst werden. In diesem Fall werden die Themenwörter, die möglicherweise weniger relevant sind, aus der aktuellen Themenliste entfernt, bevor Informationen über die aktuelle Themenliste zum Server übertragen werden.In general, the removal of topic words from the current topic list can be triggered by the identification of an instruction word. In this case, the topic words that may be less relevant are removed from the current topic list before information about the current topic list is transmitted to the server.

Alternativ dazu können die beschriebenen Funktionen des Fernservers 130 (auch) in der Vorrichtung 120 implementiert werden. In diesem Fall kann das Verfahren zum Identifizieren von Anweisungen vollständig im Fahrzeug 110 ausgeführt werden, und die Verbindung 180 ist nicht erforderlich. Die Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste würden dann nicht zum Fernserver 130 übertragen werden, sondern würden in der Vorrichtung 120 verarbeitet werden. Das heißt: eine Anweisung wird in den Informationen in der Vorrichtung 120 identifiziert. Außerdem werden die Anweisungsdaten basierend auf der identifizierten Anweisung in der Vorrichtung 120 erzeugt.Alternatively, the functions of the remote server 130 (also) in the device 120 implemented. In this case, the procedure for identifying instructions can be carried out entirely in the vehicle 110 run and the connection 180 not necessary. The information regarding the recorded language unit and the current topic list would then not be sent to the remote server 130 but would be in the device 120 are processed. That is, an instruction appears in the information in the device 120 identified. In addition, the instruction data is based on the identified instruction in the device 120 generated.

Ferner können eine oder mehrere Ausführungsformen durch das Folgende beschrieben werden: ein computerimplementiertes Verfahren zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache ist bereitgestellt. Das Verfahren weist Bereitstellen einer Liste mit Anweisungswörtern und einer Liste mit Themenwörtern bezüglich Gesprächsthemen auf. Eine Spracheinheit wird in einem Fahrzeug aufgezeichnet und im Fahrzeug mit den Anweisungswörtern und den Themenwörtern verglichen. Wenn ein Themenwort identifiziert wird, wird das Themenwort zu einer aktuellen Themenliste hinzugefügt. Wenn ein Anweisungswort identifiziert wird, werden Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste zu einem Fernserver übertragen. Im Fernserver wird eine Anweisung basierend auf den übertragenen Informationen identifiziert und Anweisungsdaten werden basierend auf der identifizierten Anweisung erzeugt. Die Anweisungsdaten werden vom Server zum Fahrzeug übertragen und im Fahrzeug verarbeitet.Further, one or more embodiments may be described by the following: A computer implemented method for identifying instructions in voice recorded in a vehicle is provided. The method includes providing a list of instruction words and a list of topic words relating to topics of conversation. A unit of speech is recorded in a vehicle and compared with the instruction words and the topic words in the vehicle. When a topic word is identified, the topic word is added to a current topic list. When an instruction word is identified, information relating to the recorded speech unit and the current topic list is transmitted to a remote server. In the remote server, an instruction is identified based on the transmitted information and instruction data is generated based on the identified instruction. The instruction data are transmitted from the server to the vehicle and processed in the vehicle.

Wie ein Fachmann erkennen wird, können Aspekte der vorliegenden Erfindung als ein System, eine Vorrichtung, ein Verfahren oder ein Computerprogrammprodukt umgesetzt sein. Dementsprechend können Aspekte der vorliegenden Erfindung die Form einer Ausführungsform vollständig aus Hardware, einer Ausführungsform vollständig aus Software (einschließlich Firmware, speicherresidenter Software, Mikrocode usw.) oder einer Ausführungsform, die Software- und Hardwareaspekte kombiniert, annehmen, die hierin alle allgemein als eine „Einheit“, ein „Modul“, ein „System“, eine „Vorrichtung“ oder ein „Element“ bezeichnet werden können.As one skilled in the art will recognize, aspects of the present invention can be implemented as a system, apparatus, method, or computer program product. Accordingly, aspects of the present invention may take the form of an entirely hardware embodiment, an entirely software embodiment (including firmware, memory-resident software, microcode, etc.), or an embodiment combining software and hardware aspects, all of which are generally referred to herein as a " Unit ”, a“ module ”, a“ system ”, a“ device ”or an“ element ”.

In diesem Dokument beschriebene Funktionen oder Schritte können als ein durch einen Mikroprozessor eines Computers ausgeführter Algorithmus implementiert werden. Ferner können Aspekte der vorliegenden Erfindung die Form eines Computerprogrammprodukts annehmen, das in einem oder mehreren computerlesbaren Medien mit darauf umgesetztem, z. B. gespeichertem, computerlesbarem Programmcode umgesetzt ist.Functions or steps described in this document can be implemented as an algorithm executed by a microprocessor of a computer. Furthermore, aspects of the present invention may take the form of a computer program product which may be written in one or more computer readable media with, e.g. B. stored, computer-readable program code is implemented.

Es soll verstanden werden, dass die obige Beschreibung einbezogen ist, um den Betrieb der bevorzugten Ausführungsformen zu veranschaulichen, und soll nicht den Schutzumfang der Erfindung beschränken. Aus der obigen Beschreibung werden einem Fachmann viele Variationen ersichtlich, die noch durch den Schutzumfang der vorliegenden Erfindung einzuschließen sind.It is to be understood that the above description is included to illustrate the operation of the preferred embodiments, and is not intended to limit the scope of the invention. From the above description, many variations will become apparent to those skilled in the art which are to be included by the scope of the present invention.

Claims (12)

Computerimplementiertes Verfahren (300) zum Identifizieren von Anweisungen in in einem Fahrzeug (110) aufgezeichneter Sprache, das die folgenden Schritte aufweist: - Bereitstellen (310) einer Liste (220) mit Anweisungswörtern; - Bereitstellen (320) einer Liste (230) mit Themenwörtern bezüglich Gesprächsthemen; - Aufzeichnen (330) einer Spracheinheit in einem Fahrzeug; - Vergleichen (340) der aufgezeichneten Spracheinheit mit den Anweisungswörtern und den Themenwörtern in dem Fahrzeug; - wenn ein Themenwort unter Verwendung des Vergleichs in der aufgezeichneten Spracheinheit identifiziert wird, Hinzufügen (350) des Themenworts zu einer aktuellen Themenliste (270); - wenn ein Anweisungswort unter Verwendung des Vergleichs in der Spracheinheit identifiziert wird, Übertragen (360) von Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste vom Fahrzeug (110) zu einem Fernserver (130); - Identifizieren (370) einer Anweisung basierend auf den Informationen in dem Fernserver (130); - Erzeugen (380) von Anweisungsdaten basierend auf der identifizierten Anweisung in dem Fernserver (130) und Übertragen der Anweisungsdaten vom Server zum Fahrzeug (110); und - Verarbeiten (390) der Anweisungsdaten in dem Fahrzeug (110).A computer implemented method (300) for identifying instructions in speech recorded in a vehicle (110), comprising the steps of: - providing (310) a list (220) with instruction words; - providing (320) a list (230) with topic words relating to topics of conversation; - recording (330) a speech unit in a vehicle; - comparing (340) the recorded speech unit with the instruction words and the subject words in the vehicle; - if a topic word is identified using the comparison in the recorded speech unit, adding (350) the topic word to a current topic list (270); - if an instruction word is identified using the comparison in the speech unit, transmitting (360) information relating to the recorded speech unit and the current topic list from the vehicle (110) to a remote server (130); - identifying (370) an instruction based on the information in the remote server (130); - generating (380) instruction data based on the identified instruction in the remote server (130) and transmitting the instruction data from the server to the vehicle (110); and - processing (390) the instruction data in the vehicle (110). Verfahren nach Anspruch 1, wobei die aktuelle Themenliste (270) Gesprächsthemen aufweist, wobei die Themenwörter den Gesprächsthemen zugewiesen werden.Procedure according to Claim 1 wherein the current topic list (270) includes topics of conversation, the topic words being assigned to the topics of conversation. Verfahren nach Anspruch 2, wobei die Informationen bezüglich der aktuellen Themenliste Informationen bezüglich des Gesprächsthemas mit den meisten zugewiesenen Themenwörtern sind.Procedure according to Claim 2 where the information related to the current topic list is information related to the topic of conversation with most of the assigned topic words. Verfahren nach einem der Ansprüche 1-3, wobei jedem hinzugefügten Themenwort ein Zeitstempel zugewiesen wird, der die Zeit angibt, zu der das Themenwort zu der aktuellen Themenliste hinzugefügt wurde.Method according to one of the Claims 1 - 3 , each added topic word being assigned a timestamp indicating the time the topic word was added to the current topic list. Verfahren nach Anspruch 4, wobei ein hinzugefügtes Themenwort aus der aktuellen Themenliste (270) entfernt wird, wenn eine Zeitdifferenz zwischen einer aktuellen Zeit und seines assoziierten Zeitstempels länger als ein vordefinierter Zeitraum ist.Procedure according to Claim 4 wherein an added topic word is removed from the current topic list (270) when a time difference between a current time and its associated timestamp is longer than a predefined time period. Verfahren nach Anspruch 4, wobei alle hinzugefügten Themenwörter aus der aktuellen Themenliste (270) entfernt werden, wenn eine Zeitdifferenz zwischen einer aktuellen Zeit und einem Zeitstempel eines hinzugefügten Schlüsselwortes, das zuletzt hinzugefügt wurde, länger als eine vordefinierte Zeitdauer ist.Procedure according to Claim 4 wherein all added topic words are removed from the current topic list (270) when a time difference between a current time and a time stamp of an added keyword that was last added is longer than a predefined length of time. Verfahren nach einem der Ansprüche 1-6, wobei die Liste (230) mit Themenwörtern in dem Fahrzeug (110) erzeugt wird.Method according to one of the Claims 1 - 6th wherein the list (230) of subject words is generated in the vehicle (110). Computerprogramm, wobei das Computerprogramm dazu ausgelegt ist, das Verfahren (300) nach einem der vorangegangenen Ansprüche durchzuführen, während das Computerprogramm auf einem Computer ausgeführt wird.Computer program, wherein the computer program is designed to perform the method (300) according to one of the preceding claims perform while the computer program is running on a computer. Computerlesbares Speicherungsmedium, das einen Satz von durch eine Steuereinheit ausführbarem Code speichert, der bei Ausführung in einer Vorrichtung auf einem Verarbeitungssystem oder in einem Digitalsignalprozessor die Verfahrensschritte nach einem der Ansprüche 1-7 durchführt.Computer-readable storage medium which stores a set of code executable by a control unit which, when executed in an apparatus on a processing system or in a digital signal processor, comprises the method steps of any of Claims 1 - 7th performs. Vorrichtung (120) zum Identifizieren von Anweisungen in in einem Fahrzeug (110) aufgezeichneter Sprache, die Folgendes aufweist: - ein Speicherungsmedium (210) mit einer Liste (220) mit Anweisungswörtern, einer Liste (230) mit Themenwörtern bezüglich Gesprächsthemen und einer aktuellen Themenliste (270); - ein Sprachaufzeichnungsgerät (240), das zum Aufzeichnen einer Spracheinheit eingerichtet ist; - einen Sendeempfänger (250), der zum Austauschen von Informationen zwischen der Vorrichtung (120) und einem Fernserver (130) eingerichtet ist; und - einen Prozessor (260), der eingerichtet ist zum: (i) Vergleichen (340) der aufgezeichneten Spracheinheit mit den Anweisungswörtern und den Themenwörtern; (ii) wenn ein Themenwort unter Verwendung des Vergleichs in der Spracheinheit identifiziert wird, Hinzufügen (350) des Themenworts zu der aktuellen Themenliste (270); (iii) wenn ein Anweisungswort unter Verwendung des Vergleichs in der Spracheinheit identifiziert wird, Anweisen des Sendeempfängers (250), Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste (270) zu dem Fernserver zu übertragen (360); (iv) Verarbeiten (390) von Anweisungsdaten, die durch den Sendeempfänger (250) vom Fernserver (130) empfangen wurden und in dem Fernserver (130) basierend auf den Informationen erzeugt wurden.Apparatus (120) for identifying instructions in speech recorded in a vehicle (110), comprising: - a storage medium (210) with a list (220) with instruction words, a list (230) with topic words relating to topics of conversation and a current topic list (270); - a voice recording device (240) which is arranged to record a unit of speech; - A transceiver (250) which is set up to exchange information between the device (120) and a remote server (130); and - a processor (260) which is set up to: (i) comparing (340) the recorded unit of speech with the instruction words and the topic words; (ii) if a topic word is identified using the comparison in the speech unit, adding (350) the topic word to the current topic list (270); (iii) if an instruction word is identified using the comparison in the speech unit, instructing the transceiver (250) to transmit (360) information regarding the recorded speech unit and the current topic list (270) to the remote server; (iv) processing (390) instruction data received by the transceiver (250) from the remote server (130) and generated in the remote server (130) based on the information. Fahrzeug (110) mit einer Vorrichtung (120) nach Anspruch 10.Vehicle (110) with a device (120) according to Claim 10 . System (100) zum Identifizieren von Anweisungen in in einem Fahrzeug (110) aufgezeichneter Sprache, das Folgendes aufweist: - eine Vorrichtung (120) nach Anspruch 10 oder ein Fahrzeug (110) nach Anspruch 11; und - einen Fernserver (130), der eingerichtet ist zum: (i) Empfangen von Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste (270); (ii) Identifizieren einer Anweisung basierend auf den Informationen in dem Fernserver (130); (iv) Erzeugen von Anweisungsdaten basierend auf der identifizierten Anweisung; und (v) Übertragen der Anweisungsdaten zu dem Fahrzeug (110).A system (100) for identifying instructions in speech recorded in a vehicle (110), comprising: - a device (120) after Claim 10 or a vehicle (110) Claim 11 ; and - a remote server (130) arranged to: (i) receive information relating to the recorded speech unit and the current topic list (270); (ii) identifying an instruction based on the information in the remote server (130); (iv) generating instruction data based on the identified instruction; and (v) transmitting the instruction data to the vehicle (110).
DE102019216078.6A 2019-10-18 2019-10-18 Method and apparatus for identifying instructions in speech recorded in a vehicle Active DE102019216078B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019216078.6A DE102019216078B3 (en) 2019-10-18 2019-10-18 Method and apparatus for identifying instructions in speech recorded in a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019216078.6A DE102019216078B3 (en) 2019-10-18 2019-10-18 Method and apparatus for identifying instructions in speech recorded in a vehicle

Publications (1)

Publication Number Publication Date
DE102019216078B3 true DE102019216078B3 (en) 2021-01-14

Family

ID=74092385

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019216078.6A Active DE102019216078B3 (en) 2019-10-18 2019-10-18 Method and apparatus for identifying instructions in speech recorded in a vehicle

Country Status (1)

Country Link
DE (1) DE102019216078B3 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130103405A1 (en) * 2010-04-12 2013-04-25 Toyota Jidosha Kabushiki Kaisha Operating system and method of operating
US20160085854A1 (en) * 2014-09-19 2016-03-24 The Regents Of The University Of California Dynamic Natural Language Conversation
US20180233143A1 (en) * 2017-02-13 2018-08-16 Kabushiki Kaisha Toshiba Dialogue system, a dialogue method and a method of adapting a dialogue system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130103405A1 (en) * 2010-04-12 2013-04-25 Toyota Jidosha Kabushiki Kaisha Operating system and method of operating
US20160085854A1 (en) * 2014-09-19 2016-03-24 The Regents Of The University Of California Dynamic Natural Language Conversation
US20180233143A1 (en) * 2017-02-13 2018-08-16 Kabushiki Kaisha Toshiba Dialogue system, a dialogue method and a method of adapting a dialogue system

Similar Documents

Publication Publication Date Title
DE102016104060A1 (en) Voice profile based identity identification for in-vehicle infotainment
DE102019119171A1 (en) VOICE RECOGNITION FOR VEHICLE VOICE COMMANDS
DE112016004391T5 (en) Dialogue device and dialog method
DE102009017176A1 (en) Navigation arrangement for a motor vehicle
DE102014109121A1 (en) Systems and methods for arbitrating a voice dialogue service
DE102015207592A1 (en) VEHICLE RECOMMENDATION BASED ON DRIVER BEHAVIOR
DE102015105876A1 (en) A method of providing operator assistance using a telematics service system of a vehicle
DE102014002543A1 (en) Method for detecting at least two information to be acquired with information content to be linked by a voice dialogue device, voice dialogue device and motor vehicle
DE102018200088B3 (en) Method, device and computer-readable storage medium with instructions for processing a voice input, motor vehicle and user terminal with a voice processing
DE112017007005T5 (en) ACOUSTIC SIGNAL PROCESSING DEVICE, ACOUSTIC SIGNAL PROCESSING METHOD AND HANDSFREE COMMUNICATION DEVICE
EP3095114B1 (en) Method and system for generating a control command
DE102020104735A1 (en) Method for providing a recommendation message to a user of a vehicle, computer-readable medium, system, and vehicle
DE102019218918A1 (en) DIALOGUE SYSTEM, ELECTRONIC DEVICE AND METHOD OF CONTROLLING THE DIALOGUE SYSTEM
DE102015121098A1 (en) Multimodal answer to a multimodal search
DE102015117380A1 (en) Selective noise reduction during automatic speech recognition
DE102019102090A1 (en) VEHICLE INTERNAL MEDIA TUNING SUPPRESSION
DE102019218058B4 (en) Device and method for recognizing reversing maneuvers
DE102019216078B3 (en) Method and apparatus for identifying instructions in speech recorded in a vehicle
DE102006029251B4 (en) Method and system for a telephone book transfer
DE102015207177A1 (en) A method and apparatus for voice recognition training outside a vehicle, including a vehicle update
DE102018132160A1 (en) SYSTEM AND METHOD FOR UNDERSTANDING STANDARD LANGUAGE AND DIALECTS
DE102005018174A1 (en) Method for the targeted determination of a complete input data record in a speech dialogue 11
DE102013216427B4 (en) Device and method for means of transport-based speech processing
DE102019203533A1 (en) Method of reproducing audio content and audio reproduction system
DE112010005046T5 (en) Vehicle Information System

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G10L0015220000

Ipc: G10L0015300000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE

Owner name: AUMOVIO GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE

R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE

Owner name: AUMOVIO GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE

R081 Change of applicant/patentee

Owner name: AUMOVIO GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30175 HANNOVER, DE