DE102019216078B3 - Method and apparatus for identifying instructions in speech recorded in a vehicle - Google Patents
Method and apparatus for identifying instructions in speech recorded in a vehicle Download PDFInfo
- Publication number
- DE102019216078B3 DE102019216078B3 DE102019216078.6A DE102019216078A DE102019216078B3 DE 102019216078 B3 DE102019216078 B3 DE 102019216078B3 DE 102019216078 A DE102019216078 A DE 102019216078A DE 102019216078 B3 DE102019216078 B3 DE 102019216078B3
- Authority
- DE
- Germany
- Prior art keywords
- topic
- vehicle
- list
- instruction
- words
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Navigation (AREA)
Abstract
Es ist ein computerimplementiertes Verfahren zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache bereitgestellt. Das Verfahren weist Bereitstellen einer Liste mit Anweisungswörtern und einer Liste mit Themenwörtern bezüglich Gesprächsthemen auf. Eine Spracheinheit wird in einem Fahrzeug aufgezeichnet und im Fahrzeug mit den Anweisungswörtern und den Themenwörtern verglichen. Wenn ein Themenwort identifiziert wird, wird das Themenwort zu einer aktuellen Themenliste hinzugefügt. Wenn ein Anweisungswort identifiziert wird, werden Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste zu einem Fernserver übertragen. Im Fernserver wird eine Anweisung basierend auf den übertragenen Informationen identifiziert und Anweisungsdaten werden basierend auf der identifizierten Anweisung erzeugt. Die Anweisungsdaten werden vom Server zum Fahrzeug übertragen und im Fahrzeug verarbeitet.A computer implemented method for identifying instructions in speech recorded in a vehicle is provided. The method includes providing a list of instruction words and a list of topic words relating to topics of conversation. A unit of speech is recorded in a vehicle and compared with the instruction words and the topic words in the vehicle. When a topic word is identified, the topic word is added to a current topic list. When an instruction word is identified, information relating to the recorded speech unit and the current topic list is transmitted to a remote server. In the remote server, an instruction is identified based on the transmitted information and instruction data is generated based on the identified instruction. The instruction data are transmitted from the server to the vehicle and processed in the vehicle.
Description
Gebiet der ErfindungField of invention
Die Erfindung betrifft ein computerimplementiertes Verfahren, eine Vorrichtung und ein System zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache.The invention relates to a computer-implemented method, a device and a system for identifying instructions in speech recorded in a vehicle.
Hintergrund der ErfindungBackground of the invention
Viele moderne Fahrzeuge weisen fahrzeuginterne Spracherkennungssysteme auf, die dem Fahrer und/oder anderen Mitfahrern ermöglichen, unter Verwendung von Sprachanweisungen mit den Fahrzeugsystemen zu kommunizieren. Um diese Sprachanweisungen zu erkennen, kann ein Sprachaufzeichnungsgerät die Stimmen innerhalb des Fahrzeugs kontinuierlich aufzeichnen.Many modern vehicles have in-vehicle voice recognition systems that enable the driver and / or other passengers to communicate with the vehicle systems using voice instructions. To recognize these voice instructions, a voice recorder can continuously record the voices within the vehicle.
In der US Anmeldung
Die US Anmeldung
In der US Anmeldung
Es kann vorteilhaft sein, die Identifizierung von Sprachanweisungen in einem Fernserver, anstatt lokal im Fahrzeug auszuführen. In der Tat ermöglicht ein Fernserver die Verwendung einer größeren Verarbeitungsleistung und eine einfachere/schnellere Aktualisierung von Software und Hardware.It can be advantageous to carry out the identification of voice instructions in a remote server rather than locally in the vehicle. Indeed, a remote server enables more processing power to be used and easier / faster software and hardware updates.
Aufgrund von Datenschutzbedenken oder einer beschränkten verfügbaren Kommunikationsbandbreite zwischen dem Fahrzeug und dem Fernserver werden aufgezeichnete Stimmen jedoch nicht kontinuierlich zu einem derartigen Fernserver übertragen. Nur wenn ein Anweisungswort im Fahrzeug identifiziert wurde, werden Informationen bezüglich einer entsprechenden aufgezeichneten Sprachanweisung zu dem Fernserver übertragen. Diese Informationen werden entfernt verarbeitet, um die vollständige Sprachanweisung zu identifizieren, und Anweisungsdaten werden basierend auf der identifizierten Anweisung entfernt erzeugt. Diese Anweisungsdaten werden zu dem Fahrzeug übertragen, das dann die Anweisungsdaten verarbeitet, d. h. das Fahrzeug führt die identifizierte Sprachanweisung aus.However, due to privacy concerns or limited communication bandwidth available between the vehicle and the remote server, recorded voices are not continuously transmitted to such a remote server. Only when an instruction word has been identified in the vehicle is information relating to a corresponding recorded voice instruction transmitted to the remote server. This information is processed remotely to identify the complete voice instruction and instruction data is remotely generated based on the identified instruction. This instruction data is transmitted to the vehicle which then processes the instruction data, i.e. H. the vehicle carries out the identified voice instruction.
Ziel der ErfindungObject of the invention
Das Ziel der Erfindung besteht darin, die Erkennung von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache zu verbessern.The aim of the invention is to improve the recognition of instructions in speech recorded in a vehicle.
Kurzdarstellung der ErfindungSummary of the invention
Das Ziel der Erfindung wird durch ein Verfahren nach Anspruch 1, eine Vorrichtung nach Anspruch 10 und ein System nach Anspruch 12 erfüllt.The object of the invention is achieved by a method according to claim 1, an apparatus according to claim 10 and a system according to claim 12.
Ein computerimplementiertes Verfahren zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache ist bereitgestellt, das die folgenden Schritte aufweist:
- - Bereitstellen einer Liste mit Anweisungswörtern;
- - Bereitstellen einer Liste mit Themenwörtern bezüglich Gesprächsthemen;
- - Aufzeichnen einer Spracheinheit in einem Fahrzeug;
- - Vergleichen der aufgezeichneten Spracheinheit mit den Anweisungswörtern und den Themenwörtern in dem Fahrzeug;
- - wenn ein Themenwort unter Verwendung des Vergleichs in der Spracheinheit identifiziert wird, Hinzufügen des Themenworts zu einer aktuellen Themenliste;
- - wenn ein Anweisungswort unter Verwendung des Vergleichs in der Spracheinheit identifiziert wird, Übertragen von Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste vom Fahrzeug zu einem Fernserver;
- - Identifizieren einer Anweisung basierend auf den Informationen in dem Fernserver;
- - Erzeugen von Anweisungsdaten basierend auf der identifizierten Anweisung in dem Fernserver und Übertragen der Anweisungsdaten vom Server zum Fahrzeug; und
- - Verarbeiten der Anweisungsdaten in dem Fahrzeug.
- - providing a list of instruction words;
- - providing a list of topic words relating to topics of conversation;
- - recording a speech unit in a vehicle;
- - comparing the recorded speech unit with the instruction words and the subject words in the vehicle;
- - when a topic word is identified using the comparison in the speech unit, adding the topic word to a current topic list;
- if an instruction word is identified using the comparison in the speech unit, transmitting information relating to the recorded speech unit and the current topic list from the vehicle to a remote server;
- - identifying an instruction based on the information in the remote server;
- - generating instruction data based on the identified instruction in the remote server and transmitting the instruction data from the server to the vehicle; and
- - processing the instruction data in the vehicle.
Die in dem Fahrzeug aufgezeichnete Sprache kann die Wörter und Sätze sein, die durch den Fahrer und/oder die anderen Mitfahrer im Fahrzeug gesprochen werden. Das Fahrzeug kann ein Auto, ein Motorrad, ein Kleintransporter oder ein Lastkraftwagen sein. Es kann auch ein Fahrrad oder ein Moped sein.The language recorded in the vehicle can be the words and phrases spoken by the driver and / or the other passengers in the vehicle. The vehicle can be a car, motorcycle, pickup truck, or truck. It can also be a bicycle or a moped.
Die Anweisungen in der aufgezeichneten Sprache können sich auf den Betrieb des Fahrzeugs und/oder das Infotainment-System des Fahrzeugs beziehen. Beispielsweise: „Öffne das linke hintere Fenster“; „Spiel das nächste Lied ab“, „Was ist das Gebäude auf der linken Seite?“, „Zeige ein Foto des Eiffelturms an“, „Berechne eine Route zu Pierre's“. Die Anweisungen können ein Hotword oder einen Anweisungszeiger aufweisen, wie etwa „Hallo Assistent“ oder einfach „Assistent“. Dieses Hotword kann angeben, dass ein Satz mit einer Anweisung angefangen oder beendet wurde. Beispielsweise: „Assistent: berechne eine Route zu Pierre's“ oder „Was ist das Gebäude auf der linken Seite, Assistent?“.The instructions in the recorded language may relate to the operation of the vehicle and / or the infotainment system of the vehicle. For example: "Open the left rear window"; "Play the next song", "What is the building on the left?", "Show a photo of the Eiffel Tower", "Calculate a route to Pierre's". The instructions can have a hotword or an instruction pointer, such as "hello assistant" or just "assistant". This hotword can indicate that a sentence started or ended with an instruction. For example: “Assistant: calculate a route to Pierre's” or “What is the building on the left, assistant?”.
Ein Anweisungswort kann Teil einer Anweisung sein oder kann (i) ein Befehl, wie etwa „Öffne“, „Zeig an“ oder „Berechne“; (ii) ein Fragewort wie etwa „was“ oder „wie“; (iii) ein Hotword wie oben beschrieben; oder eine beliebige Kombination aus (i), (ii) und/oder (iii) sein.An instruction word can be part of an instruction or can (i) be an instruction such as "open", "show" or "calculate"; (ii) a question word such as "what" or "how"; (iii) a hotword as described above; or any combination of (i), (ii) and / or (iii).
Ein Gesprächsthema bezieht sich auf die Thematik eines Gesprächs, Dialogs oder Monologs innerhalb des Fahrzeugs. Beispiele für die Gesprächsthemen sind „Reisen“, „Ernährung“, „Umgebung“, „Filme“ und „Unterhaltung“.A topic of conversation refers to the topic of a conversation, dialogue or monologue inside the vehicle. Examples of the topics of conversation are “Travel”, “Nutrition”, “Environment”, “Movies” and “Entertainment”.
Ein Themenwort ist ein Wort, das sich auf mindestens ein spezifisches Gesprächsthema bezieht, d. h. es kann eine Thematik eines Gesprächs angeben. Beispielsweise beziehen sich Themenwörter wie etwa „Hunger“ und „Abendessen“ auf das Gesprächsthema „Ernährung“ und können diesem zugewiesen werden. Themenwörter wie etwa „Gebäude“ und „Baum“ beziehen sich auf das Gesprächsthema „Umgebung“ und können diesem zugewiesen werden. Ein Themenwort „Geräusch“ kann sich sowohl auf das Gesprächsthema „Unterhaltung“ als auch das Gesprächsthema „Umgebung“ beziehen. Die Liste mit Themenwörtern kann Themenwörter und die zugewiesenen Gesprächsthemen aufweisen.A topic word is a word that relates to at least one specific topic of conversation; H. it can indicate a topic of a conversation. For example, topic words such as “hunger” and “dinner” relate to the topic of conversation “nutrition” and can be assigned to it. Topic words such as "building" and "tree" relate to the topic of conversation "environment" and can be assigned to it. A topic word “noise” can refer to both the topic of conversation “entertainment” and the topic of conversation “environment”. The list of topic words can include topic words and the assigned topics of conversation.
Die Formulierung „eine aufgezeichnete Spracheinheit“ bezieht sich auf eine Aufzeichnung von Sprache mit einer gewissen Zeitdauer. Beispielsweise kann eine aufgezeichnete Spracheinheit 3 Sekunden aufgezeichneter Sprache sein.The phrase “a recorded unit of speech” refers to a recording of speech over a period of time. For example, a recorded speech unit can be 3 seconds of recorded speech.
Wenn ein Themenwort in einer aufgezeichneten Spracheinheit identifiziert wird (lokal, d. h. im Fahrzeug), wird das identifizierte Themenwort zu einer aktuellen Themenliste hinzugefügt. Während des Gesprächs im Fahrzeug können viele Themenwörter zu der aktuellen Themenliste hinzugefügt werden.When a topic word is identified in a recorded speech unit (locally, i.e. in the vehicle), the identified topic word is added to a current topic list. During the conversation in the vehicle, many topic words can be added to the current topic list.
Wenn ein Anweisungswort in einer aufgezeichneten Spracheinheit identifiziert wird (lokal, d. h. im Fahrzeug), werden Informationen zu dem Fernserver übertragen. Diese Informationen können Informationen bezüglich der aufgezeichneten Spracheinheit aufweisen, die die vollständige aufgezeichnete Spracheinheit und/oder gewisse Charakteristiken der aufgezeichneten Spracheinheit repräsentieren können.When an instruction word is identified in a recorded speech unit (locally, i.e. in the vehicle), information is transmitted to the remote server. This information can include information relating to the recorded speech unit which can represent the complete recorded speech unit and / or certain characteristics of the recorded speech unit.
Die zu dem Fernserver übertragenen Informationen können auch Informationen bezüglich der aktuellen Themenliste mit den identifizierten Themenwörtern aufweisen. Diese Informationen können die aktuelle Themenliste selbst und/oder das Gesprächsthema repräsentieren, dem die meisten Themenwörter zugewiesen wurden.The information transmitted to the remote server can also include information relating to the current topic list with the identified topic words. This information may represent the current topic list itself and / or the topic of conversation to which most of the topic words have been assigned.
Der Fernserver ist ein Computerserver, der sich außerhalb des Fahrzeugs befindet, zum Beispiel in einem zentralen Rechen- oder Datenzentrum. Im Fernserver wird eine Anweisung auf Basis der Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste mit identifizierten Themenwörtern identifiziert.The remote server is a computer server that is located outside the vehicle, for example in a central computer or data center. In the remote server, an instruction is identified based on the information relating to the recorded language unit and the current topic list with identified topic words.
Basierend auf der identifizierten Anweisung werden Anweisungsdaten im Fernserver erzeugt und zurück zum Fahrzeug übertragen. Die Anweisungsdaten können die identifizierte Anweisung aufweisen.Based on the identified instruction, instruction data is generated in the remote server and transmitted back to the vehicle. The instruction data may include the identified instruction.
Nachdem das Fahrzeug die Anweisungsdaten empfangen hat, kann es die Anweisungsdaten verarbeiten. Dafür kann es die innerhalb des Fahrzeugs gesprochene und in der aufgezeichneten Spracheinheit aufgezeichnete Anweisung ausführen.After the vehicle receives the instruction data, it can process the instruction data. To do this, it can execute the instruction spoken inside the vehicle and recorded in the recorded speech unit.
Ein Vorteil kann darin bestehen, dass der Fernserver zusätzliche Informationen über die Gesprächsthematik im Fahrzeug empfängt und dies die Identifizierung von Anweisungen in der aufgezeichneten Spracheinheit verbessert.One advantage can be that the remote server receives additional information about the topic of conversation in the vehicle and this improves the identification of instructions in the recorded speech unit.
Da nur Informationen bezüglich der identifizierten Themenwörter zum Fernserver übertragen werden, werden ferner keine datenschutzempfindlichen Informationen zur Außenseite des Fahrzeugs übertragen, d. h. mit der Außenwelt geteilt.Since only information relating to the identified topic words is transmitted to the remote server, no data protection-sensitive information is transmitted to the outside of the vehicle, i. H. shared with the outside world.
Ein anderer Vorteil besteht darin, dass anstelle des gesamten Gesprächs nur Informationen bezüglich der identifizierten Themenwörter zum Fernserver übertragen werden. Daher sind die Anforderungen für die Kommunikationsverbindung (zum Beispiel eine 4G/5G- oder WiFi-Verbindung) zwischen dem Fahrzeug und dem Fernserver beschränkt.Another advantage is that instead of the entire conversation, only information relating to the identified topic words is transmitted to the remote server. Therefore, the requirements for the communication connection (e.g. a 4G / 5G or WiFi connection) between the vehicle and the remote server are limited.
Bei einer Ausführungsform des Verfahrens gemäß der Erfindung weist die aktuelle Themenliste Gesprächsthemen auf, wobei die Themenwörter den Gesprächsthemen zugewiesen werden. Bei einer weiteren Ausführungsform sind die Informationen bezüglich der aktuellen Themenliste Informationen bezüglich des Gesprächsthemas, dem die meisten Themenwörter zugewiesen wurden.In one embodiment of the method according to the invention, the current topic list has topics of conversation, the topic words being assigned to the topics of conversation. In another embodiment, the information relating to the current topic list is information relating to the topic of conversation to which the most topic words have been assigned.
Ein Vorteil dieser Ausführungsform besteht darin, dass anstelle des Übertragens von Informationen bezüglich des gesamten Gesprächs oder der aktuellen Themenliste nur Informationen bezüglich eines Gesprächsthemas (zum Beispiel das Gesprächsthema selbst) zum Fernserver übertragen werden. Somit werden noch weniger Informationen zur Außenseite des Fahrzeugs übertragen.One advantage of this embodiment is that instead of transmitting information relating to the entire conversation or the current list of topics, only information relating to a topic of conversation (for example the topic of conversation itself) is transmitted to the remote server. This means that even less information is transmitted to the outside of the vehicle.
Bei einer Ausführungsform des Verfahrens gemäß der Erfindung wird jedem hinzugefügten Themenwort ein Zeitstempel zugewiesen, der die Zeit angibt, zu der das Themenwort zu der aktuellen Themenliste hinzugefügt wurde.In one embodiment of the method according to the invention, each added topic word is assigned a time stamp which indicates the time at which the topic word was added to the current topic list.
Die Thematik eines Gesprächs kann sich während des Gesprächs ändern. Ein Gespräch kann aufhören und ein neues kann zu einem späteren Zeitpunkt anfangen. Je länger eine Identifizierung eines Themenworts her ist, desto weniger indikativ kann es daher über die Thematik des aktuellen Gesprächs sein. Daher kann ein Zeitstempel dabei helfen, die Informationen in der aktuellen Themenliste zu beurteilen.The subject of a conversation can change during the conversation. A conversation can end and a new one can start at a later time. The longer it has been since a topic word was identified, the less indicative it can be of the topic of the current conversation. Therefore, a timestamp can help assess the information in the current topic list.
Bei einer weiteren Ausführungsform des Verfahrens gemäß der Erfindung wird ein hinzugefügtes Themenwort aus der aktuellen Themenliste entfernt, wenn eine Zeitdifferenz zwischen einer aktuellen Zeit und seines assoziierten Zeitstempels länger als ein vordefinierter Zeitraum ist.In a further embodiment of the method according to the invention, an added topic word is removed from the current topic list if a time difference between a current time and its associated time stamp is longer than a predefined period of time.
Ein Vorteil dieser Ausführungsform besteht darin, dass Themenwörter, die zuvor identifiziert wurden und wahrscheinlich nicht die aktuelle Gesprächsthematik angeben, aus der aktuellen Themenliste entfernt werden.An advantage of this embodiment is that topic words that have previously been identified and are unlikely to indicate the current topic of conversation are removed from the current topic list.
Bei einer anderen Ausführungsform des Verfahrens gemäß der Erfindung werden alle hinzugefügten Themenwörter aus der aktuellen Themenliste entfernt, wenn eine Zeitdifferenz zwischen einer aktuellen Zeit und einem Zeitstempel eines hinzugefügten Schlüsselwortes, das zuletzt hinzugefügt wurde, länger als ein vordefinierter Zeitraum ist.In another embodiment of the method according to the invention, all added topic words are removed from the current topic list if a time difference between a current time and a time stamp of an added keyword that was added last is longer than a predefined period of time.
Ein Vorteil dieser Ausführungsform besteht darin, dass Themenwörter, die während eines vorherigen Gesprächs identifiziert wurden, aus der aktuellen Themenliste entfernt werden.An advantage of this embodiment is that topic words identified during a previous conversation are removed from the current topic list.
Bei einer Ausführungsform des Verfahrens gemäß der Erfindung wird die Liste mit Themenwörtern in dem Fahrzeug erzeugt. Die Liste mit Themenwörtern kann durch das Fahrzeug oder durch einen Benutzer des Fahrzeugs erzeugt werden. Ein Vorteil dieser Ausführungsform besteht darin, dass die Liste nicht im Fernserver erzeugt wird, was die Menge an Informationen beschränkt, die zwischen dem Fernserver und dem Fahrzeug übertragen wird.In one embodiment of the method according to the invention, the list of subject words is generated in the vehicle. The list of subject words can be generated by the vehicle or by a user of the vehicle. An advantage of this embodiment is that the list is not generated in the remote server, which limits the amount of information that is transmitted between the remote server and the vehicle.
Bei einer Ausführungsform des Verfahrens gemäß der Erfindung werden die Themenwörter basierend auf Regeln zu Gesprächsthemen zugewiesen, und wobei die Regeln vorzugsweise in dem Fahrzeug erzeugt werden. Ein Vorteil dieser Ausführungsform besteht darin, dass die Regeln nicht im Fernserver erzeugt werden, was die Menge an Informationen beschränkt, die zwischen dem Fernserver und dem Fahrzeug übertragen wird.In one embodiment of the method according to the invention, the topic words are assigned to topics of conversation based on rules, and the rules are preferably generated in the vehicle. An advantage of this embodiment is that the rules are not generated in the remote server, which limits the amount of information that is transmitted between the remote server and the vehicle.
Außerdem ist ein Computerprogramm bereitgestellt, wobei das Computerprogramm dazu ausgelegt ist, das Verfahren wie in diesem Dokument erläutert oder gemäß beliebiger der Ansprüche durchzuführen, während das Computerprogramm auf einem Computer ausgeführt wird.In addition, a computer program is provided, the computer program being designed to carry out the method as explained in this document or according to any one of the claims, while the computer program is being executed on a computer.
Zusätzlich ist ein computerlesbares Speicherungsmedium bereitgestellt, das einen Satz von durch eine Steuereinheit ausführbarem Code speichert, der bei Ausführung in einer Vorrichtung auf einem Verarbeitungssystem oder in einem Digitalsignalprozessor die Verfahrensschritte wie in diesem Dokument erläutert oder gemäß beliebigen der Ansprüche durchführt.In addition, a computer readable storage medium is provided which stores a set of code executable by a control unit which, when executed in an apparatus on a processing system or in a digital signal processor, performs the method steps as set out in this document or according to any of the claims.
Ferner weist eine Vorrichtung zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache Folgendes auf:
- - ein Speicherungsmedium mit einer Liste mit Anweisungswörtern, einer Liste mit Themenwörtern bezüglich Gesprächsthemen und einer aktuellen Themenliste;
- - ein Sprachaufzeichnungsgerät, das zum Aufzeichnen einer Spracheinheit eingerichtet ist;
- - einen Sendeempfänger, der zum Austauschen von Informationen zwischen der Vorrichtung und einem Fernserver eingerichtet ist; und
- - einen Prozessor, der eingerichtet ist zum:
- (i) Vergleichen der aufgezeichneten Spracheinheit mit den Anweisungswörtern und den Themenwörtern;
- (ii) wenn ein Themenwort unter Verwendung des Vergleichs in der Spracheinheit identifiziert wird, Hinzufügen des Themenworts zu der auf dem Speicherungsmedium gespeicherten aktuellen Themenliste;
- (iii) wenn ein Anweisungswort unter Verwendung des Vergleichs in der Spracheinheit identifiziert wird, Anweisen des Sendeempfängers, Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste zu dem Fernserver zu übertragen;
- (iv) Verarbeiten von Anweisungsdaten, die durch den Sendeempfänger vom Fernserver empfangen wurden und in dem Fernserver basierend auf den Informationen erzeugt wurden.
- a storage medium with a list of instruction words, a list of topic words relating to topics of conversation and a current list of topics;
- a voice recording device which is set up to record a unit of speech;
- a transceiver configured to exchange information between the device and a remote server; and
- - a processor that is set up to:
- (i) comparing the recorded unit of speech with the instruction words and the topic words;
- (ii) if a topic word is identified using the comparison in the speech unit, adding the topic word to the current topic list stored on the storage medium;
- (iii) if an instruction word is identified using the comparison in the speech unit, instructing the transceiver to transmit information regarding the recorded speech unit and the current topic list to the remote server;
- (iv) processing instruction data received by the transceiver from the remote server and generated in the remote server based on the information.
Die Vorrichtung kann in Infotainment-System oder ein Navigationssystem eines Fahrzeugs sein. Das Speicherungsmedium kann ROM- oder RAM-Computerspeicher sein. Der Prozessor kann die CPU des Infortainment- oder Navigationssystems sein.The device can be in the infotainment system or a navigation system of a vehicle. The storage medium can be ROM or RAM computer memory. The processor can be the CPU of the infortainment or navigation system.
Es ist ein Fahrzeug mit einer Vorrichtung wie in diesem Dokument oder gemäß Anspruch 10 beschrieben bereitgestellt.A vehicle with a device as described in this document or according to claim 10 is provided.
Und ein System zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache ist bereitgestellt, das Folgendes aufweist:
- - eine Vorrichtung wie in diesem Dokument oder gemäß Anspruch 10 beschrieben, oder ein Fahrzeug wie in diesem Dokument oder gemäß Anspruch 11 beschrieben; und
- - einen Fernserver, der eingerichtet ist zum:
- (i) Empfangen von Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste;
- (ii) Identifizieren einer Anweisung basierend auf den Informationen in dem Fernserver;
- (iv) Erzeugen von Anweisungsdaten basierend auf der identifizierten Anweisung; und
- (v) Übertragen der Anweisungsdaten zu dem Fahrzeug.
- a device as described in this document or according to claim 10, or a vehicle as described in this document or according to claim 11; and
- - a remote server that is set up to:
- (i) receiving information regarding the recorded speech unit and the current topic list;
- (ii) identifying an instruction based on the information in the remote server;
- (iv) generating instruction data based on the identified instruction; and
- (v) transmitting the instruction data to the vehicle.
Es kann verstanden werden, dass (i) die Arbeitsweise dieser Vorrichtung, dieses Fahrzeugs und/oder dieses Systems, (ii) die assoziierten Vorteile und (iii) weitere Ausführungsformen dieser Vorrichtung gemäß den entsprechenden Verfahrensschritten wie in diesem Dokument vorliegen.It can be understood that (i) the operation of this device, this vehicle and / or this system, (ii) the associated advantages and (iii) further embodiments of this device are in accordance with the corresponding method steps as in this document.
FigurenlisteFigure list
Für ein vollständigeres Verständnis der vorliegenden Erfindung wird ein Bezug auf die folgende Beschreibung hergestellt, der in Verbindung mit begleitenden Zeichnungen vorgenommen wird, in denen gilt:
-
1 zeigt schematisch eine Vorrichtung, ein Fahrzeug und ein System gemäß einer Ausführungsform der Erfindung; -
2 zeigt schematisch eine Vorrichtung gemäß einer Ausführungsform der Erfindung; und -
3 zeigt schematisch ein Verfahren gemäß einer Ausführungsform der Erfindung.
-
1 shows schematically an apparatus, a vehicle and a system according to an embodiment of the invention; -
2 shows schematically an apparatus according to an embodiment of the invention; and -
3 shows schematically a method according to an embodiment of the invention.
Ausführliche Beschreibung der ErfindungDetailed description of the invention
In
Eine Kommunikationsverbindung
Wie in
In
In Schritt
In Schritt
Die Liste
In Schritt
Als ein Beispiel kann eine erste aufgezeichnete Spracheinheit Stimmen aufweisen, die Folgendes sagen: „Ich bin hungrig“, „Willst du zum Abendessen ausgehen?“, und eine zweite aufgezeichnete Spracheinheit kann eine Stimme aufweisen, die „Assistent, berechne eine Route zu Pierre's“ sagt. Die aufgezeichnete Spracheinheit kann auf dem Speicherungsmedium
As an example, a first recorded speech unit may have voices that say, "I'm hungry,""Do you want to go out for dinner?" says. The recorded speech unit can be stored on the
In Schritt
In Schritt
Dem vorherigen Beispiel folgend, sind möglicherweise die Themenwörter „hungrig“ und „Abendessen“ identifiziert und möglicherweise zu der aktuellen Themenliste
In Schritt
In dem Beispiel wurde möglicherweise das Anweisungswort „berechne“ durch die Verarbeitungseinheit
Ferner werden Informationen bezüglich der Liste mit identifizierten Themenwörtern „hungrig“ und „Abendessen“ (zum Beispiel diese Wörter) und/oder bezüglich des Gesprächsthemas mit den meisten hinzugefügten zugewiesenen identifizierten Themenwörtern (in diesem Fall zum Beispiel das Gesprächsthema „Ernährung“) zum Fernserver
Die Informationen können durch den Fernserver
In Schritt
In Schritt
Ferner kann der Fall vorliegen, dass eine dritte aufgezeichnete Spracheinheit Stimmen aufweisen kann, die Folgendes sagen: „Wie heißt der Film von Woody Allen nochmal?“ und „Ich habe den im Kino angeschaut“. Die Themenwörter „Film“ und „Kino“ können dann identifiziert und zu der aktuellen Themenliste hinzugefügt werden. Diese Themenwörter sind möglicherweise dem Gesprächsthema „Filme“ zugewiesen worden. Ein vierte aufgezeichnete Spracheinheit kann eine Stimme aufweisen, die „Assistent, spiel Midnight in Paris ab“.Furthermore, there may be the case that a third recorded speech unit can have voices that say: “What's the name of Woody Allen's film again?” And “I saw it in the cinema”. The topic words "film" and "cinema" can then be identified and added to the current topic list. These topic words may have been assigned to the topic of conversation “Movies”. A fourth recorded speech unit may have a voice saying "Assistant, play Midnight in Paris".
Falls nun Informationen über die aktuelle Themenliste zum Fernserver übertragen werden, können diese Informationen jetzt deutlich angeben, ob das Gesprächsthema „Ernährung“ oder „Kino“ war, da beide Gesprächsthema-Themenwörter zu der aktuellen Themenliste hinzugefügt wurden.If information about the current topic list is now transmitted to the remote server, this information can now clearly indicate whether the topic of conversation was "nutrition" or "cinema", since both topic words have been added to the current topic list.
Daher kann bei einer Ausführungsform jedem hinzugefügten Themenwort ein Zeitstempel zugewiesen werden, der die Zeit angibt, zu der das Themenwort zu der aktuellen Themenliste hinzugefügt wurde. In diesem Fall können später hinzugefügte Themenwörter das Gesprächsthema genauer angeben sein. Dem Beispiel folgend werden dann Informationen über die aktuelle Themenliste angeben, dass das Gesprächsthema wahrscheinlicher „Kino“ als „Ernährung“ ist.Thus, in one embodiment, each added topic word may be assigned a time stamp indicating the time the topic word was added to the current topic list. In this case, topic words added later can specify the topic of the conversation. Following the example, information about the current list of topics will then indicate that the topic of conversation is more likely “cinema” than “nutrition”.
Eine andere Lösung besteht darin, ein hinzugefügtes Themenwort aus der aktuellen Themenliste zu entfernen, wenn eine Zeitdifferenz zwischen einer aktuellen Zeit und seines assoziierten Zeitstempels länger als ein vordefinierter Zeitraum ist. In dem Beispiel wurden möglicherweise die Themenwörter „Hunger“ und „Abendessen“ aus der aktuellen Themenliste entfernt, sodass die Informationen über die aktuelle Themenliste angeben werden, dass das Gesprächsthema „Kino“ ist.Another solution is to remove an added topic word from the current topic list when a time difference between a current time and its associated time stamp is longer than a predefined period of time. In the example, the topic words “hunger” and “dinner” may have been removed from the current topic list so that the information about the current topic list will indicate that the topic of conversation is “movies”.
Der Fernserver kann die Informationen über das aktuelle Thema, die angeben, dass das Gesprächsthema „Kino“ ist, zur Bestimmung verwenden, dass sich die Formulierung „Midnight in Paris“ auf einen Film und nicht ein Lied bezieht. Die Anweisungsdaten, die der Fernserver zurück zum Fahrzeug übertragen kann, können daher einen Zeiger zum einen Download-Ort des Films „Midnight in Paris“ aufweisen.The remote server may use the current topic information indicating that the topic of conversation is "cinema" to determine that the phrase "Midnight in Paris" refers to a movie, not a song. The instruction data, which the remote server can transmit back to the vehicle, can therefore have a pointer to a download location of the film "Midnight in Paris".
Bei einer oder mehreren Ausführungsformen werden alle hinzugefügten Themenwörter aus der aktuellen Themenliste entfernt, wenn eine Zeitdifferenz zwischen einer aktuellen Zeit und einem Zeitstempel eines hinzugefügten Schlüsselwortes, das zuletzt hinzugefügt wurde, länger als ein vordefinierter Zeitraum ist.In one or more embodiments, all added topic words are removed from the current topic list when a time difference between a current time and a timestamp of an added keyword that was last added is longer than a predefined time period.
Es kann verstanden werden, dass, wenn während eines gewissen Zeitraums keine neuen Themenwörter zu der aktuellen Themenliste hinzugefügt wurden, es wahrscheinlich ist, dass das Gespräch vorübergehend aufgehört hat. Daher kann es vorteilhaft sein, alle hinzugefügten Themenwörter aus der aktuellen Themenliste zu entfernen, bevor ein neues Gespräch mit voraussichtlich einem neuen Gesprächsthema anfangen wird.It can be understood that if no new topic words have been added to the current topic list during a period of time, it is likely that the conversation has temporarily stopped. It can therefore be advantageous to remove all topic words you have added from the current topic list before starting a new conversation with a likely new topic.
Im Allgemeinen kann die Entfernung von Themenwörtern aus der aktuellen Themenliste durch die Identifizierung eines Anweisungsworts ausgelöst werden. In diesem Fall werden die Themenwörter, die möglicherweise weniger relevant sind, aus der aktuellen Themenliste entfernt, bevor Informationen über die aktuelle Themenliste zum Server übertragen werden.In general, the removal of topic words from the current topic list can be triggered by the identification of an instruction word. In this case, the topic words that may be less relevant are removed from the current topic list before information about the current topic list is transmitted to the server.
Alternativ dazu können die beschriebenen Funktionen des Fernservers
Ferner können eine oder mehrere Ausführungsformen durch das Folgende beschrieben werden: ein computerimplementiertes Verfahren zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache ist bereitgestellt. Das Verfahren weist Bereitstellen einer Liste mit Anweisungswörtern und einer Liste mit Themenwörtern bezüglich Gesprächsthemen auf. Eine Spracheinheit wird in einem Fahrzeug aufgezeichnet und im Fahrzeug mit den Anweisungswörtern und den Themenwörtern verglichen. Wenn ein Themenwort identifiziert wird, wird das Themenwort zu einer aktuellen Themenliste hinzugefügt. Wenn ein Anweisungswort identifiziert wird, werden Informationen bezüglich der aufgezeichneten Spracheinheit und der aktuellen Themenliste zu einem Fernserver übertragen. Im Fernserver wird eine Anweisung basierend auf den übertragenen Informationen identifiziert und Anweisungsdaten werden basierend auf der identifizierten Anweisung erzeugt. Die Anweisungsdaten werden vom Server zum Fahrzeug übertragen und im Fahrzeug verarbeitet.Further, one or more embodiments may be described by the following: A computer implemented method for identifying instructions in voice recorded in a vehicle is provided. The method includes providing a list of instruction words and a list of topic words relating to topics of conversation. A unit of speech is recorded in a vehicle and compared with the instruction words and the topic words in the vehicle. When a topic word is identified, the topic word is added to a current topic list. When an instruction word is identified, information relating to the recorded speech unit and the current topic list is transmitted to a remote server. In the remote server, an instruction is identified based on the transmitted information and instruction data is generated based on the identified instruction. The instruction data are transmitted from the server to the vehicle and processed in the vehicle.
Wie ein Fachmann erkennen wird, können Aspekte der vorliegenden Erfindung als ein System, eine Vorrichtung, ein Verfahren oder ein Computerprogrammprodukt umgesetzt sein. Dementsprechend können Aspekte der vorliegenden Erfindung die Form einer Ausführungsform vollständig aus Hardware, einer Ausführungsform vollständig aus Software (einschließlich Firmware, speicherresidenter Software, Mikrocode usw.) oder einer Ausführungsform, die Software- und Hardwareaspekte kombiniert, annehmen, die hierin alle allgemein als eine „Einheit“, ein „Modul“, ein „System“, eine „Vorrichtung“ oder ein „Element“ bezeichnet werden können.As one skilled in the art will recognize, aspects of the present invention can be implemented as a system, apparatus, method, or computer program product. Accordingly, aspects of the present invention may take the form of an entirely hardware embodiment, an entirely software embodiment (including firmware, memory-resident software, microcode, etc.), or an embodiment combining software and hardware aspects, all of which are generally referred to herein as a " Unit ”, a“ module ”, a“ system ”, a“ device ”or an“ element ”.
In diesem Dokument beschriebene Funktionen oder Schritte können als ein durch einen Mikroprozessor eines Computers ausgeführter Algorithmus implementiert werden. Ferner können Aspekte der vorliegenden Erfindung die Form eines Computerprogrammprodukts annehmen, das in einem oder mehreren computerlesbaren Medien mit darauf umgesetztem, z. B. gespeichertem, computerlesbarem Programmcode umgesetzt ist.Functions or steps described in this document can be implemented as an algorithm executed by a microprocessor of a computer. Furthermore, aspects of the present invention may take the form of a computer program product which may be written in one or more computer readable media with, e.g. B. stored, computer-readable program code is implemented.
Es soll verstanden werden, dass die obige Beschreibung einbezogen ist, um den Betrieb der bevorzugten Ausführungsformen zu veranschaulichen, und soll nicht den Schutzumfang der Erfindung beschränken. Aus der obigen Beschreibung werden einem Fachmann viele Variationen ersichtlich, die noch durch den Schutzumfang der vorliegenden Erfindung einzuschließen sind.It is to be understood that the above description is included to illustrate the operation of the preferred embodiments, and is not intended to limit the scope of the invention. From the above description, many variations will become apparent to those skilled in the art which are to be included by the scope of the present invention.
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019216078.6A DE102019216078B3 (en) | 2019-10-18 | 2019-10-18 | Method and apparatus for identifying instructions in speech recorded in a vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019216078.6A DE102019216078B3 (en) | 2019-10-18 | 2019-10-18 | Method and apparatus for identifying instructions in speech recorded in a vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102019216078B3 true DE102019216078B3 (en) | 2021-01-14 |
Family
ID=74092385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102019216078.6A Active DE102019216078B3 (en) | 2019-10-18 | 2019-10-18 | Method and apparatus for identifying instructions in speech recorded in a vehicle |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102019216078B3 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130103405A1 (en) * | 2010-04-12 | 2013-04-25 | Toyota Jidosha Kabushiki Kaisha | Operating system and method of operating |
| US20160085854A1 (en) * | 2014-09-19 | 2016-03-24 | The Regents Of The University Of California | Dynamic Natural Language Conversation |
| US20180233143A1 (en) * | 2017-02-13 | 2018-08-16 | Kabushiki Kaisha Toshiba | Dialogue system, a dialogue method and a method of adapting a dialogue system |
-
2019
- 2019-10-18 DE DE102019216078.6A patent/DE102019216078B3/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130103405A1 (en) * | 2010-04-12 | 2013-04-25 | Toyota Jidosha Kabushiki Kaisha | Operating system and method of operating |
| US20160085854A1 (en) * | 2014-09-19 | 2016-03-24 | The Regents Of The University Of California | Dynamic Natural Language Conversation |
| US20180233143A1 (en) * | 2017-02-13 | 2018-08-16 | Kabushiki Kaisha Toshiba | Dialogue system, a dialogue method and a method of adapting a dialogue system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102016104060A1 (en) | Voice profile based identity identification for in-vehicle infotainment | |
| DE102019119171A1 (en) | VOICE RECOGNITION FOR VEHICLE VOICE COMMANDS | |
| DE112016004391T5 (en) | Dialogue device and dialog method | |
| DE102009017176A1 (en) | Navigation arrangement for a motor vehicle | |
| DE102014109121A1 (en) | Systems and methods for arbitrating a voice dialogue service | |
| DE102015207592A1 (en) | VEHICLE RECOMMENDATION BASED ON DRIVER BEHAVIOR | |
| DE102015105876A1 (en) | A method of providing operator assistance using a telematics service system of a vehicle | |
| DE102014002543A1 (en) | Method for detecting at least two information to be acquired with information content to be linked by a voice dialogue device, voice dialogue device and motor vehicle | |
| DE102018200088B3 (en) | Method, device and computer-readable storage medium with instructions for processing a voice input, motor vehicle and user terminal with a voice processing | |
| DE112017007005T5 (en) | ACOUSTIC SIGNAL PROCESSING DEVICE, ACOUSTIC SIGNAL PROCESSING METHOD AND HANDSFREE COMMUNICATION DEVICE | |
| EP3095114B1 (en) | Method and system for generating a control command | |
| DE102020104735A1 (en) | Method for providing a recommendation message to a user of a vehicle, computer-readable medium, system, and vehicle | |
| DE102019218918A1 (en) | DIALOGUE SYSTEM, ELECTRONIC DEVICE AND METHOD OF CONTROLLING THE DIALOGUE SYSTEM | |
| DE102015121098A1 (en) | Multimodal answer to a multimodal search | |
| DE102015117380A1 (en) | Selective noise reduction during automatic speech recognition | |
| DE102019102090A1 (en) | VEHICLE INTERNAL MEDIA TUNING SUPPRESSION | |
| DE102019218058B4 (en) | Device and method for recognizing reversing maneuvers | |
| DE102019216078B3 (en) | Method and apparatus for identifying instructions in speech recorded in a vehicle | |
| DE102006029251B4 (en) | Method and system for a telephone book transfer | |
| DE102015207177A1 (en) | A method and apparatus for voice recognition training outside a vehicle, including a vehicle update | |
| DE102018132160A1 (en) | SYSTEM AND METHOD FOR UNDERSTANDING STANDARD LANGUAGE AND DIALECTS | |
| DE102005018174A1 (en) | Method for the targeted determination of a complete input data record in a speech dialogue 11 | |
| DE102013216427B4 (en) | Device and method for means of transport-based speech processing | |
| DE102019203533A1 (en) | Method of reproducing audio content and audio reproduction system | |
| DE112010005046T5 (en) | Vehicle Information System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G10L0015220000 Ipc: G10L0015300000 |
|
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division | ||
| R020 | Patent grant now final | ||
| R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE Owner name: AUMOVIO GERMANY GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE |
|
| R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE Owner name: AUMOVIO GERMANY GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE |
|
| R081 | Change of applicant/patentee |
Owner name: AUMOVIO GERMANY GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30175 HANNOVER, DE |