[go: up one dir, main page]

WO2016008887A1 - Method for interacting with a driver of a vehicle during automated driving - Google Patents

Method for interacting with a driver of a vehicle during automated driving Download PDF

Info

Publication number
WO2016008887A1
WO2016008887A1 PCT/EP2015/066069 EP2015066069W WO2016008887A1 WO 2016008887 A1 WO2016008887 A1 WO 2016008887A1 EP 2015066069 W EP2015066069 W EP 2015066069W WO 2016008887 A1 WO2016008887 A1 WO 2016008887A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
communication device
mobile communication
state
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2015/066069
Other languages
German (de)
French (fr)
Inventor
Ulrich Kabatek
Guido Meier-Arendt
Gerhard Müller
Axel König
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of WO2016008887A1 publication Critical patent/WO2016008887A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Definitions

  • the invention relates to a method for interaction with egg ⁇ nem driver of a vehicle in the automated driving. Furthermore, the invention relates to a storage medium for SpeI ⁇ assurance of a computer program for implementing a method for interacting with a driver of a vehicle in the automated driving, wherein the computer program is executed by a processor of a mobile communications device Execute ⁇ bar.
  • a driver assistance system will in future be able to control a vehicle in a highly automated manner. Nevertheless, it can be assumed that it will not be possible in the near future to ⁇ the highly automated driving that a driver assistance system can control a vehicle in all driving situations independently. In critical situ ⁇ ation, the driver will continue to take control of the vehicle itself. The acquisition of control of the vehicle by a driver needs in a critical situa ⁇ tion in a short time, announcing, for example, be within a few seconds. This results in the requirement that the
  • the object of the present invention is to provide a method for interacting with a driver of a vehicle when automa tized driving, with which it is ensured that the driver can take over control of the vehicle as quickly as possible.
  • a further object of the present OF INVENTION to provide a storage medium for storing a Compu ⁇ terprogramms for implementing a method for inter ⁇ action with a driver of a vehicle in the automated drive that is executable by a processor of a mobile communications device is manure, the method si ensures that the driver can take control of the vehicle as quickly as possible.
  • a method for interacting with a driver of a driving ⁇ zeugs for automated driving is given in claim 1 at.
  • a driver assistance system which is designed in an activated state for the automated control of the vehicle.
  • a mobile communication device is provided which is operable by a plurality of operating states for communi cation ⁇ with the driver in the on state in one.
  • Assistance system between the driving assisting and the mobile communications device is a Kom ⁇ munikationsitati manufacture.
  • the method provides to activate the driving assistance system for automatic ⁇ tarraen controlling the vehicle and admir the mobile communication device for communication with the driver ⁇ switch.
  • a communication link is Herge.
  • the driving assistance system or the mobile communi ⁇ nikations réelle a state of the driver is determined and / or a driving situation of the vehicle is determined by the driver assistance system.
  • the mobile communication device is controlled into one of the Moegli ⁇ chen operating states.
  • the mobile communication device for example, a smart phone or a portable computer, such as a music ⁇ book or a tablet PC, be.
  • the mobile communication device can be controlled in an operation state, by which the on ⁇ attention of the driver is increased again.
  • the mobile commu ⁇ nikations réelle can be controlled by its own processor or from the drive assistance system in the operating state of the ⁇ .
  • ne ⁇ ben monitoring the attention of the driver may apply the ⁇ acquisition of control of the vehicle by the driver by means of the mobile communications device can be ensured. For example, if Festge of the mobile communication device ⁇ is that, despite a request to take over the driving ⁇ task the driver's eyes more focused on the image ⁇ screen of the mobile communication device for too long, the mo ⁇ bile communication device can output an appropriate warning to the driver ,
  • ⁇ content of an application of the mobile communication device by a solid image may be superimposed, for example, is requested to the to acquire the vehicle by the driver.
  • On the screen can be displayed for ⁇ additional information to facilitate the taking of control of the vehicle by the driver in addition to the takeover request.
  • the current driving situation for example (SurroundView) are displayed with superimposed ⁇ th information about the speed of the other transport ⁇ subscriber or a particular danger situation by means of color marking in the form of an environmental view.
  • a running sound output on the mobile communication device can be interrupted. For example, a music output can be stopped or a telephone call in egg ⁇ NEN hold mode are mixed, wherein the caller is informed accordingly.
  • Besides changed display contents on the mobile terminal alerts may be audible and / or tactile given from ⁇ addition.
  • the mobile communication device can play mixed at ⁇ in vibration.
  • a seat vibration can be activated by the driver assistance system.
  • the type of warning or information output on the mobile communication device can be adapted to the temporal criticality of taking over the control of the vehicle by the driver. The more urgent the transfer of the vehicle by the driver, the more concise and stronger can be issued on the mobile device a warning
  • the driver notwendi ⁇ ge attention to the acquisition of control of the vehicle during a critical driving situation is he ⁇ höht so that the driver is thereby able to take control of the vehicle as quickly as possible.
  • an application can be started on the mobile communication device.
  • a SpeI ⁇ chermedium for storing a computer program for imple mentation of a method of interaction of a driving assisting ⁇ tenzsystems marked with a driver of a vehicle for execution by a processor of a mobile communications device is in the patent claim. 9
  • the mobile communication device may include, for example
  • a Kom ⁇ munikationstress is established between the driving assistance system ⁇ and the mobile communication device.
  • a condition of the driver is detected.
  • the mobile communica ⁇ tion device is controlled in an operating state.
  • FIG. 1 shows a vehicle with a driver assistance system for au ⁇ tomatiswholesome driving
  • FIG. 2 shows an embodiment of a driver assistance system and a mobile communication device for carrying out a method for interacting with a driver of a vehicle during automated driving.
  • Figure 1 shows a vehicle 1, which is designed for highly automated driving.
  • the vehicle includes a driving assistance system ⁇ assistants 10, which is formed in an activated state to automatic ⁇ overbased controlling the vehicle.
  • ⁇ assistants which is formed in an activated state to automatic ⁇ overbased controlling the vehicle.
  • a mobile communication device such as a Mobilte ⁇ LePhone, a smartphone or a portable computer, example ⁇ as a notebook or a tablet PC, may be reduced.
  • a mobile communication device is according to the inventive method for interaction of the Fahras ⁇ assistance system with the driver in the monitoring of the attentiveness ⁇ sity of the driver or in the monitoring of the acquisition of control of the vehicle by the driver einbe ⁇ attracted.
  • FIG. 2 shows an embodiment of the driving assistance system 10 and a mobile communications device 20, such as a smartphone, between which a Kirunikationsverbin ⁇ dung is produced.
  • the mobile communication device can also be a portable computer, while For example, a notebook or a tablet PC, his.
  • the driving assistance system ⁇ 10 is operated in the activated state to the automatic ⁇ overbased controlling the vehicle.
  • the mobile commu ⁇ nikations réelle 20 is operated in the on state in one of several possible operating conditions for communication with the driver.
  • a Kommunikati ⁇ onsthetic is made between the driver assistance system 10 and the mobile communication device 20 .
  • various ⁇ denste wired or wireless transmission standards are available.
  • existing standards for sound and image transmission can be used.
  • the method provides that a state of the driver is detected by the driver assistance system 10, or by the mobile communication device 20 and / or that is detected by the driving assistance system 10 Assisting ⁇ a driving situation of the vehicle. 1
  • the mobile communications device 20 is controlled in function of the determined state of the driver and / or the ermit ⁇ telten driving situation in one of the possible operating states.
  • the mobile communication device when it is determined that the driver is in a state of lack of attention, the mobile communication device is controlled to an operating state that increases the driver's attention.
  • said operating state of the mobile communication device 20 may ⁇ for example, generate an acoustic signal.
  • the mobile communication device 20 may output an optical warning signal.
  • the mobile Kommunikati ⁇ ons réelle outputs a signal tactile.
  • the mobile communication ons réelle example can be gesteu ⁇ ert in which it begins to vibrate in an operating state.
  • the mobile communication device can be also controlled by the Fahrassistenzsys ⁇ system in the operating state in which the driver's attention is increased by, for example, a warning is issued in the be ⁇ said operating condition that makes the driver aware that he expected to have to take over ⁇ ⁇ ze in freestyle control of the vehicle itself.
  • the mobile communication device 20 may be provided with at least one activatable sensor 21.
  • the behavior of the driver is then detected by the at least one sensor 21 from the mobi ⁇ len communication device 20.
  • the condition of the driver can then be determined. This can be done by Auswer ⁇ th of the driver's behavior detected by the mobile communication device 20th
  • sensor data of the sensor 21 is transmitted to the driver assistance system 10 and evaluated there. Determining the then occurs to ⁇ article of the driver in dependence on the transmitted through ⁇ sensor data by the driving assist system 10.
  • the mobile communication device 20 made in function of the determined state of the driver through the accelerator ⁇ assist system 10 via the Ltdunikationsver ⁇ Control in the said operating state controlled to increase the attention of the driver.
  • the mobile communications device 20 can be, for example, egg ⁇ ner camera 21a as a sensor for acquiring an image generousge ⁇ represents. Means 21a of the camera is capturing an image of the Fah ⁇ RERS. The driver's condition is then determined in depen ⁇ dependence of the captured image of the driver.
  • the mobile communication device 20 may be provided with a keyboard 21b as ak ⁇ tivierbarem sensor for inputting data ⁇ the.
  • the state of the driver can then be determined, for example, as a function of an input of the data via the keyboard 21b. It can be checked, for example, whether the driver is still making entries during an application running on the mobile communication device, from which it can be concluded that the driver is still in an awake state.
  • the sensor data obtained from the camera or the over ⁇ monitoring the keyboard can be transmitted to the driving assistance system for evaluation and determination of the driver to ⁇ article.
  • the evaluation of the Sen can sorrtz ⁇ also be carried out directly by the mobile communication device so that the mobile communication device 20 can determine the state of the driver.
  • the mobile communication device 20 after switching on in a first operating state for communication with the driver be ⁇ driven.
  • the first operating state of the mobile Kommunikati ⁇ ons réelles 20 is maintained when a first condition of the driver, for example a state of sufficient on ⁇ attention or arousal is determined and / or when it is determined that the vehicle 1 in the erstoff ⁇ th driving situation by means of the driver assistance system 10 is further automated ⁇ controlled.
  • the mobile communication device 20 is controlled different operating state into a second, operational state of the first Be ⁇ when a second condition of the driver, for example a state of lack of attention or reduced wakefulness, is determined and / or when it is determined that the driver assistance system 10 Due to the determined driving situation is not able to control the vehicle 1 automatically.
  • a second condition of the driver for example a state of lack of attention or reduced wakefulness
  • the mobile communication device can be controlled in the second operating state in which is issued by the mobile communication device, a warning for increasing the attention of ⁇ the driver.
  • an application on the mobile Kirmunikati ⁇ ons réelles 20th In the second operating state of the mobile communication device 20 interrupting the appli ⁇ -making is carried out.
  • the state when the lack of atten ⁇ ness of the driver is detected or the driver should be reported hinge on ei ⁇ ne potential takeover of control of the vehicle a currently running application on the mobile communication device is interrupted and instead a solid image by the driver is requested to take over the vehicle, for example, displayed on the screen ⁇ .
  • the mobile communication device 20 may be further output, for example a to be acknowledged Mel ⁇ dung on the screen 22, which includes a warning ⁇ note to alert the driver to an early acquisition of control of the vehicle or only to the increase of attention the driver serves. If an external input is performed on the message by the driver is assumed that the driver has the necessary attention ⁇ ness.
  • the mobile communications device 20 can then be controlled by the second back to the first operating state in which sets, for example, the running application is fortge ⁇ .
  • the process for the interaction of the driving assistance system to the driver can be largely replaced by an independent appli ⁇ dung (app) is executed.
  • the app can be embodied as a computer program for implementing the method for interacting with the driver, which is stored on a storage medium 23 of the mobile communication device 20, where the computer program can be executed by a processor 24 of the mobile communication device.
  • a Mathunikationsver ⁇ connection between the mobile communications device 20 and the driving assist system 10 is first prepared. Subsequently, the determined ⁇ to stand the driver by the sensor 21 of the mobile communica tion device ⁇ or by the driver assistance system 10th The mobile communication device 20 is then controlled as a function of the determined state of the driver and / or determined by the driving assistance system 10 driving situation of the vehicle in an operating condition.
  • the computer program of the at least one sensor 21 of the mobile communications device 20 is controlled by the pro cessor ⁇ 24 in a state for detecting the behavior of the driver.
  • the state of the driver detected by the processor of the mobile communications device who ⁇ can then the state of the driver detected by the processor of the mobile communications device who ⁇ .
  • the Sen ⁇ sorrtz that describe the behavior of the driver in order there to ermit ⁇ stuffs the state of the driver.
  • the processor 24 can control the camera 21a of the mobile communication device 20 such ⁇ upon execution of the program from the storage medium 23 a computer program that an image of the driver will be ⁇ taken. By evaluating the recorded image, the state of the driver can then be determined by the processor 24 or determined in transmitting the camera data to the Fahrassistenzsys ⁇ system by the driver assistance system 10th
  • the processor 24 may detect input of data via the keyboard 21b of the mobile communication device 20 upon execution of the computer program. In response to input the data via the keyboard 21b can then the state of the driver detected by the processor 24 of the mobile communications device itself or by the driver assistance system 10 who ⁇ .
  • the processor 24 may initially operate the mobile communication device 20 in a first operating state for communication with the driver after being switched on.
  • the first operating state of the mobile communication device 20 is controlled by the processor beibehal ⁇ th, when a first condition of the driver, for example a state of sufficient attention, is determined and / or when it is determined by the driver assistance system 10 that the vehicle 1 in the determined driving situation by means of the driver assistance system 10 is further controlled automatically.
  • the processor 24 controls the mobile communi ⁇ nikations réelle in a second, different from the first operating state operation state when a second condition of the driver, for example a state of lack of atten ⁇ ness, is determined and / or when by the driving assisting ⁇ assistance system 10 it is determined that the driver assistance system 10 will not be able to continue to automatically control the vehicle 1 due to the determined driving situation.
  • a communi cation ⁇ between the driving assistance system 10 and the mobile communication device 20 can be manufactured.
  • an application can be executed by the processor 24.
  • the processor interrupts the appli ⁇ tion.
  • the processor may drive the screen 22 of the mobile communications device in such a way in embodiments of the computer program that, in the two ⁇ th operation state of the mobile communication device 20 is output a message on the screen 22nd If it is determined by the processor 24, an ex ⁇ terne input is made to the message, the mobile communication device 20 can be controlled by the second operational state back to the first loading ⁇ operating state in which a current appli ⁇ -making is continued.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

A driving assistance system (10) for automated driving will not be able to automatically control a vehicle (1) in all driving situations. In critical driving situations, a driver will have to take control of the vehicle (1). Oftentimes, the driver is occupied with a mobile communications device (20), such as a smart phone or a portable computer, during automated driving. According to the method for interacting with a driver of the vehicle (1) during automated driving, the mobile communications device (20) is integrated in the communication of the driving assistance system (10) with the driver. If it is determined that a critical driving situation requires that the driver take over the vehicle (1), or the attentiveness of the driver is no longer sufficient, the mobile communications device (20) is operated in an operating state in which the attentiveness of the driver is increased.

Description

Beschreibung description

Verfahren zur Interaktion mit einem Fahrer eines Fahrzeugs beim automatisierten Fahren Method for interacting with a driver of a vehicle during automated driving

Die Erfindung betrifft ein Verfahren zur Interaktion mit ei¬ nem Fahrer eines Fahrzeugs beim automatisierten Fahren. Des Weiteren betrifft die Erfindung ein Speichermedium zur Spei¬ cherung eines Computerprogramms zur Implementierung eines Verfahrens zur Interaktion mit einem Fahrer eines Fahrzeugs beim automatisierten Fahren, wobei das Computerprogramm durch einen Prozessor eines mobilen Kommunikationsgerätes ausführ¬ bar ist. Mit fortschreitender Entwicklung wird ein Fahrassistenzsystem zukünftig in der Lage sein, ein Fahrzeug hochautomatisiert zu steuern. Dennoch ist davon auszugehen, dass es in naher Zu¬ kunft beim hochautomatischen Fahren nicht möglich sein wird, dass ein Fahrassistenzsystem ein Fahrzeug in sämtlichen Fahr- Situationen selbständig steuern kann. In kritischen Fahrsitu¬ ationen wird der Fahrer weiterhin die Steuerung des Fahrzeugs selbst übernehmen müssen. Die Übernahme der Kontrolle des Fahrzeugs durch einen Fahrer muss in einer kritischen Situa¬ tion in kurzer Zeit, beispielsweise innerhalb von wenigen Se- künden, erfolgen. Daraus resultiert die Forderung, dass derThe invention relates to a method for interaction with egg ¬ nem driver of a vehicle in the automated driving. Furthermore, the invention relates to a storage medium for SpeI ¬ assurance of a computer program for implementing a method for interacting with a driver of a vehicle in the automated driving, wherein the computer program is executed by a processor of a mobile communications device Execute ¬ bar. As development progresses, a driver assistance system will in future be able to control a vehicle in a highly automated manner. Nevertheless, it can be assumed that it will not be possible in the near future to ¬ the highly automated driving that a driver assistance system can control a vehicle in all driving situations independently. In critical situ ¬ ation, the driver will continue to take control of the vehicle itself. The acquisition of control of the vehicle by a driver needs in a critical situa ¬ tion in a short time, announcing, for example, be within a few seconds. This results in the requirement that the

Fahrer während des automatischen Fahrens zwar nicht permanent seine Aufmerksamkeit auf die Straße richten muss, jedoch nur bestimmte andere Nebentätigkeiten durchführen darf. Nebentätigkeiten, die zulässig werden könnten, können zumAlthough the driver must not constantly focus his attention on the road during automatic driving, he may only carry out certain other ancillary activities. Ancillary activities that may be permitted may be for

Beispiel das Telefonieren, das Surfen im Internet sowie das Bearbeiten von Kurznachrichten, wie SMS und e-mails, sein. In jedem Fall muss allerdings sichergestellt sein, dass der Fah¬ rer, während das Fahrzeug von dem Fahrassistenzsystem hochau- tomatisiert gesteuert wird, wach und fähig zum Fahren ist und gegebenenfalls seine Aufmerksamkeit wieder schnell auf die Fahraufgabe umlenken kann. Die Gestaltung der Übernahme der Kontrolle des Fahrzeugs durch den Fahrer ist sicherheitskri¬ tisch. For example, being on the phone, surfing the Internet and editing short messages, such as SMS and e-mails. But in any case it must be ensured that the Fah ¬ rer while the vehicle is controlled hochau- tomatisiert of the driving assistance system, awake and able to drive and, if his attention can redirect quickly to the driving task again. The design of the takeover of Control of the vehicle by the driver is sicherheitskri ¬ table.

Die Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Interaktion mit einem Fahrer eines Fahrzeugs beim automa tisierten Fahren anzugeben, mit dem sichergestellt ist, dass der Fahrer schnellstmöglich die Kontrolle über das Fahrzeug übernehmen kann. Eine weitere Aufgabe der vorliegenden Erfin dung ist es, ein Speichermedium zur Speicherung eines Compu¬ terprogramms zur Implementierung eines Verfahrens zur Inter¬ aktion mit einem Fahrer eines Fahrzeugs beim automatisierten Fahren anzugeben, das durch einen Prozessor eines mobilen Kommunikationsgerätes ausführbar ist, wobei das Verfahren si cherstellt, dass der Fahrer schnellstmöglich die Kontrolle über das Fahrzeug übernehmen kann. The object of the present invention is to provide a method for interacting with a driver of a vehicle when automa tized driving, with which it is ensured that the driver can take over control of the vehicle as quickly as possible. A further object of the present OF INVENTION to provide a storage medium for storing a Compu ¬ terprogramms for implementing a method for inter ¬ action with a driver of a vehicle in the automated drive that is executable by a processor of a mobile communications device is manure, the method si ensures that the driver can take control of the vehicle as quickly as possible.

Ein Verfahren zur Interaktion mit einem Fahrer eines Fahr¬ zeugs beim automatisierten Fahren ist im Patentanspruch 1 an gegeben . A method for interacting with a driver of a driving ¬ zeugs for automated driving is given in claim 1 at.

Gemäß einer möglichen Ausführungsform des Verfahrens ist vor gesehen, dass ein Fahrassistenzsystem bereitgestellt wird, das in einem aktivieren Zustand zum automatisierten Steuern des Fahrzeugs ausgebildet ist. Des Weiteren wird ein mobiles Kommunikationsgerät bereitgestellt, das im eingeschalteten Zustand in einem von mehreren Betriebszuständen zur Kommuni¬ kation mit dem Fahrer betreibbar ist. Zwischen dem Fahrassis tenzsystem und dem mobilen Kommunikationsgerät ist eine Kom¬ munikationsverbindung herstellbar . According to a possible embodiment of the method, it is provided that a driver assistance system is provided, which is designed in an activated state for the automated control of the vehicle. Furthermore, a mobile communication device is provided which is operable by a plurality of operating states for communi cation ¬ with the driver in the on state in one. Assistance system between the driving assisting and the mobile communications device is a Kom ¬ munikationsverbindung manufacture.

Das Verfahren sieht vor, das Fahrassistenzsystem zum automa¬ tisierten Steuern des Fahrzeugs zu aktivieren und das mobile Kommunikationsgerät zur Kommunikation mit dem Fahrer einzu¬ schalten. Zwischen dem Fahrassistenzsystem und dem mobilen Kommunikationsgerät wird eine Kommunikationsverbindung herge stellt. Durch das Fahrassistenzsystem oder das mobile Kommu¬ nikationsgerät wird ein Zustand des Fahrers ermittelt und/oder eine Fahrsituation des Fahrzeugs wird durch das Fahrassistenzsystem ermittelt. In Abhängigkeit von dem ermit¬ telten Zustand des Fahrers und/oder der ermittelten Fahrsitu¬ ation wird das mobile Kommunikationsgerät in einen der mögli¬ chen Betriebszustände gesteuert. The method provides to activate the driving assistance system for automatic ¬ tisierten controlling the vehicle and einzu the mobile communication device for communication with the driver ¬ switch. Between the driver assistance system and the mobile communication device, a communication link is Herge. By the driving assistance system, or the mobile communi ¬ nikationsgerät a state of the driver is determined and / or a driving situation of the vehicle is determined by the driver assistance system. Depending on the ermit ¬ telten state of the driver and / or the determined driving situ ation ¬ the mobile communication device is controlled into one of the Moegli ¬ chen operating states.

Das mobile Kommunikationsgerät kann beispielsweise ein Smart- phone oder ein tragbarer Computer, beispielsweise ein Note¬ book oder ein Tablet-PC, sein. Wenn das mobile Kommunikati¬ onsgerät beziehungsweise das Fahrassistenzsystem ermittelt, dass die Wachheit beziehungsweise die Aufmerksamkeit des Fah¬ rers eingeschränkt ist, kann das mobile Kommunikationsgerät in einen Betriebszustand gesteuert werden, durch den die Auf¬ merksamkeit des Fahrers wieder erhöht wird. Das mobile Kommu¬ nikationsgerät kann durch einen eigenen Prozessor oder von dem Fahrassistenzsystem in den Betriebszustand gesteuert wer¬ den . The mobile communication device for example, a smart phone or a portable computer, such as a music ¬ book or a tablet PC, be. When the mobile Kommunikati ¬ onsgerät or the driving assistance system determines that the alertness or the attention of the Fah ¬ RERS is restricted, the mobile communication device can be controlled in an operation state, by which the on ¬ attention of the driver is increased again. The mobile commu ¬ nikationsgerät can be controlled by its own processor or from the drive assistance system in the operating state of the ¬.

Gemäß einer weiteren Ausführungsform des Verfahrens kann ne¬ ben der Überwachung der Aufmerksamkeit des Fahrers die Über¬ nahme der Kontrolle des Fahrzeugs durch den Fahrer mittels des mobilen Kommunikationsgerätes sichergestellt werden. Wenn von dem mobilen Kommunikationsgerät beispielsweise festge¬ stellt wird, dass trotz Aufforderung zur Übernahme der Fahr¬ aufgabe der Fahrer die Augen zu lange weiter auf den Bild¬ schirm des mobilen Kommunikationsgeräts richtet, kann das mo¬ bile Kommunikationsgerät eine geeignete Warnung an den Fahrer ausgeben . According to a further embodiment of the method ne ¬ ben monitoring the attention of the driver may apply the ¬ acquisition of control of the vehicle by the driver by means of the mobile communications device can be ensured. For example, if Festge of the mobile communication device ¬ is that, despite a request to take over the driving ¬ task the driver's eyes more focused on the image ¬ screen of the mobile communication device for too long, the mo ¬ bile communication device can output an appropriate warning to the driver ,

Zur Ausgabe einer Warnung kann beispielsweise der Bildschirm¬ inhalt einer Anwendung des mobilen Kommunikationsgeräts durch ein vollflächiges Bild (Popup) überlagert werden, auf dem zur Übernahme des Fahrzeugs durch den Fahrer aufgefordert wird. Auf dem Bildschirm können neben der Übernahmeaufforderung zu¬ sätzliche Informationen angezeigt werden, die die Übernahme der Kontrolle des Fahrzeugs durch den Fahrer erleichtern. Beispielsweise kann die aktuelle Fahrsituation, zum Beispiel in Form einer Umgebungsansicht (Surround View) mit überlager¬ ten Informationen zur Geschwindigkeit der anderen Verkehrs¬ teilnehmer oder eine besondere Gefahrensituation mittels Farbmarkierung angezeigt werden. For issuing a warning screen ¬ content of an application of the mobile communication device by a solid image (pop-up) may be superimposed, for example, is requested to the to acquire the vehicle by the driver. On the screen can be displayed for ¬ additional information to facilitate the taking of control of the vehicle by the driver in addition to the takeover request. For example, the current driving situation, for example (SurroundView) are displayed with superimposed ¬ th information about the speed of the other transport ¬ subscriber or a particular danger situation by means of color marking in the form of an environmental view.

Gemäß einer weiteren Ausführungsform des Verfahrens kann auf dem mobilen Kommunikationsgerät eine Vorabwarnung ausgegeben werden, wenn das Fahrassistenzsystem eine kritische Fahrsitu¬ ation erkennt, die potenziell eine Übernahme der Kontrolle des Fahrzeugs durch den Fahrer erfordert. Neben der Ausgabe eines Warntons kann eine laufende Tonausgabe auf dem mobilen Kommunikationsgerät unterbrochen werden. Beispielsweise kann eine Musikausgabe angehalten werden oder ein Telefonat in ei¬ nen Haltemodus versetzt werden, bei dem der Gesprächspartner entsprechend informiert wird. According to another embodiment of the process of advance warning can be displayed on the mobile communication device when the driving assistance system detects a critical driving ¬ situ ation that potentially requires a transfer of control of the vehicle by the driver. In addition to the issue of a warning tone, a running sound output on the mobile communication device can be interrupted. For example, a music output can be stopped or a telephone call in egg ¬ NEN hold mode are mixed, wherein the caller is informed accordingly.

Neben geänderten Anzeigeninhalten auf dem mobilen Endgerät können zusätzlich Vorwarnungen akustisch und/oder taktil aus¬ gegeben werden. Das mobile Kommunikationsgerät kann bei¬ spielsweise in eine Vibration versetzt werden. Zusätzlich kann von dem Fahrassistenzsystem eine Sitzvibration aktiviert werden . Besides changed display contents on the mobile terminal alerts may be audible and / or tactile given from ¬ addition. The mobile communication device can play mixed at ¬ in vibration. In addition, a seat vibration can be activated by the driver assistance system.

Die Art der Warnung beziehungsweise Informationsausgabe auf dem mobilen Kommunikationsgerät kann an die zeitliche Kriti- kalität der Übernahme der Kontrolle des Fahrzeugs durch den Fahrer angepasst werden. Je dringlicher die Übernahme des Fahrzeugs durch den Fahrer ist, desto prägnanter und stärker kann auf dem mobilen Endgerät eine Warnung ausgegeben werden The type of warning or information output on the mobile communication device can be adapted to the temporal criticality of taking over the control of the vehicle by the driver. The more urgent the transfer of the vehicle by the driver, the more concise and stronger can be issued on the mobile device a warning

Durch das angegebene Verfahren zur Interaktion eines Fahras¬ sistenzsystems mit einem Fahrer wird ein mobiles Kommunikati¬ onsgerät, mit dem sich der Fahrer während des automatisierten Fahrens oftmals beschäftigt und das somit oftmals ursächlich für eine Reduzierung der erforderlichen Aufmerksamkeit des Fahrers ist, in die Überwachung des Zustande des Fahrers be¬ ziehungsweise in die Überwachung der Fahrzeugübernahme durch den Fahrer eingebunden. Dazu wird eine Kommunikationsverbin¬ dung zwischen dem mobilen Kommunikationsgerät und dem Fahras¬ sistenzsystem beziehungsweise der Fahrzeugelektronik sowie eine geeignete Gestaltung einer Bedienoberfläche des mobilen Endgeräts geschaffen. Durch das Unterbinden einer Nebentätig¬ keit, beispielsweise dem Surfen im Internet oder dem Bearbei¬ ten von e-mails, auf dem mobilen Endgerät, wird die notwendi¬ ge Aufmerksamkeit des Fahrers zur Übernahme der Kontrolle über das Fahrzeug während einer kritischen Fahrsituation er¬ höht, so dass der Fahrer dadurch schnellstmöglich in der Lage ist, die Steuerung des Fahrzeugs zu übernehmen. By the specified method of interaction of a Fahras ¬ sistenzsystems with a driver is a mobile Kommunikati ¬ onsgerät with which the driver often busy during the automatic driving and therefore often is the cause of a reduction of the driver's required attention, in the monitoring State of the driver ¬ as in the monitoring of the vehicle acquisition by involved the driver. For this purpose a Kommunikationsverbin ¬ connection between the mobile communications device and the Fahras ¬ sistenzsystem or the vehicle electronics and a suitable design of a user interface of the mobile terminal is provided. By prohibiting a sideline ¬ ness, such as surfing the Internet or the machining ¬ th e-mails on the mobile device, the driver notwendi ¬ ge attention to the acquisition of control of the vehicle during a critical driving situation is he ¬ höht so that the driver is thereby able to take control of the vehicle as quickly as possible.

Zur Ausführung des Verfahrens kann eine Anwendung (App) auf dem mobilen Kommunikationsgerät gestartet werden. Ein Spei¬ chermedium zur Speicherung eines Computerprogramms zur Imple mentierung eines Verfahrens zur Interaktion eines Fahrassis¬ tenzsystems mit einem Fahrer eines Fahrzeugs zur Ausführung durch einen Prozessor eines mobilen Kommunikationsgerätes is im Patentanspruch 9 angegeben. To execute the method, an application (app) can be started on the mobile communication device. A SpeI ¬ chermedium for storing a computer program for imple mentation of a method of interaction of a driving assisting ¬ tenzsystems marked with a driver of a vehicle for execution by a processor of a mobile communications device is in the patent claim. 9

Das mobile Kommunikationsgerät kann beispielsweise ein The mobile communication device may include, for example

Smartphone oder ein tragbarer Computer, beispielsweise ein Notebook oder ein Tablet-PC, sein. Beim Ausführen des Compu¬ terprogramms beziehungsweise der App wird zwischen dem Fahr¬ assistenzsystem und dem mobilen Kommunikationsgerät eine Kom¬ munikationsverbindung hergestellt. Ein Zustand des Fahrers wird ermittelt. In Abhängigkeit von dem ermittelten Zustand des Fahrers und/oder einer von dem Fahrassistenzsystem ermit¬ telten Fahrsituation des Fahrzeugs wird das mobile Kommunika¬ tionsgerät in einen Betriebszustand gesteuert. Smartphone or a portable computer, such as a notebook or a tablet PC. In carrying out the Compu ¬ terprogramms or the app a Kom ¬ munikationsverbindung is established between the driving assistance system ¬ and the mobile communication device. A condition of the driver is detected. Depending on the determined state of the driver and / or a ermit ¬ telten of the driving assistance system driving situation of the vehicle, the mobile communica ¬ tion device is controlled in an operating state.

Die Erfindung wird im Folgenden anhand von Figuren, die Aus¬ führungsbeispiele der vorliegenden Erfindung zeigen, näher erläutert. Es zeigen: The invention will be explained in more detail below with reference to figures which show exemplary embodiments of the present invention. Show it:

Figur 1 ein Fahrzeug mit einem Fahrassistenzsystem zum au¬ tomatisierten Fahren, Figur 2 eine Ausführungsform eines Fahrassistenzsystems und eines mobilen Kommunikationsgerätes zum Durchführen eines Verfahrens zur Interaktion mit einem Fahrer eines Fahrzeugs beim automatisierten Fahren. 1 shows a vehicle with a driver assistance system for au ¬ tomatisierten driving, FIG. 2 shows an embodiment of a driver assistance system and a mobile communication device for carrying out a method for interacting with a driver of a vehicle during automated driving.

Figur 1 zeigt ein Fahrzeug 1, das zum hochautomatisierten Fahren ausgebildet ist. Das Fahrzeug umfasst ein Fahrassis¬ tenzsystem 10, das in einem aktivierten Zustand zum automati¬ sierten Steuern des Fahrzeugs 1 ausgebildet ist. Trotz der Fähigkeit des Fahrassistenzsystems, das Fahrzeug in vielen möglichen Fahrsituationen automatisiert zu steuern, können Situationen auftreten, die von dem Fahrassistenzsystem nicht bewältigt werden können, so dass es notwendig ist, die Kon¬ trolle der Steuerung des Fahrzeugs an den Fahrer abzugeben. Figure 1 shows a vehicle 1, which is designed for highly automated driving. The vehicle includes a driving assistance system ¬ assistants 10, which is formed in an activated state to automatic ¬ overbased controlling the vehicle. 1 Despite the ability of the driver assistance system to automatically control in many driving situations, the vehicle, situations may arise that can not be handled by the driver assistance system so that it is necessary to cast the con ¬ troll control of the vehicle to the driver.

Dazu muss sichergestellt werden, dass der Fahrer während des automatisierten Fahrens die erforderliche Aufmerksamkeit bei¬ behält, um die Kontrolle über das Fahrzeug in einer kriti¬ schen Verkehrssituation möglichst schnell übernehmen zu kön¬ nen. Neben einer möglichen Müdigkeit des Fahrers kann die Aufmerksamkeit insbesondere durch die Beschäftigung mit einem mobilen Kommunikationsgerät, das beispielsweise ein Mobilte¬ lefon, ein Smartphone oder ein tragbarer Computer, beispiels¬ weise ein Notebook oder ein Tablet PC, sein kann, reduziert werden. Ein derartiges mobiles Kommunikationsgerät wird gemäß dem erfindungsgemäßen Verfahren zur Interaktion des Fahras¬ sistenzsystems mit dem Fahrer in die Überwachung der Aufmerk¬ samkeit des Fahrers beziehungsweise in die Überwachung der Übernahme der Kontrolle des Fahrzeugs durch den Fahrer einbe¬ zogen . These must be ensured that the driver maintains the required attention in ¬ during the automated driving, for control of the vehicle in a criti ¬ European transport situation take over as quickly as possible to Kings ¬ nen. Besides a possible driver fatigue, attention can particularly through the study of a mobile communication device such as a Mobilte ¬ LePhone, a smartphone or a portable computer, example ¬ as a notebook or a tablet PC, may be reduced. Such a mobile communication device is according to the inventive method for interaction of the Fahras ¬ assistance system with the driver in the monitoring of the attentiveness ¬ sity of the driver or in the monitoring of the acquisition of control of the vehicle by the driver einbe ¬ attracted.

Figur 2 zeigt eine Ausführungsform des Fahrassistenzsystems 10 und eines mobilen Kommunikationsgerätes 20, beispielsweise eines Smartphones, zwischen denen eine Kommunikationsverbin¬ dung herstellbar ist. Wie oben bereits ausgeführt, kann das mobile Kommunikationsgerät auch ein tragbarer Computer, bei- spielsweise ein Notebook oder ein Tablet PC, sein. Das Fahr¬ assistenzsystem 10 wird im aktivierten Zustand zum automati¬ sierten Steuern des Fahrzeugs 1 betrieben. Das mobile Kommu¬ nikationsgerät 20 wird im eingeschalteten Zustand in einem von mehreren möglichen Betriebszuständen zur Kommunikation mit dem Fahrer betrieben. Zwischen dem Fahrassistenzsystem 10 und dem mobilen Kommunikationsgerät 20 wird eine Kommunikati¬ onsverbindung hergestellt. Dazu sind beispielsweise verschie¬ denste kabelgebundene oder kabellose Übertragungsstandards nutzbar. Beispielsweise können bestehende Standards zur Ton- und Bildübertragung genutzt werden. Figure 2 shows an embodiment of the driving assistance system 10 and a mobile communications device 20, such as a smartphone, between which a Kommunikationsverbin ¬ dung is produced. As already explained above, the mobile communication device can also be a portable computer, while For example, a notebook or a tablet PC, his. The driving assistance system ¬ 10 is operated in the activated state to the automatic ¬ overbased controlling the vehicle. 1 The mobile commu ¬ nikationsgerät 20 is operated in the on state in one of several possible operating conditions for communication with the driver. Between the driver assistance system 10 and the mobile communication device 20 a Kommunikati ¬ onsverbindung is made. For this example, various ¬ denste wired or wireless transmission standards are available. For example, existing standards for sound and image transmission can be used.

Das Verfahren sieht vor, dass durch das Fahrassistenzsystem 10 oder durch das mobile Kommunikationsgerät 20 ein Zustand des Fahrers ermittelt wird und/oder dass durch das Fahrassis¬ tenzsystem 10 eine Fahrsituation des Fahrzeugs 1 ermittelt wird. Das mobile Kommunikationsgerät 20 wird in Abhängigkeit von dem ermittelten Zustand des Fahrers und/oder der ermit¬ telten Fahrsituation in einen der möglichen Betriebszustände gesteuert. The method provides that a state of the driver is detected by the driver assistance system 10, or by the mobile communication device 20 and / or that is detected by the driving assistance system 10 Assisting ¬ a driving situation of the vehicle. 1 The mobile communications device 20 is controlled in function of the determined state of the driver and / or the ermit ¬ telten driving situation in one of the possible operating states.

Wenn beispielsweise ermittelt wird, dass sich der Fahrer in einem Zustand mangelnder Aufmerksamkeit befindet, wird das mobile Kommunikationsgerät in einen Betriebszustand gesteu- ert, durch den die Aufmerksamkeit des Fahrers erhöht wird. In dem besagten Betriebszustand kann das mobile Kommunikations¬ gerät 20 beispielsweise ein akustisches Signal erzeugen. Des Weiteren kann das mobile Kommunikationsgerät 20 ein optisches Warnsignal ausgeben. Auf einem Bildschirm 22 des mobilen Kom- munikationsgeräts kann beispielsweise ein im Vergleich zu ei¬ ner laufenden Anwendung geänderter Anzeigeinhalt dargestellt werden. Eine weitere Möglichkeit, die Aufmerksamkeit des Fah¬ rers zu erhöhen besteht darin, dass das mobile Kommunikati¬ onsgerät ein Signal taktil ausgibt. Das mobile Kommunikati- onsgerät kann beispielsweise in einen Betriebszustand gesteu¬ ert werden, in dem es anfängt zu vibrieren. Wenn von dem Fahrassistenzsystem eine aktuell kritische oder eine in Kürze eintretende kritische Fahrsituation ermittelt wird, in der das Fahrassistenzsystem wahrscheinlich nicht mehr in der Lage ist, das Fahrzeug automatisiert zu steuern, kann das mobile Kommunikationsgerät von dem Fahrassistenzsys¬ tem ebenfalls in den Betriebszustand gesteuert werden, in dem die Aufmerksamkeit des Fahrers erhöht wird, indem in dem be¬ sagten Betriebszustand beispielsweise eine Warnung ausgegeben wird, die den Fahrer darauf aufmerksam macht, dass er in Kür¬ ze voraussichtlich die Steuerung des Fahrzeugs selbst über¬ nehmen muss. For example, when it is determined that the driver is in a state of lack of attention, the mobile communication device is controlled to an operating state that increases the driver's attention. In said operating state of the mobile communication device 20 may ¬ for example, generate an acoustic signal. Furthermore, the mobile communication device 20 may output an optical warning signal. On a screen 22 of the mobile com- munikationsgeräts can be clearly visible compared to ei ¬ ner running application changed display content, for example. Another way to increase the attention of the Fah ¬ RERS is that the mobile Kommunikati ¬ onsgerät outputs a signal tactile. The mobile communication onsgerät example, can be gesteu ¬ ert in which it begins to vibrate in an operating state. When a current critical or entering shortly critical driving situation is detected by the driving support system in which the driving assistance system is probably no longer in a position to control the vehicle automatically, the mobile communication device can be also controlled by the Fahrassistenzsys ¬ system in the operating state in which the driver's attention is increased by, for example, a warning is issued in the be ¬ said operating condition that makes the driver aware that he expected to have to take over ¬ ¬ ze in freestyle control of the vehicle itself.

Zum Detektieren eines Verhaltens des Fahrers kann das mobile Kommunikationsgerät 20 mit mindestens einem aktivierbaren Sensor 21 bereitgestellt werden. Das Verhalten des Fahrers wird dann durch den mindestens einen Sensor 21 von dem mobi¬ len Kommunikationsgerät 20 detektiert. In Abhängigkeit von dem detektierten Verhalten des Fahrers kann anschließend der Zustand des Fahrers ermittelt werden. Dies kann durch Auswer¬ ten des detektierten Verhaltens des Fahrers durch das mobile Kommunikationsgerät 20 erfolgen. Es ist auch möglich, dass Sensordaten des Sensors 21 zu dem Fahrassistenzsystem 10 übertragen und dort ausgewertet werden. Das Ermitteln des Zu¬ Stands des Fahrers erfolgt dann in Abhängigkeit von den über¬ tragenen Sensordaten durch das Fahrassistenzsystem 10. In diesem Fall wird in Abhängigkeit von dem ermittelten Zustand des Fahrers das mobile Kommunikationsgerät 20 durch das Fahr¬ assistenzsystem 10 über die hergestellte Kommunikationsver¬ bindung in den besagten Betriebszustand gesteuert, um die Aufmerksamkeit des Fahrers zu erhöhen. For detecting a behavior of the driver, the mobile communication device 20 may be provided with at least one activatable sensor 21. The behavior of the driver is then detected by the at least one sensor 21 from the mobi ¬ len communication device 20. Depending on the driver's detected behavior, the condition of the driver can then be determined. This can be done by Auswer ¬ th of the driver's behavior detected by the mobile communication device 20th It is also possible that sensor data of the sensor 21 is transmitted to the driver assistance system 10 and evaluated there. Determining the then occurs to ¬ article of the driver in dependence on the transmitted through ¬ sensor data by the driving assist system 10. In this case, the mobile communication device 20 made in function of the determined state of the driver through the accelerator ¬ assist system 10 via the Kommunikationsver ¬ Control in the said operating state controlled to increase the attention of the driver.

Das mobile Kommunikationsgerät 20 kann beispielsweise mit ei¬ ner Kamera 21a als Sensor zur Aufnahme eines Bildes bereitge¬ stellt werden. Mittels der Kamera 21a wird ein Bild des Fah¬ rers aufgenommen. Der Zustand des Fahrers wird dann in Abhän¬ gigkeit von dem aufgenommenen Bild des Fahrers ermittelt. Gemäß einer weiteren Ausführungsform des Verfahrens kann das mobile Kommunikationsgerät 20 mit einer Tastatur 21b als ak¬ tivierbarem Sensor zur Eingabe von Daten bereitgestellt wer¬ den. Der Zustand des Fahrers kann dann beispielsweise in Ab- hängigkeit von einer Eingabe der Daten über die Tastatur 21b ermittelt werden. Es kann beispielsweise überprüft werden, ob der Fahrer während einer auf dem mobilen Kommunikationsgerät laufenden Anwendung noch Eingaben tätigt, woraus geschlossen werden kann, dass sich der Fahrer noch in einem wachen Zu- stand befindet. Die von der Kamera beziehungsweise der Über¬ wachung der Tastatur ermittelten Sensordaten können an das Fahrassistenzsystem zur Auswertung und zur Ermittlung des Zu¬ Stands des Fahrers übertragen werden. Die Auswertung der Sen¬ sordaten kann auch direkt durch das mobile Kommunikationsge- rät erfolgen, sodass das mobile Kommunikationsgerät 20 den Zustand des Fahrers ermitteln kann. The mobile communications device 20 can be, for example, egg ¬ ner camera 21a as a sensor for acquiring an image bereitge ¬ represents. Means 21a of the camera is capturing an image of the Fah ¬ RERS. The driver's condition is then determined in depen ¬ dependence of the captured image of the driver. According to a further embodiment of the method the mobile communication device 20 may be provided with a keyboard 21b as ak ¬ tivierbarem sensor for inputting data ¬ the. The state of the driver can then be determined, for example, as a function of an input of the data via the keyboard 21b. It can be checked, for example, whether the driver is still making entries during an application running on the mobile communication device, from which it can be concluded that the driver is still in an awake state. The sensor data obtained from the camera or the over ¬ monitoring the keyboard can be transmitted to the driving assistance system for evaluation and determination of the driver to ¬ article. The evaluation of the Sen can sordaten ¬ also be carried out directly by the mobile communication device so that the mobile communication device 20 can determine the state of the driver.

Gemäß einer weiteren Ausführungsform des Verfahrens wird das mobile Kommunikationsgerät 20 nach dem Einschalten in einem ersten Betriebszustand zur Kommunikation mit dem Fahrer be¬ trieben. Der erste Betriebszustand des mobilen Kommunikati¬ onsgeräts 20 wird beibehalten, wenn ein erster Zustand des Fahrers, beispielsweise ein Zustand der ausreichenden Auf¬ merksamkeit beziehungsweise Wachheit, ermittelt wird und/oder wenn festgestellt wird, dass das Fahrzeug 1 in der ermittel¬ ten Fahrsituation mittels des Fahrassistenzsystems 10 weiter¬ hin automatisiert steuerbar ist. Andererseits wird das mobile Kommunikationsgerät 20 in einen zweiten, von dem ersten Be¬ triebszustand verschiedenen Betriebszustand gesteuert, wenn ein zweiter Zustand des Fahrers, beispielsweise ein Zustand der mangelnden Aufmerksamkeit beziehungsweise reduzierten Wachheit, ermittelt wird und/oder wenn festgestellt wird, dass das Fahrassistenzsystem 10 aufgrund der ermittelten Fahrsituation nicht in der Lage ist, das Fahrzeug 1 automati- siert zu steuern. According to a further embodiment of the method, the mobile communication device 20 after switching on in a first operating state for communication with the driver be ¬ driven. The first operating state of the mobile Kommunikati ¬ onsgeräts 20 is maintained when a first condition of the driver, for example a state of sufficient on ¬ attention or arousal is determined and / or when it is determined that the vehicle 1 in the ermittel ¬ th driving situation by means of the driver assistance system 10 is further automated ¬ controlled. On the other hand, the mobile communication device 20 is controlled different operating state into a second, operational state of the first Be ¬ when a second condition of the driver, for example a state of lack of attention or reduced wakefulness, is determined and / or when it is determined that the driver assistance system 10 Due to the determined driving situation is not able to control the vehicle 1 automatically.

Wenn zum Beispiel festgestellt wird, dass das Fahrzeug 1 auf- grund einer nicht beherrschbaren kritischen Verkehrssituation von dem Fahrassistenzsystem 10 nicht mehr automatisiert ge¬ steuert werden kann, sodass der Fahrer in Kürze die Kontrolle über das Fahrzeug übernehmen muss und zudem ein Zustand des Fahrers festgestellt wird, in dem der Fahrer beispielsweise seine Augen zu lange auf den Bildschirm des mobilen Kommuni¬ kationsgeräts richtet, kann das mobile Kommunikationsgerät in den zweiten Betriebszustand gesteuert werden, in dem von dem mobilen Kommunikationsgerät eine Warnung zum Erhöhen der Auf¬ merksamkeit des Fahrers ausgegeben wird. For example, if it is determined that the vehicle 1 is not automated fundamentally an uncontrollable critical traffic situation from the driver assistance system 10 ge ¬ can be controlled so that the driver must take control of the vehicle shortly and also a condition of the driver is detected, in which the driver, for example, his eyes too long on directed the screen of the mobile communication ¬ kationsgeräts, the mobile communication device can be controlled in the second operating state in which is issued by the mobile communication device, a warning for increasing the attention of ¬ the driver.

Gemäß einer weiteren möglichen Ausführungsform des Verfahrens kann in dem ersten Betriebszustand des mobilen Kommunikati¬ onsgeräts 20 eine Anwendung auf dem mobilen Kommunikationsge- rät betrieben werden. Im zweiten Betriebszustand des mobilen Kommunikationsgeräts 20 erfolgt ein Unterbrechen der Anwen¬ dung. Wenn zum Beispiel der Zustand der mangelnden Aufmerk¬ samkeit des Fahrers festgestellt wird oder der Fahrer auf ei¬ ne potenzielle Übernahme der Kontrolle des Fahrzeugs hinge- wiesen werden soll, wird eine aktuell laufende Anwendung auf dem mobilen Kommunikationsgerät unterbrochen und stattdessen ein vollflächiges Bild, durch das der Fahrer beispielsweise zur Übernahme des Fahrzeugs aufgefordert wird, auf dem Bild¬ schirm angezeigt. According to another possible embodiment of the method, an application on the mobile Kommunikationsge- advises be operated in the first operating state of the mobile Kommunikati ¬ onsgeräts 20th In the second operating state of the mobile communication device 20 interrupting the appli ¬-making is carried out. For example, the state when the lack of atten ¬ ness of the driver is detected or the driver should be reported hinge on ei ¬ ne potential takeover of control of the vehicle, a currently running application on the mobile communication device is interrupted and instead a solid image by the driver is requested to take over the vehicle, for example, displayed on the screen ¬ .

Im zweiten Betriebszustand des mobilen Kommunikationsgerätes 20 kann des Weiteren beispielsweise eine zu quittierende Mel¬ dung auf dem Bildschirm 22 ausgegeben werden, die einen Warn¬ hinweis enthält, der den Fahrer auf eine baldige Übernahme der Kontrolle des Fahrzeugs hinweist oder die lediglich der Erhöhung der Aufmerksamkeit des Fahrers dient. Wenn auf die Meldung eine externe Eingabe durch den Fahrer erfolgt, ist davon auszugehen, dass der Fahrer die notwendige Aufmerksam¬ keit besitzt. Das mobile Kommunikationsgerät 20 kann dann von dem zweiten wieder in den ersten Betriebszustand gesteuert werden, in dem beispielsweise die laufende Anwendung fortge¬ setzt wird. Das Verfahren zur Interaktion des Fahrassistenzsystems mit dem Fahrer kann größtenteils durch eine eigenständige Anwen¬ dung (App) ausgeführt werden. Die App kann als ein Computer¬ programm zur Implementierung des Verfahrens zur Interaktion mit dem Fahrer ausgebildet sein, die auf einem Speichermedium 23 des mobilen Kommunikationsgerätes 20 gespeichert ist, wo¬ bei das Computerprogramm durch einen Prozessor 24 des mobilen Kommunikationsgerätes ausführbar ist. Bei der Ausführung ei¬ ner solchen Anwendung wird zunächst eine Kommunikationsver¬ bindung zwischen dem mobile Kommunikationsgerät 20 und dem Fahrassistenzsystem 10 hergestellt. Anschließend wird der Zu¬ stand des Fahrers durch den Sensor 21 des mobilen Kommunika¬ tionsgerätes oder durch das Fahrassistenzsystem 10 ermittelt. Das mobile Kommunikationsgerät 20 wird dann in Abhängigkeit von dem ermittelten Zustand des Fahrers und/oder einer von dem Fahrassistenzsystem 10 ermittelten Fahrsituation des Fahrzeugs in einen Betriebszustand gesteuert. In the second operating state of the mobile communication device 20 may be further output, for example a to be acknowledged Mel ¬ dung on the screen 22, which includes a warning ¬ note to alert the driver to an early acquisition of control of the vehicle or only to the increase of attention the driver serves. If an external input is performed on the message by the driver is assumed that the driver has the necessary attention ¬ ness. The mobile communications device 20 can then be controlled by the second back to the first operating state in which sets, for example, the running application is fortge ¬. The process for the interaction of the driving assistance system to the driver can be largely replaced by an independent appli ¬ dung (app) is executed. The app can be embodied as a computer program for implementing the method for interacting with the driver, which is stored on a storage medium 23 of the mobile communication device 20, where the computer program can be executed by a processor 24 of the mobile communication device. In the embodiment ei ¬ ner such an application, a Kommunikationsver ¬ connection between the mobile communications device 20 and the driving assist system 10 is first prepared. Subsequently, the determined ¬ to stand the driver by the sensor 21 of the mobile communica tion device ¬ or by the driver assistance system 10th The mobile communication device 20 is then controlled as a function of the determined state of the driver and / or determined by the driving assistance system 10 driving situation of the vehicle in an operating condition.

Bei Ausführung des Computerprogramms wird der mindestens eine Sensor 21 des mobilen Kommunikationsgerätes 20 von dem Pro¬ zessor 24 in einen Zustand zum Detektieren des Verhaltens des Fahrers gesteuert. In Abhängigkeit von dem detektierten Ver¬ halten des Fahrers kann dann der Zustand des Fahrers durch den Prozessor des mobilen Kommunikationsgeräts ermittelt wer¬ den. Je nach Ausbildung des Computerprogramms können die Sen¬ sordaten, die das Verhalten des Fahrers beschreiben, über die Kommunikationsverbindung auch zu dem Fahrassistenzsystem übertragen werden, um dort den Zustand des Fahrers zu ermit¬ teln . In embodiments of the computer program of the at least one sensor 21 of the mobile communications device 20 is controlled by the pro cessor ¬ 24 in a state for detecting the behavior of the driver. In response to the detected Ver ¬ keep the driver can then the state of the driver detected by the processor of the mobile communications device who ¬. Depending on the design of the computer program can be transmitted over the communications link and to the driving assistance system, the Sen ¬ sordaten that describe the behavior of the driver, in order there to ermit ¬ stuffs the state of the driver.

Gemäß einer weiteren Ausführungsform kann der Prozessor 24 bei Ausführung des auf dem Speichermedium 23 gespeicherten Computerprogramms die Kamera 21a des mobilen Kommunikations¬ gerätes 20 derart ansteuern, dass ein Bild des Fahrers aufge¬ nommen wird. Durch Auswerten des aufgenommenen Bildes kann anschließend der Zustand des Fahrers durch den Prozessor 24 oder bei Übertragung der Kameradaten zu dem Fahrassistenzsys¬ tem durch das Fahrassistenzsystem 10 ermittelt werden. According to a further embodiment, the processor 24 can control the camera 21a of the mobile communication device 20 such ¬ upon execution of the program from the storage medium 23 a computer program that an image of the driver will be ¬ taken. By evaluating the recorded image, the state of the driver can then be determined by the processor 24 or determined in transmitting the camera data to the Fahrassistenzsys ¬ system by the driver assistance system 10th

Gemäß einer weiteren Ausführungsform kann der Prozessor 24 bei Ausführung des Computerprogramms eine Eingabe von Daten über die Tastatur 21b des mobilen Kommunikationsgerätes 20 feststellen. In Abhängigkeit von der Eingabe der Daten über die Tastatur 21b kann anschließend der Zustand des Fahrers durch den Prozessor 24 des mobilen Kommunikationsgerätes selbst oder durch das Fahrassistenzsystem 10 ermittelt wer¬ den . In accordance with another embodiment, the processor 24 may detect input of data via the keyboard 21b of the mobile communication device 20 upon execution of the computer program. In response to input the data via the keyboard 21b can then the state of the driver detected by the processor 24 of the mobile communications device itself or by the driver assistance system 10 who ¬.

Nach Ausführung des Computerprogramms kann der Prozessor 24 das mobile Kommunikationsgerät 20 nach dem Einschalten zu- nächst in einem ersten Betriebszustand zur Kommunikation mit dem Fahrer betreiben. Der erste Betriebszustand des mobile Kommunikationsgerätes 20 wird durch den Prozessor beibehal¬ ten, wenn ein erster Zustand des Fahrers, beispielsweise ein Zustand ausreichender Aufmerksamkeit, ermittelt wird und/oder wenn von dem Fahrassistenzsystem 10 festgestellt wird, dass das Fahrzeug 1 in der ermittelten Fahrsituation mittels des Fahrassistenzsystems 10 weiterhin automatisiert steuerbar ist. Andererseits steuert der Prozessor 24 das mobile Kommu¬ nikationsgerät in einen zweiten, von dem ersten Betriebszu- stand verschiedenen Betriebszustand, wenn ein zweiter Zustand des Fahrers, beispielsweise ein Zustand mangelnder Aufmerk¬ samkeit, ermittelt wird und/oder wenn durch das Fahrassis¬ tenzsystem 10 festgestellt wird, dass das Fahrassistenzsystem 10 aufgrund der ermittelten Fahrsituation nicht in der Lage sein wird, das Fahrzeug 1 weiterhin automatisiert zu steuern. Dazu kann bei Ausführung des Computerprogramms eine Kommuni¬ kation zwischen dem Fahrassistenzsystem 10 und dem mobilen Kommunikationsgerät 20 hergestellt werden. Im ersten Betriebszustand des mobilen Kommunikationsgerätes kann durch den Prozessor 24 beispielsweise eine Anwendung ausgeführt werden. Im zweiten Betriebszustand des mobilen Kommunikationsgerätes unterbricht der Prozessor die Anwen¬ dung. Gemäß einer weiteren Ausführungsform kann der Prozessor bei Ausführung des Computerprogramms den Bildschirm 22 des mobilen Kommunikationsgerätes derart ansteuern, dass im zwei¬ ten Betriebszustand des mobilen Kommunikationsgerätes 20 eine Meldung auf dem Bildschirm 22 ausgegeben wird. Wenn von dem Prozessor 24 festgestellt wird, das auf die Meldung eine ex¬ terne Eingabe erfolgt, kann das mobile Kommunikationsgerät 20 von dem zweiten Betriebszustand wieder in den ersten Be¬ triebszustand gesteuert werden, in dem eine laufende Anwen¬ dung fortgesetzt wird. After execution of the computer program, the processor 24 may initially operate the mobile communication device 20 in a first operating state for communication with the driver after being switched on. The first operating state of the mobile communication device 20 is controlled by the processor beibehal ¬ th, when a first condition of the driver, for example a state of sufficient attention, is determined and / or when it is determined by the driver assistance system 10 that the vehicle 1 in the determined driving situation by means of the driver assistance system 10 is further controlled automatically. On the other hand, the processor 24 controls the mobile communi ¬ nikationsgerät in a second, different from the first operating state operation state when a second condition of the driver, for example a state of lack of atten ¬ ness, is determined and / or when by the driving assisting ¬ assistance system 10 it is determined that the driver assistance system 10 will not be able to continue to automatically control the vehicle 1 due to the determined driving situation. For this purpose, upon execution of the computer program a communi cation ¬ between the driving assistance system 10 and the mobile communication device 20 can be manufactured. In the first operating state of the mobile communication device, for example, an application can be executed by the processor 24. In the second operating state of the mobile Communication device, the processor interrupts the appli ¬ tion. According to another embodiment, the processor may drive the screen 22 of the mobile communications device in such a way in embodiments of the computer program that, in the two ¬ th operation state of the mobile communication device 20 is output a message on the screen 22nd If it is determined by the processor 24, an ex ¬ terne input is made to the message, the mobile communication device 20 can be controlled by the second operational state back to the first loading ¬ operating state in which a current appli ¬-making is continued.

Claims

Patentansprüche claims Verfahren zur Interaktion mit einem Fahrer eines Fahr¬ zeugs beim automatisierten Fahren, umfassend: A method for interacting with a driver of a driving ¬ zeugs in automated driving, comprising: - Bereitstellen eines Fahrassistenzsystems (10), das in einem aktivierten Zustand zum automatisierten Steuern des Fahrzeugs (1) ausgebildet ist, und eines mobilen Kommunikationsgerätes (20), das im eingeschalteten Zu¬ stand in einem von mehreren Betriebszuständen zur Kom¬ munikation mit dem Fahrer betreibbar ist, wobei zwi¬ schen dem Fahrassistenzsystem (10) und dem mobilen Kommunikationsgerät (20) eine Kommunikationsverbindung herstellbar ist, - Providing a driver assistance system (10), which is formed in an activated state for automated control of the vehicle (1), and a mobile communication device (20) in the switched to ¬ stand in one of several operating states for communication with the ¬ communi ¬ is operable, wherein zwi ¬ rule the driver assistance system (10) and the mobile communication device (20) a communication link is produced, - Aktivieren des Fahrassistenzsystems (10) zum automati¬ sierten Steuern des Fahrzeugs, - activating the driver assistance system (10) for automatic ¬ overbased controlling the vehicle, - Einschalten des mobilen Kommunikationsgerätes (20) zur Kommunikation mit dem Fahrer,  Switching on the mobile communication device (20) for communication with the driver, - Herstellen der Kommunikationsverbindung zwischen dem Fahrassistenzsystem (10) und dem mobilen Kommunikati¬ onsgerät (20) , - establishment of the communication connection between the driving assistance system (10) and the mobile Kommunikati ¬ onsgerät (20) - Ermitteln eines Zustande des Fahrers durch das Fahras¬ sistenzsystem (10) oder durch das mobile Kommunikati¬ onsgerät (20) und/oder Ermitteln einer Fahrsituation des Fahrzeugs (1) durch das Fahrassistenzsystem (10),- determining a state of the driver by the Fahras ¬ sistenzsystem (10) or by the mobile Kommunikati ¬ onsgerät (20) and / or determining a driving situation of the vehicle (1) by the driver assistance system (10), - Steuern des mobilen Kommunikationsgerätes (20) in ei¬ nen der Betriebszustände in Abhängigkeit von dem er¬ mittelten Zustand des Fahrers und/oder der ermittelten Fahrsituation. - controlling the mobile communication device (20) into a ¬ NEN the operating conditions depending on which it ¬ mediated condition of the driver and / or the driving situation determined. Verfahren nach Anspruch 1, umfassend: The method of claim 1, comprising: - Bereitstellen des mobilen Kommunikationsgerätes (20) mit mindestens einem aktivierbaren Sensor (21) zum De- tektieren eines Verhalten des Fahrers,  Providing the mobile communication device (20) with at least one activatable sensor (21) for detecting a behavior of the driver, - Detektieren des Verhaltens des Fahrers durch den min¬ destens einen Sensor (21), - detecting the behavior of the driver through the min ¬ least one sensor (21), - Ermitteln des Zustande des Fahrers in Abhängigkeit von dem detektierten Verhalten des Fahrers. Verfahren nach einem der Ansprüche 1 oder 2, umfassend:- Determining the state of the driver depending on the detected behavior of the driver. Method according to one of claims 1 or 2, comprising: - Bereitstellen des mobilen Kommunikationsgerätes (20) mit einer Kamera (21a) zur Aufnahme eines Bildes,Providing the mobile communication device (20) with a camera (21a) for taking a picture, - Aufnehmen eines Bildes des Fahrers mittels der Kamera (21a) , Taking a picture of the driver by means of the camera (21a), - Ermitteln des Zustande des Fahrers in Abhängigkeit von dem aufgenommenen Bild des Fahrers.  - Determining the state of the driver depending on the recorded image of the driver. Verfahren nach einem der Ansprüche 1 bis 3, umfassend:Method according to one of claims 1 to 3, comprising: - Bereitstellen des mobilen Kommunikationsgerätes (20) mit einer Tastatur (21b) zur externen Eingabe von Da¬ ten, Providing the mobile communication device (20) with a keyboard (21b) for the external input of data , - Ermitteln des Zustande des Fahrers in Abhängigkeit von einer Eingabe der Daten über die Tastatur (21b) des mobilen Kommunikationsgerätes (20).  - Determining the state of the driver in response to an input of the data via the keyboard (21b) of the mobile communication device (20). Verfahren nach einem der Ansprüche 1 bis 4, umfassend:Method according to one of claims 1 to 4, comprising: - Betreiben des mobilen Kommunikationsgerätes (20) nach dem Einschalten in einem ersten der Betriebszustände zur Kommunikation mit dem Fahrer, Operating the mobile communication device (20) after switching on in a first of the operating states for communication with the driver, - Beibehalten des ersten Betriebszustands des mobilen Kommunikationsgerätes (20), wenn ein erster Zustand des Fahrers ermittelt wird und/oder festgestellt wird, dass das Fahrzeug (1) in der ermittelten Fahrsituation mittels des Fahrassistenzsystems (10) automatisiert steuerbar ist,  - Maintaining the first operating state of the mobile communication device (20) when a first state of the driver is determined and / or it is determined that the vehicle (1) in the determined driving situation by means of the driving assistance system (10) is automatically controlled, - Steuern des mobilen Kommunikationsgerätes (20) in ei¬ nen zweiten von dem ersten Betriebszustand verschiede¬ nen Betriebszustand, wenn ein zweiter Zustand des Fah¬ rers ermittelt wird und/oder festgestellt wird, dass das Fahrassistenzsystem (10) aufgrund der ermittelten Fahrsituation nicht in der Lage ist, das Fahrzeug (1) automatisiert zu steuern. - controlling the mobile communication device (20) into a ¬ NEN second Various ¬ nen from the first operating state operation state when a second state of Fah ¬ RERS is determined and / or it is determined that the driver assistance system (10) based on the determined driving situation not in capable of automatically controlling the vehicle (1). Verfahren nach Anspruch 5, umfassend: The method of claim 5, comprising: - Betreiben einer Anwendung auf dem mobilen Kommunikati- onsgerät (20) im ersten Betriebszustand des mobilen Kommunikationsgerätes (20), - operating an application on the mobile communication Onsgerät (20) in the first operating state of the mobile communication device (20), - Unterbrechen der Anwendung auf dem mobilen Kommunika¬ tionsgerät (20) im zweiten Betriebszustand des mobilen Kommunikationsgerätes (20). - interrupting the application on the mobile communica ¬ tion device (20) in the second operating state of the mobile communication device (20). 7. Verfahren nach einem der Ansprüche 5 oder 6, umfassend: 7. The method according to any one of claims 5 or 6, comprising: - Ausgeben einer Meldung auf einem Bildschirm (22) des mobilen Kommunikationsgerätes (20) im zweiten Be¬ triebszustand des mobilen Kommunikationsgerätes (20),- outputting a message on a screen (22) of the mobile communications device (20) in the second Be ¬ operating state of the mobile communication device (20), - Steuern des mobilen Kommunikationsgerätes (20) von dem zweiten in den ersten Betriebszustand, wenn auf die Meldung eine externe Eingabe erfolgt. - controlling the mobile communication device (20) from the second to the first operating state, when the message is an external input. 8. Verfahren nach einem der Ansprüche 1 bis 7, wobei das mobile Kommunikationsgerät (20) als ein Smartphone oder ein tragbarer Computer ausgebildet ist. 8. The method of claim 1, wherein the mobile communication device is configured as a smartphone or a portable computer. Speichermedium zur Speicherung eines Computerprogramms zur Implementierung eines Verfahrens zur Interaktion mit einem Fahrer eines Fahrzeugs beim automatisierten Fah¬ ren, wobei das Verfahren durch einen Prozessor eines mo¬ bilen Kommunikationsgerätes ausführbar ist und der Pro¬ zessor bei Ausführung des Computerprogramms die folgen¬ den Verfahrensschritte ausführt: Storage medium for storing a computer program for implementing a method for interacting with a driver of a vehicle in the automated Fah ¬ reindeer, the method being executable by a processor of a mo ¬ bilen communication device and the Pro ¬ cessor upon execution of the computer program which follow ¬ executes the process steps : - Herstellen einer Kommunikationsverbindung zwischen dem Fahrassistenzsystem (10) und dem mobilen Kommunikati¬ onsgerät (20) , - establishing a communications link between the driver assistance system (10) and the mobile Kommunikati ¬ onsgerät (20) - Ermitteln eines Zustande des Fahrers,  Determining a condition of the driver, - Steuern des mobilen Kommunikationsgerätes (20) in ei¬ nen Betriebszustand in Abhängigkeit von dem ermittel¬ ten Zustand des Fahrers und/oder einer von dem Fahras¬ sistenzsystem (10) ermittelten Fahrsituation des Fahr¬ zeugs ( 1 ) . Speichermedium nach Anspruch 9, wobei der Prozessor bei Ausführung des Computerprogramms die folgenden Verfah¬ rensschritte ausführt: - controlling the mobile communication device (20) into a ¬ NEN operating state in response to the ermittel ¬ th state of the driver and / or determined by the Fahras ¬ sistenzsystem (10) driving situation of the driving ¬ truck (1). The storage medium of claim 9, wherein the processor performs the following procedural ¬ rensschritte upon execution of the computer program: - Detektieren des Verhaltens des Fahrers durch mindes¬ tens einen Sensor (21) des mobilen Kommunikationsgerä¬ tes (20), - detecting the behavior of the driver by Minim ¬ least one sensor (21) of the mobile Kommunikationsgerä ¬ tes (20) - Ermitteln des Zustande des Fahrers in Abhängigkeit von dem detektierten Verhalten des Fahrers.  - Determining the state of the driver depending on the detected behavior of the driver. Speichermedium nach einem der Ansprüche 9 oder 10, wobei der Prozessor bei Ausführung des Computerprogramms die folgenden Verfahrensschritte ausführt: The storage medium according to claim 9 or 10, wherein the processor executes the following method steps when executing the computer program: - Aufnehmen eines Bildes des Fahrers mittels einer Kame¬ ra (21a) des mobilen Kommunikationsgerätes (20),- receiving a driver image by a Kame ¬ ra (21a) of the mobile communications device (20), - Ermitteln des Zustande des Fahrers durch Auswerten des aufgenommenen Bildes. - Determining the condition of the driver by evaluating the recorded image. Speichermedium nach einem der Ansprüche 9 bis 11, wobei der Prozessor bei Ausführung des Computerprogramms die folgenden Verfahrensschritte ausführt: The storage medium of any one of claims 9 to 11, wherein the processor executes the following method steps when executing the computer program: - Feststellen einer Eingabe von Daten über eine Tastatur (21b) des mobilen Kommunikationsgerätes (20),  Detecting an input of data via a keyboard (21b) of the mobile communication device (20), - Ermitteln des Zustande des Fahrers in Abhängigkeit von der Eingabe der Daten über die Tastatur (21b) des mo¬ bilen Kommunikationsgerätes (20). - Determining the state of the driver in response to the input of data via the keyboard (21b) of the mo ¬ bilen communication device (20). Speichermedium nach einem der Ansprüche 9 bis 12, wobei der Prozessor bei Ausführung des Computerprogramms die folgenden Verfahrensschritte ausführt: A storage medium according to any one of claims 9 to 12, wherein the processor executes the following method steps when the computer program is executed: - Betreiben des mobilen Kommunikationsgerätes (20) nach dem Einschalten in einem ersten Betriebszustand zur Kommunikation mit dem Fahrer,  Operating the mobile communication device (20) after switching on in a first operating state for communication with the driver, - Beibehalten des ersten Betriebszustands des mobilen Kommunikationsgerätes (20), wenn ein erster Zustand des Fahrers ermittelt wird und/oder von dem Fahrassis¬ tenzsystem (10) festgestellt wird, dass das Fahrzeug (1) in der ermittelten Fahrsituation mittels des Fahr¬ assistenzsystems (10) automatisiert steuerbar ist,- Maintaining the first operating state of the mobile communication device (20) when a first state of the driver is determined and / or determined by the Fahrassis ¬ tenzsystem (10) that the vehicle (1) in the determined driving situation by means of the driving ¬ assistenzsystems (10) is automatically controlled, - Steuern des mobilen Kommunikationsgerätes (20) in ei¬ nen zweiten von dem ersten Betriebszustand verschiede¬ nen Betriebszustand, wenn ein zweiter Zustand des Fah¬ rers ermittelt wird und/oder von dem Fahrassistenzsys¬ tem (10) festgestellt wird, dass das Fahrassistenzsys¬ tem (10) aufgrund der ermittelten Fahrsituation nicht in der Lage ist, das Fahrzeug (1) automatisiert zu steuern . - Controlling the mobile communication device (20) in ei ¬ nen second different from the first operating state ¬ nen operating state when a second state of Fah ¬ rers is determined and / or by the Fahrassistenzsys ¬ tem (10) is determined that the Fahrassistenzsys ¬ tem (10) is not able to automatically control the vehicle (1) due to the determined driving situation. 14. Speichermedium nach einem der Ansprüche 9 bis 13, wobei der Prozessor bei Ausführung des Computerprogramms die folgenden Verfahrensschritte ausführt: 14. Storage medium according to one of claims 9 to 13, wherein the processor executes the following method steps when executing the computer program: - Betreiben einer Anwendung auf dem mobilen Kommunikati¬ onsgerät (20) im ersten Betriebszustand des mobilen Kommunikationsgerätes (20), - operating an application on the mobile Kommunikati ¬ onsgerät (20) in the first operating state of the mobile communication device (20), - Unterbrechen der Anwendung auf dem mobilen Kommunika¬ tionsgerät (20) im zweiten Betriebszustand des mobilen Kommunikationsgerätes (20). - interrupting the application on the mobile communica ¬ tion device (20) in the second operating state of the mobile communication device (20). 15. Speichermedium nach einem der Ansprüche 9 bis 14, wobei der Prozessor bei Ausführung des Computerprogramms die folgenden Verfahrensschritte ausführt: 15. Storage medium according to one of claims 9 to 14, wherein the processor executes the following method steps when executing the computer program: - Ausgeben einer Meldung auf einem Bildschirm (22) des mobilen Kommunikationsgerätes (20) im zweiten Be¬ triebszustand des mobilen Kommunikationsgerätes (20),- outputting a message on a screen (22) of the mobile communications device (20) in the second Be ¬ operating state of the mobile communication device (20), - Steuern des mobilen Kommunikationsgerätes (20) von dem zweiten in den ersten Betriebszustand, wenn auf die Meldung eine externe Eingabe erfolgt. - controlling the mobile communication device (20) from the second to the first operating state, when the message is an external input.
PCT/EP2015/066069 2014-07-18 2015-07-14 Method for interacting with a driver of a vehicle during automated driving Ceased WO2016008887A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014214078.1 2014-07-18
DE102014214078.1A DE102014214078A1 (en) 2014-07-18 2014-07-18 Method for interacting with a driver of a vehicle during automated driving

Publications (1)

Publication Number Publication Date
WO2016008887A1 true WO2016008887A1 (en) 2016-01-21

Family

ID=53724328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/066069 Ceased WO2016008887A1 (en) 2014-07-18 2015-07-14 Method for interacting with a driver of a vehicle during automated driving

Country Status (2)

Country Link
DE (1) DE102014214078A1 (en)
WO (1) WO2016008887A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017210825A1 (en) 2017-06-27 2018-12-27 Ford Global Technologies, Llc Method and device for increasing the attention of a driver of a vehicle, vehicle and computer program product
CN109643491A (en) * 2016-09-02 2019-04-16 三菱电机株式会社 The control method of information processing unit, communication terminal, information processing method and communication terminal
CN110869262A (en) * 2017-09-04 2020-03-06 宝马股份公司 Method, mobile user device, computer program for generating visual information for at least one occupant of a vehicle
CN114454895A (en) * 2020-11-10 2022-05-10 奥迪股份公司 Method, equipment and system for automatically taking over vehicle
US11505209B2 (en) 2017-11-09 2022-11-22 Continental Automotive Gmbh System for automated driving with assistance for a driver in performing a non-driving activity

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107466223B (en) 2015-04-09 2021-06-22 宝马股份公司 Control for electronic multifunction device
DE102016004042A1 (en) * 2016-04-01 2017-10-05 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) A method of establishing a communication link between a motor vehicle and a mobile end-user device, computer program product, mobile end-user device, system, and motor vehicle
US9870001B1 (en) * 2016-08-05 2018-01-16 Delphi Technologies, Inc. Automated vehicle operator skill evaluation system
DE102016219134B4 (en) 2016-10-04 2024-05-16 Volkswagen Aktiengesellschaft Method for accessing an external electronic device
DE102017202051B4 (en) 2017-02-09 2022-03-17 Bayerische Motoren Werke Aktiengesellschaft Control device for a motor vehicle and method for operating a control device
US10365647B2 (en) 2017-03-29 2019-07-30 Qualcomm Incorporated Ensuring occupant awareness in vehicles
DE102017215404A1 (en) * 2017-09-04 2019-03-07 Bayerische Motoren Werke Aktiengesellschaft Method, mobile user device, system, computer program for controlling a mobile user device of an occupant of a vehicle
DE102017215407A1 (en) * 2017-09-04 2019-03-07 Bayerische Motoren Werke Aktiengesellschaft Method, mobile user device, computer program for controlling a mobile user device of a driver of a vehicle
DE102017215405A1 (en) * 2017-09-04 2019-03-07 Bayerische Motoren Werke Aktiengesellschaft Method, mobile user device, system, computer program for controlling a mobile user device of an occupant of a vehicle
DE102017215410A1 (en) * 2017-09-04 2019-03-07 Bayerische Motoren Werke Aktiengesellschaft Method, mobile user device, computer program for controlling a mobile user device of a driver of a vehicle
DE102017218507A1 (en) * 2017-10-17 2019-04-18 Bayerische Motoren Werke Aktiengesellschaft Vehicle alert issue on mobile telecommunication terminal
DE102018008045B4 (en) 2018-10-11 2020-07-23 Daimler Ag Method and device for controlling display content on an output means of a vehicle
DE102018127471A1 (en) * 2018-11-05 2020-05-07 Valeo Schalter Und Sensoren Gmbh Method and system for warning a driver of a vehicle
DE102018129804A1 (en) * 2018-11-26 2020-05-28 Bayerische Motoren Werke Aktiengesellschaft Method for providing information regarding required attention of a driver of a vehicle
DE102018129801A1 (en) * 2018-11-26 2020-05-28 Bayerische Motoren Werke Aktiengesellschaft Method and device for determining the required attention of a driver of a vehicle
DE102019105490A1 (en) * 2019-03-05 2020-09-10 Bayerische Motoren Werke Aktiengesellschaft Method, device and computer program for operating a vehicle using a mobile user device
DE102019113064A1 (en) * 2019-05-17 2020-11-19 Man Truck & Bus Se Autonomous motor vehicle and method for operating an autonomous motor vehicle
DE102021104155A1 (en) 2021-02-22 2022-08-25 Bayerische Motoren Werke Aktiengesellschaft PROCEDURE FOR OPERATING A TELEPHONE IN A VEHICLE
DE102021110012A1 (en) * 2021-04-20 2022-10-20 Bayerische Motoren Werke Aktiengesellschaft System consisting of a motor vehicle and a mobile electronic device for a conditionally automated driving operation and operating method
DE102022101396B3 (en) 2022-01-21 2023-05-17 Volkswagen Aktiengesellschaft Device for monitoring a handover of a driving function to a person and method for monitoring the handover of a driving function of a vehicle to a person

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913802A2 (en) * 1997-09-29 1999-05-06 DaimlerChrysler AG Vehicle with an autonomous guiding device and electronic communication means
US20070222617A1 (en) * 2006-03-24 2007-09-27 Motorola, Inc. Vision based alert system using portable device with camera
EP2314489A1 (en) * 2009-10-22 2011-04-27 Audi AG Method for controlling the operation of a fully automatic driver assistance system of a motor vehicle for independent vehicle guidance and motor vehicle
US20120200407A1 (en) * 2011-02-09 2012-08-09 Robert Paul Morris Methods, systems, and computer program products for managing attention of an operator an automotive vehicle
DE102011079703A1 (en) * 2011-07-25 2013-01-31 Robert Bosch Gmbh Method for assisting a driver of a motor vehicle
DE102012201513A1 (en) * 2012-02-02 2013-08-08 Bayerische Motoren Werke Aktiengesellschaft Warning device in a motor vehicle for warning a driver

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012213965A1 (en) * 2012-08-07 2014-02-13 Bayerische Motoren Werke Aktiengesellschaft Method for ensuring sufficient efficiency of rider of motor car, involves evaluating, reducing and maintaining performance of particular task depending on evaluation of degree of automation, and stopping vehicle based on evaluation
DE102012016871A1 (en) * 2012-08-25 2014-02-27 Audi Ag Method and system for operating a vehicle while monitoring the head orientation and / or viewing direction of an operator with the aid of a camera device of a mobile operating device
DE102013206212A1 (en) * 2013-04-09 2014-10-09 Ford Global Technologies, Llc Method for controlling a vehicle with temporarily autonomous vehicle guidance and control device
DE102014106241B4 (en) * 2013-11-05 2020-06-10 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method and system for assisting a driver

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913802A2 (en) * 1997-09-29 1999-05-06 DaimlerChrysler AG Vehicle with an autonomous guiding device and electronic communication means
US20070222617A1 (en) * 2006-03-24 2007-09-27 Motorola, Inc. Vision based alert system using portable device with camera
EP2314489A1 (en) * 2009-10-22 2011-04-27 Audi AG Method for controlling the operation of a fully automatic driver assistance system of a motor vehicle for independent vehicle guidance and motor vehicle
US20120200407A1 (en) * 2011-02-09 2012-08-09 Robert Paul Morris Methods, systems, and computer program products for managing attention of an operator an automotive vehicle
DE102011079703A1 (en) * 2011-07-25 2013-01-31 Robert Bosch Gmbh Method for assisting a driver of a motor vehicle
DE102012201513A1 (en) * 2012-02-02 2013-08-08 Bayerische Motoren Werke Aktiengesellschaft Warning device in a motor vehicle for warning a driver

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643491A (en) * 2016-09-02 2019-04-16 三菱电机株式会社 The control method of information processing unit, communication terminal, information processing method and communication terminal
DE102017210825A1 (en) 2017-06-27 2018-12-27 Ford Global Technologies, Llc Method and device for increasing the attention of a driver of a vehicle, vehicle and computer program product
DE102017210825B4 (en) 2017-06-27 2022-07-07 Ford Global Technologies, Llc Method and device for increasing the attentiveness of a driver of a vehicle, vehicle and computer program product
CN110869262A (en) * 2017-09-04 2020-03-06 宝马股份公司 Method, mobile user device, computer program for generating visual information for at least one occupant of a vehicle
US11505209B2 (en) 2017-11-09 2022-11-22 Continental Automotive Gmbh System for automated driving with assistance for a driver in performing a non-driving activity
CN114454895A (en) * 2020-11-10 2022-05-10 奥迪股份公司 Method, equipment and system for automatically taking over vehicle

Also Published As

Publication number Publication date
DE102014214078A1 (en) 2016-01-21

Similar Documents

Publication Publication Date Title
WO2016008887A1 (en) Method for interacting with a driver of a vehicle during automated driving
DE102009018074B4 (en) Method for managing telephone calls in a vehicle
DE112016002444B4 (en) Locomotion control device and locomotion control method
DE102004004586A1 (en) Method and system for managing telephony in a vehicle
DE602004010054T2 (en) Actuation of a speech dialogue system
EP1853465B1 (en) Method and device for voice controlling a device or system in a motor vehicle
EP2700567A2 (en) Method and system for operating a vehicle with monitoring of the movement of the vehicle using the camera equipment of a mobile operating device
DE202012013290U1 (en) Device for controlling an interruption in a portable device
DE102016125324A1 (en) System and method for dynamic vehicle display
DE112016006894T5 (en) Surveillance camera in a network to improve the situation-dependent findings of a user
DE102017215405A1 (en) Method, mobile user device, system, computer program for controlling a mobile user device of an occupant of a vehicle
DE102017215404A1 (en) Method, mobile user device, system, computer program for controlling a mobile user device of an occupant of a vehicle
DE102005014502A1 (en) Telecommunication device for a radio system
DE102013205394A1 (en) A method of playing media content in a vehicle
WO2003106222A1 (en) Method and device for assisting a driver when receiving calls
DE60307303T2 (en) DATA INTERFACE AND METHOD FOR MANAGING DRIVER DATA
EP1706983A1 (en) Mobile telephone
DE102009017643A1 (en) Driver vehicle interface has input device for driver inputs, output device for indicating information to driver, and multiple applications for detecting and processing information from sensors
DE102021104155A1 (en) PROCEDURE FOR OPERATING A TELEPHONE IN A VEHICLE
DE102020120867A1 (en) Method for operating a driver assistance system of a motor vehicle
EP4313826B1 (en) Method for cancelling a call for a lift installation
DE102014203982A1 (en) Method and correspondingly designed device for visually triggering a process in a motor vehicle
WO2020233862A1 (en) Autonomous motor vehicle and method for operating an autonomous motor vehicle
DE102013104330A1 (en) Call forwarding for a device
DE102022129845A1 (en) Method and system for controlling an output unit for outputting driving-relevant driving information for a vehicle occupant

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15741966

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15741966

Country of ref document: EP

Kind code of ref document: A1