DE102018203688B4 - Method for operating a motor vehicle in a partially autonomous or piloted driving mode, driver assistance device, and motor vehicle - Google Patents
Method for operating a motor vehicle in a partially autonomous or piloted driving mode, driver assistance device, and motor vehicle Download PDFInfo
- Publication number
- DE102018203688B4 DE102018203688B4 DE102018203688.8A DE102018203688A DE102018203688B4 DE 102018203688 B4 DE102018203688 B4 DE 102018203688B4 DE 102018203688 A DE102018203688 A DE 102018203688A DE 102018203688 B4 DE102018203688 B4 DE 102018203688B4
- Authority
- DE
- Germany
- Prior art keywords
- driving mode
- output
- motor vehicle
- operating
- media file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/082—Selecting or switching between different modes of propelling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Verfahren zum Betreiben eines Kraftfahrzeugs (10) in einem teilautonomen oder pilotierten Fahrmodus, aufweisend die durch eine Fahrerassistenzeinrichtung (12) des Kraftfahrzeugs (10) durchgeführten Schritte:
- Empfangen eines Bediensignals aus einer Bedieneinrichtung (16, S2), wobei das empfangene Bediensignal ein Aktivieren des teilautonomen oder pilotierten Fahrmodus beschreibt, und wobei der zu aktivierende Fahrmodus eine aktuelle Fahrsituation ändert,
- in Abhängigkeit von dem empfangenen Bediensignal: Feststellen eines Automatisierungsgrades des zu aktivierenden Fahrmodus (S3),
- in Abhängigkeit von dem festgestellten Automatisierungsgrad: Bereitstellen einer Mediendatei (18, 19, 20, S4), die einen Medieninhalt beschreibt, der eine Sicherheitsinformation zu dem zu aktivierenden Fahrmodus ist,
- Erzeugen eines Ausgabesignals, das ein Ausgeben der Mediendatei (18, 19, 20) durch eine Ausgabeeinrichtung (14) beschreibt (S5), und Übertragen des erzeugten Ausgabesignals an die Ausgabeeinrichtung (14, S6),
- Prüfen, ob ein Perzeptionskriterium erfüllt ist (S8), das beschreibt, dass das Ausgeben der Mediendatei (S7) an den Benutzer zumindest teilweise erfolgt,
- bei Feststellen des Erfüllens des Perzeptionskriteriums (S9): Erzeugen eines Steuersignals (S13), das den zu aktivierenden Fahrmodus beschreibt, zum Aktivieren des Fahrmodus,
- Feststellen eines durch eine Bedienhandlung des Benutzers induziertes vorzeitiges Beenden des Ausgebens der Mediendatei (18, 19, 20, S10),
- bei Feststellen des vorzeitigen Beendens (S10): Bereitstellen einer Dokumentationsdatei, die das vorzeitige Beenden (S10) durch den Benutzer dokumentiert (S11), und
- Speichern der bereitgestellten Dokumentationsdatei in einer Speichereinrichtung (15, S12).
Method for operating a motor vehicle (10) in a partially autonomous or piloted driving mode, comprising the steps carried out by a driver assistance device (12) of the motor vehicle (10):
- receiving an operating signal from an operating device (16, S2), wherein the received operating signal describes an activation of the semi-autonomous or piloted driving mode, and wherein the driving mode to be activated changes a current driving situation,
- depending on the received operating signal: determining a degree of automation of the driving mode to be activated (S3),
- depending on the degree of automation determined: providing a media file (18, 19, 20, S4) describing a media content that is safety information about the driving mode to be activated,
- generating an output signal describing an output of the media file (18, 19, 20) by an output device (14) (S5), and transmitting the generated output signal to the output device (14, S6),
- Checking whether a perception criterion is met (S8), which describes that the output of the media file (S7) to the user is at least partially carried out,
- upon determining that the perception criterion (S9) is fulfilled: generating a control signal (S13) describing the driving mode to be activated, in order to activate the driving mode,
- Detecting a premature termination of the output of the media file (18, 19, 20, S10) induced by an operating action of the user,
- upon detection of premature termination (S10): providing a documentation file documenting the premature termination (S10) by the user (S11), and
- storing the provided documentation file in a storage device (15, S12).
Description
Die Erfindung betrifft ein Verfahren zum Betreiben eines Kraftfahrzeugs in einem zumindest teilautonomen Fahrmodus, vorzugsweise in einem pilotierten Fahrmodus.The invention relates to a method for operating a motor vehicle in an at least partially autonomous driving mode, preferably in a piloted driving mode.
Bei zukünftigen, teilautomatisierten oder vollautomatisierten Fahrfunktionen kann der Fahrer nach deren Aktivierung sich anderen, von der Fahraufgabe unabhängigen Tätigkeiten zuwenden. Mit „Fahraufgabe“ ist damit der Auftrag zum Führen des Kraftfahrzeugs gemeint. Welche Tätigkeiten er in welcher Weise ausführen kann und welche Pflichten ihm weiterhin obliegen, ist durch den bestimmungsgemäßen Gebrauch der Funktion festgelegt.With future partially or fully automated driving functions, the driver can turn to other activities that are independent of the driving task after they have been activated. The "driving task" refers to the task of driving the motor vehicle. Which activities he can carry out and in what way and which duties he still has are determined by the intended use of the function.
Diesen Gebrauch und die darauf entstehenden Pflichten kann der Fahrer dem Bordbuch entnehmen, und ein elektronisches Bordbuch kann mittels einer statischen Bildschirmanzeige im On-Board-Infotainmentsystem bei Aktivierung der automatisierten Fahrfunktion dem Fahrer kompakt angezeigt werden.The driver can find out about this use and the resulting obligations from the logbook, and an electronic logbook can be displayed to the driver in a compact format via a static screen display in the on-board infotainment system when the automated driving function is activated.
Die
Die
Die
Aus der
Die
Falls ein Benutzer die entsprechende Anleitung aus dem Bordbuch seines Kraftfahrzeugs gelesen hat, hat er sich über den ordnungsgemäßen Gebrauch, seine Freiheiten und seine Pflichten informiert. Wechselt er jedoch das Kraftfahrzeug, beispielsweise in einen Mietwagen, so kann er an die Funktionen seines eigenen Kraftfahrzeugs gewohnt sein, weiß jedoch nicht, dass zum Beispiel eine bestimmte Funktion des Mietwagens nicht die gleiche Fahrfunktion ist wie in seinem Kraftfahrzeug, sondern nur ähnlich. Ist der Fahrer unaufmerksam und denkt nicht daran, in dem Mietwagen für die entsprechende Fahrfunktion das Bordbuch zu konsultieren, kann ihm unter Umständen nicht bewusst sein, dass in dem Mietwagen unter Umständen andere Dinge zu berücksichtigen sind.If a user has read the relevant instructions in the owner's manual of his motor vehicle, he has informed himself about the correct use, his freedoms and his obligations. However, if he changes motor vehicle, for example to a rental car, he may be used to the functions of his own motor vehicle, but may not know that, for example, a certain function of the rental car is not the same driving function as in his motor vehicle, but only similar. If the driver is inattentive and does not remember to consult the owner's manual in the rental car for the relevant driving function, he may not be aware that there may be other things to consider in the rental car.
Eine der Erfindung zugrunde liegende Aufgabe ist das Erhöhen einer Fahrsicherheit beim Betreiben des Kraftfahrzeugs.One object underlying the invention is to increase driving safety when operating the motor vehicle.
Die gestellte Aufgabe wird durch das erfindungsgemäße Verfahren und die erfindungsgemäßen Vorrichtungen gemäß den nebengeordneten Patentansprüchen gelöst. Vorteilhafte Weiterbildungen sind durch die Unteransprüche gegeben.The stated object is achieved by the method according to the invention and the devices according to the invention according to the independent patent claims. Advantageous further developments are given by the subclaims.
Die Erfindung basiert auf der Idee, bei einer Aktivierung einer vollautomatisierten oder teilautomatisierten Fahrfunktion, also einer vollautonomen (oder pilotierten) oder teilautonomen Fahrfunktion, in Abhängigkeit von der spezifischen, vom Fahrer eingestellten Fahrfunktion eine Mediendatei abzuspielen, wobei die Mediendatei einen Medieninhalt mit Instruktionen zu der Fahrfunktion beschreibt. Mit anderen Worten bezieht sich der Medieninhalt nicht auf eine aktuelle Fahrfunktion mit einem aktuellen Fahrmodus, sondern auf eine neue, zukünftige Fahrsituation, die sich durch das Einstellen des anderen Fahrmodus ergibt. Mit anderen Worten wird sichergestellt, dass der Benutzer des Kraftfahrzeugs auf jeden Fall vor oder bei Beginn der Fahrfunktion die entsprechenden Instruktionen erhält. Hierdurch wird eine Fahrsicherheit deutlich erhöht.The invention is based on the idea of playing a media file when activating a fully automated or partially automated driving function, i.e. a fully autonomous (or piloted) or partially autonomous driving function, depending on the specific driving function set by the driver, whereby the media file describes a media content with instructions for the driving function. In other words, the media content does not refer to a current driving function with a current driving mode, but to a new, future driving situation that results from setting the other driving mode. In other words, it is ensured that the user of the motor vehicle always receives the corresponding instructions before or when starting the driving function. This significantly increases driving safety.
Das erfindungsgemäße Verfahren zum Betreiben eines Kraftfahrzeugs in einem zumindest teilautonomen Fahrmodus, also in einem teilautonomen oder vollautonomen Fahrmodus, weist die folgenden, durch eine Fahrerassistenzeinrichtung des Kraftfahrzeugs durchgeführten Schritte auf. Als Fahrerassistenzeinrichtung wird dabei ein Gerät oder eine Gerätekomponente oder eine Gerätegruppe zum Betreiben des Kraftfahrzeugs in verschiedenen Fahrmodi verstanden, wobei die Fahrerassistenzeinrichtung vorzugsweise als Fahrerassistenzsystem ausgestaltet und eingerichtet sein kann. Die Fahrerassistenzeinrichtung ist dabei dazu eingerichtet, das Kraftfahrzeug in dem zumindest teilautonomen Fahrmodus zu betreiben, also zum Beispiel einem Fahrmodus mit einem Spurhalteassistenten oder einer automatischen Geschwindigkeitsregelung. Vorzugsweise kann die Fahrerassistenzeinrichtung dazu eingerichtet sein, das Kraftfahrzeug in einem pilotierten, also vollautonomen, Fahrmodus zu betreiben. Das erfindungsgemäße Verfahren ist dabei also insbesondere zum Betreiben des Kraftfahrzeugs in einem vollautonomen oder pilotierten Fahrmodus geeignet.The method according to the invention for operating a motor vehicle in an at least partially autonomous driving mode, i.e. in a partially autonomous or fully autonomous driving mode, has the following steps carried out by a driver assistance device of the motor vehicle. A driver assistance device is understood to be a device or a device component or a device group for operating the motor vehicle in different driving modes, wherein the driver assistance device can preferably be designed and set up as a driver assistance system. The driver assistance device is set up to operate the motor vehicle in the at least partially autonomous driving mode, i.e. for example a driving mode with a lane keeping assistant or automatic cruise control. The driver assistance device can preferably be set up to operate the motor vehicle in a piloted, i.e. fully autonomous, driving mode. The method according to the invention is therefore particularly suitable for operating the motor vehicle in a fully autonomous or piloted driving mode.
Durch die Fahrerassistenzeinrichtung erfolgt zunächst ein Empfangen eines Bediensignals aus einer Bedieneinrichtung, das heißt aus einem Gerät oder einer Gerätekomponente zum Empfangen und Erfassen einer Bedienhandlung eines Benutzers des Kraftfahrzeugs. Die Bedieneinrichtung kann dabei vorzugsweise einen berührungssensitiven Bildschirm und/oder eine Tastatur aufweisen. Eine Bedienhandlung kann dabei beispielsweise eine Spracheingabe oder eine Eingabe mittels einer Tastatur oder ein Bedienen zum Beispiel eines Dreh-Drückstellers oder eines Tasters sein.The driver assistance device first receives an operating signal from an operating device, i.e. from a device or a device component for receiving and recording an operating action by a user of the motor vehicle. The operating device can preferably have a touch-sensitive screen and/or a keyboard. An operating action can be, for example, a voice input or an input using a keyboard or an operation of, for example, a rotary push button or a button.
Das empfangene Bediensignal beschreibt dabei ein Aktivieren des teilautonomen oder vollautonomen Fahrmodus, wobei der zu aktivierende Fahrmodus eine aktuelle Fahrsituation ändert. Das Ändern der Fahrsituation äußert sich dabei in einer Änderung des Automatisierungsgrades des Kraftfahrzeugbetriebs. Die aktuelle Fahrsituation kann vorzugsweise ein Betreiben des Kraftfahrzeugs in einem manuellen Fahrmodus sein, und das Ändern der Fahrsituation kann ein Erhöhen des Automatisierungsgrades sein.The received operating signal describes an activation of the partially autonomous or fully autonomous driving mode, whereby the driving mode to be activated changes a current driving situation. The change in the driving situation is expressed in a change in the degree of automation of the motor vehicle operation. The current driving situation can preferably be operating the motor vehicle in a manual driving mode, and the change in the driving situation can be an increase in the degree of automation.
In Abhängigkeit von dem empfangenen Bediensignal erfolgt ein Feststellen eines Automatisierungsgrades des zu aktivierenden Fahrmodus, und in Abhängigkeit von dem festgestellten Automatisierungsgrad erfolgt ein Bereitstellen einer Mediendatei, die einen Medieninhalt beschreibt, der eine Sicherheitsinformation zu dem zu aktivierenden Fahrmodus mit dem festgestellten Automatisierungsgrad ist. Mit anderen Worten wird in Abhängigkeit von einer zukünftigen Fahrfunktion der Fahrerassistenzeinrichtung ein systemspezifischer Medieninhalt präsentiert. Möchte der Benutzer des Kraftfahrzeugs beispielsweise von einem manuellen Fahrmodus in einen pilotierten Fahrmodus wechseln, so kann zum Beispiel ein Informationsfilm als Mediendatei über den Gebrauch und die Pflichten des Kraftfahrzeugs in dem pilotierten Fahrmodus bereitgestellt werden. Vorzugsweise kann dabei durch das empfangene Bediensignal der jeweilige Fahrmodus gestartet und parallel dazu die Mediendatei abgespielt werden. Mit anderen Worten wird der Start des ausgewählten Fahrmodus nicht verzögert, sondern begleitet. Diese kann, je nach gewähltem Automatisierungsgrad, zum Beispiel eine Audiodatei oder eine Videodatei sein.Depending on the received operating signal, a degree of automation of the driving mode to be activated is determined, and depending on the determined degree of automation, a media file is provided that describes media content that is safety information about the driving mode to be activated with the determined degree of automation. In other words, depending on a future driving function of the driver assistance device, system-specific media content is presented. If the user of the motor vehicle wants to switch from a manual driving mode to a piloted driving mode, for example, an information film can be provided as a media file about the use and duties of the motor vehicle in the piloted driving mode. Preferably, the respective driving mode can be started by the received operating signal and the media file can be played in parallel. In other words, the start of the selected driving mode is not delayed, but accompanied. This can be, for example, an audio file or a video file, depending on the selected degree of automation.
Es erfolgt ein Erzeugen eines Ausgabesignals, das ein Ausgeben der Mediendatei durch eine Ausgabeeinrichtung beschreibt, und ein Übertragen des erzeugten Ausgabesignals an die Ausgabeeinrichtung. Als Ausgabeeinrichtung wird dabei ein Gerät oder eine Gerätekomponente zum Ausgeben des Ausgabesignals verstanden, also zum Ausgeben der Mediendatei. Die Ausgabeeinrichtung kann zum Beispiel als Bildschirm ausgestaltet sein, auf dem der beispielhafte Informationsfilm abgespielt werden kann.An output signal is generated that describes an output of the media file by an output device, and the generated output signal is transmitted to the output device. An output device is understood to be a device or a device component for outputting the output signal, i.e. for outputting the media file. The output device can be designed, for example, as a screen on which the exemplary information film can be played.
Durch die Fahrerassistenzeinrichtung erfolgt ein Prüfen, ob ein Perzeptionskriterium erfüllt ist, das beschreibt, dass das Ausgeben der Mediendatei zumindest teilweise erfolgt. Das heißt, dass dem Benutzer der Medieninhalt zumindest teilweise präsentiert wird und/ oder das Präsentieren des Medieninhaltes beginnt, sodass der Benutzer die Möglichkeit hat, den Medieninhalt wahrzunehmen. Das Perzeptionskriterium kann dabei beispielsweise beschreiben, dass ein Abspielen der Mediendatei zeitgleich oder parallel zu dem Aktivieren des Fahrmodus ausgegeben wird, bereits begonnen hat oder vollständig durchgeführt wurde, oder dass die Mediendatei angespielt und von dem Benutzer vorzeitig abgebrochen wurde.The driver assistance device checks whether a perception criterion is met that describes that the media file is at least partially played. This means that the media content is at least partially presented to the user and/or the presentation of the media content begins so that the user has the opportunity to perceive the media content. The perception criterion can describe, for example, that the media file is played at the same time or in parallel to the activation of the driving mode, has already started or has been completed, or that the media file was played and prematurely stopped by the user.
Bei Feststellen des Erfüllens des Perzeptionskriteriums erfolgt ein Erzeugen eines Steuersignals, das den zu aktivierenden Fahrmodus beschreibt, zum Aktivieren des Fahrmodus.If it is determined that the perception criterion is met, a control signal is generated that describes the driving mode to be activated in order to activate the driving mode.
Es ergeben sich die oben genannten Vorteile. Der Benutzer des Kraftfahrzeugs kann nicht mehr vergessen, in dem Bordbuch die entsprechenden Sicherheitshinweise aufzurufen. Selbst wenn der Benutzer nicht hinsieht, wenn der beispielhafte Informationsfilm abgespielt wird, so wurden dem Benutzer die Sicherheitsinformationen zugänglich gemacht. Mit anderen Worten besteht der Vorteil in der automatisierten Ausgabe von Sicherheitsinformationen begleitend zur Auslösung des Fahrmoduswechsels. Hierdurch ergibt sich eine deutliche Erhöhung der Fahrsicherheit. Falls der Benutzer die Sicherheitsinformationen nicht beachtet, so kann er später nicht behaupten, er hätte nicht gewusst, dass es eine Information zu dem Fahrmodus gibt.This results in the above-mentioned advantages. The user of the motor vehicle can no longer forget to call up the relevant safety instructions in the logbook. Even if the user is not looking when the example information film is played, the safety information is made available to the user. In other words, the advantage is the automated output of safety information when the driving mode change is triggered. This results in a significant increase in driving safety. If the user ignores the safety information, he cannot later claim that he did not know that there was information about the driving mode.
In Zusammenhang kann es vorkommen, dass der Benutzer den Medieninhalt nicht vollständig wahrnimmt, jedoch ist ihm bewusst, dass eine Sicherheitsinformation von der Ausgabeeinrichtung abgespielt wird, denn er führt die Bedienhandlung zum Abbrechen des Ausgebens aus. Um dies zu Dokumentieren und um damit festzuhalten, dass der Benutzer unter Umständen auf die Sicherheitsinformation verzichtet hat, erfolgt durch die Fahrerassistenzeinrichtung ein Feststellen eines durch die Bedienhandlung des Benutzers induzierten vorzeitigen Beendens des Ausgebens der Mediendatei. Bei Feststellen des vorzeitigen Beendens erfolgt ein Bereitstellen einer Dokumentationsdatei, die das vorzeitige Beenden durch den Benutzer dokumentiert. Die bereitgestellte Dokumentationsdatei wird dann in einer Speichereinrichtung gespeichert. Als Speichereinrichtung wird dabei ein Datenspeicher verstanden, zum Beispiel eine Festplatte oder ein Speicherchip.In this context, it may happen that the user does not fully perceive the media content, but is aware that safety information is being played by the output device because he carries out the control action to cancel the output. In order to document this and to record that the user may have dispensed with the safety information, the driver assistance device detects a premature termination of the output of the media file induced by the user's control action. If premature termination is detected, a documentation file is provided which documents the premature termination by the user. The provided documentation file is then saved in a storage device. A storage device is understood to be a data storage device, for example a hard drive or a memory chip.
Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens kann das Perzeptionskriterium a) einen bereits erfolgten Beginn des Ausgebens der Mediendatei beschreiben; und/oder b) ein erfolgtes Ausgeben der gesamten Mediendatei; und/oder c) ein Empfangen einer Bedienhandlung zum Abbrechen des Ausgebens der Mediendatei. Hierdurch wird konkret dafür gesorgt, dass der Benutzer den Medieninhalt prinzipiell wahrnehmen kann. Selbst bei dem Empfangen der Bedienhandlung zum Abbrechen des Ausgebens der Mediendatei muss der Benutzer seine Aufmerksamkeit auf die Tatsache richten, dass die Ausgabeeinrichtung den beispielhaften Informationsfilm ausgibt.According to a preferred embodiment of the method according to the invention, the perception criterion can describe a) that the output of the media file has already begun; and/or b) that the entire media file has been output; and/or c) that an operator action has been received to cancel the output of the media file. This specifically ensures that the user can perceive the media content in principle. Even when receiving the operator action to cancel the output of the media file, the user must focus his attention on the fact that the output device is outputting the exemplary information film.
Wie bereits oben erläutert, kann der zu aktivieren Fahrmodus vorzugweise ein pilotierter oder vollautonomer Fahrmodus sein.As already explained above, the driving mode to be activated can preferably be a piloted or fully autonomous driving mode.
Die oben gestellte Aufgabe wird gelöst durch eine Fahrerassistenzeinrichtung, die dazu eingerichtet ist, eine Ausführungsform des oben beschriebenen Verfahrens durchzuführen. Die Fahrerassistenzeinrichtung kann dabei vorzugsweise als Fahrerassistenzsystem ausgestaltet sein.The above object is achieved by a driver assistance device which is designed to carry out an embodiment of the method described above. The driver assistance device can preferably be designed as a driver assistance system.
Die gestellte Aufgabe wird gelöst durch ein Kraftfahrzeug, aufweisend eine Ausführungsform der erfindungsgemäßen Fahrerassistenzeinrichtung. Das Kraftfahrzeug kann vorzugsweise als Kraftwagen ausgestaltet sein, vorzugsweise als Personenkraftwagen. Es ergeben sich die oben genannten Vorteile.The stated object is achieved by a motor vehicle having an embodiment of the driver assistance device according to the invention. The motor vehicle can preferably be designed as a motor vehicle, preferably as a passenger car. The above-mentioned advantages result.
Die Erfindung umfasst auch die Kombinationen der beschriebenen Ausführungsformen.The invention also includes combinations of the described embodiments.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt die einzige Figur („Fig.“):
- eine schematische Darstellung zu einer Ausführungsform des erfindungsgemäßen Verfahrens.
- a schematic representation of an embodiment of the method according to the invention.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the components of the embodiments described each represent individual features of the invention that are to be considered independently of one another, which also develop the invention independently of one another and are therefore to be viewed as part of the invention individually or in a combination other than that shown. Furthermore, the described embodiments can also be supplemented by other features of the invention already described.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are provided with the same reference symbols.
Die Fig. veranschaulicht das Prinzip des erfindungsgemäßen Verfahrens anhand eines Ausführungsbeispiels, wozu die Fig. ein beispielhaftes Kraftfahrzeug 10 zeigt, das zum Beispiel als Personenkraftwagen ausgestaltet sein kann.The figure illustrates the principle of the method according to the invention using an embodiment, for which the figure shows an
Das Kraftfahrzeug 10 weist eine Fahrerassistenzeinrichtung 12 auf, die das Kraftfahrzeug 10 beispielsweise in einem manuellen Fahrmodus, sowie in einem teilautonomen und/oder pilotierten Fahrmodus betreiben kann. Ein pilotiertes Fahren wird dabei auch als vollautonomes Fahren oder vollautomatisiertes Fahren bezeichnet. Im pilotierten Fahrmodus im engeren Sinne (Automatisierungsgrad 5, „Level 5“) ist theoretisch kein Fahrer erforderlich, außer für das Festlegen des Ziels und dem Starten des Systems. Unter pilotiertes Fahren kann auch ein hochautomatisierten Verfahren fallen, das heißt die Führung des Kraftfahrzeugs wird dauerhaft vom System übernommen (Automatisierungsgrad 4, „Level 4“), die Fahraufgaben können jedoch an den Fahrer übergeben werden, sobald die Fahrerassistenzeinrichtung 12 die Fahraufgabe nicht mehr bewältigen kann, beispielsweise wenn nicht genügend Sensordaten vorhanden sind.The
Beispielhafte teilautonome Fahrmodi sind zum Beispiel eine Bedingungsautomatisierung (Automatisierungsgrad 3, „Level 3“), bei dem der Fahrer das System nicht dauernd überwachen muss, wobei die Fahrerassistenzeinrichtung 12 zum Beispiel Funktionen wie das Auslösen eines Blinkers, einen Spurwechsel oder ein Spurhalten selbstständig durchführt. Ein anderer teilautomatisierter Fahrmodus (Automatisierungsgrad 2, „Level 2“) kann beispielsweise ein automatisches Einparken, Spurhalten, einen Stauassistent und/oder eine Quer- und/oder Längsführung des Kraftfahrzeugs übernehmen. Ein anderer beispielhafter Fahrmodus kann beispielsweise bei der Fahrzeugbedienung helfen, beispielsweise mit Hilfe eines Abstandsregeltempomats (ACC) (Automatisierungsgrad 1, „Level 1“). In einem manuellen Fahrmodus (Automatisierungsgrad 0, „Level 0“) fährt der Fahrer komplett selbstständig, das heißt lenkt, gibt Gas, bremst, und so weiter.Examples of partially autonomous driving modes include conditional automation (level 3 of automation), in which the driver does not have to constantly monitor the system, with the
Die Fahrerassistenzeinrichtung kann optional eine Prozessoreinrichtung 13 aufweisen, also eine Gerätekomponente zur elektronischen Datenverarbeitung, die vorzugsweise mindestens einen Mikrocontroller und/oder mindestens einen Mikroprozessor zum Durchführen des erfindungsgemäßen Verfahrens aufweisen kann. Die Fahrerassistenzeinrichtung 12 kann weiterhin optional eine Speichereinrichtung 15 aufweisen, also ein Bauteil zum Speichern von Daten, das zum Beispiel als Speicherkarte oder Speicherchip ausgestaltet sein kann.The driver assistance device can optionally have a
Weiterhin weist das Kraftfahrzeug eine Ausgabeeinrichtung 14 auf, die zum Ausgeben einer Mediendatei ausgestaltet und eingerichtet ist. Die Ausgabeeinrichtung 14 kann beispielsweise einen Lautsprecher und/oder einen Bildschirm aufweisen, und zum Beispiel als Abspielgerät für Filme ausgestaltet sein. Das Kraftfahrzeug 10 in der Fig. weist weiterhin eine Bedieneinrichtung 16 auf, die zum Beispiel als Tastatur ausgestaltet sein kann. Optional können Ausgabeeinrichtung 14 und Bedieneinrichtung 16 in ein und dasselbe Geräte integriert sein, und beispielsweise als berührungssensitiver Bildschirm ausgestaltet sein. In diesem Fall können die Ausgabeeinrichtung 14 und die Bedieneinrichtung 16 durch eine Datenkommunikationsverbindung 17 miteinander verbunden sein, wobei die Datenkommunikationsverbindung 17 vorzugsweise als drahtgebundene Datenkommunikationsverbindung ausgestaltet sein kann, zum Beispiel als Kabel oder als Datenbus des Kraftfahrzeugs 10. Alternativ kann die Datenkommunikationsverbindung 17 eine drahtlose Datenkommunikationsverbindung 17 sein, beispielsweise eine WLAN-Verbindung oder eine Bluetooth-LE-Verbindung.Furthermore, the motor vehicle has an
Im Beispiel der Fig. kann das Kraftfahrzeug 10 beispielsweise gerade im manuellen Fahrmodus bedient werden. Mit anderen Worten muss der Fahrer im Moment alle Fahraufgaben selbst durchführen. Während des Fahrens kann er sich entscheiden, zum Beispiel in einen pilotierten Fahrmodus des Automatisierungsgrades 5 zu wechseln und kann hierzu zum Beispiel eine entsprechende Eingabe mit Hilfe der Bedieneinrichtung 16 machen. Die Bedieneinrichtung 16 kann diese Bedienhandlung, beispielsweise ein Berühren der berührungssensitiven Oberfläche des berührungssensitiven Bildschirms, empfangen, und daraufhin ein Bediensignal erzeugen (Verfahrensschritt S1), das die Bedienhandlung und die zu aktivierende Funktion, das heißt das Einstellen des pilotierten Fahrmodus, beschreiben kann. Der Verfahrensschritt S1 ist dabei ein optionaler Verfahrensschritt. Das erzeugte Bediensignal kann von der Bedieneinrichtung 16 an die Fahrerassistenzeinrichtung 12 übertragen werden, die im Verfahrensschritt S2 das Bediensignal empfängt.In the example in the figure, the
Mit anderen Worten befindet sich das Kraftfahrzeug 10 in einer aktuellen Fahrsituation in einem manuellen Fahrmodus, in dem der Benutzer alle Fahraufgaben selbstständig übernimmt. In dem zukünftigen pilotierten Fahrmodus würde das Kraftfahrzeug 10 jedoch vollautomatisiert fahren, sodass der Fahrer sich anderen Tätigkeiten widmen kann. Die zukünftige Fahrsituation ist also eine andere als die aktuelle, denn der Fahrer gibt die Führung des Kraftfahrzeugs 10 an die Fahrerassistenzeinrichtung 12 ab. Beispielweise kann es jedoch aus Sicherheitsgründen sinnvoll oder sogar wichtig sein, dass der Fahrer weiß, woran er zum Beispiel an einer Anzeige des Infotainmentsystems erkennen kann, dass der pilotierte Fahrmodus aktiviert ist, und was er zum Beispiel beachten muss, falls er den pilotierten Fahrmodus später wieder deaktivieren möchte. Weiterhin soll der Benutzer des Kraftfahrzeugs zum Beispiel darauf hingewiesen werden, dass er sich während des Betriebs des pilotierten Fahrmodus bequem hinsetzen kann und die Hände nicht am Lenkrad belassen muss, sobald das Kraftfahrzeug das Führen des Kraftfahrzeugs übernommen hat.In other words, in a current driving situation, the
In der Speichereinrichtung 15 können beispielsweise mehrere Mediendateien 18, 19, 20 abgespeichert sein, wobei jede der mehrere Mediendateien zum Beispiel jeweils ein Informationsfilm zu jeweils einem der unterschiedlichen Fahrmodi sein kann. Alternativ können die Mediendateien 18, 19, 20 Dateien unterschiedlicher oder anderer Medien sein, beispielsweise eine Audiodatei oder eine Bilddatei.For example,
In Abhängigkeit von dem empfangenen Bediensignal stellt die Fahrerassistenzeinrichtung 12 fest (S3), dass der Automatisierungsgrad des zu aktivierenden, also zukünftigen, Fahrmodus beispielsweise den Automatisierungsgrad 5 („Level 5“) haben kann. Entsprechende Zuordnungen von Fahrmodi zu Automatisierungsgraden können beispielsweise in einer digitalen Tabelle in der Speichereinrichtung 15 abgelegt oder in einer Programmierung auf einem Programmcode, der auf der Speichereinrichtung 15 zum Durchführen des erfindungsgemäßen Verfahrens abgelegt sein kann, enthalten sein.Depending on the received operating signal, the
Bei Ausführung durch die Prozessoreinrichtung 13 kann ein solcher Programmcode die Fahrerassistenzeinrichtung 12 dazu veranlassen, das erfindungsgemäße Verfahren durchzuführen. Beispielweise kann in dem genannten Programmcode hinterlegt sein, dass in Abhängigkeit von dem Automatisierungsgrad 5 die Mediendatei 18 bereitgestellt werden soll (S4), wobei die Mediendatei 18 den beispielhaften Instruktionsfilm über die Freiheiten beim pilotierten Fahren und den etwaigen Pflichten des Fahrers beschreiben kann.When executed by the
Die Fahrerassistenzeinrichtung 12 erzeugt im Verfahrensschritt S5 ein Ausgabesignal, das ein Ausgeben der bereitgestellten Mediendatei beschreibt (S5) und das erzeugte Ausgabesignal kann, vorzugsweise mit der bereitgestellten Mediendatei 18, an die Ausgabeeinrichtung 14 übertragen werden (S6).In method step S5, the
Während des Ausgebens der Mediendatei 18, 19, 20 (S7), also während des beispielhaften Abspielens des beispielhaften Instruktionsfilms, kann im Prüfvorgang der Beginn des Ausgebens der Mediendatei (S7) festgestellt werden. Damit kann dann auch festgestellt werden, dass ein Perzeptionskriterium erfüllt ist (S9). Das Perzeptionskriterium kann beispielsweise in der Speichereinrichtung 15 hinterlegt sein und beschreiben, dass ein Beginn des beispielhaften Abspielens ausreicht. Alternativ kann das Perzeptionskriterium vorgeben, dass der Fahrer den beispielhaften Instruktionsfilm ganz anschauen muss, das heißt dass das Erfüllen des Perzeptionskriteriums erst dann festgestellt werden kann (S9), wenn der Instruktionsfilm zu Ende abgespielt ist.During the output of the
Alternativ oder zusätzlich kann vorgesehen sein, dass ein Benutzer des Kraftfahrzeugs 10 das Ausgeben der Mediendatei (S7) durch zum Beispiel eine Bedienhandlung mit einem Dreh-Drücksteller der Bedieneinrichtung 16 abbrechen kann. Ein solches vorzeitiges Beenden des Ausgebens der Mediendatei (S10) wird beispielsweise anhand des entsprechenden Bediensignals festgestellt. Es kann dann im Verfahrensschritt S11 eine Informationsdaten bereitgestellt werden, die auch als Dokumentationsdatei bezeichnet werden kann, die zum Beispiel einen aktuellen Zeitpunkt und das vorzeitige Beenden (S10) dokumentieren kann. Diese Dokumentationsdatei kann dann in der Speichereinrichtung 15 gespeichert werden (S12). Auch hiermit kann optional das Perzeptionskriterium erfüllt sein.Alternatively or additionally, it can be provided that a user of the
Bei Feststellen des Erfüllens des Perzeptionskriteriums (S9) wird ein Steuersignal erzeugt (S13) zum Aktivieren des pilotierten Fahrmodus. Beispielweise bei einem Wechsel in den pilotierten Fahrmodus kann das Perzeptionskriterium dabei vorzugsweise beschreiben, dass das Ausgeben der Mediendatei 18 beginnt, wenn der pilotierte Fahrmodus bereits angeschaltet ist, sodass der Fahrer seine Aufmerksamkeit auf den Instruktionsfilm lenkt und die Fahraufgabe bereits von der Fahrerassistenzeinrichtung übernommen wurde.When it is determined that the perception criterion (S9) has been met, a control signal is generated (S13) to activate the piloted driving mode. For example, when switching to the piloted driving mode, the perception criterion can preferably describe that the output of the
Insgesamt zeigen die Ausführungsbeispiele, wie durch die Erfindung eine automatische Instruktion des Fahrers bei Aktivieren von automatisierten Fahrfunktionen, vorzugsweise Fahrfunktionen größer oder gleich dem Level 3 des automatisierten Fahrens, zur Verfügung gestellt wird.Overall, the embodiments show how the invention provides automatic instruction to the driver when activating automated driving functions, preferably driving functions greater than or equal to level 3 of automated driving.
Gemäß einem weiteren Ausführungsbeispiel kann vor oder während oder unmittelbar nach dem Aktivieren der automatisierten Fahrfunktion automatisch zum Beispiel ein kurzer Instruktionsfilm und/oder eine Instruktionsanimation gestartet werden, welche Informationen zu Tätigkeiten, welche der Fahrer in welcher Weise ausführen kann und welche Pflichten ihm weiterhin obliegen, zum Beispiel weiter erklären und verständlich machen können (zum Beispiel ähnlich der obligatorischen Fluggastschulung auf Verkehrsflügen durch die Flugbegleiter vor dem Starten des Flugzeugs). Dieser beispielhafte Instruktionsfilm und/oder die beispielhafte Instruktionsanimation können gegebenenfalls durch eine bewusste Bedienhandlung des Fahrers beendet werden. Vor oder während oder nach der bewussten Beendigung des beispielhaften Instruktionsfilms und/oder der beispielhaften Instruktionsanimation kann zum Beispiel ein On-Board-Infotainmentsystem im Rahmen der automatisierten Fahrfunktion frei benutzt werden.According to a further embodiment, before, during or immediately after activation of the automated driving function, a short instructional film and/or an instructional animation can be started automatically, for example, which can further explain and make understandable information about activities that the driver can perform in which way and which duties he still has (for example similar to the mandatory passenger training on commercial flights by the flight attendants before the aircraft takes off). This example instructional film and/or the example instructional animation can, if necessary, be ended by a conscious operating action by the driver. Before, during or after the conscious termination of the example instructional film and/or the example instructional animation, for example, an on-board infotainment system can be freely used as part of the automated driving function.
Vorteilhaft ergibt sich, dass der Benutzer zuverlässig informiert wird; ein freiwilliges aber jederzeit verfügbares Informationsangebot bezüglich der automatisierten Fahrfunktion wird bereitgestellt; eine zusätzliche, vertiefende Erklärung der dem Fahrer oder Benutzer obliegenden Pflichten (über eine kurze Textform hinaus) wird ermöglicht, vor oder während oder unmittelbar nach der Aktivierung der automatisierten Fahrfunktion, wenn der Fahrer oder Benutzer sich von der Fahraufgabe abwenden kann und auch Zeit dafür hat; und ein geneigter Fahrer kann sich bedarfsgerecht informieren, beispielsweise bei unterschiedlichen Fahrern oder Benutzern im Flottenbetrieb.The advantage is that the user is reliably informed; a voluntary but always available offer of information regarding the automated driving function is provided; an additional, more detailed explanation of the duties incumbent on the driver or user (beyond a short text form) is made possible, before or during or immediately after the activation of the automated driving function, if the driver or user can turn away from the driving task and also has time to do so; and a willing driver can obtain information as needed, for example from different drivers or users in fleet operations.
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018203688.8A DE102018203688B4 (en) | 2018-03-12 | 2018-03-12 | Method for operating a motor vehicle in a partially autonomous or piloted driving mode, driver assistance device, and motor vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018203688.8A DE102018203688B4 (en) | 2018-03-12 | 2018-03-12 | Method for operating a motor vehicle in a partially autonomous or piloted driving mode, driver assistance device, and motor vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102018203688A1 DE102018203688A1 (en) | 2019-09-12 |
| DE102018203688B4 true DE102018203688B4 (en) | 2024-11-14 |
Family
ID=67701669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102018203688.8A Active DE102018203688B4 (en) | 2018-03-12 | 2018-03-12 | Method for operating a motor vehicle in a partially autonomous or piloted driving mode, driver assistance device, and motor vehicle |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102018203688B4 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007008835A1 (en) | 2007-02-23 | 2008-08-28 | Volkswagen Ag | Device and method for interactive information output and / or assistance for the user of a motor vehicle |
| DE102009033752A1 (en) | 2009-07-17 | 2011-01-27 | Volkswagen Ag | Driver assistance function e.g. basic function, switching method for car, involves selecting and activating functions during operation of switching element, if preset criteria are satisfied for activation of functions |
| DE102013007256A1 (en) | 2013-04-26 | 2014-10-30 | Audi Ag | Method for personalized operation of a graphic user interface of a motor vehicle and motor vehicle with such a graphical user interface |
| DE102015225932A1 (en) | 2015-12-18 | 2017-06-22 | Bayerische Motoren Werke Aktiengesellschaft | Operating device for specifying the degree of assistance by a driver assistance |
| EP3187391A1 (en) | 2012-11-30 | 2017-07-05 | Google, Inc. | Engaging and disengaging for autonomous driving |
-
2018
- 2018-03-12 DE DE102018203688.8A patent/DE102018203688B4/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007008835A1 (en) | 2007-02-23 | 2008-08-28 | Volkswagen Ag | Device and method for interactive information output and / or assistance for the user of a motor vehicle |
| DE102009033752A1 (en) | 2009-07-17 | 2011-01-27 | Volkswagen Ag | Driver assistance function e.g. basic function, switching method for car, involves selecting and activating functions during operation of switching element, if preset criteria are satisfied for activation of functions |
| EP3187391A1 (en) | 2012-11-30 | 2017-07-05 | Google, Inc. | Engaging and disengaging for autonomous driving |
| DE102013007256A1 (en) | 2013-04-26 | 2014-10-30 | Audi Ag | Method for personalized operation of a graphic user interface of a motor vehicle and motor vehicle with such a graphical user interface |
| DE102015225932A1 (en) | 2015-12-18 | 2017-06-22 | Bayerische Motoren Werke Aktiengesellschaft | Operating device for specifying the degree of assistance by a driver assistance |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102018203688A1 (en) | 2019-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3752401B1 (en) | Method for selecting a driving profile of a motor car, driving assistance system and motor vehicle | |
| DE102014013960A1 (en) | Method for operating at least one driver assistance device of a motor vehicle and system having a driver assistance device | |
| DE102016222499B4 (en) | Method for operating a motor vehicle depending on a driver's condition | |
| WO2018210539A1 (en) | Driving system with different driving functions for an automated drive and a common input component, and method for activating a driving function via the common input component | |
| WO2018007229A1 (en) | Proactive control of an assistance system of a motor vehicle | |
| DE102021113988B9 (en) | Driving assistance system and driving assistance method for a vehicle | |
| DE102019105490A1 (en) | Method, device and computer program for operating a vehicle using a mobile user device | |
| DE102017100061A1 (en) | A method for assisting a driver of a motor vehicle when parking using a driver assistance device, corresponding computer program product and driver assistance device | |
| DE102015103773A1 (en) | Method for operating a communication device for a motor vehicle during an autonomous driving mode, communication device and motor vehicle | |
| DE102018207675A1 (en) | Method for switching between different automation levels of a vehicle | |
| EP4366998B1 (en) | Method for determining a hands-off time for an automated motor vehicle | |
| DE102021132143A1 (en) | Method for operating a motor vehicle and motor vehicle | |
| WO2018211031A1 (en) | Driver assistance device with automatic proposal of a driver assistance function, and corresponding method | |
| EP4229361A1 (en) | Method, computer program, and device for modifying a route | |
| DE102018215992A1 (en) | Method and device for creating a driving option recommendation for a vehicle | |
| DE102018105649A1 (en) | Switching between modes for parking a vehicle | |
| WO2015086302A1 (en) | Reducing distractions for the driver of a motor vehicle | |
| DE102018133442A1 (en) | Method for outputting information in a vehicle and device for controlling output of information in a vehicle | |
| WO2021023728A1 (en) | Method for providing a function of a functional unit of a motor vehicle, assistance system and motor vehicle | |
| DE102018203688B4 (en) | Method for operating a motor vehicle in a partially autonomous or piloted driving mode, driver assistance device, and motor vehicle | |
| DE102021130164A1 (en) | Providing parking space data relating to a travel destination when driving a motor vehicle | |
| DE102013001885A1 (en) | System-initiated help function per trip and / or per user for the operation of a device associated with a vehicle | |
| DE102016213314A1 (en) | Method and system for activating a highly automated driving operation in a motor vehicle | |
| DE102020101894A1 (en) | Device and method for assisting a driver of an automated driving vehicle | |
| DE102019105546A1 (en) | Method, mobile user device, computer program for controlling a control unit of a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R082 | Change of representative |
Representative=s name: HOFSTETTER, SCHURACK & PARTNER - PATENT- UND R, DE |
|
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division | ||
| R020 | Patent grant now final |