[go: up one dir, main page]

DE102021003597A1 - Method for influencing the behavior of at least one occupant in a vehicle - Google Patents

Method for influencing the behavior of at least one occupant in a vehicle Download PDF

Info

Publication number
DE102021003597A1
DE102021003597A1 DE102021003597.6A DE102021003597A DE102021003597A1 DE 102021003597 A1 DE102021003597 A1 DE 102021003597A1 DE 102021003597 A DE102021003597 A DE 102021003597A DE 102021003597 A1 DE102021003597 A1 DE 102021003597A1
Authority
DE
Germany
Prior art keywords
behavior
occupant
vehicle
undesired
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102021003597.6A
Other languages
German (de)
Inventor
Alexander Hanuschkin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102021003597.6A priority Critical patent/DE102021003597A1/en
Publication of DE102021003597A1 publication Critical patent/DE102021003597A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Beeinflussung eines Verhaltens mindestens eines Insassen in einem Fahrzeug.Erfindungsgemäß wird ein verhaltensauslösender Kontext für ein Verhalten erkannt und anhand des erkannten vorliegenden verhaltensauslösenden Kontextes wird prognostiziert, dass ohne die Beeinflussung des Insassen ein unerwünschtes Verhalten des Insassen erfolgen wird, und es wird eine Intervention zur Beeinflussung des Verhaltens des Insassen durchgeführt, um das unerwünschte Verhalten des Insassen zu unterdrücken oder zu verändern.The invention relates to a method for influencing the behavior of at least one occupant in a vehicle. According to the invention, a behavior-triggering context for a behavior is recognized and, on the basis of the existing behavior-triggering context recognized, it is predicted that undesired behavior of the occupant will occur without influencing the occupant, and an intervention is carried out to influence the behavior of the occupant in order to suppress or change the undesired behavior of the occupant.

Description

Die Erfindung betrifft ein Verfahren zur Beeinflussung eines Verhaltens mindestens eines Insassen in einem Fahrzeug nach den Merkmalen des Oberbegriffs des Anspruchs 1.The invention relates to a method for influencing the behavior of at least one occupant in a vehicle according to the features of the preamble of claim 1.

Aus dem Stand der Technik sind, wie in der DE 11 2019 001 601 T5 beschrieben, ein Verfahren und eine Vorrichtung für sicherheitsverbessertes computergestütztes Fahren bekannt. Die Vorrichtung umfasst ein neuronales Netzwerk, um eine Klassifizierung für ein Verhalten eines Fahrers eines Fahrzeugs, das die Vorrichtung aufweist, zu bestimmen, basierend zumindest teilweise auf in Echtzeit gesammelten Daten über das Fahrzeug und einem aktuellen, in Echtzeit bestimmten Stress- oder Müdigkeitsgrad des Fahrers. Die Vorrichtung umfasst des Weiteren eine Sicherheitsaktionsmaschine, die mit dem neuronalen Netzwerk gekoppelt ist, um eine sicherheitsbezogene Aktion zu bestimmen, basierend zumindest teilweise auf der bestimmten Fahrerverhaltensklassifizierung und Daten, die sich auf den aktuellen Verkehrs- oder Straßenzustand einer Route beziehen, auf der die Fahrzeuge sich gerade bewegen. Die sicherheitsrelevante Aktion kann durch ein Infotainmentsystem oder ein Navigationssystem des Fahrzeugs durchgeführt werden, um dem Fahrer dabei zu helfen, das Fahrzeug auf eine sicherere Weise zu fahren.From the prior art, as in DE 11 2019 001 601 T5 described, a method and a device for safety-enhanced computer-assisted driving known. The device comprises a neural network in order to determine a classification for a behavior of a driver of a vehicle having the device, based at least in part on data collected in real time about the vehicle and a current level of stress or fatigue of the driver determined in real time . The device further comprises a safety action machine, which is coupled to the neural network, in order to determine a safety-related action based at least in part on the determined driver behavioral classification and data relating to the current traffic or road condition of a route on which the vehicles are traveling just move. The safety-related action can be performed by an infotainment system or a navigation system of the vehicle to help the driver to drive the vehicle in a safer manner.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Beeinflussung eines Verhaltens mindestens eines Insassen in einem Fahrzeug anzugeben.The invention is based on the object of specifying a method, which is improved over the prior art, for influencing the behavior of at least one occupant in a vehicle.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Beeinflussung eines Verhaltens mindestens eines Insassen in einem Fahrzeug mit den Merkmalen des Anspruchs 1.The object is achieved according to the invention by a method for influencing the behavior of at least one occupant in a vehicle having the features of claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche. Advantageous refinements of the invention are the subject matter of the subclaims.

In einem Verfahren zur Beeinflussung eines Verhaltens mindestens eines Insassen in einem Fahrzeug wird erfindungsgemäß ein verhaltensauslösender Kontext für ein, insbesondere unerwünschtes, Verhalten erkannt. Anhand des erkannten vorliegenden verhaltensauslösenden Kontextes, insbesondere eines nichttrivialen Kontextes, insbesondere eines komplexen Kontextes, wird prognostiziert, dass ohne die Beeinflussung des Insassen ein unerwünschtes Verhalten des Insassen, nämlich das Verhalten, dessen verhaltensauslösender Kontext erkannt wurde, erfolgen wird. Es wird im erfindungsgemäßen Verfahren somit vorteilhafterweise nicht ein bereits stattfindendes unerwünschtes Verhalten erkannt, sondern der Kontext, d. h. Einflussfaktoren, welche in der Folge zu dem unerwünschten Verhalten führen. Anhand dessen wird prognostiziert, dass vom Insassen ohne dessen Beeinflussung das unerwünschte Verhalten in der Zukunft, beispielsweise nach einer oder mehreren Zeiteinheiten, ausgeführt werden wird. Dadurch kann der Insasse bereits vor dem Eintritt des unerwünschten Verhaltens gewarnt werden. Erfindungsgemäß wird dann eine Intervention zur Beeinflussung des Verhaltens des Insassen durchgeführt, um dieses ohne diese Beeinflussung wahrscheinlich auftretende zukünftige unerwünschte Verhalten des Insassen zu unterdrücken oder zu verändern.In a method for influencing the behavior of at least one occupant in a vehicle, a behavior-triggering context for an, in particular undesired, behavior is recognized according to the invention. On the basis of the existing behavior-triggering context recognized, in particular a nontrivial context, in particular a complex context, it is predicted that, without influencing the occupant, an undesired behavior of the occupant, namely the behavior whose behavior-triggering context was recognized, will take place. In the method according to the invention, therefore, it is advantageously not an undesired behavior that is already taking place that is recognized, but rather the context, i. H. Influencing factors that subsequently lead to undesirable behavior. This is used to predict that the occupant will carry out the undesired behavior in the future, for example after one or more time units, without influencing the occupant. As a result, the occupant can already be warned before the occurrence of the undesired behavior. According to the invention, an intervention is then carried out to influence the behavior of the occupant in order to suppress or change this future undesired behavior of the occupant, which is likely to occur without this influencing.

Das erfindungsgemäße Verfahren ermöglicht somit insbesondere ein automatisches Erkennen des verhaltensauslösenden Kontextes zur Verhaltensänderung und beispielsweise einer unterstützenden Verhaltenstherapie im Fahrzeug, d. h. um diese Verhaltensänderung und beispielsweise die unterstützende Verhaltenstherapie im Fahrzeug zu ermöglichen.The method according to the invention thus in particular enables automatic recognition of the behavior-triggering context for behavior change and, for example, supportive behavioral therapy in the vehicle, i. H. to enable this change in behavior and, for example, supportive behavior therapy in the vehicle.

Beispielsweise werden erkannte verhaltensauslösende Eigenschaften des verhaltensauslösenden Kontextes verwendet, um das Verhalten des Insassen zu verändern und/oder eine Verhaltenstherapie, im Fahrzeug und/oder außerhalb des Fahrzeugs, zu unterstützen. Diese Verhaltenstherapie kann beispielsweise durch eine medizinische Fachkraft erfolgen oder zumindest unterstützt werden.For example, recognized behavior-triggering properties of the behavior-triggering context are used in order to change the behavior of the occupant and / or to support behavior therapy, in the vehicle and / or outside the vehicle. This behavior therapy can be carried out or at least supported by a medical professional, for example.

Für die Intervention zur Beeinflussung des Insassen wird insbesondere das Fahrzeug, insbesondere mindestens eine Komponente des Fahrzeugs, verwendet, um dem Insassen mindestens eine Verhaltensalternative oder mehrere Verhaltensalternativen zu ermöglichen.For the intervention to influence the occupant, in particular the vehicle, in particular at least one component of the vehicle, is used in order to allow the occupant at least one behavioral alternative or several behavioral alternatives.

Zur Beeinflussung seines Verhaltens wird der Insasse beispielsweise darüber informiert, dass prognostiziert wurde, dass ein unerwünschtes Verhalten des Insassen erfolgen wird, um hierdurch das Verhalten des Insassen zu beeinflussen und somit zu verändern.In order to influence his behavior, the occupant is informed, for example, that it has been predicted that undesired behavior of the occupant will occur, in order to thereby influence and thus change the behavior of the occupant.

Zum Erkennen des vom Insassen ausgeübten unerwünschten Verhaltens und/oder zum Erkennen des verhaltensauslösenden Kontextes werden insbesondere Methoden des computergestützten und/oder maschinellen Lernens verwendet, insbesondere mittels mindestens einer technischen Einrichtung im Fahrzeug.Methods of computer-aided and / or machine learning are used in particular to identify the undesired behavior exercised by the occupant and / or to identify the context that triggers the behavior, in particular by means of at least one technical device in the vehicle.

Beispielsweise wird unerwünschtes Verhalten des Insassen klassifiziert.For example, undesirable behavior on the part of the occupant is classified.

Zur Durchführung des erfindungsgemäßen Verfahrens ermöglicht es somit vorteilhafterweise eine technische Einrichtung im Fahrzeug, beispielsweise sicherheitsrelevante falsche Verhaltensweisen und/oder mindestens eine, beispielsweise vom Nutzer selbst, als unerwünscht oder schädlich gekennzeichnete Verhaltensweise, d. h. das unerwünschte Verhalten des Nutzers, zu erkennen, den verhaltensauslösenden Kontext des unerwünschten Verhaltens zu lernen und vorherzusagen, wann das Verhalten auftreten wird. Der Nutzer erhält hierdurch die Möglichkeit, sein unerwünschtes Verhalten zu ändern bzw. zu korrigieren.To carry out the method according to the invention, it therefore advantageously enables a technical device in the vehicle, For example, to recognize security-relevant wrong behaviors and / or at least one behavior marked as undesirable or harmful, for example by the user himself, i.e. the undesired behavior of the user, to learn the context of the undesired behavior that triggers the behavior and to predict when the behavior will occur. This gives the user the opportunity to change or correct his undesired behavior.

Die erfindungsgemäße Lösung erhöht insbesondere die Sicherheit im Straßenverkehr, indem das unerwünschte Verhalten, insbesondere sicherheitsrelevante falsche Verhaltensweisen, insbesondere von als Fahrer des jeweiligen Fahrzeugs fungierenden Nutzern, erkannt und korrigiert wird. Die erfindungsgemäße Lösung erhöht zudem einen Komfort im Fahrzeug, da es den Nutzer darin unterstützt, schädliche oder vom Nutzer als unerwünscht erachtete Verhaltensweisen abzulegen. Des Weiteren kann die erfindungsgemäße Lösung eine Effektivität einer Verhaltenstherapie erhöhen, da sie eine medizinische Fachkraft bei der Therapie unterstützen kann. Dadurch kann eine finanzielle Ersparnis und Zeitersparnis für den Nutzer erreicht werden.The solution according to the invention increases safety in road traffic in particular by recognizing and correcting the undesired behavior, in particular incorrect behavior that is relevant to safety, in particular of users acting as drivers of the respective vehicle. The solution according to the invention also increases comfort in the vehicle, since it supports the user in discarding harmful behavior or behavior that the user considers undesirable. Furthermore, the solution according to the invention can increase the effectiveness of behavior therapy, since it can support a medical specialist in the therapy. As a result, financial and time savings can be achieved for the user.

Insbesondere werden in dem beschriebenen Verfahren, insbesondere mittels Methoden des computergestützten Sehens, kamerabasiert, zum Beispiel mittels einer oder mehrerer Innenraumkameras des Fahrzeuges, unerwünschte oder schädliche Verhaltensweisen, welche insbesondere vom Nutzer ausgewählt wurden, d. h. das unerwünschte Verhalten des Nutzers, zu einem Zeitpunkt t0, d. h. zu einem aktuellen Zeitpunkt, erkannt und der Zeitpunkt t0 wird markiert. Vorteilhafterweise werden Merkmalswerte, beispielsweise Ort, Zeit, emotionaler Zustand und/oder eine Anwesenheit von anderen Insassen im Fahrzeug, welche zum Zeitpunkt t0 und auch zeitlich vor dem unerwünschten Verhalten, d. h. vor dem Zeitpunkt t0, auftraten, aufgezeichnet, insbesondere zeitlich direkt vorhergehend auftretende Merkmale und/oder Aktionen. Vorteilhafterweise werden mit Methoden des computergestützten und/oder maschinellen Lernens, beispielsweise Entscheidungsbäume und/oder Neuronale Netzwerke, Modelle trainiert, welche Muster in den Merkmalswerten erkennen, welche prädiktiv für das unerwünschte Verhalten sind. D. h. eine bestimmte Kombination von Merkmalswerten und beispielsweise zusätzlich eine zeitliche Änderung von Merkmalswertkombinationen wird das unerwünschte Verhalten als wahrscheinlich vorhersagen. Diese bestimmte Kombination von Merkmalswerten und beispielsweise zusätzlich die zeitliche Änderung von Merkmalswertkombinationen ist der verhaltensauslösende Kontext.In particular, in the described method, in particular by means of computer-aided vision methods, camera-based, for example by means of one or more interior cameras of the vehicle, undesired or harmful behaviors that have been selected in particular by the user, i. H. the undesired behavior of the user, at a point in time t0, d. H. at a current point in time, recognized and the point in time t0 is marked. Advantageously, feature values, for example location, time, emotional state and / or the presence of other occupants in the vehicle, which occurred at time t0 and also before the undesired behavior, i.e. H. occurred before time t0, recorded, in particular features and / or actions immediately preceding in time. Advantageously, using methods of computer-assisted and / or machine learning, for example decision trees and / or neural networks, models are trained which recognize patterns in the feature values which are predictive of the undesired behavior. I. E. a certain combination of feature values and, for example, an additional change in feature value combinations over time will predict the undesired behavior as likely. This particular combination of characteristic values and, for example, the change over time of characteristic value combinations is the context that triggers the behavior.

Wird durch das Modell auf Basis erfasster aktueller und vergangener Merkmalswerte das unerwünschte Verhalten, d. h. insbesondere eine vom Nutzer als unerwünscht oder schädlich gekennzeichnete Verhaltensweise, vorhergesagt, so kann das Fahrzeug den Nutzer darüber informieren und es können alternative Handlungsweisen, d. h. Verhaltensalternativen, empfohlen werden. Diese alternativen Handlungsweisen können beispielsweise von einem Fahrzeughersteller, zum Beispiel während einer Entwicklung des Fahrzeugs, vordefiniert werden und/oder durch den Nutzer seinen persönlichen Intensionen entsprechend angepasst werden.If the model detects the undesired behavior on the basis of recorded current and past characteristic values, i. H. in particular a behavior marked by the user as undesirable or harmful is predicted, the vehicle can inform the user about this and alternative courses of action, i.e. H. Behavioral alternatives are recommended. These alternative modes of action can, for example, be predefined by a vehicle manufacturer, for example during the development of the vehicle, and / or can be adapted by the user according to his personal intentions.

Vorteilhafterweise können aus dem Modell wichtige Merkmale und wichtige Merkmalswerte und beispielsweise zusätzlich wichtige zeitliche Verläufe von Merkmalswerten extrahiert werden, welche prädiktiv für das unerwünschte Verhalten sind.Advantageously, important features and important feature values and, for example, additionally important temporal profiles of feature values, which are predictive of the undesired behavior, can be extracted from the model.

Vorteilhafterweise kann durch das Verfahren und somit durch das Fahrzeug eine Verhaltenstherapie unterstützt werden, bei welcher der verhaltensauslösende Kontext, eine der persönlichen Intension entsprechende andere Routine, insbesondere ein anderes Verhalten, sowie eine Belohnung für das andere Verhalten und somit für das Vermeiden des unerwünschten Verhaltens, durch eine medizinische Fachkraft angepasst und in der Fahrzeuginteraktion, d. h. in dem hier beschriebenen Verfahren, berücksichtigt wird.Advantageously, the method and thus the vehicle can support a behavior therapy in which the behavior-triggering context, a different routine corresponding to the personal intention, in particular a different behavior, as well as a reward for the different behavior and thus for avoiding the undesired behavior, adjusted by a medical professional and in the vehicle interaction, d. H. in the procedure described here.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:

  • 1 eine schematische Darstellung eines Verfahrens zur Beeinflussung eines Verhaltens mindestens eines Insassen in einem Fahrzeug, und
  • 2 eine schematische Darstellung eines Ablaufdiagramms des Verfahrens zur Beeinflussung eines Verhaltens mindestens eines Insassen in einem Fahrzeug.
Show:
  • 1 a schematic representation of a method for influencing the behavior of at least one occupant in a vehicle, and
  • 2 a schematic representation of a flow chart of the method for influencing the behavior of at least one occupant in a vehicle.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided with the same reference symbols in all figures.

Anhand der 1 und 2 wird im Folgenden ein Verfahren zur Beeinflussung eines Verhaltens mindestens eines Insassen in einem Fahrzeug beschrieben, welches insbesondere ein automatisches Erkennen eines verhaltensauslösenden Kontextes zur Verhaltensänderung und unterstützenden Verhaltenstherapie 8 im Fahrzeug ermöglicht. Dabei zeigt 1 eine schematische Darstellung des Verfahrens und 2 zeigt ein Ablaufdiagramm des Verfahrens.Based on 1 and 2 In the following, a method for influencing the behavior of at least one occupant in a vehicle is described, which in particular automatically recognizes a behavior-triggering context for behavior change and supportive behavior therapy 8th in the vehicle. It shows 1 a schematic representation of the process and 2 shows a flow chart of the method.

Zunächst kurz zusammengefasst wird in dem hier beschriebenen Verfahren anhand eines erkannten vorliegenden verhaltensauslösenden Kontextes, insbesondere eines nichttrivialen Kontextes, insbesondere eines komplexen Kontextes, prognostiziert, dass ohne die Beeinflussung des Insassen ein unerwünschtes Verhalten des Insassen erfolgen wird. Es wird somit vorteilhafterweise nicht ein bereits stattfindendes unerwünschtes Verhalten erkannt, sondern der Kontext, d. h. Einflussfaktoren, welche in der Folge zu dem unerwünschten Verhalten führen. Anhand dessen wird prognostiziert, dass vom Insassen ohne dessen Beeinflussung das unerwünschte Verhalten in der Zukunft, beispielsweise nach einer oder mehreren Zeiteinheiten, ausgeführt werden wird. Dadurch kann der Insasse bereits vor dem Eintritt des unerwünschten Verhaltens gewarnt werden. Es wird dann eine Intervention zur Beeinflussung des Verhaltens des Insassen durchgeführt, um dieses ohne diese Beeinflussung wahrscheinlich auftretende zukünftige unerwünschte Verhalten des Insassen zu unterdrücken oder zu verändern. First briefly summarized in the method described here using a recognized present behavior-triggering context, in particular a nontrivial context, in particular a complex context, predicts that, without influencing the occupant, undesired behavior of the occupant will occur. It is thus advantageously not an undesired behavior that is already taking place that is recognized, but rather the context, ie influencing factors which subsequently lead to the undesired behavior. This is used to predict that the occupant will carry out the undesired behavior in the future, for example after one or more time units, without influencing the occupant. As a result, the occupant can already be warned before the occurrence of the undesired behavior. An intervention is then carried out for influencing the behavior of the occupant in order to suppress or change this future undesired behavior of the occupant which is likely to occur without this influencing.

Beispielsweise werden erkannte verhaltensauslösende Eigenschaften des verhaltensauslösenden Kontextes verwendet, um das Verhalten des Insassen zu verändern und/oder eine Verhaltenstherapie 8, im Fahrzeug und/oder außerhalb des Fahrzeugs, zu unterstützen. Diese Verhaltenstherapie 8 kann beispielsweise durch eine medizinische Fachkraft 9 erfolgen oder zumindest unterstützt werden.For example, recognized behavior-triggering properties of the behavior-triggering context are used in order to change the behavior of the occupant and / or a behavior therapy 8th , in the vehicle and / or outside the vehicle. This behavior therapy 8th can, for example, be carried out by a healthcare professional 9 take place or at least be supported.

Für die Intervention zur Beeinflussung des Insassen wird insbesondere das Fahrzeug, insbesondere mindestens eine Komponente des Fahrzeugs, verwendet, um dem Insassen mindestens eine Verhaltensalternative oder mehrere Verhaltensalternativen zu ermöglichen.For the intervention to influence the occupant, in particular the vehicle, in particular at least one component of the vehicle, is used in order to allow the occupant at least one behavioral alternative or several behavioral alternatives.

Zur Beeinflussung seines Verhaltens wird der Insasse beispielsweise darüber informiert, dass prognostiziert wurde, dass ein unerwünschtes Verhalten des Insassen erfolgen wird, um hierdurch das Verhalten des Insassen zu beeinflussen und somit zu verändern.In order to influence his behavior, the occupant is informed, for example, that it has been predicted that undesired behavior of the occupant will occur, in order to thereby influence and thus change the behavior of the occupant.

Zum Erkennen des vom Insassen ausgeübten unerwünschten Verhaltens und/oder zum Erkennen des verhaltensauslösenden Kontextes werden insbesondere Methoden des computergestützten und/oder maschinellen Lernens verwendet, insbesondere mittels mindestens einer technischen Einrichtung 3 im Fahrzeug. Diese technische Einrichtung 3 ist beispielsweise ein Steuergerät oder eine andere Vorrichtung zur Durchführung des Verfahrens.Methods of computer-assisted and / or machine learning are used in particular to identify the undesired behavior exercised by the occupant and / or to identify the context that triggers the behavior, in particular by means of at least one technical device 3 in the vehicle. This technical facility 3 is, for example, a control unit or another device for carrying out the method.

Beispielsweise wird unerwünschtes Verhalten des Insassen klassifiziert.For example, undesirable behavior on the part of the occupant is classified.

Für das hier beschriebene Verfahren wird vorteilhafterweise eine im Fahrzeug angeordnete Innenraumkamera oder werden mehrere solche Innenraumkameras verwendet. Dadurch können Daten über den Insassen oder die mehreren Insassen des Fahrzeugs zeitaufgelöst aufgezeichnet werden. Insbesondere mittels Methoden des computergestützten und/oder maschinellen Sehens werden eine Position des jeweiligen Insassen sowie Körperbewegungen, beispielsweise Gesten, erkannt und lokalisiert. Des Weiteren können mittels dieser Methoden des computergestützten und/oder maschinellen Sehens auch Gegenstände erkannt und/oder Gegenstandsklassen zugeordnet werden sowie eine Position des jeweiligen Gegenstands erkannt werden. Somit sind auch relative Positionen von Gegenständen zu Insassen des Fahrzeugs erfassbar, mit einer als Monokamera ausgebildeten Innenraumkamera zumindest in der Bildebene, mit einer als Stereokamera ausgebildeten Innenraumkamera durch Triangulation der jeweiligen Positionen im dreidimensionalen Raum. Auf diese Weise wird ein Erkennen vielfältiger Verhaltensweisen automatisiert ermöglicht, beispielsweise eine Nutzung eines Mobiltelefons, Zigarette rauchen, Süßigkeiten essen, Zähneknirschen oder -pressen, Nägelkauen und anderes, insbesondere unerwünschte, Verhalten.For the method described here, an interior camera arranged in the vehicle or several such interior cameras are advantageously used. As a result, data about the occupant or the multiple occupants of the vehicle can be recorded in a time-resolved manner. In particular by means of computer-aided and / or machine vision methods, a position of the respective occupant and body movements, for example gestures, are recognized and localized. Furthermore, by means of these methods of computer-aided and / or machine vision, objects can also be recognized and / or object classes can be assigned and a position of the respective object can be recognized. Thus, relative positions of objects to occupants of the vehicle can also be recorded, with an interior camera designed as a mono camera, at least in the image plane, with an interior camera designed as a stereo camera by triangulating the respective positions in three-dimensional space. In this way, a variety of behaviors can be recognized in an automated manner, for example using a cell phone, smoking a cigarette, eating sweets, grinding or clenching one's teeth, biting nails and other, in particular undesirable, behavior.

Auf die beschriebene Weise ermöglichen es die Methoden des computergestützten Sehens somit, kamerabasiert, insbesondere mittels mindestens einer Innenraumkamera des Fahrzeugs, vielfältige Verhaltensweisen zu einem Zeitpunkt t0, d. h zu einem aktuellen Zeitpunkt, an welchem das jeweilige unerwünschte Verhalten stattfindet, zu erkennen und diesen Zeitpunkt t0 zu markieren. Dies wird im hier beschriebenen Verfahren mit mindestens einem unerwünschten Verhalten mindestens eines Insassen des Fahrzeugs durchgeführt.In the manner described, the methods of computer-aided vision thus make it possible, camera-based, in particular by means of at least one interior camera of the vehicle, a variety of behaviors at a point in time t0, ie. h to recognize at a current point in time at which the respective undesired behavior takes place and to mark this point in time t0. In the method described here, this is carried out with at least one undesirable behavior of at least one occupant of the vehicle.

Vorteilhafterweise werden zudem mittels im Fahrzeug angeordneter Sensoren 2 Merkmalswerte, d. h. Sensordaten und aus Sensordaten abgeleitete Größen verschiedener Merkmale erfasst. Als Sensoren 2 können beispielsweise ein Positionsbestimmungssensor, eine Uhr, ein Innenraummikrophon oder mehrere solche Innenraummikrophone, eine oder mehrere Innenraumkameras, ein Thermometer, ein Regensensor, eine Umfeldüberwachungssensorik des Fahrzeugs und/oder andere Sensoren 2 verwendet werden. Die Merkmalswerte, d. h. die Sensordaten sowie aus den Sensordaten abgeleitete Größen, sind dann beispielsweise ein Standort des Fahrzeuges, eine Uhrzeit, gegenwärtige Emotion des Insassen, ausgeführte Handlung des Insassen, eine Außentemperatur, eine Regenmenge und/oder ein Verkehrsfluss und/oder andere Merkmalswerte der entsprechenden Merkmale. Die Merkmale, zu denen diese Merkmalswerte gehören, sind somit beispielsweise Ort, Zeit, Emotion, Handlung, Wetter, Verkehrssituation und/oder andere Merkmale.Advantageously, sensors arranged in the vehicle are also used 2 Feature values, ie sensor data and sizes of various features derived from sensor data. As sensors 2 For example, a position determination sensor, a clock, an interior microphone or several such interior microphones, one or more interior cameras, a thermometer, a rain sensor, a vehicle environment monitoring system and / or other sensors 2 be used. The feature values, ie the sensor data as well as variables derived from the sensor data, are then, for example, a location of the vehicle, a time, the occupant's current emotion, the occupant's action, an outside temperature, an amount of rain and / or a traffic flow and / or other characteristic values corresponding characteristics. The features to which these feature values belong are, for example, location, time, emotion, action, weather, traffic situation and / or other features.

Insbesondere werden diese Merkmalswerte und ihr zeitlicher Verlauf nicht nur zum Zeitpunkt t0, d. h. zum aktuellen Zeitpunkt, erfasst und aufgezeichnet, sondern auch bereits in einem Zeitraum vor diesem aktuellen Zeitpunkt t0.In particular, these feature values and their temporal progression are recorded and recorded not only at the point in time t0, that is to say at the current point in time, but also in a period prior to this current point in time t0.

Die Merkmale und somit auch die Merkmalswerte werden dabei vorteilhafterweise dem jeweiligen Insassen, beispielsweise einem Fahrer und Mitfahrern des Fahrzeugs, eindeutig zugeordnet. Zur Identifizierung des jeweiligen Insassen sind vielfältige Methoden bekannt. Beispielsweise wird der jeweilige Insasse durch Bildaufnahmen, insbesondere mittels der mindestens einen Innenraumkamera des Fahrzeugs in Kombination mit bekannten Methoden des maschinellen Sehens, insbesondere durch eine Gesichtserkennung, und/oder durch einen personalisierten Fahrzeugschlüssel und/oder durch einen persönlichen PIN-Code oder anderen Code, identifiziert. Die aufgezeichneten Sensordaten, d. h. die Merkmalswerte, können somit eindeutig einem jeweiligen Insassen im Fahrzeug zugeordnet werden.The features and thus also the feature values are advantageously assigned unambiguously to the respective occupant, for example a driver and passengers of the vehicle. Various methods are known for identifying the respective occupant. For example, the respective occupant is captured by image recordings, in particular by means of the at least one interior camera of the vehicle in combination with known methods of machine vision, in particular by face recognition, and / or by a personalized vehicle key and / or by a personal PIN code or other code, identified. The recorded sensor data, i. H. the feature values can thus be clearly assigned to a respective occupant in the vehicle.

Die Erkennung von Emotionen des jeweiligen Insassen erfolgt beispielweise anhand von Gesichts-, Sprach-, oder Physiosignalen mittels einer entsprechenden Sensorik des Fahrzeugs, beispielsweise wie in US 2012/0130196 A1 beschrieben. Hierzu analysiert die oben bereits erwähnte technische Einrichtung 3 des Fahrzeugs, welche zur Durchführung des hier beschriebenen Verfahrens vorgesehen ist, Bilder der mindestens einen Innenraumkamera oder der mehreren Innenraumkameras des Fahrzeugs und/oder Daten von im Fahrzeug angeordneten Vitalsensoren in Echtzeit/online. Ein Ansatz des maschinellen Sehens, insbesondere mittels Neuronaler Netzwerke, ermöglicht es, Gesichtsausdrücke und Körperbewegungen des jeweiligen Insassen zu klassifizieren und automatisch Emotionen zu erkennen und zu klassifizieren.The detection of emotions of the respective occupant takes place, for example, on the basis of facial, speech or physical signals by means of a corresponding sensor system of the vehicle, for example as in FIG US 2012/0130196 A1 described. For this purpose, the above-mentioned technical facility analyzes 3 of the vehicle, which is provided for carrying out the method described here, images from the at least one interior camera or the multiple interior cameras of the vehicle and / or data from vital sensors arranged in the vehicle in real time / online. A machine vision approach, in particular using neural networks, makes it possible to classify facial expressions and body movements of the respective occupant and to automatically recognize and classify emotions.

Neben einer Analyse auf Basis visueller Daten können beispielsweise auch, alternativ oder zusätzlich, Sitzsensoren in einem jeweiligen Fahrzeugsitz ausgewertet werden. Deren Daten können beispielsweise auf ruckartige, beispielsweise schreckhafte, Bewegungen des jeweiligen Insassen hindeuten.In addition to an analysis based on visual data, seat sensors in a respective vehicle seat can also, alternatively or additionally, be evaluated. Their data can, for example, indicate jerky, for example frightening, movements of the respective occupant.

Alternativ oder zusätzlich kann beispielsweise eine Analyse von Audiodaten, welche insbesondere mittels des mindestens einen Innraummikrophons erfasst werden, durchgeführt werden. Dies ermöglicht beispielsweise ein Erkennen von Schreck- und/oder Stressmomenten.As an alternative or in addition, for example, an analysis of audio data, which is recorded in particular by means of the at least one interior microphone, can be carried out. This enables, for example, moments of fright and / or stress to be recognized.

Des Weiteren können beispielsweise die bereits erwähnten Vitalsensoren verwendet werden, um ein Wohlbefinden des jeweiligen Insassen zu qualifizieren, beispielsweise anhand von Auffälligkeiten im EKG, in der Herzratenvariabilität, im systolischen Blutdruck, und/oder in der Sauerstoffsättigung im Blut.Furthermore, the already mentioned vital sensors can be used, for example, to qualify the well-being of the respective occupant, for example on the basis of abnormalities in the EKG, in the heart rate variability, in the systolic blood pressure, and / or in the oxygen saturation in the blood.

In dem hier beschriebenen Verfahren kann beispielsweise vorgesehen sein, dass, wenn ein jeweiliger Insasse des Fahrzeugs, beispielsweise der Fahrer und/oder ein Mitfahrer, ein unerwünschtes Verhalten, zum Beispiel eine schädliche oder als subjektiv unerwünscht betrachtete Verhaltensweise, beispielsweise Handynutzung, Zigarette rauchen, Süßigkeiten essen, Zähneknirschen oder -pressen, Nägelkauen oder ähnliche Verhaltensweisen, verändern möchte, er beispielsweise über eine Menüfunktion in Fahrzeugeinstellungen oder auf andere Weise auswählt, dass die technische Einrichtung 3 das ausgewählte unerwünschte Verhalten automatisch erkennt und den Zeitpunkt t0 des Auftretens des unerwünschten Verhaltens, d. h. den Zeitpunkt, zu dem das unerwünschte Verhalten auftritt, markiert.In the method described here, it can be provided, for example, that if a respective occupant of the vehicle, for example the driver and / or a passenger, behaves in an undesirable manner, for example a harmful or subjectively undesirable behavior, for example using a mobile phone, smoking a cigarette, sweets eating, grinding or clenching teeth, nail biting or similar behavior, for example, he selects the technical device via a menu function in vehicle settings or in another way 3 automatically recognizes the selected undesired behavior and marks the point in time t0 of the occurrence of the undesired behavior, ie the point in time at which the undesired behavior occurs.

Merkmalswerte, welche zu diesem Zeitpunkt t0 als auch zeitlich vor dem Auftreten des unerwünschten Verhaltens, d. h. vor dem Zeitpunkt t0, auftraten, insbesondere direkt vorhergehende Handlungen, z.B. andere Verhaltensweisen, beispielsweise Radio bedienen oder andere Verhaltensweisen, werden aufgezeichnet. Solche aufgezeichneten Merkmalswerte sind beispielsweise Ort, Zeit, emotionaler Zustand des Insassen, Anwesenheit anderer Insassen im Fahrzeug und/oder Verkehrssituation.Feature values which at this point in time t0 as well as before the occurrence of the undesired behavior, i. H. occurred before time t0, in particular directly preceding actions, e.g. other behaviors, for example using the radio or other behaviors, are recorded. Such recorded feature values are, for example, location, time, emotional state of the occupant, presence of other occupants in the vehicle and / or the traffic situation.

Mit Methoden des maschinellen Lernens, beispielsweise mit Entscheidungsbäumen und/oder Neuronalen Netzwerken, werden mit diesen aufgezeichneten Daten in der technischen Einrichtung 3 Modelle trainiert, welche Muster in den Merkmalswerten sowie dem zeitlichen Verlauf von Merkmalswerten erkennen, welche prädiktiv für das unerwünschte Verhalten sind. D. h. eine bestimmte Kombination oder eine Menge von Kombinationen von Merkmalswerten sowie dem zeitlichen Verlauf von Merkmalswerten wird die unerwünschte Verhaltensweise als wahrscheinlich vorhersagen. Diese bestimmte Kombination oder Menge von Kombinationen von Merkmalswerten sowie dem zeitlichen Verlauf von Merkmalswerten, die prädiktiv für das unerwünschte Verhalten sind, sind somit ein verhaltensauslösender Kontext für das unerwünschte Verhalten. Auf die beschriebene Weise wird somit in dem hier beschriebenen Verfahren zunächst der verhaltensauslösende Kontext, welcher darauf folgend zumindest mit sehr hoher Wahrscheinlichkeit zu dem unerwünschten Verhalten führt, gelernt.Using machine learning methods, for example with decision trees and / or neural networks, these recorded data in the technical facility 3 Models train which patterns in the feature values as well as the temporal progression of feature values recognize which are predictive of the undesired behavior. I. E. a certain combination or a set of combinations of feature values as well as the temporal course of feature values will predict the undesired behavior as likely. This specific combination or set of combinations of feature values and the time course of feature values that are predictive of the undesired behavior are thus a behavior-triggering context for the undesired behavior. In the method described here, the behavior-triggering context, which subsequently leads to the undesired behavior at least with a very high degree of probability, is thus first learned in the method described here.

Ist das Modell ausreichend mit Beispielen des unerwünschten Verhaltens und den Daten der Merkmalswerte trainiert, so ist es möglich, eine vom Insassen als unerwünscht oder schädlich gekennzeichnete Verhaltensweise, d. h. das unerwünschte Verhalten, durch das Modell vorherzusagen bzw. mit einer gewissen, insbesondere hohen oder sehr hohen Wahrscheinlichkeit, zu erwarten.If the model is sufficiently trained with examples of the undesired behavior and the data of the feature values, then it is possible to identify a behavior which the occupant has identified as undesirable or harmful, ie the undesired Behavior to be predicted by the model or to be expected with a certain, in particular high or very high probability.

Zusätzlich oder alternativ können die Merkmalswerte sowie deren zeitlicher Verlauf algorithmisch, zum Beispiel durch das Berechnen von Merkmalswertverteilungen, nach, insbesondere in einer Entwicklung erstellten, vorgegebenen Regeln ausgewertet werden. Folgen beispielsweise Merkmalswertverteilungen einer vordefinierten Kurve oder befinden sich Merkmalswerte über einem vordefinierten Schwellwert, so kann eine unerwünscht oder schädlich gekennzeichnete Verhaltensweise, d. h. das unerwünschte Verhalten des Insassen, durch das mit dem Algorithmus erstellte Modell mit einer gewissen, insbesondere hohen oder sehr hohen, Wahrscheinlichkeit vorhergesagt werden. Allerdings können auf diese Weise nur während der Entwicklung, insbesondere während der Entwicklung des Fahrzeugs und/oder der technischen Einrichtung 3 und/oder des konkreten Verfahrensablaufs, bekannte verhaltensauslösende Kontexte berücksichtigt werden. Individuelle, komplexe verhaltensauslösende Kontexte werden auf die oben beschriebene andere Weise mit dem mittels maschinellem Lernen erstellten Modell erfasst.Additionally or alternatively, the feature values and their temporal course can be evaluated algorithmically, for example by calculating feature value distributions, according to predetermined rules, in particular created in a development. If, for example, feature value distributions follow a predefined curve or feature values are above a predefined threshold value, an undesirable or harmful behavior, i.e. the undesired behavior of the occupant, can be predicted with a certain, in particular high or very high, probability using the model created with the algorithm will. However, this can only be done during development, in particular during development of the vehicle and / or the technical device 3 and / or the specific process sequence, known behavior-triggering contexts are taken into account. Individual, complex behavior-triggering contexts are recorded in the other way described above with the model created by means of machine learning.

Ist das Modell, welches den verhaltensauslösenden Kontext des unerwünschten Verhaltens erkennt, auf die beschriebene Weise ausreichend trainiert, dann prädiziert im hier beschriebenen Verfahren das Modell in der technischen Einrichtung 3 auf Basis gegenwärtiger Merkmalswerte, beispielsweise Zeit, Ort, emotionaler Zustand, mitfahrende weitere Insassen, Wetter und/oder Radioprogramm, sowie dem zeitlichen Verlauf der Merkmalswerte kontinuierlich, ob das unerwünschte Verhalten auftreten wird, insbesondere ob die Wahrscheinlichkeit für das Auftreten des unerwünschten Verhaltens über einem vorgegebenen Schwellwert liegt. In diesem Fall ist vorteilhafterweise vorgesehen, dass der Insasse vom Fahrzeug darüber informiert wird, dass er ein unerwünschtes Verhalten, insbesondere eine von ihm als unerwünschte ausgewählte Verhaltensweise, ausführen wird.If the model, which recognizes the behavior-triggering context of the undesired behavior, has been sufficiently trained in the manner described, then in the method described here, the model predicts in the technical facility 3 On the basis of current feature values, for example time, place, emotional state, other passengers traveling with them, weather and / or radio program, as well as the temporal course of the feature values continuously, whether the undesired behavior will occur, in particular whether the probability of the occurrence of the undesired behavior over a predetermined threshold is. In this case it is advantageously provided that the occupant is informed by the vehicle that he will carry out an undesired behavior, in particular a behavior selected by him as undesirable.

Des Weiteren wird dem Insassen vorteilhafterweise mindestens eine alternative Handlungsweise, d. h. mindestens eine Verhaltensalternative, empfohlen. Solche alternativen Handlungsweisen können beispielsweise während der Entwicklung vordefiniert und/oder durch den Insassen, seinen persönlichen Intensionen entsprechend, angepasst oder vorgegeben werden. Bei mehreren Handlungsweisen kann beispielsweise vorgesehen sein, dass der Insasse eine der alternativen Handlungsweisen selektieren kann, sodass sie in Zukunft immer vorgeschlagen wird. Das Verfahren führt somit vorteilhafterweise dazu, dass der Insasse nicht seinem unbewussten unerwünschten Verhalten folgt, sondern seinem bewussten Plan, insbesondere in Form der Verhaltensalternative. Auf diese Weise kann das unbewusste und unerwünschte Verhalten durch ein geplantes und erwünschtes Verhalten ersetzt werden.Furthermore, the occupant is advantageously given at least one alternative course of action, i. H. at least one behavioral alternative is recommended. Such alternative modes of action can, for example, be predefined during development and / or adapted or specified by the occupant according to his or her personal intentions. In the case of several courses of action it can be provided, for example, that the occupant can select one of the alternative courses of action so that it is always suggested in the future. The method thus advantageously leads to the occupant not following his unconscious undesired behavior, but his conscious plan, in particular in the form of the behavior alternative. In this way, the unconscious and undesirable behavior can be replaced by a planned and desired behavior.

In einer vorteilhaften Ausführungsform werden aus dem gelernten Modell wichtige Merkmale und wichtige Merkmalsausprägungen extrahiert, welche prädiktiv für das unerwünschte Verhalten sind. Diese Informationen über den verhaltensauslösenden Kontext können dem Nutzer des Verfahrens auch dann, wenn er kein Insasse des Fahrzeugs ist, d. h. auch außerhalb des Fahrzeugs, helfen, Situationen mit dem verhaltensauslösenden Kontext zu erkennen und seine Handlungsweise entsprechend anzupassen, um das unerwünschte Verhalten zu vermeiden. Beispielsweise ist vorgesehen, dass diese Informationen dem Insassen/Nutzer über ein so genanntes User Interface des Fahrzeugs, d. h. insbesondere über eine optische und/oder akustische Ausgabeeinheit, zugänglich gemacht werden, beispielsweise ihm angezeigt werden. Alternativ oder zusätzlich kann beispielsweise vorgesehen sein, dass diese Informationen vom Fahrzeug, beispielsweise über das User Interface auf eine andere, insbesondere persönliche, Einheit des Insassen/Nutzers übertragen werden, beispielsweise auf ein Mobiltelefon, insbesondere Smartphone, oder ein anderes computergestütztes Gerät des Insassen/Nutzers.In an advantageous embodiment, important features and important feature values are extracted from the learned model, which are predictive of the undesired behavior. This information about the behavior-triggering context can be made available to the user of the method even if he is not an occupant of the vehicle, i. H. also outside of the vehicle, help to recognize situations with the context that triggers the behavior and to adapt one's behavior accordingly in order to avoid the undesired behavior. For example, it is provided that this information is provided to the occupant / user via a so-called user interface of the vehicle, i.e. H. in particular via an optical and / or acoustic output unit, can be made accessible, for example displayed to him. Alternatively or additionally, it can be provided, for example, that this information is transmitted from the vehicle, for example via the user interface, to another, in particular personal, unit of the occupant / user, for example on a mobile phone, in particular smartphone, or another computer-aided device of the occupant / User.

In einer möglichen Ausführungsform kann vorgesehen sein, dass, insbesondere vom System, insbesondere von der technischen Einrichtung 3 zur Durchführung des Verfahrens eine Verhaltenstherapie 8 des Insassen unterstützt wird. Beispielsweise können hierfür wichtige Merkmale, wichtige Merkmalswerte sowie der zeitliche Verlauf wichtiger Merkmalswerte, welche prädiktiv für das unerwünschte Verhalten sind, d. h. der verhaltensauslösende Kontext, beispielsweise mittels Datenübertragung über eine Cloud oder eine digitale Krankenakte, d. h. insbesondere über einen entsprechenden fahrzeugexternen Server, einer behandelnden medizinischen Fachkraft 9, beispielsweise einem Arzt, zugänglich gemacht werden. D. h. diese Informationen zum verhaltensauslösenden Kontext werden vom Fahrzeug an den entsprechenden fahrzeugexternen Server übertragen. Sie sind dann beispielsweise der medizinischen Fachkraft 9 zugänglich und können somit beispielsweise für eine Verhaltenstherapie 8 außerhalb des Fahrzeugs verwendet werden.In one possible embodiment it can be provided that, in particular from the system, in particular from the technical device 3 behavior therapy to carry out the procedure 8th of the occupant is supported. For example, important features, important feature values and the temporal course of important feature values that are predictive of the undesired behavior, i.e. the context that triggers the behavior, for example by means of data transmission via a cloud or a digital medical record, i.e. in particular via a corresponding server external to the vehicle, a treating medical professional 9 , for example to a doctor. I. E. this information on the behavior-triggering context is transmitted from the vehicle to the corresponding server external to the vehicle. You are then, for example, the medical professional 9 accessible and can therefore be used for behavioral therapy, for example 8th used outside the vehicle.

Beispielsweise kann auch vorgesehen sein, dass der verhaltensauslösende Kontext, eine der persönlichen Intension des Insassen/Nutzers entsprechende andere Routine, d. h. eine Verhaltensalternative, sowie beispielsweise eine Belohnung bei Vermeidung des unerwünschten Verhaltens durch die medizinische Fachkraft 9 angepasst und in der Interaktion des Fahrzeugs mit dem Insassen während des Verfahrens berücksichtigt werden. Hierzu ist vorteilhafterweise eine Interaktionsmöglichkeit der medizinischen Fachkraft 9 mit dem Fahrzeug vorgesehen, beispielsweise das Übermitteln dieser von der medizinischen Fachkraft 9 angepassten Informationen aus der Cloud oder der digitalen Krankenakte, d. h. insbesondere von dem fahrzeugexternen Server, in das Fahrzeug, insbesondere in die technische Einrichtung 3 zur Durchführung des Verfahrens, insbesondere durch eine entsprechende Datenübertragung. Alternativ oder zusätzlich kann beispielsweise eine, insbesondere manuelle, Interaktion direkt mit dem Fahrzeug, insbesondere im Fahrzeug, vorgesehen sein, um diese von der medizinischen Fachkraft 9 angepassten Informationen in das Fahrzeug, insbesondere in die technische Einrichtung 3 zur Durchführung des Verfahrens, einzuspeisen.For example, it can also be provided that the behavior-triggering context, another routine corresponding to the personal intention of the occupant / user, ie a behavior alternative, as well as, for example, a reward for avoiding the undesired behavior by the medical professional 9 adapted and in the Interaction of the vehicle with the occupant should be taken into account during the procedure. For this purpose, there is advantageously an opportunity for the medical professional to interact 9 provided with the vehicle, for example the transmission of this by the medical professional 9 adapted information from the cloud or the digital medical record, ie in particular from the server external to the vehicle, into the vehicle, in particular into the technical device 3 to carry out the process, in particular by means of a corresponding data transfer. As an alternative or in addition, for example, an in particular manual interaction directly with the vehicle, in particular in the vehicle, can be provided so that this can be carried out by the medical specialist 9 adapted information in the vehicle, in particular in the technical device 3 to carry out the process.

In einer möglichen Ausführungsform des Verfahrens kann, alternativ oder zusätzlich zur oben beschriebenen Auswahl und/oder Vorgabe des zu vermeidenden unerwünschten Verhaltens durch den jeweiligen Insassen und/oder bereits während der Entwicklung, vorgesehen sein, dass, insbesondere durch die technische Einrichtung 3, schädliche oder als unerwünscht betrachtete Verhaltensweisen, insbesondere sicherheitsrelevante falsche Verhaltensweisen, beispielsweise ein Greifen eines Lenkrads des Fahrzeugs nur mit einer Hand, ein Loslassen des Lenkrads bei eingeschalteten Assistenzsystemen, ein Telefonieren während der Fahrt direkt mittels eines Mobiltelefons und/oder ein Untergreifen des Lenkrads beim Rangieren, als unerwünschtes Verhalten des jeweiligen Insassen, insbesondere des Fahrers, automatisch erkannt werden. In diesem Fall erfolgt das weitere Verfahren wie oben beschrieben, mit der Ausnahme, dass das betreffende unerwünschte Verhalten nun automatisch als solches unerwünschtes Verhalten erkannt wird und nicht erst vorgegeben werden muss.In a possible embodiment of the method, as an alternative or in addition to the above-described selection and / or specification of the undesired behavior to be avoided by the respective occupant and / or already during development, it can be provided that, in particular by the technical device 3 , harmful or undesirable behavior, in particular incorrect behavior that is relevant to safety, for example gripping a steering wheel of the vehicle with only one hand, letting go of the steering wheel when the assistance systems are switched on, making calls while driving directly using a mobile phone and / or reaching under the steering wheel Maneuvering, as undesirable behavior of the respective occupant, in particular the driver, are automatically recognized. In this case, the further procedure takes place as described above, with the exception that the undesired behavior in question is now automatically recognized as such undesirable behavior and does not have to be specified first.

Das Verfahren wurde bisher anhand eines einzelnen unerwünschten Verhaltens und somit anhand eines darauf, insbesondere auf dessen verhaltensauslösenden Kontext, trainierten Modell beschrieben. Es kann alternativ natürlich auch vorgesehen sein, dass das Verfahren auf die beschriebene Weise gleichzeitig bezüglich mehrerer unerwünschter Verhalten desselben Insassen und/oder mehrerer verschiedener Insassen durchgeführt wird. Insbesondere ist hierfür vorgesehen, dass, insbesondere mittels der technischen Einrichtung 3, nicht nur eines, sondern mehrere Modelle für verschiedene Verhaltensweisen, d. h. für verschiedene unerwünschte Verhalten, trainiert werden, insbesondere parallel trainiert werden, und entsprechend zur Vorhersage des jeweiligen unerwünschten Verhaltens auf die oben beschriebene Weise verwendet werden. Somit können gleichzeitig verschiedene Verhaltensweisen, d. h. verschiedene unerwünschte Verhalten, analysiert werden. Das oben beschriebene Verfahren ist somit ein Verfahren zur Beeinflussung des Verhaltens mindestens eines Insassen oder mehrerer Insassen im Fahrzeug zur Vermeidung mindestens eines unerwünschten Verhaltens oder mehrerer unerwünschter Verhalten des mindestens einen oder des jeweiligen Insassen des Fahrzeugs.The method has so far been described on the basis of a single undesired behavior and thus on the basis of a model trained on it, in particular on its behavior-triggering context. As an alternative, it can of course also be provided that the method is carried out simultaneously in the manner described with regard to several undesired behavior of the same occupant and / or several different occupants. In particular, it is provided for this that, in particular by means of the technical device 3 , not just one, but several models for different behaviors, ie for different undesirable behaviors, are trained, in particular trained in parallel, and used accordingly to predict the respective undesired behavior in the manner described above. Different behaviors, ie different undesirable behaviors, can thus be analyzed at the same time. The method described above is thus a method for influencing the behavior of at least one occupant or several occupants in the vehicle in order to avoid at least one undesired behavior or several undesirable behaviors of the at least one or the respective occupant of the vehicle.

Im Folgenden werden zur Veranschaulichung des Verfahrens zwei Beispielfälle für unerwünschtes Verhalten und dessen Vermeidung beschrieben.In the following, two examples of undesired behavior and how to avoid it are described to illustrate the method.

Im ersten Beispielfall ist der als Fahrer fungierende Insasse des Fahrzeugs ein Vielfahrer im Außendienst und möchte weniger Süßigkeiten während der Fahrt essen. Das unerwünschte Verhalten ist somit der Süßigkeitenverzehr. Beispielsweise selektiert der Insasse nun im User Interface des Fahrzeuges, dass der Süßigkeitenverzehr als unerwünschtes Verhalten erkannt werden soll und ihm stattdessen alternative Handlungen, d. h. Verhaltensalternativen, vorgeschlagen werden sollen.In the first example, the occupant of the vehicle acting as the driver is a frequent driver in the field and would like to eat less sweets while driving. The undesirable behavior is therefore the consumption of sweets. For example, the occupant now selects in the user interface of the vehicle that the consumption of sweets is to be recognized as undesirable behavior and that alternative actions, ie. H. Behavioral alternatives should be proposed.

Führt nun der Insasse vom Fahrzeug als Süßigkeiten erkannte Objekte, beispielsweise Schokoriegel oder Chips, in Richtung Mund, so wird dies als unerwünschtes Verhalten erkannt, der verhaltensauslösende Kontext wird aufgezeichnet und das Modell auf die oben beschriebene Weise trainiert. Der Insasse erhält vom Fahrzeug vorteilhafterweise einen Warnhinweis, dass er gerade Süßigkeiten verzehrt, und vorteilhafterweise den zusätzlichen Hinweis, dass der verhaltensauslösende Kontext analysiert wird.If the occupant now guides objects recognized as candy by the vehicle, for example chocolate bars or chips, in the direction of their mouth, this is recognized as undesirable behavior, the behavior-triggering context is recorded and the model is trained in the manner described above. The occupant advantageously receives a warning from the vehicle that he is currently consuming sweets, and advantageously the additional information that the behavior-triggering context is being analyzed.

Nachdem der Insasse mehrere Male Süßigkeiten gegessen hat und somit mehrere Male das unerwünschte Verhalten erkannt und der verhaltensauslösende Kontext aufgezeichnet wurde, ist das Modell ausreichend trainiert, um den verhaltensauslösenden Kontext zu erkennen. Beispielsweise greift der Insasse immer nur zwischen 14 Uhr und 16 Uhr zu der Süßigkeit, wenn er gestresst ist und im Stau steht.After the occupant has eaten candy several times and thus recognized the undesired behavior several times and recorded the behavior-triggering context, the model is sufficiently trained to recognize the behavior-triggering context. For example, the occupant only reaches for the candy between 2 p.m. and 4 p.m. when he is stressed and stuck in a traffic jam.

Bei der nächsten Fahrt am Nachmittag steht das Fahrzeug in einem Stau und der Stresspegel steigt. Die Wahrscheinlichkeit der Verhaltensweise „Süßigkeiten essen“, d. h. des unerwünschten Verhaltens, ist hoch und der verhaltensauslösende Kontext wird von der technischen Einrichtung 3 erkannt. Der Insasse bekommt nun vom Fahrzeug einen Hinweis, dass die Verhaltensweise „Süßigkeiten essen“, d. h. das unerwünschte Verhalten, wahrscheinlich ist, und es werden beispielsweise die Verhaltensalternativen Hörbuch hören, Wasser trinken oder Pause an einem Rastplatz einplanen vorgeschlagen. Der Insasse kann eine Verhaltensalternative selektieren, welche in der Zukunft beispielsweise immer mit dem verhaltensauslösenden Kontext verknüpft werden soll. Des Weiteren werden dem Insassen vom Fahrzeug vorteilhafterweise die Informationen über den verhaltensauslösenden Kontext gegeben.On the next trip in the afternoon, the vehicle is stuck in a traffic jam and the stress level increases. The likelihood of the behavior “eating sweets”, ie undesirable behavior, is high and the context that triggers the behavior is determined by the technical facility 3 recognized. The occupant now receives a message from the vehicle that the behavior “eating sweets”, ie the undesired behavior, is likely, and the behavioral alternatives of listening to an audio book, drinking water or planning a break at a rest area are suggested, for example. The occupant can select an alternative behavior, which in the future, for example, will always be included should be linked to the context that triggers the behavior. Furthermore, the vehicle occupant is advantageously given the information about the context that triggers the behavior.

Im zweiten Beispielfall erkennt die technische Einrichtung 3 des Fahrzeugs automatisch eine sicherheitsrelevante falsche Verhaltensweise, d. h. ein unerwünschtes Verhalten, beispielsweise das ständige Untergreifen des Lenkrads beim Rangieren. Der als Fahrer fungierende Insasse erhält vorteilhafterweise einen Warnhinweis, dass er gerade das Lenkrad von unten greift. Er erhält dann zusätzlich die Erklärung, dass bei einem abrupten Stoppen des Fahrzeugs das Handgelenk brechen kann. Als alternative Handlungsempfehlung, d. h. als Verhaltensalternative, wird das Greifen des Lenkrads von oben empfohlen. Zusätzlich erhält der Insasse vorteilhafterweise den Hinweis, dass der verhaltensauslösende Kontext analysiert wird. Nachdem der Insasse die Erklärung gesehen und verstanden hat, greift er das Lenkrad beim Rangieren von oben, fällt aber in bestimmten Situationen, d. h. nach Vorliegen des verhaltensauslösenden Kontextes, wieder in das alte unbewusste und unerwünschte Verhalten zurück. Wird nun ein solcher verhaltensauslösender Kontext von der technischen Einrichtung 3 erkannt, so wird dem Insassen zusätzlich wieder vorsorglich der Warnhinweis und die Erklärung angezeigt.In the second example, the technical facility recognizes 3 the vehicle automatically shows a safety-relevant incorrect behavior, ie undesirable behavior, for example constantly reaching under the steering wheel when maneuvering. The occupant acting as the driver advantageously receives a warning that he is currently gripping the steering wheel from below. He then also receives an explanation that if the vehicle stops suddenly, the wrist can break. As an alternative recommendation for action, ie as an alternative behavior, it is recommended to grip the steering wheel from above. In addition, the occupant is advantageously informed that the context that triggers the behavior is being analyzed. After the occupant has seen and understood the explanation, he grips the steering wheel when maneuvering from above, but falls back into the old unconscious and undesired behavior in certain situations, ie after the context that triggered the behavior has been established. This is the behavior-triggering context of the technical facility 3 recognized, the occupant is also shown the warning and the explanation again as a precaution.

Anhand der schematischen Darstellung des Verfahrens in 1 wird das Verfahren nun nochmals zusammenfassend beschrieben. Das Verfahren umfasst im dargestellten Fall eine Insasseneingabe 1 bezüglich Einstellungen zum unerwünschten Verhalten, das erkannt und zukünftig vermieden werden soll. Des Weiteren werden für das Verfahren die oben bereits beschriebenen internen und/oder externen Sensoren 2 und somit Sensordaten dieser Sensoren 2 verwendet. Sensoren 2 sind beispielsweise die mindestens eine Innenraumkamera, das mindestens eine Innenraummikrophon, das mindestens eine Thermometer, der mindestens eine Regensensor, die mindestens eine Umfeldüberwachungssensorik, mindestens ein Vitalsensor, mindestens ein Sitzsensor in mindestens einem Fahrzeugsitz und/oder der mindestens eine Positionsbestimmungssensor und/oder die mindestens eine Uhr.Based on the schematic representation of the process in 1 the method is now described in summary again. In the case shown, the method includes an occupant input 1 regarding attitudes towards undesired behavior that should be recognized and avoided in the future. Furthermore, the internal and / or external sensors already described above are used for the method 2 and thus sensor data from these sensors 2 used. Sensors 2 are for example the at least one interior camera, the at least one interior microphone, the at least one thermometer, the at least one rain sensor, the at least one environment monitoring sensor system, at least one vital sensor, at least one seat sensor in at least one vehicle seat and / or the at least one position determination sensor and / or the at least a clock.

Die technische Einrichtung 3 zur Durchführung des Verfahrens ist beispielsweise ein Steuergerät des Fahrzeugs. Das Verfahren, welches durch diese technische Einrichtung 3 ausgeführt wird, umfasst einen Erkennungsabschnitt 4, einen Informationsabschnitt 5, einen Modelltrainingsabschnitt 6 und einen Modellnutzungsabschnitt 7. Die mittels der Insasseneingabe 1 vorgenommenen Einstellungen zum unerwünschten Verhalten, das erkannt und zukünftig vermieden werden soll, fließen in den Erkennungsabschnitt 4 ein. Die Sensordaten der internen und/oder externen Sensoren 2 fließen in den Erkennungsabschnitt 4, den Modelltrainingsabschnitt 6 und den Modellnutzungsabschnitt 7 ein.The technical facility 3 for example, a control unit of the vehicle is used to carry out the method. The procedure carried out by this technical facility 3 is executed includes a recognition section 4th , an information section 5 , a model training section 6th and a model usage section 7th . The by means of the occupant input 1 The settings made for undesired behavior that are to be recognized and avoided in the future flow into the recognition section 4th a. The sensor data of the internal and / or external sensors 2 flow into the recognition section 4th , the model training section 6th and the model usage section 7th a.

Im Erkennungsabschnitt 4 erfolgt, insbesondere anhand der mittels der Insasseneingabe 1 vorgenommenen Einstellungen zum unerwünschten Verhalten, das erkannt und zukünftig vermieden werden soll, und anhand der Sensordaten der internen und/oder externen Sensoren 2, auf die oben beschriebene Weise das Erkennen des unerwünschten Verhaltens zum Zeitpunkt t0, d. h. zum Zeitpunkt, an welchem das unerwünschte Verhalten aktuell stattfindet.In the recognition section 4th takes place, in particular on the basis of the occupant input 1 settings made for undesired behavior that is to be detected and avoided in the future, and based on the sensor data of the internal and / or external sensors 2 , in the manner described above, the detection of the undesired behavior at the point in time t0, ie at the point in time at which the undesired behavior is currently taking place.

Wenn das unerwünschte Verhalten im Erkennungsabschnitt 4 erkannt wurde, dann erfolgt im Informationsabschnitt 5 die entsprechende Information an den Insassen, wie oben beschrieben. Der Insasse wird insbesondere über das erkannte unerwünschte Verhalten informiert, und es werden alternative Handlungsoptionen, d. h. Verhaltensalternativen, angegeben. Sind bereits Informationen zum verhaltensauslösenden Kontext bekannt, so werden diese, insbesondere aus dem Modell extrahierten, verhaltensauslösenden Kontextinformationen dem Insassen mitgeteilt.When the undesirable behavior in the detection section 4th detected, then takes place in the information section 5 the corresponding information to the occupant, as described above. In particular, the occupant is informed about the detected undesirable behavior, and alternative options for action, ie behavior alternatives, are indicated. If information on the behavior-triggering context is already known, this behavior-triggering context information, in particular extracted from the model, is communicated to the occupant.

Des Weiteren wird, wenn das unerwünschte Verhalten im Erkennungsabschnitt 4 erkannt wurde, im Modelltrainingsabschnitt 6 auf die oben beschriebene Weise ein Modell trainiert, insbesondere mittels der Sensordaten der internen und/oder externen Sensoren 2 und der aus diesen abgeleiteten Merkmale, beispielsweise Emotionen und/oder Handlungen, für den Zeitraum vor dem Zeitpunkt t0 bis zu diesem Zeitpunkt t0. Das Trainieren erfolgt mit Methoden des maschinellen und/oder computergestützten Lernens, beispielsweise Neuronale Netzwerke und/oder Entscheidungsbäume.Furthermore, if the undesirable behavior in the detection section 4th detected in the model training section 6th trains a model in the manner described above, in particular by means of the sensor data of the internal and / or external sensors 2 and the features derived therefrom, for example emotions and / or actions, for the period before time t0 to this time t0. The training takes place with methods of machine and / or computer-aided learning, for example neural networks and / or decision trees.

Ist das Modell ausreichend trainiert, wird es im Modellnutzungsabschnitt 7 zur Vorhersage des bevorstehenden Eintretens des unerwünschten Verhaltens verwendet. Hier erfolgt die Vorhersage des wahrscheinlichen Auftretens des unerwünschten Verhaltens aufgrund der Sensordaten der internen und/oder externen Sensoren 2 und der aus diesen abgeleiteten Merkmale mittels des trainierten Modells.If the model is sufficiently trained, it will be used in the model usage section 7th used to predict the impending occurrence of the undesirable behavior. The prediction of the likely occurrence of the undesired behavior takes place here on the basis of the sensor data from the internal and / or external sensors 2 and the features derived from these using the trained model.

Liegt diese Vorhersage vor, erfolgt im Informationsabschnitt 5 die entsprechende Information an den Insassen, wie oben beschrieben. Der Insasse wird insbesondere über das vorhergesagte unerwünschte Verhalten informiert und es werden alternative Handlungsoptionen, d. h. Verhaltensalternativen, angegeben. Des Weiteren werden dem Insassen die aus dem Modell extrahierten verhaltensauslösenden Kontextinformationen zum verhaltensauslösenden Kontext mitgeteilt.If this prediction is available, it takes place in the information section 5 the corresponding information to the occupant, as described above. In particular, the occupant is informed about the predicted undesired behavior and alternative options for action, ie behavior alternatives, are indicated. Furthermore, the occupants are shown the files extracted from the model Behavior-triggering context information communicated to the behavior-triggering context.

In einer möglichen Ausführungsform ist optional zusätzlich eine externe Verhaltenstherapie 8 vorgesehen, d. h außerhalb des Fahrzeugs. Hierfür werden die Informationen aus dem Informationsabschnitt 5, insbesondere die an den Insassen ausgegebenen Informationen, zusätzlich auf die oben beschriebene Weise an eine medizinische Fachkraft 9 übermittelt. Die medizinische Fachkraft 9 übermittelt dann Informationen zur Optimierung des Modells, insbesondere an den Modellnutzungsabschnitt 7. Beispielsweise gibt sie Handlungsoption, d. h. Verhaltensalternativen, und/oder alternative Belohnungen vor und/oder passt die Kontextinformationen des verhaltensauslösenden Kontextes an.In one possible embodiment, external behavior therapy is also optional 8th provided, d. h outside the vehicle. This is done using the information from the information section 5 , in particular the information issued to the occupant, additionally to a medical professional in the manner described above 9 transmitted. The health professional 9 then transmits information for optimizing the model, in particular to the model usage section 7th . For example, it specifies options for action, ie behavior alternatives, and / or alternative rewards and / or adapts the context information to the context that triggers the behavior.

2 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens. Darin sind Entscheidungsverfahrensschritte enthalten, deren zu prüfende Entscheidung mit ja J oder nein N beantwortet werden kann. Nach einem Start S des Verfahrens werden in einem ersten Verfahrensschritt VS1 Sensordaten der internen und/oder externen Sensoren 2, beispielsweise der Innenraumkameras und/oder Innenraummikrophone und/oder weiterer interner und/oder externer Sensoren 2 des Fahrzeugs, erfasst. 2 shows a flow chart of an exemplary embodiment of the method. This includes decision-making process steps whose decision to be checked can be answered with yes, y or no, N. After a start S. of the procedure are in a first procedural step VS1 Sensor data of the internal and / or external sensors 2 , for example the interior cameras and / or interior microphones and / or further internal and / or external sensors 2 of the vehicle.

In einem zweiten Verfahrensschritt VS2 wird der Insasse für ein individuell für ihn zu trainierendes Modell identifiziert.In a second process step VS2 the occupant is identified for a model to be trained individually for him.

In einem dritten Verfahrensschritt VS3, einem Entscheidungsverfahrensschritt, wird geprüft, ob der Insasse ein zu verhinderndes unerwünschtes Verhalten ausgewählt hat und/oder ob ein zu verhinderndes unerwünschtes, insbesondere sicherheitsrelevantes, Verhalten erkannt werden soll, und ob der Insasse das Verfahren und somit auch das System, insbesondere die technische Einrichtung 3 zur Durchführung des Verfahrens, nutzen möchte. Wenn nicht, wird das Verfahren gestoppt SP.In a third process step VS3 , a decision-making process step, it is checked whether the occupant has selected an undesired behavior to be prevented and / or whether an undesired, in particular safety-relevant, behavior to be prevented is to be recognized, and whether the occupant is using the method and thus also the system, in particular the technical device 3 to carry out the procedure. If not, the process is stopped SP .

Wenn ja J, wird in einem vierten Verfahrensschritt VS4, einem Entscheidungsverfahrensschritt, geprüft, ob das Modell für das unerwünschte Verhalten bereits ausreichend genau trainiert ist.If yes, then in a fourth procedural step VS4 , a decision-making process step, checks whether the model has already been trained with sufficient accuracy for the undesired behavior.

Wenn ja J, wird in einem fünften Verfahrensschritt VS5, einem Entscheidungsverfahrensschritt, geprüft, ob das unerwünschte Verhalten vorhergesagt wird.If so, then Y is in a fifth procedural step VS5 , a decision-making process step, checks whether the undesired behavior is predicted.

Wenn nicht, wird das Verfahren gestoppt SP. Wenn ja J, werden in einem sechsten Verfahrensschritt VS6 Informationen über das vorhergesagte unerwünschte Verhalten, alternative Handlungsoption, d. h. Verhaltensalternativen, und aus dem Modell extrahierte verhaltensauslösende Kontextinformationen des verhaltensauslösenden Kontextes an den Insassen ausgegeben. Danach wird das Verfahren gestoppt SP.If not, the process is stopped SP . If so Y, will be in a sixth step VS6 Information about the predicted undesired behavior, alternative options for action, ie behavior alternatives, and behavior-triggering context information of the behavior-triggering context extracted from the model are output to the occupant. Then the process is stopped SP .

Wenn im vierten Verfahrensschritt VS4 festgestellt wird, dass das Modell für das unerwünschte Verhalten noch nicht ausreichend genau trainiert ist, wird in einem siebten Verfahrensschritt VS7, einem Entscheidungsverfahrensschritt, geprüft, ob das unerwünschte Verhalten zum Zeitpunkt t0 erkannt wurde. Wenn nicht, wird das Verfahren gestoppt SP.If in the fourth step VS4 it is determined that the model has not yet been trained with sufficient accuracy for the undesired behavior, is carried out in a seventh method step VS7 , a decision-making process step, checks whether the undesired behavior was recognized at time t0. If not, the process is stopped SP .

Wenn ja J, werden im bereits beschriebenen sechsten Verfahrensschritt VS6 die Informationen über das jetzt erkannte unerwünschte Verhalten, alternative Handlungsoption, d. h. Verhaltensalternativen, und, wenn diese bereits vorhanden sind, aus dem Modell extrahierte verhaltensauslösende Kontextinformationen des verhaltensauslösenden Kontextes an den Insassen ausgegeben. Des Weiteren wird in einem achten Verfahrensschritt VS8 das Modell auf Basis der Sensordaten für den Zeitraum vor dem Zeitpunkt t0 bis zum Zeitpunkt t0 weitertrainiert. Wenn beides erfolgt ist, wird das Verfahren gestoppt SP.If yes, then in the sixth process step already described VS6 the information about the now recognized undesired behavior, alternative options for action, ie behavior alternatives, and, if these are already available, behavior-triggering context information of the behavior-triggering context extracted from the model is output to the occupant. Furthermore, in an eighth process step VS8 the model continues to train on the basis of the sensor data for the period from time t0 to time t0. When both are done, the process is stopped SP .

Auch wenn im vierten Verfahrensschritt VS4 festgestellt wird, dass das Modell für das unerwünschte Verhalten bereits ausreichend genau trainiert ist, kann (in 2 nicht eingezeichnet) zusätzlich ein Weitertrainieren des Modells im achten Verfahrensschritt VS8 vorgesehen sein, insbesondere wenn festgestellt wird, dass das unerwünschte Verhalten im fünften Verfahrensschritt VS5 nicht vorhergesagt wurde, jedoch dann zum Zeitpunkt t0 erkannt wurde, denn dies deutet darauf hin, dass die Annahme im vierten Verfahrensschritt VS4, dass das Modell für das unerwünschte Verhalten bereits ausreichend genau trainiert ist, nicht zutreffend war, so dass ein weiteres Trainieren des Modells erforderlich ist.Even if in the fourth process step VS4 it is established that the model has already been trained with sufficient accuracy for the undesired behavior (in 2 not shown) additional training of the model in the eighth process step VS8 be provided, in particular if it is determined that the undesired behavior in the fifth method step VS5 was not predicted, but was then recognized at time t0, because this indicates that the assumption in the fourth method step VS4 that the model has already been trained with sufficient accuracy for the undesired behavior was incorrect, so that further training of the model is required.

Es könnte somit beispielsweise vorgesehen sein, dass, wenn im fünften Verfahrensschritt VS5 das unerwünschte Verhalten nicht vorhergesagt wird, das Verfahren nicht gestoppt wird, wie in 2 dargestellt, sondern mit dem siebten Verfahrensschritt VS7 fortgesetzt wird, um zu ermitteln, ob das unerwünschte Verhalten zum Zeitpunkt t0 trotzdem eintritt, um dann das Modell im achten Verfahrensschritt VS8 weiter zu trainieren und dem Insassen im sechsten Verfahrensschritt VS6 zumindest die Informationen über das jetzt erkannte unerwünschte Verhalten, alternative Handlungsoption, d. h. Verhaltensalternativen, und, wenn diese bereits vorhanden sind, aus dem Modell extrahierte verhaltensauslösende Kontextinformationen des verhaltensauslösenden Kontextes auszugeben.It could thus be provided, for example, that if in the fifth method step VS5 the undesirable behavior is not predicted, the procedure is not stopped, as in 2 shown, but with the seventh process step VS7 is continued in order to determine whether the undesired behavior occurs at time t0 anyway, in order to then use the model in the eighth method step VS8 continue to train and the occupant in the sixth step VS6 to output at least the information about the now recognized undesired behavior, alternative options for action, ie behavior alternatives, and, if these are already available, behavior-triggering context information of the behavior-triggering context extracted from the model.

BezugszeichenlisteList of reference symbols

11
InsasseneingabeOccupant input
22
Sensorsensor
33
EinrichtungFacility
44th
ErkennungsabschnittRecognition section
55
InformationsabschnittInformation section
66th
ModelltrainingsabschnittModel training section
77th
ModellnutzungsabschnittModel usage section
88th
VerhaltenstherapieBehavior therapy
99
Fachkraft professional
JJ
jaYes
NN
neinno
SS.
Startbegin
SPSP
Verfahren gestopptProcedure stopped
VS1 bis VS8VS1 to VS8
VerfahrensschrittProcess step

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 112019001601 T5 [0002]DE 112019001601 T5 [0002]
  • US 2012/0130196 A1 [0034]US 2012/0130196 A1 [0034]

Claims (6)

Verfahren zur Beeinflussung eines Verhaltens mindestens eines Insassen in einem Fahrzeug, dadurch gekennzeichnet, dass - ein verhaltensauslösender Kontext für ein Verhalten erkannt wird, - anhand des erkannten vorliegenden verhaltensauslösenden Kontextes prognostiziert wird, dass ohne die Beeinflussung des Insassen ein unerwünschtes Verhalten des Insassen erfolgen wird, und - eine Intervention zur Beeinflussung des Verhaltens des Insassen durchgeführt wird, um das unerwünschte Verhalten des Insassen zu unterdrücken oder zu verändern.Method for influencing the behavior of at least one occupant in a vehicle, characterized in that - a behavior-triggering context for a behavior is recognized, - on the basis of the existing behavior-triggering context that is recognized, it is predicted that, without influencing the occupant, undesired behavior of the occupant will occur, and an intervention for influencing the behavior of the occupant is carried out in order to suppress or change the undesired behavior of the occupant. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass erkannte verhaltensauslösende Eigenschaften des verhaltensauslösenden Kontextes verwendet werden, um das Verhalten des Insassen zu verändern und/oder eine Verhaltenstherapie (8) zu unterstützen.Procedure according to Claim 1 , characterized in that recognized behavior-triggering properties of the behavior-triggering context are used in order to change the behavior of the occupant and / or to support a behavior therapy (8). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Intervention zur Beeinflussung des Insassen mindestens eine Komponente des Fahrzeugs verwendet wird, um dem Insassen mindestens eine Verhaltensalternative zu ermöglichen.Method according to one of the preceding claims, characterized in that at least one component of the vehicle is used for the intervention to influence the occupant in order to enable the occupant to have at least one behavioral alternative. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Methoden des computergestützten und/oder maschinellen Lernens zum Erkennen des unerwünschten Verhaltens und/oder zum Erkennen des verhaltensauslösenden Kontextes verwendet werden.Method according to one of the preceding claims, characterized in that methods of computer-assisted and / or machine learning are used to identify the undesired behavior and / or to identify the context that triggers the behavior. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass unerwünschtes Verhalten des Insassen klassifiziert wird.Method according to one of the preceding claims, characterized in that undesired behavior of the occupant is classified. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Insasse zur Beeinflussung seines Verhaltens darüber informiert wird, dass prognostiziert wurde, dass ein unerwünschtes Verhalten des Insassen erfolgen wird.Method according to one of the preceding claims, characterized in that the occupant is informed, in order to influence his behavior, that it has been predicted that undesired behavior of the occupant will occur.
DE102021003597.6A 2021-07-13 2021-07-13 Method for influencing the behavior of at least one occupant in a vehicle Withdrawn DE102021003597A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021003597.6A DE102021003597A1 (en) 2021-07-13 2021-07-13 Method for influencing the behavior of at least one occupant in a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021003597.6A DE102021003597A1 (en) 2021-07-13 2021-07-13 Method for influencing the behavior of at least one occupant in a vehicle

Publications (1)

Publication Number Publication Date
DE102021003597A1 true DE102021003597A1 (en) 2021-09-09

Family

ID=77389029

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021003597.6A Withdrawn DE102021003597A1 (en) 2021-07-13 2021-07-13 Method for influencing the behavior of at least one occupant in a vehicle

Country Status (1)

Country Link
DE (1) DE102021003597A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022211269A1 (en) * 2022-10-24 2024-04-25 Volkswagen Aktiengesellschaft Method, system and computer program product for influencing user behavior, as well as storage medium with a computer program product stored thereon

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120130196A1 (en) 2010-11-24 2012-05-24 Fujitsu Limited Mood Sensor
DE112019001601T5 (en) 2018-03-28 2020-12-24 Intel Corporation SECURITY IMPROVED COMPUTER-AIDED DRIVING METHOD AND DEVICE

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120130196A1 (en) 2010-11-24 2012-05-24 Fujitsu Limited Mood Sensor
DE112019001601T5 (en) 2018-03-28 2020-12-24 Intel Corporation SECURITY IMPROVED COMPUTER-AIDED DRIVING METHOD AND DEVICE

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022211269A1 (en) * 2022-10-24 2024-04-25 Volkswagen Aktiengesellschaft Method, system and computer program product for influencing user behavior, as well as storage medium with a computer program product stored thereon

Similar Documents

Publication Publication Date Title
DE102015203354B4 (en) SETTINGS OF VEHICLE OPERATOR MONITORING AND OPERATIONS
DE102013206746A1 (en) Method and device for modifying the configuration of a driver assistance system of a motor vehicle
DE102021005092A1 (en) Method and device for recognizing emotional states of occupants of a vehicle
DE102012105285A1 (en) Method for assisting rider of motor car, involves defining a warning strategy based on the derived rider intention of current rider, and adjusting motor car rider assistance system if necessary
DE102020200828A1 (en) Method for providing an artificial intuition
DE102021003489A1 (en) Method for the detection of a gradually decreasing driving ability of a vehicle driver
DE102016007563A1 (en) Method for trajectory planning
DE102019211588A1 (en) Method and device for supplying a vehicle occupant of a vehicle in an emergency situation
DE102016206694B4 (en) Assistance system and method of a highly automated vehicle to improve interaction with other road users
DE102017200436B4 (en) Method for operating a driver assistance system of a motor vehicle
DE102018219290B4 (en) Method for teaching a personalized headlight device of a motor vehicle
DE102018004479A1 (en) Method for operating an assistance system of a vehicle
DE102021003597A1 (en) Method for influencing the behavior of at least one occupant in a vehicle
DE102016223794A1 (en) Method and system for assessing acceptance of at least one driver assistance system of an autonomously driving motor vehicle
DE102019135131A1 (en) Procedures for improving road safety
DE102022104129A1 (en) Method for determining a health effect, method for training a prognostic function, monitoring device, vehicle and training device
DE102019135115B4 (en) Methods for improving road safety
DE102019132325B4 (en) Method and arrangement for increasing the feeling of safety in a rideshare vehicle, rideshare vehicle and computer program product
DE102022001383A1 (en) Vehicle and method for issuing recommendations to a person driving the vehicle to take over control of the vehicle
DE102021130768A1 (en) Method for increasing the attention of a user of a motor vehicle, assistance device, motor vehicle
DE102017004114A1 (en) Method and device for operating a fully autonomously or at least partially autonomously driving vehicle
DE102021131040A1 (en) Method for at least partially automated driving of a motor vehicle and motor vehicle
DE102021118154A1 (en) System for a motor vehicle and method for estimating emotions of a driver of a motor vehicle
DE102019003623A1 (en) Method for improving the driving behavior of a driver of a vehicle and driver assistance system
DE102022001383B4 (en) Vehicle and method for issuing recommendations to a person driving a vehicle to take over vehicle control

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee