DE102017201728B4 - Control device for generating control data for actuators for configuring an interior situation of a motor vehicle and motor vehicle and method for operating a control device - Google Patents
Control device for generating control data for actuators for configuring an interior situation of a motor vehicle and motor vehicle and method for operating a control device Download PDFInfo
- Publication number
- DE102017201728B4 DE102017201728B4 DE102017201728.7A DE102017201728A DE102017201728B4 DE 102017201728 B4 DE102017201728 B4 DE 102017201728B4 DE 102017201728 A DE102017201728 A DE 102017201728A DE 102017201728 B4 DE102017201728 B4 DE 102017201728B4
- Authority
- DE
- Germany
- Prior art keywords
- control
- motor vehicle
- function
- data
- models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45018—Car, auto, vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Instrument Panels (AREA)
Abstract
Steuervorrichtung (12) zum Erzeugen von Steuerdaten (15) für Aktuatoren (16), um eine Innenraumsituation eines Kraftfahrzeugs (10) zu konfigurieren, wobei- eine Hardwareschnittstelle (21) dazu eingerichtet ist, aus Sensoren (14) des Kraftfahrzeugs (10) jeweils Sensordaten (22) mittels eines jeweiligen sensorspezifischen Treibers (24) zu empfangen, aus den empfangenen Sensordaten (22) Eingangsdaten (23) zu erzeugen und die Eingangsdaten (23) für einen Abruf durch sensorunspezifische Abruffunktionen bereitzustellen,- eine Modellebene (25) dazu eingerichtet ist, mehrere Modelle (28) zu betreiben, wobei jedes der Modelle (28) ein jeweiliges mit dem Innenraum in Beziehung stehendes Objekt durch Attributwerte (29) beschreibt und dazu eingerichtet ist, zumindest einen der Attributwerte (29) mittels einer der Abruffunktionen auf der Grundlage zumindest eines Teils der Eingangsdaten (23) einzustellen,- eine Interpretationsebene (26) dazu eingerichtet ist, mehrere Interpretationsfunktionen (30) auszuführen, wobei jede Interpretationsfunktion (30) jeweils dazu eingerichtet ist, eine Eigenschaft (31) zumindest eines der modellierten Objekte auf der Grundlage zumindest eines eingestellten Attributwerts (29) zumindest eines der Modelle (28) zu ermitteln,- eine Funktionsebene (27) dazu eingerichtet ist, Steuerfunktionen (32) zu betreiben, wobei jede Steuerfunktion (32) jeweils dazu eingerichtet ist, einige der Steuerdaten (15) in Abhängigkeit von zumindest einem eingestellten Attributwert (29) zumindest eines der Modelle (28) und/oder in Abhängigkeit von zumindest einer ermittelten Eigenschaft (31) zu erzeugen, und- eine Netzwerkschnittstelle (19) dazu eingerichtet ist, die Steuerdaten (15) über ein Datennetzwerk (17) des Kraftfahrzeugs (10) an die Aktuatoren (16) auszusenden, dadurch gekennzeichnet, dass zumindest eine der Interpretationsfunktionen (30) dazu eingerichtet ist, in Abhängigkeit von der ermittelten Eigenschaft (31) zumindest einen weiteren Attributwert (29) in zumindest einem der Modelle (28) einzustellen und somit durch Interpretation der durch die Modelle (28) nachgestellten Situation im Innenraum zumindest ein weiterer Attributwert (29) hergeleitet wird, für den dann jeweils kein Sensor zum Erfassen des jeweiligen Attributwerts (29) nötig ist.Control device (12) for generating control data (15) for actuators (16) in order to configure an interior situation of a motor vehicle (10), wherein a hardware interface (21) is set up to consist of sensors (14) of the motor vehicle (10), respectively Receiving sensor data (22) by means of a respective sensor-specific driver (24), generating input data (23) from the received sensor data (22) and providing the input data (23) for retrieval by sensor-unspecific retrieval functions, - a model level (25) set up for this purpose is to operate a plurality of models (28), each of the models (28) describing a respective interior-related object by means of attribute values (29) and being set up to retrieve at least one of the attribute values (29) by means of one of the retrieval functions on the Set the basis of at least part of the input data (23), - an interpretation level (26) is set up to use a number of interpretation functions (30) to be carried out, each interpretation function (30) being set up in each case to determine a property (31) of at least one of the modeled objects on the basis of at least one set attribute value (29) of at least one of the models (28), - a function level (27) for this is set up to operate control functions (32), each control function (32) being set up in each case to process some of the control data (15) as a function of at least one set attribute value (29) of at least one of the models (28) and/or as a function of to generate at least one determined property (31), and - a network interface (19) is set up to transmit the control data (15) via a data network (17) of the motor vehicle (10) to the actuators (16), characterized in that at least one of the interpretation functions (30) is set up, depending on the determined property (31), at least one further attribute value (29) in at least est one of the models (28) and thus at least one further attribute value (29) is derived by interpreting the situation in the interior simulated by the models (28), for which no sensor is then required to detect the respective attribute value (29).
Description
Die Erfindung betrifft eine Steuervorrichtung zum Erzeugen von Steuerdaten für Aktuatoren, mit denen man eine Innenraumsituation eines Kraftfahrzeugs konfigurieren oder beeinflussen kann. Zu der Erfindung gehört auch ein Kraftfahrzeug mit der Steuervorrichtung. Ebenso gehört zu der Erfindung ein Verfahren zum Betreiben der Steuervorrichtung in dem Kraftfahrzeug.The invention relates to a control device for generating control data for actuators, with which an interior situation of a motor vehicle can be configured or influenced. The invention also includes a motor vehicle with the control device. The invention also includes a method for operating the control device in the motor vehicle.
Für die Erfassung der Situation in einem Innenraum eines Kraftfahrzeugs, also dem Fahrgastraum, wird in der Regel für jeden einzelnen Anwendungsfall ein eigenes Steuergerät mit eigener, spezifischer Sensorik verwendet, die dann zwar hoch optimiert auf den Anwendungsfall spezialisiert ist, aber im Falle zweier Anwendungsfälle, die ähnliche Sensorik benötigen, ist auch entsprechend die doppelte Sensorik vorhanden. Beispiele für spezialisierte Sensorik sind Sitzbelegungsmatten für die Airbag-Steuerung, Ultraschallsensoren der Diebstahlwarnanlage, kapazitive Sensorik im Lenkrad oder ein einzelner optischer Sensor für die Fahrerbeobachtung während des pilotierten Fahrens. Durch die voneinander getrennt bereitgestellten Steuergeräte lassen sich diese Sensoren nicht auch für andere Steuerfunktionen nutzen oder durch Kombination der Sensordaten Synergien erreichen.For detecting the situation in an interior of a motor vehicle, i.e. the passenger compartment, a separate control unit with its own specific sensor system is usually used for each individual application, which is then highly optimized for the application, but in the case of two applications, who need similar sensors, the double sensor system is also available accordingly. Examples of specialized sensor technology are seat occupancy mats for airbag control, ultrasonic sensors in the anti-theft alarm system, capacitive sensors in the steering wheel or a single optical sensor for driver observation during piloted driving. Because the control units are provided separately from one another, these sensors cannot also be used for other control functions or synergies can be achieved by combining the sensor data.
Die Nutzung mehrerer Sensoren hat dagegen aber Vorteile. Aus der
Aus der
Aus der
Aus der
Aus der
Aus der
Der Erfindung liegt die Aufgabe zugrunde, für die Steuerung von Aktuatoren eines Innenraums eines Kraftfahrzeugs Ressourcen des Kraftfahrzeugs mehrfach zu nutzen.The object of the invention is to use resources of the motor vehicle multiple times for the control of actuators in an interior of a motor vehicle.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figur offenbart.The object is solved by the subject matter of the independent patent claims. Advantageous developments of the invention are disclosed by the dependent patent claims, the following description and the figure.
Durch die Erfindung ist eine Steuervorrichtung zum Erzeugen von Steuerdaten für Aktuatoren zum Konfigurieren einer Innenraumsituation eines Kraftfahrzeugs bereitgestellt. Ein jeweiliges Beispiel für einen solchen Aktuator ist:
- ein Sitzmotor, ein Fensterhebermotor, ein jeweiliger Spiegelmotor für einen Rückspiegel und/oder Seitenspiegel, ein Gebläse einer Klimaanlage, eine Heizeinrichtung und/oder Kühleinrichtung einer Klimaanlage, eine Lenkradstelleinrichtung, ein Medienwiedergabegerät (z.B. ein MP3-Abspielgerät).
- a seat motor, a power window motor, a respective mirror motor for a rearview mirror and/or side mirror, a fan of an air conditioning system, a heating device and/or cooling device of an air conditioning system, a steering wheel adjustment device, a media playback device (e.g. an MP3 player).
Die Steuervorrichtung zeichnet sich durch einen modularen Aufbau aus. Eine Hardwareschnittstelle ist dazu eingerichtet, aus Sensoren des Kraftfahrzeugs jeweils Sensordaten mittels eines jeweiligen sensorspezifischen Treibers zu empfangen und aus den empfangenen Sensordaten Eingangsdaten zu erzeugen und die Eingangsdaten für einen Abruf durch sensorischunspezifische Abruffunktionen bereitzustellen. Mittels einer jeweiligen Abruffunktion kann somit jeweils zumindest ein Teil der Eingangsdaten bei der Hardwareschnittstelle abgefragt oder ausgelesen werden, ohne dass hierzu eine Steuerung der Sensoren bekannt sein muss, um an die diejenigen Sensordaten heranzukommen, die den jeweiligen Eingangsdaten zu Grunde liegen. Dies übernimmt die Hardwareschnittstelle. Die Abruffunktion stellt also ein einheitliches Protokoll zum Abrufen von Eingangsdaten dar, das auch bei einem Austausch von Sensoren unverändert bleibt. Eine sensorspezifische Signalverarbeitung der Sensordaten erfolgt durch die Treiber, die an die ausgetauschten Sensoren angepasst werden können. Die Hardwareschnittstelle kann auch die elektrischen Anschlüsse für die Sensoren aufweisen.The control device is characterized by a modular design. A hardware interface is set up to receive sensor data from sensors in the motor vehicle using a respective sensor-specific driver and to generate input data from the received sensor data and to provide the input data for retrieval by sensor-unspecific retrieval functions. Using a respective retrieval function, at least part of the input data can be queried or read out at the hardware interface without the sensors having to be controlled in order to access the sensor data on which the respective input data are based. The hardware interface takes care of this. The retrieval function thus provides a uniform protocol for retrieval of input data, which remains unchanged even when sensors are exchanged. A sensor-specific signal processing of the sensor data is carried out by the drivers, which can be adapted to the replaced sensors. The hardware interface can also have the electrical connections for the sensors.
Eine Modellebene ist dazu eingerichtet, mehrere Modelle zu betreiben, wobei jedes der Modelle ein jeweiliges mit dem Innenraum in Beziehung stehendes Objekt durch Attributwerte beschreibt. Zum Anpassen an die Innenraumsituation ist jedes Objekt dazu eingerichtet, zumindest einen der Attributwerte mittels einer der Abruffunktionen auf der Grundlage zumindest eines Teils der Eingangsdaten einzustellen. Mit anderen Worten kann jedes Objekt jeweils durch ein Modell repräsentiert werden. Um das Modell an das Objekt anzupassen, können die Eingangsdaten genutzt werden, wobei hierzu das Modell in der beschriebenen Weise keine Anpassung an den Sensor benötigt, da mittels der Abruffunktionen die Eingangsdaten sensor-unspezifisch oder sensorunabhängig abgefragt werden können. Man ist also z.B. von einem Protokoll, das der Hersteller des Sensors für den Empfang der Sensordaten vorgibt, unabhängig. Beispielsweise kann also ein Temperaturwert mittels einer Abruffunktion abgerufen werden, ohne dass bekannt sein muss, wie man aus dem angeschlossenen Temperatursensor den Temperaturwert ausliest.A model plane is configured to operate multiple models, each of the models describing a respective interior-related object by attribute values. In order to adapt to the interior situation, each object is set up to set at least one of the attribute values using one of the retrieval functions based on at least part of the input data. In other words, each object can be represented by a model. The input data can be used to adapt the model to the object, with the model not requiring any adaptation to the sensor in the manner described, since the input data can be queried sensor-unspecifically or sensor-independently using the retrieval functions. For example, you are independent of a protocol that the manufacturer of the sensor specifies for receiving the sensor data. For example, a temperature value can be retrieved using a retrieval function without having to know how to read the temperature value from the connected temperature sensor.
Auf Grundlage der Eingangsdaten muss nicht jedes Modell vollständig angepasst werden können, d.h. nicht jeder Attributwert muss allein auf Grundlage der Sensordaten festgelegt werden können. Eine Interpretationsebene ist dazu eingerichtet, mehrere Interpretationsfunktionen auszuführen, wobei jede Interpretationsfunktion jeweils dazu eingerichtet ist, eine Eigenschaft zumindest eines der modellierten Objekte auf der Grundlage zumindest eines eingestellten Attributwerts (von zumindest einem der Modelle) zu ermitteln. Jede Interpretationsfunktion interpretiert also die Situation im Innenraum auf Grundlage der Modelle. Hierbei kann eine Eigenschaft des zumindest einen modellierten Objekts erkannt werden. Ist beispielsweise die Position des Oberkörpers des Fahrers gesucht, während sich der Fahrer aus dem Erfassungsbereich einer Kamera neigt (und damit nicht mehr im Kamerabild erkennbar ist), so kann zum Beispiel für den Fall, dass das Objekt „Handschuhfach“ auf Grundlage der Sensordaten seinen Attributwert „Stellung“ auf „geöffnet“ verändert (das Handschuhfach wurde geöffnet), durch eine Interpretationsfunktion „Fahrerposition“ erkannt werden, dass sich der Fahrer offenbar zum Handschuhfach hin gebeugt haben muss.It does not have to be possible to fully adapt every model based on the input data, i.e. it does not have to be possible to determine every attribute value based solely on the sensor data. An interpretation layer is set up to perform a plurality of interpretation functions, each interpretation function being set up in each case to determine a property of at least one of the modeled objects based on at least one set attribute value (of at least one of the models). Each interpretation function thus interprets the situation in the interior based on the models. A property of the at least one modeled object can be recognized here. If, for example, the position of the driver's upper body is sought while the driver is leaning out of the detection range of a camera (and is therefore no longer recognizable in the camera image), the object "glove compartment" can be based on the sensor data, for example Attribute value "position" changed to "open" (the glove compartment was opened), an interpretation function "driver's position" recognized that the driver must have obviously bent towards the glove compartment.
Mit der Modellebene und der Interpretationsebene steht eine Beschreibung der Situation im Innenraum bereit, die ohne Kenntnis der Steuerung der Sensoren erstellt werden kann, also sensoragnostisch, da die Steuerung der Sensoren, d.h. das Auslesen der Sensordaten, durch die Hardwareschnittstelle durchgeführt wird. Genauso wird die Situation im Innenraum unabhängig davon ermittelt, wofür die Situation beobachtet werden soll. Es ist also noch keine Abhängigkeit von einer Steuerfunktion vorgesehen. Somit ist die Situation im Innenraum auch funktionsagnostisch bereitgestellt.With the model level and the interpretation level, a description of the situation in the interior is available, which can be created without knowledge of the control of the sensors, i.e. sensor-agnostic, since the control of the sensors, i.e. the reading of the sensor data, is carried out by the hardware interface. Likewise, the situation in the interior is determined regardless of what the situation is to be observed for. So there is no provision for a dependency on a control function. The situation in the interior is thus also provided in a function-agnostic manner.
Es können nun beliebige Steuerfunktionen diese Beschreibung des Innenraums nutzen. Hierzu ist eine Funktionsebene dazu eingerichtet, Steuerfunktionen zu betreiben, wobei jede Steuerfunktion jeweils dazu eingerichtet ist, einige der Steuerdaten für zumindest einen der Aktuatoren des Kraftfahrzeugs in Abhängigkeit von zumindest einem eingestellten Attributwert zumindest eines der Modelle und/oder in Abhängigkeit von zumindest einer ermittelten Eigenschaft des zumindest einen modellierten Objekts zu erzeugen. Die Steuerfunktionen greifen also auf die Modelle und/oder die durch die Interpretationsebene ermittelten Eigenschaften zu, um die Aktuatoren zum Konfigurieren der Innenraumsituation zu steuern.Any control function can now use this description of the interior. For this purpose, a function level is set up to operate control functions, with each control function being set up in each case to process some of the control data for at least one of the actuators of the motor vehicle as a function of at least one set attribute value of at least one of the models and/or as a function of at least one determined property of the at least one modeled object. The control functions therefore access the models and/or the properties determined by the interpretation level in order to control the actuators for configuring the interior situation.
Eine Netzwerkschnittstelle ist schließlich dazu eingerichtet, die Steuerdaten über ein Datennetzwerk des Kraftfahrzeugs an die Aktuatoren auszusenden. Ein solches Datennetzwerk kann zum Beispiel auf der Grundlage eines Ethernet-Netzwerks und/oder eines CAN-Bus (CAN - Controller Area Network) und/oder eines LIN-Bus (LIN - Local Interconnect Network) und/oder eines FlexRay-Bus und/oder eine MOST-Bus (MOST - Media Oriented System Transport) sein.Finally, a network interface is set up to send the control data to the actuators via a data network of the motor vehicle. Such a data network can, for example, be based on an Ethernet network and/or a CAN bus (CAN—Controller Area Network) and/or a LIN bus (LIN—Local Interconnect Network) and/or a FlexRay bus and/or or a MOST bus (MOST - Media Oriented System Transport).
Durch die Erfindung ergibt sich der Vorteil, dass eine zentrale Architektur für die Sensierung der Innenraumfunktion bereitgestellt ist, die hochmodular in der Lage ist, sensor- und funktionsagnostisch ein einheitliches, globales Modell des Innenraums bereitzustellen und dieses einer Vielzahl an Komfort- und Sicherheitsfunktionen zur Verfügung zu stellen.The advantage of the invention is that a central architecture for sensing the interior function is provided, which is highly modular and capable of providing a uniform, global model of the interior in a sensor- and function-agnostic manner and making this available to a large number of comfort and safety functions to deliver.
Die Modelle müssen nicht alle ihre Attributwerte auf der Grundlage der Eingangsdaten (verarbeitete Sensordaten) einstellen können. Deshalb ist vorgesehen, dass zumindest eine der Interpretationsfunktionen dazu eingerichtet ist, in Abhängigkeit von der ermittelten Eigenschaft zumindest einen weiteren Attributwert in zumindest einem der Modelle einzustellen. Somit wird durch Interpretation der durch die Modelle nachgestellten Situation im Innenraum zumindest ein weiterer Attributwert hergeleitet oder ermittelt, für den dann jeweils kein Sensor zum Erfassen des jeweiligen Attributwerten nötig ist.The models do not need to be able to adjust all of their attribute values based on the input data (processed sensor data). It is therefore provided that at least one of the interpretation functions is set up to set at least one further attribute value in at least one of the models as a function of the determined property. Thus, by interpreting the situation in the interior simulated by the models, at least one additional attribute value is derived or ascertained, for which no sensor is then required to detect the respective attribute value.
Zu der Erfindung gehören auch Weiterbildungen, durch deren Merkmale sich zusätzliche Vorteile ergeben.The invention also includes developments whose features result in additional advantages.
Die Hardwareschnittstelle ist bevorzugt dazu eingerichtet, die besagten Eingangsdaten durch eine Aggregation und/oder Fusion und/oder Plausibilisierung der empfangenen Sensordaten zu erzeugen. Durch eine Aggregation ergibt sich der Vorteil, dass Sensordaten zusammengefasst werden, sodass durch die Hardwareschnittstelle schon Sensordaten, aus unterschiedlichen Sensoren und/oder zu unterschiedlichen Zeitpunkten erfasst werden, zusammengefasst werden können und damit kein entsprechender Verwaltungsaufwand in den Modellen nötig ist. Eine Fusion weist den Vorteil auf, dass Sensordaten aus unterschiedlichen Sensoren zusammengefasst werden, um hierdurch Informationsquellen in Form der mehreren Sensoren zu verknüpfen, wodurch die Eingangsdaten eine präzisere und/oder detailreichere Messung darstellen als die Sensordaten jeweils für sich allein genommen. Durch eine Plausibilisierung ergibt sich der Vorteil, dass Messfehler bereits in der Hardwareschnittstelle erkannt werden und dort kompensiert oder beseitigt werden können, um hierdurch einen Einfluss eines Messfehlers auf eines der Modelle zu vermeiden.The hardware interface is preferably set up to generate said input data by aggregating and/or merging and/or plausibility checking of the received sensor data. An aggregation results in the advantage that sensor data is combined, so that sensor data from different sensors and/or recorded at different times can already be combined through the hardware interface and therefore no corresponding administration effort is necessary in the models. A merger has the advantage that sensor data from different sensors are combined in order to thereby link information sources in the form of the multiple sensors, as a result of which the input data represent a more precise and/or more detailed measurement than the sensor data in each case taken individually. A plausibility check results in the advantage that measurement errors are already recognized in the hardware interface and can be compensated for or eliminated there in order to thereby avoid an influence of a measurement error on one of the models.
In der Modellebene ist zumindest eines der folgenden Objekte durch jeweils eines der Modelle repräsentiert: ein Fahrzeuginsasse, das Kraftfahrzeug, ein in dem Innenraum angeordneter Gegenstand. Ein Modell für einen Fahrzeuginsassen weist den Vorteil auf, dass die Auswirkung der Aktuatorsteuerung auf den Fahrzeuginsassen durch das Insassenmodell repräsentiert wird oder erkennbar ist. Zudem können nicht-messbare Eigenschaften des Fahrzeuginsassen mittels des Modells hergeleitet werden. Durch das Modell des Kraftfahrzeugs kann der Fahrzeugzustand repräsentiert werden, um hierdurch die Randbedingungen, die aktuell im Innenraum vorliegen, für die Steuerfunktionen zu repräsentieren, z.B. ein Blickwinkel, aus welchem man einen Außenspiegel einsehen kann. Ein Objektmodell eines im Innenraum angeordneten Gegenstands weist den Vorteil auf, dass die Position des Gegenstands im Innenraum und/oder der Einfluss des Gegenstands auf die Innenraumsituation repräsentiert ist. Beispielsweise kann ein vor einem Airbag abgelegter Rucksack als Gegenstand modelliert sein und in Abhängigkeit von der Größe und/oder dem Gewicht und/oder der Position des Rucksacks der Airbag durch eine Steuerfunktion abgeschaltet werden.At least one of the following objects is represented in the model level by one of the models: a vehicle occupant, the motor vehicle, an object arranged in the interior. A model for a vehicle occupant has the advantage that the effect of the actuator control on the vehicle occupant is represented or recognizable by the occupant model. In addition, non-measurable properties of the vehicle occupant can be derived using the model. The vehicle status can be represented by the model of the motor vehicle in order to represent the boundary conditions that currently exist in the interior for the control functions, e.g. a viewing angle from which you can see an outside mirror. An object model of an object arranged in the interior has the advantage that the position of the object in the interior and/or the influence of the object on the interior situation is represented. For example, a backpack placed in front of an airbag can be modeled as an object and the airbag can be switched off by a control function depending on the size and/or the weight and/or the position of the backpack.
Um mittels eines Modells ein Objekt vorteilhaft für die Steuerfunktionen zu beschreiben, ist insbesondere bevorzugt folgendes vorgesehen. Durch einen jeweiligen Attributwert des Modells des Fahrzeuginsassen ist beispielsweise zumindest eines der folgenden Attribute beschrieben: eine 2D/3D-Avatar-Darstellung (zweidimensionales oder dreidimensionales Modell des Fahrzeuginsassen), eine Position, eine Orientierung, eine Masse (Körpergewicht), eine Pulsfrequenz, eine Atemfrequenz, eine Liedschlagfrequenz, eine Lippenbewegung (z.B. Bewegungsfrequenz), eine Temperatur, eine Hautfeuchtigkeit. Mittels des Attributwerts der Position des Fahrzeuginsassen kann beispielsweise eine Steuerfunktion für die Sitzbelegung betrieben werden. Ein Attributwert einer Pulsfrequenz kann beispielsweise für eine Interpretationsfunktion zur Erkennung des Stresspegels genutzt werden. Ein Attributwert einer Atemfrequenz kann beispielsweise für eine Interpretationsfunktion zur Erkennung eines Gesundheitszustands (Atemnot) genutzt werden. Ein Attributwert einer Masse des Fahrzeuginsassen kann beispielsweise für eine Steuerfunktion eines Gurtstraffers genutzt werden. Ein Attributwert einer Liedschlagfrequenz kann durch eine Interpretationsfunktion für eine Vigilanzmessung des Fahrzeuginsassen genutzt werden. Ein Attributwert einer Temperatur, beispielsweise eine Hauttemperatur, ist für eine Steuerfunktion einer Klimaanlage nutzbar. Eine Avatar-Darstellung kann mehrere Attributwerte umfassen und bietet den Vorteil, dass die jeweilige Raumposition zumindest einer Gliedmaße auch dann mittels der modellierten Gliedmaßen erfasst oder ermittelt werden kann, wenn diese Gliedmaße sich außerhalb des Erfassungsbereichs der Sensoren des Kraftfahrzeugs befinden.In order to describe an object advantageously for the control functions by means of a model, the following is particularly preferably provided. At least one of the following attributes is described by a respective attribute value of the model of the vehicle occupant: a 2D/3D avatar representation (two-dimensional or three-dimensional model of the vehicle occupant), a position, an orientation, a mass (body weight), a pulse rate, a Respiratory rate, a song beat rate, a lip movement (e.g. movement rate), a temperature, a skin moisture. A control function for seat occupancy, for example, can be operated using the attribute value of the position of the vehicle occupant. An attribute value of a heart rate can be used, for example, for an interpretation function to identify the stress level. An attribute value of a respiratory rate can be used, for example, for an interpretation function for detecting a state of health (shortness of breath). An attribute value of a mass of the vehicle occupant can be used for a control function of a belt tensioner, for example. An attribute value of a song beat frequency can be used by an interpretation function for a vigilance measurement of the vehicle occupant. An attribute value of a temperature, for example a skin temperature, can be used for a control function of an air conditioning system. An avatar representation can include several attribute values and offers the advantage that the respective spatial position of at least one limb can be recorded or determined using the modeled limbs even if these limbs are outside the detection range of the motor vehicle's sensors.
In Bezug auf das Modell des Kraftfahrzeugs (Fahrzeugzustandsmodell) ist beispielsweise durch einen jeweiligen Attributwert des Modells des Kraftfahrzeugs zumindest eines der folgenden Attribute beschrieben: eine Spiegelstellung, eine Sitzstellung, ein Gurtstatus, eine Fahrgeschwindigkeit, ein Klemmenzustand einer Spannungsversorgung, ein Lenkwinkel, ein Türzustand, ein Klappenzustand (zum Beispiel einer Kofferraum-Klappe). Ein Attributwert einer Spiegelstellung kann genutzt werden, um eine Bewegung eines Kopfes des Fahrers zu prädizieren, wenn dieser den rückwärtigen Verkehr beobachten muss. Ein Attributwert einer Sitzstellung kann dazu genutzt werden zu entscheiden, welche Bedienelemente im Innenraum von einem vorgegebenen Fahrzeuginsassen mit der Hand erreicht werden können und welche dagegen zum Beispiel mittels Sprachbedienung oder Blickrichtungserkennung bedient werden können müssen. Ein Attributwert einer Fahrgeschwindigkeit kann zum Beispiel zum Prädizieren einer Querkraft bei einer Kurvenfahrt genutzt werden. Ein Klemmenzustand einer Spannungsversorgung kann dazu genutzt werden, eine verfügbare Motorkraft zumindest eines Aktuators vorherzusagen. Ein Attributwert eines Lenkwinkels weist den Vorteil auf, dass anhand eines zeitlichen Verlaufs des sich verändernden Attributwert auf einen inneren Zustand des Fahrers rückgeschlossen werden kann. Ein Attributwert eines Türzustand weist den Vorteil auf, dass in Abhängigkeit von einer Offenstellung und/oder Geschlossenstellung der Tür eine Teuerung zumindest eines Aktuators möglich ist. Ein Attributwert eines Klappenzustand kann beispielsweise zum Steuern einer Anzeige „Kofferraum offen“ genutzt werden.With regard to the model of the motor vehicle (vehicle status model), at least one of the following attributes is described, for example, by a respective attribute value of the model of the motor vehicle: a mirror position, a seat position, a belt status, a driving speed, a terminal status of a voltage supply, a steering angle, a door status, a lid state (e.g., a trunk lid). An attribute value of a mirror position can be used to predict a movement of a driver's head when the driver has to observe the traffic behind. An attribute value of a seat position can be used to decide which controls in the interior can be reached by hand by a given vehicle occupant and which, on the other hand, must be able to be operated, for example, by voice control or line of sight recognition. An attribute value of a driving speed can be used, for example, to predict a lateral force when cornering. A terminal status of a power supply can be used to predict an available motor force of at least one actuator. An attribute value of a steering angle has the advantage that an internal state of the driver can be inferred based on a time profile of the changing attribute value. An attribute value of a door status has the advantage that depending on an open position and/or a closed position of the door, at least one actuator can become more expensive. For example, an attribute value of a door state may be used to control a "trunk open" indication.
In Bezug auf ein Gegenstandsmodell ist durch einen jeweiligen Attributwert des Modells des Gegenstands beispielsweise zumindest eines der folgenden Attribute beschrieben: eine Position, eine Klasse, eine Orientierung. Ein Attributwert einer Position kann in der bereits beschriebenen Weise zum Beispiel zum Steuern eines Airbags genutzt werden. Ein Attributwert der Klasse kann angeben, ob es sich bei dem Objekt zum Beispiel um eine Handtasche oder eine Digitalkamera oder ein Smartphone handelt. Ein Attribut wird eine Orientierung kann genutzt werden, um zum Beispiel eine Ausrichtung eines Erfassungsbereichs einer Kamera eines Smartphones zu erkennen, wodurch die Kamera als fahrzeugfremder Sensor genutzt werden kann.With regard to an object model, at least one of the following attributes is described by a respective attribute value of the model of the object: a position, a class, an orientation. An attribute value of a position can be used, for example, to control an airbag in the manner already described. An attribute value of the class can indicate whether the object is a purse or a digital camera or a smartphone, for example. An attribute becomes an orientation can be used, for example, to recognize an orientation of a detection area of a camera of a smartphone, which means that the camera can be used as a sensor external to the vehicle.
Bevorzugt ist vorgesehen, dass in der Interpretationsebene zumindest eine der folgenden Eigenschaften durch jeweils eine der Interpretationsfunktionen ermittelt wird: eine segmentierte 2D/3D Avatar-Darstellung, eine NCAP-Klassifizierung (NCAP - New Car Assessment Program), , eine Handbewegung, eine Sitzbelegung, eine Körperpose, ein Ablenkungsgrad, ein Müdigkeitsgrad, eine Emotion, ein Stresspegel, eine geometrische Identifikation, eine Blickrichtung, eine Kopforientierung, ein Alter, ein Geschlecht, eine Bekleidungsklasse (z.B. „warm angezogen“). Jede dieser Eigenschaft kann nun auf der Grundlage der insgesamt zur Verfügung stehenden Attributwerte der Modelle ermittelt werden, ohne dass hierzu in jeder der Interpretationsfunktionen die Steuerung der Sensoren implementiert sein muss. Stattdessen kann die durch die Modelle nachgestellte Situation im Innenraum als Grundlage zum Erkennen der jeweiligen Eigenschaft genutzt werden.Provision is preferably made for at least one of the following properties to be determined in the interpretation level by one of the interpretation functions: a segmented 2D/3D avatar representation, an NCAP classification (NCAP—New Car Assessment Program), a hand movement, a seat occupancy, a body pose, a degree of distraction, a degree of fatigue, an emotion, a stress level, a geometric identification, a gaze direction, a head orientation, an age, a gender, a clothing class (e.g. "warmly dressed"). Each of these properties can now be determined based on the total available attribute values of the models, without the control of the sensors having to be implemented in each of the interpretation functions. Instead, the situation in the interior simulated by the models can be used as a basis for recognizing the respective property.
Bevorzugt ist vorgesehen, dass in der Interpretationsebene durch zumindest eine der Interpretationsfunktionen eine Kontextbewertung durchgeführt wird, welche anhand einer Umfeldbeschreibung des Kraftfahrzeuges ermittelt, wie das Umfeld des Kraftfahrzeugs und/oder was von dem Umfeld von dem Innenraum aus für einen Fahrzeuginsassen erkennbar ist. So kann z.B. eine jeweilige Position zumindest eines Verkehrsteilnehmers im Umfeld des Fahrzeuges beschrieben sein, sodass eine jeweilige Reaktion und/oder Haltung des Fahrers und/oder eines anderen Fahrzeuginsassen in den Situationskontext gesetzt werden können (z.B. „Fahrer blickt in den Seitenspiegel, um ein anderes Kraftfahrzeug zu beobachten“).Provision is preferably made for a context evaluation to be carried out in the interpretation level by at least one of the interpretation functions, which uses a description of the surroundings of the motor vehicle to determine how the surroundings of the motor vehicle and/or what of the surroundings can be seen by a vehicle occupant from the interior. For example, a respective position of at least one road user in the vicinity of the vehicle can be described, so that a respective reaction and/or attitude of the driver and/or another vehicle occupant can be placed in the context of the situation (e.g. "driver looks in the side mirror to see another motor vehicle to be observed").
Die besagte Umfeldsbeschreibung kann aus einem Umfeldmodell empfangen werden, welches basierend auf Umfeldsensoren, wie z.B. Radar, Lidar, Ultraschall, um nur Beispiele zu nennen, gebildet sein kann. Ein solches Umfeldmodell kann z.B für pilotiertes Fahren bereitgestellt sein. Ergänzt um Navigationsdaten und/oder eine digitale Straßenkarte kann das unmittelbare Umfeld, d.h. z.B. Fremdfahrzeuge, weitere Verkehrsteilnehmer wie Fußgänger oder Radfahrer, Verkehrsschilder, Ampeln, markante Punkte, durch das Umfeldmodell beschrieben sein.Said environment description can be received from an environment model, which can be formed based on environment sensors such as radar, lidar, ultrasound, to name just a few. Such an environment model can be provided for piloted driving, for example. Supplemented by navigation data and/or a digital road map, the immediate environment, i.e. other vehicles, other road users such as pedestrians or cyclists, traffic signs, traffic lights, prominent points, can be described by the environment model.
Zu verschiedenen Attributen der Innenraumsituation besteht hier ein unmittelbarer Zusammenhang, wie beispielsweise der Blickrichtung des Fahrers, ein Bremseingriff oder eine unerwartete Pulserhöhung deswegen.There is a direct connection to various attributes of the interior situation, such as the driver's line of sight, a brake intervention or an unexpected heart rate increase as a result.
Das Umfeldmodell kann außerhalb des hier skizzierten Konzepts, also auch außerhalb der Steuervorrichtung, verortet sein und braucht zur Bewertung des Situationskontextes der Innenraumsituation lediglich abgefragt, aber nicht befüllt oder synchronisiert oder aktualisiert werden, wie die eigene, interne Modellebene.The environment model can be located outside the concept outlined here, i.e. also outside the control device, and only needs to be queried to evaluate the situation context of the interior situation, but not filled or synchronized or updated like the own, internal model level.
In der Funktionsebene ist zumindest eine der folgenden Steuerungen durch jeweils eine der Steuerfunktionen bereitgestellt: eine Gestensteuerung, eine Insassenbenachrichtigung, eine Airbag-Steuerung, eine fahrerabhängige Sitz- und/oder Cockpitanpassung, eine Beleuchtungssteuerung, eine Fahrerberechtigungsprüfung, eine Klimatisierungssteuerung, eine 3D-Klangfokussierung, eine HRV-Biofeedback-Steuerung (HRV - Herz-Rhythmus-Variabilität). Die Gestensteuerung kann in vorteilhafter Weise zum Beispiel auf den beschriebenen Avatar zurückgreifen, sodass nicht jede Gliedmaße auch tatsächlich durch eine Kamera erfasst sein muss. Anhand eines Modells eines Gegenstands kann bei der Gestensteuerung sogar zusätzlich erkannt werden, ob ein Fahrzeuginsasse tatsächlich eine Bediengeste ausführt oder nach dem Gegenstand gereift. Eine Insassenbenachrichtigung kann beispielsweise eine Steuerung einer Anzeigeeinrichtung und/oder Sprachausgabeeinrichtung und/oder eines Haptikaktuators des Kraftfahrzeugs durchführen, um an einen Fahrzeuginsassen einen Hinweis auszugeben. Die Airbag-Steuerung kann in der beschriebenen Weise zum Beispiel einen Airbag deaktivieren, falls der zugeordnete oder zugehörige Fahrzeugsitz von einem Gegenstand belegt ist. Eine fahrerabhängige Sitz- und/oder Cockpitanpassung kann die Sitzposition und/oder eine Ausgestaltung von graphischen Anzeigenelementen in Abhängigkeit von einer Identität einer Person und/oder physiologischen Merkmalen der Person, zum Beispiel deren Körpergröße und/oder Sehvermögen, anpassen. Eine Beleuchtungssteuerung kann zum Beispiel ein Ambientelicht (indirekte Beleuchtung) im Kraftfahrzeug Steuern und/oder einen Lichtspot für einen lesenden Fahrzeuginsassen ausrichten. Hierbei kann zum Beispiel das Insassenmodell zum Ermitteln der Blickrichtung und/oder Kopfneigung des Fahrzeuginsassen zum Erkennen einer Lesetätigkeit genutzt werden und ein Modell eines Buches, das der Fahrzeuginsasse betrachtet, zum Ausrichten des Lichtspots. In Abhängigkeit von einer Ausrichtung eines Gesichtsfeld (Blickrichtung und/oder Kopfneigung) kann zum Beispiel auch eine Fußbodenbeleuchtung zum Ausleuchten eines Fußraums aktiviert werden. Eine Fahrerberechtigungsprüfung kann geometrische Merkmale aus einem Insassenmodell nutzen. Eine Klimatisierungssteuerung kann zum Beispiel eine Sitzklimatisierung und/oder Zonenklimatisierung (unterschiedliche Temperaturen und/oder Belüftungsstärken für unterschiedliche Raumbereiche) steuern. Die Feedback-Steuerung kann in dem Kraftfahrzeug zum Beispiel eine Klimatisierung und/oder Beleuchtung an eine durch den Herz-Rhythmus signalisierte innerliche Befindlichkeit eines Fahrzeuginsassen anpassen.At the function level, at least one of the following controls is provided by one of the control functions: gesture control, occupant notification, airbag control, driver-dependent seat and/or cockpit adjustment, lighting control, driver authorization check, climate control, 3D sound focusing, HRV biofeedback control (HRV - heart rhythm variability). The gesture control can advantageously use the avatar described, for example, so that not every limb actually has to be captured by a camera. Using a model of an object, it can even be additionally recognized in gesture control whether a vehicle occupant is actually performing an operating gesture or is thinking about the object. An occupant notification can, for example, control a display device and/or voice output device and/or a haptic actuator of the motor vehicle in order to output a message to a vehicle occupant. In the manner described, the airbag controller can, for example, deactivate an airbag if the assigned or associated vehicle seat is occupied by an object. A driver-dependent seat and/or cockpit adjustment can adjust the seat position and/or a design of graphical display elements depending on an identity of a person and/or physiological characteristics of the person, for example their height and/or eyesight. A lighting control can, for example control an ambient light (indirect lighting) in the motor vehicle and/or align a light spot for a reading vehicle occupant. Here, for example, the occupant model can be used to determine the viewing direction and/or head inclination of the vehicle occupant to recognize reading activity and a model of a book that the vehicle occupant is looking at can be used to align the light spot. Depending on an orientation of a field of vision (direction of view and/or head inclination), floor lighting for illuminating a footwell can also be activated, for example. A driver authentication check may utilize geometric features from an occupant model. An air conditioning controller can, for example, control seat air conditioning and/or zone air conditioning (different temperatures and/or ventilation intensities for different room areas). In the motor vehicle, the feedback control can, for example, adapt air conditioning and/or lighting to an internal condition of a vehicle occupant that is signaled by the heart rhythm.
Um die Modellebene, die Interpretationsebene und die Funktionsebene zu betreiben, ist bevorzugt eine Recheneinrichtung bereitgestellt, die hierzu eingerichtet ist. Ein jeweiliges Modell, eine jeweilige Interpretationsfunktion und eine jeweilige Steuerfunktion können hierbei jeweils als ein Programmodul ausgestaltet sein, das durch die Recheneinrichtung ausgeführt werden kann. Hierbei ist die Recheneinrichtung bevorzugt zusätzlich dazu eingerichtet, zumindest ein neues Modell und/oder zumindest eine neue Interpretationsfunktion und/oder zumindest eine neue Steuerfunktion nachträglich zu installieren und mit Eingangsdaten der Hardwareschnittstelle und/oder Attributwerten anderer Modelle zu versorgen. Somit kann also ein neues Modell und/oder eine neue Interpretationsfunktion und/oder eine neue Steuerfunktion in der Steuervorrichtung nachgerüstet werden. Hierbei ist keine Anpassung an die vorhandenen Sensoren nötig, da eine sensorunabhängige Abruffunktion genutzt werden kann, um die beschriebenen Eingangsdaten von der Hardwareschnittstelle abzurufen.In order to operate the model level, the interpretation level and the functional level, a computing device is preferably provided which is set up for this purpose. A respective model, a respective interpretation function and a respective control function can each be designed as a program module that can be executed by the computing device. In this case, the computing device is preferably additionally set up to subsequently install at least one new model and/or at least one new interpretation function and/or at least one new control function and to supply it with input data from the hardware interface and/or attribute values from other models. A new model and/or a new interpretation function and/or a new control function can thus be retrofitted in the control device. No adaptation to the existing sensors is necessary here, since a sensor-independent retrieval function can be used to retrieve the described input data from the hardware interface.
Bisher wurden als externe Datenquellen nur Sensoren beschrieben. Bevorzugt ist vorgesehen, dass die Netzwerkschnittstelle, die zu dem Datennetzwerk führt, dazu eingerichtet ist, aus dem Datennetzwerk Daten zumindest einer fahrzeugfremden Datenquelle, zum Beispiel einem Internet-Server und/oder einem an das Kraftfahrzeug angebundenen mobilen Endgerät (zum Beispiel Smartphone und/oder Smartwatch und/oder Tablet-PC) zu empfangen und in der Modellebene und/oder in der Interpretationsebene und/oder in der Funktionsebene bereitzustellen. Hierdurch kann zum Beispiel auch eine Datenbank und/oder ein Sensor eines mobilen Endgeräts für das Ermitteln oder Bereitstellen zumindest eines Attributwerts und/oder zumindest einer Eigenschaft und/oder für das Erzeugen von Steuerdaten genutzt werden.So far, only sensors have been described as external data sources. Provision is preferably made for the network interface, which leads to the data network, to be set up to receive data from the data network from at least one data source external to the vehicle, for example an Internet server and/or a mobile end device connected to the motor vehicle (for example smartphone and/or Smartwatch and/or tablet PC) and to make them available at the model level and/or at the interpretation level and/or at the functional level. In this way, for example, a database and/or a sensor of a mobile terminal device can also be used to determine or provide at least one attribute value and/or at least one property and/or to generate control data.
Die Erfindung umfasst auch ein Kraftfahrzeug mit Sensoren und Aktuatoren, die über eine Ausführungsform der erfindungsgemäßen Steuervorrichtung gekoppelt sind. Hierdurch können auf der Grundlage von Sensordaten flexibel und austauschbar und nachrüstbar unterschiedliche Steuerfunktionen zum Steuern der Aktuatoren in dem Kraftfahrzeug bereitgestellt werden. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen ausgestaltet.The invention also includes a motor vehicle with sensors and actuators that are coupled via an embodiment of the control device according to the invention. As a result, different control functions for controlling the actuators in the motor vehicle can be provided in a flexible and interchangeable and retrofittable manner on the basis of sensor data. The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck.
Durch den Betrieb des Kraftfahrzeugs ergibt sich eine Ausführungsform des erfindungsgemäßen Verfahrens zum Betreiben einer Steuervorrichtung in einem Kraftfahrzeug. Die Hardwareschnittstelle empfängt aus Sensoren des Kraftfahrzeugs jeweils Sensordaten mittels eines jeweiligen sensorspezifischen Treibers und erzeugt aus den empfangenen Sensordaten Eingangsdaten und stellt die Eingangsdaten für einen Abruf durch sensorunspezifische Abruffunktionen bereit. Eine Modellebene betreibt mehrere Modelle, wobei jedes der Modelle ein jeweiliges mit einem Innenraum des Kraftfahrzeugs in Beziehung stehendes Objekt durch Attributwerte beschreibt und zumindest einen der Attributwerte mittels einer jeweiligen Abruffunktion auf der Grundlage der Eingangsdaten einstellt. Mit „in Beziehung stehend“ ist gemeint, dass sich das Objekt im Innenraum befindet oder den Innenraum begrenzt oder von Innenraum aus zu sehen ist. Eine Interpretationsebene führt zumindest eine Interpretationsfunktion aus, wobei jede Interpretationsfunktion jeweils eine Eigenschaft zumindest eines der modellierten Objekte auf der Grundlage zumindest eines eingestellten Attributwert zumindest eines der Modelle ermittelt. Eine Funktionsebene betreibt zumindest eine Steuerfunktion, wobei jede Steuerfunktion jeweils Steuerdaten in Abhängigkeit von zumindest einem eingestellten Attributwert zumindest eines der Modelle und/oder in Abhängigkeit von zumindest einer ermittelten Eigenschaft erzeugt. Eine Netzwerkschnittstelle sendet die Steuerdaten an zumindest einen Aktuator des Kraftfahrzeugs aus.The operation of the motor vehicle results in an embodiment of the method according to the invention for operating a control device in a motor vehicle. The hardware interface receives sensor data from sensors in the motor vehicle using a respective sensor-specific driver and generates input data from the received sensor data and provides the input data for retrieval by sensor-unspecific retrieval functions. A model layer operates multiple models, each of the models describing a respective object related to an interior of the motor vehicle through attribute values and setting at least one of the attribute values using a respective retrieval function based on the input data. By "related" is meant that the object is in the interior space or bounds the interior space or is viewable from the interior space. An interpretation level executes at least one interpretation function, each interpretation function determining a property of at least one of the modeled objects on the basis of at least one set attribute value of at least one of the models. A function level operates at least one control function, with each control function generating control data depending on at least one set attribute value of at least one of the models and/or depending on at least one determined property. A network interface sends the control data to at least one actuator of the motor vehicle.
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.The invention also includes developments of the method according to the invention, which have features as have already been described in connection with the developments of the motor vehicle according to the invention. For this reason, the corresponding developments of the method according to the invention are not described again here.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt die einzige Figur (Fig.) eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs.Exemplary embodiments of the invention are described below. For this purpose, the single figure (FIG.) shows a schematic representation of an embodiment of the motor vehicle according to the invention.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than the one shown. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.
In der Figur sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.Elements with the same function are each provided with the same reference symbols in the figure.
Die Figur zeigt ein Kraftfahrzeug 10, bei dem es sich zum Beispiel um einen Kraftwagen, insbesondere einen Personenkraftwagen oder Lastkraftwagen, handeln kann. Um in einem Passagierraum oder Innenraum 11 des Kraftfahrzeugs 10 Einfluss auf die dortige Situation nehmen zu können, also beispielsweise auf die Klimatisierung und/oder Anordnung von Sitzen/Spiegeln und/oder die Darbietung von Medieninhalten, kann eine Steuervorrichtung 12 bereitgestellt sein. Die Steuervorrichtung 12 kann als ein einzelnes Steuergerät oder als ein Verbund von Steuergeräten ausgestaltet sein. Insbesondere kann die Steuervorrichtung 11 eine Prozessoreinrichtung 13 aufweisen, die einen oder mehrere Mikroprozessoren und/oder einen oder mehrere Mikrocontroller aufweisen kann. An die Steuervorrichtung 12 können Sensoren 14 des Kraftfahrzeugs 10 angeschlossen sein, beispielsweise eine 3-D-Kamera und/oder eine 2-D-Kamera und/oder zumindest ein Temperatursensor und/oder zumindest ein Mikrofon und/oder zumindest ein am Körper zu tragen des Accessoire zum Messen von Körpersignalen. Zum Beeinflussen der Situation im Innenraum 11 kann die Steuervorrichtung 12 Steuerdaten 15 zum Steuern von Aktuatoren 16 des Kraftfahrzeugs 10 erzeugen. Beispiele für einen Aktuator 16 sind jeweils: ein Sitzmotor und/oder ein Spiegelmotor und/oder ein Fensterhebermotor und/oder ein Infotainmentsystem (Informations-Unterhaltungssystem), eine Klimaanlage, eine Anzeigeeinrichtung in einem Kombiinstrument des Kraftfahrzeugs 10. Die Steuervorrichtung 12 kann mit den Aktuatoren 16 über ein Datennetzwerk 17 gekoppelt sein. Das Datennetzwerk 17 kann zum Beispiel ein Ethernet-Netzwerk 18 und/oder ein Bussystem 18', beispielsweise einen CAN-Bus, umfassen. An das Datennetzwerk 17 kann die Steuervorrichtung 12 über eine Netzwerkschnittstelle 19 angeschlossen sein, z.B. ein NIC (Network Connect Interface). Unterschiedliche Netzwerk-Technologien können über ein Gateway 20 miteinander gekoppelt sein.The figure shows a
Durch die Prozessoreinrichtung 13 können unterschiedliche Programmmodule ausgeführt werden, die einzeln oder modular in der Steuervorrichtung 12 installiert oder implementiert werden können. Hierbei ist vorgesehen, dass die Programmmodule nicht an die vorhandenen Sensoren 14 angepasst sein müssen. Vielmehr ist eine Hardwareschnittstelle 21 bereitgestellt, welche Sensordaten 22 aus den Sensoren 14 empfangen und daraus Eingangsdaten 23 erzeugen kann, die mit einer sensorunabhängigen Abrufroutine innerhalb der Steuervorrichtung 12 abgerufen werden können. Zum Steuern oder sensorspezifischen abrufen der Sensordaten 22 kann die Hardwareschnittstelle 21 für jeden Sensortyp einen passenden Treiber 24, d.h. eine Treiber-Software aufweisen. Die mittels der Treiber 24 empfangen Sensordaten können durch Aggregation und/oder Fusion und/oder Plausibilisierung in die Eingangsdaten 23 umgewandelt werden.Different program modules can be executed by the
Innerhalb der Steuervorrichtung 12 kann in der Recheneinrichtung 13 eine Architektur aus drei Ebenen, nämlich einer Modellebene 25, einer Interpretationsebene 26 und einer Funktionsebene 27, bereitgestellt sein. Jede Ebene 25, 26, 27 ist dadurch gebildet, dass darin jeweils gleichartige Programmmodule zusammengefasst sind.An architecture consisting of three levels, namely a
In der Modellebene 25 können als Programmmodule Modelle 28 bereitgestellt sein. Jedes Modell 28 kann ein Objekt in dem Innenraum 11 oder an dem Kraftfahrzeug 10 repräsentieren. Es kann ein Insassenmodell, ein Fahrzeugzustands Modell und/oder ein Gegenstandsmodell geben. Jedes Modell 28 kann das von ihm beschriebene oder repräsentierte Objekt durch Attributwerte 29 beschreiben, von denen in der Figur der Übersichtlichkeit halber nur einige mit einem Bezugszeichen versehen sind. Zumindest einige der Attributwerte 29 kann jedes Modell 28 dadurch einstellen, dass es aus der Hardwareschnittstelle 21 zumindest einen Teil der ein Eingangsdaten 23 abruft. Hierzu muss das Modell 28 nicht wissen, wie man den zugehörigen Sensor 14 gesteuert oder ausliest. Stattdessen kann eine sensorunabhängige Abruffunktion genutzt werden, die an der Hardwareschnittstelle 21 die benötigten Eingangsdaten 29 anfordert oder ausliest. Mit „sensorunabhängige Abruffunktion“ ist insbesondere eine Abruffunktion gemeint, die Bestandteil einer API (Application Programming Interface) der Hardwareschnittstelle 21 sein kann und/oder ein vorbestimmtes, sensorunabhängiges Protokoll zum Auslesen der Eingangsdaten 23 vorsieht. Die Abruffunktion ändert sich selbst dann nicht, wenn zumindest einer der Sensoren 14 ausgetauscht wird. Beispielsweise kann eine Abruffunktion zum Abrufen von Temperaturwerten vorgesehen sein, durch welche Eingangsdaten mit Temperaturwerten abgerufen werden können, unabhängig davon, aus welchem Sensoren 14 oder Sensortyp die Temperaturwerte stammen.In the
In der Interpretationsebene können Interpretationsfunktionen 30 bereitgestellt sein. Eine Interpretationsfunktion 30 kann zumindest einen jeweiligen Attributwert 29 aus einem oder mehreren Modellen auslesen und daraus eine Eigenschaft 31 eines Objekts des Kraftfahrzeugs 10 ermitteln. Diese Eigenschaft 31 kann dann wieder als ein Attributwert oder durch mehrere Attributwerte beschrieben werden. Diese neuen Attributwerte können wieder in dem passenden Modell 28 abgespeichert werden.Interpretation functions 30 can be provided in the interpretation level. An
Die so bereitgestellte modellbasierte Beschreibung des Innenraums 11 kann von unterschiedlichen Steuerfunktionen 32 der Funktionsebene 27 genutzt werden. Jede der Steuerfunktionen 32 kann auf der Grundlage zumindest eines jeweiligen Attributwerts 29 zumindest eines Modells 28 und/oder auf der Grundlage zumindest einer durch eine jeweilige Interpretationsfunktion 30 ermittelte Eigenschaft 31 Steuerdaten 15 erzeugen, mit denen sie zumindest einen Aktuator 16 steuern kann. So kann für Steuerfunktionen 32, wie zum Beispiel eine Gestensteuerung, eine Airbag-Steuerung, eine Sitzadaption und/oder Cockpitadaption, eine Beleuchtungssteuerung und/oder weitere Steuerfunktionen 32 auf der Grundlage unterschiedlicher Sensoren 14 mittels der Modelle 28 und Interpretationsfunktionen 30 die Situation im Innenraum 11 beschrieben werden, sodass die Steuerfunktionen 32 die Steuerdaten 15 an die aktuelle Situation im Innenraum 11 anpassen können. Hierbei können die Steuerfunktionen 32 die Sensoren 14 über die Modellschicht 25 und die Interpretationsschicht 26 gemeinsam nutzen. Auch eine neue Steuerfunktion kann hinzugefügt werden, die dann die vorhandenen Sensoren 14 nutzen kann.The model-based description of the interior 11 provided in this way can be used by
Dies erlaubt durch Synergie in Hardware und Software die Senkung der Kosten pro Steuerfunktion 32 und damit auch die Umsetzung von Steuerfunktionen 32, die andernfalls aufgrund eigener Systemkosten, wie sie durch separate Bereitstellung von Sensoren nötig wären, nicht wirtschaftlich wären. Weiterhin ist eine Steigerung der Robustheit möglich, da durch die Fusionen Plausibilisierung mehrere Sensoren für jede Steuerfunktion 32 genutzt werden können. Je nach Anwendungsfall und Ausstattungsmerkmal erlaubt die Steuervorrichtung 12 die vollständige Substitution anderer Steuergeräte.Through synergy in hardware and software, this allows the costs per
Durch eine Steigerung des Erfassungspotenzials der Steuerfunktionen 32 und die Fusion der Sensordaten 22 ist überdies auch eine Redundanz gegeben, wie sie für das automatisierte Fahren von Level 3 bis Level 5 (Level - Automatisierungsstufe) gemäß zum Beispiel SAE J 3016 vorgesehen ist.By increasing the detection potential of the control functions 32 and the fusion of the
Die in der Figur gezeigte Realisierung der Steuervorrichtung 12 weist eine Architektur mit Modellebene 25, Interpretationsebene 26 und Funktionsebene 27 auf.The realization of the
Auf der Modellebene 25 werden Insassen und Gegenstände klassifiziert sowie der Fahrzeugzustand in einem Fahrzeugmodell berücksichtigt. Mittels Fusion und Aggregation der Sensorparameter werden die Modelle 28 mit Attributwerte 29 belegt. Sensorspezifische Treiber 24 definieren die Hardwareschnittstelle 21 und die jeweiligen Datentypen der Attributwerte, die zur Modellierung herangezogen werden.On the
Auf der Interpretationsebene werden die Attributwerte zu Informationen verarbeitet, welche die Eigenschaften der Insassen und/oder Objekte und/oder des Kraftfahrzeugs beschreiben und welche wiederum als Attributwerte in die Modelle 28 zurück geschrieben oder synchronisiert werden können.At the interpretation level, the attribute values are processed into information describing the characteristics of the occupants and/or objects and/or the motor vehicle, which in turn can be written back into the
Auf der Funktionsebene laufen Steuerfunktionen 32, die sich unabhängig von der Sensortechnologie der Sensoren 14 der Modelle 28 bedienen. Als Ausgabe der Steuerfunktionen 32 werden über das Datennetzwerk 10, zum Beispiel über das Gateway 20, die Steuerdaten 15 an die einzelnen Steuergeräte der jeweiligen Aktuatoren 16 geleitet.Control functions 32 run at the function level, which use the
Insgesamt zeigen die Beispiele, wie durch die Erfindung eine Fusion verschiedener Sensorik im Kraftfahrzeug zu einem zentralen Situationsmodell des Fahrzeuginnenraums bereitgestellt werden kann.Overall, the examples show how the invention can provide a fusion of different sensors in the motor vehicle to form a central situation model of the vehicle interior.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017201728.7A DE102017201728B4 (en) | 2017-02-03 | 2017-02-03 | Control device for generating control data for actuators for configuring an interior situation of a motor vehicle and motor vehicle and method for operating a control device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017201728.7A DE102017201728B4 (en) | 2017-02-03 | 2017-02-03 | Control device for generating control data for actuators for configuring an interior situation of a motor vehicle and motor vehicle and method for operating a control device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102017201728A1 DE102017201728A1 (en) | 2018-08-09 |
| DE102017201728B4 true DE102017201728B4 (en) | 2022-02-17 |
Family
ID=62910323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102017201728.7A Active DE102017201728B4 (en) | 2017-02-03 | 2017-02-03 | Control device for generating control data for actuators for configuring an interior situation of a motor vehicle and motor vehicle and method for operating a control device |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102017201728B4 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102022108135A1 (en) | 2022-04-05 | 2023-10-05 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for parameterizing a vehicle component |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102021104917A1 (en) | 2021-03-02 | 2022-09-08 | Bayerische Motoren Werke Aktiengesellschaft | DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES |
| DE102022129416A1 (en) * | 2022-11-08 | 2024-05-08 | Bayerische Motoren Werke Aktiengesellschaft | METHOD AND SYSTEM FOR CONTROLLING A NON-DRIVING APPLICATION IN A VEHICLE |
| DE102022214322A1 (en) * | 2022-12-22 | 2024-06-27 | Robert Bosch Gesellschaft mit beschränkter Haftung | Redundant IMU detection of position and orientation for actuator systems in the vehicle interior using filter algorithms on IMU data |
| DE102024100202A1 (en) | 2024-01-04 | 2025-07-10 | Valeo Schalter Und Sensoren Gmbh | Computer-implemented method for providing abstracted sensor information for a functional application in a vehicle |
| DE102024110131A1 (en) * | 2024-04-11 | 2025-10-16 | Bayerische Motoren Werke Aktiengesellschaft | Method for adapting a function for object recognition in a vehicle, computer program, device and vehicle |
| DE102024115421A1 (en) * | 2024-06-04 | 2025-12-04 | Valeo Comfort And Driving Assistance | Method for adapting a vehicle parameter of a vehicle to the body of a vehicle user and vehicle |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020091473A1 (en) | 2000-10-14 | 2002-07-11 | Gardner Judith Lee | Method and apparatus for improving vehicle operator performance |
| US20030204384A1 (en) | 2002-04-24 | 2003-10-30 | Yuri Owechko | High-performance sensor fusion architecture |
| DE10346846A1 (en) | 2003-10-09 | 2005-04-28 | Bosch Gmbh Robert | Data processing unit for assistance equipment in motor vehicles and method for providing up-to-date fused situation data |
| EP1754621A1 (en) | 2005-08-18 | 2007-02-21 | Honda Research Institute Europe GmbH | Driver assistance system |
| WO2010119085A1 (en) | 2009-04-16 | 2010-10-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and system for recognising an object, and method and system for generating a marking in a screen representation by means of a non-contact gesture-controlled screen pointer |
| DE102013224917A1 (en) | 2013-12-04 | 2015-06-11 | Continental Teves Ag & Co. Ohg | A method of detecting a size of attention describing a driver's attention |
| US20150266455A1 (en) | 2013-12-06 | 2015-09-24 | Christopher Kenneth Wilson | Systems and Methods for Building Road Models, Driver Models, and Vehicle Models and Making Predictions Therefrom |
| US20160027276A1 (en) | 2014-07-24 | 2016-01-28 | State Farm Mutual Automobile Insurance Company | Systems and methods for monitoring a vehicle operator and for monitoring an operating environment within the vehicle |
| DE102014219326A1 (en) | 2014-09-24 | 2016-03-24 | Continental Teves Ag & Co. Ohg | Sensor fusion with smartphone in the vehicle |
| US20160236690A1 (en) | 2015-02-12 | 2016-08-18 | Harman International Industries, Inc. | Adaptive interactive voice system |
-
2017
- 2017-02-03 DE DE102017201728.7A patent/DE102017201728B4/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020091473A1 (en) | 2000-10-14 | 2002-07-11 | Gardner Judith Lee | Method and apparatus for improving vehicle operator performance |
| US20030204384A1 (en) | 2002-04-24 | 2003-10-30 | Yuri Owechko | High-performance sensor fusion architecture |
| DE10346846A1 (en) | 2003-10-09 | 2005-04-28 | Bosch Gmbh Robert | Data processing unit for assistance equipment in motor vehicles and method for providing up-to-date fused situation data |
| EP1754621A1 (en) | 2005-08-18 | 2007-02-21 | Honda Research Institute Europe GmbH | Driver assistance system |
| WO2010119085A1 (en) | 2009-04-16 | 2010-10-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and system for recognising an object, and method and system for generating a marking in a screen representation by means of a non-contact gesture-controlled screen pointer |
| DE102013224917A1 (en) | 2013-12-04 | 2015-06-11 | Continental Teves Ag & Co. Ohg | A method of detecting a size of attention describing a driver's attention |
| US20150266455A1 (en) | 2013-12-06 | 2015-09-24 | Christopher Kenneth Wilson | Systems and Methods for Building Road Models, Driver Models, and Vehicle Models and Making Predictions Therefrom |
| US20160027276A1 (en) | 2014-07-24 | 2016-01-28 | State Farm Mutual Automobile Insurance Company | Systems and methods for monitoring a vehicle operator and for monitoring an operating environment within the vehicle |
| DE102014219326A1 (en) | 2014-09-24 | 2016-03-24 | Continental Teves Ag & Co. Ohg | Sensor fusion with smartphone in the vehicle |
| US20160236690A1 (en) | 2015-02-12 | 2016-08-18 | Harman International Industries, Inc. | Adaptive interactive voice system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102022108135A1 (en) | 2022-04-05 | 2023-10-05 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for parameterizing a vehicle component |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102017201728A1 (en) | 2018-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102017201728B4 (en) | Control device for generating control data for actuators for configuring an interior situation of a motor vehicle and motor vehicle and method for operating a control device | |
| DE102017130414B4 (en) | VEHICLE SYSTEMS FOR CONTEXT-DEPENDENT ASSESSMENT | |
| DE102017110283B4 (en) | Controlling functions and outputs of autonomous vehicles based on the position and attention of occupants | |
| DE102019115236B4 (en) | DEVICE FOR THE TREATMENT OF MOTION SICKNESS | |
| EP3947086B1 (en) | Method and device for monitoring a state of health, conditioned by a driving operation, of occupants of an, in particular, autonomous vehicle | |
| DE102017008280A1 (en) | vehicle seat | |
| DE102018127443A1 (en) | On-board system for communicating with inmates | |
| DE102017119556A1 (en) | WARNING ON THE RECOVERY OF A STOPPED VEHICLE IN TRANSPORT | |
| DE102011112371A1 (en) | Device for adjusting at least one operating parameter of at least one vehicle system of a motor vehicle | |
| DE112014003714T5 (en) | Method for adjusting settings in a vehicle | |
| DE102016215250A1 (en) | A method of operating a motor vehicle using a user's mobile terminal and physiological vital signs | |
| DE102014222426A1 (en) | Radio key for adapting a configuration of a means of transportation | |
| DE102010048273A1 (en) | Method for alert-dependent initialization of vehicle action, involves determining vehicle position on digital road map of navigation system, where local vehicle environment is determined as environment sensor data by vehicle-sensor device | |
| DE102017219585A1 (en) | Method for adjusting a comfort of a vehicle, control device and vehicle | |
| DE102017201405A1 (en) | Method for operating a motor vehicle | |
| DE102021125744A1 (en) | Computer-implemented method, apparatus and computer program for controlling one or more settings of a vehicle | |
| DE102021122037A1 (en) | PREDICTING CHASSIS INPUT INTENT VIA BRAIN-MACHINE INTERFACE AND DRIVER MONITORING SENSOR FUSION | |
| DE102020201235A1 (en) | Method and system for controlling motor vehicle functions | |
| DE102017103391A1 (en) | Method for improving the user-friendliness of a vehicle | |
| DE102022115531A1 (en) | Method for determining the attention of a user of a motor vehicle, computer program, data processing device and motor vehicle | |
| DE102022110759A1 (en) | Method for outputting image data for a motor vehicle, computer program, data processing device and motor vehicle | |
| DE102024107862B3 (en) | Determining the emotional state of a vehicle occupant | |
| DE102022102504B3 (en) | Method for operating an interface device in a vehicle, and interface device and vehicle | |
| DE102019208992A1 (en) | Control device for use in a motor vehicle | |
| Ledezma-Zavala et al. | Towards a new framework for advanced driver assistance systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R081 | Change of applicant/patentee |
Owner name: AUDI AG, DE Free format text: FORMER OWNERS: AUDI AG, 85057 INGOLSTADT, DE; TECHNISCHE UNIVERSITAET MUENCHEN, 80333 MUENCHEN, DE |
|
| R018 | Grant decision by examination section/examining division | ||
| R020 | Patent grant now final |