DE102021000509A1

DE102021000509A1 - Verfahren zum Betrieb eines Fahrzeugs

Info

Publication number: DE102021000509A1
Application number: DE102021000509.0A
Authority: DE
Inventors: Andreas Petrovic; Cedric Perauer
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-02-02
Filing date: 2021-02-02
Publication date: 2021-03-25

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines Fahrzeugs (1). Mittels einer Stereokamera wird ein Insasse (2) erfasst. Durch eine Auswertung erfasster Bilddaten wird die optimale Sitzposition ermittelt. Die erfassten Bilddaten werden mittels eines Posensegmentierungsmodells (6) zur Erkennung von Körperteilen verarbeitet. Ergebnisse werden zur Bestimmung von Körpermaßen verwendet. Mittels eines Algorithmus werden Positionen der Körperteile im 3D-Raum bestimmt und die Körpermaße berechnet. Mittels der Stereokamera wird ein Kindersitz (3) erfasst und durch eine Auswertung erfasster Bilddaten mittels eines Objekterkennungsmodells (7) zur Erkennung unterschiedlicher Kindersitze (3) wird ein Modell des Kindersitzes (3) erkannt, wobei Kindersitzdaten (D) verschiedener Kindersitze (3) auf einem Steuergerät gespeichert sind. Mittels des Objekterkennungsmodells (7) wird die korrekte Position des Kindersitzes (3) ermittelt. Bei einem Insassen (2) mit einer ermittelten Körpergröße von mindestens 150 cm werden durch eine Fusion der Körpermaße und Daten des vom Insassen (2) belegten Fahrzeugsitzes (12) die optimale Sitzposition und eine optimale Gurtposition vorschlagen. Bei einem kleineren Insassen (2) im Kindersitz (3) wird durch eine Fusion der Körpermaße und Kindersitzdaten (D) des Kindersitzes (3) auf eine festgestellte fehlerhafte Anwendung des Kindersitzes (3) hingewiesen. Sensoren (17) im Fahrzeugsitz (12) werden zur Optimierung verwendet.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Fahrzeugs nach den Merkmalen des Oberbegriffs des Anspruchs 1.
Aus dem Stand der Technik ist, wie in der DE 10 2004 013 598 A1 beschrieben, eine Vorrichtung zur Einstellung von Sitzkomponenten bekannt. Die Sitzkomponenten werden in Abhängigkeit von einem Signal einer Videosensorik eingestellt. Zusätzlich wird in Abhängigkeit von dem Signal auch ein Sicherheitsgurt eingestellt. Diese Einstellung erfolgt in Abhängigkeit von der Insassenklasse, dem Insassenvolumen, der Insassenpose und der Kopfposition.
In der DE 197 41 393 A1 wird eine Vorrichtung zur Erfassung der Haltung eines Fahrzeuginsassen in einem Automobil beschrieben. Mittels wenigstens eines Paares linearer Lichtsensoranordnungen, je bestehend aus einer Mehrzahl von Sensorelementen, wird eine Abbildung eines Fahrzeuginsassen erzeugt, und aus der Entfernungsverteilung der Abbildung des Fahrzeuginsassen innerhalb wenigstens eines linearen Gesichtsfeldes werden die Präsenz und die Haltung sowie das Gewicht des Fahrzeuginsassen ermittelt. Das Aufblasen des Airbags wird auf der Basis des Ergebnisses der Erfassung von Präsenz, Haltung und Gewicht des Fahrzeuginsassen gesteuert.
Aus der EP 1 985 505 A2 sind ein Insasseninformationserfassungssystem, ein Insassenrückhaltesystem und ein Fahrzeug bekannt. Zum Erfassen von Informationen über einen Fahrzeuginsassen auf einem Fahrzeugsitz weist das im Fahrzeug installierte Insassenrückhaltesystem das Insasseninformationserfassungssystem auf. Dieses Insasseninformationserfassungssystem umfasst eine 3D-Kamera zum Aufnehmen eines dreidimensionalen Bildes, einen Informationsextraktionsverarbeitungsabschnitt zum Extrahieren von Informationen über ein dreidimensionales Oberflächenprofil eines erfassten Objekts auf dem Fahrzeugsitz basierend auf dem von der 3D-Kamera aufgenommenen dreidimensionalen Bild, einen Umwandlungsverarbeitungsabschnitt zum Umwandeln der durch den Informationsextraktionsverarbeitungsabschnitt extrahierten Informationen in numerische Koordinaten eines vorbestimmten Koordinatensystems, einen Berechnungsverarbeitungsabschnitt zum Ableiten eines berechneten Wertes durch Subtrahieren eines Durchschnitts von ersten und zweiten Koordinatenkomponenten von einer dritten Koordinatenkomponente, wobei die erste und die zweite Koordinatenkomponente beliebige zwei Punkte sind und die dritte Koordinatenkomponente ein Mittelpunkt der beliebigen zwei Punkte in Bezug auf Koordinatenkomponenten einer Koordinatenachse, die sich zwischen dem erfassten Objekt und der 3D-Kamera in den durch den Umwandlungsverarbeitungsabschnitt umgewandelten numerischen Koordinaten erstreckt, und einen Bestimmungsverarbeitungsabschnitt zum Bestimmen der konkav-konvexen Form eines Liniensegments, das durch die beliebigen Punkte und den Mittelpunkt gebildet wird, basierend auf dem berechneten Wert, der durch den Berechnungsverarbeitungsabschnitt abgeleitet wird.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Betrieb eines Fahrzeugs anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Betrieb eines Fahrzeugs mit den Merkmalen des Anspruchs 1.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zum Betrieb eines Fahrzeugs wird mittels mindestens einer in einem Innenraum des Fahrzeugs angeordneten Kamera mindestens ein Insasse des Fahrzeugs erfasst und durch eine Auswertung erfasster Bilddaten wird eine optimale Sitzposition des Insassen ermittelt.
Erfindungsgemäß wird der mindestens eine Insasse mittels einer als Stereokamera ausgebildeten Kamera erfasst. Die erfassten Bilddaten werden mittels eines Objekterkennungsmodells zur Erkennung einzelner Körperteile des mindestens einen Insassen verarbeitet. Ergebnisse des Posensegmentierungsmodells werden zur Bestimmung von Körpermaßen des mindestens einen Insassen verwendet. Mittels eines Algorithmus werden Positionen einzelner Körperteile des mindestens einen Insassen im dreidimensionalen Raum bestimmt und die Körpermaße des mindestens einen Insassen werden berechnet. Mittels der mindestens einen oder mindestens einer weiteren im Innenraum des Fahrzeugs angeordneten und als Stereokamera ausgebildeten Kamera wird mindestens ein Kindersitz im Innenraum des Fahrzeugs erfasst, wenn ein solcher vorhanden ist, und durch eine Auswertung erfasster Bilddaten mittels eines Objekterkennungsmodells zur Erkennung unterschiedlicher Kindersitze wird ein Modell des mindestens einen Kindersitzes erkannt, wobei Kindersitzdaten verschiedener Kindersitze auf einem Steuergerät des Fahrzeugs gespeichert sind. Mittels des Objekterkennungsmodells wird zusätzlich die korrekte Position des Kindersitzes ermittelt. Bei einem Insassen mit einer ermittelten Körpergröße von mindestens 150 cm wird durch eine Fusion der Körpermaße und Daten eines vom Insassen belegten Fahrzeugsitzes die optimale Sitzposition und eine optimale Gurtposition eines Sicherheitsgurtes für den Insassen vorschlagen. Bei einem Insassen mit einer ermittelten Körpergröße von weniger als 150 cm im Kindersitz wird durch eine Fusion der Körpermaße und Kindersitzdaten des Kindersitzes auf eine festgestellte fehlerhafte Anwendung des Kindersitzes hingewiesen. Zusätzlich werden Sensoren im Fahrzeugsitz zur Optimierung verwendet, beispielsweise zur Optimierung der Hinweise und/oder Vorschläge und/oder zur Optimierung der Auswertung der erfassten Bilddaten und/oder zur Optimierung der Ermittlung der optimalen Sitzposition und Gurtposition.
Als Sitzelemente können beispielsweise eine Rückenlehne, eine Kopfstütze, eine Sitzfläche und eine Lendenwirbelstütze entsprechend der vorgeschlagenen optimalen Sitzposition eingestellt werden.
Beispielsweise wird zusätzlich mindestens ein Airbag entsprechend der Sitzposition des Insassen eingestellt.
Bei einem Insassen mit einer ermittelten Körpergröße von weniger als 150 cm und ermittelten Sicherheitsrisiken wird beispielsweise ein Losfahren des Fahrzeugs verhindert.
In einer möglichen Ausführungsform des Verfahrens werden Bilddaten mittels mindestens zweier jeweils als eine Stereokamera ausgebildeter Kameras erfasst, wobei die eine Kamera in einem mittleren Bereich oberhalb einer vorderen Sitzreihe im Innenraum des Fahrzeugs angeordnet ist und die mindestens eine weitere Kamera in einem mittleren Bereich oberhalb einer zweiten Sitzreihe im Innenraum des Fahrzeugs angeordnet ist.
Das erfindungsgemäße Verfahren ermöglicht insbesondere eine ergonomische und unfallsichere Sitzeinstellung, wobei dies mittels des erfindungsgemäßen Verfahrens vorteilhafterweise mittels einer Skelettisierung des Insassen anhand der von der Kamera im Innenraum des Fahrzeugs aufgenommener Bilder ermöglicht wird, insbesondere mittels des Posensegmentierungsmodells, auch als Pose Segmentation Modell bezeichnet.
Die Sitzposition der Insassen des Fahrzeugs hat einen maßgeblichen Einfluss auf einen Verletzungsgrad der Insassen im Falle eines Unfalls. Unfallstatistiken zeigen, dass viele Verletzungen bei Unfällen auf eine falsche Positionierung der Insassen zurückzuführen sind. So führt beispielsweise eine Sitzposition zu nah am Airbag zu einem erhöhten Risiko von zusätzlichen Verletzungen und eine Sitzposition zu weit entfernt vom Airbag zu einer nicht idealen Funktionsweise des Schutzmechanismus und daraus folgend potentiell zu Verletzungen im Nackenbereich. Eine korrekte Sitzposition kann außerdem Langzeitfolgen wie Rückenschmerzen reduzieren. Zudem ist eine korrekte Sitzposition essentiell um auf Notsituationen adäquat reagieren zu können. Des Weiteren wird davon ausgegangen, dass ein hoher Anteil an Kindern sich in einem für sie nicht idealen Kindersitz befinden oder falsch angeschnallt sind.
Mittels der erfindungsgemäßen Lösung lassen sich die oben genannten Probleme reduzieren, insbesondere indem sie Innenraumüberwachung mit Menschenerkennung und Sitzeinstellung fusioniert. Die erfindungsgemäße Lösung ermöglicht es insbesondere, detaillierte Informationen über die Insassen zu erhalten und diese zur idealen Ergonomie umzusetzen.
Die erfindungsgemäße Lösung ermöglicht somit insbesondere durch Nutzung von Bildverarbeitung im Innenraum des Fahrzeugs eine Verbesserung der aktiven und passiven Sicherheit. Durch die erfindungsgemäße Lösung können das Risiko von Verletzungen und ein Verletzungsgrad im Falle eines Unfalls deutlich verbessert werden. Die falsche Anwendung von Kindersitzen kann mitigiert werden, um das hohe Verletzungsrisiko von Kindern zu reduzieren. Die Insassen können komfortabler reisen und Langzeitschäden, beispielsweise Rückenbeschwerden, verursacht durch eine unvorteilhafte Sitzposition, werden verringert. Das Unfallrisiko kann durch die erhöhte Reaktionsfähigkeit eines Fahrers des Fahrzeugs, d. h. eines als Fahrer fungierenden Insassen, reduziert werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:

1 schematisch eine Erstellung eines Skelettmodells eines mittels einer Kamera in einem Innenraum eines Fahrzeugs erfassten Insassen mittels eines neuronalen Netzes zur Posenschätzung,
2 schematisch den Innenraum des Fahrzeugs im Bereich einer vorderen Sitzreihe mit dem Insassen und der Kamera,
3 schematisch eine Erkennung eines Modells und einer Orientierung eines mittels der Kamera im Innenraum des Fahrzeugs erfassten Kindersitzes mittels eines neuronalen Netzes,
4 schematisch den Innenraum des Fahrzeugs mit dem nach vorn orientierten Kindersitz und der Kamera,
5 schematisch den Innenraum des Fahrzeugs mit dem nach hinten orientierten Kindersitz und der Kamera,
6 schematisch einen Ablaufplan eines Verfahrens zum Betrieb des Fahrzeugs, und
7 schematisch einen Fahrzeugsitz des Fahrzeugs und mögliche Freiheitsgrade dieses Fahrzeugsitzes.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
Anhand der 1 bis 7 wird im Folgenden ein Verfahren zum Betrieb eines Fahrzeugs 1 beschrieben, wobei in 6 ein Ablaufplan dieses Verfahrens dargestellt ist, welcher im Folgenden detailliert beschrieben wird.
Dem hier beschrieben Verfahren liegt insbesondere das Problem zugrunde, dass eine Sitzposition eines jeweiligen Insassen 2 im Fahrzeug 1 einen maßgeblichen Einfluss auf einen Verletzungsgrad des jeweiligen Insassen 2 im Falle eines Unfalls hat. Unfallstatistiken zeigen, dass viele Verletzungen bei Unfällen auf eine falsche Positionierung der Insassen 2 zurückzuführen sind. So führt zum Beispiel eine Sitzposition zu nah an einem Airbag des Fahrzeugs 1 zu einem erhöhten Risiko von zusätzlichen Verletzungen, und eine Sitzposition zu weit entfernt vom Airbag führt zu einer nicht idealen Funktionsweise eines Schutzmechanismus des Airbags und daraus folgend zu potentiellen Verletzungen im Nackenbereich. Des Weiteren wird davon ausgegangen, dass ein hoher Anteil an Kindern sich in einem für sie nicht idealen Kindersitz 3 befinden oder falsch angeschnallt sind. Eine korrekte Sitzposition kann außerdem Langzeitfolgen wie Rückenschmerzen reduzieren. Abschließend ist eine korrekte Sitzposition essentiell um auf Notsituationen adäquat reagieren zu können.
Mittels der im Folgenden näher beschriebenen Lösung lassen sich die oben genannten Probleme reduzieren, indem sie eine Innenraumüberwachung mit einer Menschenerkennung und Sitzeinstellung fusioniert. Diese Lösung ermöglicht es, detaillierte Informationen über die Insassen 2 zu erhalten und diese zur idealen Ergonomie umzusetzen.
Im Folgenden wird die vorteilhafte Verfahrensweise des hier beschriebenen Verfahrens zunächst kurz zusammengefasst. In diesem Verfahren zum Betrieb des Fahrzeugs 1 wird mittels mindestens einer in einem Innenraum 4 des Fahrzeugs 1 angeordneten Kamera 5 mindestens ein Insasse 2 des Fahrzeugs 1 erfasst und durch eine Auswertung erfasster Bilddaten wird eine optimale Sitzposition des Insassen 2 ermittelt. Der mindestens eine Insasse 2 wird mittels einer als Stereokamera ausgebildeten Kamera 5 erfasst. Die erfassten Bilddaten werden mittels eines Posensegmentierungsmodells 6 zur Erkennung einzelner Körperteile des mindestens einen Insassen 2 verarbeitet. Ergebnisse des Posensegmentierungsmodells 6 werden zur Bestimmung von Körpermaßen des mindestens einen Insassen 2 verwendet. Mittels eines Algorithmus werden Positionen einzelner Körperteile des mindestens einen Insassen 2 im dreidimensionalen Raum bestimmt und die Körpermaße des mindestens einen Insassen 2 werden berechnet.
Mittels der mindestens einen oder mindestens einer weiteren im Innenraum 4 des Fahrzeugs 1 angeordneten und als Stereokamera ausgebildeten Kamera 5 wird mindestens ein Kindersitz 3 im Innenraum 4 des Fahrzeugs 1 erfasst, wenn ein solcher vorhanden ist, und durch eine Auswertung erfasster Bilddaten mittels eines Objekterkennungsmodells 7 zur Erkennung unterschiedlicher Kindersitze 3 wird ein Modell des mindestens einen Kindersitzes 3 erkannt, wobei Kindersitzdaten D verschiedener Kindersitze 3 auf einem Steuergerät des Fahrzeugs 1 gespeichert sind. Mittels des Objekterkennungsmodells 7 wird zusätzlich die korrekte Position des Kindersitzes 3 ermittelt wird.
Bei einem Insassen 2 mit einer ermittelten Körpergröße von mindestens 150 cm wird durch eine Fusion der Körpermaße und Daten eines vom Insassen 2 belegten Fahrzeugsitzes 12 die optimale Sitzposition und eine optimale Gurtposition eines Sicherheitsgurtes für den Insassen 2 vorschlagen. Bei einem Insassen 2 mit einer ermittelten Körpergröße von weniger als 150 cm im Kindersitz 3 wird durch eine Fusion der Körpermaße und Kindersitzdaten D des Kindersitzes 3 auf eine festgestellte fehlerhafte Anwendung des Kindersitzes 3 hingewiesen. Zusätzlich werden Sensoren 17 im Fahrzeugsitz 12 zur Optimierung verwendet, beispielsweise zur Optimierung der Hinweise und/oder Vorschläge und/oder zur Optimierung der Auswertung der erfassten Bilddaten und/oder zur Optimierung der Ermittlung der optimalen Sitzposition und Gurtposition.
Als Sitzelemente können beispielsweise eine Rückenlehne 8, eine Kopfstütze 9, eine Sitzfläche 10 und eine Lendenwirbelstütze 11 des jeweiligen Fahrzeugsitzes 12 entsprechend der vorgeschlagenen optimalen Sitzposition eingestellt werden.
Beispielsweise wird zusätzlich mindestens ein Airbag entsprechend der Sitzposition des Insassen 2 eingestellt.
Bei einem Insassen 2 mit einer ermittelten Körpergröße von weniger als 150 cm und ermittelten Sicherheitsrisiken wird beispielsweise ein Losfahren des Fahrzeugs 1 verhindert.
In einer möglichen Ausführungsform des Verfahrens werden Bilddaten mittels mindestens zweier jeweils als eine Stereokamera ausgebildeter Kameras 5 erfasst, wobei die eine Kamera 5 in einem mittleren Bereich oberhalb einer vorderen Sitzreihe im Innenraum 4 des Fahrzeugs 1 angeordnet ist und die mindestens eine weitere Kamera 5 in einem mittleren Bereich oberhalb einer zweiten Sitzreihe im Innenraum 4 des Fahrzeugs 1 angeordnet ist.
Der Ansatz des hier beschriebenen Verfahrens nutzt somit im Innenraum 4 angebrachte Stereokameras. Das Posensegmentierungsmodell 6 zur Erkennung einzelner Körperteile von Insassen 2, auch als Pose Segmentation Modell bezeichnet, verarbeitet die Kameradaten, d. h. die erfassten Bilddaten. Die Outputs, d. h. Ergebnisse, dieses Pose Segmentation Modell, d. h. des Posensegmentierungsmodells 6, werden zur Bestimmung von Körpermaßen verwendet. Des Weiteren wird der Algorithmus zur Bestimmung der Positionen einzelner Körperteile im 3D-Raum, d. h. im dreidimensionalen Raum, und zur Berechnung der Körpermaße verwendet.
Zudem wird das Objekterkennungsmodell 7 zur Erkennung von unterschiedlichen Kindersitzen 3 verwendet. Die Kindersitzdaten D verschiedener Kindersitze 3 sind, wie beschrieben, auf einem Steuergerät im Fahrzeug 1 gespeichert. Das Objekterkennungsmodell 7 erkennt zusätzlich die korrekte Position des Kindersitzes 3.
Für Insassen 2 von mindestens 150 cm Körpergröße wird durch die Fusion der Körpermaße und Daten des Fahrzeugsitzes 12 eine optimale Sitzposition und Gurtposition vorschlagen.
Für Insassen 2 mit einer Körpergröße kleiner als 150 cm kann durch die Fusion der Körpermaße und Kindersitzdaten D des Kindersitzes 3 auf eine fehlerhafte Anwendung hingewiesen werden. Beispielsweise kann das Losfahren des Fahrzeugs 1 aufgrund von Sicherheitsrisiken verhindert werden. Sensoren 17 im Fahrzeugsitz 12 werden zur Optimierung des Systems herangezogen, zum Beispiel zur Ermittlung des Gewichts und somit der Masse im Falle eines Unfalls. Der Airbag kann entsprechend der Sitzposition des jeweiligen Insassen 2 eingestellt werden. Die Sitzelemente Rückenlehne 8, Kopfstütze 9, Sitzfläche 10 und Lendenwirbelstütze 11 können optimal eingestellt werden.
Diese Lösung ermöglicht durch die Nutzung der Bildverarbeitung im Innenraum 4 des Fahrzeugs 1 eine Verbesserung der aktiven und passiven Sicherheit. Durch die beschriebene Lösung kann das Risiko von Verletzungen sowie ein Verletzungsgrad im Falle eines Unfalls deutlich verbessert werden. Die falsche Anwendung von Kindersitzen 3 kann mitigiert werden, um das hohe Verletzungsrisiko von Kindern zu reduzieren. Die Insassen 2 können komfortabler reisen und Langzeitschäden, beispielsweise Rückenbeschwerden, welche durch eine unvorteilhafte Sitzposition verursacht werden, werden verringert. Das Unfallrisiko kann durch die erhöhte Reaktionsfähigkeit eines als Fahrer des Fahrzeugs 1 fungierenden Insassen 2 reduziert werden.
Im Folgenden wird die Lösung anhand der 1 bis 7 detailliert beschrieben.
Für das hier beschriebene Verfahren werden vorteilhafterweise neuronale Netze für die Bildverarbeitung, so genannte Convolutional Neural Networks, verwendet. Objekterkennung und Segmentierung mittels solcher neuronaler Netze wird bisher bereits in vielen Bereichen des autonomen Fahrens eingesetzt, insbesondere zur Umgebungswahrnehmung um das Fahrzeug 1. Mit der hier beschriebenen Lösung wird dieses Gebiet der Bilderkennung in den Innenraum 4 des Fahrzeugs 1 erweitert.
Das Posensegmentierungsmodell 6, beispielsweise Mask-RCNN for Pose Estimation, ist ein solches neuronales Netz. Es ermöglicht, menschliche Abmaße zu abstrahieren und, wie in den 1, 2, 4, 5 und 7 beispielhaft gezeigt, in einem Skelettmodell 13 darzustellen. Diese „Skelettisierung“ von Personen führt die Erkennung wichtiger Punkte am Körper durch.
Im Folgenden wird eine Erkennung einer Pose des jeweiligen Insassen 2 und Berechnung von Körpermaßen beschrieben. Durch mindestens zwei Kameras 5, wie oben beschrieben, insbesondere Stereokameras, im Innenraum 4 werden die Körpermaße sowie alle wichtigen Gelenke mit Freiheitsgraden der Insassen 2 ausgewertet. Um dies in allen möglichen Situationen sicherzustellen, sind die Kameras 5 in der Mitte des Innenraums 4 über der vorderen Sitzreihe, d. h. der ersten Sitzreihe, wie in 2 gezeigt, bzw. über der hinteren Sitzreihe und/oder der zweiten Sitzreihe, wie in den 4 und 5 gezeigt, positioniert. Das von der jeweiligen Kamera 5 aufgenommene Bild wird vorteilhafterweise entsprechend der bekannten Position der Fahrzeugsitze 12 im Innenraum 4 zugeschnitten, um die einzelnen Insassen 2 zu erfassen. Es werden somit so genannte Region of Interest, d. h. Regionen von Interesse, im aufgenommenen Bild ausgewählt und gezielt ausgewertet.
Zusätzlich werden Daten von Sensoren 17 im jeweiligen Fahrzeugsitz 12 zur Stabilisierung eines das Verfahren durchführenden Systems genutzt. Dadurch können False Positives, d. h. falsch positive Erkennungen von Insassen 2, die real nicht auf dem jeweiligen Fahrzeugsitz 12 anwesend sind, verhindert werden. Die zugeschnittenen Regions of Interest, d. h. Regionen von Interesse, werden als Input, d. h. als Eingangsdaten, für das Posensegmentierungsmodell 6 genutzt, hier somit als Eingangsdaten für das neuronale Netz für die Pose Estimation, d. h. für die Posenschätzung, wie in 1 gezeigt. Ein solches neuronales Netz ist beispielsweise das oben bereits erwähnte Mask RCNN for Pose Estimation. Dieses neuronale Netz erkennt sogenannte „Keypoints“, d. h. charakteristische Punkte, an Personen und somit im hier beschriebenen Verfahren am jeweiligen Insassen 2 des Fahrzeugs 1. Mittels einer Nachverarbeitung werden die Orientierung und Maße einzelner Körperteile des jeweiligen Insassen 2 ermittelt.
Da das neuronale Netz mit einem zweidimensionalen Bild arbeitet, ist die mindestens eine Kamera 5 oder sind die mehreren Kameras 5 im Innenraum 4 des Fahrzeugs 1, wie bereits erwähnt, beispielsweise Stereokameras. Alternativ kann die jeweilige Kamera 5 beispielsweise auch als eine Time-of-Flight-Kamera ausgebildet sein. Beide Varianten der Kamera 5 ermöglichen es, ein Tiefenbild zu erzeugen, um die dreidimensionale Position einzelner Pixel zu extrahieren. Durch die Fusion des Tiefenbilds mit den Positionen der einzelnen Keypoints, d. h. der charakteristischen Punkte, wird die Position dieser charakteristischen Punkte im dreidimensionalen Raum ermittelt. Diese dreidimensionalen Positionen werden dann in einer Nachverarbeitung genutzt, um die Maße der einzelnen Körperteile zu berechnen. Hierfür kann die Formel für den Abstand von Punkten im dreidimensionalen Raum genutzt werden:
Wenn Schulterpositionen des Insassen 2 beispielsweise durch die Punkte P(p₁,p₂,p₃) und Q(q₁,q₂,q₃) festgelegt sind, wird eine Schulterbreite des Insassen 2 wie folgt berechnet: $| \vec{P Q} | = | \overset{\leftarrow}{q} - \vec{p} | = \sqrt{{(q_{1} - p_{1})}^{2} + {(q_{2} - p_{2})}^{2} + {(q_{3} - p_{3})}^{2}}$
Die Größe einer Person und somit des jeweiligen Insassen 2 wird durch die Addition von Beinlänge, der Länge zwischen Becken und Schulterhöhe und dem Abstand des Kopfes zur Schulterhöhe berechnet. Die Beschreibung einzelner Körperteile als Vektoren ermöglicht es zudem, Winkel zwischen Unter- und Oberarm zu berechnen und bei dem als Fahrer fungierenden Insassen 2 die Position eines Lenkrads 14 des Fahrzeugs 1 optimal anzupassen.
Ein beispielhafter Aufbau eines Gesamtsystems zur Durchführung des Verfahrens bei Insassen 2 in der vorderen, d. h. ersten, Sitzreihe des Fahrzeugs 1 ist in 2 dargestellt.
Um die Funktion des Algorithmus zur Bestimmung der Position der Körperteile, zur Posenschätzung, auch als Pose Estimation Algorithmus bezeichnet, sicherzustellen, wird auf einen so genannten gelabelten Datensatzes zurückgegriffen. Im Vordergrund für die erfolgreiche Umsetzung steht die Korrelation zwischen verschiedenen Körpermaßen, Ergonomie und Unfallschutz. Mit dem Datensatz der Korrelation trainierte Modelle steuern über eine Aktuatorik eine Sitzeinstellung des jeweiligen Fahrzeugsitzes 12. Dies erfolgt vorteilhafterweise über eine Anfrage an den jeweiligen Insassen 2, beispielsweise an den Fahrer oder einen Passagier des Fahrzeugs 1, um die Autonomie des jeweiligen Insassen 2 sicherzustellen. Vorteilhafterweise werden eine Ablehnung der korrekten Einstellung und etwaige Fehler in einer Datenbank in einem zentralen Backend, d. h. außerhalb des Fahrzeugs 1, akkumuliert.
Zusätzlich wird, wie oben bereits erwähnt, in dem hier beschriebenen Verfahren eine Erkennung der Sitzposition bei Kindersitzen 3 durchgeführt. Da bei Kindersitzen 3 nicht nur die Position des Kindersitzes 3, sondern auch die Art des verwendeten Kindersitzes 3 eine Rolle spielt, wird zusätzlich zur Pose Estimation, d. h. zur Posenschätzung bei Insassen 2 des Fahrzeugs 1, ein neuronales Netz für die Erkennung des Kindersitzes 3 verwendet, d. h. das oben bereits erwähnte Objekterkennungsmodell 7. Dieses neuronale Netz, auch als Convolutional Neural Network (CNN) bezeichnet, ermöglicht es, die Präsenz eines Kindersitzes 3, die Orientierung des Kindersitzes 3 und das Modell des Kindersitzes 3 zu erkennen.
Die Erkennung des Modells des Kindersitzes 3 ermöglicht es, auf dem Steuergerät gespeicherte Kindersitzdaten D einzelner Modelle dem erkannten Kindersitz 3 zuzuordnen und mit den erkannten Maßen des Kindes im Kindersitz 3 abzugleichen, wie in 3 gezeigt. Relevante Kindersitzdaten D sind dabei Breite, Länge und Höhe des Kindersitzes 3, ein Mindestgewicht und eine maximal zulässige Belastung. Es erfolgt somit, wie in 3 gezeigt, mittels des Objekterkennungsmodells 7 die eine Kindersitzerkennung 15, wobei das Modell des jeweiligen Kindersitzes 3 erkannt wird und die entsprechenden Kindersitzdaten D aus dem Steuergerät ausgelesen werden.
Für die Erkennung der verschiedenen Kindersitze 3, stellt auch die Aufbereitung eines entsprechenden Datensatzes eine tragende Rolle. Label werden dabei für das Modell des Kindersitzes 3 und die Orientierung des Kindersitzes 3, d. h. ob er, wie in 4 gezeigt, nach vorn oder, wie in 5 gezeigt, nach hinten orientiert ist, vergeben. Die Kamera 5 ist hierfür mittig über der Rückbank, d. h. über der hinteren, beispielsweise zweiten, Sitzreihe, platziert, um die Erkennung bei verschiedenen Orientierungen des Kindersitzes 3 zu ermöglichen.
Das System zur Durchführung des Verfahrens weist auf die Orientierung des Kindersitzes 3 sowie Fehler bei Positionierung und Gebrauch hin. Zusätzlich kann beispielsweise eine Wegfahrsperre bei falscher Verwendung des Kindersitzes 3 im Fahrzeug 1 implementiert sein.
6 zeigt einen Ablaufplan des Verfahrens. Das System zur Durchführung des Verfahrens und somit das Verfahren kann beispielsweise beim Losfahren des Fahrzeugs 1 oder bei einer Veränderung der Sitzposition des als Fahrer fungierenden Insassen 2 gestartet werden. Die Sensoren 17, insbesondere Gewichtssensoren, der Fahrzeugsitze 12 werden verwendet, um die Regions of Interest, d. h. die Regionen von Interesse, aus den Frames der aufgenommenen Bilddaten der jeweiligen Kamera 5, vorteilhafterweise der beiden Kameras 5, zu extrahieren. Nach der beschriebenen Berechnung der Körpermaße wird, insbesondere basierend auf der Kindersitzpflicht nach StVGO, nach Körpergrößen von unter 150 cm und ab bzw. über 150 cm unterschieden.
Bei Insassen 2 über 150 cm Körpergröße wird eine optimale Sitzposition durch die Fusion der Körpermaße mit den Daten des Fahrzeugsitzes 12 berechnet und es werden, vorteilhafterweise ergonomisch und sicherheitstechnisch einwandfreie, Einstellungen für Rückenlehne 8, Kopfstütze 9, Sitzfläche 10 und Lendenwirbelstütze 11 des Fahrzeugsitzes 12 vorgeschlagen. Sofern der Abgleich zwischen einer ermittelten Sollposition und einer aktuell vorliegenden Ist-Position der Sitzelemente eine Diskrepanz zur idealen Sitzposition erkennt, wird, beispielsweise durch ein Infotainment-System des Fahrzeugs 1, eine Warnung ausgegeben, beispielsweise akustisch und/oder optisch, und eine Korrektur der Sitzposition, Position des Sicherheitsgurtes und gegebenenfalls einer Position und eines Auslösedruck des Airbags vorgenommen. Bezüglich des Airbags erfolgt dies insbesondere, wenn ein entsprechend einstellbarer Airbag für den Fahrzeugsitz 12 des jeweiligen Insassen 2 vorhanden ist. Wenn der Insassen 2, beispielsweise der als Fahrer fungierende Insasse 2, die Korrektur ablehnt, wird durch einen Sicherheitshinweis auf die Gefahren aufmerksam gemacht und eine erneute Bestätigung gefordert. Im Falle des als Fahrer fungierenden Insassen 2 kann außerdem die Position des Lenkrads 14 angepasst werden.
Mögliche Freiheitsgrade 16 des Fahrzeugsitzes 12, welche eine Verstellung des Fahrzeugsitzes 12 ermöglichen, sind in 7 beispielhaft dargestellt.
Wenn ein Insasse 2 mit einer Körpergröße von unter 150 cm erkannt wird, wird zusätzlich die Objekterkennung 7 für den Kindersitz 3 durchgeführt. Sollte kein Kindersitz 3 erkannt werden, kann eine Warnung, beispielsweise optisch und/oder akustisch, durch das System ausgegeben werden und aus Sicherheitsgründen ein Starten eines Antriebsmotors des Fahrzeugs 1 verhindert werden.
Wenn ein Kindersitz 3 erkannt wird, werden die Kindersitzdaten D des Modells des Kindersitzes 3 aus dem Steuergerät geladen. Das ermittelte Modell des Kindersitzes 3 wird des Weiteren vorteilhafterweise zur Anpassung der Sitzposition, Gurtposition und verbesserten Ausrichtung des Airbags genutzt. Auch hier kann ein Nutzer, bei einem Kind üblicherweise ein anderer Insasse 2 des Fahrzeugs 1, die empfohlene Einstellung annehmen oder wird durch das Ablehnen über die potentiellen Gesundheitsrisiken informiert.
Durch die Erkennung des Kindersitzes 3 ist ein Leergewicht des verwendeten Kindersitzes 3 bekannt. Über die Verwendung der Sensoren 17, insbesondere Gewichtssensoren, im Fahrzeugsitz 12, auf dem der Kindersitz 3 angeordnet ist, wird vorteilhafterweise das Gewicht des Kindes aus der Differenz zwischen dem von den Gewichtssensoren gemessenen Gesamtgewicht und dem Leergewicht des Kindersitzes 3 berechnet. Sollte das Kind im Kindersitz 3 weniger als 13 kg wiegen, wird bei der Erkennung eines vorwärts ausgerichteten Kindersitzes 3 darauf hingewiesen, diesen aufgrund erhöhter Sicherheit umzudrehen.
Sollte sich ein umgedrehter Kindersitz 3 auf dem Beifahrersitz befinden, werden die Beifahrerairbags aus Sicherheitsgründen automatisch deaktiviert. Bei der Verwendung eines Kindersitzes 3, der für die Statur und das Gewicht des Kindes ungeeignet ist, wird außerdem auf die Risiken falscher Kindersitze 3 hingewiesen. Beispielsweise besteht dann die Möglichkeit, an den Fahrer des Fahrzeugs 1 Empfehlungen für geeignete Kindersitzmodelle weiterzuleiten, beispielsweise per App oder E-Mail oder mittels anderer Kommunikationsmittel.
Um den oben erläuterten Verfahrensablauf des hier beschriebenen Verfahrens auf einfache und verständliche Weise nachvollziehen zu können, wird er im Folgenden nochmals anhand des in 6 dargestellten Ablaufplans beschrieben. Darin dargestellte Prüfschritte P1 bis P8 werden jeweils entsprechend eines jeweiligen Ergebnisses der Prüfung mit Ja, bezeichnet mit dem Bezugszeichen J, oder mit Nein, bezeichnet mit dem Bezugszeichen N, beantwortet.
Nach einem Start S des Verfahrens wird anhand der Sensoren 17 in den Fahrzeugsitzen 12 im ersten Prüfschritt P1 geprüft, ob Insassen 2 im Fahrzeug 1 vorhanden sind. Ist dies nicht der Fall, ist ein Wartezeitintervall Z vorgesehen, bevor erneut anhand der Sensoren 17 in den Fahrzeugsitzen 12 im ersten Prüfschritt P1 geprüft wird, ob Insassen 2 im Fahrzeug 1 vorhanden sind.
Ist mindestens ein Insasse 2 im Fahrzeug 1 vorhanden, wird eine Innenraumüberwachung mittels der mindestens einen Kamera 5 oder bevorzugt mittels der mehreren, insbesondere mindestens zwei, Kameras 5 gestartet.
In einem ersten Verfahrensschritt V1 wird die Kamera 5 oder die jeweilige Kamera 5 gestartet.
In einem zweiten Verfahrensschritt V2 werden die Bilddaten, d. h. die Kameraframes, mittels der der jeweiligen Kamera 5 erfasst.
In einem dritten Verfahrensschritt V3 werden die Regions of Interesst, d. h. die Regionen von Interesse, in den Bilddaten ermittelt. Hierfür werden beispielsweise Sensorinformationen I der Sensoren 17 in den Fahrzeugsitzen 12 und/oder Sensorinformationen I einer Airbagsensorik, Gurtsensorik und/oder Lenkradsensorik verwendet.
In einem vierten Verfahrensschritt V4 wird das Posensegmentierungsmodell 6 auf die oben beschriebene Weise verwendet, insbesondere zur Erstellung des Skelettmodells 13 des jeweiligen Insassen 2.
In einem fünften Verfahrensschritt V5 werden die Körpermaße des jeweiligen Insassen 2 berechnet.
In einem zweiten Prüfschritt P2 wird geprüft, ob der jeweilige Insasse 2 eine Körpergröße von mindestens 150 cm aufweist.
Weist der jeweilige Insasse 2 eine Körpergröße von mindestens 150 cm auf, wird in einem sechsten Verfahrensschritt V6 die optimale Sitzposition ermittelt.
In einem siebten Verfahrensschritt V7 wird ein Soll-Ist-Abgleich durchgeführt, d. h. es wird der Abgleich zwischen der ermittelten Sollposition und der aktuell vorliegenden Ist-Position der Sitzelemente des Fahrzeugsitzes 12 durchgeführt. Hierfür werden ebenfalls die Sensorinformationen I der Sensoren 17 in den Fahrzeugsitzen 12 und/oder der Airbagsensorik, Gurtsensorik und/oder Lenkradsensorik verwendet.
Liegt eine Diskrepanz zwischen der ermittelten Sollposition und der aktuell vorliegenden Ist-Position, wird in einem achten Verfahrensschritt V8 eine Warnung ausgegeben und eine Korrektur vorgeschlagen.
In einem dritten Prüfschritt P3 wird geprüft, ob der Vorschlag angenommen wurde. Ist dies der Fall, werden in einem neunten Verfahrensschritt V9 Aktuatoren für den Sicherheitsgurt, den Airbag, das Lenkrad 14 und/oder den Fahrzeugsitz 12 entsprechend eingestellt, um die jeweils ermittelte optimale Position zu erhalten. Ist dies nicht der Fall, wird in einem zehnten Verfahrensschritt V10 ein Warnhinweis ausgegeben.
Wird im zweiten Prüfschritt P2 festgestellt, dass der jeweilige Insasse 2 nicht die Körpergröße von mindestens 150 cm aufweist, wird in einem elften Verfahrensschritt V11 festgestellt, dass ein Kindersitz 3 erforderlich ist. In einem zwölften Verfahrensschritt V12 wird daher die oben beschriebene Kindersitzerkennung 15 durchgeführt. Dabei wird zunächst in einem vierten Prüfschritt P4 geprüft, ob ein Kindersitz 3 vorhanden ist.
Ist kein Kindersitz 3 vorhanden, wird in einem dreizehnten Verfahrensschritt V13 eine entsprechende Warnung ausgegeben und beispielsweise das Losfahren des Fahrzeugs 1 verhindert.
Ist ein Kindersitz 3 vorhanden, wird in einem vierzehnten Verfahrensschritt V14 auf die oben beschriebene Weise mittels des Objekterkennungsmodells 7 das Modell des Kindersitzes 3 ermittelt und durch die Datenabfrage mit dem Steuergerät der Abgleich des Modells und der Position des Kindersitzes 3 mit den Körpermaßen des Kindes, d. h. des kindlichen Insassen 2, durchgeführt. Das Verfahren wird dann ab dem siebten Verfahrensschritt V7 fortgesetzt, wie oben beschrieben.
Zusätzlich und parallel dazu wird in einem fünften Prüfschritt P5 geprüft, ob das ermittelte Modell des Kindersitzes 3 passend zum Kind, d. h. zu dem kindlichen Insassen 2, ist, und vorteilhafterweise auch zum Fahrzeug 1 ist. Ist dies der Fall, erfolgt in einem fünfzehnten Verfahrensschritt V15 kein Signal. Ist dies nicht der Fall, wird in einem sechzehnten Verfahrensschritt V16 eine entsprechende Warnung ausgegeben und eine Kindersitzempfehlung gegeben.
Des Weiteren zusätzlich und parallel dazu wird in einem siebzehnten Verfahrensschritt V17 die oben beschriebene Gewichtsberechnung durchgeführt, um das Gewicht des Kindes im Kindersitz 3 zu ermitteln. Hierzu werden, wie oben bereits beschrieben, insbesondere die Sensoren 17, insbesondere Gewichtsensoren, im Fahrzeugsitz 12 verwendet, d. h. deren Sensorinformationen I.
In einem sechsten Prüfschritt P6 wird geprüft, ob das Kind im Kindersitz 3 weniger als 13 kg wiegt. Ist dies nicht der Fall, wird das Verfahren mit dem fünfzehnten Verfahrensschritt V15 fortgesetzt, d. h. es erfolgt kein Signal. Ist dies der Fall, d. h. wiegt das Kind im Kindersitz 3 weniger als 13 kg, wird in einem siebten Prüfschritt P7 geprüft, ob der Kindersitz 3, rückwärts, d. h. nach hinten, orientiert ist. Ist dies nicht der Fall, wird das Verfahren mit dem dreizehnten Verfahrensschritt V13 fortgesetzt, d. h. es wird eine entsprechende Warnung ausgegeben und beispielsweise das Losfahren des Fahrzeugs 1 verhindert. Ist dies der Fall, d. h. ist der Kindersitz 3 rückwärts, d. h. nach hinten, orientiert, dann wird in einem achten Prüfschritt P8 geprüft, ob der Kindersitz 3 auf dem Beifahrersitz angeordnet ist. Ist dies nicht der Fall, wird das Verfahren mit dem fünfzehnten Verfahrensschritt V15 fortgesetzt, d. h. es erfolgt kein Signal. Ist dies der Fall, d. h. ist der Kindersitz 3 auf dem Beifahrersitz angeordnet, dann wird in einem achtzehnten Verfahrensschritt V18 der Beifahrerairbag deaktiviert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102004013598 A1 [0002]
DE 19741393 A1 [0003]
EP 1985505 A2 [0004]

Claims

Verfahren zum Betrieb eines Fahrzeugs (1), wobei mittels mindestens einer in einem Innenraum (4) des Fahrzeugs (1) angeordneten Kamera (5) mindestens ein Insasse (2) des Fahrzeugs (1) erfasst wird und durch eine Auswertung erfasster Bilddaten eine optimale Sitzposition des Insassen (2) ermittelt wird, dadurch gekennzeichnet, dass - der mindestens eine Insasse (2) mittels einer als Stereokamera ausgebildeten Kamera (5) erfasst wird, - die erfassten Bilddaten mittels eines Posensegmentierungsmodells (6) zur Erkennung einzelner Körperteile des mindestens einen Insassen (2) verarbeitet werden, - Ergebnisse des Posensegmentierungsmodells (6) zur Bestimmung von Körpermaßen des mindestens einen Insassen (2) verwendet werden, - mittels eines Algorithmus Positionen einzelner Körperteile des mindestens einen Insassen (2) im dreidimensionalen Raum bestimmt werden und die Körpermaße des mindestens einen Insassen (2) berechnet werden, - mittels der mindestens einen oder mindestens einer weiteren im Innenraum (4) des Fahrzeugs (1) angeordneten und als Stereokamera ausgebildeten Kamera (5) mindestens ein Kindersitz (3) im Innenraum (4) des Fahrzeugs (1) erfasst wird und durch eine Auswertung erfasster Bilddaten mittels eines Objekterkennungsmodells (7) zur Erkennung unterschiedlicher Kindersitze (3) ein Modell des mindestens einen Kindersitzes (3) erkannt wird, wobei Kindersitzdaten (D) verschiedener Kindersitze (3) auf einem Steuergerät des Fahrzeugs (1) gespeichert sind, - mittels des Objekterkennungsmodells (7) zusätzlich die korrekte Position des Kindersitzes (3) ermittelt wird, - bei einem Insassen (2) mit einer ermittelten Körpergröße von mindestens 150 cm durch eine Fusion der Körpermaße und Daten eines vom Insassen (2) belegten Fahrzeugsitzes (12) die optimale Sitzposition und eine optimale Gurtposition eines Sicherheitsgurtes für den Insassen (2) vorschlagen wird, - bei einem Insassen (2) mit einer ermittelten Körpergröße von weniger als 150 cm im Kindersitz (3) durch eine Fusion der Körpermaße und Kindersitzdaten (D) des Kindersitzes (3) auf eine festgestellte fehlerhafte Anwendung des Kindersitzes (3) hingewiesen wird, - zusätzlich Sensoren (17) im Fahrzeugsitz (12) zur Optimierung verwendet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, das als Sitzelemente eine Rückenlehne (8), eine Kopfstütze (9), eine Sitzfläche (10) und eine Lendenwirbelstütze (11) entsprechend der vorgeschlagenen optimalen Sitzposition eingestellt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens ein Airbag entsprechend der Sitzposition des Insassen (2) eingestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einem Insassen (2) mit einer ermittelten Körpergröße von weniger als 150 cm und ermittelten Sicherheitsrisiken ein Losfahren des Fahrzeugs (1) verhindert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bilddaten mittels mindestens zweier jeweils als eine Stereokamera ausgebildeter Kameras (5) erfasst werden, wobei die eine Kamera (5) in einem mittleren Bereich oberhalb einer vorderen Sitzreihe im Innenraum (4) des Fahrzeugs (1) angeordnet ist und die mindestens eine weitere Kamera (5) in einem mittleren Bereich oberhalb einer zweiten Sitzreihe im Innenraum (4) des Fahrzeugs (1) angeordnet ist.