[go: up one dir, main page]

DE102024002112B3 - Method and device for determining an inclination angle of a vehicle body - Google Patents

Method and device for determining an inclination angle of a vehicle body

Info

Publication number
DE102024002112B3
DE102024002112B3 DE102024002112.4A DE102024002112A DE102024002112B3 DE 102024002112 B3 DE102024002112 B3 DE 102024002112B3 DE 102024002112 A DE102024002112 A DE 102024002112A DE 102024002112 B3 DE102024002112 B3 DE 102024002112B3
Authority
DE
Germany
Prior art keywords
hrc
horizon
vehicle
image
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102024002112.4A
Other languages
German (de)
Inventor
Christian Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Priority to DE102024002112.4A priority Critical patent/DE102024002112B3/en
Application granted granted Critical
Publication of DE102024002112B3 publication Critical patent/DE102024002112B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/11Pitch movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/10Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to vehicle inclination, e.g. due to load distribution
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung eines durch Bremsen oder Beschleunigung bewirkte Neigungswinkel φ eines Fahrzeugaufbaus eines Fahrzeugs relativ zu einer von einer Fahrbahn gebildeten Oberfläche.
Das Verfahren umfasst erfindungsgemäß folgende Schritte:
- Bestimmung eines Bildes von Reflektionen im Cornea-Bereich eines Auges eines Fahrers mit einer Fahrerbeobachtungskamera (S1);
- aus dem Bild des Cornea-Bereichs Extraktion von reflektierten Fahrbahnbegrenzungen der vorausliegenden Fahrbahn und reflektierten mit einem Head-up Display auf eine Windschutzscheibe des Fahrzeugs projizierten Horizonts (S3);
- Ermittlung eines Überdeckungsanteils HRCCRI des im Bild des Cornea-Bereichs extrahierten Horizonts in Relation zu einer von den extrahierten Fahrbahnbegrenzungen vorgegebenen Fahrbahnbreite (S5);
- rechnerische Bestimmung von Positionen von Endpunkten des in dem Bild des Cornea-Bereichs reflektierten Horizonts und Positionen von Endpunkten des auf die Windschutzscheibe projizierten Horizonts, Bestimmung von die Endpunkte verbindenden Vektoren und einer rechnerischen Bestimmung von Schnittpunkten mit einer von den Radaufstandsflächen gebildeten initialen Ebene des Fahrzeugs bei einem ungeneigten Fahrzeugaufbau (S7);
- Bestimmung eines Abstands der Schnittpunkte und Ermittlung eines Überdeckungsanteils HRCPCRI des Abstandes in Relation zu einer mit einer Umgebungsbeobachtungskamera erfassten auf die initiale Ebene übertragenen Fahrbahnbreite (S9);
- rechnerische Anpassung des Überdeckungsanteils HRCPCRI durch Drehung der initialen Ebene zu den Vektoren um einen angepassten Neigungswinkel, so dass die Differenz des Überdeckungsanteils von HRCPCRI und HRCCRI kleiner einem vorgegebenen Schwellenwert ist (S11) und
- Übermittlung des angepassten Neigungswinkels φ zwischen initialer und gedrehter Ebene an Fahrzeugassistenzsysteme zur Weiterverarbeitung (S13).
The invention relates to a method for determining an angle of inclination φ of a vehicle body of a vehicle caused by braking or acceleration relative to a surface formed by a roadway.
According to the invention, the method comprises the following steps:
- determining an image of reflections in the cornea of a driver's eye using a driver observation camera (S1);
- Extraction of reflected lane boundaries of the road ahead and reflected horizon projected onto a windshield of the vehicle using a head-up display from the image of the cornea area (S3);
- Determination of an overlap ratio HRC CRI of the horizon extracted in the image of the cornea area in relation to a road width specified by the extracted road boundaries (S5);
- computational determination of positions of end points of the horizon reflected in the image of the cornea area and positions of end points of the horizon projected onto the windshield, determination of vectors connecting the end points and a computational determination of intersection points with an initial plane of the vehicle formed by the wheel contact surfaces in the case of an uninclined vehicle body (S7);
- Determination of a distance between the intersection points and determination of an overlap fraction HRC PCRI of the distance in relation to a roadway width recorded with an environmental observation camera and transferred to the initial level (S9);
- computational adjustment of the coverage ratio HRC PCRI by rotating the initial plane to the vectors by an adjusted inclination angle, so that the difference between the coverage ratios of HRC PCRI and HRC CRI is smaller than a predetermined threshold value (S11) and
- Transmission of the adjusted inclination angle φ between the initial and rotated plane to vehicle assistance systems for further processing (S13).

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung eines Neigungswinkels eines Fahrzeugsaufbaus.The present invention relates to a method and a device for determining an inclination angle of a vehicle body.

Aus der EP 3 159 195 A1 ist ein Verfahren bekannt, bei dem mithilfe mit einem mit einer Kamera aufgenommenen Bild ein Neigungswinkel eines Fahrzeugaufbaus ermittelt wird.From the EP 3 159 195 A1 A method is known in which an angle of inclination of a vehicle body is determined using an image taken with a camera.

Aus der JP 2023 - 160 431 A ist ein Verfahren bekannt, bei dem mit Hilfe von Umfeldaufnahmen einer Kamera ermittelt wird, ob eine Gewichtsverteilung eines Fahrzeugs ein Gleichgewicht erreicht oder nicht.From the JP 2023 - 160 431 A A method is known in which, with the help of surrounding images from a camera, it is determined whether the weight distribution of a vehicle reaches equilibrium or not.

Die DE 10 2011 114 977 A1 offenbart eine Einrichtung zur Regelung der Fahrdynamik eines Fahrzeugs einer gegenüber einem Rahmen des Fahrzeugs federnd gelagerten Fahrerkabine. Eine Steuereinheit ermittelt aus einer Veränderung von Positionen jeweils erfasster Objekte die Auslenkung der Fahrerkabine mit einer Kamera oder anderen bildgebenden Sensoren.The DE 10 2011 114 977 A1 discloses a device for controlling the driving dynamics of a vehicle with a driver's cab that is spring-mounted relative to a vehicle frame. A control unit uses a camera or other imaging sensors to determine the deflection of the driver's cab from changes in the positions of detected objects.

Aus der DE 603 09 278 T2 ist eine an einem beweglichen Reflektor befestigte Kamera bekannt, welche die vor dem Fahrzeug verlaufende Strecke aufnimmt. Die Kamera ist mit einer Bildverarbeitungseinheit verbunden, welche die sukzessive Bildverarbeitung der von der Kamera abgegebenen Bilder zur Ermittlung eines Horizonts einer Szene der Fahrzeugstrecke sicherstellt.From the DE 603 09 278 T2 A camera mounted on a movable reflector is known, which records the road ahead of the vehicle. The camera is connected to an image processing unit, which ensures the successive processing of the images emitted by the camera to determine the horizon of a scene along the vehicle's road.

DE 10 2017 211 005 A1 ist bekannt Hornhautreflexionen zu überwachen und eine Winkelabweichung der Blickrichtung von der Straße zu bestimmen. DE 10 2017 211 005 A1 is known to monitor corneal reflections and determine an angular deviation of the line of sight from the road.

Es ist Aufgabe der vorliegenden Erfindung, ein alternatives Verfahren und eine Vorrichtung zur Bestimmung des Neigungswinkels zur Verfügung zu stellen.It is an object of the present invention to provide an alternative method and device for determining the angle of inclination.

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie eine Vorrichtung gemäß Anspruch 8 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der vorliegenden Erfindung.The object is achieved by a method having the features of claim 1 and a device according to claim 8. The dependent claims define preferred and advantageous embodiments of the present invention.

Bei dem erfindungsgemäßen Verfahren wird der durch Bremsen oder Beschleunigung bewirkte Neigungswinkel eines Fahrzeugaufbaus relativ zu einer von einer Fahrbahn gebildeten Oberfläche, durch die folgenden Schritte ermittelt:

  • - Bestimmung eines Bildes von Reflektionen im Cornea-Bereich eines Auges eines Fahrers mit einer Fahrerbeobachtungskamera;
  • - aus dem Bild des Cornea-Bereichs Extraktion von reflektierten Fahrbahnbegrenzungen der vorausliegenden Fahrbahn und reflektierten mit einem Head-up Display auf eine Windschutzscheibe des Fahrzeugs projizierten Horizonts;
  • - Ermittlung eines Überdeckungsanteils HRCCRI des im Bild des Cornea-Bereichs extrahierten Horizonts in Relation zu einer von den extrahierten Fahrbahnbegrenzungen vorgegebenen Fahrbahnbreite;
  • - rechnerische Bestimmung von Positionen von Endpunkten des in dem Bild des Cornea-Bereichs reflektierten Horizonts und Positionen von Endpunkten des auf die Windschutzscheibe projizierten Horizonts, Bestimmung von die Endpunkte verbindenden Vektoren und einer rechnerischen Bestimmung von Schnittpunkten mit einer von den Radaufstandsflächen gebildeten initialen Ebene des Fahrzeugs bei einem, d.h. relativ zu einem ungeneigten Fahrzeugaufbau,;
  • - Bestimmung eines Abstands der Schnittpunkte und Ermittlung eines Überdeckungsanteils HRCPCRI des Abstandes in Relation zu einer mit einer Umgebungsbeobachtungskamera erfassten auf die initiale Ebene übertragenen Fahrbahnbreite;
  • - rechnerische Anpassung des Überdeckungsanteils HRCPCRI durch Drehung der initialen Ebene zu den Vektoren um einen angepassten Neigungswinkel, so dass die Differenz des Überdeckungsanteils von HRCPCRI und HRCCRI kleiner einem vorgegebenen Schwellenwert ist und
  • - Übermittlung des angepassten Neigungswinkels φ zwischen initialer und gedrehter Ebene an Fahrzeugassistenzsysteme zur Weiterverarbeitung
In the method according to the invention, the angle of inclination of a vehicle body caused by braking or acceleration relative to a surface formed by a roadway is determined by the following steps:
  • - Determining an image of reflections in the corneal area of a driver's eye using a driver observation camera;
  • - Extraction of reflected lane boundaries of the road ahead and reflected horizon projected onto a windshield of the vehicle using a head-up display from the image of the cornea area;
  • - Determination of an overlap ratio HRC CRI of the horizon extracted in the image of the cornea area in relation to a road width specified by the extracted road boundaries;
  • - computational determination of positions of end points of the horizon reflected in the image of the cornea area and positions of end points of the horizon projected onto the windshield, determination of vectors connecting the end points and a computational determination of points of intersection with an initial plane of the vehicle formed by the wheel contact surfaces in the case of an, ie relative to an uninclined vehicle body;
  • - Determination of a distance between the intersection points and determination of an overlap ratio HRC PCRI of the distance in relation to a roadway width recorded with an environmental observation camera and transferred to the initial level;
  • - computational adjustment of the coverage ratio HRC PCRI by rotating the initial plane to the vectors by an adjusted inclination angle, so that the difference between the coverage ratios of HRC PCRI and HRC CRI is smaller than a given threshold value and
  • - Transmission of the adjusted inclination angle φ between the initial and rotated plane to vehicle assistance systems for further processing

Das Bild des Cornea-Bereichs umfasst Reflexion von Objekten oder Lichtquellen in der Umgebung. Dieses Augenbild wird mit einer geeigneten Kamera wie beispielsweise der Fahrerbeobachtungskamera aufgenommen. Der von dem Head-up Display auf die Frontscheibe des Fahrzeugs projizierte Horizont, d.h. das einen Horizont bzw. eine horizontale Linie wiedergebendes Element, entspricht dabei beispielsweise einem als waagrechte Linie ausgebildeten Element, das weiter beispielsweise zwei unterschiedliche Anzeigebereiche der Projektionsfläche voneinander trennt. Als Horizont können auch andere Elemente verwendet werden, die eine horizontale Hauptachsrichtung aufweisen oder denen zumindest eine horizontale Hauptachse durch entsprechende optische Merkmale zuordenbar ist, beispielsweise ein Rundinstrument zur Geschwindigkeitsanzeige mit Markierungen zur Kenntlichmachung einer horizontalen Achse. Sofern der Fahrzeugaufbau keinen Wankwinkel aufweist, dann nimmt der Horizont einen zur Fahrbahnebene horizontale Lage ein.The image of the cornea area includes reflections from objects or light sources in the environment. This eye image is recorded with a suitable camera, such as the driver observation camera. The horizon projected by the head-up display onto the windshield of the vehicle, i.e. the element representing a horizon or a horizontal line, corresponds, for example, to an element designed as a horizontal line, which further separates, for example, two different display areas of the projection surface. Other elements can also be used as the horizon, which have a horizontal main axis direction or to which at least one horizontal main axis can be assigned by corresponding optical features, for example a round instrument for displaying the speed with markings to indicate a horizontal Axle. If the vehicle body has no roll angle, the horizon assumes a horizontal position relative to the road surface.

Dieser im Cornea-Bereich reflektierte Horizont und reflektierte Begrenzungslinien der vorausliegenden Fahrbahn werden von der Fahrerbeobachtungskamera aufgenommen, wobei aus dem aufgenommenen Bild ein Überdeckungsanteils HRCCRI des reflektierten Horizonts (Horizontal Road Coverage) in Relation zu einer von den Fahrbahnbegrenzungen vorgegebenen Fahrbahnbreite ermittelt wird. Die Überdeckung HRCCRI ist dabei das Verhältnis des Abstands der Fahrbahnbegrenzungslinie, d.h. der Fahrbahnbreite zur Breite des Horizonts im Bild des Cornea-Bereichs. Die Vektoren werden durch Verbindung von Positionen des im Cornea-Bereich des Fahrers von der Fahrerbeobachtungskamera erfassten Reflexion der Endpunkte des Horizonts und den entsprechenden auf der gleichen Seite liegenden Endpunkte des auf die Windschutzscheibe vom Head-up Display projizierten Endpunkte des Horizonts ermittelt. Die Positionsdaten der durch die Fahrerbeobachtungskamera erfassten Endpunkte des reflektierten Horizonts im Cornea-Bereich und die Positionen der Endpunkte des auf die Windschutzscheibe projizierten Horizonts werden in dem aufbaufesten Koordinatensystem ermittelt. Die Achsen eines radfesten, d.h. fahrbahnfesten Koordinatensystems, weisen beispielsweise in Fahrtrichtung, quer zur Fahrtrichtung und in Richtung Hochachse des Fahrzeugs. Sofern keine Neigung des Fahrzeugaufbaus gegenüber der Fahrbahn bzw. gegenüber den radfesten Achsenteilen vorhanden ist, d.h. der Nick-, Wank oder Gierwinkel als Neigungswinkel Null ist, dann sind Räder an Vorder- und Hinterachse nicht eingefedert. In diesem Zustand sind Koordinaten aller Bauteile in Koordinatensystem zueinander bekannt und definiert, d.h. eine von den Radaufstandsflächen gebildeten Ebene relativ zu einem ungeneigten Fahrzeugaufbau ist bekannt und ermittelbar. Achsen des aufbaufesten und radfesten Koordinatensystems sind in diesem Zustand vorzugsweise parallelausgerichtet. Die initiale Ebene des Fahrzeugs bei einem ungeneigten Fahrzeugaufbau ist damit eine Ebene, die zum Fahrzeugaufbau eine bekannte Zuordnung aufweist, die sich einstellt, sofern auf den Aufbau keine durch Beschleunigung, Bremsen oder sonstige Fahrmanöver wie beispielsweise Kurvenfahrt bewirkte Kräfte wirken. Damit ist im ungeneigten Zustand die durch die Radaufstandsflächen gebildete Ebene im Bezug zum Aufbau, d.h. zum Koordinatensystem des Aufbaus im Raum definiert.This horizon reflected in the corneal area and the reflected boundary lines of the road ahead are recorded by the driver observation camera, and an overlap ratio (HRC CRI) of the reflected horizon (Horizontal Road Coverage) is determined from the recorded image in relation to a road width specified by the road boundaries. The coverage (HRC CRI) is the ratio of the distance from the road boundary line, i.e. the road width, to the width of the horizon in the image of the corneal area. The vectors are determined by connecting the positions of the reflection of the end points of the horizon recorded in the driver's corneal area by the driver observation camera and the corresponding end points of the horizon projected onto the windshield by the head-up display, which are on the same side. The position data of the end points of the reflected horizon in the corneal area recorded by the driver observation camera and the positions of the end points of the horizon projected onto the windshield are determined in the body-fixed coordinate system. The axes of a wheel-fixed, i.e. road-fixed, coordinate system point, for example, in the direction of travel, transversely to the direction of travel and in the direction of the vertical axis of the vehicle. If there is no inclination of the vehicle body relative to the road or relative to the wheel-fixed axle components, i.e. the pitch, roll or yaw angle is zero, then the wheels on the front and rear axles are not compressed. In this state, the coordinates of all components in the coordinate system are known and defined in relation to one another, i.e. a plane formed by the wheel contact surfaces relative to a non-inclined vehicle body is known and can be determined. In this state, the axes of the body-fixed and wheel-fixed coordinate systems are preferably aligned parallel. The initial plane of the vehicle with a non-inclined vehicle body is therefore a plane that has a known relationship to the vehicle body, which is established provided that no forces caused by acceleration, braking or other driving maneuvers such as cornering act on the body. Thus, in the uninclined state, the plane formed by the wheel contact surfaces is defined in relation to the body, ie to the coordinate system of the body in space.

Es wird davon ausgegangen, dass bei Neigungsvorgängen sich die Lage der Fahrbahnoberfläche zum Rad nicht verändert, d.h. die Fahrbahnoberfläche zum radfesten Koordinatensystem konstant ist.It is assumed that during inclination processes the position of the road surface relative to the wheel does not change, i.e. the road surface is constant relative to the wheel-fixed coordinate system.

Stellt sich aufgrund fahrdynamischer Kräfte bewirkt durch Bremsen, Beschleunigung oder Kurvenfahrt ein Neigungs-, d.h. Nick-, Wank- oder Gierwinkel ein, d.h. die Räder an Vorder- und/oder Hinterachse federn ein, dann bildet sich der Neigungswinkel zwischen den Achsen des aufbau- und radfesten Koordinatensystems ab.If a tilt angle, i.e. pitch, roll or yaw angle, occurs due to driving dynamic forces caused by braking, acceleration or cornering, i.e. the wheels on the front and/or rear axle compress, then the tilt angle is mapped between the axes of the body and wheel-fixed coordinate system.

Die Erfindung macht sich zunutze, dass sobald ein korrekter Neigungswinkel zwischen Fahrbahnebene und Fahrzeugaufbau zugrunde gelegt wird, die ermittelten Überdeckungsanteile HRCCRI und HRCPCRI gleich groß sind. Sofern beispielsweise kein Neigungswinkel zwischen Fahrzeug und Fahrbahnebene vorliegt, ist das System so kalibriert und eingestellt, dass die Überdeckungsanteile von HRCCRI und HRCPCRI annährend gleich groß sind. Hierzu sind rad- und aufbaufeste Achsensystem, in denen Kameras und Head-up Display definiert sind, gegeneinander auszurichten und gegebenenfalls auch die Koordinaten des Horizonts auf der Windschutzscheibe einzustellen.The invention takes advantage of the fact that, as soon as a correct inclination angle between the road surface and the vehicle body is assumed, the determined overlap ratios HRC CRI and HRC PCRI are equal. If, for example, there is no inclination angle between the vehicle and the road surface, the system is calibrated and adjusted so that the overlap ratios of HRC CRI and HRC PCRI are approximately equal. To achieve this, the wheel- and body-mounted axle systems, in which the cameras and head-up display are defined, must be aligned with each other, and if necessary, the horizon coordinates on the windshield must also be adjusted.

Der aktuelle Neigungswinkel zwischen Fahrbahnebene und Fahrzeugaufbau bestimmt sich nach dem Verfahren wie folgend:

  • Sobald sich ein Neigungswinkel einstellt, verändert sich die Ausrichtung und Neigung der aufbaufesten Vektoren, die rechnerisch wie oben beschrieben weiterhin virtuell mit der bei einem ungeneigten Fahrzeugaufbau von den Radaufstandsflächen gebildeten initialen Ebene, d.h. ohne Einfederung der Räder geschnitten werden, wodurch HRCCRI und HRCPCRI unterschiedliche Werte aufweisen. Der reale Neigungswinkel wird ermittelt, in dem die initiale Ebene rechnerisch virtuell zu dem Fahrzeugaufbau vorzugsweise zu einer Nickachse, Wank- oder Gierachse des Fahrzeugaufbaus derart iterativ um einen Winkel gedreht und der sich einstellende Abstand der Schnittpunkte der Vektoren mit der gedrehten virtuellen Ebene dabei derart verändert wird, bis die Überdeckungsanteile HRCCRI und HRCPCRI wieder annährend gleich groß sind, d.h. innerhalb einem durch einen Schwellenwert vorgegebenen Toleranzbereich liegen. In vorteilhafter Weise wird weiter zur Bestimmung von Nick-, Wank- und/oder Gierwinkel durch Drehung der initialen Ebene der dem in der Cornea-Bereich reflektierten Horizont und eine die Schnittpunkte mit der gedrehten Ebene verbindende Linie bzw. Gerade in eine parallele Lage zueinander überführt. Mit anderen Worten wird die Ebene so gedreht, dass die die Schnittpunkte verbindende Linie parallel zu dem im Cornea-Bereich reflektierten Horizont ist sowie der Unterschied von HRCCRI und HRCPCRI unterhalb dem Schwellenwert liegt. Der angepasste Neigungswinkel kann damit entweder einen Nickwinkel, Nick- und Wankwinkel oder Nick-, Wank- und Gierwinkel umfassen. Liegt nur ein Nickwinkel vor, dann sind der in dem Cornea-Bereich reflektierte Horizont und die durch die Schnittunkte gelegte Gerade ohnehin parallel, so dass die vorab angesprochene Drehung zur Erreichung von Parallelität entfällt.
The current angle of inclination between the road surface and the vehicle body is determined using the following procedure:
  • As soon as an angle of inclination is established, the orientation and inclination of the body-fixed vectors change. These vectors are mathematically calculated, as described above, to continue to be virtually intersected with the initial plane formed by the wheel contact patches in the case of an uninclined vehicle body, i.e. without wheel deflection, as a result of which HRC CRI and HRC PCRI have different values. The real angle of inclination is determined by iteratively rotating the initial plane, mathematically virtually, to the vehicle body, preferably to a pitch, roll or yaw axis of the vehicle body, by an angle and changing the resulting distance between the intersection points of the vectors and the rotated virtual plane until the overlap components HRC CRI and HRC PCRI are again approximately the same, i.e. lie within a tolerance range specified by a threshold value. Advantageously, to determine the pitch, roll, and/or yaw angles, the initial plane is rotated to parallel the horizon reflected in the corneal region and a line or straight line connecting the intersection points with the rotated plane. In other words, the plane is rotated so that the line connecting the intersection points is parallel to the horizon reflected in the corneal region and the difference between HRC CRI and HRC PCRI is below the threshold value. The adjusted inclination angle can thus be either a pitch angle, Include pitch and roll angles, or pitch, roll, and yaw angles. If only a pitch angle is present, then the horizon reflected in the corneal area and the straight line passing through the intersection points are parallel anyway, so the previously mentioned rotation to achieve parallelism is not necessary.

Sobald die Überdeckungsanteile in dem Toleranzbereich liegen, wird die Drehung der Ebene abgebrochen und der zu dem Zeitpunkt iterativ ermittelte angepasste Neigungswinkel zwischen initialer und gedrehter Ebene als Neigungswinkel φ im Raum des Fahrzeugaufbaus relativ zu einer von einer Fahrbahn gebildeten Oberfläche an ein Assistenzsystem ausgegeben. Das Verfahren wird zyklisch durchgeführt, um eine dynamische Änderung des Neigungswinkels erfassen zu können.As soon as the overlap portions fall within the tolerance range, the rotation of the plane is aborted, and the adjusted inclination angle between the initial and rotated plane, determined iteratively at that time, is output to an assistance system as the inclination angle φ in the space of the vehicle body relative to a surface formed by a roadway. The process is performed cyclically to detect a dynamic change in the inclination angle.

In einer weiteren bevorzugten Ausführungsform werden Positionen der Fahrerbeobachtungskamera, der Umgebungsbeobachtungskamera, des Corneabereichs des Fahrers und des auf die Windschutzscheibe projizierten Horizonts in ein gemeinsames, fahrzeugaufbaufestes Koordinatensystem überführt und/oder kalibriert. In vorteilhafter Weise ermöglicht ein gemeinsames Koordinatensystem eine schnelle und zuverlässige Verarbeitung unterschiedlicher Positionsdaten.In a further preferred embodiment, the positions of the driver observation camera, the surroundings observation camera, the driver's corneal area, and the horizon projected onto the windshield are transferred and/or calibrated into a common coordinate system fixed to the vehicle body. Advantageously, a common coordinate system enables fast and reliable processing of different position data.

Gemäß einer Ausgestaltung der vorliegenden Erfindung wird das Bild des Cornea-Bereichs in einer als Ebene ausgeführten Repräsentation entzerrt dargestellt. Durch die Entzerrung und Projektion in eine Ebene lässt sich der Überdeckungsanteil HRCCRI zuverlässig mit hoher Genauigkeit bestimmen.According to one embodiment of the present invention, the image of the cornea is displayed in a rectified representation embodied as a plane. The rectification and projection onto a plane allow the HRC CRI to be reliably determined with high accuracy.

In weiterer Ausgestaltung umfasst das Assistenzsystem, dessen Steuerung auf Basis des Neigungswinkels arbeitet, ein Schweinwerfereinstellsystem, ein Fahrdynamiksystem und/oder ein Fahrwerkverstellsystem. In vorteilhafter Weise lässt sich durch die Assistenssysteme Fahrsicherheit und Komfort erhöhen, wobei der erforderliche Neigungswinkel zur Verringerung der Fehleranfälligkeit unabhängig oder zusätzlich zu an Radaufhängungen des Fahrzeugs angeordneten Neigungssensoren ermittelt wird.In a further embodiment, the assistance system, whose control is based on the inclination angle, includes a headlight adjustment system, a driving dynamics system, and/or a chassis adjustment system. The assistance systems can advantageously increase driving safety and comfort, with the required inclination angle being determined independently of or in addition to inclination sensors arranged on the vehicle's wheel suspension to reduce the susceptibility to errors.

In einer weiteren Ausführungsform wird der angepasste Neigungswinkel bzw. der zugehörige Neigungswinkel mit von an Radaufhängungen mit Lagesensoren bestimmten Werten verglichen und abgeglichen. Die Werte lassen sich damit gegenseitig plausibilisieren, so dass eine fehlerhafte Sensorik und eine Fehlsteuerung der Assistenzsystem reduziert werden kann.In another embodiment, the adjusted inclination angle or the corresponding inclination angle is compared and aligned with values determined by position sensors on the wheel suspension. The values can thus be mutually validated, thus reducing faulty sensor technology and incorrect control of the assistance system.

In weiteren zusätzlichen oder alternativen Ausführungsform wird der angepasste Neigungswinkel als Ersatzwerte bei Ausfall der Lagesensoren für Assistenzsystem verwendet. Das vorgeschlagene Verfahren ermöglicht in vorteilhafter Weise eine Systemverfügbarkeit der Assistenzsysteme zu erhöhen.In a further additional or alternative embodiment, the adjusted inclination angle is used as a backup value in the event of a failure of the position sensors for the assistance system. The proposed method advantageously enables the system availability of the assistance systems to be increased.

In Ausgestaltung der Erfindung wird der angepasste Neigungswinkel für einen Nick-, Wank- und/oder Gierwinkel bestimmt. Durch Drehung der initialen Ebene im Raum lässt sich ein angepasster Neigungswinkel bestimmen, der Nick-, Wank- und/oder Gierwinkel wiedergibt. Bei Nick-, Wank- und/oder Gierwinkel ist dabei die initiale Ebene so zu einzustellen, dass neben im Rahmen des Schwellenwertes annähernder Gleichheit von HRCPCRI und HRCCRI eine durch die Schnittpunkte der verdrehten virtuellen Ebene verlaufende Gerade sich parallel zu der in dem Cornea-Bereich von dem Head-up Display auf die Windschutzscheibe projizierten Horizont einstellt.In one embodiment of the invention, the adjusted inclination angle is determined for a pitch, roll, and/or yaw angle. By rotating the initial plane in space, an adjusted inclination angle can be determined that reflects the pitch, roll, and/or yaw angle. For pitch, roll, and/or yaw angles, the initial plane must be adjusted such that, in addition to the HRC PCRI and HRC CRI being approximately equal within the threshold value, a straight line passing through the intersection points of the rotated virtual plane is parallel to the horizon projected onto the windshield by the head-up display in the corneal area.

Die erfindungsgemäße Vorrichtung zur Bestimmung eines durch Bremsen oder Beschleunigung bewirkten Neigungswinkels eines Fahrzeugs relativ zu einer von einer Fahrbahn gebildeten Oberfläche umfasst:

  • - einer Fahrerbeobachtungskamera eingerichtet zur Bestimmung eines Bildes von Reflektionen im Cornea-Bereich eines Auges eines Fahrers; wobei
  • - eine Auswerteeinheit, die aus dem Bild des Cornea-Bereichs reflektierte Fahrbahnbegrenzungen der vorausliegenden Fahrbahn und einen mit einem Head-up Display auf eine Windschutzscheibe des Fahrzeugs projizierten reflektierten Horizont extrahiert; wobei
  • - die Auswerteeinheit einen Überdeckungsanteil HRCCRI des in dem Bild des Cornea-Bereichs extrahierten Horizonts in Relation zu einer von den extrahierten Fahrbahnbegrenzungen vorgegebenen Fahrbahnbreite ermittelt;
  • - die Auswerteeinheit von durch die Fahrerbeobachtungskamera erfasste Positionen von Endpunkten des in den im Cornea-Bereich reflektierten Horizonts und von Positionen von Endpunkten des auf die Windschutzscheibe projizierten Horizonts bestimmt, die Endpunkte verbindende Vektoren und rechnerisch Schnittpunkte der Vektoren mit einer von den Radaufstandsflächen gebildeten initialen Ebene bei einem, d.h. relativ zu einem ungeneigten Fahrzeugaufbau bestimmt;
  • - die Auswerteeinheit einen Abstand der Schnittpunkte (Bh) bestimmt und einen Überdeckungsanteils HRCPCRI des Abstandes in Relation zu mit einer Umgebungsbeobachtungskamera erfassten auf die initiale Ebene übertragenen Fahrbahnbreite (Bf) ermittelt,
  • - die Auswerteeinheit eine rechnerische Anpassung des Überdeckungsanteils HRCPCRI durch Drehung der initialen Ebene zu den Vektoren um einen angepassten Neigungswinkel φ vornimmt, so dass die Differenz des Überdeckungsanteils von HRCPCRI und HRCCRI kleiner einem vorgegebenen Schwellenwert ist und
  • - die Auswerteeinheit den angepassten Neigungswinkel φ an Fahrzeugassistenzsysteme zur Weiterverarbeitung übermittelt..
The device according to the invention for determining an inclination angle of a vehicle caused by braking or acceleration relative to a surface formed by a roadway comprises:
  • - a driver observation camera configured to determine an image of reflections in the cornea of a driver's eye; wherein
  • - an evaluation unit which extracts from the image of the cornea area reflected lane boundaries of the road ahead and a reflected horizon projected onto a windscreen of the vehicle by a head-up display; where
  • - the evaluation unit determines an overlap ratio HRC CRI of the horizon extracted in the image of the cornea area in relation to a road width specified by the extracted road boundaries;
  • - the evaluation unit determines the positions of end points of the horizon reflected in the cornea area and the positions of end points of the horizon projected onto the windshield, recorded by the driver observation camera, vectors connecting the end points and mathematically intersection points of the vectors with an initial plane formed by the wheel contact surfaces in the case of an, i.e. relative to an uninclined vehicle body;
  • - the evaluation unit determines a distance of the intersection points (Bh) and an overlap fraction HRC PCRI of the distance in relation to with an environmental observation camera recorded road width (Bf) transferred to the initial level,
  • - the evaluation unit performs a computational adjustment of the coverage ratio HRC PCRI by rotating the initial plane to the vectors by an adjusted inclination angle φ, so that the difference between the coverage ratios of HRC PCRI and HRC CRI is smaller than a predetermined threshold value and
  • - the evaluation unit transmits the adjusted inclination angle φ to vehicle assistance systems for further processing.

Die erfindungsgemäße Vorrichtung ermöglicht eine kostengünstige und zuverlässige Bestimmung eines Neigungswinkels, bei der zumindest zeitweise auf Daten von zwischen Fahrwerksaufhängung und Fahrzeugaufbau angeordneten Sensoren verzichtet werden kann.The device according to the invention enables a cost-effective and reliable determination of an inclination angle, in which data from sensors arranged between the chassis suspension and the vehicle body can be dispensed with, at least temporarily.

Die vorliegende Erfindung wird nachstehend anhand von Ausführungsbeispielen unter Bezugnahme auf die beiliegende Zeichnung näher erläutert, in der gleiche oder ähnliche Teile mit gleichen Bezugszeichen bezeichnet sind.The present invention is explained in more detail below using exemplary embodiments with reference to the accompanying drawings, in which the same or similar parts are designated by the same reference numerals.

Es zeigt:

  • 1 eine schematische Ansicht eines Fahrzeugs zur Durchführung des erfindungsgemäßen Verfahrens am Beispiel eines Nickwinkels und
  • 2 ein Flussdiagramm eines Verfahrensablaufs gemäß der vorliegenden Erfindung.
It shows:
  • 1 a schematic view of a vehicle for carrying out the method according to the invention using the example of a pitch angle and
  • 2 a flowchart of a method sequence according to the present invention.

In 1 ist ein schematisch gezeichnetes Fahrzeug 4 mit einem gegenüber einem radfesten Fahrwerkteil 2 geneigten Fahrzeugaufbau 1 und einem ungeneigten Fahrzeugaufbau 1' sowie einem Kopf eines Fahrers 3 dargestellt. Ein Projektor 5 eines Head-up Display projiziert einen Horizont 7, d.h. eine weitgehend waagrechte Linie auf eine Windschutzscheibe 9 des Fahrzeugs 4. Im Auge, d.h. der Cornea 13 des Fahrers 3 spiegelt bzw. reflektiert sich der mit 7' bezeichnete Horizont von der Windschutzscheibe und auf der Cornea 13 nicht näher dargestellte Fahrbahnbegrenzungslinien 15' einer vorausliegenden Fahrbahn mit Fahrbahnbegrenzungslinien 15. Eine Fahrerbeobachtungskamera 11 ermittelt ein Bild 17 der Cornea 13.In 1 A schematically drawn vehicle 4 is shown with a vehicle body 1 inclined relative to a wheel-fixed chassis part 2 and a non-inclined vehicle body 1' as well as the head of a driver 3. A projector 5 of a head-up display projects a horizon 7, i.e. a largely horizontal line, onto a windshield 9 of the vehicle 4. In the eye, i.e. the cornea 13 of the driver 3, the horizon designated 7' is mirrored or reflected from the windshield and on the cornea 13 lane boundary lines 15' of a road ahead with lane boundary lines 15 (not shown in detail). A driver observation camera 11 records an image 17 of the cornea 13.

Das Achsensystem 6 ist dabei das radfeste und damit fahrbahnfeste Achsensystem, das Achsensystem 8 ist das aufbaufeste Achsensystem. Bei einem nicht eingefederten Fahrwerk weist der Fahrzeugaufbau 1' eine definierte Lage zum Achsensystem 6 auf. Unter Einwirkung von fahrdynamischen Kräften verdreht sich das Achsensystem 8 zum Achsensystem 6 durch Neigung des Aufbaus 1 um einen Neigungswinkel φ.Axle system 6 is the wheel-mounted and thus road-mounted axle system, while axle system 8 is the body-mounted axle system. When the chassis is not compressed, the vehicle body 1' has a defined position relative to axle system 6. Under the influence of dynamic driving forces, axle system 8 rotates relative to axle system 6 by an inclination angle φ due to the inclination of body 1.

In dem Bild 17 werden die im Cornea-Bereich 13 reflektierte Fahrbahnbegrenzungslinien 15' als auch der reflektierte Horizont 7' durch eine Auswerteeinheit 12 extrahiert und vorzugsweise in eine ebene Darstellung projiziert. Anhand des Bildes wird ein Überdeckungsanteil HRCCRI, der das Verhältnis von einer durch die Fahrbegrenzungslinien 15' vorgegebenen projizierten Fahrbahnbreite Bh' und dem projizierten Horizont 7' Bf' an entsprechender Position wiedergibt, d.h. Bh'/Bf'.In image 17, the roadway boundary lines 15' reflected in the cornea area 13 as well as the reflected horizon 7' are extracted by an evaluation unit 12 and preferably projected into a planar representation. Based on the image, an overlap ratio HRC CRI is calculated, which represents the ratio of a projected roadway width Bh' specified by the roadway boundary lines 15' and the projected horizon 7'Bf' at the corresponding position, i.e. Bh'/Bf'.

Die Auswerteeinheit 12 ermittelt weiter die Positionen im Raum der Endpunkte des auf die Cornea 13 projizierten Horizonts 7' und die Positionen im Raum des auf die Windschutzscheibe 9 projizierten Horizonts 7. Weiter ermittelt die Auswerteeinheit 11 Vektoren 17 im Raum, welche die Positionen der Endpunkte des im Cornea-Bereich 13 reflektierten Horizonts 7' und die Positionen der Endpunkte im Raum des auf die Windschutzscheibe 9 projizierten Horizonts 7 jeweils auf der gleichen Seite verbinden. Diese Vektoren 18 werden mit einer Ebene 19 geschnitten, auf der die Fahrbahnbegrenzungslinien 15 einer dem Fahrzeug 4 vorausliegenden Straße abgebildet werden. Die Ebene wird rechnerische erzeugt, indem ausgehend von dem gestrichelt gezeichneten Aufbau 1' als Annahme ohne Neigung eine initiale Ebene 19 in den Radaufstandsflächen erzeugt wird, die sozusagen die vorausliegende Fahrbahn bei einem Fahrzeug ohne geneigten Aufbau wiedergibt. Mit anderen Worten wird in diesem Schritt davon ausgegangen, dass keine Brems-, Beschleunigungs- oder Seitenkräfte wirken. In diese Ebene 19 werden mit einer Umgebungsbeobachtungskamera 21 die die Fahrbahnbreite bestimmenden Fahrbahnbegrenzungslinien 15 eingeblendet. Nun werden von der Auswerteeinheit 12 die Schnittpunkte mit der Ebene berechnet und der Überdeckungsanteil HRCPCRI des Abstands Bh d.h. des auf die Ebene 19 projizierten Horizontes und der Fahrbahnbreite Bf bestimmt. Mit anderen Worten wird das Verhältnis Bh/Bf gebildet.The evaluation unit 12 further determines the spatial positions of the endpoints of the horizon 7' projected onto the cornea 13 and the spatial positions of the horizon 7 projected onto the windshield 9. The evaluation unit 11 further determines vectors 17 in space that connect the positions of the endpoints of the horizon 7' reflected in the cornea area 13 and the spatial positions of the endpoints of the horizon 7 projected onto the windshield 9, each on the same side. These vectors 18 are intersected by a plane 19 on which the lane boundary lines 15 of a road ahead of the vehicle 4 are mapped. The plane is generated computationally by generating an initial plane 19 in the wheel contact patches, starting from the dashed-line structure 1' as an assumption without inclination, which, so to speak, represents the roadway ahead for a vehicle without an inclined structure. In other words, this step assumes that no braking, acceleration, or lateral forces are acting. The roadway boundary lines 15, which determine the roadway width, are projected onto this plane 19 using an environmental observation camera 21. The evaluation unit 12 then calculates the intersection points with the plane and determines the overlap ratio HRC PCRI of the distance Bh dh of the horizon projected onto plane 19 and the roadway width Bf. In other words, the ratio Bh/Bf is calculated.

Die Komponenten des Fahrzeugs 4 sind so aufeinander abgestimmt, dass sofern die Räder sich in einem uneingefederten Zustand befinden, d.h. kein Neigungswinkel des Aufbaus zum Fahrwerk vorliegt, HRCCRI und HRCPCRI gleich groß sind. Sollte ein Neigungswinkels des Aufbaus vorliegen, werden sich der Überdeckungsanteil HRCCRI und der aus Schnittpunkten der geneigten Vektoren 18 mit der initialen Ebene 19 ermittelte Überdeckungsanteil HRCPCRI unterscheiden.The components of vehicle 4 are coordinated such that, provided the wheels are in an uncompressed state, i.e., there is no inclination angle of the body relative to the chassis, HRC CRI and HRC PCRI are equal. If there is an inclination angle of the body, the overlap ratio HRC CRI and the overlap ratio HRC PCRI determined from the intersection points of the inclined vectors 18 with the initial plane 19 will differ.

Um den Neigungswinkel φ zwischen Fahrzeugaufbau und radfestem Fahrwerkteil 2 zu bestimmen, wird rechnerisch virtuell die initiale Ebene 19 verdreht und zyklisch Schnittpunkte der zugehörigen Vektoren 18 mit der verdrehten Ebene 19' als auch ein sich neu einstellendes Bh und ein neuer Wert HRCPCRI berechnet. d.h. Bh wandert je nach Neigungswinkel φ durch den Pfeil 23 angedeutet in oder entgegen der Fahrtrichtung, so dass sich das Verhältnis von Bh/Bf ändert. Die Ebene 19' wird dabei iterativ solange virtuell vorzugsweise um eine Nickachse S des Fahrzeugs 4 gedreht, bis der Unterschied zwischen HRCCRI und HRCPCRI unterhalb einem vorgegeben Schwellenwert liegt. Der sich in diesem Zustand einstellende Winkel entspricht weitestgehend dem Neigungswinkel φ des Fahrzeugs. Dieser Winkel φ wird zur Weiterverarbeitung und Anpassung von Funktionen zur Fahrerunterstützung an Assistenzsysteme des Fahrzeugs 4 übermittelt.In order to determine the angle of inclination φ between the vehicle body and the wheel-fixed chassis part 2, the initial plane 19 rotated and cyclically intersection points of the associated vectors 18 with the rotated plane 19' as well as a newly established Bh and a new value HRC PCRI are calculated. This means that Bh moves in or against the direction of travel depending on the angle of inclination φ indicated by the arrow 23, so that the ratio of Bh/Bf changes. The plane 19' is iteratively rotated virtually, preferably around a pitch axis S of the vehicle 4, until the difference between HRC CRI and HRC PCRI is below a predetermined threshold value. The angle established in this state largely corresponds to the angle of inclination φ of the vehicle. This angle φ is transmitted to assistance systems of the vehicle 4 for further processing and adaptation of driver support functions.

Gemäß dem nach 2. Dargestellten Verfahren werden folgende Schritte durchgeführt: Im Schritt S1 wird mittels eine Fahrerbeobachtungskamera ein Bild von Reflektionen im Cornea-Bereich eines Auges eines Fahrers erfasst, wobei das Bild vorzugsweise in einer vordefinierten Repräsentation, beispielsweise in einer Ebene entzerrt dargestellt wird. Im folgenden Schritt S3 wird aus dem Bild ein mit einem Head-up Display auf eine Windschutzscheibe des Fahrzeugs erzeugter und im Cornea-Bereichs reflektierter Horizont sowie reflektierte Fahrbahnbegrenzungen der vorausliegenden Fahrbahn extrahiert. Im Schritt S5 wird ein Überdeckungsanteil HRCCRI des in dem Cornea-Bereich reflektierten Horizonts in Relation zu einer von den in den Cornea-Bereich reflektierten Fahrbahnbegrenzungen vorgegebenen Fahrbahnbreite bestimmt. In einem weiteren Schritt S7 erfolgt eine rechnerische Bestimmung von Positionen von Endpunkten des in dem Cornea-Bereich reflektierten Horizonts und Positionen von Endpunkten des auf die Windschutzscheibe projizierten Horizonts, eine Bestimmung von die Endpunkte verbindenden Vektoren und eine rechnerische Bestimmung von Schnittpunkten der Vektoren mit einer von Radaufstandsflächen gebildeten initialen Ebene des Fahrzeugs bei einem ungeneigten Fahrzeugaufbau. Im folgenden Schritt S9 wird ein Abstand Bh der Schnittpunkte bestimmt und ein Überdeckungsanteil HRCPCRI als Relation des Abstandes Bh zu einer mit einer Umgebungsbeobachtungskamera erfassten, auf die durch die Radaufstandsflächen definierten initialen Ebene übertragenen Fahrbahnbreite Bf bestimmt. Schritt S11 umfasst eine rechnerische, vorzugsweise iterative Anpassung des Überdeckungsanteils HRCPCRI durch Anpassung des Neigungswinkels φ durch virtuelle Drehung der initialen Ebene zu den Vektoren um einen Neigungswinkel, so dass die Differenz des Überdeckungsanteils von HRCPCRI und HRCCRI kleiner einem vorgegebenen Schwellenwert ist. Sobald die Differenz einen Schwellenwert unterschreitet, erfolgt Beendigung des iterativen Verfahrens und im Schritt 13 Übermittlung des Neigungswinkels φ zwischen initialer und gedrehter Ebene an Fahrzeugassistenzsysteme zur Weiterverarbeitung.According to the 2 The following steps are carried out in the method described: In step S1, an image of reflections in the cornea region of a driver's eye is captured using a driver observation camera, the image preferably being displayed in a predefined representation, for example, rectified in a plane. In the following step S3, a horizon generated on a windshield of the vehicle using a head-up display and reflected in the cornea region, as well as reflected lane boundaries of the road ahead, are extracted from the image. In step S5, an overlap ratio HRC CRI of the horizon reflected in the cornea region is determined in relation to a road width predetermined by the road boundaries reflected in the cornea region. In a further step S7, the positions of endpoints of the horizon reflected in the corneal region and the positions of endpoints of the horizon projected onto the windshield are computationally determined, vectors connecting the endpoints are determined, and points of intersection of the vectors with an initial plane of the vehicle formed by the wheel contact patches are computationally determined in the case of an uninclined vehicle body. In the following step S9, a distance Bh between the intersection points is determined, and an overlap fraction HRC PCRI is determined as the relation of the distance Bh to a roadway width Bf, captured by an environmental observation camera and transferred to the initial plane defined by the wheel contact patches. Step S11 comprises a computational, preferably iterative, adjustment of the overlap fraction HRC PCRI by adjusting the inclination angle φ by virtually rotating the initial plane to the vectors by an inclination angle, such that the difference between the overlap fractions of HRC PCRI and HRC CRI is less than a predetermined threshold value. As soon as the difference falls below a threshold value, the iterative process is terminated and in step 13 the inclination angle φ between the initial and rotated plane is transmitted to vehicle assistance systems for further processing.

In einem nicht dargestellten bevorzugt vor S1 angeordneten Schritt erfolgt eine Kalibrierung des Head-up Displays, der Fahrerbeobachtungskamera und der Umgebungsbeobachtungskamera in einem gemeinsamen aufbaufesten Koordinatensystem. Die Anpassung in dem Schritt erfolgt derart, dass bei einem Fahrzeug ohne geneigten Aufbau, d.h. ohne Einfederung des Fahrwerks aufgrund fahrdynamischer Kräfte wie Bremsen oder Beschleunigung die Abweichung der Werte für HRCCRI und HRCPCRI unterhalb dem vorgegebenen Schwellenwert liegen.In a step not shown, preferably arranged before S1, the head-up display, the driver observation camera, and the surroundings observation camera are calibrated in a common body-fixed coordinate system. The adjustment in this step is performed such that, for a vehicle without an inclined body, i.e., without suspension deflection due to dynamic driving forces such as braking or acceleration, the deviation of the values for HRC CRI and HRC PCRI is below the specified threshold.

Claims (8)

Verfahren zur Bestimmung eines durch Bremsen oder Beschleunigung bewirkte Neigungswinkel φ eines Fahrzeugaufbaus eines Fahrzeugs relativ zu einer von einer Fahrbahn gebildeten Oberfläche, gekennzeichnet, durch die folgenden Schritte: -Bestimmung eines Bildes von Reflektionen im Cornea-Bereich eines Auges eines Fahrers mit einer Fahrerbeobachtungskamera (S1); -aus dem Bild des Cornea-Bereichs Extraktion von reflektierten Fahrbahnbegrenzungen der vorausliegenden Fahrbahn und reflektierten mit einem Head-up Display auf eine Windschutzscheibe des Fahrzeugs projizierten Horizonts (S3); -Ermittlung eines Überdeckungsanteils HRCCRI des im Bild des Cornea-Bereichs extrahierten Horizonts in Relation zu einer von den extrahierten Fahrbahnbegrenzungen vorgegebenen Fahrbahnbreite (S5); -rechnerische Bestimmung von Positionen von Endpunkten des in dem Bild des Cornea-Bereichs reflektierten Horizonts und Positionen von Endpunkten des auf die Windschutzscheibe projizierten Horizonts, Bestimmung von die Endpunkte verbindenden Vektoren und einer rechnerischen Bestimmung von Schnittpunkten mit einer von den Radaufstandsflächen gebildeten initialen Ebene des Fahrzeugs relativ zu einem ungeneigten Fahrzeugaufbau (S7); -Bestimmung eines Abstands der Schnittpunkte und Ermittlung eines Überdeckungsanteils HRCPCRI des Abstandes in Relation zu einer mit einer Umgebungsbeobachtungskamera erfassten auf die initiale Ebene übertragenen Fahrbahnbreite (S9); -rechnerische Anpassung des Überdeckungsanteils HRCPCRI durch Drehung der initialen Ebene zu den Vektoren um einen angepassten Neigungswinkel, so dass die Differenz des Überdeckungsanteils von HRCPCRI und HRCCRI kleiner einem vorgegebenen Schwellenwert ist (S11) und -Übermittlung des angepassten Neigungswinkels φ zwischen initialer und gedrehter Ebene an Fahrzeugassistenzsysteme zur Weiterverarbeitung (S13).Method for determining an angle of inclination φ of a vehicle body of a vehicle caused by braking or acceleration relative to a surface formed by a roadway, characterized by the following steps: - determining an image of reflections in the cornea area of a driver's eye with a driver observation camera (S1); - extracting reflected road boundaries of the roadway ahead and reflected horizon projected onto a windshield of the vehicle with a head-up display (S3) from the image of the cornea area; - determining an overlap ratio HRC CRI of the horizon extracted in the image of the cornea area in relation to a roadway width predetermined by the extracted road boundaries (S5); -computational determination of positions of endpoints of the horizon reflected in the image of the corneal area and positions of endpoints of the horizon projected onto the windshield, determination of vectors connecting the endpoints and a computational determination of intersection points with an initial plane of the vehicle formed by the wheel contact patches relative to an uninclined vehicle body (S7); -determination of a distance between the intersection points and determination of an overlap fraction HRC PCRI of the distance in relation to a roadway width captured by an environmental observation camera and transferred to the initial plane (S9); -computational adjustment of the overlap fraction HRC PCRI by rotating the initial plane relative to the vectors by an adjusted angle of inclination, such that the difference between the overlap fractions of HRC PCRI and HRC CRI is smaller than a predetermined threshold value (S11) and -transmission of the adjusted angle of inclination φ between the initial and rotated planes to vehicle assistance systems for further processing (S13). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Positionen der Fahrerbeobachtungskamera, der Umgebungsbeobachtungskamera, des reflektierten Horizonts sowie der reflektierten Fahrbahnbegrenzungen im Bild des Cornea-Bereichs des Fahrers und des auf die Windschutzscheibe projizierten Horizont in ein gemeinsames, aufbaufestes Koordinatensystem überführt werden.Procedure according to Claim 1 , characterized in that positions of the driver observation camera, the surroundings observation camera, the reflected horizon and the reflected road boundaries in the image of the driver's cornea area and the horizon projected onto the windshield are transferred into a common, body-fixed coordinate system. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bild des Cornea-Bereichs in einer als Ebene ausgeführten Repräsentation entzerrt dargestellt wird.Procedure according to Claim 1 or 2 , characterized in that the image of the cornea area is displayed in a representation executed as a plane in a rectified manner. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Assistenzsystem ein Schweinwerfereinstellsystem, ein Fahrdynamiksystem und/oder ein Fahrwerkverstellsystem umfasst.Method according to one of the Claims 1 until 3 , characterized in that the assistance system comprises a headlight adjustment system, a driving dynamics system and/or a chassis adjustment system. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der angepasste Neigungswinkel mit von an Radaufhängungen mit Lagesensoren bestimmten Werten verglichen und abgeglichen wird.Method according to one of the Claims 1 until 4 , characterized in that the adjusted angle of inclination is compared and adjusted with values determined on wheel suspensions with position sensors. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass der angepasste Neigungswinkel als Ersatzwerte bei Ausfall der Lagesensoren für Assistenzsystem verwendet wird.Method according to one of the Claims 1 until 5 , characterized in that the adjusted inclination angle is used as a substitute value in the event of failure of the position sensors for the assistance system. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der angepasste Neigungswinkel für einen Nick-, Wank- und/oder Gierwinkel bestimmt wird.Method according to one of the Claims 1 until 6 , characterized in that the adjusted inclination angle is determined for a pitch, roll and/or yaw angle. Vorrichtung zur Bestimmung eines durch Bremsen oder Beschleunigung bewirkten Neigungswinkels φ eines Fahrzeugaufbaus (1; 1') relativ zu einer von einer Fahrbahn gebildeten Oberfläche mit: - einer Fahrerbeobachtungskamera (11) eingerichtet zur Bestimmung eines Bildes von Reflektionen im Cornea-Bereich (13) eines Auges eines Fahrers; wobei -eine Auswerteeinheit (12), die aus dem Bild des Cornea-Bereichs reflektierte Fahrbahnbegrenzungen (15') der vorausliegenden Fahrbahn und einen mit einem Head-up Display auf eine Windschutzscheibe (9) des Fahrzeugs projizierten reflektierten Horizonts (7') extrahiert; wobei -die Auswerteeinheit (12) einen Überdeckungsanteil HRCCRI des in dem Bild des Cornea-Bereichs extrahierten Horizonts (7') in Relation zu einer von den extrahierten Fahrbahnbegrenzungen (15') vorgegebenen Fahrbahnbreite ermittelt; - die Auswerteeinheit (12) von durch die Fahrerbeobachtungskamera (11) erfasste Positionen von Endpunkten des in den im Cornea-Bereich (13) reflektierten Horizonts (7') und von Positionen von Endpunkten des auf die Windschutzscheibe (9) projizierten Horizonts (7) bestimmt, die Endpunkte verbindende Vektoren (18) und rechnerisch Schnittpunkten der Vektoren (18) mit einer von den Radaufstandsflächen gebildeten initialen Ebene (19) relativ zu einem ungeneigten Fahrzeugaufbau (1') bestimmt; - die Auswerteeinheit (12) einen Abstand der Schnittpunkte (Bh) bestimmt und einen Überdeckungsanteils HRCPCRI des Abstandes in Relation zu mit einer Umgebungsbeobachtungskamera (21) erfassten auf die initiale Ebene (19) übertragenen Fahrbahnbreite (Bf) ermittelt, - die Auswerteeinheit (12) eine rechnerische Anpassung des Überdeckungsanteils HRCPCRI durch Drehung der initialen Ebene (19) zu den Vektoren (18) um einen angepassten Neigungswinkel φ vornimmt, so dass die Differenz des Überdeckungsanteils von HRCPCRI und HRCCRI kleiner einem vorgegebenen Schwellenwert ist und -die Auswerteeinheit (12) den angepassten Neigungswinkel φ an Fahrzeugassistenzsysteme zur Weiterverarbeitung übermittelt.Device for determining an angle of inclination φ of a vehicle body (1; 1') caused by braking or acceleration relative to a surface formed by a roadway, comprising: - a driver observation camera (11) configured to determine an image of reflections in the corneal region (13) of a driver's eye; wherein - an evaluation unit (12) extracts from the image of the corneal region reflected lane boundaries (15') of the roadway ahead and a reflected horizon (7') projected onto a windshield (9) of the vehicle using a head-up display; wherein - the evaluation unit (12) determines an overlap fraction HRC CRI of the horizon (7') extracted in the image of the corneal region in relation to a roadway width predetermined by the extracted lane boundaries (15'); - the evaluation unit (12) determines positions of end points of the horizon (7') reflected in the cornea area (13) and of positions of end points of the horizon (7) projected onto the windshield (9), detected by the driver observation camera (11), vectors (18) connecting the end points and mathematically intersection points of the vectors (18) with an initial plane (19) formed by the wheel contact surfaces relative to an uninclined vehicle body (1'); - the evaluation unit (12) determines a distance between the intersection points (B h ) and determines an overlap fraction HRC PCRI of the distance in relation to the roadway width (B f ) recorded by an environmental observation camera (21) and transferred to the initial plane (19), - the evaluation unit (12) carries out a mathematical adjustment of the overlap fraction HRC PCRI by rotating the initial plane (19) to the vectors (18) by an adjusted angle of inclination φ, so that the difference between the overlap fraction of HRC PCRI and HRC CRI is smaller than a predetermined threshold value and - the evaluation unit (12) transmits the adjusted angle of inclination φ to vehicle assistance systems for further processing.
DE102024002112.4A 2024-06-27 2024-06-27 Method and device for determining an inclination angle of a vehicle body Active DE102024002112B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102024002112.4A DE102024002112B3 (en) 2024-06-27 2024-06-27 Method and device for determining an inclination angle of a vehicle body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102024002112.4A DE102024002112B3 (en) 2024-06-27 2024-06-27 Method and device for determining an inclination angle of a vehicle body

Publications (1)

Publication Number Publication Date
DE102024002112B3 true DE102024002112B3 (en) 2025-07-17

Family

ID=96172573

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102024002112.4A Active DE102024002112B3 (en) 2024-06-27 2024-06-27 Method and device for determining an inclination angle of a vehicle body

Country Status (1)

Country Link
DE (1) DE102024002112B3 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60309278T2 (en) 2002-12-09 2007-05-31 Valeo Vision Device and method for adjusting the inclination of a vehicle headlight
DE102011114977A1 (en) 2011-07-05 2013-01-10 Wabco Gmbh Device and method for controlling the driving dynamics of a vehicle and vehicle with such a device
EP3159195A1 (en) 2015-10-21 2017-04-26 Continental Automotive GmbH Driver assistance device for a vehicle and method to tare a skew of the vehicle
DE102017211005A1 (en) 2016-12-21 2018-06-21 Hyundai Motor Company DRIVER STATE MONITORING USING CORNEAL REFLECTIONS
DE102020205508A1 (en) 2020-04-30 2021-11-04 Robert Bosch Gesellschaft mit beschränkter Haftung Method and arrangement for registering and evaluating a collision event on a vehicle
JP2023160431A (en) 2022-04-22 2023-11-02 トヨタ自動車株式会社 Driving support device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60309278T2 (en) 2002-12-09 2007-05-31 Valeo Vision Device and method for adjusting the inclination of a vehicle headlight
DE102011114977A1 (en) 2011-07-05 2013-01-10 Wabco Gmbh Device and method for controlling the driving dynamics of a vehicle and vehicle with such a device
EP3159195A1 (en) 2015-10-21 2017-04-26 Continental Automotive GmbH Driver assistance device for a vehicle and method to tare a skew of the vehicle
DE102017211005A1 (en) 2016-12-21 2018-06-21 Hyundai Motor Company DRIVER STATE MONITORING USING CORNEAL REFLECTIONS
DE102020205508A1 (en) 2020-04-30 2021-11-04 Robert Bosch Gesellschaft mit beschränkter Haftung Method and arrangement for registering and evaluating a collision event on a vehicle
JP2023160431A (en) 2022-04-22 2023-11-02 トヨタ自動車株式会社 Driving support device

Similar Documents

Publication Publication Date Title
DE69706021T2 (en) Wheel alignment with a moving video camera
DE112017005111T5 (en) Board display controller
EP1797534B1 (en) Method for detecting an optical structure
DE102018129741A1 (en) Device and method for controlling a display of a vehicle
EP2166510B1 (en) Method for calculating the position and orientation of a camera in a vehicle
DE102020102958A1 (en) LANE POSITION DETECTION AND TRACKING IN A VEHICLE
WO2011063785A1 (en) Method for estimating the roll angle in a travelling vehicle
DE102016106298A9 (en) Fusion method for a cross traffic application using radar devices and a camera
DE10251949A1 (en) Driving dynamics regulation method in motor vehicle, involves image sensor system generating image information from vehicle's surroundings using stereo camera
DE112015004628B4 (en) Imaging device and imaging method
DE102008031784A1 (en) Method and apparatus for distortion correction and image enhancement of a vehicle rearview system
DE102015223176A1 (en) Method and device for determining occlusion areas in the vehicle environment of a vehicle
EP3351450A1 (en) Method and driver assistance system for determining dynamic driving states in a commercial vehicle
DE112017007347T5 (en) OBJECT DETECTION DEVICE AND VEHICLE
DE102017209427B3 (en) Device for driving safety hoses
DE102017109445A1 (en) Calibration of a vehicle camera device in the vehicle longitudinal direction or vehicle transverse direction
DE102016217637A1 (en) Odometry method for determining a position of a motor vehicle, control device and motor vehicle
WO2019233687A1 (en) Concept for providing correction values for displaying augmented reality content on a head-up display for a motor vehicle
DE112015002764T5 (en) Mounting angle adjustment method and on-board camera mounting angle detection device
DE102019219386A1 (en) Method for calibrating image data of an imaging system for a vehicle combination
DE102019114404A1 (en) Image acquisition system
DE102024002112B3 (en) Method and device for determining an inclination angle of a vehicle body
DE10115043A1 (en) Calibration method for vehicle-mounted camera system uses evaluation of reference body image provided by camera for correcting misaligment of camera axis
DE102017003629A1 (en) Device and method for calibrating optical sensors of a vehicle
DE112015005317B4 (en) IMAGE CONVERSION DEVICE AND IMAGE CONVERSION METHOD

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division