[go: up one dir, main page]

DE102021005212B4 - Method for adapting a calibration of a driver observation sensor of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such calibration device - Google Patents

Method for adapting a calibration of a driver observation sensor of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such calibration device Download PDF

Info

Publication number
DE102021005212B4
DE102021005212B4 DE102021005212.9A DE102021005212A DE102021005212B4 DE 102021005212 B4 DE102021005212 B4 DE 102021005212B4 DE 102021005212 A DE102021005212 A DE 102021005212A DE 102021005212 B4 DE102021005212 B4 DE 102021005212B4
Authority
DE
Germany
Prior art keywords
driver
calibration
observation sensor
sensor
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102021005212.9A
Other languages
German (de)
Other versions
DE102021005212A1 (en
Inventor
Christian Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Priority to DE102021005212.9A priority Critical patent/DE102021005212B4/en
Publication of DE102021005212A1 publication Critical patent/DE102021005212A1/en
Application granted granted Critical
Publication of DE102021005212B4 publication Critical patent/DE102021005212B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zum Anpassen einer Kalibrierung eines Fahrerbeobachtungssensors (7) eines Kraftfahrzeugs (1), wobei- mittels eines Umfeldsensors (5) eine Mehrzahl von Umfeldaufnahmen (11) aufgenommen werden, wobei- in mindestens zwei Umfeldaufnahmen (11) der Mehrzahl an Umfeldaufnahmen (11) mindestens ein Objekt (19) erkannt wird und eine Objektverfolgung des mindestens einen erkannten Objekts (19) durchgeführt wird, wobei- mittels des Fahrerbeobachtungssensors (7) bestimmt wird, ob ein Fahrer des Kraftfahrzeugs (1) das erkannte Objekt (19) beobachtet, wobei- falls der Fahrer das erkannte Objekt (19) beobachtet, für jeden Sichtstrahl (13) einer Mehrzahl an mittels des Fahrerbeobachtungssensors (7) bestimmten Sichtstrahlen (13) bestimmt wird, ob ein Schnittpunkt (23) des Sichtstrahls (13) mit dem beobachteten Objekt (19) vorliegt, wobei- basierend auf der Mehrzahl an Sichtstrahlen (13) die Kalibrierung des Fahrerbeobachtungssensors (7) bewertet und/oder angepasst wird.Method for adapting a calibration of a driver observation sensor (7) of a motor vehicle (1), wherein - a plurality of surroundings recordings (11) are recorded by means of a surroundings sensor (5), wherein - in at least two surroundings recordings (11) of the plurality of surroundings recordings (11) at least one object (19) is detected and object tracking of the at least one detected object (19) is carried out, using the driver observation sensor (7) to determine whether a driver of the motor vehicle (1) is observing the detected object (19), wherein - if the driver observes the detected object (19), for each visual beam (13) of a plurality of visual beams (13) determined by means of the driver observation sensor (7), it is determined whether an intersection (23) of the visual beam (13) with the observed object (19) is present, the calibration of the driver observation sensor (7) being evaluated and/or adjusted based on the plurality of visual beams (13).

Description

Die Erfindung betrifft ein Verfahren zum Anpassen einer Kalibrierung eines Fahrerbeobachtungssensors eines Kraftfahrzeugs, eine Steuervorrichtung zur Durchführung eines solchen Verfahrens, eine Kalibrierungsvorrichtung mit einer solchen Steuervorrichtung und ein Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung.The invention relates to a method for adapting a calibration of a driver observation sensor of a motor vehicle, a control device for carrying out such a method, a calibration device with such a control device and a motor vehicle with such a calibration device.

Ein Kraftfahrzeug weist eine Mehrzahl an Assistenzsystemen und/oder Assistenzfunktionen auf, die einen Fahrer des Kraftfahrzeugs beim Fahren unterstützen und insbesondere die Sicherheit erhöhen. Ein solches Assistenzsystem und/oder eine solche Assistenzfunktion ist ein Head-Up-Display, welches Informationen zu Objekten im Umfeld des Kraftfahrzeugs - insbesondere zu vorausfahrenden Kraftfahrzeugen - in ein Sichtfeld des Fahrers einblendet. Um die Informationen an den korrekten Positionen im Sichtfeld des Fahrers einzublenden ist es notwendig, den Fahrer, insbesondere einen Kopf des Fahrers, exakt zu vermessen und eine Blickrichtung des Fahrers zu bestimmen. Insbesondere wird dafür ein Fahrerbeobachtungssensor genutzt. Für diesen Fahrerbeobachtungssensor ist es zusätzlich notwendig, eine räumliche Anordnung und eine räumliche Ausrichtung zu kennen und damit eine Kalibrierung des Fahrerbeobachtungssensors zu bestimmen und/oder anzupassen. Eine solche Bestimmung und/oder Anpassung der Kalibrierung ist zum einen beim Einbau des Fahrerbeobachtungssensors notwendig. Weiterhin kann sich die räumliche Anordnung und die räumliche Ausrichtung des Fahrerbeobachtungssensors auf Grund von Umwelteinflüssen und/oder Alterungserscheinungen verändern, sodass zum anderen eine Anpassung der Kalibrierung des Fahrerbeobachtungssensors im laufenden Betrieb des Kraftfahrzeugs notwendig ist.A motor vehicle has a number of assistance systems and/or assistance functions which support a driver of the motor vehicle when driving and in particular increase safety. Such an assistance system and/or such an assistance function is a head-up display, which displays information about objects in the area surrounding the motor vehicle—in particular about vehicles driving ahead—into the driver's field of vision. In order to display the information at the correct positions in the driver's field of vision, it is necessary to precisely measure the driver, in particular a driver's head, and to determine the driver's viewing direction. In particular, a driver observation sensor is used for this. For this driver observation sensor, it is also necessary to know a spatial arrangement and a spatial orientation and thus to determine and/or adapt a calibration of the driver observation sensor. Such a determination and/or adjustment of the calibration is necessary when installing the driver observation sensor. Furthermore, the spatial arrangement and the spatial alignment of the driver observation sensor can change due to environmental influences and/or aging phenomena, so that on the other hand an adjustment of the calibration of the driver observation sensor is necessary while the motor vehicle is in operation.

Es sind Verfahren zum Bestimmen und/oder Anpassen der Kalibrierung des Fahrerbeobachtungssensors bekannt, bei denen, insbesondere bei der Produktion des Kraftfahrzeugs, mittels eines zusätzlichen Kalibriertargets die räumliche Anordnung und die räumliche Ausrichtung des Fahrerbeobachtungssensors bestimmt wird. Nachteilig daran ist, dass diese Verfahren zusätzliche Elemente, insbesondere die Kalibriertargets, benötigen, um eine Bestimmung und/oder Anpassung der Kalibrierung durchzuführen. Darüber hinaus kann ein solches Verfahren nicht im laufenden Betrieb, sondern insbesondere nur in einer Werkstatt, durchgeführt werden.Methods for determining and/or adjusting the calibration of the driver observation sensor are known, in which, particularly during production of the motor vehicle, the spatial arrangement and the spatial orientation of the driver observation sensor are determined using an additional calibration target. The disadvantage of this is that these methods require additional elements, in particular the calibration targets, in order to carry out a determination and/or adjustment of the calibration. In addition, such a method cannot be carried out during operation, but in particular only in a workshop.

Weiterhin sind Verfahren zum Bestimmen und/oder Anpassen der Kalibrierung des Fahrerbeobachtungssensors bekannt, bei denen mittels Markierungen in einem Innenraum des Kraftfahrzeugs die räumliche Anordnung und die räumliche Ausrichtung des Fahrerbeobachtungssensors bestimmt wird. Nachteilig daran ist, dass diese Verfahren nur dann durchgeführt werden können, falls die Markierungen mit dem Fahrerbeobachtungssensor erfasst werden. Sobald eine Markierung von dem Fahrer des Kraftfahrzeugs verdeckt wird, sind diese Verfahren nicht mehr robust durchführbar. Damit sind die Verfahren abhängig von einer Größe und einer Sitzposition des Fahrers in dem Kraftfahrzeug.Furthermore, methods for determining and/or adjusting the calibration of the driver observation sensor are known, in which the spatial arrangement and the spatial orientation of the driver observation sensor are determined by means of markings in an interior of the motor vehicle. The disadvantage of this is that these methods can only be carried out if the markings are detected with the driver observation sensor. As soon as a marking is covered by the driver of the motor vehicle, these methods can no longer be carried out in a robust manner. The methods are therefore dependent on the size and seating position of the driver in the motor vehicle.

In der US 20170001648 A1 werden ein Verfahren und eine Vorrichtung zur Erkennung des sicheren Fahrzustands eines Fahrers beschrieben. Die Vorrichtung umfasst eine Recheneinheit, eine Blickerfassungseinheit zur Erfassung eines Fahrerblicks, sowie eine nach vorne gerichtete Kamera zur Erfassung einer dem Fahrzeug vorausliegenden Straßenszene. Die Blickerfassungseinheit und die nach vorne gerichtete Kamera werden so kalibriert, dass eine auf Basis der Blickerfassungseinheit erfasste Position eines Objekts und eine durch die nach vorne gerichtete Kamera erfasste Position des Objekts übereinstimmen. Die Kalibrierung erfolgt anhand mehrerer manuell in der Fahrzeugumgebung angeordneter Kalibrierobjekte und unter Anleitung einer Hilfsperson, wobei die Blickerfassungseinheit den Fahrerblick erfasst während der Fahrer auf einem Bildschirm in Bildern der nach vorne gerichteten Kamera ein vorgegebenes Objekt an unterschiedlichen Positionen betrachtet. Während der Fahrer angeleitet wird und unterschiedliche Objekte innerhalb einer Szene betrachtet wird der auf Basis der Blickerfassungseinheit abgeschätzte Fahrerblick in Echtzeitbildern der nach vorne gerichteten Kamera dargestellt und dabei überwacht, ob innerhalb vorgegebener Toleranzen Objektüberlagerungen auftreten und ggf. die Kalibrierung beendet wird oder andernfalls eine erneute Kalibrierung durchgeführt werden muss.In the US20170001648A1 a method and a device for detecting the safe driving condition of a driver are described. The device includes a computing unit, a gaze detection unit for detecting a driver's gaze, and a forward-facing camera for detecting a street scene ahead of the vehicle. The eye tracking unit and the front-facing camera are calibrated such that a position of an object captured based on the eye tracking unit and a position of the object captured by the front-facing camera match. The calibration is carried out using several calibration objects arranged manually in the vehicle environment and under the guidance of an assistant, with the gaze detection unit capturing the driver's gaze while the driver views a given object at different positions on a screen in images from the forward-facing camera. While the driver is being instructed and viewing different objects within a scene, the driver's gaze, which is estimated on the basis of the gaze detection unit, is displayed in real-time images from the forward-facing camera, and it is monitored whether object superimpositions occur within specified tolerances and, if necessary, the calibration is ended or, if not, a new calibration is carried out must be carried out.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zum Anpassen der Kalibrierung eines Fahrerbeobachtungssensors eines Kraftfahrzeugs, eine Steuervorrichtung zur Durchführung eines solchen Verfahrens, eine Kalibrierungsvorrichtung mit einer solchen Steuervorrichtung und ein Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.The invention is therefore based on the object of creating a method for adapting the calibration of a driver observation sensor of a motor vehicle, a control device for carrying out such a method, a calibration device with such a control device and a motor vehicle with such a calibration device, the disadvantages mentioned being at least partially eliminated , are preferably avoided.

Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.The object is achieved by providing the present technical teaching, in particular the teaching of the independent claims and the embodiments disclosed in the dependent claims and the description.

Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zum Anpassen der Kalibrierung eines Fahrerbeobachtungssensors eines Kraftfahrzeugs geschaffen wird. Mittels eines Umfeldsensors werden eine Mehrzahl von Umfeldaufnahmen aufgenommen, wobei in mindestens zwei Umfeldaufnahmen der Mehrzahl an Umfeldaufnahmen mindestens ein Objekt erkannt und eine Objektverfolgung des mindestens einen erkannten Objekts durchgeführt wird. Weiterhin wird mittels des Fahrerbeobachtungssensors bestimmt, ob ein Fahrer des Kraftfahrzeugs das erkannte Objekt beobachtet. Falls der Fahrer das erkannte Objekt beobachtet, wird für jeden Sichtstrahl einer Mehrzahl an mittels des Fahrerbeobachtungssensors bestimmten Sichtstrahlen bestimmt, ob ein Schnittpunkt des Sichtstrahls mit dem beobachteten Objekt vorliegt. Basierend auf der Mehrzahl an Sichtstrahlen wird eine Kalibrierung des Fahrerbeobachtungssensors bewertet und/oder angepasst.The object is achieved in particular by providing a method for adjusting the calibration of a driver observation sensor of a motor vehicle. Using an environment sensor a plurality of surrounding area recordings are recorded, at least one object being recognized in at least two surrounding area recordings of the plurality of surrounding area recordings and an object tracking of the at least one recognized object being carried out. Furthermore, the driver observation sensor is used to determine whether a driver of the motor vehicle is observing the detected object. If the driver observes the detected object, it is determined for each line of sight of a plurality of line of sight determined by means of the driver observation sensor whether an intersection point of the line of sight exists with the observed object. A calibration of the driver observation sensor is evaluated and/or adjusted based on the plurality of visual beams.

Vorteilhafterweise ist es damit möglich, eine Kalibrierung des Fahrerbeobachtungssensors unabhängig von Kalibriertargets und unabhängig von Markierungen im Innenraum des Kraftfahrzeugs zu bewerten und/oder anzupassen. Weiterhin ist die Bewertung und/oder Anpassung der Kalibrierung unabhängig von der Größe und der Sitzposition des Fahrers des Kraftfahrzeugs.It is thus advantageously possible to evaluate and/or adapt a calibration of the driver observation sensor independently of calibration targets and independently of markings in the interior of the motor vehicle. Furthermore, the evaluation and/or adjustment of the calibration is independent of the size and the seat position of the driver of the motor vehicle.

Darüber hinaus ist es mittels des Verfahrens vorteilhaft möglich, eine Kalibrierung unabhängig von einer Wettersituation und unabhängig von einer Umgebungshelligkeit des Kraftfahrzeugs zu bewerten und/oder anzupassen.In addition, it is advantageously possible using the method to evaluate and/or adapt a calibration independently of a weather situation and independently of the ambient brightness of the motor vehicle.

Weiterhin ist das Verfahren vorteilhafterweise unabhängig von Eigenschaften des Umfeldsensors, von der Geschwindigkeit des Kraftfahrzeugs und/oder Odometriedaten des Kraftfahrzeugs.Furthermore, the method is advantageously independent of properties of the environment sensor, of the speed of the motor vehicle and/or odometry data of the motor vehicle.

Im Kontext der vorliegenden technischen Lehre ist eine räumliche Anordnung des Umfeldssensors - insbesondere eine Position im dreidimensionalen Raum - und eine räumliche Ausrichtung des Umfeldsensors - insbesondere ein Nickwinkel des Umfeldsensors, ein Rollwinkel des Umfeldsensors und ein Gierwinkel des Umfeldsensors - softwaretechnisch gespeichert.In the context of the present technical teaching, a spatial arrangement of the surroundings sensor - in particular a position in three-dimensional space - and a spatial orientation of the surroundings sensor - in particular a pitch angle of the surroundings sensor, a roll angle of the surroundings sensor and a yaw angle of the surroundings sensor - are stored in software.

Vorzugsweise wird als Umfeldsensor ein Sensor, ausgewählt aus einer Gruppe, bestehend aus einem SFM-Vision-Sensor, einem USS-Sensor, einem Radar-Sensor und einem Lidar-Sensor, verwendet.A sensor selected from a group consisting of an SFM vision sensor, a USS sensor, a radar sensor and a lidar sensor is preferably used as the environment sensor.

Im Kontext der vorliegenden technischen Lehre ist ein SFM-Vision-Sensor ein optischer Sensor, welcher mittels einer Mehrzahl an insbesondere zeitversetzt aufgenommenen Bildern und eines „Structure from Motion“-Verfahrens (SFM) 3D Informationen berechnet.In the context of the present technical teaching, an SFM vision sensor is an optical sensor which calculates 3D information using a plurality of images, in particular recorded with a time delay, and a “Structure from Motion” method (SFM).

Insbesondere ist jede Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen eine dreidimensionale Aufnahme, die Breiteninformationen, Höheninformationen und Tiefeninformationen aufweist. In einer bevorzugten Ausgestaltung wird jede Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen in eine zweidimensionale Aufnahme überführt, wobei die zweidimensionale Aufnahme die Breiteninformationen und Tiefeninformationen aufweist und die Höheninformationen nicht berücksichtigt werden. Vorzugsweise werden die Mehrzahl an Umfeldaufnahmen zeitlich nacheinander aufgenommen.In particular, each surrounding area recording of the plurality of surrounding area recordings is a three-dimensional recording that has width information, height information and depth information. In a preferred embodiment, each environment image of the plurality of environment images is converted into a two-dimensional image, the two-dimensional image having the width information and depth information and the height information is not taken into account. The plurality of surroundings recordings are preferably recorded one after the other.

Vorzugsweise wird als Fahrerbeobachtungssensor ein optischer Sensor, insbesondere eine Kamera, verwendet. Besonders bevorzugt werden mittels des Fahrerbeobachtungssensors zweidimensionale Aufnahmen erstellt.An optical sensor, in particular a camera, is preferably used as the driver observation sensor. Two-dimensional recordings are particularly preferably created using the driver observation sensor.

Im Kontext der vorliegenden technischen Lehre ist eine räumliche Anordnung des Fahrerbeobachtungssensors - insbesondere eine Position im dreidimensionalen Raum - und eine räumliche Ausrichtung des Fahrerbeobachtungssensors - insbesondere ein Nickwinkel des Fahrerbeobachtungssensors, ein Rollwinkel des Fahrerbeobachtungssensors und ein Gierwinkel des Fahrerbeobachtungssensors - softwaretechnisch gespeichert.In the context of the present technical teaching, a spatial arrangement of the driver observation sensor - in particular a position in three-dimensional space - and a spatial alignment of the driver observation sensor - in particular a pitch angle of the driver observation sensor, a roll angle of the driver observation sensor and a yaw angle of the driver observation sensor - are stored in software.

Insbesondere ist der Sichtstrahl eine Halbgerade, welche sich ausgehend von dem Fahrer des Kraftfahrzeugs, insbesondere einem Augenbereich des Fahrers, in Richtung einer Blickrichtung des Fahrers des Kraftfahrzeugs erstreckt.In particular, the line of sight is a half straight line, which extends from the driver of the motor vehicle, in particular an area of the driver's eyes, in the direction of a viewing direction of the driver of the motor vehicle.

Besonders bevorzugt wird die Blickrichtung des Fahrers mittels des Fahrerbeobachtungssensors und insbesondere mittels eines auf Purkinje-Bildern basierenden Augen-Verfolgungs-Verfahrens ermittelt. Ein solches auf Purkinje-Bildern basierendes Augen-Verfolgungs-Verfahren ist insbesondere in SIGUT, J., SIDHA, S.-A.: „Iris center corneal reflection method for gaze tracking using visible light“, in: IEEE Transactions on Bio-Medical Engineering, 58, Febr. 2011, 2, Seiten 411 - 419, ISSN 0018-9294, veröffentlicht.The driver's viewing direction is particularly preferably determined by means of the driver observation sensor and in particular by means of an eye-tracking method based on Purkinje images. Such an eye tracking method based on Purkinje images is described in particular in SIGUT, J., SIDHA, S.-A.: "Iris center corneal reflection method for gaze tracking using visible light", in: IEEE Transactions on Bio-Medical Engineering, 58, Febr. 2011, 2, pages 411-419, ISSN 0018-9294.

In einer bevorzugten Ausgestaltung des Verfahrens werden eine Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen und ein Sichtstrahl der Mehrzahl an Sichtstrahlen, insbesondere eine Blickrichtung des Fahrers, gleichzeitig bestimmt. Alternativ oder zusätzlich werden besonders bevorzugt in einem Zeitintervall zwischen einer ersten Umfeldaufnahme und einer zweiten Umfeldaufnahme mindestens ein Sichtstrahl, vorzugsweise mindestens zwei Sichtstrahlen, vorzugsweise mindestens drei Sichtstrahlen, vorzugsweise mindestens fünf Sichtstrahlen, vorzugsweise mindestens 10 Sichtstrahlen, erfasst. Vorzugsweise werden die Sichtstrahlen, welche in dem Zeitintervall zwischen der ersten Umfeldaufnahme und der zweiten Umfeldaufnahme erfasst werden, der ersten Umfeldaufnahme zugeordnet. Alternativ werden vorzugsweise die Lichtstrahlen, welche in dem Zeitintervall zwischen der ersten Umfeldaufnahme und der zweiten Umfeldaufnahme erfasst werden, der zweiten Umfeldaufnahme zugeordnet.In a preferred embodiment of the method, a picture of the surroundings of the plurality of pictures of the surroundings and a line of sight of the plurality of lines of sight, in particular a viewing direction of the driver, are determined simultaneously. Alternatively or additionally, in a time interval between a first environmental recording and a second environmental recording, at least one visual beam, preferably at least two visual beams, preferably at least three visual beams, preferably at least five visual beams, preferably at least 10 visual beams, detected. Preferably, the lines of sight, which are recorded in the time interval between the first environment image and the second environment image, are assigned to the first environment image. Alternatively, the light beams that are recorded in the time interval between the first environmental image and the second environmental image are preferably assigned to the second environmental image.

Insbesondere wird jeder Sichtstrahl der Mehrzahl an Sichtstrahlen genau einer Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen zugeordnet.In particular, each line of sight of the plurality of lines of sight is assigned to precisely one image of the surroundings of the plurality of photographs of the surroundings.

Vorzugsweise wird ein sogenanntes Ray-Casting-Verfahren durchgeführt, um zu bestimmen, ob ein Sichtstrahl das beobachtete Objekt schneidet. Insbesondere werden für das Ray-Casting-Verfahren die räumliche Anordnung des Umfeldssensors - insbesondere die Position im dreidimensionalen Raum -, die räumliche Ausrichtung des Umfeldsensors - insbesondere der Nickwinkel des Umfeldsensors, der Rollwinkel des Umfeldsensors und der Gierwinkel des Umfeldsensors -, die räumliche Anordnung des Fahrerbeobachtungssensors - insbesondere die Position im dreidimensionalen Raum - und die räumliche Ausrichtung des Fahrerbeobachtungssensors - insbesondere der Nickwinkel des Fahrerbeobachtungssensors, der Rollwinkel des Fahrerbeobachtungssensors und der Gierwinkel des Fahrerbeobachtungssensors - verwendet, um das beobachtete Objekt und den Sichtstrahl in einem insbesondere gemeinsamen Koordinatensystem zu betrachten. In diesem insbesondere gemeinsamen Koordinatensystem wird eine Ausbreitung von mindestens einem Sichtstrahl der Mehrzahl an Sichtstrahlen analysiert und geprüft, ob der mindestens eine Sichtstrahl das beobachtete Objekt schneidet.A so-called ray-casting method is preferably carried out in order to determine whether a line of sight intersects the observed object. In particular, the spatial arrangement of the environment sensor - in particular the position in three-dimensional space -, the spatial orientation of the environment sensor - in particular the pitch angle of the environment sensor, the roll angle of the environment sensor and the yaw angle of the environment sensor -, the spatial arrangement of the Driver observation sensor - in particular the position in three-dimensional space - and the spatial orientation of the driver observation sensor - in particular the pitch angle of the driver observation sensor, the roll angle of the driver observation sensor and the yaw angle of the driver observation sensor - used to view the observed object and the line of sight in a particular common coordinate system. A propagation of at least one line of sight of the plurality of line of sight is analyzed in this particularly common coordinate system and it is checked whether the at least one line of sight intersects the observed object.

Besonders bevorzugt werden die softwaretechnisch hinterlegten Werte der räumlichen Anordnung des Fahrerbeobachtungssensors bei der Anpassung der Kalibrierung des Fahrerbeobachtungssensors rechnerisch variiert. Alternativ oder zusätzlich werden besonders bevorzugt die softwaretechnisch hinterlegten Werte der räumlichen Ausrichtung des Fahrerbeobachtungssensors bei der Anpassung der Kalibrierung des Fahrerbeobachtungssensors rechnerisch variiert.The values of the spatial arrangement of the driver observation sensor stored in the software are particularly preferably varied by calculation when the calibration of the driver observation sensor is adjusted. As an alternative or in addition, the values of the spatial orientation of the driver observation sensor stored in the software are particularly preferably varied by calculation when the calibration of the driver observation sensor is adjusted.

Insbesondere werden die Informationen des Fahrerbeobachtungssensors, insbesondere die Blickrichtung des Fahrers, genutzt, um mindestens ein Visualisierungselement eines Head-Up-Displays korrekt darzustellen. Vorzugsweise ist das mindestens eine Visualisierungselement eine farbliche Markierung, die ein dem Kraftfahrzeug vorausfahrendes Fahrzeug, insbesondere Kraftfahrzeug, insbesondere farblich markiert. Besonders bevorzugt ist das mindestens eine Visualisierungselement eine farbliche Markierung, die ein Fahrzeug, welches als Referenz für eine adaptive Geschwindigkeitsregelung, auch ACC genannt, genutzt wird, insbesondere farblich markiert.In particular, the information from the driver observation sensor, in particular the driver's line of sight, is used to correctly display at least one visualization element of a head-up display. Preferably, the at least one visualization element is a color marking that marks a vehicle, in particular a motor vehicle, driving ahead of the motor vehicle, in particular in color. Particularly preferably, the at least one visualization element is a colored marking that marks a vehicle, which is used as a reference for adaptive cruise control, also known as ACC, in particular in color.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass anhand der Objektverfolgung eine Objekttrajektorie bestimmt wird. Zusätzlich werden mittels des Fahrerbeobachtungssensors eine Mehrzahl von Fahreraufnahmen des Fahrers aufgenommen, wobei mittels der Mehrzahl an Fahreraufnahmen eine Sichttrajektorie des Fahrers bestimmt wird. Anschließend wird die Objekttrajektorie mit der Sichttrajektorie verglichen, wobei basierend auf dem Vergleich bestimmt wird, ob der Fahrer das erkannte Objekt beobachtet.According to a development of the invention, it is provided that an object trajectory is determined on the basis of the object tracking. In addition, a plurality of driver recordings of the driver are recorded by means of the driver observation sensor, a visual trajectory of the driver being determined by means of the plurality of driver recordings. The object trajectory is then compared to the vision trajectory, and based on the comparison it is determined whether the driver is observing the detected object.

In einer bevorzugten Ausführungsform des Verfahrens werden die mittels des Fahrerbeobachtungssensors bestimmten Sichtstrahlen zu Clustern gruppiert. Vorzugsweise wird ein vorbestimmter Öffnungswinkel eines Sichtkegels vorgegeben. Alternativ oder zusätzlich werden vorzugsweise die Sichtstrahlen derart zu Clustern gruppiert, dass alle Sichtstrahlen eines Clusters in einem dem jeweiligen Cluster zugeordneten Sichtkegel mit dem vorbestimmten Öffnungswinkel liegen. Besonders bevorzugt wird anhand der einem Cluster zugeordneten Sichtstrahlen jeweils eine Sichttrajektorie erstellt.In a preferred embodiment of the method, the visual beams determined by means of the driver observation sensor are grouped into clusters. A predetermined opening angle of a viewing cone is preferably specified. Alternatively or additionally, the visual beams are preferably grouped into clusters in such a way that all visual beams of a cluster lie in a visual cone associated with the respective cluster and having the predetermined opening angle. A visual trajectory is particularly preferably created on the basis of the visual beams assigned to a cluster.

Insbesondere kann die Sichttrajektorie mit einer ersten Objekttrajektorie eines ersten erkannten Objekts und mit einer zweiten Objekttrajektorie eines zweiten erkannten Objekts verglichen werden. Anhand der Vergleiche kann bestimmt werden, ob und welches der erkannten Objekte, insbesondere das erste erkannte Objekt oder das zweite erkannte Objekt, von dem Fahrer beobachtet wird.In particular, the viewing trajectory can be compared to a first object trajectory of a first identified object and to a second object trajectory of a second identified object. The comparisons can be used to determine whether and which of the detected objects, in particular the first detected object or the second detected object, is being observed by the driver.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass in mindestens zwei Fahreraufnahmen der Mehrzahl an Fahreraufnahmen eine Pupille des Fahrers gesucht wird. Vorzugsweise wird anhand der erkannten Pupille des Fahrers die Sichttrajektorie bestimmt.According to one development of the invention, it is provided that a pupil of the driver is sought in at least two driver images of the plurality of driver images. The visual trajectory is preferably determined based on the recognized pupil of the driver.

In einer weiteren bevorzugten Ausführungsform des Verfahrens werden die Positionen der erkannten Pupille des Fahrers zu Clustern gruppiert. Vorzugsweise wird eine vorbestimmte Clusterbreite vorgegeben.In a further preferred embodiment of the method, the positions of the identified pupil of the driver are grouped into clusters. A predetermined cluster width is preferably specified.

Vorzugsweise werden die Positionen der erkannten Pupille derart zu Clustern gruppiert, dass alle Positionen der Pupille eines Clusters einen horizontalen Abstand zueinander aufweisen, der kleiner ist als die vorbestimmte Clusterbreite. Besonders bevorzugt wird anhand der einem Cluster zugeordneten Positionen der Pupille eine Sichttrajektorie erstellt.The positions of the identified pupil are preferably grouped into clusters in such a way that all positions of the pupil of a cluster have a horizontal distance from one another that is smaller than the predetermined cluster width. It is particularly preferred to use the assigned to a cluster created a visual trajectory from the correct positions of the pupil.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Anpassung der Kalibrierung des Fahrerbeobachtungssensors durchgeführt wird, falls mindestens ein Sichtstrahl nicht das beobachtete Objekt schneidet.According to a development of the invention, it is provided that the calibration of the driver observation sensor is adjusted if at least one line of sight does not intersect the observed object.

Vorteilhafterweise kann damit selbst bei einer kleinen Abweichung eines Sichtstrahls der Mehrzahl an Sichtstrahlen von einem erwarteten Verlauf des Sichtstrahls im laufenden Betrieb die Anpassung der Kalibrierung des Fahrerbeobachtungssensors initiiert werden.Advantageously, the adjustment of the calibration of the driver monitoring sensor can thus be initiated even if there is a small deviation of a visual beam of the plurality of visual beams from an expected path of the visual beam during operation.

Insbesondere wird hierfür angenommen, dass, falls der Fahrer das erkannte Objekt beobachtet, alle Sichtstrahlen der Mehrzahl an Sichtstrahlen das erkannte Objekt schneiden. Somit wird insbesondere angenommen, dass, falls mindestens ein Sichtstrahl nicht das beobachtete Objekt schneidet, der Fahrerbeobachtungssensor und damit insbesondere die softwaretechnisch hinterlegten Werte der räumlichen Anordnung und/oder der räumlichen Ausrichtung des Fahrerbeobachtungssensors fehlerhaft gespeichert sind.In particular, it is assumed here that if the driver observes the recognized object, all visual rays of the plurality of visual rays intersect the recognized object. It is therefore particularly assumed that if at least one line of sight does not intersect the observed object, the driver observation sensor and thus in particular the values of the spatial arrangement and/or the spatial orientation of the driver observation sensor stored by the software are stored incorrectly.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass bei der Anpassung der Kalibrierung eine erste Metrik als ein Verhältnis von Sichtstrahlen, die das beobachtete Objekt schneiden, zu der Gesamtzahl der Mehrzahl an Sichtstrahlen berechnet wird. Mittels der ersten Metrik wird die Kalibrierung des Fahrerbeobachtungssensors bewertet.According to a further development of the invention, it is provided that when the calibration is adjusted, a first metric is calculated as a ratio of visual beams that intersect the observed object to the total number of the plurality of visual beams. The calibration of the driver observation sensor is evaluated using the first metric.

In einer bevorzugten Ausgestaltung wird für mindestens eine Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen ein Ray-Casting-Verfahren derart durchgeführt, dass für alle Sichtstrahlen, die der mindestens einen Umfeldaufnahme zugeordnet sind, geprüft wird, ob die Sichtstrahlen das beobachtete Objekt in der mindestens einen Umfeldaufnahme schneiden. Anschließend wird für die mindestens eine Umfeldaufnahme das Verhältnis von Sichtstrahlen, die das beobachtete Objekt schneiden, zu der Gesamtzahl der Mehrzahl an Sichtstrahlen, die der mindestens einen Umfeldaufnahme zugeordnet sind, berechnet. Insbesondere nimmt dieses Verhältnis einen Wert von 0 bis 1 an, wobei bei 0 kein Sichtstrahl das beobachtete Objekt schneidet und bei 1 jeder Sichtstrahl das beobachtete Objekt schneidet. Zusätzlich wird besonders bevorzugt dieses Verhältnis für jede Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen berechnet, wobei vorzugsweise ein Mittelwert der Mehrzahl an Werten des Verhältnisses berechnet wird.In a preferred embodiment, a ray-casting method is carried out for at least one environmental recording of the plurality of environmental recordings in such a way that it is checked for all visual rays that are assigned to the at least one environmental recording as to whether the visual rays intersect the observed object in the at least one environmental recording . The ratio of visual rays that intersect the observed object to the total number of the plurality of visual rays that are associated with the at least one environmental photograph is then calculated for the at least one environmental photograph. In particular, this ratio takes a value from 0 to 1, where at 0 no line of sight intersects the observed object and at 1 every line of sight intersects the observed object. In addition, this ratio is particularly preferably calculated for each surrounding area recording of the plurality of surrounding area recordings, with a mean value of the plurality of values of the ratio preferably being calculated.

Insbesondere ist die Kalibrierung des Fahrerbeobachtungssensors besser, je näher der Wert des Verhältnisses oder der Mittelwert der Mehrzahl an Werten des Verhältnisses an dem Wert 1 liegt.In particular, the closer the value of the ratio or the average of the plurality of values of the ratio is to the value 1, the better the calibration of the driver observation sensor.

Vorzugsweise wird das Verfahren beendet, wenn der Wert der ersten Metrik größer ist als ein erster vorbestimmter Schwellenwert.Preferably, the method is terminated when the value of the first metric is greater than a first predetermined threshold.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass bei der Anpassung der Kalibrierung eine örtliche Soll-Verteilung der Schnittpunkte der Sichtstrahlen mit dem beobachteten Objekt vorgegeben wird. Zusätzlich wird eine örtliche Ist-Verteilung der Schnittpunkte der Sichtstrahlen mit dem erkannten Objekt berechnet. Weiterhin wird eine zweite Metrik als eine örtliche Verschiebung der örtlichen Soll-Verteilung zu der örtlichen Ist-Verteilung berechnet, wobei mittels der zweiten Metrik die Kalibrierung des Fahrerbeobachtungssensors bewertet wird.According to a development of the invention, it is provided that when the calibration is adjusted, a local target distribution of the intersection points of the visual beams with the observed object is specified. In addition, a local actual distribution of the points of intersection of the visual beams with the detected object is calculated. Furthermore, a second metric is calculated as a local shift of the local target distribution to the local actual distribution, the calibration of the driver observation sensor being evaluated using the second metric.

Insbesondere ist die Kalibrierung des Fahrerbeobachtungssensors besser, je näher der Wert der örtlichen Verschiebung der örtlichen Soll-Verteilung zu der örtlichen Ist-Verteilung an dem Wert 0 liegt.In particular, the calibration of the driver observation sensor is better the closer the value of the local offset of the local target distribution to the local actual distribution is to the value 0.

In einer bevorzugten Ausgestaltung wird für mindestens eine Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen, der vorzugsweise eine Mehrzahl an Sichtstrahlen zugeordnet ist, eine örtliche Ist-Verteilung berechnet. Insbesondere werden für die Mehrzahl an Sichtstrahlen Schnittpunkte der Sichtstrahlen mit dem beobachteten Objekt bestimmt. Weiterhin wird insbesondere die örtliche Ist-Verteilung der Schnittpunkte berechnet, indem die örtliche Soll-Verteilung derart horizontal verschoben wird, dass eine örtliche Verteilung der bestimmten Schnittpunkte interpoliert wird. Zusätzlich wird besonders bevorzugt die örtliche Verschiebung für jede Umfeldaufnahme der Mehrzahl an Umfeldaufnahmen berechnet, wobei vorzugsweise ein Mittelwert der Mehrzahl an Werten der örtlichen Verschiebung berechnet wird.In a preferred embodiment, a local actual distribution is calculated for at least one environmental recording of the plurality of environmental recordings, to which a plurality of visual beams are preferably assigned. In particular, points of intersection of the visual beams with the observed object are determined for the plurality of visual beams. Furthermore, in particular the local actual distribution of the intersection points is calculated by horizontally shifting the local target distribution in such a way that a local distribution of the determined intersection points is interpolated. In addition, the local displacement is particularly preferably calculated for each surrounding area recording of the plurality of surrounding area recordings, with a mean value of the plurality of values of the local displacement preferably being calculated.

Besonders bevorzugt wird als örtliche Soll-Verteilung eine Normalverteilung, insbesondere eine Gaußsche Glockenkurve verwendet. Alternativ wird besonders bevorzugt als örtliche Soll-Verteilung eine Verteilung verwendet, die eine Mehrzahl an Extremstellen aufweist, insbesondere sind die Maximalstellen der Verteilung an den Rändern des beobachteten Objekts und in der Mitte des beobachteten Objekts angeordnet.A normal distribution, in particular a Gaussian bell curve, is particularly preferably used as the local target distribution. Alternatively, a distribution that has a plurality of extreme points is particularly preferably used as the local target distribution; in particular, the maximum points of the distribution are arranged at the edges of the observed object and in the center of the observed object.

Vorzugsweise wird das Verfahren beendet, wenn der Wert der zweiten Metrik kleiner ist als ein zweiter vorbestimmter Schwellenwert.Preferably, the method is terminated when the value of the second metric is less than a second predetermined threshold.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass bei der Anpassung der Kalibrierung des Fahrerbeobachtungssensors mindestens ein softwaretechnisch gespeicherter Parameter des Fahrerbeobachtungssensors derart rechnerisch variiert wird, dass mindestens eine Metrik, ausgewählt aus der ersten Metrik und der zweiten Metrik, optimiert wird.According to one development of the invention, when the calibration of the driver observation sensor is adjusted, at least one parameter of the driver observation sensor stored in software is varied by calculation in such a way that at least one metric selected from the first metric and the second metric is optimized.

Insbesondere ist der mindestens eine softwaretechnisch gespeicherte Parameter des Fahrerbeobachtungssensors ausgewählt aus der örtlichen Anordnung des Fahrbeobachtungssensors, dem Nickwinkel des Fahrerbeobachtungssensors, dem Rollwinkel des Fahrerbeobachtungssensors und dem Gierwinkel des Fahrerbeobachtungssensors.In particular, the at least one parameter of the driver observation sensor stored in software is selected from the local arrangement of the driving observation sensor, the pitch angle of the driver observation sensor, the roll angle of the driver observation sensor and the yaw angle of the driver observation sensor.

Insbesondere wird die Optimierung derart durchgeführt, dass der mindestens eine softwaretechnisch gespeicherte Parameter des Fahrerbeobachtungssensors rechnerisch verändert wird und anschließend mit dem rechnerisch veränderten Wert die mindestens eine Metrik insbesondere auf Grundlage der identischen Umfeldaufnahmen und identischen Sichtstrahlen erneut berechnet wird, wobei die rechnerisch veränderten Werte in die Bestimmung der Schnittpunkte, insbesondere mittels des Ray-Casting-Verfahrens, einfließen. Der neu berechnete Wert der mindestens einen Metrik wird dann insbesondere mit dem zugeordneten ersten oder zweiten Schwellenwert verglichen, wobei basierend auf dem Vergleich das rechnerische Variieren des mindestens einen softwaretechnisch gespeicherten Parameters und das Neuberechnen der mindestens einen Metrik erneut durchgeführt oder aber die Optimierung beendet wird. Besonders bevorzugt wird diese Vorgehensweise, insbesondere das rechnerische Variieren des mindestens einen softwaretechnisch gespeicherten Parameters und das Neuberechnen der ersten Metrik so lange durchgeführt bis der Wert der ersten Metrik größer ist als der erste vorbestimmte Schwellenwert. Alternativ oder zusätzlich wird besonders bevorzugt dieses Vorgehen, insbesondere das rechnerische Variieren des mindestens einen softwaretechnisch gespeicherten Parameters und das Neuberechnen der zweiten Metrik so lange durchgeführt, bis der Wert der zweiten Metrik kleiner ist als der zweite vorbestimmte Schwellenwert.In particular, the optimization is carried out in such a way that the at least one parameter of the driver observation sensor that is stored in the software is changed by calculation and the at least one metric is then recalculated using the calculated changed value, in particular on the basis of the identical surrounding area recordings and identical visual beams, with the calculated changed values being incorporated into the Determination of the intersection points, in particular by means of the ray-casting method. The newly calculated value of the at least one metric is then compared, in particular, with the assigned first or second threshold value, wherein based on the comparison, the at least one software-stored parameter is varied by calculation and the at least one metric is recalculated or the optimization is terminated. This procedure, in particular the computational variation of the at least one parameter stored in software and the recalculation of the first metric, is particularly preferred until the value of the first metric is greater than the first predetermined threshold value. Alternatively or additionally, this procedure, in particular the computational variation of the at least one parameter stored in software and the recalculation of the second metric, is particularly preferably carried out until the value of the second metric is less than the second predetermined threshold value.

Die Aufgabe wird auch gelöst, indem eine Steuervorrichtung geschaffen wird, die zur Durchführung eines erfindungsgemäßen Verfahrens oder eines Verfahrens nach einer oder mehreren der zuvor beschriebenen Ausführungsformen eingerichtet ist. In Zusammenhang mit der Steuervorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.The object is also achieved by creating a control device that is set up to carry out a method according to the invention or a method according to one or more of the embodiments described above. In connection with the control device, there are in particular the advantages that have already been explained in connection with the method.

Die Steuervorrichtung ist bevorzugt eingerichtet, um mit dem Umfeldsensor und dem Fahrerbeobachtungssensor wirkverbunden zu werden, und eingerichtet zu deren Ansteuerung.The control device is preferably set up to be operatively connected to the surroundings sensor and the driver observation sensor, and set up to control them.

Die Aufgabe wird auch gelöst, indem eine Kalibrierungsvorrichtung geschaffen wird, die einen Fahrerbeobachtungssensor und eine erfindungsgemäße Steuervorrichtung oder eine Steuervorrichtung nach einer oder mehreren der zuvor beschriebenen Ausführungsformen aufweist. In Zusammenhang mit der Kalibrierungsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuervorrichtung erläutert wurden.The object is also achieved by creating a calibration device that has a driver observation sensor and a control device according to the invention or a control device according to one or more of the embodiments described above. In connection with the calibration device, there are in particular the advantages that have already been explained in connection with the method and the control device.

Die Steuervorrichtung ist bevorzugt mit einem Umfeldsensor und dem Fahrerbeobachtungssensor wirkverbunden und eingerichtet zu deren Ansteuerung.The control device is preferably operatively connected to an environment sensor and the driver observation sensor and set up to control them.

Die Aufgabe wird auch gelöst, indem ein Kraftfahrzeug mit einem Umfeldsensor und einer erfindungsgemäßen Kalibrierungsvorrichtung oder einer Kalibrierungsvorrichtung nach einer oder mehreren der zuvor beschriebenen Ausführungsformen geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuervorrichtung und der Kalibrierungsvorrichtung erläutert wurden.The object is also achieved by creating a motor vehicle with an environment sensor and a calibration device according to the invention or a calibration device according to one or more of the embodiments described above. In connection with the motor vehicle, there are in particular the advantages that have already been explained in connection with the method, the control device and the calibration device.

Besonders bevorzugt ist das Kraftfahrzeug als ein Personenkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Lastkraftwagen, ein Nutzfahrzeug oder ein anderes Kraftfahrzeug ist.The motor vehicle is particularly preferably designed as a passenger car. However, it is also possible for the motor vehicle to be a truck, a commercial vehicle or another motor vehicle.

Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.The invention is explained in more detail below with reference to the drawing.

Dabei zeigen:

  • 1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs,
  • 2 ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zum Kalibrieren eines Fahrerbeobachtungssensors,
  • 3 eine schematische Darstellung einer ersten Mehrzahl an Schnittpunkten und einer zweiten Mehrzahl an Schnittpunkten.
show:
  • 1 a schematic representation of an embodiment of a motor vehicle,
  • 2 a flowchart of an embodiment of a method for calibrating a driver observation sensor,
  • 3 a schematic representation of a first plurality of intersections and a second plurality of intersections.

1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1 mit einer Kalibrierungsvorrichtung 3 und einem Umfeldsensor 5. Die Kalibrierungsvorrichtung 3 weist einen Fahrerbeobachtungssensor 7 und eine Steuervorrichtung 9 auf. 1 1 shows a schematic representation of an exemplary embodiment of a motor vehicle 1 with a calibration device 3 and an environment sensor 5. The calibration device 3 has a driver observation sensor 7 and a control device 9.

Der Umfeldsensor 5 ist eingerichtet, um eine Mehrzahl an Umfeldaufnahmen 11, insbesondere als zeitliche Abfolge von Umfeldaufnahmen 11, einer Umgebung des Kraftfahrzeugs 1 zu erstellen. Vorzugsweise ist der Umfeldsensor 5 eingerichtet, um die Mehrzahl an Umfeldaufnahmen 11 der Umgebung des Kraftfahrzeugs 1 als eine Punktwolke zu erstellen. Besonders bevorzugt ist der Umfeldsensor 5 ausgewählt aus einer Gruppe, bestehend aus einem SFM-Vision-Sensor, einem USS-Sensor, einem Radar-Sensor und einem Lidar-Sensor.Surroundings sensor 5 is set up to create a plurality of surroundings recordings 11 , in particular as a chronological sequence of surroundings recordings 11 , of surroundings of motor vehicle 1 . The surroundings sensor 5 is preferably set up to create the plurality of surroundings recordings 11 of the surroundings of the motor vehicle 1 as a point cloud. Surroundings sensor 5 is particularly preferably selected from a group consisting of an SFM vision sensor, a USS sensor, a radar sensor and a lidar sensor.

Der Fahrerbeobachtungssensor 7 ist eingerichtet, um eine Mehrzahl an Sichtstrahlen 13, insbesondere eine zeitliche Abfolge von Sichtstrahlen 13, zu bestimmen. Insbesondere repräsentiert ein Sichtstrahl 13 der Mehrzahl an Sichtstrahlen 13 eine Blickrichtung eines Fahrers des Kraftfahrzeugs 1. Besonders bevorzugt ist der Fahrerbeobachtungssensor 7 ein optischer Sensor, welcher insbesondere zweidimensionale Fahreraufnahmen 15 des Fahrers des Kraftfahrzeugs 1 erstellt.The driver observation sensor 7 is set up to determine a plurality of visual beams 13, in particular a chronological sequence of visual beams 13. In particular, a visual beam 13 of the plurality of visual beams 13 represents a viewing direction of a driver of the motor vehicle 1. The driver monitoring sensor 7 is particularly preferably an optical sensor which creates two-dimensional driver images 15 of the driver of the motor vehicle 1 in particular.

Die Steuervorrichtung 9 ist hier nur schematisch dargestellt und ist in nicht explizit dargestellter Weise mit dem Umfeldsensor 5 und dem Fahrerbeobachtungssensor 7 wirkverbunden und eingerichtet zu deren jeweiliger Ansteuerung. Die Steuervorrichtung 9 ist insbesondere eingerichtet zur Durchführung eines Verfahrens zum Anpassen einer Kalibrierung des Fahrerbeobachtungsensors 7. Das Verfahren wird anhand von 2 näher erläutert.The control device 9 is only shown schematically here and is operatively connected to the surroundings sensor 5 and the driver observation sensor 7 in a manner that is not explicitly shown and is set up for their respective activation. The control device 9 is set up in particular to carry out a method for adapting a calibration of the driver observation sensor 7. The method is based on 2 explained in more detail.

2 zeigt ein Flussdiagramm eines Ausführungsbeispiels des Verfahrens zum Anpassen der Kalibrierung des Fahrerbeobachtungssensors 7 des Kraftfahrzeugs 1. 2 shows a flow chart of an embodiment of the method for adjusting the calibration of the driver observation sensor 7 of the motor vehicle 1.

In einem ersten Schritt a) werden mittels des Umfeldsensors 5 die Mehrzahl an Umfeldaufnahmen 11 aufgenommen. Insbesondere wird zu einem ersten Zeitpunkt t1 eine erste Umfeldaufnahme 11.1, zu einem zweiten Zeitpunkt t2 eine zweite Umfeldaufnahme und zu einem n-ten Zeitpunkt tn eine n-te Umfeldaufnahme 11.n aufgenommen.In a first step a), the plurality of surroundings images 11 are recorded by means of the surroundings sensor 5 . In particular, a first image of the surrounding area 11.1 is recorded at a first point in time t 1 , a second image of the surrounding area is recorded at a second point in time t 2 , and an nth image of the surrounding area 11 . n is recorded at an n-th point in time t n .

In einem zweiten Schritt b) werden mittels des Fahrerbeobachtungssensors 7 die Mehrzahl an Sichtstrahlen 13 bestimmt. Vorzugsweise wird zu dem ersten Zeitpunkt t1 ein erster Sichtstrahl 13.1, zu dem zweiten Zeitpunkt t2 ein zweiter Sichtstrahl und zu dem n-ten Zeitpunkt tn ein n-ter Sichtstrahl 13.n bestimmt. Alternativ oder zusätzlich werden besonders bevorzugt in einem Zeitintervall zwischen zwei aufeinanderfolgenden Zeitpunkten, zum Beispiel zwischen dem ersten Zeitpunkt t1 und dem zweiten Zeitpunkt t2, eine Mehrzahl an Sichtstrahlen 13 bestimmt.In a second step b), the plurality of visual beams 13 are determined by means of the driver observation sensor 7 . A first line of sight 13.1 is preferably determined at the first point in time t 1 , a second line of sight at the second point in time t 2 and an nth line of sight 13.n at the n th point in time t n . Alternatively or additionally, a plurality of visual beams 13 are particularly preferably determined in a time interval between two consecutive points in time, for example between the first point in time t 1 and the second point in time t 2 .

Besonders bevorzugt werden die Mehrzahl an Sichtstrahlen 13 mittels einem auf Purkinje-Bildern basierenden Augen-Verfolgungs-Verfahren ermittelt.The plurality of visual rays 13 are particularly preferably determined using an eye tracking method based on Purkinje images.

Besonders bevorzugt werden in dem zweiten Schritt b) mittels des Fahrerbeobachtungssensors 7 eine Mehrzahl von Fahreraufnahmen 15 des Fahrers aufgenommen. Insbesondere wird zu dem ersten Zeitpunkt t1 eine erste Fahreraufnahme 15.1, zu dem zweiten Zeitpunkt t2 eine zweite Fahreraufnahme und zu dem n-ten Zeitpunkt tn eine n-te Fahreraufnahme 15.n aufgenommen. Zusätzlich wird in einem optionalen Schritt b1) mittels der Mehrzahl an Fahreraufnahmen 15 eine Sichttrajektorie 17 des Fahrers bestimmt. Insbesondere wird in mindestens zwei Fahreraufnahmen 15 der Mehrzahl an Fahreraufnahmen 15 eine Pupille des Fahrers gesucht, wobei vorzugsweise anhand der erkannten Pupille des Fahrers die Sichttrajektorie 17 bestimmt wird.In the second step b), a plurality of driver recordings 15 of the driver are particularly preferably recorded by means of the driver observation sensor 7 . In particular, a first driver recording 15.1 is recorded at the first point in time t 1 , a second driver recording is recorded at the second point in time t 2 , and an nth driver recording 15.n is recorded at the n-th point in time t n . In addition, a visual trajectory 17 of the driver is determined in an optional step b1) using the plurality of driver recordings 15 . In particular, a pupil of the driver is searched for in at least two driver recordings 15 of the plurality of driver recordings 15 , the visual trajectory 17 preferably being determined on the basis of the identified pupil of the driver.

In einem dritten Schritt c) wird in mindestens zwei Umfeldaufnahmen 11 der Mehrzahl an Umfeldaufnahmen 11 mindestens ein Objekt 19 - insbesondere dargestellt in 3 - erkannt.In a third step c), at least one object 19 - in particular shown in 3 - recognized.

In einem vierten Schritt d) wird für das mindestens eine erkannte Objekt 19 eine Objektverfolgung durchgeführt. Besonders bevorzugt wird anhand der Objektverfolgung eine Objekttrajektorie 21 des erkannten Objekts 19 bestimmt.In a fourth step d), object tracking is carried out for the at least one recognized object 19 . An object trajectory 21 of the recognized object 19 is particularly preferably determined on the basis of the object tracking.

In einem fünften Schritt e) wird bestimmt, ob der Fahrer des Kraftfahrzeugs 1 das erkannte Objekt 19 beobachtet. Insbesondere wird dafür der erste Sichtstrahl 13.1 der ersten Umfeldaufnahme 11.1, der zweite Sichtstrahl der zweiten Umfeldaufnahme und der n-te Sichtstrahl 13.n der n-ten Umfeldaufnahme 11.n zugeordnet. Besonders bevorzugt werden die Mehrzahl an Sichtstrahlen 13, die in einem Zeitintervall zwischen zwei aufeinanderfolgenden Zeitpunkten bestimmt werden, einem Startzeitpunkt des Zeitintervalls zugeordnet. Alternativ werden besonders bevorzugt die Mehrzahl an Sichtstrahlen 13, die in einem Zeitintervall zwischen zwei aufeinanderfolgenden Zeitpunkten bestimmt werden, einem Endzeitpunkt des Zeitintervalls zugeordnet. Insbesondere wird jeder Sichtstrahl 13 der Mehrzahl an Sichtstrahlen 13 genau einer Umfeldaufnahme 11 der Mehrzahl an Umfeldaufnahmen 11 zugeordnet.In a fifth step e), it is determined whether the driver of the motor vehicle 1 is observing the recognized object 19 . In particular, the first line of sight 13.1 is assigned to the first picture of the surroundings 11.1, the second line of sight to the second picture of the surroundings and the nth line of sight 13.n to the nth picture of the surroundings 11.n. The plurality of visual beams 13, which are determined in a time interval between two consecutive points in time, are particularly preferably assigned to a start point in time of the time interval. Alternatively, the plurality of visual beams 13, which are determined in a time interval between two consecutive points in time, are particularly preferably assigned to an end point in time of the time interval. In particular, each line of sight 13 of the plurality of lines of sight 13 is assigned to precisely one image of the surroundings 11 of the plurality of photographs of the surroundings 11 .

Insbesondere wird in dem fünften Schritt e) die Objekttrajektorie 21 mit der Sichttrajektorie 17 verglichen, wobei basierend auf dem Vergleich bestimmt wird, ob der Fahrer das erkannte Objekt 19 beobachtet.In particular, in the fifth step e), the object trajectory 21 is compared with the visual trajectory 17, it being determined based on the comparison whether the driver is observing the detected object 19.

Falls der Fahrer das erkannte Objekt 19 nicht beobachtet, wird das Verfahren beendet oder die Schritte a) bis e) werden erneut durchgeführt.If the driver does not observe the recognized object 19, the method is ended or steps a) to e) are carried out again.

Falls der Fahrer das erkannte Objekt 19 beobachtet, wird in einem sechsten Schritt f) für jeden Sichtstrahl 13 der Mehrzahl an Sichtstrahlen 13 bestimmt, ob ein Schnittpunkt 23 des Sichtstrahls 13 mit dem beobachteten Objekt 19 vorliegt. Insbesondere wird für jeden Sichtstrahl 13 der Mehrzahl an Sichtstrahlen 13 ein sogenanntes Ray-Casting-Verfahren durchgeführt, um zu bestimmen, ob der Sichtstrahl 13 das beobachtete Objekt 19 schneidet.If the driver observes the detected object 19, in a sixth step f) it is determined for each visual beam 13 of the plurality of visual beams 13 whether an intersection 23 of the visual beam 13 with the observed object 19 is present. In particular, a so-called ray-casting method is carried out for each viewing ray 13 of the plurality of viewing rays 13 in order to determine whether the viewing ray 13 intersects the observed object 19 .

Basierend auf der Mehrzahl an Sichtstrahlen 13 wird die Kalibrierung des Fahrerbeobachtungssensors 7 in einem siebten Schritt g) bewertet und/oder angepasst. Vorzugsweise wird die Anpassung der Kalibrierung des Fahrerbeobachtungssensors 7 durchgeführt, falls mindestens ein Sichtstrahl 13 das beobachtete Objekt 19 nicht schneidet.Based on the plurality of visual beams 13, the calibration of the driver observation sensor 7 is evaluated and/or adjusted in a seventh step g). The adjustment of the calibration of the driver observation sensor 7 is preferably carried out if at least one line of sight 13 does not intersect the observed object 19 .

Vorzugsweise wird bei der Anpassung der Kalibrierung eine erste Metrik als ein Verhältnis von Sichtstrahlen 13, die das beobachtete Objekt 19 schneiden, zu der Mehrzahl an Sichtstrahlen 13 berechnet. Mittels der ersten Metrik wird die Kalibrierung des Fahrerbeobachtungssensors 7 bewertet.Preferably, in adjusting the calibration, a first metric is calculated as a ratio of sight rays 13 intersecting the observed object 19 to the plurality of sight rays 13 . The calibration of the driver observation sensor 7 is evaluated using the first metric.

Alternativ oder zusätzlich wird vorzugsweise bei der Anpassung der Kalibrierung eine örtliche Soll-Verteilung der Schnittpunkte 23 der Sichtstrahlen 13 mit dem beobachteten Objekt 19 vorgegeben. Zusätzlich wird eine örtliche Ist-Verteilung der Schnittpunkte 23 der Sichtstrahlen 13 mit dem beobachteten Objekt 19 berechnet. Weiterhin wird eine zweite Metrik als eine örtliche Verschiebung der örtlichen Soll-Verteilung zu der örtlichen Ist-Verteilung berechnet, wobei mittels der zweiten Metrik die Kalibrierung des Fahrerbeobachtungssensors 7 bewertet wird.As an alternative or in addition, a local target distribution of the points of intersection 23 of the visual beams 13 with the observed object 19 is preferably specified when the calibration is adjusted. In addition, a local actual distribution of the points of intersection 23 of the visual beams 13 with the observed object 19 is calculated. Furthermore, a second metric is calculated as a local shift of the local target distribution to the local actual distribution, the calibration of the driver observation sensor 7 being evaluated using the second metric.

Besonders bevorzugt wird bei der Anpassung der Kalibrierung des Fahrerbeobachtungssensors 7 mindestens ein softwaretechnisch gespeicherter Parameter des Fahrerbeobachtungssensors 7 derart rechnerisch variiert, dass mindestens eine Metrik, ausgewählt aus der ersten Metrik und der zweiten Metrik, optimiert wird.When adapting the calibration of driver observation sensor 7, at least one parameter of driver observation sensor 7 stored in software is particularly preferably varied by calculation in such a way that at least one metric selected from the first metric and the second metric is optimized.

Insbesondere ist der mindestens eine softwaretechnisch gespeicherte Parameter des Fahrerbeobachtungssensors 7 ausgewählt aus der örtlichen Anordnung des Fahrerbeobachtungssensors 7, dem Nickwinkel des Fahrerbeobachtungssensors 7, dem Rollwinkel des Fahrerbeobachtungssensors 7 und dem Gierwinkel des Fahrerbeobachtungssensors 7.In particular, the at least one parameter of driver observation sensor 7 that is stored in software is selected from the local arrangement of driver observation sensor 7, the pitch angle of driver observation sensor 7, the roll angle of driver observation sensor 7, and the yaw angle of driver observation sensor 7.

Vorzugsweise werden die Schritte a) bis g) zyklisch, insbesondere mit einem vorbestimmten zeitlichen Abstand durchgeführt, um die Kalibrierung des Fahrerbeobachtungssensors 7 regelmäßig zu bewerten und/oder regelmäßig anzupassen, sodass ein eine sichere Funktionsweise der Assistenzvorrichtungen und/oder Assistenzsystemen gewährleistet werden kann.Steps a) to g) are preferably carried out cyclically, in particular at a predetermined time interval, in order to regularly evaluate and/or regularly adjust the calibration of driver observation sensor 7, so that reliable functioning of the assistance devices and/or assistance systems can be ensured.

3 zeigt eine schematische Darstellung einer ersten Mehrzahl an Schnittpunkten und einer zweiten Mehrzahl an Schnittpunkten. 3 shows a schematic representation of a first plurality of intersections and a second plurality of intersections.

In 3 a) ist die erste Umfeldaufnahme 11.1 der Mehrzahl an Umfeldaufnahmen 11 mit dem beobachteten Objekt 19 zu dem ersten Zeitpunkt t1 dargestellt. Der ersten Umfeldaufnahme 11.1 sind eine Mehrzahl an Sichtstrahlen 13 zugeordnet, insbesondere zwölf Sichtstrahlen 13. Zur übersichtlicheren Darstellung ist nur ein Sichtstrahl 13 mit einem Bezugszeichen versehen.In 3 a) the first environment image 11.1 of the plurality of environment images 11 is shown with the observed object 19 at the first time t 1 . A plurality of visual beams 13, in particular twelve visual beams 13, are assigned to the first environmental recording 11.1. For the sake of clarity, only one visual beam 13 is provided with a reference number.

Insbesondere ist es möglich, die zwölf Sichtstrahlen 13 in drei Cluster 25 mit jeweils vier Sichtstrahlen 13 zu gruppieren. Alle drei Cluster 25 befinden sich insbesondere in einem Bereich des beobachteten Objekts 19 und somit schneiden alle zwölf Sichtstrahlen 13 das beobachtete Objekt 19 in den Schnittpunkten 23. Zur übersichtlicheren Darstellung ist nur ein Schnittpunkt 23 mit einem Bezugszeichen versehen.In particular, it is possible to group the twelve visual beams 13 into three clusters 25 each having four visual beams 13 . All three clusters 25 are located in particular in a region of the observed object 19 and thus all twelve visual beams 13 intersect the observed object 19 at the intersections 23. Only one intersection 23 is provided with a reference number for a clearer representation.

Insbesondere werden in einem Cluster 25 Sichtstrahlen 13 zusammengefasst, die in einen identischen Bereich des Umfelds des Kraftfahrzeugs 1 gerichtet sind.In particular, visual rays 13 that are directed into an identical area of the surroundings of motor vehicle 1 are combined in a cluster 25 .

Insbesondere beträgt der Wert der ersten Metrik in diesem Fall 1, sodass auf eine korrekte Kalibrierung des Fahrerbeobachtungssensors 7 des Kraftfahrzeugs 1 geschlossen werden kann.In particular, the value of the first metric is 1 in this case, so that a correct calibration of the driver observation sensor 7 of the motor vehicle 1 can be concluded.

Analog zu 3 a) ist in 3 b) die erste Umfeldaufnahme 11.1 der Mehrzahl an Umfeldaufnahmen 11 mit dem beobachteten Objekt 19 zu dem ersten Zeitpunkt t1 dargestellt. Der ersten Umfeldaufnahme 11.1 sind eine Mehrzahl an Sichtstrahlen 13 zugeordnet, insbesondere zwölf Sichtstrahlen 13. Zur übersichtlicheren Darstellung sind nur zwei Sichtstrahlen 13 mit einem Bezugszeichen versehen.Analogous to 3 a) is in 3 b) the first environmental recording 11.1 of the plurality of environmental recordings 11 is shown with the observed object 19 at the first point in time t 1 . A plurality of visual beams 13, in particular twelve visual beams 13, are assigned to the first environmental recording 11.1. For the sake of clarity, only two visual beams 13 are provided with a reference number.

Insbesondere ist es möglich, die zwölf Sichtstrahlen 13 in drei Cluster 25 mit jeweils vier Sichtstrahlen 13 zu gruppieren. Im Gegensatz zu 3 a) befinden sich nur zwei von drei Clustern 25 in einem Bereich des beobachteten Objekts 19. Somit schneiden nur acht von zwölf Sichtstrahlen 13 das beobachtete Objekt 19 in den Schnittpunkten 23. Zur übersichtlicheren Darstellung ist nur ein Schnittpunkt 23 mit einem Bezugszeichen versehen. Weiterhin schneiden vier von zwölf Sichtstrahlen 13 das beobachtete Objekt 19 nicht.In particular, it is possible to group the twelve visual beams 13 into three clusters 25 each having four visual beams 13 . In contrast to 3 a) only two of three clusters 25 are located in a region of the observed object 19. Thus only eight of twelve visual beams 13 intersect the observed object 19 at the intersections 23. Only one intersection 23 is provided with a reference symbol for clarity. Furthermore, four out of twelve viewing rays 13 do not intersect the observed object 19 .

Insbesondere beträgt der Wert der ersten Metrik in diesem Fall 2/3, sodass auf eine nicht korrekte, insbesondere fehlerhafte Kalibrierung des Farbbeobachtungssensors 7 des Kraftfahrzeugs 1 geschlossen werden kann.In particular, the value of the first metric is 2/3 in this case, so that it can be concluded that the color observation sensor 7 of the motor vehicle 1 was not correctly, in particular incorrectly, calibrated.

Claims (10)

Verfahren zum Anpassen einer Kalibrierung eines Fahrerbeobachtungssensors (7) eines Kraftfahrzeugs (1), wobei - mittels eines Umfeldsensors (5) eine Mehrzahl von Umfeldaufnahmen (11) aufgenommen werden, wobei - in mindestens zwei Umfeldaufnahmen (11) der Mehrzahl an Umfeldaufnahmen (11) mindestens ein Objekt (19) erkannt wird und eine Objektverfolgung des mindestens einen erkannten Objekts (19) durchgeführt wird, wobei - mittels des Fahrerbeobachtungssensors (7) bestimmt wird, ob ein Fahrer des Kraftfahrzeugs (1) das erkannte Objekt (19) beobachtet, wobei - falls der Fahrer das erkannte Objekt (19) beobachtet, für jeden Sichtstrahl (13) einer Mehrzahl an mittels des Fahrerbeobachtungssensors (7) bestimmten Sichtstrahlen (13) bestimmt wird, ob ein Schnittpunkt (23) des Sichtstrahls (13) mit dem beobachteten Objekt (19) vorliegt, wobei - basierend auf der Mehrzahl an Sichtstrahlen (13) die Kalibrierung des Fahrerbeobachtungssensors (7) bewertet und/oder angepasst wird. Method for adjusting a calibration of a driver observation sensor (7) of a motor vehicle (1), wherein - A plurality of environmental recordings (11) are recorded by means of an environmental sensor (5), wherein - At least one object (19) is recognized in at least two environmental recordings (11) of the plurality of environmental recordings (11) and an object tracking of the at least one recognized object (19) is carried out, wherein - It is determined by means of the driver observation sensor (7) whether a driver of the motor vehicle (1) observed the detected object (19), wherein - if the driver observes the detected object (19), for each visual beam (13) of a plurality of visual beams (13) determined by means of the driver observation sensor (7), it is determined whether an intersection (23) of the visual beam (13) with the observed object (19) where - The calibration of the driver observation sensor (7) is evaluated and/or adjusted based on the plurality of visual beams (13). Verfahren nach Anspruch 1, wobei - anhand der Objektverfolgung eine Objekttrajektorie (21) bestimmt wird, wobei - mittels des Fahrerbeobachtungssensors (7) eine Mehrzahl von Fahreraufnahmen (15) des Fahrers aufgenommen werden, wobei - mittels der Mehrzahl an Fahreraufnahmen (15) eine Sichttrajektorie (17) des Fahrers bestimmt wird, wobei - die Objekttrajektorie (21) mit der Sichttrajektorie (17) verglichen wird, wobei - basierend auf dem Vergleich bestimmt wird, ob der Fahrer das erkannte Objekt (1) beobachtet.procedure after claim 1 , wherein - an object trajectory (21) is determined on the basis of the object tracking, wherein - a plurality of driver recordings (15) of the driver are recorded by means of the driver observation sensor (7), wherein - a visual trajectory (17) of the driver is recorded by means of the plurality of driver recordings (15). Driver is determined, wherein - the object trajectory (21) is compared with the visual trajectory (17), wherein - it is determined based on the comparison whether the driver observes the detected object (1). Verfahren nach Anspruch 2, wobei in mindestens zwei Fahreraufnahmen (15) der Mehrzahl an Fahreraufnahmen (15) eine Pupille des Fahrers gesucht wird, wobei vorzugsweise anhand der erkannten Pupille des Fahrers die Sichttrajektorie (17) bestimmt wird.procedure after claim 2 , wherein a pupil of the driver is searched for in at least two driver recordings (15) of the plurality of driver recordings (15), the visual trajectory (17) preferably being determined on the basis of the recognized pupil of the driver. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Anpassung der Kalibrierung des Fahrerbeobachtungssensors (7) durchgeführt wird, falls mindestens ein Sichtstrahl (13) nicht das beobachtete Objekt (19) schneidet.Method according to one of the preceding claims, in which the calibration of the driver observation sensor (7) is adjusted if at least one line of sight (13) does not intersect the observed object (19). Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Anpassung der Kalibrierung eine erste Metrik als ein Verhältnis von Sichtstrahlen (13), die das beobachtete Objekt (19) schneiden, zu der Mehrzahl an Sichtstrahlen (13) berechnet wird, wobei mittels der ersten Metrik die Kalibrierung des Fahrerbeobachtungssensors (7) bewertet wird.A method according to any one of the preceding claims, wherein in adjusting the calibration a first metric is calculated as a ratio of sight rays (13) intersecting the observed object (19) to the plurality of sight rays (13), using the first metric the calibration of the driver observation sensor (7) is evaluated. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Anpassung der Kalibrierung eine örtliche Soll-Verteilung der Schnittpunkte (23) der Sichtstrahlen (13) mit dem beobachteten Objekt (19) vorgegeben wird, wobei eine örtliche Ist-Verteilung der Schnittpunkte (23) der Sichtstrahlen (13) mit dem beobachteten Objekt (19) berechnet wird, wobei eine zweite Metrik als eine örtliche Verschiebung der örtlichen Soll-Verteilung zu der örtlichen Ist-Verteilung berechnet wird, wobei mittels der zweiten Metrik die Kalibrierung des Fahrerbeobachtungssensors (7) bewertet wird.Method according to one of the preceding claims, wherein when adjusting the calibration, a local target distribution of the points of intersection (23) of the visual beams (13) with the observed object (19) is specified, with a local actual distribution of the points of intersection (23) of the Lines of sight (13) are calculated with the observed object (19), a second metric being calculated as a local shift of the local target distribution to the local actual distribution, the second metric being used to evaluate the calibration of the driver observation sensor (7). . Verfahren nach den Ansprüchen 5 und 6, wobei bei der Anpassung der Kalibrierung des Fahrerbeobachtungssensors (7) mindestens ein softwaretechnisch hinterlegter Parameter des Fahrerbeobachtungssensors (7), insbesondere ausgewählt aus einer Position des Fahrbeobachtungssensors (7), einem Nickwinkel des Fahrerbeobachtungssensors (7), einem Rollwinkel des Fahrerbeobachtungssensors (7) und einem Gierwinkel des Fahrerbeobachtungssensors (7), derart rechnerisch variiert wird, dass mindestens eine Metrik, ausgewählt aus der ersten Metrik und der zweiten Metrik, optimiert wird.Procedure according to claims 5 and 6 , wherein during the adjustment of the calibration of the driver observation sensor (7), at least one parameter of the driver observation sensor (7) stored in software, in particular selected from a position of the driver observation sensor (7), a pitch angle of the driver observation sensor (7), a roll angle of the driver observation sensor (7) and a yaw angle of the driver observation sensor (7), is varied by calculation in such a way that at least one metric selected from the first metric and the second metric is optimized. Steuervorrichtung (9) eingerichtet zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.Control device (9) set up to carry out a method according to one of the preceding claims. Kalibrierungsvorrichtung (3) mit einem Fahrerbeobachtungssensor (7) und einer Steuervorrichtung (9) nach Anspruch 8.Calibration device (3) with a driver observation sensor (7) and a control device (9). claim 8 . Kraftfahrzeug (1) mit einer Kalibrierungsvorrichtung (3) nach Anspruch 9 und einem Umfeldsensor (5).Motor vehicle (1) with a calibration device (3). claim 9 and an environment sensor (5).
DE102021005212.9A 2021-10-19 2021-10-19 Method for adapting a calibration of a driver observation sensor of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such calibration device Active DE102021005212B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021005212.9A DE102021005212B4 (en) 2021-10-19 2021-10-19 Method for adapting a calibration of a driver observation sensor of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such calibration device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021005212.9A DE102021005212B4 (en) 2021-10-19 2021-10-19 Method for adapting a calibration of a driver observation sensor of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such calibration device

Publications (2)

Publication Number Publication Date
DE102021005212A1 DE102021005212A1 (en) 2022-03-03
DE102021005212B4 true DE102021005212B4 (en) 2022-12-01

Family

ID=80221828

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021005212.9A Active DE102021005212B4 (en) 2021-10-19 2021-10-19 Method for adapting a calibration of a driver observation sensor of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such calibration device

Country Status (1)

Country Link
DE (1) DE102021005212B4 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023005278B4 (en) 2023-12-21 2025-07-10 Mercedes-Benz Group AG Method for detecting dirt on a windshield of a vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170001648A1 (en) 2014-01-15 2017-01-05 National University Of Defense Technology Method and Device for Detecting Safe Driving State of Driver

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170001648A1 (en) 2014-01-15 2017-01-05 National University Of Defense Technology Method and Device for Detecting Safe Driving State of Driver

Also Published As

Publication number Publication date
DE102021005212A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
EP1211132B1 (en) Device and method for monitoring the environment of a vehicle
DE112017005111T5 (en) Board display controller
DE102018129741A1 (en) Device and method for controlling a display of a vehicle
DE102019120636B4 (en) PERIPHERAL DISPLAY DEVICE FOR A VEHICLE
WO2012152475A1 (en) Method and device for calibrating a projection device of a vehicle
EP2934947A1 (en) Motor vehicle having a camera monitoring system
DE102010038825A1 (en) The image display control device
EP2166510A1 (en) Method for calculating the position and orientation of a camera in a vehicle
DE102013220005A1 (en) Method and device for displaying the environment of a vehicle and driver assistance system
DE102004057947A1 (en) Driver assistance system performance testing method for motor vehicle, involves providing sensor signal in dependence of simulated virtual traffic condition to electronic control unit that sets system into operation if necessary
DE102022207163B4 (en) Vehicle display device and methods for its operation
DE102014226185A1 (en) Method for determining a viewing direction of a person
WO2014206624A1 (en) Method for checking the adjustment of a headlamp in a motor vehicle
DE102018102047A1 (en) A method of representing a surrounding area of a motor vehicle with virtual, elongated distance markings in an image, computer program product, and display system
DE102021005212B4 (en) Method for adapting a calibration of a driver observation sensor of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such calibration device
DE102008026876A1 (en) Stereo camera system and method for determining at least one calibration error of a stereo camera system
DE102022120236B3 (en) Method for the harmonized display of camera images in a motor vehicle and a correspondingly equipped motor vehicle
DE102016214438B4 (en) Motor vehicle with a head-up display and method of operating the same
DE102022109370A1 (en) Viewer-input-based control in a multi-image augmented reality head-up display in a vehicle
EP3967537B1 (en) Method for producing a virtual element
DE102025109600B3 (en) Method for calibrating a head-up display
DE102018004662A1 (en) Optical detection system with variable characteristic range via dynamic "pixel selection" - controlled by control parameters supplied by systems and / or controlled by means of self-determined control parameters
WO2019029966A1 (en) METHOD AND DEVICE FOR DRIVER STATE EVALUATION AND VEHICLE
DE102024001248B4 (en) Method for controlling a lighting device of a motor vehicle and lighting system
DE102021206608A1 (en) Camera system and method for a camera system

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001000000

Ipc: B60R0001200000

R230 Request for early publication
R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, STUTTGART, DE

R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001200000

Ipc: B60R0001290000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final