[go: up one dir, main page]

DE102014203444A1 - Device and procedure for determining an eye condition of a vehicle occupant - Google Patents

Device and procedure for determining an eye condition of a vehicle occupant Download PDF

Info

Publication number
DE102014203444A1
DE102014203444A1 DE102014203444.2A DE102014203444A DE102014203444A1 DE 102014203444 A1 DE102014203444 A1 DE 102014203444A1 DE 102014203444 A DE102014203444 A DE 102014203444A DE 102014203444 A1 DE102014203444 A1 DE 102014203444A1
Authority
DE
Germany
Prior art keywords
vehicle occupant
light source
eyes
light
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102014203444.2A
Other languages
German (de)
Inventor
Jörg Schrepfer
Alexander Sibiryakov
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Applic Solutions Electronics & Vision Ltd
Application Solutions Electronic and Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applic Solutions Electronics & Vision Ltd, Application Solutions Electronic and Vision Ltd filed Critical Applic Solutions Electronics & Vision Ltd
Priority to DE102014203444.2A priority Critical patent/DE102014203444A1/en
Publication of DE102014203444A1 publication Critical patent/DE102014203444A1/en
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Ermittlung eines Augenzustands eines Fahrzeuginsassen mittels wenigstens einer Lichtquelle, die zur Aussendung von Licht in Richtung zumindest des Gesichts oder zumindest der Augen des Fahrzeuginsassen dient, mittels wenigstens einer Kamera, die zur Erfassung von Bilddaten zumindest des Gesichts oder zumindest der Augen des Fahrzeuginsassen dient, und mittels Bildverarbeitungseinrichtungen, die zur Ermittlung des Augenzustands aus den mittels der Kamera erfassten Bilddaten ausgebildet sind.The invention relates to a device and a method for determining an eye condition of a vehicle occupant by means of at least one light source, which serves to emit light in the direction of at least the face or at least the eyes of the vehicle occupant, by means of at least one camera for capturing image data of at least the face or at least the eyes of the vehicle occupant, and by means of image processing means, which are designed to determine the state of the eye from the image data captured by means of the camera.

Description

Die Erfindung betrifft eine Vorrichtung und eine Verfahren zur Ermittlung eines Augenzustands eines Fahrzeuginsassen, insbesondere der Position, der Blickrichtung und/oder des Öffnungszustands der Augen eines Fahrzeugführers eines Fahrzeugs mittels einer Kamera. The invention relates to a device and a method for determining an eye condition of a vehicle occupant, in particular the position, the viewing direction and / or the opening state of the eyes of a vehicle driver of a vehicle by means of a camera.

Vorrichtungen und Verfahren zur Erfassung des Augenzustands von Fahrzeuginsassen sind aus dem Stand der Technik bereits bekannt. Die bekannten Lösungen dienen dabei beispielsweise zur Erfassung der Blickrichtung des Fahrzeugführers, z.B. zur gezielten Informationsbereitstellung im Fahrzeug, oder der Erfassung der Fahreraufmerksamkeit bzw. -müdigkeit, z.B. zur Auslösung von sicherheitsrelevanten Systemen im Fahrzeug. Devices and methods for detecting the eye condition of vehicle occupants are already known from the prior art. The known solutions serve, for example, for detecting the viewing direction of the driver, e.g. for targeted information provision in the vehicle, or the detection of driver attention or fatigue, e.g. for triggering safety-relevant systems in the vehicle.

Bei den bekannten Lösungen werden in der Regel mittels einer Infrarotlichtquelle die Augen bzw. das Gesicht des Fahrzeuginsassen beleuchtet und es wird die Reflexion des Lichts, insbesondere in den Augen des Fahrzeuginsassen, mittels einer Kamera, die im Fahrzeuginnenraum angeordnet und auf den Fahrzeuginsassen ausgerichtet ist, erfasst und ausgewertet. In the known solutions, the eyes or the face of the vehicle occupant are usually illuminated by means of an infrared light source and the reflection of the light, in particular in the eyes of the vehicle occupant, by means of a camera, which is arranged in the vehicle interior and aligned with the vehicle occupants, recorded and evaluated.

Eine gattungsgemäße Vorrichtung und ein gattungsgemäßes Verfahren sind beispielsweise aus der DE 10 2007 047 643 A1 bekannt. Darin wird eine Vorrichtung offenbart mit einer ersten und einer zweiten Lichtquelle sowie mit einer Kamera, welche ein Bild eines Fahrerauges in einem Fahrzeug unter einem Licht von der ersten und der zweiten Lichtquelle abbildet. A generic device and a generic method are for example from the DE 10 2007 047 643 A1 known. Therein a device is disclosed having a first and a second light source and a camera which images an image of a driver's eye in a vehicle under a light from the first and the second light source.

Bei den bekannten Lösungen besteht das Problem, dass die Systeme in der Lage sein müssen, die Reflexion des von der Lichtquelle ausgesendeten Lichts von Reflexionen anderer potenzieller Lichtquellen zu unterscheiden. Bei den anderen Lichtquellen kann es sich beispielsweise um Straßenlaternen, um Scheinwerfer anderer Fahrzeuge oder um das Sonnenlicht handeln. The known solutions have the problem that the systems must be able to distinguish the reflection of the light emitted by the light source from reflections of other potential light sources. The other light sources may be, for example, street lights, other vehicle headlights, or sunlight.

Ein möglicher Lösungsansatz ist es, die Lichtquelle besonders leistungsstark auszugestalten. Das wiederum führt jedoch zu Problemen betreffend Wärmeentwicklung, Kosten, Energieverbrauch und Gesundheitsbestimmungen. One possible solution is to make the light source particularly powerful. However, this in turn leads to problems concerning heat development, costs, energy consumption and health regulations.

Der Erfindung liegt somit die Aufgabe zugrunde, eine Lösung für die vorangehend beschriebene Problemstellung anzugeben. The invention is therefore based on the object of specifying a solution to the problem described above.

Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen nach Anspruch 1 sowie durch ein Verfahren mit den Merkmalen nach Anspruch 6 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Unteransprüche. This object is achieved by a device having the features of claim 1 and by a method having the features of claim 6. Advantageous embodiments of the invention are the subject of the dependent subclaims.

Ein wesentlicher Gedanke der Erfindung besteht darin, der Lichtquelle bzw. dem ausgesendeten Licht, die bzw. das zur Beleuchtung des Gesichts oder zumindest der Augen des Fahrzeuginsassen dient, eine bestimmte geometrische Form bzw. Gestalt zu geben. Die Reflexion dieser bestimmten Form bzw. Gestalt lässt sich dann leichter, insbesondere gegenüber den bislang bekannten Lösungen, mittels Bildverarbeitung in mittels einer Kamera erfassten Bildern des Gesicht bzw. der Augen des Fahrzeuginsassen erfassen und auswerten. Dabei sollte der Lichtquelle bzw. dem Licht vorzugsweise eine Gestalt bzw. Form gegeben werden, die deutlich von den üblicherweise runden oder quadratischen Reflexionen möglicher anderer Lichtquellen abweicht. An essential idea of the invention is to give the light source or the emitted light, which serves to illuminate the face or at least the eyes of the vehicle occupant, a certain geometric shape or shape. The reflection of this particular shape or shape can then be more easily detected and evaluated, in particular in comparison to the previously known solutions, by means of image processing in images of the face or the eyes of the vehicle occupant recorded by means of a camera. In this case, the light source or the light should preferably be given a shape or form that differs significantly from the usual round or square reflections possible other light sources.

Die erfindungsgemäße Vorrichtung dient zur Ermittlung eines Augenzustands eines Fahrzeuginsassen. Bei dem Augenzustand handelt es sich insbesondere um die Position, beispielsweise relativ zu einem definierten Bezugssystem im Fahrzeuginnenraum, um die Blickrichtung und/oder um den Öffnungszustand bzw. Öffnungsgrad der Augen des Fahrzeuginsassen. Bei dem Fahrzeuginsassen handelt es sich bevorzugt um den Fahrer bzw. Fahrzeugführer. The device according to the invention serves to determine an eye condition of a vehicle occupant. The eye state is, in particular, the position, for example relative to a defined reference system in the vehicle interior, about the viewing direction and / or about the opening state or degree of opening of the eyes of the vehicle occupant. The vehicle occupant is preferably the driver or vehicle driver.

Die Vorrichtung umfasst wenigstens eine Lichtquelle, die bevorzugt im Fahrzeuginnenraum mit Emissionsrichtung in Richtung zumindest des Gesichts oder zumindest der Augen des Fahrzeuginsassen angeordnet und ausgerichtet ist. Die Lichtquelle ist dabei vorzugsweise derart ausgebildet, dass diese Licht in einem für den Fahrzeuginsassen nichtsichtbaren Spektralbereich aussendet, insbesondere um den Fahrzeuginsassen nicht zu blenden bzw. um diesen bei der Wahrnehmung seiner Fahraufgabe nicht zu behindern. The device comprises at least one light source, which is preferably arranged and aligned in the vehicle interior with emission direction in the direction of at least the face or at least the eyes of the vehicle occupant. The light source is preferably designed such that it emits light in a non-visible for the vehicle occupants spectral range, in particular not to dazzle the vehicle occupant and not to hinder this in the perception of his driving task.

Die Vorrichtung umfasst weiterhin wenigstens eine Kamera, die ebenfalls bevorzugt im Fahrzeuginnenraum mit Erfassungsrichtung in Richtung zumindest des Gesichts oder zumindest der Augen des Fahrzeuginsassen angeordnet ist. Die Kamera kann dabei, insbesondere zusammen mit der Lichtquelle, im Bereich des Dachhimmels oberhalb der Windschutzscheibe, z.B. innerhalb oder im Bereich des Innenrückspiegels, oder beispielsweise auch im Armaturenbrett angeordnet sein. Die Kamera ist dabei bevorzugt mit einem elektronischen Bildaufnahmeelement und einer geeigneten Abbildungsoptik ausgebildet und dient erfindungsgemäß zur Erfassung von Bilddaten zumindest des Gesicht oder zumindest der Augen des Fahrzeuginsassen. The device further comprises at least one camera, which is likewise preferably arranged in the vehicle interior with detection direction in the direction of at least the face or at least the eyes of the vehicle occupant. The camera can, in particular together with the light source, in the region of the headliner above the windshield, e.g. be arranged inside or in the region of the rearview mirror, or for example in the dashboard. The camera is preferably designed with an electronic image recording element and a suitable imaging optics and serves according to the invention for acquiring image data of at least the face or at least the eyes of the vehicle occupant.

Die Vorrichtung umfasst zudem Bildverarbeitungseinrichtungen, die zur Ermittlung des Augenzustands aus den mittels der Kamera erfassten Bilddaten ausgebildet sind. Hierzu können geeignete Bildverarbeitungsalgorithmen in den Bildverarbeitungseinrichtungen hinterlegt sein. Die Bildverarbeitungseinrichtungen können beispielsweise auch in die Kamera integriert sein. The device also comprises image processing devices which are used to determine the Eye state are formed from the captured by the camera image data. For this purpose, suitable image processing algorithms can be stored in the image processing devices. The image processing devices can also be integrated into the camera, for example.

Die Bildverarbeitungseinrichtungen sind dabei erfindungsgemäß zur Erfassung einer Reflexion einer bestimmten geometrischen Form der wenigstens einen Lichtquelle in den Augen des Fahrzeuginsassen ausgebildet. Bei der bestimmten geometrischen Form der Lichtquelle handelt es sich insbesondere um ein bestimmtes zweidimensionales Erscheinungsbild, z.B. in Form einer bestimmten Kontur bzw. eines bestimmten Profils, der wenigstens einen Lichtquelle bzw. des von der Lichtquelle ausgesendeten Lichtbündels. The image processing devices are inventively designed to detect a reflection of a specific geometric shape of the at least one light source in the eyes of the vehicle occupant. In particular, the particular geometric shape of the light source is a particular two-dimensional appearance, e.g. in the form of a specific contour or a specific profile, the at least one light source or of the light beam emitted by the light source.

Die bestimmte geometrische Form kann beispielsweise durch Anordnung einer Blende vor der wenigstens einen Lichtquelle erreicht werden, wobei mittels der Blende der Lichtdurchlass und damit die Form des Lichtbündels, welches von der Lichtquelle ausgesendet wird, beeinflusst wird. The specific geometric shape can be achieved, for example, by arranging a diaphragm in front of the at least one light source, the light transmission and thus the shape of the light beam emitted by the light source being influenced by means of the diaphragm.

Die Erfassung und Auswertung der Reflexion der bestimmten geometrischen Form, insbesondere die Unterscheidung von Reflexionen anderer potenzieller Lichtquellen, kann in Form von Software bzw. Bildverarbeitungsalgorithmen erfolgen, die in den Bildverarbeitungseinrichtungen hinterlegt sind, z.B. mittels Mustererkennungs- bzw. Mustervergleichsverfahren. The detection and evaluation of the reflection of the particular geometric shape, in particular the differentiation of reflections of other potential light sources, may take the form of software or image processing algorithms deposited in the image processing devices, e.g. by means of pattern recognition or pattern comparison methods.

Die Lichtquelle ist bevorzugt mit einer gegenüber einer runden oder quadratischen Form abweichenden geometrischen Form ausgebildet ist, insbesondere deshalb, da die Reflexionen anderer potenzieller Lichtquellen im Fahrzeug bzw. in der Fahrzeugumgebung in der Regel eine runde bzw. quadratische Form aufweisen. The light source is preferably designed with a geometric shape deviating from a round or square shape, in particular because the reflections of other potential light sources in the vehicle or in the vehicle environment generally have a round or square shape.

Die Lichtquelle der erfindungsgemäßen Vorrichtung kann beispielsweise mit einer der folgenden geometrischen Formen ausgebildet sein:

  • – Dreieck;
  • – Trapez, unregelmäßig oder regelmäßig;
  • – Rechteck, bevorzugt nichtquadratisch;
  • – Rhombus;
  • – Vieleck, bevorzugt mit fünf oder mehr Ecken;
  • – Symbol, z.B. Stern- oder Pfeilsymbol;
  • – Schriftzeichen, z.B. bestimmte Buchstaben oder Ziffern.
The light source of the device according to the invention may be formed, for example, with one of the following geometric shapes:
  • - triangle;
  • - trapeze, irregular or regular;
  • - rectangle, preferably not square;
  • - rhombus;
  • - polygon, preferably with five or more corners;
  • - symbol, eg star or arrow symbol;
  • - Characters, eg certain letters or numbers.

Gemäß einer bevorzugten Ausgestaltung der erfindungsgemäßen Vorrichtung umfasst die Lichtquelle mehrere Leuchtdioden, die in der bestimmten geometrischen Form bzw. Gestalt angeordnet sind. Die mehreren Leuchtdioden können dabei beispielsweise in den Eckpunkten eines Dreieck bzw. eines beliebigen Vielecks, als geometrische Form, abgeordnet sein. Darauf lassen sich dann mittels der Bildverarbeitungseinrichtungen Lichtpunkte als Reflexion in der entsprechenden geometrischen Anordnung in den Augen des Fahrzeuginsassen erfassen und zur Ermittlung des Augenzustands auswerten. According to a preferred embodiment of the device according to the invention, the light source comprises a plurality of light-emitting diodes, which are arranged in the specific geometric shape or shape. The plurality of light-emitting diodes can be arranged, for example, in the vertices of a triangle or any polygon, as a geometric shape. Then, by means of the image processing devices, light points can be detected as reflections in the corresponding geometric arrangement in the eyes of the vehicle occupant and evaluated to determine the state of the eye.

Gemäß einer weiteren bevorzugten Ausgestaltung der erfindungsgemäßen Vorrichtung umfasst die wenigstens eine Lichtquelle eine oder mehrere Leuchtdioden, wobei die Leuchtdioden als Infrarot-Leuchtdioden ausgebildet sind, insbesondere um den Fahrzeuginsassen durch das für die Ermittlung des Augenzustands ausgesendete Licht nicht zu blenden. According to a further preferred embodiment of the device according to the invention, the at least one light source comprises one or more light-emitting diodes, wherein the light-emitting diodes are designed as infrared light-emitting diodes, in particular so as not to blind the vehicle occupant by the light emitted for determining the eye condition.

Die vorliegende Erfindung umfasst weiterhin ein Verfahren zur Ermittlung eines Augenzustand eines Fahrzeuginsassen, insbesondere ein Verfahren zum Betrieb einer Vorrichtung gemäß einer der vorangehend beschriebenen Ausgestaltungen, wobei mittels der wenigstens einen Lichtquelle Licht in Richtung zumindest des Gesichts oder zumindest der Augen des Fahrzeuginsassen ausgesendet wird, mittels wenigstens einer Kamera Bilddaten zumindest des Gesichts oder zumindest der Augen des Fahrzeuginsassen erfasst werden und mittels Bildverarbeitungseinrichtungen der Augenzustand aus den mittels der Kamera erfassten Bilddaten ermittelt wird. Erfindungsgemäß wird dabei mittels der Bildverarbeitungseinrichtungen eine Reflexion der bestimmten geometrischen Form, mit der die wenigstens einen Lichtquelle ausgebildet ist bzw. mit der das Licht von der wenigstens einen Lichtquelle ausgesendet wird, in den Augen des Fahrzeuginsassen erfasst. The present invention further comprises a method for determining an eye condition of a vehicle occupant, in particular a method for operating a device according to one of the embodiments described above, wherein by means of the at least one light source is emitted towards at least the face or at least the eyes of the vehicle occupant by means of at least one camera image data of at least the face or at least the eyes of the vehicle occupant are detected and the eye state is determined by means of image processing facilities from the image data captured by the camera. According to the invention, by means of the image processing devices a reflection of the specific geometric shape with which the at least one light source is formed or with which the light is emitted by the at least one light source is detected in the eyes of the vehicle occupant.

Die Ermittlung des Augenzustands des Fahrzeuginsassen umfasst dabei insbesondere die Bestimmung einer Position, einer Blickrichtung und/oder eines Öffnungszustands der Augen des Fahrzeuginsassen umfasst. In this case, the determination of the eye state of the vehicle occupant comprises in particular the determination of a position, a viewing direction and / or an opening state of the eyes of the vehicle occupant.

In Abhängigkeit von der Ermittlung des Augenzustands des Fahrzeuginsassen mittels der erfindungsgemäßen Vorrichtung bzw. gemäß dem erfindungsgemäßen Verfahren können im Fahrzeug verschiedene Fahrerassistenzfunktionen realisiert werden. Beispielsweise können während des Fahrbetriebs die Aufmerksamkeit, die Situationserfassung oder Blendungssituationen des Fahrzeugführers überwacht bzw. erfasst und daraufhin sicherheitsrelevante Systeme im Fahrzeug angesteuert werden. Depending on the determination of the eye condition of the vehicle occupant by means of the device according to the invention or according to the method according to the invention, various driver assistance functions can be implemented in the vehicle. For example, during the driving operation, the attention, the situation detection or dazzling situations of the vehicle driver can be monitored or detected and subsequently safety-relevant systems in the vehicle can be controlled.

Die erfindungsgemäße Lösung zur Ermittlung des Augenzustands von Fahrzeuginsassen hat dabei die wesentlichen Vorteile, dass die Reflexion der Lichtquelle in den Augen des Fahrzeuginsassen, aufgrund der bestimmten Formgebung, leicht und zuverlässig erfasst werden kann, insbesondere wenn die Form deutlich von Reflexionen anderer potenzieller Lichtquellen im Fahrzeuginnenraum bzw. in der Fahrzeugumgebung abweicht. Somit ist es insbesondere nicht mehr erforderlich die Lichtquelle besonders leistungsstark auszugestalten. Das führt wiederum zu Vorteilen gegenüber den bekannten Systemen, betreffend insbesondere Kosten, Bildverarbeitungsaufwand bzw. Rechenkapazität sowie Energiebedarf. Zudem führt der verringerte Leistungsbedarf der Lichtquelle zu einer Verringerung der Gefahren für die Augen der Fahrzeuginsassen und damit zu einer besseren Konformität mit gesundheitsrelevanten Bestimmungen für derartige Systeme. The solution according to the invention for determining the eye condition of vehicle occupants has the significant advantages that the reflection of the light source in the eyes of the vehicle occupant, due to the specific shape, easily and can be detected reliably, in particular if the shape deviates significantly from reflections of other potential light sources in the vehicle interior or in the vehicle environment. Thus, it is no longer necessary in particular to design the light source to be particularly powerful. This in turn leads to advantages over the known systems, in particular costs, image processing effort or computing capacity and energy requirements. In addition, the reduced power requirement of the light source leads to a reduction in the dangers to the eyes of the vehicle occupants and thus to a better conformity with health-related provisions for such systems.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102007047643 A1 [0004] DE 102007047643 A1 [0004]

Claims (8)

Vorrichtung zur Ermittlung eines Augenzustands eines Fahrzeuginsassen, umfassend wenigstens eine Lichtquelle, zur Aussendung von Licht in Richtung zumindest des Gesichts oder zumindest der Augen des Fahrzeuginsassen, wenigstens eine Kamera, zur Erfassung von Bilddaten zumindest des Gesichts oder zumindest der Augen des Fahrzeuginsassen, und Bildverarbeitungseinrichtungen, zur Ermittlung des Augenzustands aus den mittels der Kamera erfassten Bilddaten, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtungen zur Erfassung einer Reflexion einer bestimmten geometrischen Form der wenigstens einen Lichtquelle in den Augen des Fahrzeuginsassen ausgebildet sind. Device for determining an eye condition of a vehicle occupant, comprising at least one light source, for emitting light toward at least the face or at least the eyes of the vehicle occupant, at least one camera, for capturing image data of at least the face or at least the eyes of the vehicle occupant, and image processing devices, for determining the state of the eye from the image data acquired by means of the camera, characterized in that the image processing devices are designed to detect a reflection of a specific geometric shape of the at least one light source in the eyes of the vehicle occupant. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Lichtquelle mit einer gegenüber einer runden oder quadratischen Form abweichenden geometrischen Form ausgebildet ist. Apparatus according to claim 1, characterized in that the light source is formed with a respect to a round or square shape deviating geometric shape. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Lichtquelle mit einer der folgenden geometrischen Formen ausgebildet ist: – Dreieck – Trapez – Rechteck – Rhombus – Vieleck – Symbol – Schriftzeichen Device according to one of the preceding claims, characterized in that the light source is formed with one of the following geometric shapes: - triangle - trapezoid - rectangle - rhombus - polygon - symbol - character Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Lichtquelle mehrere Leuchtdioden umfasst, die entsprechend der bestimmten geometrischen Form angeordnet sind. Device according to one of the preceding claims, characterized in that the light source comprises a plurality of light-emitting diodes, which are arranged according to the specific geometric shape. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Lichtquelle eine oder mehrere Infrarot-Leuchtdioden umfasst. Device according to one of the preceding claims, characterized in that the light source comprises one or more infrared light-emitting diodes. Verfahren zur Ermittlung eines Augenzustands eines Fahrzeuginsassen, wobei mittels wenigstens Lichtquelle Licht in Richtung zumindest des Gesichts oder zumindest der Augen des Fahrzeuginsassen ausgesendet wird, mittels wenigstens einer Kamera Bilddaten zumindest des Gesichts oder zumindest der Augen des Fahrzeuginsassen erfasst werden und mittels Bildverarbeitung der mittels der Kamera erfassten Bilddaten der Augenzustand ermittelt wird, dadurch gekennzeichnet, dass bei der Bildverarbeitung eine Reflexion in einer bestimmten geometrischen Form, mit der die wenigstens einen Lichtquelle ausgebildet ist, in den Augen des Fahrzeuginsassen erfasst wird. A method for determining an eye condition of a vehicle occupant, wherein by means of at least light source light in the direction of at least the face or at least the eyes of the vehicle occupant is transmitted, at least the face or at least the eyes of the vehicle occupant are detected by at least one camera image data and by means of image processing by means of the camera detected image data of the eye condition is determined, characterized in that in the image processing a reflection in a certain geometric shape, with which the at least one light source is formed, is detected in the eyes of the vehicle occupant. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Ermittlung des Augenzustands des Fahrzeuginsassen mittels einer Vorrichtung gemäß einem der Ansprüche 1 bis 5 erfolgt. A method according to claim 6, characterized in that the determination of the eye condition of the vehicle occupant by means of a device according to one of claims 1 to 5 takes place. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass die Ermittlung des Augenzustands des Fahrzeuginsassen die Bestimmung einer Position, einer Blickrichtung und/oder eines Öffnungszustands der Augen des Fahrzeuginsassen umfasst. Method according to one of claims 6 or 7, characterized in that the determination of the eye condition of the vehicle occupant includes the determination of a position, a viewing direction and / or an opening state of the eyes of the vehicle occupant.
DE102014203444.2A 2014-02-26 2014-02-26 Device and procedure for determining an eye condition of a vehicle occupant Pending DE102014203444A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014203444.2A DE102014203444A1 (en) 2014-02-26 2014-02-26 Device and procedure for determining an eye condition of a vehicle occupant

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014203444.2A DE102014203444A1 (en) 2014-02-26 2014-02-26 Device and procedure for determining an eye condition of a vehicle occupant

Publications (1)

Publication Number Publication Date
DE102014203444A1 true DE102014203444A1 (en) 2015-08-27

Family

ID=53782470

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014203444.2A Pending DE102014203444A1 (en) 2014-02-26 2014-02-26 Device and procedure for determining an eye condition of a vehicle occupant

Country Status (1)

Country Link
DE (1) DE102014203444A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3370410A4 (en) * 2015-10-26 2019-04-03 Kyocera Corporation IMAGING DEVICE
WO2021001258A1 (en) * 2019-07-03 2021-01-07 Daimler Ag Apparatus and method for determining image data of the eyes, eye positions or a line of sight of a vehicle user

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007017207A1 (en) * 2005-08-05 2007-02-15 Heidelberg Engineering Gmbh Method and system for biometric identification or verification
DE102007047643A1 (en) 2006-10-11 2008-04-17 Denso Corp., Kariya Apparatus for detecting an eye condition and method for attaching the same
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
US20130142389A1 (en) * 2011-12-06 2013-06-06 Denso Corporation Eye state detection apparatus and method of detecting open and closed states of eye

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007017207A1 (en) * 2005-08-05 2007-02-15 Heidelberg Engineering Gmbh Method and system for biometric identification or verification
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
DE102007047643A1 (en) 2006-10-11 2008-04-17 Denso Corp., Kariya Apparatus for detecting an eye condition and method for attaching the same
US20130142389A1 (en) * 2011-12-06 2013-06-06 Denso Corporation Eye state detection apparatus and method of detecting open and closed states of eye

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3370410A4 (en) * 2015-10-26 2019-04-03 Kyocera Corporation IMAGING DEVICE
WO2021001258A1 (en) * 2019-07-03 2021-01-07 Daimler Ag Apparatus and method for determining image data of the eyes, eye positions or a line of sight of a vehicle user
US11881054B2 (en) 2019-07-03 2024-01-23 Mercedes-Benz Group AG Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle

Similar Documents

Publication Publication Date Title
DE102013200427B4 (en) Method and device for generating an all-round view image of a vehicle environment of a vehicle, method for providing at least one driver assistance function for a vehicle, all-round view system for a vehicle
DE102016123231B4 (en) Apparatus and method for controlling an airbag
DE102011112717A1 (en) A method for providing a representation in a motor vehicle depending on a viewing direction of a vehicle driver
DE102017223160B4 (en) Method for detecting at least one object lying on a motor vehicle and control device and motor vehicle
DE102017109073A1 (en) Information display device
DE102014226185A1 (en) Method for determining a viewing direction of a person
WO2016067082A1 (en) Method and device for gesture control in a vehicle
DE102016002289A1 (en) Method for observing a driver of a vehicle
DE102009014437A1 (en) Object recognition system and method
DE102014203444A1 (en) Device and procedure for determining an eye condition of a vehicle occupant
DE102020210055A1 (en) Method and device for monitoring the interior of a vehicle
DE102012000949A1 (en) Method for warning a driver of a motor vehicle before a risk of collision with help of a collision warning system, involves recording a temporal sequence of images of surrounding areas of motor vehicle by camera of collision warning system
DE102017205386A1 (en) A driver observation apparatus and method for observing a driver in a vehicle for determining at least one position of the driver in the vehicle
DE102010026223A1 (en) Motor vehicle i.e. car, has image capturing units assigning display units that display images, where image capturing units include infrared cameras that detect near infrared radiation and/or far infrared radiation
DE102019116004B4 (en) METHOD AND DEVICE FOR OBJECT DETECTION IN BLIND ZONES OF A CAMERA
DE102019210058B3 (en) Device and method for object recognition in the underbody area of a motor vehicle
DE102016011246A1 (en) A method of monitoring a condition of at least one occupant of a vehicle
DE102019105778A1 (en) Method for classifying objects within a motor vehicle
DE102019004144A1 (en) Procedure for monitoring vehicle tires
DE102017010492A1 (en) Method for determining at least one projection surface in an environment of a motor vehicle
DE102006037600A1 (en) Method for resolution based representation of ambience of motor vehicle for use in parking system, involves capturing ambience information from ambience of motor vehicle by image sensor
DE102011005368A1 (en) Driver assistance system for vehicle, particularly designed as assistance system for shunters or for parking vehicle, has video camera, by which video image of surrounding area of vehicle is recorded with objects
DE102017129214B4 (en) System and method for improving a field of vision
DE102020214910A1 (en) Method for monitoring a vehicle interior
DE102016011141A1 (en) A method of monitoring a condition of at least one occupant of a vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: APPLICATION SOLUTIONS (ELECTRONICS AND VISION) LTD., LEWES, EAST SUSSEX, GB

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: APPLICATION SOLUTIONS (ELECTRONICS AND VISION) LTD., LEWES, EAST SUSSEX, GB

R081 Change of applicant/patentee

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, 85057 INGOLSTADT, DE