[go: up one dir, main page]

WO2014005585A1 - Kamerasystem zur erkennung des zustands einer fahrzeugscheibe - Google Patents

Kamerasystem zur erkennung des zustands einer fahrzeugscheibe Download PDF

Info

Publication number
WO2014005585A1
WO2014005585A1 PCT/DE2013/200027 DE2013200027W WO2014005585A1 WO 2014005585 A1 WO2014005585 A1 WO 2014005585A1 DE 2013200027 W DE2013200027 W DE 2013200027W WO 2014005585 A1 WO2014005585 A1 WO 2014005585A1
Authority
WO
WIPO (PCT)
Prior art keywords
disc
illumination
camera system
image sensor
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2013/200027
Other languages
English (en)
French (fr)
Inventor
Henryk Frenzel
Andreas Aumer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Priority to DE112013000225.6T priority Critical patent/DE112013000225A5/de
Publication of WO2014005585A1 publication Critical patent/WO2014005585A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas

Definitions

  • Camera system for detecting the condition of a vehicle window
  • the invention relates to a method for detecting a condition of a vehicle window by means of a camera system and to a camera system which is designed to implement such a method.
  • disc state detection Method and device for detecting the state of a disc of a vehicle, hereinafter also referred to as disc state detection, is basically known from the prior art.
  • disc state detection in particular includes the detection of rain, dirt, ice, snow and / or other moist deposits on the respective vehicle window.
  • Various sensor devices are used for the detection, for example rain sensors.
  • rain sensors are usually realized according to the principle of (infrared) light input into the disk, single or multiple total reflection of the light in the disk and evaluation of the light signal after total reflection.
  • a portion of the light fed into the disc is decoupled from the disc at the deposits.
  • decoupling a portion of the light arriving at the receiver side of the rain sensor light signal is reduced in intensity.
  • At the reduction of the signal can be detected according to rain or moisture.
  • capacitive or similar implementation approaches for rain sensors are known.
  • a major disadvantage of using such rain sensors is the fact that they are separate Devices is that fulfill no other functions apart from the disc state detection and for a separate installation space, especially in the field of windshield is needed.
  • the installation space in the area of the windshield is already already limited in any case due to other sensors that are used in modern vehicles.
  • a desire of many vehicle manufacturers is therefore to combine different or multiple sensor functions on a single sensor device.
  • the additional lighting can have disturbing influences, such as glare effects, on the image captured by the camera system.
  • a lighting within the reformrichters a vehicle camera easily leads to disturbing light effects or reflections. Therefore, it has hitherto been necessary to integrate partial filters into the camera system in order to separate the image of the vehicle surroundings from the rain sensor image.
  • the "normal" camera function ie in particular the Detecting the vehicle environment for one or more
  • the invention is therefore based on the object to provide a solution, as by means of a camera system of a vehicle disk state detection can be realized, in particular rain detection means of illumination of the disc, without the normal camera function or without other functions of the camera are affected by the lighting.
  • An essential idea of the invention is to synchronize the reading of a line or column-wise readable image sensor of a vehicle camera with an illumination of the vehicle window by an illumination device that the illumination of the disc only during the reading of a selected area of the image sensor or its sensor surface takes place, ie Selected lines or columns of the sensor surface of the image sensor to be used for disk state detection.
  • an illumination device that the illumination of the disc only during the reading of a selected area of the image sensor or its sensor surface takes place, ie Selected lines or columns of the sensor surface of the image sensor to be used for disk state detection.
  • the illumination is carried out according to the invention only for the selected area of the sensor surface of the image sensor, which is actually used for disk state detection.
  • the illumination is thus preferably decoupled in time from the reading of the remaining part of the image sensor, that is, which does not require any illumination.
  • the decoupling takes place in particular by the proposed synchronization of the illumination by means of lighting device with the line or column-wise reading of the image sensor.
  • no complicated or expensive partial and / or optical filters are necessary, and the image sensor of the camera can continue to be sensitive over its entire sensor surface in the wavelength at which the illumination is realized.
  • the method according to the invention serves to operate a camera system and to detect a condition of a window of a vehicle.
  • the camera system is preferably a vehicle camera, which is arranged in the interior of the vehicle behind a disc.
  • the camera system can be arranged with viewing direction through the window, for example for detecting the vehicle surroundings, for example for one or more driver assistance functions.
  • the disc may be the windshield or another disc of the vehicle. Under the detection of the state of the disc (disk state detection) is in particular the determination of rain, snow, ice, dirt and / or other moist deposits or moisture to understand.
  • the pane is illuminated by means of one or more illumination devices and a line-wise or column-wise readout of pixel data of a sensor surface of an image sensor of the camera system such that the illumination and the readout are synchronized.
  • the lighting and the Readings are preferably synchronized in such a way that the illumination of the pane takes place only during the readout of a selected area of the sensor area of the image sensor.
  • the illumination of the pane takes place in particular only during the reading of the area of the sensor surface of the image sensor, which is used to detect the state of the disc or is evaluated by image processing for disc state detection.
  • the one or more illumination devices may be one or more light sources, such as LEDs (Light Emitting Diodes), which may in particular be part of the camera system.
  • the one or more lighting devices are preferably designed such that they can illuminate at least a portion of the pane through which the camera system looks through.
  • the image sensor of the camera system is in particular a line or column-wise readable image chip, preferably a CMOS image sensor (CMOS imager) with rolling shutter.
  • CMOS imager CMOS imager
  • the disk state detection in particular a
  • Regenerkennung takes place preferably based on an evaluation of the pixel data of the selected area of the sensor surface of the image sensor, for example by means of suitable image processing equipment or
  • Image processing algorithms for example, patterns or structure recognition methods already known from the prior art can also be used.
  • the remaining area of the sensor surface of the image sensor can be used in particular for other camera functions, for example for object recognition in the vehicle environment or other
  • the illumination of the disc takes place by means of Lighting device only during the reading of a portion of the sensor surface of the image sensor, which is focused on the disc via an imaging system of the camera system.
  • the imaging system of the camera system may be a lens.
  • the imaging system may be formed bifocal, for example, whereby by means of the imaging system electromagnetic radiation is preferably projected from different ektktfernfern distances on the sensor surface of the image pickup element, preferably from a far-field optical and a near optical area.
  • the bifocal configuration of the imaging system can further be configured in such a way that two separate regions exist on the sensor surface of the image sensor, with only electromagnetic radiation being projected from the optical far region by means of the imaging system on a first of the two regions, and exclusively electromagnetic radiation on the second region from the optical proximity.
  • the long-distance optical area may be, for example, the vehicle surroundings, for example object distances greater than or equal to 2 m, 10 m or 50 m.
  • the optical proximity region is preferably the disk or around its outer surface.
  • the illumination of the pane is preferably carried out according to the method according to the invention only if there is a readout of the area of the sensor surface of the image sensor, which focuses on the near zone, in particular directly on the pane or its outer surface via the imaging system is.
  • illumination of the pane takes place by means of illumination means during the readout of a selected area of the sensor area of the image sensor, which via an imaging system of the camera system onto a O ektentfernung is focused in front of the disc, in particular to a remote area or at a Ektentfernung that is greater than the distance between the camera system and disc.
  • the camera system in which the method according to the invention is used can be focused exclusively on a remote area, in particular by means of an imaging system, for example on object distances greater than or equal to 2 m, 10 m or 50 m.
  • rain as well as other wet deposits on the glass can be detected by means of fuzzy structures in one or more images captured by the camera system.
  • the detection of fuzzy structures i. the disc state detection, thereby exclusively by means of an evaluation of pixel data of the selected and during the illumination of the disc means
  • Illumination device read area of the sensor surface of the image sensor, i. only the area of one or more captured images for which the lighting is active.
  • the selected region of the sensor surface of the image sensor is varied after one or more read-out cycles of the image sensor.
  • a single read-out cycle is preferably to be understood as meaning a one-time complete column-by-row or readout of the entire sensor area, ie the entire pixel data, of the image sensor.
  • the result of a read cycle is therefore in particular a single image recorded by means of the camera system or by means of the image sensor.
  • the next read cycle follows a read cycle.
  • the synchronized illumination of the disk and readout of the image sensor takes place at each read cycle or only at certain
  • a region of the sensor surface is determined and defined as a selected region which is suitable for detecting the state of the wafer.
  • the illumination of the slice and the reading of the pixel data of the sensor surface of the image sensor may be synchronized according to the inventive method, in particular such that the illumination of the slice only during the reading of the determined and fixed range he follows.
  • a region of the sensor surface of the image sensor can be selected that is better for a disk state detection, in particular for a
  • the detection of the state of the disc in particular when a region of the sensor surface for disk state detection is selected as a function of at least one first readout cycle without illumination, and in particular when this region is an area with substantially homogeneous light distribution , the detection of the state of the disc can be such that the pixel or image data of the at least one first reading cycle without illumination and the pixel or image data of the at least one subsequent reading cycle with illumination are compared.
  • the detection of the state of the disc in particular the rain detection, can be further improved. If there is no rain or other deposits on the disc, the image data with and the image data without illumination will have few to no differences. If, on the other hand, rain or other deposits are present, they are highlighted by the illuminations and thus in the image data read out during the illumination of the pane and by means of
  • Image processing can be recognized as structures in the image. By comparison with the image data without illumination, it can be ruled out in particular that the structures are objects or phenomena from the vehicle environment.
  • the camera system according to the invention is preferably arranged in the interior of a vehicle behind a pane and viewed through the pane.
  • the camera system may include at least one image sensor at least one
  • Lighting device include.
  • the image sensor is preferably a column or line-wise readable image sensor with one for electromagnetic Radiation-sensitive sensor surface, for example, a CMOS imager with rolling shutter.
  • the image sensor is preferably used for capturing image data by means of the camera system, for example from the vehicle environment.
  • electromagnetic radiation from the vehicle environment, for example, from a defined Whether ektentfernung be projected onto the sensor surface of the image sensor.
  • the illumination device of the camera system is used in particular for illuminating the pane, preferably the area of the pane through which the camera system looks.
  • the illumination device may be, for example, one or more light sources, for example one or more LEDs (Light Emitting Diodes).
  • the camera system comprises means or is connected to means which are designed to detect the state of the pane and to operate the camera system according to a method according to one of the embodiments described above.
  • the funds are in particular to
  • Image processing means for reading and evaluating the pixel data of the sensor surface of the image sensor or the image data, and / or means for controlling the illumination of the disc by means of the illumination device.
  • Figure 1 an example of an inventive
  • Camera system or a camera system in which s inventive method can be used is a camera system in which s inventive method can be used.
  • Figure 2a-c a schematic representation of a preferred embodiment
  • the camera system is shown simplified and comprises an imaging system 3, in this case an objective, and an image sensor 4, in this case a CMOS image chip with rolling shutter.
  • the image sensor 4 is arranged on a first printed circuit board 5.1.
  • the camera system is arranged in the interior of a vehicle behind the windshield 1.
  • the camera system is further aligned with viewing direction 2 through the windshield 1 in the direction of the front of the vehicle vehicle environment.
  • the camera system is a certain object distance focused, for example
  • the sensor surface 10 of the image sensor 4 is a sensor surface 10 that is sensitive to electromagnetic radiation 7 and 12 and that comprises a multiplicity of pixels or photodiodes arranged next to one another in the form of a matrix, which are readable in columns or rows.
  • the camera system can be designed in particular for the implementation of various driver-supporting functions, in particular of
  • Driver assistance functions such as a
  • the camera system for detecting the state of the disc 1 of the vehicle is formed behind which it is arranged, in this case the windshield 1.
  • the camera system can this one or more
  • Lighting devices 6 include, which are used to illuminate the disc 1 with electromagnetic radiation 12, in particular the area 11 through which the camera system looks through.
  • the illumination device 6 can according to FIG. 1, for example, in the view funnel of the camera system, e.g. in the region of a lens hood, be arranged on a second circuit board 5.2.
  • deposits such as rain 8, snow, ice, dirt or other moist deposits on the pane 1 can be made more visible.
  • the camera system according to the invention is associated with means or comprises means for synchronization of the illumination 12 of the windshield 1 by means of the illumination device 6 and the column or line by line reading Pixel data of the sensor surface 10 of the image sensor 4 such that the illumination 12 of the disc 1 takes place only during the reading of a selected area of the sensor surface 10 of the image sensor 4.
  • the camera system according to the invention may comprise further components, as illustrated in FIG. 1, for example one or more housing parts,
  • Lens hoods means for arrangement and attachment behind the windshield 1 and other electronic devices and optical Strahlformungs- and / or beam steering elements.
  • the camera system can continue with electrical facilities, in particular with
  • Driver assistance systems be connected in the vehicle.
  • FIGS. 2a to 2c show a schematic representation of the functional principle of the method according to the invention.
  • FIGS. 2a to 2c show the readout of pixel data of the sensor surface 10 of the image sensor 4 during a single readout cycle. In this case the reading is done line by line.
  • the sensor surface 10 of the image sensor 4 can be subdivided into a plurality of regions extending transversely across the sensor surface 10 in the case of readout by line.
  • the sensor surface is subdivided into five regions B i to B5.
  • the reading of an upper region B i of the sensor surface which may comprise one or more pixel rows, takes place.
  • the readout of a second region B 2 of the sensor surface 10 which may also include one or more pixel rows.
  • the readout of the further regions B3 to B5 is carried out analogously in the periods T3 to T. 5
  • the result of a read-out cycle ie the single line-by-line readout of the entire sensor surface 10 of the image sensor 4, is preferably a single acquired image.
  • an illumination 12 of the pane 1 is effected by means of a lighting device 6 and the line-wise reading of the pixel data of the sensor surface 10 of the image sensor 4 shown in FIGS.
  • FIG. 2 b shows that illumination of the pane takes place in the period T 2 , so that the readout of the area B 2 in the period T 2 is determined both by the electromagnetic radiation E 1 , ie by the electromagnetic radiation 7 the vehicle environment, as well as by the electromagnetic radiation E2, that is influenced by the emitted from the illumination device 6 on the disc 1 electromagnetic radiation 12.
  • the readout of the remaining areas B i and B 3 to B 5 is influenced exclusively by the electromagnetic radiation El or 7 from the vehicle environment, so that the illumination for the wheel condition detection does not negate the image detection with the areas Bi and B 3 to B 5 affected.
  • the illumination 12 can be carried out during each read cycle in the time period T 2 according to an embodiment variant of the method according to the invention and only at certain readout cycles. Furthermore, the illumination 12 can be made or varied every time during the same period of time, ie for reading the same area of the sensor surface 10 of the image sensor 4, ie in this case in the period T 2 during the reading of the area B 2 , ie, for example Periods T lf T 3f T 4 or T 5 done.
  • the illumination 12 of the disc 1 affects each time exclusively the reading of the pixel lines, which are actually read at the respective time.
  • the selected area and thus in particular the period to which the illumination 12 takes place, can be set according to the invention in particular also as a function of one or more preceding readout cycles, wherein preferably one area the sensor surface 10 of the image sensor 4 is selected for the disk state detection, which has a homogeneous light distribution and thus for the
  • Disk state detection is particularly suitable.
  • the synchronized illumination according to the invention and readout of the pixel data of the image sensor can then take place, in particular for the selected region with homogeneous light distribution. name list
  • Image sensor 4 1-T5 Periods of readout of areas B 1 -B5

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

Kamerasystem zur Erkennung des Zustands einer Fahrzeugscheibe
Die Erfindung betrifft ein Verfahren zur Erkennung eines Zustands einer Fahrzeugscheibe mittels eines Kamerasystems sowie ein Kamerasystem, das zur Umsetzung eines solchen Verfahrens ausgebildet ist.
Verfahren und Vorrichtung zur Erkennung des Zustands einer Scheibe eines Fahrzeugs, im folgenden auch als Scheibenzustandserkennung bezeichnet, ist aus dem Stand der Technik grundsätzlich bekannt. Zur Scheibenzustandserkennung zählt insbesondere die Erkennung von Regen, Schmutz, Eis, Schnee und/oder anderen feuchten Ablagerungen auf der jeweiligen Fahrzeugscheibe . Für die Erkennung werden verschiedene Sensoreinrichtungen eingesetzt, beispielsweise Regensensoren .
Regensensoren werden heutzutage meist nach dem Prinzip einer ( Infrarot- ) Lichteinspeisung in die Scheibe, einer einfachen oder mehrfachen Totalreflexion des Lichts in der Scheibe und der Auswertung des Lichtsignals nach der Totalreflexion realisiert. Bei Anwesenheit von Regen oder anderen feuchten Ablagerungen auf der Scheibe, wird ein Teil des in die Scheibe eingespeisten Lichts an den Ablagerungen wieder aus der Scheibe ausgekoppelt. Durch die Auskopplung eines Teils des Lichts wird das an der Empfängerseite des Regensensors ankommende Lichtsignal in seiner Intensität verringert. An der Verringerung des Signals kann entsprechend Regen bzw. Feuchtigkeit detektiert werden. Darüber hinaus sind auch kapazitative oder ähnliche Realisierungsansätze für Regensensoren bekannt.
Ein wesentlicher Nachteil des Einsatzes derartiger Regensensoren ist die Tatsache, dass es sich dabei um separate Einrichtungen handelt, die außer der Scheibenzustandserkennung keine weiteren Funktionen erfüllen und für die ein separater Einbauraum, insbesondere im Bereich der Windschutzscheibe, benötigt wird. Der Einbauraum im Bereich der Windschutzscheibe ist jedoch in der Regel bereits aufgrund anderer Sensoren, die in modernen Fahrzeugen eingesetzt werden, ohnehin schon begrenzt. Ein Wunsch vieler Fahrzeughersteller ist es daher, verschiedene bzw. mehrere Sensorfunktionen auf eine einzelne Sensoreinrichtung zu vereinen.
Seit einigen Jahren werden vermehrt Kameras in Fahrzeugen eingesetzt. Ein Großteil dieser Kameras schaut durch eine Fahrzeugscheibe, insbesondere die Windschutzscheibe, in das Fahrzeugumfeld, beispielsweise in das in Fahrtrichtung vorausliegende Umfeld des Fahrzeugs, und übernimmt über Bildverarbeitungseinrichtungen verschiedene fahrerunterstützende Funktionen, die auch allgemein als Assistenzfunktionen bzw. Fahrerassistenzfunktionen bezeichnet werden. Aus diesem Grund wird bereits versucht, eine Funktion zur Scheibenzustandserkennung in eine derartige Fahrzeugkamera zu integrieren. Bei der Integration in eine Fahrzeugkamera existieren jedoch verschiedene Probleme, weshalb solche Ansätze bislang nicht zur Marktreife gelangt sind und weshalb es bis heute nicht gelungen ist, beispielsweise eine Regensensorfunktion kostengünstig und mit der erforderlichen Leistungsfähigkeit in ein Kamerasystem zu integrieren.
Probleme bei der Integration einer Scheibenzustandserkennung in ein Kamerasystem liegen zum Beispiel in einem Fokus des Kamerasystems, der in der Regel nicht auf die Scheibe sondern auf einen optischen Entfernungsbereich vor dem Fahrzeug gerichtet ist. Werden hingegen bifokale Systeme eingesetzt, z.B. mit einem Objektfokus sowohl auf einen Fernbereich als auch auf die Fahrzeugscheiben, dann sind hierfür zusätzliche optische Elemente erforderlich, die zu vergrößerten Abmessungen des Kamerasystems führen. Unabhängig davon, ob das Kamerasystem auf die Scheibe fokussiert ist oder nicht, ist ein zuverlässiger Ausschluss von Fehleinschätzungen, was den Zustand der Scheibe betrifft, mit den bekannten Lösungen nicht möglich, beispielweise bei schwierigen Umgebungsbedingungen, wie ungünstige Lichtbedingungen. Weitere Probleme bestehen in der Trennung des Bildes der Fahrzeugumgebung von dem Regensensorbild (Bild der Fahrzeugscheibe ) . Bei einigen bekannten Ansätzen wird auch bereits mit einer zusätzlichen Beleuchtung der Fahrzeugscheibe gearbeitet um die Scheibenzustandserkennung zu verbessern. Die zusätzliche Beleuchtung kann jedoch störende Einflüsse, z.B. Blendeffekte, auf das mittels des Kamerasystems erfasste Bild haben. Eine Beleuchtung innerhalb des Sichtrichters einer Fahrzeugkamera führt leicht zu störenden Lichteffekten bzw. Reflexen. Daher ist es bislang erforderlich, partielle Filter in das Kamerasystem zu integrieren, um das Bild der Fahrzeugumgebung von dem Regensensorbild zu trennen. Bei den bisherigen Ansätzen erweist es sich somit als Problem, die Beleuchtung der Scheibe so zu gestalten, dass durch die Beleuchtung einerseits Details auf der Scheibe, wie Regen oder andere feuchte Ablagerungen, besser erkennbar werden und andererseits die "normale" Kamerafunktion, d.h. insbesondere die Erfassung des Fahrzeugumfeldes für eine oder mehrere
Fahrerassistenzfunktionen, nicht negativ durch die Beleuchtung beeinflusst wird.
Der Erfindung liegt somit die Aufgabe zu Grunde eine Lösung anzugeben, wie mittels eines Kamerasystems eines Fahrzeugs eine Scheibenzustandserkennung realisiert werden kann, insbesondere eine Regenerkennung mittels einer Beleuchtung der Scheibe, ohne dass die normale Kamerafunktion bzw. ohne dass sonstige Funktionen der Kamera durch die Beleuchtung beeinträchtigt werden.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen nach Anspruch 1 sowie durch ein Kamerasystem mit den Merkmalen nach Anspruch 9 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.
Ein wesentlicher Gedanke der Erfindung besteht darin, die Auslesung eines zeilen- bzw. spaltenweise auslesbaren Bildsensors einer Fahrzeugkamera derart mit einer Beleuchtung der Fahrzeugscheibe durch eine Beleuchtungseinrichtung zu synchronisieren, dass die Beleuchtung der Scheibe nur während der Auslesung eines ausgewählten Bereichs des Bildsensors bzw. dessen Sensorfläche erfolgt, d.h. ausgewählter Zeilen oder Spalten der Sensorfläche des Bildsensors, die für die Scheibenzustandserkennung genutzt werden sollen. Mit anderen Worten: Es wird eine zweiteilige Nutzung des Bildsensors realisiert, wobei die Beleuchtung derart gesteuert wird, dass die Beleuchtung nur dann erfolgt, wenn der Bildsensor aktuell in einem Bereich seiner Sensorfläche ausgelesen wird, für den die Beleuchtung erforderlich ist, d.h. wenn der für die Scheibenzustandserkennung genutzte Bereich der Sensorfläche des Bildsensors ausgelesen wird.
Aus der erfindungsgemäßen Lösung, für die Integration einer Scheibenzustandserkennung in ein Kamerasystem eines Fahrzeugs, ergeben sich verschiedene Vorteile, insbesondere gegenüber den bislang eingesetzten Regensensoren sowie den bekannten Integrationsansätzen einer derartigen Funktion in eine Fahrzeugkamera . Die Beleuchtung erfolgt erfindungsgemäß nur für den ausgewählten Bereich der Sensorfläche des Bildsensors, der tatsächlich für die Scheibenzustandserkennung genutzt wird. Die Beleuchtung ist somit bevorzugt von der Auslesung des restlichen Teils des Bildsensors, d.h. der keine Beleuchtung benötigt, zeitlich entkoppelt. Damit werden die sonstigen Kamerafunktionen durch die Beleuchtung nicht gestört. Die Entkoppelung erfolgt insbesondere durch die vorgeschlagene Synchronisation der Beleuchtung mittels Beleuchtungseinrichtung mit der zeilen- bzw. spaltenweisen Auslesung des Bildsensors. Es sind weiterhin keine aufwändigen oder teuren partiellen und/oder optischen Filter nötig und der Bildsensor der Kamera kann weiterhin über seine gesamte Sensorfläche in der Wellenlänge, mit der die Beleuchtung realisiert ist, sensitiv sein.
Das erfindungsgemäße Verfahren dient zum Betrieb eines Kamerasystems und zur Erkennung eines Zustands einer Scheibe eines Fahrzeugs. Bei dem Kamerasystem handelt es sich bevorzugt um eine Fahrzeugkamera, die im Innenraum des Fahrzeugs hinter einer Scheibe angeordnet ist. Das Kamerasystem kann dabei mit Blickrichtung durch die Scheibe hindurch angeordnet sein, zum Beispiel zur Erfassung des Fahrzeugumfelds , beispielsweise für eine oder mehrere Fahrerassistenzfunktionen. Bei der Scheibe kann es sich um die Windschutzscheibe oder um eine andere Scheibe des Fahrzeugs handeln. Unter der Erkennung des Zustands der Scheibe (Scheibenzustandserkennung) ist insbesondere die Ermittlung von Regen, Schnee, Eis, Schmutz und/oder anderen feuchten Ablagerungen bzw. von Feuchtigkeit zu verstehen.
Im Rahmen des erfindungsgemäßen Verfahrens erfolgt eine Beleuchtung der Scheibe mittels einer oder mehrerer Beleuchtungseinrichtungen und eine zeilen- oder spaltenweise Auslesung von Pixeldaten einer Sensorfläche eines Bildsensors des Kamerasystems derart, dass die Beleuchtung und die Auslesung synchronisiert sind. Die Beleuchtung und die Auslesung sind dabei vorzugsweise derart synchronisiert, dass die Beleuchtung der Scheibe nur während der Auslesung eines ausgewählten Bereichs der Sensorfläche des Bildsensors erfolgt. Die Beleuchtung der Scheibe erfolgt dabei insbesondere nur während der Auslesung des Bereichs der Sensorfläche des Bildsensors, der zur Erkennung des Zustands der Scheibe genutzt wird bzw. mittels Bildverarbeitung zur Scheibenzustandserkennung ausgewertet wird. Bei der einen oder den mehreren Beleuchtungseinrichtungen kann es sich um eine oder mehrere Lichtquellen, wie beispielsweise LEDs (Light Emitting Diodes) handeln, wobei diese insbesondere Bestandteil des Kamerasystems sein können. Die eine oder die mehreren Beleuchtungseinrichtungen sind dabei vorzugsweise derart ausgebildet, dass diese mindestens einen Bereich der Scheibe beleuchten können, durch den das Kamerasystem hindurch blickt. Bei dem Bildsensor des Kamerasystems handelt es sich insbesondere um einen zeilen- oder spaltenweise auslesbaren Bildchip, vorzugsweise um einen CMOS Bildsensor (CMOS Imager) mit Rolling Shutter.
Die Scheibenzustandserkennung, insbesondere eine
Regenerkennung, erfolgt dabei vorzugsweise anhand einer Auswertung der Pixeldaten des ausgewählten Bereichs der Sensorfläche des Bildsensors, beispielsweise mittels geeigneter Bildverarbeitungseinrichtungen bzw.
Bildverarbeitungsalgorithmen. Dabei können beispielsweise auch bereits aus dem Stand der Technik bekannte Muster- bzw. Strukturerkennungsverfahren zum Einsatz kommen. Der restliche Bereich der Sensorfläche des Bildsensors kann insbesondere für andere Kamerafunktionen verwendet werden, beispielsweise zur Objekterkennung im Fahrzeugumfeld oder anderer
Fahrerassistenzfunktionen .
Gemäß einer besonderen Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt die Beleuchtung der Scheibe mittels der Beleuchtungseinrichtung nur während der Auslesung eines Bereichs der Sensorfläche des Bildsensors, der über ein Abbildungssystem des Kamerasystems auf die Scheibe fokussiert ist. Bei dem Abbildungssystem des Kamerasystems kann es sich hierbei um ein Objektiv handeln. Das Abbildungssystem kann beispielsweise bifokal ausgebildet sein, wodurch mittels des Abbildungssystems elektromagnetische Strahlung bevorzugt aus unterschiedlichen Ob ektentfernungen auf die Sensorfläche des Bildaufnahmeelements projiziert wird, vorzugsweise aus einem optischen Fernbereich und einem optischen Nahbereich. Die bifokale Ausgestaltung des Abbildungssystems kann dabei weiterhin derart ausgestaltet, dass zwei getrennte Bereiche auf der Sensorfläche des Bildsensors existieren, wobei auf einem ersten der zwei Bereiche ausschließlich elektromagnetische Strahlung aus dem optischen Fernbereich mittels des Abbildungssystems projiziert wird, und auf den zweiten Bereich ausschließlich elektromagnetische Strahlung aus dem optischen Nahbereich. Bei dem optischen Fernbereich kann es sich dabei beispielsweise um das Fahrzeugumfeld handeln, z.B. um Objektentfernungen größer/gleich 2m, 10m oder 50m. Bei dem optischen Nahbereich handelt es sich bevorzugt um die Scheibe bzw. um deren Außenfläche. Bei einer derartigen bifokalen Ausgestaltung des Kamerasystems erfolgt die Beleuchtung der Scheibe gemäß dem erfindungsgemäßen Verfahren vorzugsweise nur dann, wenn eine Auslesung des Bereichs der Sensorfläche des Bildsensors erfolgt, der über das Abbildungssystems auf den Nahbereich, insbesondere direkt auf die Scheibe bzw. deren Außenfläche, fokussiert ist.
Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt Beleuchtung der Scheibe mittels Beleuchtungseinrichtung während der Auslesung eines ausgewählten Bereichs der Sensorfläche des Bildsensors, der über ein Abbildungssystem des Kamerasystems auf eine O ektentfernung vor der Scheibe fokussiert ist, insbesondere auf einen Fernbereich bzw. auf eine Ob ektentfernung, die größer ist, als der Abstand zwischen Kamerasystem und Scheibe. Das Kamerasystem, bei dem das erfindungsgemäße Verfahren zum Einsatz kommt, kann dabei insbesondere mittels eines Abbildungssystems ausschließlich auf einen Fernbereich fokussiert sein, beispielsweise auf Objektentfernungen größer/gleich 2m, 10m oder 50m. In diesem Fall können Regen sowie andere feuchte Ablagerungen auf der Scheibe anhand unscharfer Strukturen in einem oder mehreren mittels des Kamerasystems erfassten Bildern ermittelt werden.
Erfindungsgemäß erfolgt die Erfassung unscharfer Strukturen, d.h. die Scheibenzustandserkennung, dabei ausschließlich anhand einer Auswertung von Pixeldaten des ausgewählten und während der Beleuchtung der Scheibe mittels
Beleuchtungseinrichtung ausgelesenen Bereichs der Sensorfläche des Bildsensors, d.h. nur des Bereichs eines oder mehrerer erfasster Bilder für den die Beleuchtung aktiv ist.
Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird der ausgewählte Bereich der Sensorfläche des Bildsensors, dessen Auslesung erfindungsgemäß mit der Beleuchtung der Scheibe synchronisiert ist, nach einem oder mehreren Auslesungszyklen des Bildsensors variiert. Unter einem einzelnen Auslesungszyklus ist bevorzugt eine einmalige vollständige spalten- oder zeilenweise Auslesung der gesamten Sensorfläche, d.h. der gesamten Pixeldaten, des Bildsensors zu verstehen. Das Ergebnis eines Auslesungszyklus ist somit insbesondere ein einzelnes mittels des Kamerasystems bzw. mittels des Bildsensors erfasstes Bild. In der Regel folgt auf einen Auslesungszyklus der nächste Auslesungszyklus. Unter dem Variieren des ausgewählten Bereichs der Sensorfläche ist insbesondere die Wahl eines neuen ausgewählten Bereichs nach einem oder mehreren Auslesungszyklen für die Scheibenzustandserkennung zu verstehen. Das bedeutet insbesondere, dass nach einem oder mehreren mittels es Kamerasystems erfassten Bildern, der Bereich, während dessen Auslesung eine Beleuchtung der Scheibe erfolgt, verändert wird. Durch die Variation des ausgewählten Bereichs gemäß dieser Ausgestaltung des erfindungsgemäßen Verfahrens kann auf vorteilhafte Weise die Genauigkeit und Zuverlässigkeit der Erkennung des Zustands der Scheibe erhöht werden, insbesondere weil dadurch ein größerer Bereich der Scheibe für die Scheibenzustandserkennung genutzt werden kann.
Gemäß einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt die synchronisierte Beleuchtung der Scheibe und Auslesung des Bildsensors bei jedem Auslesungszyklus oder nur bei bestimmten
Auslesungszyklen. Die synchronisierte Beleuchtung und Auslesung kann beispielsweise bei jedem n-ten Auslesungszyklus erfolgen, mit n = Anzahl an aufeinanderfolgenden Auslesungszyklen.
Zur Erkennung des Zustands der Scheibe, insbesondere von Regen, ist es nicht unbedingt erforderlich, jedes mittels des Kamerasystems erfasste Bild auf das Vorhandensein von Regen oder anderen feuchten Ablagerungen auf der Scheibe auszuwerten. Hingegen kann es ausreichen, nur in bestimmten Zeitabständen eine Scheibenzustandserkennung durchzuführen. Bei der Ausgestaltung des erfindungsgemäßen Verfahrens, bei welcher die synchronisierte Beleuchtung der Scheibe und Auslesung des Bildsensors nur bei bestimmten Auslesungszyklen erfolgt, kann somit Rechenkapazität eingespart werden und es können sonstige Kamerafunktionen, die ohne Beleuchtung erfolgen, mit weniger Einschränkungen durchgeführt werden, da insbesondere in Auslesungszyklen, bei denen keine Beleuchtung erfolgt, die gesamte Sensorfläche bzw. das Gesamtbild für die sonstigen Kamerafunktionen genutzt werden kann.
Gemäß einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens wird während wenigstens eines ersten Auslesungszyklus der Pixeldaten des Bildsensors ohne Beleuchtung ein Bereich der Sensorfläche ermittelt und als ausgewählter Bereich festgelegt, der für die Erkennung Zustands der Scheibe geeignet ist. Während wenigstens eines nachfolgenden Auslesungszyklus, d.h. während wenigstens eines auf den wenigstens einen ersten Auslesungszyklus folgenden Auslesungszyklus, können die Beleuchtung der Scheibe und die Auslesung der Pixeldaten der Sensorfläche des Bildsensors gemäß dem erfindungsgemäßen Verfahren synchronisiert sein, insbesondere derart, dass die Beleuchtung der Scheibe nur während der Auslesung des ermittelten und festgelegten Bereichs erfolgt. Gemäß dieser bevorzugten Ausführung des erfindungsgemäßen Verfahrens kann während des wenigstens einen ersten Auslesungszyklus ein Bereich der Sensorfläche des Bildsensors ausgewählt werden, der sich besser für eine Scheibenzustandserkennung, insbesondere für eine
Regendetektion, eignet, als andere Bereiche der Sensorfläche. Hierfür eignen sich insbesondere Bereiche des Bildsensors bzw. dessen Sensorfläche, die beispielsweise eintönig sind bzw. eine im Wesentlichen homogene Lichtverteilung aufweisen und damit für andere Kamerafunktionen, wie beispielsweise eine Ob ekterkennung und oder eine Fahrspurerkennung, nur wenige oder keine relevanten Informationen liefern. Bei dieser Ausgestaltung des erfindungsgemäßen Verfahrens kann die Störwirkung der Scheibenzustandserkennung bzw. die Einschränkung sonstiger Kamerafunktionen auf vorteilhafterweise weiter reduziert werden. Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens, insbesondere dann, wenn ein Bereich der Sensorfläche für die Scheibenzustandserkennung in Abhängigkeit wenigstens eines ersten Auslesungszyklus ohne Beleuchtung ausgewählt wird, und insbesondere dann, wenn es sich bei diesem Bereich um einen Bereich mit im Wesentlichen homogene Lichtverteilung handelt, kann die Erkennung des Zustands der Scheibe derart erfolgen, dass die Pixel- bzw. Bilddaten des wenigstens einen ersten Auslesungszyklus ohne Beleuchtung und die Pixel- bzw. Bilddaten des wenigstens einen nachfolgenden Auslesungszyklus mit Beleuchtung verglichen werden. Durch den Vergleich der Daten, insbesondere des ausgewählten Bereichs der Sensorfläche des Bildsensors, kann die Erkennung des Zustands der Scheibe, insbesondere die Regenerkennung, weiter verbessert werden. Sind kein Regen oder andere Ablagerungen auf der Scheibe vorhanden, werden die Bilddaten mit und die Bilddaten ohne Beleuchtungen wenige bis keine Unterschiede aufweisen. Sind hingegen Regen oder andere Ablagerungen vorhanden, werden diese durch die Beleuchtungen und damit in den während der Beleuchtung der Scheibe ausgelesenen Bilddaten hervorgehoben und mittels
Bildverarbeitung als Strukturen im Bild erkennbar sein. Durch den Vergleich mit den Bilddaten ohne Beleuchtung kann insbesondere ausgeschlossen werden, dass es sich bei den Strukturen um Objekte bzw. Erscheinungen aus dem Fahrzeugumfeld handelt.
Das erfindungsgemäße Kamerasystem ist bevorzugt im Innenraum eines Fahrzeugs hinter einer Scheibe und mit Blickrichtung durch die Scheibe hindurch angeordnet. Das Kamerasystem kann wenigstens einen Bildsensor wenigstens eine
Beleuchtungseinrichtung umfassen. Bei dem Bildsensor handelt es sich dabei vorzugsweise um einen spalten- oder zeilenweise auslesbaren Bildsensor mit einer für elektromagnetische Strahlung sensitiven Sensorfläche, beispielsweise um einen CMOS Imager mit Rolling Shutter. Der Bildsensor dient dabei vorzugsweise zur Erfassung von Bilddaten mittels des Kamerasystems, beispielsweise aus dem Fahrzeugumfeld . Hierzu kann mittels eines Abbildungssystems des Kamerasystems elektromagnetische Strahlung aus dem Fahrzeugumfeld, zum Beispiel aus einer definierten Ob ektentfernung, auf die Sensorfläche des Bildsensors projiziert werden. Die Beleuchtungseinrichtung des Kamerasystems dient insbesondere zur Beleuchtung der Scheibe, vorzugsweise des Bereichs der Scheibe, durch den das Kamerasystem blickt. Bei der Beleuchtungseinrichtung kann es sich beispielsweise um eine oder mehrere Lichtquellen handeln, z.B. um eine oder mehrere LEDs (Light Emitting Diodes). Erfindungsgemäß umfasst das Kamerasystem Mittel oder ist mit Mitteln verbunden, die ausgebildet sind, zur Erkennung des Zustands der Scheibe und zum Betrieb des Kamerasystems gemäß einem Verfahren nach einem der vorangehend beschriebenen Ausführungen. Bei den Mitteln handelt es sich dabei insbesondere um
Bildverarbeitungseinrichtungen, zur Auslesung und Auswertung der Pixeldaten der Sensorfläche des Bildsensors bzw. der Bilddaten, und/oder um Einrichtungen zur Steuerung der Beleuchtung der Scheibe mittels der Beleuchtungseinrichtung.
Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.
Es zeigt
Figur 1 : ein Beispiel für ein erfindungsgemäßes
Kamerasystem bzw. ein Kamerasystem, bei dem s erfindungsgemäße Verfahren zum Einsatz kommen kann .
Figur 2a-c: eine schematische Darstellung eines bevorzugten
Ablaufs des erfindungsgemäßen Verfahrens, insbesondere eines Auslesungszyklus der Sensorfläche eines Bildsensors mit erfindungsgemäß synchronisierter Beleuchtung und Auslesung .
Fig. 1 zeigt ein Beispiel für ein erfindungsgemäßes Kamerasystem bzw. für ein Kamerasystem, bei dem das erfindungsgemäße Verfahren zum Einsatz kommen kann. Das Kamerasystem ist vereinfacht dargestellt und umfasst ein Abbildungssystem 3, in diesem Fall ein Objektiv, und einen Bildsensor 4, in diesem Fall ein CMOS Bildchip mit Rolling Shutter Der Bildsensor 4 ist auf einer ersten Leiterplatte 5.1 angeordnet. Das Kamerasystem ist im Innenraum eines Fahrzeugs hinter der Windschutzscheibe 1 angeordnet. Das Kamerasystem ist weiterhin mit Blickrichtung 2 durch die Windschutzscheibe 1 hindurch in Richtung des vor dem Fahrzeug liegenden Fahrzeugumfelds ausgerichtet. Über das Abbildungssystem 3, mit dessen optische Achse 9, ist das Kamerasystem eine bestimmte Objektentfernung fokussiert, beispielsweise auf
Objektentfernungen größer oder gleich 2 m, d.h. auf einen optischen Fernbereich. Über das Abbildungssystem 3 wird elektromagnetische Strahlung 7, die aus dem Fahrzeugumfeld durch die Fahrzeugscheibe 1 hindurch tritt, auf die Sensorfläche 10 des Bildsensors 4 projiziert. Bei der Sensorfläche 10 des Bildsensors 4 handelt es sich um eine für elektromagnetische Strahlung 7 und 12 sensitive Sensorfläche 10, die eine Vielzahl an matrixförmig nebeneinander angeordneten Pixeln bzw. Fotodioden umfasst, die die spalten- oder zeilenweise auslesbar sind. Das Kamerasystem kann insbesondere zur Umsetzung verschiedener fahrerunterstützender Funktionen ausgebildet sein, insbesondere von
Fahrerassistenzfunktionen, wie beispielsweise eine
Ob ekterkennung, Verkehrszeichenerkennung, Fahrspurerkennung usw. Erfindungsgemäß ist das Kamerasystem zur Erkennung des Zustands der Scheibe 1 des Fahrzeugs ausgebildet hinter dem es angeordnet ist, in diesem Fall der Windschutzscheibe 1. Das Kamerasystem kann hierzu eine oder mehrere
Beleuchtungseinrichtungen 6 umfassen, die zur Beleuchtung der Scheibe 1 mit elektromagnetischer Strahlung 12 dienen, insbesondere des Bereich 11 durch den das Kamerasystem hindurch blickt. Die Beleuchtungseinrichtung 6 kann gemäß Fig. 1 beispielsweise im Sichttrichter des Kamerasystems, z.B. im Bereich einer Streulichtblende, auf einer zweiten Leiterplatte 5.2 angeordnet sein. Mittels der Beleuchtung 12 können Ablagerungen wie Regen 8, Schnee, Eis, Schmutz oder anderen feuchten Ablagerungen auf der Scheibe 1 besser erkennbar gemacht werden. Um die anderen bzw. die normalen Kamerafunktionen dabei durch die Beleuchtung 12 der Scheibe 1 nicht zu beeinträchtigen, ist das Kamerasystem erfindungsgemäß mit Mitteln verbunden oder umfasst Mittel zur Synchronisation der Beleuchtung 12 der Windschutzscheibe 1 mittels der Beleuchtungseinrichtung 6 und der spalten- oder zeilenweise Auslesung der Pixeldaten der Sensorfläche 10 des Bildsensors 4 derart, dass die Beleuchtung 12 der Scheibe 1 nur während der Auslesung eines ausgewählten Bereichs der Sensorfläche 10 des Bildsensors 4 erfolgt. Das erfindungsgemäße Kamerasystem kann weitere Komponenten, als in Fig. 1 dargestellt, umfassen, beispielsweise eines oder mehrere Gehäuseteile,
Streulichtblenden, Mittel zur Anordnung und Befestigung hinter der Windschutzscheibe 1 sowie weitere elektronische Einrichtungen und optische Strahlformungs- und/oder Strahllenkungselemente. Das Kamerasystem kann weiterhin mit elektrischen Einrichtungen, insbesondere mit
Fahrerassistenzsystemen, im Fahrzeug verbunden sein.
Die Fig. 2a bis 2c zeigen in schematischer Darstellung das Funktionsprinzip des erfindungsgemäßen Verfahrens. In den Figuren 2a bis 2c ist dabei die Auslesung von Pixeldaten der Sensorfläche 10 des Bildsensors 4 während eines einzelnen Auslesungszyklus gezeigt. Die Auslesung erfolgt in diesem Fall zeilenweise. Die Sensorfläche 10 des Bildsensors 4 kann bei zeilenweiser Auslesung in mehrere sich quer über die Sensorfläche 10 erstreckende Bereiche unterteilt sein. Im Beispiel aus den Fig. 2a bis 2c ist die Sensorfläche in fünf Bereiche B i bis B5 unterteilt. Im Zeitraum ΊΊ erfolgt die Auslesung eines oberen Bereichs B i der Sensorfläche, welcher eine oder mehrere Pixelzeilen umfassen kann. Im Zeitraum T2 erfolgt die Auslesung eines zweiten Bereichs B2 der Sensorfläche 10, der ebenfalls eine oder mehrere Pixelzeilen umfassen kann. Die Auslesung der weiteren Bereiche B3 bis B5 erfolgt analog in den Zeiträumen T3 bis T5. Ergebnis eines Auslesungszyklus, d.h. die einmalige zeilenweise Auslesung der gesamten Sensorfläche 10 des Bildsensors 4, ist bevorzugt ein einzelnes erfasstes Bild. Gemäß dem erfindungsgemäßen Verfahren erfolgt eine Beleuchtung 12 der Scheibe 1 mittels einer Beleuchtungseinrichtung 6 und die in den Fig. 2a bis 2c dargestellte zeilenweise Auslesung der Pixeldaten der Sensorfläche 10 des Bildsensors 4 derart, dass die Beleuchtung 12 und die Auslesung derart synchronisiert sind, dass die Beleuchtung 12 der Scheibe 1 nur während der Auslesung eines ausgewählten Bereichs der Sensorfläche 10 des Bildsensors 4 erfolgt. Dieses Vorgehen ist in den Figuren 2a bis 2c veranschaulicht. Fig. 2b zeigt, dass im Zeitraum T2 eine Beleuchtung 6 der Scheibe erfolgt, so dass die Auslesung des Bereichs B2 im Zeitraum T2 sowohl von der elektromagnetischen Strahlung El, d.h. von der elektromagnetischen Strahlung 7 aus dem Fahrzeugumfeld, als auch von der elektromagnetischen Strahlung E2, d.h. von der von der Beleuchtungseinrichtung 6 auf die Scheibe 1 abgegebene elektromagnetische Strahlung 12, beeinflusst wird. Die Auslesung der restlichen Bereiche B i und B3 bis B5 ist hingegen ausschließlich von der elektromagnetischen Strahlung El bzw. 7 aus dem Fahrzeugumfeld beeinflusst, so dass die Beleuchtung für die Scheibenzustandserkennung die Bilderfassung mit den Bereichen Bi und B3 bis B5 nicht negativ beeinflusst. Die Beleuchtung 12 kann gemäß einer Ausführungsvariante des erfindungsgemäßen Verfahrens während jedes Auslesungszyklus im Zeitraum T2 erfolgen und nur zu bei bestimmten Auslesungszyklen. Weiterhin kann die Beleuchtung 12 jedes Mal im selben Zeitraum, d.h. zur Auslesung desselben Bereichs der Sensorfläche 10 des Bildsensors 4, d.h. in diesem Fall im Zeitraum T2 während der Auslesung des Bereichs B2, erfolgen oder aber variiert werden, d.h. beispielsweise auch zu den Zeiträumen Tlf T3f T4 oder T5 erfolgen. Die Beleuchtung 12 der Scheibe 1 beeinflusst dabei jedes Mal ausschließlich die Auslesung der Pixelzeilen, die zu dem jeweiligen Zeitpunkt auch tatsächlich ausgelesen werden. Die Auslesung der restlichen Pixeldaten der Sensorfläche 10 des Bildsensors 4 erfolgt ohne Beleuchtung 12. Der ausgewählte Bereich, und damit insbesondere der Zeitraum zu dem die Beleuchtung 12 erfolgt, kann erfindungsgemäß insbesondere auch in Abhängigkeit eines oder mehrerer vorangegangener Auslesungszyklen festgelegt werden, wobei bevorzugt ein Bereich der Sensorfläche 10 des Bildsensors 4 für die Scheibenzustandserkennung ausgewählt wird, der eine homogene Lichtverteilung aufweist und damit für die
Scheibenzustandserkennung besonders geeignet ist. In einem oder mehreren nachfolgenden Auslesungszyklen kann dann die erfindungsgemäße synchronisierte Beleuchtung und Auslesung der Pixeldaten des Bildsensors erfolgen, insbesondere für den ausgewählten Bereich mit homogener Lichtverteilung. Bezeichnungsliste
1 Scheibe
2 Blickrichtung
3 Abbildungssystem
4 Bildsensor
5.1 erste Leiterplatte
5.2 zweite Leiterplatte
6 Beleuchtungseinrichtung
7 elektromagnetische Strahlung aus dem
Fahrzeugumfeld
8 Regen
9 optische Achse
10 Sensorfläche
11 Bereich der Fahrzeugscheibe 1, durch den das Kamerasystem blickt
12 elektromagnetische Strahlung von der
Beleuchtungseinrichtung 6
B1-B5 Bereiche der Sensorfläche 10 des
Bildsensors 4 1-T5 Zeiträume der Auslesung der Bereiche B1-B5
El elektromagnetische Strahlung aus dem
Fahrzeugumfeld
E2 elektromagnetische Strahlung von der
Beleuchtungseinrichtung 6

Claims

Patentansprüche
1. Verfahren zum Betrieb eines Kamerasystems, das im
Innenraum eines Fahrzeugs hinter einer Scheibe (1) und mit Blickrichtung (2) durch die Scheibe (1) hindurch angeordnet ist, wobei das Verfahren zur Erkennung eines Zustands der Scheibe (1) mittels des Kamerasystems dient, dadurch gekennzeichnet, dass
eine Beleuchtung (12) der Scheibe (1) mittels einer
Beleuchtungseinrichtung (6) und
eine zeilen- oder spaltenweise Auslesung von Pixeldaten einer Sensorfläche (10) eines Bildsensors (4) des
Kamerasystems derart synchronisiert sind, dass
die Beleuchtung (12) der Scheibe (1) nur während der Auslesung eines ausgewählten Bereichs (Bi bis B5) der Sensorfläche (10) des Bildsensors (4) erfolgt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Beleuchtung (12) nur während der Auslesung eines Bereichs (Bi bis B5) der Sensorfläche (10) erfolgt, der über ein Abbildungssystem (3) des Kamerasystems auf die Scheibe (1) fokussiert ist.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Beleuchtung (12) während der Auslesung eines
ausgewählten Bereichs (Bi bis B5) der Sensorfläche (10) erfolgt, der über ein Abbildungssystem (3) des
Kamerasystems auf eine Ob ektentfernung vor der Scheibe (1) fokussiert ist.
4. Verfahren nach einem der vorangegangenen Ansprüche,
dadurch gekennzeichnet, dass
nach einem oder mehreren Auslesungszyklen der ausgewählte Bereich (Bi bis B5) der Sensorfläche (10) variiert wird.
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass
die synchronisierte Beleuchtung (12) und Auslesung bei jedem Auslesungszyklus oder nur in bestimmten
Auslesungszyklen erfolgt.
6. Verfahren nach einem der vorangegangenen Ansprüche,
dadurch gekennzeichnet, dass
während wenigstens eines ersten Auslesungszyklus der Pixeldaten des Bildsensor (4) ohne Beleuchtung (12) ein Bereich ( B i bis B5) der Sensorfläche (10) ermittelt und als ausgewählter Bereich ( B i bis B5) festgelegt wird, der für die Erkennung des Zustands der Scheibe (1) geeignet ist, und
während wenigstens eines nachfolgenden Auslesungszyklus der Pixeldaten des Bildsensors (4) die Beleuchtung (12) der Scheibe (1) und die Auslesung der Pixeldaten derart synchronisiert sind, dass die Beleuchtung (12) der
Scheibe (1) nur während der Auslesung des ausgewählten Bereichs ( B i bis B5) erfolgt.
7. Verfahren nach Anspruch 6,
dadurch gekennzeichnet, dass
die Ermittlung des ausgewählten Bereichs ( B i bis B5) , der für die Erkennung des Zustands der Scheibe (1) geeignet ist ,
anhand einer Auswertung der Pixeldaten des Bildsensors (4) ohne Beleuchtung (12) der Scheibe (1) erfolgt, wobei ein Bereich ( B i bis B5) als ausgewählter Bereich ( B i bis B5) festgelegt wird, der eine im Wesentlichen homogene Lichtverteilung aufweist.
8. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass
zur Erkennung des Zustand der Scheibe (1), die Pixeldaten des wenigstens einen ersten Auslesungszyklus und die Pixeldaten des wenigstens einen nachfolgenden
Auslesungszyklus verglichen werden.
9. Kamerasystem, das im Innenraum eines Fahrzeugs hinter einer Scheibe (1) und mit Blickrichtung (2) durch die Scheibe (1) hindurch angeordnet ist, umfassend
- wenigstens einen Bildsensor (4), der eine Sensorfläche (10) umfasst, deren Pixeldaten zeilen- oder spaltenweise auslesbar sind,
- wenigstens eine Beleuchtungseinrichtung (6) zur
Beleuchtung (12) der Scheibe (1),
dadurch gekennzeichnet, dass
das Kamerasystem Mittel umfasst oder mit Mitteln
verbunden ist, die zur Erkennung eines Zustands der
Scheibe (1) und zum Betrieb des Kamerasystems gemäß einem Verfahren nach einem der vorangegangenen Ansprüche ausgebildet sind.
10. Fahrzeug in dem ein Kamerasystem nach Anspruch 9
angeordnet ist.
PCT/DE2013/200027 2012-07-05 2013-07-04 Kamerasystem zur erkennung des zustands einer fahrzeugscheibe Ceased WO2014005585A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112013000225.6T DE112013000225A5 (de) 2012-07-05 2013-07-04 Kamerasystem zur Erkennung des Zustands einer Fahrzeugscheibe

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012106030.4 2012-07-05
DE102012106030.4A DE102012106030A1 (de) 2012-07-05 2012-07-05 Kamerasystem zur Erkennung des Zustands einer Fahrzeugscheibe

Publications (1)

Publication Number Publication Date
WO2014005585A1 true WO2014005585A1 (de) 2014-01-09

Family

ID=48856478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2013/200027 Ceased WO2014005585A1 (de) 2012-07-05 2013-07-04 Kamerasystem zur erkennung des zustands einer fahrzeugscheibe

Country Status (2)

Country Link
DE (2) DE102012106030A1 (de)
WO (1) WO2014005585A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086662A1 (de) * 2016-11-08 2018-05-17 Conti Temic Microelectronic Gmbh Erkennung von regentropfen auf einer scheibe mittels einer kamera und einer beleuchtung
WO2019233919A1 (de) 2018-06-07 2019-12-12 Robert Bosch Gmbh Vorrichtung zur erkennung einer verschmutzung eines sendefensters und/oder eines empfangsfensters eines lidar-gerätes und entsprechendes verfahren
WO2019233917A1 (de) 2018-06-07 2019-12-12 Robert Bosch Gmbh Vorrichtung, ausgebildet zur erkennung einer verschmutzung wenigstens eines sendefensters und/oder eines empfangsfensters eines sensors

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9245333B1 (en) 2014-12-10 2016-01-26 Semiconductor Components Industries, Llc Systems and methods for detecting obstructions within the field-of-view of an image sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1580092A2 (de) * 2004-03-26 2005-09-28 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
WO2006015905A1 (de) * 2004-08-04 2006-02-16 Siemens Aktiengesellschaft Optisches modul für ein den aussenvorraum in fahrtrichtung eines kraftfahrzeuges erfassendes assistenzsystem
DE102006016774A1 (de) * 2005-04-11 2006-10-12 Denso Corp., Kariya Regensensor
EP2189340A2 (de) * 2008-11-24 2010-05-26 Robert Bosch GmbH Kameramodul mit Mehrfachfunktion

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603137B2 (en) * 2001-04-16 2003-08-05 Valeo Electrical Systems, Inc. Differential imaging rain sensor
DE50301758D1 (de) * 2002-05-18 2005-12-29 Elmos Semiconductor Ag Regensensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1580092A2 (de) * 2004-03-26 2005-09-28 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
WO2006015905A1 (de) * 2004-08-04 2006-02-16 Siemens Aktiengesellschaft Optisches modul für ein den aussenvorraum in fahrtrichtung eines kraftfahrzeuges erfassendes assistenzsystem
DE102006016774A1 (de) * 2005-04-11 2006-10-12 Denso Corp., Kariya Regensensor
EP2189340A2 (de) * 2008-11-24 2010-05-26 Robert Bosch GmbH Kameramodul mit Mehrfachfunktion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KURIHARA H ET AL: "Rainy weather recognition from in-vehicle camera images for driver assistance", INTELLIGENT VEHICLES SYMPOSIUM, 2005. PROCEEDINGS. IEEE LAS VEGAS, NV, USA JUNE 6-8, 2005, PISCATAWAY, NJ, USA,IEEE, PISCATAWAY, NJ, USA, 6 June 2005 (2005-06-06), pages 205 - 210, XP010833968, ISBN: 978-0-7803-8961-8, DOI: 10.1109/IVS.2005.1505103 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086662A1 (de) * 2016-11-08 2018-05-17 Conti Temic Microelectronic Gmbh Erkennung von regentropfen auf einer scheibe mittels einer kamera und einer beleuchtung
WO2019233919A1 (de) 2018-06-07 2019-12-12 Robert Bosch Gmbh Vorrichtung zur erkennung einer verschmutzung eines sendefensters und/oder eines empfangsfensters eines lidar-gerätes und entsprechendes verfahren
DE102018209015A1 (de) 2018-06-07 2019-12-12 Robert Bosch Gmbh Vorrichtung und Verfahren zur Erkennung einer Verschmutzung wenigstens eines Sendefensters und/oder eines Empfangsfensters eines Sensors
WO2019233917A1 (de) 2018-06-07 2019-12-12 Robert Bosch Gmbh Vorrichtung, ausgebildet zur erkennung einer verschmutzung wenigstens eines sendefensters und/oder eines empfangsfensters eines sensors
DE102018209020A1 (de) 2018-06-07 2019-12-12 Robert Bosch Gmbh Vorrichtung, ausgebildet zur Erkennung einer Verschmutzung wenigstens eines Sendefensters und/oder eines Empfangsfensters eines Sensors
US11368673B2 (en) 2018-06-07 2022-06-21 Robert Bosch Gmbh Device designed for detecting a soiling of at least one transmitting window and/or one receiving window of a sensor

Also Published As

Publication number Publication date
DE112013000225A5 (de) 2014-07-17
DE102012106030A1 (de) 2014-05-22

Similar Documents

Publication Publication Date Title
EP1506108B1 (de) Regensensor
EP2384295B1 (de) Kameraanordnung und verfahren zur erfassung einer fahrzeugumgebung
EP2646802A1 (de) Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
DE102010062496B4 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
EP2715446A1 (de) Kamerasystem für ein fahrzeug
DE102013108824A1 (de) Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
EP1303768B1 (de) Verfahren zur sichtweitenbestimmung
DE102009012758B4 (de) Vorrichtung und Verfahren zur Detektion mindestens eines Objektes
EP1214224A1 (de) Kraftfahrzeug- sensoranordnung zur umgebungserfassung
DE102019103963A1 (de) Ildgebungsvorrichtung
DE102016223171A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
WO2014005585A1 (de) Kamerasystem zur erkennung des zustands einer fahrzeugscheibe
DE102016223185A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE10146786A1 (de) Einrichtung zur automatischen Schaltung von Beleuchtungseinrichtungen eines Fahrzeugs
DE102015007794A1 (de) Verfahren und Vorrichtung zur Erfassung von Feuchtigkeit und/oder einer Verschmutzung auf einer Außenseite einer Abdeckung eines Bildsensors
DE102014207994A1 (de) Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE102011055928A1 (de) Optische Vorrichtung mit multifokaler Abbildung
DE10248416B4 (de) Vorrichtung und Verfahren zur Bestimmung einer Relativbewegung eines Fahrzeugs
DE102011083745B4 (de) Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung
DE102015218500A1 (de) Beleuchtung und kamerabasierte Detektion von Regentropfen auf einer Scheibe
EP3688660A1 (de) Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes
EP2758288A1 (de) Bilderfassungsvorrichtung für ein fahrzeug
EP1437615B1 (de) Nachtsichtsystem für Kraftfahrzeuge
DE102010055865A1 (de) Kameravorrichtung für einen Kraftwagen
DE102013102207A1 (de) Kamerasystem für ein Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13739937

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1120130002256

Country of ref document: DE

Ref document number: 112013000225

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112013000225

Country of ref document: DE

Effective date: 20140717

122 Ep: pct application non-entry in european phase

Ref document number: 13739937

Country of ref document: EP

Kind code of ref document: A1