[go: up one dir, main page]

WO2011153989A2 - Stereokamerasystem - Google Patents

Stereokamerasystem Download PDF

Info

Publication number
WO2011153989A2
WO2011153989A2 PCT/DE2011/001115 DE2011001115W WO2011153989A2 WO 2011153989 A2 WO2011153989 A2 WO 2011153989A2 DE 2011001115 W DE2011001115 W DE 2011001115W WO 2011153989 A2 WO2011153989 A2 WO 2011153989A2
Authority
WO
WIPO (PCT)
Prior art keywords
stereo camera
windshield
camera system
field
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2011/001115
Other languages
English (en)
French (fr)
Other versions
WO2011153989A3 (de
Inventor
Konrad ROTHENHÄUSLER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE112011101083T priority Critical patent/DE112011101083A5/de
Publication of WO2011153989A2 publication Critical patent/WO2011153989A2/de
Publication of WO2011153989A3 publication Critical patent/WO2011153989A3/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a stereo camera system according to claim 1.
  • a stereo camera is understood here to mean an arrangement of two cameras, which are mounted at a predetermined distance from each other, in particular on the windshield of the vehicle.
  • the images captured by the two cameras, in particular digital cameras are compared and pixel differences between identical object edges are evaluated in order to determine the corresponding object distance therefrom.
  • a deviation or positional difference of the optical axis of a camera from or to the predetermined position must be detected. Compensation can be done algorithmically, for example, by suitable software or mechanically by changing the position of the cameras. If the two cameras have been independently fixed to the windshield and adjusted in the assembly process, a positional difference of the optical axes during operation of the stereo camera can only be detected by defined objects in the street scene. Finding such defined objects worldwide and always is a great, if not impossible, challenge.
  • a possible object for detecting a position difference could also be an edge on the own vehicle, which is always visible to the stereo camera, for example the front edge of the vehicle.
  • a stereo camera system is understood here to mean a stereo camera and corresponding software for controlling the stereo camera and image evaluation.
  • the software is typically stored in a non-volatile memory of electronics of the stereo camera system and is executed by a processor of the electronics, which is configured by the software, especially for camera control and image analysis.
  • An essential idea of the invention is to design at least one camera module of a stereo camera system in such a way that it can be used as an at least bifocal optical camera module with at least two different depths of field on an image sensor, wherein a depth of field range covers the vicinity of the stereo camera system, in particular the area of the windscreen ,
  • the system can sharply image at least a portion of the windshield and detect objects in this subarea which are located on the windshield with a focus that is suitable for further evaluation, in particular for automatic alignment of the system.
  • special, intended for alignment pattern can be displayed on the windshield.
  • An embodiment of the invention now relates to a stereo camera system adapted for use in motor vehicles behind a sloped windshield, wherein
  • Depth of field can be used on an image sensor and the image sensor thereby includes at least two partial areas with different optical object widths, wherein an optical object distance for detecting an object in the vicinity, which is used to align the
  • Stereocamera arrangement serves, is provided.
  • the at least two image sensor subregions may have additional features
  • Components acting as filter elements can be integrated before, in or after the additional optical element and / or in optical
  • the sectional area of the additional optical element does not or only partially cuts.
  • the additional optical element may be formed in at least one of the optical components of the at least one camera module as a partial partial lens in front of a lens of the camera module, as a partial optical element in particular as a plane-parallel plate behind the lens or as an optical beam splitter or mirror element and thus a bifocal image on at least allow two sections of the image sensor.
  • the stereo camera system according to the invention can also be designed to achieve the at least two different focal depth regions simultaneously or separately by feeding the additional optical element, wherein the feeding of the additional optical element into the entire field of view of the at least two camera modules via a chopper wheel with lenses of one or more Refractive power and thickness in front of the lens, one or more plane-parallel elements that differ by their thickness or their refractive index behind the lens of a camera module or by filling a non-fixed, the desired wavelength range well-transmitting and differs in the refractive index of air medium behind the lens of a camera module takes place.
  • the at least two depth-of-field regions of the individual camera modules of the stereo camera system according to the invention can be identical or differ in their depth-of-sharpness limits due to the at least one partially arranged additional optical element.
  • the at least two different depth-of-field regions of the individual camera modules of the stereo camera system according to the invention can have one subarea of the image sensor for close-range focusing with a rear depth of field of about 1 meter and the other subarea of the image sensor for long-range focusing with a front
  • the stereo camera system according to the invention can be formed, the at least two individual camera modules simultaneously or separately in time on the portion of the image sensor whose depth of field limits Nah Schlsfokusstechnik correspond to the detection of fog on the disk inside, rain, dirt or other the view
  • obstructing events to be used wherein the depth of field is selected by targeted design of the additional optical components so that object edges of an edge detection, different objects by defined classifiers or deviations caused in the
  • Frequency spectrum can be detected by a relatively fast FFT (Fast Fourier Transformation) in a subsequent image processing stage by the system.
  • the stereo camera system according to the invention can also be designed to target the at least two individual camera modules simultaneously or separately in time on the subregion of the image sensor whose depth of field boundaries correspond to near field focusing arranged target marks on the disk inside, within the
  • the stereo camera system according to the invention can be further developed, a deviation of the target mark positions and a thus occurred
  • Windshield as explained above and of targets for detecting deviations in the viewing direction is performed as explained above.
  • Lighting and / or a partially arranged heat source for support the detection of objects on the windshield may be provided, wherein a heating source may be provided to effect in particular a localized evaporation of fog on the windshield inside or a thawing of ice on the windshield outer side. This local difference of these special cases can be the
  • Image processing as a recognition feature e.g. as an edge for one
  • Edge detection by edge filtering e.g. with a simple one
  • Windscreen outer side can be determined by a higher number of edges in the vertical direction in comparison to the horizontal direction and serve to assess the cleaning performance of the windscreen wiper system and to initiate appropriate measures.
  • the individual camera modules can not be in direct contact with the windshield, but be positioned at least one vehicle point relatively loose and stress-free.
  • the different depth of field depths of the individual camera modules of the stereo camera system according to the invention can be used for supporting distance detection of objects in the camera field of view.
  • Stereo camera system to determine the limit of a possible
  • At least one of the camera modules of the invention is provided.
  • Stereo camera systems may be directed to an inclined mirror or beam splitter, which is used as a field mirror for windshield imaging, which mirror in particular as
  • Ambient light sensor, target carrier and or as Symmetrieebene may be provided to distinguish between near and far objects.
  • the inclined mirror element can in the inventive
  • Lighting can be done either by reflection on the disk inside, by total reflection on the inner surface of the disk outside or by a fluoroscopy of the disc.
  • the stereo camera system according to the invention can also be designed to use at least two different optical components to enable a bifocal imaging in combination or in cyclic alternation.
  • the stereo camera system according to the invention can also be designed and in particular be able to do so by the bifocal property
  • the stereo camera system according to the invention can also be designed to evaluate the near focus on the windshield also for reading in applied codes that contain certain parameters of the windshield in the windshield black pressure.
  • a coupling element of the individual camera modules by the detection and compensation of the changes in terms of camera distance and line of sight from a very cheap material, even with a large
  • Thermal expansion coefficients e.g. many plastics in a low cost production process e.g. Plastic injection molding are produced.
  • the stereo camera system according to the invention can also be designed to use a target mark recognition as a sensor for compensation measures, which may be necessary in the case of a thermal change in the distances and refractive power of the optical components.
  • the image sensor portions used to sharply image the front depth of field can also be used for others
  • Farbfilterarray be provided in front of the sensitive semiconductor surface of the image sensor to the object detection in the vicinity, in particular the
  • a further embodiment of the invention relates to a windshield for a vehicle adapted for use with a stereo camera system according to the invention and as previously described, and
  • the targets for determining the relative position and the viewing direction of the individual camera modules can be determined by in or on the
  • Windscreen integrated, non-transparent heating wires or
  • Antenna arrangements are formed, which are located in the camera field of view.
  • Fig. 1 is a windshield mounted thereon
  • Stereo camera system in a view from behind the windshield
  • Fig. 2 is a windshield adapted for use with the stereo camera system of the present invention
  • Fig. 3 is an example of a typical target pattern on the
  • FIG. 4 shows the windshield shown in FIG. 1 with the stereo camera system mounted thereon in a view from in front of the windshield;
  • Fig. 5 is a tilted stereo camera system and the effect of
  • Fig. 6 shows an embodiment of a camera module
  • Fig. 7 is a side view of another schematically illustrated
  • identical and / or functionally identical elements can be provided with the same reference numerals.
  • the absolute values and dimensions given below are only exemplary values and do not restrict the invention to such dimensions.
  • the stereo camera system 10 according to the invention shown in FIG. 1 is intended for mounting on the windshield 12 of a vehicle and for use in a driver assistance system for traffic detection ,
  • the system is designed as a mechanically coupled unit of two camera modules 14 and 16.
  • the coupling of the camera modules 14 and 16 can be done in many ways.
  • the stereo camera system 10 is in the range of the rearview mirror on the
  • Windshield 12 attached.
  • a camera module 14 or 16 of the system 10 comprises an image sensor, for example a CMOS or CCD camera chip, and an optical system, in particular a lens.
  • the system 10 also includes electronics having a memory with software for evaluating the image sensor, for example a CMOS or CCD camera chip, and an optical system, in particular a lens.
  • the system 10 also includes electronics having a memory with software for evaluating the image sensor, for example a CMOS or CCD camera chip, and an optical system, in particular a lens.
  • the system 10 also includes electronics having a memory with software for evaluating the
  • Image sensors of the camera modules 14 and 16 have generated digital image data and for controlling the system 10 and a processor for executing the software.
  • the thermal expansion coefficients of the materials used in the stereoscopic camera system 10 according to the invention no longer play a dominant role with respect to errors in the object distance detection, since the thermal expansion by a software included in particular by the mentioned and in the stereo camera system according to the invention
  • the distance between the individual camera modules 14 and 16 to each other must be known in order to reliably determine distances to objects with the stereo camera system 10 according to the invention. This distance determination can be done with a measuring method. Also, the direction of view of the cameras 14 and 16 must not change much to the reliability of the
  • the coupled camera system 10 may be attached to a horizontally centered slice centered area, e.g. with a windshield adhesive.
  • the stereo camera system 10 has central fastening means 18, with which by means of a
  • Windshield adhesive the system 10 can be mounted on the windshield 12. Also, attachment to a mechanically stable vehicle point above the windshield is possible, for example on the vehicle roof.
  • the two camera lenses of the stereo cameras or camera modules 14 and 16 are by their main function of traffic detection on their
  • Hyperfocal distance e.g. at about 4 meters, focused.
  • Depth of field about 2 meters to infinity
  • an additional optical component is provided in at least one of the cameras. This additional optical component extends only over a partial area in the camera field of view.
  • This conflict of objectives with the range of usable depth of field has the following cause: Is caused by focus adjustment If the front depth of field boundary is brought further to the objective main plane, the rear depth of field boundary also moves in a direction that is disproportionate to the objective main plane. As a result, more distant objects are no longer sharply focused.
  • the optical component can be implemented, for example, by a partial optical element in the image width, a graduated optical element or even a partial lens in front of the objective.
  • a multifocal optic with the partial lens.
  • the same principle can also be made possible with a partial optical element.
  • the partial lens alters the focusing of the camera system, depending on the lens shape and refractive index, either to a more distant object plane than the hyperfocal distance, e.g. with a concave lens shape (diverging lens), or even on a closer object plane, e.g. in a convex shape
  • Fig. 6 shows the camera module 14 in one
  • the optical component can either be connected to the cameras or to the windshield.
  • shape e.g., lens radius in a spherical lens
  • refractive index depending on the choice of material or surface coating
  • This system allows a sharp image of the windshield on a portion of the image sensor, which is determined by the size of the partial lens area in the field of view of the camera. At the same time, a picture of the street scene with the usual is on the remaining area of the image sensor
  • a suitable imprint referred to below as the target pattern 20 is mounted on the windshield 10.
  • the target pattern 20 is chosen so that the best possible position changes between the camera system and windshield can be detected.
  • Possibility for a target pattern would e.g. a cross 12, as shown in Fig. 3, which is formed by a printed scale in the horizontal direction and a scale in the vertical direction.
  • the resist for the target pattern should have a refractive index approximately equal to that of the disc material.
  • Stereo camera system 10 has.
  • a target pattern 20 in the form of a cross is provided in each case.
  • Fig. 4 the windshield 2 is shown with mounted stereo camera system 10 in a front view, so a view from outside the
  • the lenses of the camera modules 14 and 16 are arranged behind the recesses. In this case, the camera modules are aligned such that the respective partial lens in front of the lens of the module images the area with the target pattern on the windshield sharply in the image plane of the image sensor.
  • the two mechanically coupled cameras of the stereo camera system with an assumed distance of 20 cm to each other see in their field of vision in one area the traffic situation and in another clearly smaller area to be selected the target pattern through the partial lens. Both pictures are sharply focused. A tilt of the partial lens after the
  • Coefficient of expansion of a windshield is significantly lower than that of metals and far below that of plastics which are considered mechanical Coupling of the cameras come into question, ie the target pattern is relatively stable in its position or the extent of thermal expansion is approximately known from the data of the windshield. Now move the stereo cameras by thermal expansion, vibration, shock or Matertalermüdung plastic as coupling element from her
  • This information is important in determining when the cameras are looking in different directions. On the one hand this is possible by the lens effect of the curved windshield, on the other hand by a change in the camera viewing direction through the
  • This change can be caused by a known deviation from the setpoint in a software of the stereo camera system or by
  • a simple mechanical compensation represents a bow as an additional coupling element, which defines the squinting camera defined at a suitable roll angle.
  • Fig. 5 shows the effects of a tilted stereo camera system 10 mounted on the windshield 12. Beneath the system 10 are shown the images produced by the forming sensors of the respective camera modules. It can be clearly seen that the portion of the image sensor assigned to the near zone is the one shown on the windshield 12
  • the attached target pattern is tilted, ie, the target pattern is shown on other than the intended pixels in the image generated by the image sensor.
  • the type of tilting can be determined by means of a camera software module, for example, a suitable software solution would be an adapted image equalization.
  • the disk deflection or a position determination of the cameras to each other can also be done with optical measurement methods.
  • Projection of a light source e.g. with IR LEDs or laser projected through a suitable lens e.g. a cylindrical lens, may e.g. a line at a defined angle (cylindrical lens rotation) are projected onto the windshield.
  • the light source is firmly connected to the camera system and is located farther away from the center of the stereo camera system than the corresponding camera.
  • the projection can be defined in
  • Camera allows determination of the position change of the camera by moving the intersection of the 2 projected lines.
  • Windscreen type recognition, rain sensor or wiper quality recognition of the windscreen wiper system The stereo camera system according to the invention allows additional functions, which are explained in the following overview.
  • Windscreens are detected. For example, a
  • Identification number affixed or printed, can be used for individual camera settings by appropriate image processing.
  • the Nahfokusstechnik also allows use as a dirt and rain sensor system also taking advantage of the target pattern for determining object size and possibly object type by a comparison method.
  • This object-recognizing type of rain and dirt detection enables in the future e.g. a recognition and distinction of drop size, snow and especially insects on the windshield, which could trigger a special wiping program by a targeted detection.
  • Fig. 7 shows in side views schematically another embodiment of the stereo camera system according to the invention.
  • Fig. 7 is a side view of an inventive top
  • Stereo camera system shown with an additional rain sensor function.
  • Camera module of the system is a partial optical element 8 arranged for bifocal imaging on the sensitive surface of the image sensor.
  • the lens 1 of the camera module Before the partial optical element 8 is the lens 1 of the camera module with the main plane 2.
  • the image sensor is further provided with a cover glass 3.
  • the sensitivity of the rain sensor function can be limited by interference from remote light sources.
  • a modulated approximately monochromatic illumination and the color filters of the Bayer pattern can be used for signal filtering.
  • a mirror (element) S1 is proposed, which also has a
  • the mirror S1 has an opposite pitch angle to the camera field of view as the inclined windshield 5.
  • the mirror edge is located in the middle of the near-field image and thus represents a plane of symmetry.
  • Windshield 5 are on the image sensor 4 at this
  • the mirror element S1 is an interesting possibility for distinguishing between near and far range.
  • the lighting coupling can be done via a light guide with an integrated concave mirror profile in a cylindrical design.
  • the image analysis uses symmetry as a parameter for separating objects on the windshield and disturbing factors in the surroundings of a captured image. In Fig. 7, such an arrangement for coupling a lighting is shown schematically below. Behind the windshield a is a
  • Arrangement is arranged, as shown in Fig. 7 above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

Die Erfindung betrifft ein Stereokamerasystem (10), das zum Einsatz in Kraftfahrzeugen hinter einer geneigten Windschutzscheibe (5; 12) ausgebildet ist, wobei mindestens eines der mindestens zwei Kameramodule (14, 16) des Systems ein zusätzliches partiell angeordnetes, zeitweise zugeführtes oder als Strahlteiler wirkendes optisches Element (8; 26) aufweist und dadurch als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen Schärfentiefenbereichen auf einem Bildsensor (4) verwendet werden kann und der Bildsensor dadurch mindestens zwei Teilbereiche mit unterschiedlichen optischen Objektweiten beinhaltet, wobei eine optische Objektweite zur Erfassung eines Objekts im Nahbereich, das zum Ausrichten der Stereokameraanordnung dient, vorgesehen ist.

Description

STEREOKAMERASYSTEM
Die Erfindung betrifft ein Stereokamerasystem gemäß Anspruch 1 .
Zur Ermittlung des Abstands eines Fahrzeugs zu einem Objekt kann eine sogenannte Stereokamera verwendet werden. Unter einer Stereokamera wird hierin eine Anordnung von zwei Kameras verstanden, die in einem vorgegebenen Abstand versetzt zueinander insbesondere an der Windschutzscheibe des Fahrzeugs angebracht sind. Für die Abstandsermittlung von Objekten werden die von den beiden insbesondere digitalen Kameras erfassten Bilder verglichen und Pixeldifferenzen zwischen gleichen Objektkanten ausgewertet, um daraus die entsprechende Objektentfernung zu ermitteln. Unabhängig von einer Objektebene, auf welche die Kameras fokussiert sind, besteht ein Schärfentiefebereich, der sich bei aktuellen, für die Objektentfernungserkennung verwendeten Objektiven in Kameras von beispielsweise von ca. 2 m bis Unendlich erstreckt. Dadurch wird eine Objektentfernungserkennung etwa ab Fahrzeugvorderkante ermöglicht.
Für eine genaue Objektentfernungserkennung ist es erforderlich, dass die beiden Kameras möglichst genau zueinander mit einem zu definierenden Toleranzbereich justiert werden, d.h. die vorgegebene Lage der optischen Achsen der Kameras zueinander möglichst genau eingehalten wird. Für eine Justierung der Kameras kann beispielsweise ein vor dem Fahrzeug mit der Stereokamera angeordnetes Bild mit definierten Objekten verwendet werden. Ein solches Bild wird beispielsweise bei der Montage der Stereokamera im Fahrzeug eingesetzt. Probleme mit der Objektentfernungserkennung treten jedoch vor allem dann auf, wenn sich die Lage der optischen Achsen der Kameras beispielsweise im Betrieb zueinander verändern. Dadurch können bei der Objektentfernungserkennung mehr oder weniger große Ungenauigkeiten auftreten, da dann der mit der Stereokamera ermittelte Abstand zu einem Objekt in der Regel nicht mehr mit dem realen Abstand übereinstimmt.
Der durch eine Abweichung auftretende Fehler hängt hierbei von der Entfernung des Objekts zum Fahrzeug ab. Vor allem dreidimensionale Abweichungen der optischen Achsen der Kameras sind häufig auf die thermisch-mechanischen Eigenschaften der gekrümmten
Windschutzscheiben von Fahrzeugen zurückzuführen. Um die dadurch entstehenden Fehler in der Abstandsermittlung kompensieren zu können, muss eine Abweichung oder Lagedifferenz der optischen Achse einer Kamera von bzw. zu der vorgegebenen Lage erkannt werden. Eine Kompensation kann beispielsweise algorithmisch durch geeignete Software oder mechanisch durch eine Lageänderung der Kameras erfolgen. Sind die beiden Kameras unabhängig voneinander an der Windschutzscheibe fixiert und im Montageprozess justiert worden, kann eine Lagedifferenz der optischen Achsen im Betrieb der Stereokamera nur durch definierte Objekte in der Straßenszenerie erkannt werden. Solche definierten Objekte weltweit und immer zu finden, ist eine große, wenn nicht sogar unmögliche Herausforderung. Ein mögliches Objekt zur Erkennung einer Lagedifferenz könnte auch eine Kante am eigenen Fahrzeug sein, die für die Stereokamera immer sichtbar ist, beispielsweise die vordere Fahrzeugkante. Allerdings ist dieses Objekt vom Fahrzeughersteller und -typ abhängig. Aufgabe der vorliegenden Erfindung ist es daher, ein Stereokamerasystem für Fahrzeuganwendungen anzugeben, das prinzipiell zum Erkennen einer Abweichung oder Lagedifferenz der optischen Achsen der Kameras des Systems von bzw. zu einer vorgegebenen Lage geeignet ist. Diese Aufgabe wird durch ein Stereokamerasystem für Fahrzeuganwendungen mit den Merkmalen nach Anspruch 1 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen. Unter einem Stereokamerasystem wird hierin eine Stereokamera und entsprechende Software zur Steuerung der Stereokamera und Bildauswertung verstanden. Die Software ist typischerweise in einem nichtflüchtigen Speicher einer Elektronik des Stereo kamerasystems gespeichert und wird von einem Prozessor der Elektronik ausgeführt, der durch die Software vor allem zur Kamerasteuerung und Bildauswertung konfiguriert wird. Ein wesentlicher Gedanke der Erfindung besteht nun darin, mindestens ein Kameramodul eines Stereokamerasystems derart auszubilden, dass es als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen Schärfentiefenbereichen auf einem Bildsensor verwendet werden kann, wobei ein Schärfentiefebereich den Nahbereich des Stereokamerasystems umfasst, insbesondere den Bereich der Windschutzscheibe. Dadurch kann das System zumindest einen Teilbereich der Windschutzscheibe scharf abbilden und Objekte in diesem Teilbereich, die sich auf der Windschutzscheibe befinden, mit einer für eine weitere Auswertung, insbesondere für die automatische Ausrichtung des Systems geeigneten Schärfe erfassen. Beispielsweise können auf der Windschutzscheibe spezielle, zur Ausrichtung vorgesehene Muster (Zielmuster) abgebildet sein. Das System kann die mit ausreichender Schärfe erfassten Zielmuster auswerten, insbesondere durch einen Vergleich mit gespeicherten Referenzmustern, um eine Abweichung oder Lagedifferenz der optischen Achsen der Kameras des Systems von bzw. zu einer vorgegebenen Lage zu erkennen. Abhängig von einer erkannten Abweichung oder Lagedifferenz kann bei Ausgestaltungen der Erfindung eine automatische Ausrichtung der Kameramodule durchgeführt werden.
Eine Ausführungsform der Erfindung betrifft nun ein Stereokamerasystem, das zum Einsatz in Kraftfahrzeugen hinter einer geneigten Windschutzscheibe ausgebildet ist, wobei
mindestens eines der mindestens zwei Kameramodule des Systems ein zusätzliches partiell angeordnetes, zeitweise zugeführtes oder als Strahlteiler wirkendes optisches Element aufweist und dadurch als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen
Schärfentiefenbereichen auf einem Bildsensor verwendet werden kann und der Bildsensor dadurch mindestens zwei Teilbereiche mit unterschiedlichen optischen Objektweiten beinhaltet, wobei eine optische Objektweite zur Erfassung eines Objekts im Nahbereich, das zum Ausrichten der
Stereokameraanordnung dient, vorgesehen ist.
Die mindestens zwei Bildsensor-Teilbereiche können zusätzliche
Filterelemente aufweisen, um ferner unterschiedliche Intensitätsverteilungen des Wellenlängenspektrums zu erfassen.
Als Filterelemente wirkende Komponenten können vor, in oder nach dem zusätzlichen optischen Element integriert sein und/oder in optischen
Bereichen integriert sein, die zu dem optischen Sichtfeld gehören, dessen Schnittfläche das zusätzliche optische Element nicht oder nur teilweise schneidet.
Das zusätzliche optische Element kann in mindestens einer der optischen Komponenten des mindestens einen Kameramoduls als partielle Teillinse vor einem Objektiv des Kameramoduls, als partielles optisches Element insbesondere als planparallele Platte hinter dem Objektiv oder als optischer Strahlteiler oder Spiegelelement ausgebildet sein und damit eine bifokale Abbildung auf mindestens zwei Teilbereichen des Bildsensors ermöglichen. Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, die mindestens zwei unterschiedlichen Schärfentiefenbereiche gleichzeitig oder zeitlich getrennt durch eine Zuführung des zusätzlichen optischen Elements zu erreichen, wobei die Zuführung des zusätzlichen optischen Elements in das gesamte Sichtfeld der mindestens zwei Kameramodule über ein Chopperrad mit Linsen einer oder unterschiedlicher Brechkraft und Dicke vor dem Objektiv, einer oder mehrerer planparalleler Elemente, die sich durch ihre Dicke oder ihren Brechungsindex unterscheiden, hinter dem Objektiv eines Kameramoduls oder auch durch Auffüllen eines nicht festen, den gewünschten Wellenlängenbereich gut transmittierenden und im Brechungsindex von Luft abweichenden Mediums hinter dem Objektiv eines Kameramoduls erfolgt. Die mindestens zwei Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können sich durch das mindestens eine partiell angeordnete zusätzliche optische Element in ihren Schärfetiefengrenzen gleichen oder unterscheiden. Die mindestens zwei unterschiedlichen Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können den einen Teilbereich des Bildsensors zur Nahbereichsfokussierung mit einer hinteren Schärfentiefengrenze von ca. 1 Meter und den anderen Teilbereich des Bildsensors zur Fernbereichsfokussierung mit einer vorderen
Schärfentiefengrenze größer ca. 1 Meter nutzen.
Weiterhin kann das erfindungsgemäße Stereokamerasystem ausgebildet sein, die mindestens zwei einzelnen Kameramodule gleichzeitig oder zeitlich getrennt auf dem Teilbereich des Bildsensors, dessen Schärfentiefengrenzen einer Nahbereichsfokussierung entsprechen, zur Erkennung von Beschlag auf der Scheibeninnenseite, Regen, Schmutz oder anderer die Sicht
behindernder Ereignisse zu nutzen, wobei die Schärfentiefenbereiche durch gezielte Auslegung der zusätzlichen optischen Komponenten so gewählt sind, dass Objektkanten von einer Kantendetektion, unterschiedliche Objekte durch definierte Klassifikatoren oder dadurch bewirkte Abweichungen im
Frequenzspektrum durch eine FFT {Fast Fourier Transformation) in einer darauf folgenden Bildverarbeitungsstufe vom System relativ sicher erkannt werden können. Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, die mindestens zwei einzelnen Kameramodule gleichzeitig oder zeitlich getrennt auf dem Teilbereich des Bildsensors, dessen Schärfentiefengrenzen einer Nahbereichsfokussierung entsprechen, zur Erkennung von gezielt angeordneten Zielmarken auf der Scheibeninnenseite, innerhalb der
Windschutzscheibe oder auf einem speziellen Trägerelement vor der
Scheibeninnenseite zu nutzen, wobei das System ferner ausgebildet ist, aus erkannten Abweichungen der Zielmarkenform, Zielmarkengröße,
Abbildungsschärfe und vor allem der Abbildungsposition auf eine
Verschiebung der einzelnen Kameramodule der Stereokameraanordnung in alle Richtungen bezogen auf die Zielmarke zu schließen, wobei mit Hilfe eines in einem nicht flüchtigen Speicher der Kameraelektronik gespeicherten Musterbildes (Master) Abweichungen erkannt werden.
Das erfindungsgemäße Stereokamerasystem kann weiter ausgebildet sein, eine Abweichung der Zielmarkenpositionen und eine damit erfolgte
Veränderung der Blickrichtungen oder des Abstands der mindestens zwei Kameramodule voneinander als Kompensationsparameter für eine
ausgeführte Software der verschiedenen Kamerafunktionen und/oder für eine Kompensation zur Verfügung zu stellen, die durch Stellglieder mechanisch auf die Stereokameraanordnung erfolgt.
Das erfindungsgemäße Stereokamerasystem kann sich auch dadurch auszeichnen, dass eine kombinierte Erkennung von Objekten auf der
Windschutzscheibe wie oben erläutert und von Zielmarken zur Erkennung von Abweichungen in der Blickrichtung wie oben erläutert durchgeführt wird.
Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, erkannte Objekte in ihrer Art und ihrer quantitativen Ausdehnung in einem dafür vorgesehenen Windschutzscheibensichtfeld zu ermitteln und davon abhängig gezielte Botschaften an andere Steuergeräte in Kraftfahrzeugen auszugeben, deren Inhalt eine Aktivierung der Scheibenwisch- und oder Scheibenreinigungsanlage oder eine Aktivierung der Lüftung und oder
Scheiben heizung bewirkt.
Beim erfindungsgemäßen Stereokamerasystem kann eine gezielte
Beleuchtung und/oder eine partiell angeordnete Heizquelle zur Unterstützung der Erkennung von Objekten auf der Windschutzscheibe vorgesehen sein, wobei eine Heizquelle dazu vorgesehen sein kann, insbesondere eine örtlich begrenzte Verdunstung von Beschlag auf der Windschutzscheibeninnenseite bzw. ein Antauen von Eis auf der Windschutzscheibenaussenseite zu bewirken. Dieser örtliche Unterschied dieser Spezialfälle kann der
Bildverarbeitung als Erkennungsmerkmal z.B. als Kante für eine
Kantendetektion durch eine Kantenfilterung z.B. mit einem einfachen
So beloperator dienen. Insbesondere Schlieren auf der
Windschutzscheibenaußenseite können durch eine höhere Kantenanzahl in vertikaler Richtung im Vergleich zur horizontalen Richtung ermittelt werden und zur Beurteilung des Reinigungsergebnisses der Scheibenwischanlage und zur Einleitung entsprechender Maßnahmen dienen.
Im montierten Zustand des erfindungsgemäßen Stereokamerasystems können die einzelnen Kameramodule nicht in direktem Kontakt mit der Windschutzscheibe stehen, sondern an mindestens einem Fahrzeugpunkt relativ locker und spannungsfrei positioniert sein.
Die unterschiedlichen Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können zur unterstützenden Entfernungsermittiung von Objekten im Kamerasichtfeld genutzt werden.
Ermittelte Parameter bezüglich Sichtbehinderungen und extremen
Blickrichtungsänderungen können vom erfindungsgemäßen
Stereokamerasystem zur Ermittlung der Grenze einer möglichen
Funktionsausführung genutzt werden.
Mindestens eines der Kameramodule des erfindungsgemäßen
Stereokamerasystems können auf einen geneigten Spiegel oder Strahlteiler gerichtet sein, welcher als Feldspiegel zur Windschutzscheibenabbildung verwendet wird, wobei dieser Spiegel insbesondere auch als
Umgebungslichtsensor, Trägerelement für die Zielmarke und oder als Symmetrieebene zur Unterscheidung zwischen Nah- und Fernobjekten vorgesehen sein kann.
Das geneigte Spiegelelement kann beim erfindungsgemäßen
Stereokamerasystem einen Teil eines Beleuchtungselements für das Sichtfeld innerhalb des Schärfentiefenbereichs der Nahbereichsfokussierung
darstellen.
Beim erfindungsgemäßen Stereokamerasystem kann eine zusätzliche
Beleuchtung mit einer an den optischen Aufbau optimierten spektralen
Eigenschaft für mindestens den Schärfentiefenbereich, welcher durch die Nahbereichsfokussierung begrenzt ist, vorgesehen sein, wobei die
Beleuchtung entweder durch Reflexion an der Scheibeninnenseite, durch Totalreflexion an der Innenoberfläche der Scheibenaußenseite oder durch eine Durchleuchtung der Scheibe erfolgen kann.
Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, mindestens zwei unterschiedliche optische Bauelemente zur Ermöglichung einer bifokalen Abbildung in Kombination bzw. in zyklischem Wechsel einzusetzen.
Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet und insbesondere durch die bifokale Eigenschaft in der Lage sein, auch
passierende Scheibenwischer zu erkennen und in einem gegebenen
Regelkreis auf einen korrekten Bewegungsablauf zu überprüfen, und insbesondere anderen Kamerafunktionen das Ereignis des passierenden Scheibenwischers mitteilen.
Das erfindungsgemäße Stereokamerasystem kann weiterhin ausgebildet sein, die Nahbereichsfokussierung auf der Windschutzscheibe auch zum Einlesen von aufgebrachten Codes, die bestimmte Parameter der Windschutzscheibe enthalten, im Windschutzscheibenschwarzdruck auszuwerten. Beim erfindungsgemäßen Stereokamerasystem kann ein Koppelelement der einzelnen Kameramodule durch die Erkennung und Kompensation der Veränderungen in Bezug auf Kameraabstand und Blickrichtung aus einem sehr günstigen Material, auch mit einem großen
Temperaturausdehnungskoeffizienten wie z.B. viele Kunststoffe in einem kostengünstigen Produktionsverfahren z.B. Kunststoffspritzguss hergestellt werden. Das erfindungsgemäße Stereokamerasystem kann auch ausgebildet sein, eine Zielmarkenerkennung als Sensor für Kompensationsmaßnahmen zu nutzen, weiche bei einer thermischen Veränderung der Abstände und Brechkraft der optischen Komponenten erforderlich sein können. Die Bildsensor-Teilbereiche, die zur scharfen Abbildung des vorderen Schärfentiefenbereichs verwendet werden, können auch für andere
Kamerafunktionen des erfindungsgemäßen Stereokamerasystems genutzt werden. Dies kann z.B. durch die ausgedehnte Abbildung von Lichtpunkten aus dem optischen Fernbereich erfolgen, da sehr weit entfernte Lichtpunkte (z.B. Scheinwerfer anderer Fahrzeuge), die sonst auf nur einem Pixel aufgelöst werden nun, durch die Ausdehnung des Bildpunktes über mehrere Pixel erstreckt sicherer erkannt werden können.
Schließlich kann beim erfindungsgemäßen Stereokamerasystem ein
Farbfilterarray vor der sensitiven Halbleiterfläche des Bildsensors vorgesehen sein, um die Objekterkennung im Nahbereich, insbesondere der
Windschutzscheibe, und die Objektunterscheidung zu verbessern.
Eine weitere Ausführungsform der Erfindung betrifft eine Windschutzscheibe für ein Fahrzeug, die zur Verwendung mit einem Stereokamerasystem nach der Erfindung und wie vorhergehend beschrieben ausgebildet ist und
Zielmarken zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodu!e des Stereokamerasystems aufweist. Die Zielmarken zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodule können durch in oder auf der
Windschutzscheibe integrierte, nicht transparente Heizdrähte oder
Antennenanordnungen gebildet sein, die sich im Kamerasichtfeld befinden.
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en). In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet. Die Zeichnung(en) zeigt/zeigen in
Fig. 1 eine Windschutzscheibe mit daran montiertem
Stereokamerasystem gemäß der Erfindung in einer Ansicht von hinter der Windschutzscheibe;
Fig. 2 eine Windschutzscheibe, die zur Verwendung mit dem erfindungsgemäßen Stereokamerasystem ausgebildet ist;
Fig. 3 ein Beispiel eines typischen Zielmusters auf der
Windschutzscheibe;
Fig. 4 die in Fig. 1 gezeigte Windschutzscheibe mit daran montiertem Stereokamerasystem in einer Ansicht von vor der Windschutzscheibe;
Fig. 5 ein verkipptes Stereokamerasystem und der Effekt der
Verkippung auf die Kamerabilder; und
Fig. 6 ein Ausführungsbeispiel eines Kameramoduls
erfindungsgemäßen Stereokamerasystems;
Fig. 7 eine Seitenansicht eines weiteren schematisch dargestellten
Ausführungsbeispiels eines hinter einer Windschutzscheibe angeordneten erfindungsgemäßen Stereokamerasystems und einer Beleuchtungseinkoppeleinrichtung für das Stereokamerasystem zum Verbessern einer Regensensorfunktion des Systems. Im Folgenden können gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen versehen sein. Die im Folgenden angegebenen absoluten Werte und Maßangaben sind nur beispielhafte Werte und stellen keine Einschränkung der Erfindung auf derartige Dimensionen dar. Das in Fig. 1 gezeigte erfindungsgemäße Stereokamerasystem 10 ist zur Montage an der Windschutzscheibe 12 eines Fahrzeugs und zur Nutzung in einem Fahrerassistenzsystem zur Verkehrserkennung vorgesehen. Das System ist als eine mechanisch gekoppelte Einheit von zwei Kameramodulen 14 und 16 ausgebildet. Die Kopplung der Kameramodule 14 und 16 kann auf vielfältige Weise erfolgen. Im Fig. 1 gezeigten Ausführungsbeispiel ist das Stereokamerasystem 10 im Bereich des Rückspiegels an der
Windschutzscheibe 12 befestigt.
Ein Kameramodul 14 bzw. 16 des Systems 10 umfasst einen Bildsensor, beispielsweise einen CMOS- oder CCD-Kamerachip, und eine Optik, insbesondere ein Objektiv. Das System 10 weist außerdem eine Elektronik auf, die einen Speicher mit einer Software zum Auswerten der von den
Bildsensoren der Kameramodule 14 und 16 erzeugten digitalen Bilddaten und zum Steuern des Systems 10 und einen Prozessor zum Ausführen der Software aufweist.
Die thermischen Ausdehnungskoeffizienten der verwendeten Materialien spielen beim erfindungsgemäßen Stereokamerasystem 10 keine dominante Rolle mehr in Bezug auf Fehler in der Objektentfernungserkennung, da die thermische Ausdehnung durch ein insbesondere durch die erwähnte und im erfindungsgemäßen Stereokamerasystem enthaltene Software
implementiertes Messverfahren zum Erkennen einer Abweichung oder Lagedifferenz der optischen Achsen der Kameras 14 und 16 des Systems 10 von bzw. zu einer vorgegebenen Lage relativ sicher erkannt werden kann.
Die Distanz zwischen den einzelnen Kameramodulen 14 und 16 zueinander muss bekannt sein, um mit dem erfindungsgemäßen Stereokamerasystem 10 Entfernungen zu Objekten sicher zu bestimmen. Diese Distanzbestimmung kann mit einem Messverfahren erfolgen. Auch die Blickrichtung der Kameras 14 und 16 darf sich nicht stark ändern, um die Funktionssicherheit des
Systems 10 nicht zu verlieren.
Das gekoppelte Kamerasystem 10 kann an einem, auf die Horizontale bezogenen in der Scheibenmitte zentrierten Bereich befestigt sein, z.B. mit einem Windschutzscheibenkleber. In Fig. 1 weist das Stereokamerasystem 10 zentrale Befestigungsmittel 18 auf, mit denen mittels eines
Windschutzscheibenklebers das System 10 an der Windschutzscheibe 12 montiert werden kann. Ebenfalls ist eine Befestigung an einem mechanisch stabilen Fahrzeugpunkt über der Windschutzscheibe möglich, beispielsweise am Fahrzeugdach. Die beiden Kameraobjektive der Stereokameras bzw. Kameramodule 14 und 16 sind durch ihre Hauptfunktion der Verkehrserkennung auf ihre
Hyperfokaldistanz, die z.B. bei etwa 4 Meter liegt, fokussiert. Dadurch wird der Bereich max. Schärfentiefe (ca. 2 Meter bis unendlich) ausgenutzt. Um eine Abweichung oder Lagedifferenz der optischen Achsen der Kameras bzw. Kameramodule des Systems von bzw. zu einer vorgegebenen Lage mit dem Messverfahren erkennen zu können, muss die vordere Schärfentiefengrenze bis zur Windschutzscheibe reichen.
Um den sich dadurch ergebenden Schärfentiefenzielkonflikt lösen zu können, ist ein zusätzliches optisches Bauteil bei zumindest einer der Kameras vorgesehen. Dieses zusätzliche optische Bauteil erstreckt sich lediglich über eine Teilfläche im Kamerasichtfeld. Dieser Zielkonflikt mit dem Bereich der nutzbaren Schärfentiefe hat folgende Ursache: Wird durch Fokusverstellung die vordere Schärfentiefengrenze weiter zur Objektivhauptebene gebracht, bewegt sich die hintere Schärfentiefengrenze in einem dazu unproportionalen Maß auch zur Objektivhauptebene hin. Daraus folgt, dass weiter entfernte Objekte nicht mehr scharf genug abgebildet werden.
Das optische Bauteil kann beispielsweise durch ein partielles optisches Element in der Bildweite, ein abgestuftes optisches Element oder aber auch eine Teillinse vor dem Objektiv implementiert sein. Im Folgenden wird eine multifokale Optik mit der Teillinse beschrieben. Das gleiche Prinzip kann aber auch mit einem partiellen optischen Element ermöglicht werden. Die Teillinse verändert die Fokussierung des Kamerasystems je nach Linsenform und Brechungsindex entweder auf eine weiter entfernte Objektebene als die Hyperfokaldistanz, z.B. bei konkaver Linsenform (Zerstreuungslinse), oder eben auf eine näher liegende Objektebene, z.B. bei konvexer Form
(Sammellinse) der Teillinse. Fig. 6 zeigt das Kameramodul 14 in einer
Frontansicht auf das Objektiv 24 des Moduls 14. Vor dem Objektiv 24 ist die Teillinse 26 angebracht.
Das optische Bauteil kann entweder mit den Kameras verbunden sein oder mit der Windschutzscheibe. An die Form (z.B. Linsenradius bei einer sphärischen Linse) und den Brechungsindex (abhängig vom Material- bzw. der Oberflächenbeschichtungswahl) und die Positionierung der Linse besteht die Anforderung, die Kollimatorbedingung zu erfüllen, um die
Windschutzscheibe virtuell in der fokussierten Hyperfokaldistanz des
Objektivs abzubilden.
Dieses System ermöglicht eine scharfe Abbildung der Windschutzscheibe auf einem Teilbereich des Bildsensors, der durch die Größe der Teillinsenfläche im Sichtfeld der Kamera bestimmt wird. Gleichzeitig wird auf den Restbereich des Bildsensors ein Bild der Straßenszenerie mit dem gewohnten
Schärfentiefenbereich abgedeckt. Wie in Fig. 2 zu erkennen ist, ist auf der Windschutzscheibe 10 ein geeigneter Aufdruck, im Folgenden Zielmuster 20 genannt, angebracht. Das Zielmuster 20 ist so gewählt, dass damit bestmöglich Positionsänderungen zwischen Kamerasystem und Windschutzscheibe erkannt werden können. Eine
Möglichkeit für ein Zielmuster wäre z.B. ein Kreuz 12, wie es in Fig. 3 dargestellt ist, welches durch einen aufgedruckten Maßstab in horizontaler Richtung und einen Maßstab in vertikaler Richtung gebildet wird. Der Lack für das Zielmuster sollte einen Brechungsindex haben der ungefähr dem des Scheibenmaterials entspricht. Alternativ wäre eine aufgeklebte Folie im
Sichtbereich der Teillinse denkbar, die das Zielmuster enthält.
Auf der in Fig. 2 gezeigten Windschutzscheibe 12 ist ferner ein Aufdruck 22 zu erkennen, der Aussparungen für die Kameraobjektive des
Stereokamerasystems 10 aufweist. In den Aussparungen ist jeweils ein Zielmuster 20 in Form eines Kreuzes vorgesehen.
In Fig. 4 ist die Windschutzscheibe 2 mit montiertem Stereokamerasystem 10 in einer Frontansicht gezeigt, also einer Sicht von außerhalb des
Fahrzeugs auf die Scheibe 12. Die Objektive der Kameramodule 14 und 16 sind hinter den Aussparungen angeordnet. Die Kameramodule sind hierbei derart ausgerichtet, dass die jeweilige Teillinse vor dem Objektiv des Moduls den Bereich mit dem Zielmuster auf der Windschutzscheibe scharf in der Bildebene des Bildsensors abbildet. Die beiden mechanisch gekoppelten Kameras des Stereokamerasystems mit einer angenommenen Distanz von 20 cm zueinander sehen in ihrem Sichtfeld in einem Bereich das Verkehrsgeschehen und in einem anderen deutlich kleiner zu wählenden Bereich das Zielmuster durch die Teillinse. Beide Bilder sind scharf fokussiert. Eine Verkippung der Teillinse nach der
Scheimpflugbedingung ermöglicht ein scharfes Bild des geneigten
Windschutzscheibenausschnittes auf dem Bildsensor. Der thermische
Ausdehnungskoeffizient einer Windschutzscheibe liegt deutlich unter dem von Metallen und weit unter dem von Kunststoffen welche als mechanische Kopplung der Kameras in Frage kommen, d.h. das Zielmuster ist in seiner Position relativ beständig bzw. das Ausmaß einer thermischen Ausdehnung ist ungefähr bekannt aus den Daten der Windschutzscheibe. Bewegen sich nun die Stereokameras durch thermische Ausdehnung, Vibration, Stöße oder Matertalermüdung bei Kunststoff als Koppelelement aus ihrer
Ausgangsposition heraus, werden markante Punkte des Zielmusters an anderen Pixel Positionen abgebildet. Diese markanten Punkte sind zum einen der Kreuzmittelpunkt und der Abstand der Maßstabslinien voneinander. Eine Krümmung der Scheibe kann dadurch erkannt werden, dass sich das Kreuz in seiner eigentlichen Form verändert anstatt nur die Position zu ändern. Aus dieser Veränderung kann der Krümmungsradius der Scheibe im
Kamerasichtfeld berechnet werden bzw. die Veränderung der
Kamerablickrichtung bei einer dreidimensionalen Änderung der
Kamerabefestigung in Bezug zur Scheibe und das bei jeder einzelnen
Kamera. Diese Information ist wichtig, damit festgestellt werden kann, wann die Kameras in verschiedene Richtungen schauen. Zum Einen ist dies möglich durch die Linsenwirkung der gekrümmten Windschutzscheibe, zum Anderen durch eine Veränderung der Kamerablickrichtung durch die
Befestigung. Diese Veränderung kann durch eine bekannte Abweichung vom Sollwert in einer Software des Stereokamerasystems oder durch
mechanische Lageänderung der optischen Achse kompensiert werden. Eine einfache mechanische Kompensation stellt ein Bogen als zusätzliches Koppelelement dar, welcher die schielende Kamera definiert in einem geeigneten Rollwinkel nachführt.
Fig. 5 zeigt die Auswirkungen eines verkippten und an der Windschutzscheibe 12 befestigten Stereokamerasystems 10. Unter dem System 10 sind die von den Bildensoren der jeweiligen Kameramodule erzeugten Bilder dargestellt. Deutlich ist zu erkennen, dass im dem Nahbereich zugeordneten Teilbereich des Bildesensors das abgebildete, auf der Windschutzscheibe 12
angebrachte Zielmuster verkippt ist, d.h. das Zielmuster an anderen als den vorgesehenen Pixeln in dem vom Bildsensor erzeugten Bild abgebildet ist. Durch eine Software-technische Auswertung der Bilder der beiden Kameramodule kann dadurch eine Verkippung des Stereokamerasystems und aufgrund der„verzerrten" Darstellung der Zielmuster in den Bildern auch die Art der Verkippung ermittelt werden. Eine geeignete Softwarelösung wäre z.B. eine angepasste Bildentzerrung.
Die Scheibendurchbiegung bzw. eine Positionsbestimmung der Kameras zueinander kann auch mit optischen Messmethoden erfolgen. Durch
Projektion einer Lichtquelle, z.B. mit IR LED's oder Laser projiziert durch eine geeignete Linse z.B. einer Zylinderlinse, kann z.B. eine Linie in einem definierten Winkel (Zylinderlinsendrehung) auf die Windschutzscheibe projiziert werden. Die Lichtquelle ist fest mit dem Kamerasystem verbunden und befindet sich vom Mittelpunkt des Stereokamerasystems betrachtet weiter weg als die zugehörige Kamera. Die Projektion kann in definierten
Zeitpunkten erfolgen, die abhängig von Temperaturänderungen oder festgelegten Zeitabständen z.B. Motorstart gewählt sein können. Die projizierte Linie, welche auf dem Bildsensor bedingt durch die gekrümmte Scheibe eine von der Geraden abweichende Form erhält, erfährt bei einer zusätzlichen Scheibenkrümmung eine deutliche Änderung ihrer
Ausgangsform. Diese Änderung wird durch Bildverarbeitung des
Stereokamerasystems erfasst.
Eine zweites Projektionssystem auf der anderen Seite, also näher vom
Mittelpunkt des Stereokamerasystems angebracht als die zugehörige
Kamera, ermöglicht eine Bestimmung der Positionsänderung der Kamera durch ein Wandern des Schnittpunktes der 2 projizierten Linien.
Eine weitere Möglichkeit ist durch oben geschriebene Linienprojektion gegeben, mit dem Unterschied, dass die Zylinderlinse drehbar gelagert ist. Die Projektion der Lichtquelle auf die Windschutzscheibe erfolgt in diesem Fall zu bestimmten Zeiten und bestimmten Drehwinkefn der Zylinderlinse.
Alternativ wäre auch eine Projektion eines Lichtpunktes denkbar, der sich durch seine Heiligkeit stets von der Umgebungsbeleuchtung abhebt und auf dem Bildsensor in seiner Ausdehnung einen bestimmten Pixelbereich einnimmt. Eine Verschiebung des Kamerasystems wäre an einem Wandern des beleuchteten Pixelbereichs erkennbar, und eine Winkeländerung durch eine Verzerrung des Lichtpunktes auf dem Bildsensor. Auch diese Variante der Erkennung von Justageabweichungen benötigt eine multifokale Optik wie Sie z.B. durch oben beschriebene Teillinse geschaffen wird.
Das erfindungsgemäße Stereokamerasystem besitzt folgende Vorteile:
Geringere Toleranzanforderungen an die Kopplung der Kameramodule deren Preisvorteile über den Kosten für eine multifokale Optik liegen, unabhängig von den möglichen Zusatzfunktionen durch die multifokale Optik wie
Scheibentyperkennung, Regensensor oder Wischqualitätserkennung der Scheibenwischanlage. Das erfindungsgemäße Stereokamerasystem ermöglicht Zusatzfunktionen, die im Folgenden im Überblick erläutert werden.
Durch die ermöglichte Nahfokussierung können verschiedene
Windschutzscheiben erkannt werden. Beispielsweise kann eine
Identifikationsnummer, aufgeklebt oder aufgedruckt, durch entsprechende Bildverarbeitung für eine individuelle Kameraeinstellung benutzt werden.
Die Nahfokussierung ermöglicht ferner eine Nutzung als Schmutz- und Regensensorsystem auch unter Ausnutzung des Zielmusters zur Bestimmung von Objektgröße und eventuell Objektart durch eine Vergleichsmethode.
Diese objekterkennende Art der Regen- und Schmutzerkennung ermöglicht in der Zukunft z.B. eine Erkennung und Unterscheidung von Tropfengröße, Schnee und besonders auch Insekten auf der Windschutzscheibe, welche durch eine gezielte Erkennung ein besonderes Wischprogramm auslösen könnten.
Weiterhin wird ein Test für die Funktion der Wischanlage durch das erfindungsgemäße Stereokamerasystem ermöglicht: kommt Wasser oder nicht; Beurteilung des Wischergebnisses in Bezug auf Schlieren, und
Rückständen von z.B. Insekten, Staub etc. nach einer Scheibenreinigung.
Fig. 7 zeigt in Seitenansichten schematisch ein weiteres Ausführungsbeispiel des erfindungsgemäßen Stereokamerasystems.
In Fig. 7 ist oben eine Seitenansicht eines erfindungsgemäßen
Stereokamerasystems mit einer zusätzlichen Regensensorfunktion dargestellt. Vor der sensitiven Fläche 4 des Bildsensors eines
Kameramoduls des Systems ist ein partielles optisches Element 8 zur bifokalen Abbildung auf die sensitive Fläche des Bildsensors angeordnet. Vor dem partiellen optischen Element 8 befindet sich das Objektiv 1 des Kameramoduls mit der Hauptebene 2. Der Bildsensor ist ferner mit einem Abdeckglas 3 versehen. Die Sensitivität der Regensensorfunktion kann durch Störfaktoren von Lichtquellen aus dem Fernbereich eingeschränkt werden. Eine modulierte annähernd monochromatische Beleuchtung und die Farbfilter des Bayer-Patterns können zur Signalfilterung verwendet werden. Zur besseren Unterscheidung von Objektkanten und Störlichteinflüssen wird ein Spiegel(element) S1 vorgeschlagen, der (das) auch mit einem
Einkopplungselement zur Beleuchtung kombiniert sein kann, wie es unten in Fig. 7 dargestellt ist. Der Spiegel S1 hat auf das Kamerasichtfeld bezogen einen entgegengesetzten Nickwinkel wie die geneigte Windschutzscheibe 5. Die Spiegelkante befindet sich in der Mitte der Nahbereichsabbildung und stellt somit eine Symmetrieebene dar. Regentropen 6 auf der
Windschutzscheibe 5 werden auf dem Bildsensor 4 an dieser
Symmetrieebene einmal normal und einmal gespiegelt abgebildet.
Störfaktoren aus dem Fernbereich werden dagegen nur auf einer der beiden Ebenen abgebildet. Diese gesamte Anordnung ist hinter der gekrümmten Windschutzscheibe 5 angeordnet. Der Strahlengang der
Nahbereichsabbildung S2 über ein Spiegelelement S1 , der Strahlengang der Nahbereichsabbildung S3 ohne Spiegelelement und der Strahlengang Fernbereichsabbildung S4 sind ebenfalls dargestellt. Besonders in der Kombination mit einem Beleuchtungseinkoppelelement ist das Spiegelelement S1 eine interessante Möglichkeit zur Unterscheidung zwischen Nahbereich und Fernbereich. Die Beleuchtungseinkopplung kann über einen Lichtleitkörper mit einem integrierten Hohlspiegelprofil in zylindrischer Ausführung erfolgen. Die Bildauswertung verwendet bei einem aufgenommenen Bild die Symmetrie als Parameter zur Trennung zwischen Objekten auf der Windschutzscheibe und Störfaktoren aus der Umgebung. In Fig. 7 ist unten eine solche Anordnung zum Einkoppeln einer Beleuchtung schematisch dargestellt. Hinter der Windschutzscheibe a ist ein
beidseitiges Spiegelelement d (entsprechend S1 ) angeordnet, das von einem Lichtemitter mit Optik (Zylinderlinse) c emittiertes Licht auf einen Konkavfreiformspiegel b reflektiert. Vom Konkavfreiformspiegel b wird wiederum das Licht des Lichtemitters b in die Windschutzscheibe a eingekoppelt, von der es in Richtung zum Stereokamerasystem geführt wird, das oberhalb der gezeigten. Anordnung angeordnet ist, wie in Fig. 7 oben gezeigt.
Bezugszeichen
1 Objektiv
2 Hauptebene Objektiv
3 Abdeckglas Bildsensor
4 Bildsensor (sensitive Fläche)
5 Windschutzscheibe
6 Objekt auf der Windschutzscheibe (hier Regentropfen)
7 Streulichtblende
8 partielles optisches Element zur bifokalen Abbildung a Windschutzscheibe
b Konkavf reiformspiegel (zylind risch )
c Lichtemitter mit Optik (zur Zylinderlinse)
d beidseitiges Spiegelelement
S1 Spiegelelement
S2 Strahlengang Nahbereichsabbildung über Spiegelelement
S3 Strahlengang Nahbereichsabbildung
S4 Strahlengang Fernbereichsabbildung
10 Stereokamerasystem
12 Windschutzscheibe
14, 16 Kameramodul
18 Befestigungsmittel
20 Zielmarke
22 Windschutzscheiben-Aufdruck
24 Kameraobjektiv
26 Teiltinse

Claims

Patentansprüche
1. Stereokamerasystem (10), das zum Einsatz in Kraftfahrzeugen hinter einer geneigten Windschutzscheibe (5; 12) ausgebildet ist, wobei mindestens eines der mindestens zwei Kameramodule (14, 16) des Systems ein zusätzliches partiell angeordnetes, zeitweise zugeführtes oder als Strahlteiler wirkendes optisches Element (8; 26) aufweist und dadurch als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen Schärfentiefenbereichen auf einem
Bildsensor (4) verwendet werden kann und der Bildsensor dadurch mindestens zwei Teilbereiche mit unterschiedlichen optischen
Objektweiten beinhaltet, wobei eine optische Objektweite zur
Erfassung eines Objekts im Nahbereich (S2, S3), das zum Ausrichten der Stereokameraanordnung dient, vorgesehen ist.
2. Stereokamerasystem nach Anspruch ,
dadurch gekennzeichnet, dass
die mindestens zwei Bildsensor-Teilbereiche zusätzliche Filterelemente aufweisen, um ferner unterschiedliche Intensitätsverteilungen des
Wellenlängenspektrums zu erfassen.
3. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
das zusätzliche optische Element in mindestens einer der optischen
Komponenten des mindestens einen Kameramoduls als partielle Teillinse (26) vor einem Objektiv (24) des Kameramoduls (14), als partielles optisches Element (8), insbesondere als planparallele Platte, hinter dem Objektiv (1) oder als optischer Strahlteiler oder
Spiegelelement ausgebildet ist und damit eine bifokale Abbildung auf mindestens zwei Teilbereichen des Bildsensors ermöglicht.
4. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
es ausgebildet ist, die mindestens zwei unterschiedlichen
Schärfentiefenbereiche gleichzeitig oder zeitlich getrennt durch eine Zuführung des zusätzlichen optischen Elements (8; 26) zu erreichen, wobei die Zuführung des zusätzlichen optischen Elements in das gesamte Sichtfeld der mindestens zwei Kameramodule (14, 16) über ein Chopperrad mit Linsen einer oder unterschiedlicher Brechkraft und Dicke vor dem Objektiv, einer oder mehrerer planparalleler Elemente, die sich durch ihre Dicke oder ihren Brechungsindex unterscheiden, hinter dem Objektiv eines Kameramoduls oder auch durch Auffüllen eines nicht festen, den gewünschten Wellenlängenbereich gut transmittierenden und im Brechungsindex von Luft abweichenden Mediums hinter dem Objektiv eines Kameramoduls erfolgt.
5. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
es ausgebildet ist, die mindestens zwei einzelnen Kameramodule (14, 16) gleichzeitig oder zeitlich getrennt auf dem Teilbereich des
Bildsensors (4), dessen Schärfentiefengrenzen einer
Nahbereichsfokussierung entsprechen, zur Erkennung von Beschlag auf der Scheibeninnenseite, Regen, Schmutz oder anderer die Sicht behindernder Ereignisse zu nutzen, wobei die Schärfentiefenbereiche durch gezielte Auslegung der zusätzlichen optischen Komponenten so gewählt sind, dass Objektkanten von einer Kantendetektion, unterschiedliche Objekte durch definierte Klassifikatoren oder dadurch bewirkte Abweichungen im Frequenzspektrum durch eine FFT in einer darauf folgenden Bildverarbeitungsstufe vom System relativ sicher erkannt werden können.
6. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
es ausgebildet ist, die mindestens zwei einzelnen Kameramodule (14, 16) gleichzeitig oder zeitlich getrennt auf dem Teilbereich des
Bildsensors (4), dessen Schärfentiefengrenzen einer
Nahbereichsfokussierung entsprechen, zur Erkennung von gezielt angeordneten Zielmarken auf der Scheibeninnenseite, innerhalb der Windschutzscheibe oder auf einem speziellen Trägerelement vor der Scheibeninnenseite zu nutzen, wobei das System ferner ausgebildet ist, aus erkannten Abweichungen der Zielmarkenform,
Zielmarkengröße, Abbildungsschärfe und vor allem der
Abbildungsposition auf eine Verschiebung der einzelnen
Kameramodule der Stereokameraanordnung in alle Richtungen bezogen auf die Zielmarke zu schließen, wobei mit Hilfe eines in einem nicht flüchtigen Speicher der Kameraelektronik gespeicherten
Musterbildes Abweichungen erkannt werden.
7. Stereokamerasystem nach Anspruch 6,
dadurch gekennzeichnet, dass
es ausgebildet ist, eine Abweichung der Zielmarkenpositionen und eine damit erfolgte Veränderung der Blickrichtungen oder des Abstands der mindestens zwei Kameramodule voneinander als
Kompensationsparameter für eine ausgeführte Software der verschiedenen Kamerafunktionen und/oder für eine Kompensation zur Verfügung zu stellen, die durch Stellglieder mechanisch auf die Stereokameraanordnung erfolgt.
8. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
es ausgebildet ist, erkannte Objekte in ihrer Art und ihrer quantitativen Ausdehnung in einem dafür vorgesehenen
Windschutzscheibensichtfeld zu ermitteln und davon abhängig gezielte Botschaften an andere Steuergeräte in Kraftfahrzeugen auszugeben, deren Inhalt eine Aktivierung der Scheibenwisch- und oder
Scheibenreinigungsanlage oder eine Aktivierung der Lüftung und oder Scheibenheizung bewirkt.
9. Stereokamerasystem nach Anspruch 8,
dadurch gekennzeichnet, dass
eine gezielte Beleuchtung und/oder eine partiell angeordnete
Heizquelle zur Unterstützung der Erkennung von Objekten auf der Windschutzscheibe vorgesehen ist, wobei die Heizquelle dazu vorgesehen ist, insbesondere eine örtlich begrenzte Verdunstung von Beschlag auf der Windschutzscheibeninnenseite bzw. ein Antauen von Eis auf der Windschutzscheibenaussenseite zu bewirken. lO.Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
mindestens eines der Kameramodule auf einen geneigten Spiegel oder Strahlteiler gerichtet ist, welcher als Feldspiegel zur
Windschutzscheibenabbildung verwendet wird, wobei dieser Spiegel insbesondere auch zur Verwendung als Umgebungslichtsensor, Trägerelement für die Zielmarke und oder als Symmetrieebene zur Unterscheidung zwischen Nah- und Fernobjekten vorgesehen ist.
11. Stereokamerasystem nach Anspruch 10,
dadurch gekennzeichnet, dass
das geneigte Spiegelelement einen Teil eines Beleuchtungselements für das Sichtfeld innerhalb des Schärfentiefenbereichs der
Nahbereichsfokussierung darstellt.
12. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
eine zusätzliche Beleuchtung mit einer an den optischen Aufbau optimierten spektralen Eigenschaft für mindestens den
Schärfentiefenbereich, welcher durch die Nahbereichsfokussierung begrenzt ist, vorgesehen ist, wobei die Beleuchtung entweder durch Reflexion an der Scheibeninnenseite, durch Totalreflexion an der Innenoberfläche der Scheibenaußenseite oder durch eine
Durchleuchtung der Scheibe erfolgt.
13. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
es ausgebildet ist, mindestens zwei unterschiedliche optische
Bauelemente zur Ermöglichung einer bifokalen Abbildung in
Kombination bzw. in zyklischem Wechsel einzusetzen.
14. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
es ferner ausgebildet ist, auch passierende Scheibenwischer zu erkennen und in einem gegebenen Regelkreis auf einen korrekten Bewegungsablauf zu überprüfen, und insbesondere anderen
Kamerafunktionen das Ereignis des passierenden Scheibenwischers mitzuteilen.
15. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
es ferner ausgebildet ist, die Nahbereichsfokussierung auf der
Windschutzscheibe zum Einlesen von aufgebrachten Codes, die bestimmte Parameter der Windschutzscheibe enthalten, im
Windschutzscheibenschwarzdruck auszuwerten .
16. Stereokamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
ein Farbfilterarray vor der sensitiven Halbleiterfläche des Bildsensors vorgesehen ist, um die Objekterkennung im Nahbereich, insbesondere der Windschutzscheibe, und die Objektunterscheidung zu verbessern.
17. Windschutzscheibe (12) für ein Fahrzeug, die zur Verwendung mit einem Stereokamerasystem (10) nach einem der vorhergehenden Ansprüche ausgebildet ist und Zielmarken (20) zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodule (14, 16) des Stereokamerasystems aufweist.
18. Windschutzscheibe nach Anspruch 17,
dadurch gekennzeichnet, dass
die Zielmarken (20) zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodule durch in oder auf der Windschutzscheibe integrierte, nicht transparente Heizdrähte oder Antennenanordnungen gebildet sind, die sich im Kamerasichtfeld befinden.
PCT/DE2011/001115 2010-06-12 2011-05-26 Stereokamerasystem Ceased WO2011153989A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112011101083T DE112011101083A5 (de) 2010-06-12 2011-05-26 Stereokamerasystem

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010023591A DE102010023591A1 (de) 2010-06-12 2010-06-12 Stereokamerasystem
DE102010023591.1 2010-06-12

Publications (2)

Publication Number Publication Date
WO2011153989A2 true WO2011153989A2 (de) 2011-12-15
WO2011153989A3 WO2011153989A3 (de) 2012-03-29

Family

ID=44910076

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2011/001115 Ceased WO2011153989A2 (de) 2010-06-12 2011-05-26 Stereokamerasystem

Country Status (2)

Country Link
DE (2) DE102010023591A1 (de)
WO (1) WO2011153989A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12187201B2 (en) 2020-09-09 2025-01-07 Volvo Truck Corporation Method and a system for the management of an assistance system for a windscreen of a cab of a vehicle

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017355B4 (de) * 2011-04-16 2022-08-11 Continental Autonomous Mobility Germany GmbH Multifokales Abbildungssystem mit optischen Filtern
DE102012012501B4 (de) * 2012-06-21 2019-10-24 Volkswagen Aktiengesellschaft Kamerasystem für ein Kraftfahrzeug
DE102012106834A1 (de) 2012-07-27 2014-01-30 Conti Temic Microelectronic Gmbh Verfahren zur Ausrichtung zweier Bildaufnahmeelemente eines Stereokamerasystems
DE102012021885A1 (de) 2012-10-27 2014-04-30 Günter Fendt Linsenanordnung für ein Umgebungserfassungssystem mit dieser ein "Stereo-Bild" erzeugt werden kann, sowie ein dazugehöriges Verfahren und ein damit ausgestattetes Fahrerassistenzsystem und/oder Kraftfahrzeug (Kfz)
DE102013102207A1 (de) 2013-03-06 2014-09-11 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
DE102014105759A1 (de) * 2014-04-24 2015-10-29 Sick Ag Kamera und Verfahren zur Erfassung eines bewegten Stroms von Objekten
DE102014209197B4 (de) 2014-05-15 2024-09-19 Continental Autonomous Mobility Germany GmbH Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE102014213536B4 (de) 2014-07-11 2025-10-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereiches eines Fortbewegungsmittels, Fahrerassistenzsystem und Fortbewegungsmittel
DE102015010443A1 (de) 2015-08-11 2016-01-28 Daimler Ag Assistenzkamera und modulares Fahrzeug-Kamerasystem
DE102015217265A1 (de) * 2015-09-10 2017-03-16 Conti Temic Microelectronic Gmbh Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen
DE102016115077A1 (de) * 2016-08-15 2018-02-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Lichtstrahlenbündels einer Umgebungszone eines Kraftfahrzeugs in zumindest zwei verschiedenen Brennweiten mit einem Kamerasystem, sowie Kamerasystem und Kraftfahrzeug
CN106915303B (zh) * 2017-01-22 2018-11-16 西安科技大学 基于深度数据和鱼眼图像的汽车a柱盲区透视方法
DE102019003562A1 (de) 2019-05-21 2020-01-02 Daimler Ag Verfahren zur Auswertung von mittels einer Kamera eines Fahrzeugs erfassten Bildern
DE102019130316B3 (de) 2019-11-11 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit einem Kamerasystem zur optischen Abtastung einer Umgebung des Fahrzeugs

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005225250A (ja) * 2004-02-10 2005-08-25 Murakami Corp 車載用監視装置
DE102004015040A1 (de) * 2004-03-26 2005-10-13 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
DE102004037871B4 (de) * 2004-08-04 2006-10-12 Siemens Ag Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
DE102007050558A1 (de) * 2007-10-23 2008-05-15 Daimler Ag Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung
EP2364553A2 (de) * 2008-11-24 2011-09-14 Carl Zeiss Optronics GmbH Stereokameraeinrichtungen, verfahren zur fortlaufenden automatischen kalibrierung einer stereokameraeinrichtung, computerprogramm, computerprogrammprodukt und überwachungsvorrichtung für windkraftanlagen, gebäude mit transparenten bereichen, start- und landebahnen und/oder flugkorridore von flughäfen
DE102008062977A1 (de) * 2008-12-23 2010-06-24 Adc Automotive Distance Control Systems Gmbh Optisches Modul mit multifokaler Optik zur Erfassung von Fern- und Nahbereich in einem Bild

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12187201B2 (en) 2020-09-09 2025-01-07 Volvo Truck Corporation Method and a system for the management of an assistance system for a windscreen of a cab of a vehicle

Also Published As

Publication number Publication date
DE102010023591A1 (de) 2011-12-15
WO2011153989A3 (de) 2012-03-29
DE112011101083A5 (de) 2013-04-11

Similar Documents

Publication Publication Date Title
WO2011153989A2 (de) Stereokamerasystem
EP2370297B1 (de) Optisches modul mit multifokaler optik zur erfassung von fern- und nahbereich in einem bild
EP2452213B1 (de) Optisches modul zur gleichzeitigen fokussierung auf zwei sichtbereiche
EP2384292B1 (de) Kameraanordnung für ein kraftfahrzeug und kraftfahrzeug mit einer kameraanordnung
DE69836344T2 (de) Regensensor mit nebelerkennung
EP2558336B1 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren eines fahrzeugs durch detektion von wetterbedingten sichteinschränkungen
EP2715446B1 (de) Kamerasystem für ein fahrzeug
EP2062777B1 (de) Optisches Modul
DE102004037871B4 (de) Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
DE102014209197B4 (de) Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE102005000650A1 (de) Vorrichtung zur Erfassung visueller Daten
WO2012171737A1 (de) Verfahren und vorrichtung zur erkennung von gerichteten strukturen auf einer scheibe eines fahrzeugs
WO2013163991A1 (de) Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
DE102010043479B4 (de) Kameraanordnung und Verfahren zum Betreiben einer Kameraanordnung für ein Kraftfahrzeug
WO2012107136A1 (de) Verfahren und vorrichtung zur bestimmung einer klarsichtigkeit einer scheibe eines fahrzeugs
EP1159169A1 (de) Optoelektronische überwachungseinrichtung für ein kraftfahrzeug
WO2011153990A1 (de) Optische vorrichtung mit einem bifokalen optischen element und einem spiegelelement
DE102019206370A1 (de) Außenleuchteinrichtung für ein Kraftfahrzeug
DE102006008274A1 (de) Kraftfahrzeug mit einer optischen Erfassungsvorrichtung
EP3077255B1 (de) Beleuchtung zur detektion von regentropfen auf einer scheibe mittels einer kamera
EP3963505B1 (de) Objekterkennungssystem mit flächigem trägermedium zum anordnen auf einem gerät
WO2013091619A1 (de) Verfahren und vorrichtung zur ermittlung von feuchtigkeit auf einer fahrzeugscheibe
DE102015218500A1 (de) Beleuchtung und kamerabasierte Detektion von Regentropfen auf einer Scheibe
DE102006056180A1 (de) Verfahren und Vorrichtung zum Kalibrieren eines Bildsensors im Kraftfahrzeug
EP2136403A2 (de) Bildaufnahmeanordnung und Nachtsichtsystem mit einer Bildaufnahmeanordnung

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 112011101083

Country of ref document: DE

Ref document number: 1120111010834

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112011101083

Country of ref document: DE

Effective date: 20130411

122 Ep: pct application non-entry in european phase

Ref document number: 11779328

Country of ref document: EP

Kind code of ref document: A2