WO2011153989A2 - Stereo camera system - Google Patents
Stereo camera system Download PDFInfo
- Publication number
- WO2011153989A2 WO2011153989A2 PCT/DE2011/001115 DE2011001115W WO2011153989A2 WO 2011153989 A2 WO2011153989 A2 WO 2011153989A2 DE 2011001115 W DE2011001115 W DE 2011001115W WO 2011153989 A2 WO2011153989 A2 WO 2011153989A2
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- stereo camera
- windshield
- camera system
- field
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/04—Wipers or the like, e.g. scrapers
- B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
- B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
- B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
- B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
- B60S1/0833—Optical rain sensor
- B60S1/0844—Optical rain sensor including a camera
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- the invention relates to a stereo camera system according to claim 1.
- a stereo camera is understood here to mean an arrangement of two cameras, which are mounted at a predetermined distance from each other, in particular on the windshield of the vehicle.
- the images captured by the two cameras, in particular digital cameras are compared and pixel differences between identical object edges are evaluated in order to determine the corresponding object distance therefrom.
- a deviation or positional difference of the optical axis of a camera from or to the predetermined position must be detected. Compensation can be done algorithmically, for example, by suitable software or mechanically by changing the position of the cameras. If the two cameras have been independently fixed to the windshield and adjusted in the assembly process, a positional difference of the optical axes during operation of the stereo camera can only be detected by defined objects in the street scene. Finding such defined objects worldwide and always is a great, if not impossible, challenge.
- a possible object for detecting a position difference could also be an edge on the own vehicle, which is always visible to the stereo camera, for example the front edge of the vehicle.
- a stereo camera system is understood here to mean a stereo camera and corresponding software for controlling the stereo camera and image evaluation.
- the software is typically stored in a non-volatile memory of electronics of the stereo camera system and is executed by a processor of the electronics, which is configured by the software, especially for camera control and image analysis.
- An essential idea of the invention is to design at least one camera module of a stereo camera system in such a way that it can be used as an at least bifocal optical camera module with at least two different depths of field on an image sensor, wherein a depth of field range covers the vicinity of the stereo camera system, in particular the area of the windscreen ,
- the system can sharply image at least a portion of the windshield and detect objects in this subarea which are located on the windshield with a focus that is suitable for further evaluation, in particular for automatic alignment of the system.
- special, intended for alignment pattern can be displayed on the windshield.
- An embodiment of the invention now relates to a stereo camera system adapted for use in motor vehicles behind a sloped windshield, wherein
- Depth of field can be used on an image sensor and the image sensor thereby includes at least two partial areas with different optical object widths, wherein an optical object distance for detecting an object in the vicinity, which is used to align the
- Stereocamera arrangement serves, is provided.
- the at least two image sensor subregions may have additional features
- Components acting as filter elements can be integrated before, in or after the additional optical element and / or in optical
- the sectional area of the additional optical element does not or only partially cuts.
- the additional optical element may be formed in at least one of the optical components of the at least one camera module as a partial partial lens in front of a lens of the camera module, as a partial optical element in particular as a plane-parallel plate behind the lens or as an optical beam splitter or mirror element and thus a bifocal image on at least allow two sections of the image sensor.
- the stereo camera system according to the invention can also be designed to achieve the at least two different focal depth regions simultaneously or separately by feeding the additional optical element, wherein the feeding of the additional optical element into the entire field of view of the at least two camera modules via a chopper wheel with lenses of one or more Refractive power and thickness in front of the lens, one or more plane-parallel elements that differ by their thickness or their refractive index behind the lens of a camera module or by filling a non-fixed, the desired wavelength range well-transmitting and differs in the refractive index of air medium behind the lens of a camera module takes place.
- the at least two depth-of-field regions of the individual camera modules of the stereo camera system according to the invention can be identical or differ in their depth-of-sharpness limits due to the at least one partially arranged additional optical element.
- the at least two different depth-of-field regions of the individual camera modules of the stereo camera system according to the invention can have one subarea of the image sensor for close-range focusing with a rear depth of field of about 1 meter and the other subarea of the image sensor for long-range focusing with a front
- the stereo camera system according to the invention can be formed, the at least two individual camera modules simultaneously or separately in time on the portion of the image sensor whose depth of field limits Nah Schlsfokusstechnik correspond to the detection of fog on the disk inside, rain, dirt or other the view
- obstructing events to be used wherein the depth of field is selected by targeted design of the additional optical components so that object edges of an edge detection, different objects by defined classifiers or deviations caused in the
- Frequency spectrum can be detected by a relatively fast FFT (Fast Fourier Transformation) in a subsequent image processing stage by the system.
- the stereo camera system according to the invention can also be designed to target the at least two individual camera modules simultaneously or separately in time on the subregion of the image sensor whose depth of field boundaries correspond to near field focusing arranged target marks on the disk inside, within the
- the stereo camera system according to the invention can be further developed, a deviation of the target mark positions and a thus occurred
- Windshield as explained above and of targets for detecting deviations in the viewing direction is performed as explained above.
- Lighting and / or a partially arranged heat source for support the detection of objects on the windshield may be provided, wherein a heating source may be provided to effect in particular a localized evaporation of fog on the windshield inside or a thawing of ice on the windshield outer side. This local difference of these special cases can be the
- Image processing as a recognition feature e.g. as an edge for one
- Edge detection by edge filtering e.g. with a simple one
- Windscreen outer side can be determined by a higher number of edges in the vertical direction in comparison to the horizontal direction and serve to assess the cleaning performance of the windscreen wiper system and to initiate appropriate measures.
- the individual camera modules can not be in direct contact with the windshield, but be positioned at least one vehicle point relatively loose and stress-free.
- the different depth of field depths of the individual camera modules of the stereo camera system according to the invention can be used for supporting distance detection of objects in the camera field of view.
- Stereo camera system to determine the limit of a possible
- At least one of the camera modules of the invention is provided.
- Stereo camera systems may be directed to an inclined mirror or beam splitter, which is used as a field mirror for windshield imaging, which mirror in particular as
- Ambient light sensor, target carrier and or as Symmetrieebene may be provided to distinguish between near and far objects.
- the inclined mirror element can in the inventive
- Lighting can be done either by reflection on the disk inside, by total reflection on the inner surface of the disk outside or by a fluoroscopy of the disc.
- the stereo camera system according to the invention can also be designed to use at least two different optical components to enable a bifocal imaging in combination or in cyclic alternation.
- the stereo camera system according to the invention can also be designed and in particular be able to do so by the bifocal property
- the stereo camera system according to the invention can also be designed to evaluate the near focus on the windshield also for reading in applied codes that contain certain parameters of the windshield in the windshield black pressure.
- a coupling element of the individual camera modules by the detection and compensation of the changes in terms of camera distance and line of sight from a very cheap material, even with a large
- Thermal expansion coefficients e.g. many plastics in a low cost production process e.g. Plastic injection molding are produced.
- the stereo camera system according to the invention can also be designed to use a target mark recognition as a sensor for compensation measures, which may be necessary in the case of a thermal change in the distances and refractive power of the optical components.
- the image sensor portions used to sharply image the front depth of field can also be used for others
- Farbfilterarray be provided in front of the sensitive semiconductor surface of the image sensor to the object detection in the vicinity, in particular the
- a further embodiment of the invention relates to a windshield for a vehicle adapted for use with a stereo camera system according to the invention and as previously described, and
- the targets for determining the relative position and the viewing direction of the individual camera modules can be determined by in or on the
- Windscreen integrated, non-transparent heating wires or
- Antenna arrangements are formed, which are located in the camera field of view.
- Fig. 1 is a windshield mounted thereon
- Stereo camera system in a view from behind the windshield
- Fig. 2 is a windshield adapted for use with the stereo camera system of the present invention
- Fig. 3 is an example of a typical target pattern on the
- FIG. 4 shows the windshield shown in FIG. 1 with the stereo camera system mounted thereon in a view from in front of the windshield;
- Fig. 5 is a tilted stereo camera system and the effect of
- Fig. 6 shows an embodiment of a camera module
- Fig. 7 is a side view of another schematically illustrated
- identical and / or functionally identical elements can be provided with the same reference numerals.
- the absolute values and dimensions given below are only exemplary values and do not restrict the invention to such dimensions.
- the stereo camera system 10 according to the invention shown in FIG. 1 is intended for mounting on the windshield 12 of a vehicle and for use in a driver assistance system for traffic detection ,
- the system is designed as a mechanically coupled unit of two camera modules 14 and 16.
- the coupling of the camera modules 14 and 16 can be done in many ways.
- the stereo camera system 10 is in the range of the rearview mirror on the
- Windshield 12 attached.
- a camera module 14 or 16 of the system 10 comprises an image sensor, for example a CMOS or CCD camera chip, and an optical system, in particular a lens.
- the system 10 also includes electronics having a memory with software for evaluating the image sensor, for example a CMOS or CCD camera chip, and an optical system, in particular a lens.
- the system 10 also includes electronics having a memory with software for evaluating the image sensor, for example a CMOS or CCD camera chip, and an optical system, in particular a lens.
- the system 10 also includes electronics having a memory with software for evaluating the
- Image sensors of the camera modules 14 and 16 have generated digital image data and for controlling the system 10 and a processor for executing the software.
- the thermal expansion coefficients of the materials used in the stereoscopic camera system 10 according to the invention no longer play a dominant role with respect to errors in the object distance detection, since the thermal expansion by a software included in particular by the mentioned and in the stereo camera system according to the invention
- the distance between the individual camera modules 14 and 16 to each other must be known in order to reliably determine distances to objects with the stereo camera system 10 according to the invention. This distance determination can be done with a measuring method. Also, the direction of view of the cameras 14 and 16 must not change much to the reliability of the
- the coupled camera system 10 may be attached to a horizontally centered slice centered area, e.g. with a windshield adhesive.
- the stereo camera system 10 has central fastening means 18, with which by means of a
- Windshield adhesive the system 10 can be mounted on the windshield 12. Also, attachment to a mechanically stable vehicle point above the windshield is possible, for example on the vehicle roof.
- the two camera lenses of the stereo cameras or camera modules 14 and 16 are by their main function of traffic detection on their
- Hyperfocal distance e.g. at about 4 meters, focused.
- Depth of field about 2 meters to infinity
- an additional optical component is provided in at least one of the cameras. This additional optical component extends only over a partial area in the camera field of view.
- This conflict of objectives with the range of usable depth of field has the following cause: Is caused by focus adjustment If the front depth of field boundary is brought further to the objective main plane, the rear depth of field boundary also moves in a direction that is disproportionate to the objective main plane. As a result, more distant objects are no longer sharply focused.
- the optical component can be implemented, for example, by a partial optical element in the image width, a graduated optical element or even a partial lens in front of the objective.
- a multifocal optic with the partial lens.
- the same principle can also be made possible with a partial optical element.
- the partial lens alters the focusing of the camera system, depending on the lens shape and refractive index, either to a more distant object plane than the hyperfocal distance, e.g. with a concave lens shape (diverging lens), or even on a closer object plane, e.g. in a convex shape
- Fig. 6 shows the camera module 14 in one
- the optical component can either be connected to the cameras or to the windshield.
- shape e.g., lens radius in a spherical lens
- refractive index depending on the choice of material or surface coating
- This system allows a sharp image of the windshield on a portion of the image sensor, which is determined by the size of the partial lens area in the field of view of the camera. At the same time, a picture of the street scene with the usual is on the remaining area of the image sensor
- a suitable imprint referred to below as the target pattern 20 is mounted on the windshield 10.
- the target pattern 20 is chosen so that the best possible position changes between the camera system and windshield can be detected.
- Possibility for a target pattern would e.g. a cross 12, as shown in Fig. 3, which is formed by a printed scale in the horizontal direction and a scale in the vertical direction.
- the resist for the target pattern should have a refractive index approximately equal to that of the disc material.
- Stereo camera system 10 has.
- a target pattern 20 in the form of a cross is provided in each case.
- Fig. 4 the windshield 2 is shown with mounted stereo camera system 10 in a front view, so a view from outside the
- the lenses of the camera modules 14 and 16 are arranged behind the recesses. In this case, the camera modules are aligned such that the respective partial lens in front of the lens of the module images the area with the target pattern on the windshield sharply in the image plane of the image sensor.
- the two mechanically coupled cameras of the stereo camera system with an assumed distance of 20 cm to each other see in their field of vision in one area the traffic situation and in another clearly smaller area to be selected the target pattern through the partial lens. Both pictures are sharply focused. A tilt of the partial lens after the
- Coefficient of expansion of a windshield is significantly lower than that of metals and far below that of plastics which are considered mechanical Coupling of the cameras come into question, ie the target pattern is relatively stable in its position or the extent of thermal expansion is approximately known from the data of the windshield. Now move the stereo cameras by thermal expansion, vibration, shock or Matertalermüdung plastic as coupling element from her
- This information is important in determining when the cameras are looking in different directions. On the one hand this is possible by the lens effect of the curved windshield, on the other hand by a change in the camera viewing direction through the
- This change can be caused by a known deviation from the setpoint in a software of the stereo camera system or by
- a simple mechanical compensation represents a bow as an additional coupling element, which defines the squinting camera defined at a suitable roll angle.
- Fig. 5 shows the effects of a tilted stereo camera system 10 mounted on the windshield 12. Beneath the system 10 are shown the images produced by the forming sensors of the respective camera modules. It can be clearly seen that the portion of the image sensor assigned to the near zone is the one shown on the windshield 12
- the attached target pattern is tilted, ie, the target pattern is shown on other than the intended pixels in the image generated by the image sensor.
- the type of tilting can be determined by means of a camera software module, for example, a suitable software solution would be an adapted image equalization.
- the disk deflection or a position determination of the cameras to each other can also be done with optical measurement methods.
- Projection of a light source e.g. with IR LEDs or laser projected through a suitable lens e.g. a cylindrical lens, may e.g. a line at a defined angle (cylindrical lens rotation) are projected onto the windshield.
- the light source is firmly connected to the camera system and is located farther away from the center of the stereo camera system than the corresponding camera.
- the projection can be defined in
- Camera allows determination of the position change of the camera by moving the intersection of the 2 projected lines.
- Windscreen type recognition, rain sensor or wiper quality recognition of the windscreen wiper system The stereo camera system according to the invention allows additional functions, which are explained in the following overview.
- Windscreens are detected. For example, a
- Identification number affixed or printed, can be used for individual camera settings by appropriate image processing.
- the Nahfokusstechnik also allows use as a dirt and rain sensor system also taking advantage of the target pattern for determining object size and possibly object type by a comparison method.
- This object-recognizing type of rain and dirt detection enables in the future e.g. a recognition and distinction of drop size, snow and especially insects on the windshield, which could trigger a special wiping program by a targeted detection.
- Fig. 7 shows in side views schematically another embodiment of the stereo camera system according to the invention.
- Fig. 7 is a side view of an inventive top
- Stereo camera system shown with an additional rain sensor function.
- Camera module of the system is a partial optical element 8 arranged for bifocal imaging on the sensitive surface of the image sensor.
- the lens 1 of the camera module Before the partial optical element 8 is the lens 1 of the camera module with the main plane 2.
- the image sensor is further provided with a cover glass 3.
- the sensitivity of the rain sensor function can be limited by interference from remote light sources.
- a modulated approximately monochromatic illumination and the color filters of the Bayer pattern can be used for signal filtering.
- a mirror (element) S1 is proposed, which also has a
- the mirror S1 has an opposite pitch angle to the camera field of view as the inclined windshield 5.
- the mirror edge is located in the middle of the near-field image and thus represents a plane of symmetry.
- Windshield 5 are on the image sensor 4 at this
- the mirror element S1 is an interesting possibility for distinguishing between near and far range.
- the lighting coupling can be done via a light guide with an integrated concave mirror profile in a cylindrical design.
- the image analysis uses symmetry as a parameter for separating objects on the windshield and disturbing factors in the surroundings of a captured image. In Fig. 7, such an arrangement for coupling a lighting is shown schematically below. Behind the windshield a is a
- Arrangement is arranged, as shown in Fig. 7 above.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
STEREOKAMERASYSTEM STEREO CAMERA SYSTEM
Die Erfindung betrifft ein Stereokamerasystem gemäß Anspruch 1 . The invention relates to a stereo camera system according to claim 1.
Zur Ermittlung des Abstands eines Fahrzeugs zu einem Objekt kann eine sogenannte Stereokamera verwendet werden. Unter einer Stereokamera wird hierin eine Anordnung von zwei Kameras verstanden, die in einem vorgegebenen Abstand versetzt zueinander insbesondere an der Windschutzscheibe des Fahrzeugs angebracht sind. Für die Abstandsermittlung von Objekten werden die von den beiden insbesondere digitalen Kameras erfassten Bilder verglichen und Pixeldifferenzen zwischen gleichen Objektkanten ausgewertet, um daraus die entsprechende Objektentfernung zu ermitteln. Unabhängig von einer Objektebene, auf welche die Kameras fokussiert sind, besteht ein Schärfentiefebereich, der sich bei aktuellen, für die Objektentfernungserkennung verwendeten Objektiven in Kameras von beispielsweise von ca. 2 m bis Unendlich erstreckt. Dadurch wird eine Objektentfernungserkennung etwa ab Fahrzeugvorderkante ermöglicht. To determine the distance of a vehicle to an object, a so-called stereo camera can be used. A stereo camera is understood here to mean an arrangement of two cameras, which are mounted at a predetermined distance from each other, in particular on the windshield of the vehicle. For determining the distance of objects, the images captured by the two cameras, in particular digital cameras, are compared and pixel differences between identical object edges are evaluated in order to determine the corresponding object distance therefrom. Irrespective of an object plane on which the cameras are focused, there is a depth of field range that extends in current, for object distance detection lenses used in cameras, for example, from about 2 m to infinity. This allows object distance detection approximately from the vehicle leading edge.
Für eine genaue Objektentfernungserkennung ist es erforderlich, dass die beiden Kameras möglichst genau zueinander mit einem zu definierenden Toleranzbereich justiert werden, d.h. die vorgegebene Lage der optischen Achsen der Kameras zueinander möglichst genau eingehalten wird. Für eine Justierung der Kameras kann beispielsweise ein vor dem Fahrzeug mit der Stereokamera angeordnetes Bild mit definierten Objekten verwendet werden. Ein solches Bild wird beispielsweise bei der Montage der Stereokamera im Fahrzeug eingesetzt. Probleme mit der Objektentfernungserkennung treten jedoch vor allem dann auf, wenn sich die Lage der optischen Achsen der Kameras beispielsweise im Betrieb zueinander verändern. Dadurch können bei der Objektentfernungserkennung mehr oder weniger große Ungenauigkeiten auftreten, da dann der mit der Stereokamera ermittelte Abstand zu einem Objekt in der Regel nicht mehr mit dem realen Abstand übereinstimmt. For an accurate object distance detection, it is necessary that the two cameras are aligned as accurately as possible to each other with a tolerance range to be defined, ie the predetermined position of the optical axes of the cameras is maintained as closely as possible to each other. For an adjustment of the cameras, for example, an image arranged in front of the vehicle with the stereo camera with defined objects can be used. Such an image is used for example when mounting the stereo camera in the vehicle. However, problems with the object distance detection occur, in particular, when the position of the optical axes of the cameras change, for example during operation with one another. As a result, in the object distance detection more or less large inaccuracies occur because then the determined with the stereo camera Distance to an object usually no longer matches the real distance.
Der durch eine Abweichung auftretende Fehler hängt hierbei von der Entfernung des Objekts zum Fahrzeug ab. Vor allem dreidimensionale Abweichungen der optischen Achsen der Kameras sind häufig auf die thermisch-mechanischen Eigenschaften der gekrümmtenThe error due to a deviation depends on the distance of the object from the vehicle. Above all, three-dimensional deviations of the optical axes of the cameras are often due to the thermal-mechanical properties of the curved ones
Windschutzscheiben von Fahrzeugen zurückzuführen. Um die dadurch entstehenden Fehler in der Abstandsermittlung kompensieren zu können, muss eine Abweichung oder Lagedifferenz der optischen Achse einer Kamera von bzw. zu der vorgegebenen Lage erkannt werden. Eine Kompensation kann beispielsweise algorithmisch durch geeignete Software oder mechanisch durch eine Lageänderung der Kameras erfolgen. Sind die beiden Kameras unabhängig voneinander an der Windschutzscheibe fixiert und im Montageprozess justiert worden, kann eine Lagedifferenz der optischen Achsen im Betrieb der Stereokamera nur durch definierte Objekte in der Straßenszenerie erkannt werden. Solche definierten Objekte weltweit und immer zu finden, ist eine große, wenn nicht sogar unmögliche Herausforderung. Ein mögliches Objekt zur Erkennung einer Lagedifferenz könnte auch eine Kante am eigenen Fahrzeug sein, die für die Stereokamera immer sichtbar ist, beispielsweise die vordere Fahrzeugkante. Allerdings ist dieses Objekt vom Fahrzeughersteller und -typ abhängig. Aufgabe der vorliegenden Erfindung ist es daher, ein Stereokamerasystem für Fahrzeuganwendungen anzugeben, das prinzipiell zum Erkennen einer Abweichung oder Lagedifferenz der optischen Achsen der Kameras des Systems von bzw. zu einer vorgegebenen Lage geeignet ist. Diese Aufgabe wird durch ein Stereokamerasystem für Fahrzeuganwendungen mit den Merkmalen nach Anspruch 1 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen. Unter einem Stereokamerasystem wird hierin eine Stereokamera und entsprechende Software zur Steuerung der Stereokamera und Bildauswertung verstanden. Die Software ist typischerweise in einem nichtflüchtigen Speicher einer Elektronik des Stereo kamerasystems gespeichert und wird von einem Prozessor der Elektronik ausgeführt, der durch die Software vor allem zur Kamerasteuerung und Bildauswertung konfiguriert wird. Ein wesentlicher Gedanke der Erfindung besteht nun darin, mindestens ein Kameramodul eines Stereokamerasystems derart auszubilden, dass es als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen Schärfentiefenbereichen auf einem Bildsensor verwendet werden kann, wobei ein Schärfentiefebereich den Nahbereich des Stereokamerasystems umfasst, insbesondere den Bereich der Windschutzscheibe. Dadurch kann das System zumindest einen Teilbereich der Windschutzscheibe scharf abbilden und Objekte in diesem Teilbereich, die sich auf der Windschutzscheibe befinden, mit einer für eine weitere Auswertung, insbesondere für die automatische Ausrichtung des Systems geeigneten Schärfe erfassen. Beispielsweise können auf der Windschutzscheibe spezielle, zur Ausrichtung vorgesehene Muster (Zielmuster) abgebildet sein. Das System kann die mit ausreichender Schärfe erfassten Zielmuster auswerten, insbesondere durch einen Vergleich mit gespeicherten Referenzmustern, um eine Abweichung oder Lagedifferenz der optischen Achsen der Kameras des Systems von bzw. zu einer vorgegebenen Lage zu erkennen. Abhängig von einer erkannten Abweichung oder Lagedifferenz kann bei Ausgestaltungen der Erfindung eine automatische Ausrichtung der Kameramodule durchgeführt werden. Attributed to windshields of vehicles. In order to be able to compensate for the resulting errors in the distance determination, a deviation or positional difference of the optical axis of a camera from or to the predetermined position must be detected. Compensation can be done algorithmically, for example, by suitable software or mechanically by changing the position of the cameras. If the two cameras have been independently fixed to the windshield and adjusted in the assembly process, a positional difference of the optical axes during operation of the stereo camera can only be detected by defined objects in the street scene. Finding such defined objects worldwide and always is a great, if not impossible, challenge. A possible object for detecting a position difference could also be an edge on the own vehicle, which is always visible to the stereo camera, for example the front edge of the vehicle. However, this object depends on the vehicle manufacturer and type. Object of the present invention is therefore to provide a stereo camera system for vehicle applications, which is in principle suitable for detecting a deviation or positional difference of the optical axes of the cameras of the system from or to a predetermined position. This object is achieved by a stereo camera system for vehicle applications with the features of claim 1. Further embodiments of the invention will become apparent from the dependent claims. A stereo camera system is understood here to mean a stereo camera and corresponding software for controlling the stereo camera and image evaluation. The software is typically stored in a non-volatile memory of electronics of the stereo camera system and is executed by a processor of the electronics, which is configured by the software, especially for camera control and image analysis. An essential idea of the invention is to design at least one camera module of a stereo camera system in such a way that it can be used as an at least bifocal optical camera module with at least two different depths of field on an image sensor, wherein a depth of field range covers the vicinity of the stereo camera system, in particular the area of the windscreen , As a result, the system can sharply image at least a portion of the windshield and detect objects in this subarea which are located on the windshield with a focus that is suitable for further evaluation, in particular for automatic alignment of the system. For example, special, intended for alignment pattern (target pattern) can be displayed on the windshield. The system can evaluate the target patterns detected with sufficient sharpness, in particular by comparison with stored reference patterns, to detect a deviation or positional difference of the optical axes of the cameras of the system from or to a predetermined position. Depending on a detected deviation or positional difference, an automatic alignment of the camera modules can be carried out in embodiments of the invention.
Eine Ausführungsform der Erfindung betrifft nun ein Stereokamerasystem, das zum Einsatz in Kraftfahrzeugen hinter einer geneigten Windschutzscheibe ausgebildet ist, wobei An embodiment of the invention now relates to a stereo camera system adapted for use in motor vehicles behind a sloped windshield, wherein
mindestens eines der mindestens zwei Kameramodule des Systems ein zusätzliches partiell angeordnetes, zeitweise zugeführtes oder als Strahlteiler wirkendes optisches Element aufweist und dadurch als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen at least one of the at least two camera modules of the system has an additional partially arranged, temporarily supplied or acting as a beam splitter optical element and thereby as at least bifocal optical camera module with at least two different ones
Schärfentiefenbereichen auf einem Bildsensor verwendet werden kann und der Bildsensor dadurch mindestens zwei Teilbereiche mit unterschiedlichen optischen Objektweiten beinhaltet, wobei eine optische Objektweite zur Erfassung eines Objekts im Nahbereich, das zum Ausrichten der Depth of field can be used on an image sensor and the image sensor thereby includes at least two partial areas with different optical object widths, wherein an optical object distance for detecting an object in the vicinity, which is used to align the
Stereokameraanordnung dient, vorgesehen ist. Stereocamera arrangement serves, is provided.
Die mindestens zwei Bildsensor-Teilbereiche können zusätzliche The at least two image sensor subregions may have additional
Filterelemente aufweisen, um ferner unterschiedliche Intensitätsverteilungen des Wellenlängenspektrums zu erfassen. Have filter elements to further detect different intensity distributions of the wavelength spectrum.
Als Filterelemente wirkende Komponenten können vor, in oder nach dem zusätzlichen optischen Element integriert sein und/oder in optischen Components acting as filter elements can be integrated before, in or after the additional optical element and / or in optical
Bereichen integriert sein, die zu dem optischen Sichtfeld gehören, dessen Schnittfläche das zusätzliche optische Element nicht oder nur teilweise schneidet. Be integrated into areas that belong to the optical field of view, the sectional area of the additional optical element does not or only partially cuts.
Das zusätzliche optische Element kann in mindestens einer der optischen Komponenten des mindestens einen Kameramoduls als partielle Teillinse vor einem Objektiv des Kameramoduls, als partielles optisches Element insbesondere als planparallele Platte hinter dem Objektiv oder als optischer Strahlteiler oder Spiegelelement ausgebildet sein und damit eine bifokale Abbildung auf mindestens zwei Teilbereichen des Bildsensors ermöglichen. Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, die mindestens zwei unterschiedlichen Schärfentiefenbereiche gleichzeitig oder zeitlich getrennt durch eine Zuführung des zusätzlichen optischen Elements zu erreichen, wobei die Zuführung des zusätzlichen optischen Elements in das gesamte Sichtfeld der mindestens zwei Kameramodule über ein Chopperrad mit Linsen einer oder unterschiedlicher Brechkraft und Dicke vor dem Objektiv, einer oder mehrerer planparalleler Elemente, die sich durch ihre Dicke oder ihren Brechungsindex unterscheiden, hinter dem Objektiv eines Kameramoduls oder auch durch Auffüllen eines nicht festen, den gewünschten Wellenlängenbereich gut transmittierenden und im Brechungsindex von Luft abweichenden Mediums hinter dem Objektiv eines Kameramoduls erfolgt. Die mindestens zwei Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können sich durch das mindestens eine partiell angeordnete zusätzliche optische Element in ihren Schärfetiefengrenzen gleichen oder unterscheiden. Die mindestens zwei unterschiedlichen Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können den einen Teilbereich des Bildsensors zur Nahbereichsfokussierung mit einer hinteren Schärfentiefengrenze von ca. 1 Meter und den anderen Teilbereich des Bildsensors zur Fernbereichsfokussierung mit einer vorderen The additional optical element may be formed in at least one of the optical components of the at least one camera module as a partial partial lens in front of a lens of the camera module, as a partial optical element in particular as a plane-parallel plate behind the lens or as an optical beam splitter or mirror element and thus a bifocal image on at least allow two sections of the image sensor. The stereo camera system according to the invention can also be designed to achieve the at least two different focal depth regions simultaneously or separately by feeding the additional optical element, wherein the feeding of the additional optical element into the entire field of view of the at least two camera modules via a chopper wheel with lenses of one or more Refractive power and thickness in front of the lens, one or more plane-parallel elements that differ by their thickness or their refractive index behind the lens of a camera module or by filling a non-fixed, the desired wavelength range well-transmitting and differs in the refractive index of air medium behind the lens of a camera module takes place. The at least two depth-of-field regions of the individual camera modules of the stereo camera system according to the invention can be identical or differ in their depth-of-sharpness limits due to the at least one partially arranged additional optical element. The at least two different depth-of-field regions of the individual camera modules of the stereo camera system according to the invention can have one subarea of the image sensor for close-range focusing with a rear depth of field of about 1 meter and the other subarea of the image sensor for long-range focusing with a front
Schärfentiefengrenze größer ca. 1 Meter nutzen. Use depth of field greater than approx. 1 meter.
Weiterhin kann das erfindungsgemäße Stereokamerasystem ausgebildet sein, die mindestens zwei einzelnen Kameramodule gleichzeitig oder zeitlich getrennt auf dem Teilbereich des Bildsensors, dessen Schärfentiefengrenzen einer Nahbereichsfokussierung entsprechen, zur Erkennung von Beschlag auf der Scheibeninnenseite, Regen, Schmutz oder anderer die Sicht Furthermore, the stereo camera system according to the invention can be formed, the at least two individual camera modules simultaneously or separately in time on the portion of the image sensor whose depth of field limits Nahbereichsfokussierung correspond to the detection of fog on the disk inside, rain, dirt or other the view
behindernder Ereignisse zu nutzen, wobei die Schärfentiefenbereiche durch gezielte Auslegung der zusätzlichen optischen Komponenten so gewählt sind, dass Objektkanten von einer Kantendetektion, unterschiedliche Objekte durch definierte Klassifikatoren oder dadurch bewirkte Abweichungen im obstructing events to be used, wherein the depth of field is selected by targeted design of the additional optical components so that object edges of an edge detection, different objects by defined classifiers or deviations caused in the
Frequenzspektrum durch eine FFT {Fast Fourier Transformation) in einer darauf folgenden Bildverarbeitungsstufe vom System relativ sicher erkannt werden können. Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, die mindestens zwei einzelnen Kameramodule gleichzeitig oder zeitlich getrennt auf dem Teilbereich des Bildsensors, dessen Schärfentiefengrenzen einer Nahbereichsfokussierung entsprechen, zur Erkennung von gezielt angeordneten Zielmarken auf der Scheibeninnenseite, innerhalb der Frequency spectrum can be detected by a relatively fast FFT (Fast Fourier Transformation) in a subsequent image processing stage by the system. The stereo camera system according to the invention can also be designed to target the at least two individual camera modules simultaneously or separately in time on the subregion of the image sensor whose depth of field boundaries correspond to near field focusing arranged target marks on the disk inside, within the
Windschutzscheibe oder auf einem speziellen Trägerelement vor der Windscreen or on a special support element in front of the
Scheibeninnenseite zu nutzen, wobei das System ferner ausgebildet ist, aus erkannten Abweichungen der Zielmarkenform, Zielmarkengröße, Disk inside, the system being further formed from detected deviations of the target mark shape, target mark size,
Abbildungsschärfe und vor allem der Abbildungsposition auf eine Picture sharpness and especially the picture position on one
Verschiebung der einzelnen Kameramodule der Stereokameraanordnung in alle Richtungen bezogen auf die Zielmarke zu schließen, wobei mit Hilfe eines in einem nicht flüchtigen Speicher der Kameraelektronik gespeicherten Musterbildes (Master) Abweichungen erkannt werden. Shift the individual camera modules of the stereo camera assembly in all directions with respect to the target to close, with the aid of a stored in a non-volatile memory of the camera electronics sample pattern (master) deviations are detected.
Das erfindungsgemäße Stereokamerasystem kann weiter ausgebildet sein, eine Abweichung der Zielmarkenpositionen und eine damit erfolgte The stereo camera system according to the invention can be further developed, a deviation of the target mark positions and a thus occurred
Veränderung der Blickrichtungen oder des Abstands der mindestens zwei Kameramodule voneinander als Kompensationsparameter für eine Changing the viewing directions or the distance of the at least two camera modules from each other as a compensation parameter for a
ausgeführte Software der verschiedenen Kamerafunktionen und/oder für eine Kompensation zur Verfügung zu stellen, die durch Stellglieder mechanisch auf die Stereokameraanordnung erfolgt. executed software of the various camera functions and / or for a compensation to be made by actuators mechanically on the stereo camera assembly.
Das erfindungsgemäße Stereokamerasystem kann sich auch dadurch auszeichnen, dass eine kombinierte Erkennung von Objekten auf der The stereo camera system according to the invention can also be characterized in that a combined detection of objects on the
Windschutzscheibe wie oben erläutert und von Zielmarken zur Erkennung von Abweichungen in der Blickrichtung wie oben erläutert durchgeführt wird. Windshield as explained above and of targets for detecting deviations in the viewing direction is performed as explained above.
Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, erkannte Objekte in ihrer Art und ihrer quantitativen Ausdehnung in einem dafür vorgesehenen Windschutzscheibensichtfeld zu ermitteln und davon abhängig gezielte Botschaften an andere Steuergeräte in Kraftfahrzeugen auszugeben, deren Inhalt eine Aktivierung der Scheibenwisch- und oder Scheibenreinigungsanlage oder eine Aktivierung der Lüftung und oder The stereo camera system according to the invention can also be designed to detect recognized objects in their type and their quantitative extent in a designated windshield field of view and issue depending on targeted messages to other control devices in motor vehicles whose content is activation of the windscreen wiper and or windscreen cleaning system or activation Ventilation and or
Scheiben heizung bewirkt. Slices heating causes.
Beim erfindungsgemäßen Stereokamerasystem kann eine gezielte In the stereo camera system according to the invention, a targeted
Beleuchtung und/oder eine partiell angeordnete Heizquelle zur Unterstützung der Erkennung von Objekten auf der Windschutzscheibe vorgesehen sein, wobei eine Heizquelle dazu vorgesehen sein kann, insbesondere eine örtlich begrenzte Verdunstung von Beschlag auf der Windschutzscheibeninnenseite bzw. ein Antauen von Eis auf der Windschutzscheibenaussenseite zu bewirken. Dieser örtliche Unterschied dieser Spezialfälle kann der Lighting and / or a partially arranged heat source for support the detection of objects on the windshield may be provided, wherein a heating source may be provided to effect in particular a localized evaporation of fog on the windshield inside or a thawing of ice on the windshield outer side. This local difference of these special cases can be the
Bildverarbeitung als Erkennungsmerkmal z.B. als Kante für eine Image processing as a recognition feature e.g. as an edge for one
Kantendetektion durch eine Kantenfilterung z.B. mit einem einfachen Edge detection by edge filtering e.g. with a simple one
So beloperator dienen. Insbesondere Schlieren auf der So serve beloperator. Especially streaks on the
Windschutzscheibenaußenseite können durch eine höhere Kantenanzahl in vertikaler Richtung im Vergleich zur horizontalen Richtung ermittelt werden und zur Beurteilung des Reinigungsergebnisses der Scheibenwischanlage und zur Einleitung entsprechender Maßnahmen dienen. Windscreen outer side can be determined by a higher number of edges in the vertical direction in comparison to the horizontal direction and serve to assess the cleaning performance of the windscreen wiper system and to initiate appropriate measures.
Im montierten Zustand des erfindungsgemäßen Stereokamerasystems können die einzelnen Kameramodule nicht in direktem Kontakt mit der Windschutzscheibe stehen, sondern an mindestens einem Fahrzeugpunkt relativ locker und spannungsfrei positioniert sein. In the mounted state of the stereo camera system according to the invention, the individual camera modules can not be in direct contact with the windshield, but be positioned at least one vehicle point relatively loose and stress-free.
Die unterschiedlichen Schärfentiefenbereiche der einzelnen Kameramodule des erfindungsgemäßen Stereokamerasystems können zur unterstützenden Entfernungsermittiung von Objekten im Kamerasichtfeld genutzt werden. The different depth of field depths of the individual camera modules of the stereo camera system according to the invention can be used for supporting distance detection of objects in the camera field of view.
Ermittelte Parameter bezüglich Sichtbehinderungen und extremen Determined parameters regarding visual disabilities and extreme
Blickrichtungsänderungen können vom erfindungsgemäßen Viewing direction changes can be made by the invention
Stereokamerasystem zur Ermittlung der Grenze einer möglichen Stereo camera system to determine the limit of a possible
Funktionsausführung genutzt werden. Function execution can be used.
Mindestens eines der Kameramodule des erfindungsgemäßen At least one of the camera modules of the invention
Stereokamerasystems können auf einen geneigten Spiegel oder Strahlteiler gerichtet sein, welcher als Feldspiegel zur Windschutzscheibenabbildung verwendet wird, wobei dieser Spiegel insbesondere auch als Stereo camera systems may be directed to an inclined mirror or beam splitter, which is used as a field mirror for windshield imaging, which mirror in particular as
Umgebungslichtsensor, Trägerelement für die Zielmarke und oder als Symmetrieebene zur Unterscheidung zwischen Nah- und Fernobjekten vorgesehen sein kann. Ambient light sensor, target carrier and or as Symmetrieebene may be provided to distinguish between near and far objects.
Das geneigte Spiegelelement kann beim erfindungsgemäßen The inclined mirror element can in the inventive
Stereokamerasystem einen Teil eines Beleuchtungselements für das Sichtfeld innerhalb des Schärfentiefenbereichs der Nahbereichsfokussierung Stereo camera system, a part of a lighting element for the field of view within the depth of field of Nahbereichsfokussierung
darstellen. represent.
Beim erfindungsgemäßen Stereokamerasystem kann eine zusätzliche In the stereo camera system according to the invention, an additional
Beleuchtung mit einer an den optischen Aufbau optimierten spektralen Illumination with a spectral optimized to the optical structure
Eigenschaft für mindestens den Schärfentiefenbereich, welcher durch die Nahbereichsfokussierung begrenzt ist, vorgesehen sein, wobei die Property for at least the depth of field, which is limited by the Nahbereichsfokussierung be provided, wherein the
Beleuchtung entweder durch Reflexion an der Scheibeninnenseite, durch Totalreflexion an der Innenoberfläche der Scheibenaußenseite oder durch eine Durchleuchtung der Scheibe erfolgen kann. Lighting can be done either by reflection on the disk inside, by total reflection on the inner surface of the disk outside or by a fluoroscopy of the disc.
Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet sein, mindestens zwei unterschiedliche optische Bauelemente zur Ermöglichung einer bifokalen Abbildung in Kombination bzw. in zyklischem Wechsel einzusetzen. The stereo camera system according to the invention can also be designed to use at least two different optical components to enable a bifocal imaging in combination or in cyclic alternation.
Das erfindungsgemäße Stereokamerasystem kann ferner ausgebildet und insbesondere durch die bifokale Eigenschaft in der Lage sein, auch The stereo camera system according to the invention can also be designed and in particular be able to do so by the bifocal property
passierende Scheibenwischer zu erkennen und in einem gegebenen to recognize passing windshield wipers and in a given
Regelkreis auf einen korrekten Bewegungsablauf zu überprüfen, und insbesondere anderen Kamerafunktionen das Ereignis des passierenden Scheibenwischers mitteilen. To check the loop for correct movement, and in particular other camera functions tell the event of the passing windshield wiper.
Das erfindungsgemäße Stereokamerasystem kann weiterhin ausgebildet sein, die Nahbereichsfokussierung auf der Windschutzscheibe auch zum Einlesen von aufgebrachten Codes, die bestimmte Parameter der Windschutzscheibe enthalten, im Windschutzscheibenschwarzdruck auszuwerten. Beim erfindungsgemäßen Stereokamerasystem kann ein Koppelelement der einzelnen Kameramodule durch die Erkennung und Kompensation der Veränderungen in Bezug auf Kameraabstand und Blickrichtung aus einem sehr günstigen Material, auch mit einem großen The stereo camera system according to the invention can also be designed to evaluate the near focus on the windshield also for reading in applied codes that contain certain parameters of the windshield in the windshield black pressure. In the stereo camera system according to the invention, a coupling element of the individual camera modules by the detection and compensation of the changes in terms of camera distance and line of sight from a very cheap material, even with a large
Temperaturausdehnungskoeffizienten wie z.B. viele Kunststoffe in einem kostengünstigen Produktionsverfahren z.B. Kunststoffspritzguss hergestellt werden. Das erfindungsgemäße Stereokamerasystem kann auch ausgebildet sein, eine Zielmarkenerkennung als Sensor für Kompensationsmaßnahmen zu nutzen, weiche bei einer thermischen Veränderung der Abstände und Brechkraft der optischen Komponenten erforderlich sein können. Die Bildsensor-Teilbereiche, die zur scharfen Abbildung des vorderen Schärfentiefenbereichs verwendet werden, können auch für andere Thermal expansion coefficients, e.g. many plastics in a low cost production process e.g. Plastic injection molding are produced. The stereo camera system according to the invention can also be designed to use a target mark recognition as a sensor for compensation measures, which may be necessary in the case of a thermal change in the distances and refractive power of the optical components. The image sensor portions used to sharply image the front depth of field can also be used for others
Kamerafunktionen des erfindungsgemäßen Stereokamerasystems genutzt werden. Dies kann z.B. durch die ausgedehnte Abbildung von Lichtpunkten aus dem optischen Fernbereich erfolgen, da sehr weit entfernte Lichtpunkte (z.B. Scheinwerfer anderer Fahrzeuge), die sonst auf nur einem Pixel aufgelöst werden nun, durch die Ausdehnung des Bildpunktes über mehrere Pixel erstreckt sicherer erkannt werden können. Camera functions of the stereo camera system according to the invention can be used. This can e.g. by the extended imaging of spots of light from the optical far-away area, as very distant spots of light (e.g., other vehicle's headlights) that would otherwise be resolved at only one pixel can now be more reliably detected by extending the pixel over several pixels.
Schließlich kann beim erfindungsgemäßen Stereokamerasystem ein Finally, in the stereo camera system according to the invention a
Farbfilterarray vor der sensitiven Halbleiterfläche des Bildsensors vorgesehen sein, um die Objekterkennung im Nahbereich, insbesondere der Farbfilterarray be provided in front of the sensitive semiconductor surface of the image sensor to the object detection in the vicinity, in particular the
Windschutzscheibe, und die Objektunterscheidung zu verbessern. Windshield, and to improve the object distinction.
Eine weitere Ausführungsform der Erfindung betrifft eine Windschutzscheibe für ein Fahrzeug, die zur Verwendung mit einem Stereokamerasystem nach der Erfindung und wie vorhergehend beschrieben ausgebildet ist und A further embodiment of the invention relates to a windshield for a vehicle adapted for use with a stereo camera system according to the invention and as previously described, and
Zielmarken zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodu!e des Stereokamerasystems aufweist. Die Zielmarken zur Bestimmung der relativen Position und der Blickrichtung der einzelnen Kameramodule können durch in oder auf der Having targets for determining the relative position and the viewing direction of the individual Kameramodu! E of the stereo camera system. The targets for determining the relative position and the viewing direction of the individual camera modules can be determined by in or on the
Windschutzscheibe integrierte, nicht transparente Heizdrähte oder Windscreen integrated, non-transparent heating wires or
Antennenanordnungen gebildet sein, die sich im Kamerasichtfeld befinden. Antenna arrangements are formed, which are located in the camera field of view.
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en). In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet. Die Zeichnung(en) zeigt/zeigen in Further advantages and possible applications of the present invention will become apparent from the following description in conjunction with the / in the drawing (s) illustrated embodiment (s). In the description, in the claims, in the abstract and in the drawing (s), the terms and associated reference numerals used in the list of reference numerals recited below are used. The drawing (s) show / show in
Fig. 1 eine Windschutzscheibe mit daran montiertem Fig. 1 is a windshield mounted thereon
Stereokamerasystem gemäß der Erfindung in einer Ansicht von hinter der Windschutzscheibe; Stereo camera system according to the invention in a view from behind the windshield;
Fig. 2 eine Windschutzscheibe, die zur Verwendung mit dem erfindungsgemäßen Stereokamerasystem ausgebildet ist;Fig. 2 is a windshield adapted for use with the stereo camera system of the present invention;
Fig. 3 ein Beispiel eines typischen Zielmusters auf der Fig. 3 is an example of a typical target pattern on the
Windschutzscheibe; Windshield;
Fig. 4 die in Fig. 1 gezeigte Windschutzscheibe mit daran montiertem Stereokamerasystem in einer Ansicht von vor der Windschutzscheibe; FIG. 4 shows the windshield shown in FIG. 1 with the stereo camera system mounted thereon in a view from in front of the windshield; FIG.
Fig. 5 ein verkipptes Stereokamerasystem und der Effekt der Fig. 5 is a tilted stereo camera system and the effect of
Verkippung auf die Kamerabilder; und Tilting on the camera images; and
Fig. 6 ein Ausführungsbeispiel eines Kameramoduls Fig. 6 shows an embodiment of a camera module
erfindungsgemäßen Stereokamerasystems; the stereo camera system according to the invention;
Fig. 7 eine Seitenansicht eines weiteren schematisch dargestellten Fig. 7 is a side view of another schematically illustrated
Ausführungsbeispiels eines hinter einer Windschutzscheibe angeordneten erfindungsgemäßen Stereokamerasystems und einer Beleuchtungseinkoppeleinrichtung für das Stereokamerasystem zum Verbessern einer Regensensorfunktion des Systems. Im Folgenden können gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen versehen sein. Die im Folgenden angegebenen absoluten Werte und Maßangaben sind nur beispielhafte Werte und stellen keine Einschränkung der Erfindung auf derartige Dimensionen dar. Das in Fig. 1 gezeigte erfindungsgemäße Stereokamerasystem 10 ist zur Montage an der Windschutzscheibe 12 eines Fahrzeugs und zur Nutzung in einem Fahrerassistenzsystem zur Verkehrserkennung vorgesehen. Das System ist als eine mechanisch gekoppelte Einheit von zwei Kameramodulen 14 und 16 ausgebildet. Die Kopplung der Kameramodule 14 und 16 kann auf vielfältige Weise erfolgen. Im Fig. 1 gezeigten Ausführungsbeispiel ist das Stereokamerasystem 10 im Bereich des Rückspiegels an der Embodiment of an arranged behind a windshield according to the invention stereo camera system and a lighting docking device for the stereo camera system for improving a rain sensor function of the system. In the following, identical and / or functionally identical elements can be provided with the same reference numerals. The absolute values and dimensions given below are only exemplary values and do not restrict the invention to such dimensions. The stereo camera system 10 according to the invention shown in FIG. 1 is intended for mounting on the windshield 12 of a vehicle and for use in a driver assistance system for traffic detection , The system is designed as a mechanically coupled unit of two camera modules 14 and 16. The coupling of the camera modules 14 and 16 can be done in many ways. In the embodiment shown in FIG. 1, the stereo camera system 10 is in the range of the rearview mirror on the
Windschutzscheibe 12 befestigt. Windshield 12 attached.
Ein Kameramodul 14 bzw. 16 des Systems 10 umfasst einen Bildsensor, beispielsweise einen CMOS- oder CCD-Kamerachip, und eine Optik, insbesondere ein Objektiv. Das System 10 weist außerdem eine Elektronik auf, die einen Speicher mit einer Software zum Auswerten der von den A camera module 14 or 16 of the system 10 comprises an image sensor, for example a CMOS or CCD camera chip, and an optical system, in particular a lens. The system 10 also includes electronics having a memory with software for evaluating the
Bildsensoren der Kameramodule 14 und 16 erzeugten digitalen Bilddaten und zum Steuern des Systems 10 und einen Prozessor zum Ausführen der Software aufweist. Image sensors of the camera modules 14 and 16 have generated digital image data and for controlling the system 10 and a processor for executing the software.
Die thermischen Ausdehnungskoeffizienten der verwendeten Materialien spielen beim erfindungsgemäßen Stereokamerasystem 10 keine dominante Rolle mehr in Bezug auf Fehler in der Objektentfernungserkennung, da die thermische Ausdehnung durch ein insbesondere durch die erwähnte und im erfindungsgemäßen Stereokamerasystem enthaltene Software The thermal expansion coefficients of the materials used in the stereoscopic camera system 10 according to the invention no longer play a dominant role with respect to errors in the object distance detection, since the thermal expansion by a software included in particular by the mentioned and in the stereo camera system according to the invention
implementiertes Messverfahren zum Erkennen einer Abweichung oder Lagedifferenz der optischen Achsen der Kameras 14 und 16 des Systems 10 von bzw. zu einer vorgegebenen Lage relativ sicher erkannt werden kann. implemented measuring method for detecting a deviation or Position difference of the optical axes of the cameras 14 and 16 of the system 10 can be detected relatively reliably from or to a predetermined position.
Die Distanz zwischen den einzelnen Kameramodulen 14 und 16 zueinander muss bekannt sein, um mit dem erfindungsgemäßen Stereokamerasystem 10 Entfernungen zu Objekten sicher zu bestimmen. Diese Distanzbestimmung kann mit einem Messverfahren erfolgen. Auch die Blickrichtung der Kameras 14 und 16 darf sich nicht stark ändern, um die Funktionssicherheit des The distance between the individual camera modules 14 and 16 to each other must be known in order to reliably determine distances to objects with the stereo camera system 10 according to the invention. This distance determination can be done with a measuring method. Also, the direction of view of the cameras 14 and 16 must not change much to the reliability of the
Systems 10 nicht zu verlieren. Systems 10 not to lose.
Das gekoppelte Kamerasystem 10 kann an einem, auf die Horizontale bezogenen in der Scheibenmitte zentrierten Bereich befestigt sein, z.B. mit einem Windschutzscheibenkleber. In Fig. 1 weist das Stereokamerasystem 10 zentrale Befestigungsmittel 18 auf, mit denen mittels eines The coupled camera system 10 may be attached to a horizontally centered slice centered area, e.g. with a windshield adhesive. In Fig. 1, the stereo camera system 10 has central fastening means 18, with which by means of a
Windschutzscheibenklebers das System 10 an der Windschutzscheibe 12 montiert werden kann. Ebenfalls ist eine Befestigung an einem mechanisch stabilen Fahrzeugpunkt über der Windschutzscheibe möglich, beispielsweise am Fahrzeugdach. Die beiden Kameraobjektive der Stereokameras bzw. Kameramodule 14 und 16 sind durch ihre Hauptfunktion der Verkehrserkennung auf ihre Windshield adhesive the system 10 can be mounted on the windshield 12. Also, attachment to a mechanically stable vehicle point above the windshield is possible, for example on the vehicle roof. The two camera lenses of the stereo cameras or camera modules 14 and 16 are by their main function of traffic detection on their
Hyperfokaldistanz, die z.B. bei etwa 4 Meter liegt, fokussiert. Dadurch wird der Bereich max. Schärfentiefe (ca. 2 Meter bis unendlich) ausgenutzt. Um eine Abweichung oder Lagedifferenz der optischen Achsen der Kameras bzw. Kameramodule des Systems von bzw. zu einer vorgegebenen Lage mit dem Messverfahren erkennen zu können, muss die vordere Schärfentiefengrenze bis zur Windschutzscheibe reichen. Hyperfocal distance, e.g. at about 4 meters, focused. As a result, the area max. Depth of field (about 2 meters to infinity) exploited. In order to be able to detect a deviation or positional difference of the optical axes of the cameras or camera modules of the system from or to a predefined position with the measuring method, the front depth of field boundary must extend to the windscreen.
Um den sich dadurch ergebenden Schärfentiefenzielkonflikt lösen zu können, ist ein zusätzliches optisches Bauteil bei zumindest einer der Kameras vorgesehen. Dieses zusätzliche optische Bauteil erstreckt sich lediglich über eine Teilfläche im Kamerasichtfeld. Dieser Zielkonflikt mit dem Bereich der nutzbaren Schärfentiefe hat folgende Ursache: Wird durch Fokusverstellung die vordere Schärfentiefengrenze weiter zur Objektivhauptebene gebracht, bewegt sich die hintere Schärfentiefengrenze in einem dazu unproportionalen Maß auch zur Objektivhauptebene hin. Daraus folgt, dass weiter entfernte Objekte nicht mehr scharf genug abgebildet werden. In order to be able to solve the resulting depth of field target conflict, an additional optical component is provided in at least one of the cameras. This additional optical component extends only over a partial area in the camera field of view. This conflict of objectives with the range of usable depth of field has the following cause: Is caused by focus adjustment If the front depth of field boundary is brought further to the objective main plane, the rear depth of field boundary also moves in a direction that is disproportionate to the objective main plane. As a result, more distant objects are no longer sharply focused.
Das optische Bauteil kann beispielsweise durch ein partielles optisches Element in der Bildweite, ein abgestuftes optisches Element oder aber auch eine Teillinse vor dem Objektiv implementiert sein. Im Folgenden wird eine multifokale Optik mit der Teillinse beschrieben. Das gleiche Prinzip kann aber auch mit einem partiellen optischen Element ermöglicht werden. Die Teillinse verändert die Fokussierung des Kamerasystems je nach Linsenform und Brechungsindex entweder auf eine weiter entfernte Objektebene als die Hyperfokaldistanz, z.B. bei konkaver Linsenform (Zerstreuungslinse), oder eben auf eine näher liegende Objektebene, z.B. bei konvexer Form The optical component can be implemented, for example, by a partial optical element in the image width, a graduated optical element or even a partial lens in front of the objective. The following describes a multifocal optic with the partial lens. The same principle can also be made possible with a partial optical element. The partial lens alters the focusing of the camera system, depending on the lens shape and refractive index, either to a more distant object plane than the hyperfocal distance, e.g. with a concave lens shape (diverging lens), or even on a closer object plane, e.g. in a convex shape
(Sammellinse) der Teillinse. Fig. 6 zeigt das Kameramodul 14 in einer(Condensing lens) of the partial lens. Fig. 6 shows the camera module 14 in one
Frontansicht auf das Objektiv 24 des Moduls 14. Vor dem Objektiv 24 ist die Teillinse 26 angebracht. Front view of the lens 24 of the module 14. In front of the lens 24, the partial lens 26 is mounted.
Das optische Bauteil kann entweder mit den Kameras verbunden sein oder mit der Windschutzscheibe. An die Form (z.B. Linsenradius bei einer sphärischen Linse) und den Brechungsindex (abhängig vom Material- bzw. der Oberflächenbeschichtungswahl) und die Positionierung der Linse besteht die Anforderung, die Kollimatorbedingung zu erfüllen, um die The optical component can either be connected to the cameras or to the windshield. To the shape (e.g., lens radius in a spherical lens) and refractive index (depending on the choice of material or surface coating) and the positioning of the lens, the requirement to satisfy the collimator condition exists
Windschutzscheibe virtuell in der fokussierten Hyperfokaldistanz des Windscreen virtually in the focused hyperfocal distance of the
Objektivs abzubilden. Imagine lens.
Dieses System ermöglicht eine scharfe Abbildung der Windschutzscheibe auf einem Teilbereich des Bildsensors, der durch die Größe der Teillinsenfläche im Sichtfeld der Kamera bestimmt wird. Gleichzeitig wird auf den Restbereich des Bildsensors ein Bild der Straßenszenerie mit dem gewohnten This system allows a sharp image of the windshield on a portion of the image sensor, which is determined by the size of the partial lens area in the field of view of the camera. At the same time, a picture of the street scene with the usual is on the remaining area of the image sensor
Schärfentiefenbereich abgedeckt. Wie in Fig. 2 zu erkennen ist, ist auf der Windschutzscheibe 10 ein geeigneter Aufdruck, im Folgenden Zielmuster 20 genannt, angebracht. Das Zielmuster 20 ist so gewählt, dass damit bestmöglich Positionsänderungen zwischen Kamerasystem und Windschutzscheibe erkannt werden können. Eine Depth of field covered. As can be seen in FIG. 2, a suitable imprint, referred to below as the target pattern 20, is mounted on the windshield 10. The target pattern 20 is chosen so that the best possible position changes between the camera system and windshield can be detected. A
Möglichkeit für ein Zielmuster wäre z.B. ein Kreuz 12, wie es in Fig. 3 dargestellt ist, welches durch einen aufgedruckten Maßstab in horizontaler Richtung und einen Maßstab in vertikaler Richtung gebildet wird. Der Lack für das Zielmuster sollte einen Brechungsindex haben der ungefähr dem des Scheibenmaterials entspricht. Alternativ wäre eine aufgeklebte Folie im Possibility for a target pattern would e.g. a cross 12, as shown in Fig. 3, which is formed by a printed scale in the horizontal direction and a scale in the vertical direction. The resist for the target pattern should have a refractive index approximately equal to that of the disc material. Alternatively, a glued foil in
Sichtbereich der Teillinse denkbar, die das Zielmuster enthält. Viewing range of the partial lens conceivable containing the target pattern.
Auf der in Fig. 2 gezeigten Windschutzscheibe 12 ist ferner ein Aufdruck 22 zu erkennen, der Aussparungen für die Kameraobjektive des On the windshield 12 shown in Fig. 2, a print 22 can be seen, the recesses for the camera lenses of
Stereokamerasystems 10 aufweist. In den Aussparungen ist jeweils ein Zielmuster 20 in Form eines Kreuzes vorgesehen. Stereo camera system 10 has. In the recesses, a target pattern 20 in the form of a cross is provided in each case.
In Fig. 4 ist die Windschutzscheibe 2 mit montiertem Stereokamerasystem 10 in einer Frontansicht gezeigt, also einer Sicht von außerhalb des In Fig. 4, the windshield 2 is shown with mounted stereo camera system 10 in a front view, so a view from outside the
Fahrzeugs auf die Scheibe 12. Die Objektive der Kameramodule 14 und 16 sind hinter den Aussparungen angeordnet. Die Kameramodule sind hierbei derart ausgerichtet, dass die jeweilige Teillinse vor dem Objektiv des Moduls den Bereich mit dem Zielmuster auf der Windschutzscheibe scharf in der Bildebene des Bildsensors abbildet. Die beiden mechanisch gekoppelten Kameras des Stereokamerasystems mit einer angenommenen Distanz von 20 cm zueinander sehen in ihrem Sichtfeld in einem Bereich das Verkehrsgeschehen und in einem anderen deutlich kleiner zu wählenden Bereich das Zielmuster durch die Teillinse. Beide Bilder sind scharf fokussiert. Eine Verkippung der Teillinse nach der Vehicle on the disc 12. The lenses of the camera modules 14 and 16 are arranged behind the recesses. In this case, the camera modules are aligned such that the respective partial lens in front of the lens of the module images the area with the target pattern on the windshield sharply in the image plane of the image sensor. The two mechanically coupled cameras of the stereo camera system with an assumed distance of 20 cm to each other see in their field of vision in one area the traffic situation and in another clearly smaller area to be selected the target pattern through the partial lens. Both pictures are sharply focused. A tilt of the partial lens after the
Scheimpflugbedingung ermöglicht ein scharfes Bild des geneigten Scheimpflug condition enables a sharp image of the inclined
Windschutzscheibenausschnittes auf dem Bildsensor. Der thermische Windscreen cutout on the image sensor. The thermal
Ausdehnungskoeffizient einer Windschutzscheibe liegt deutlich unter dem von Metallen und weit unter dem von Kunststoffen welche als mechanische Kopplung der Kameras in Frage kommen, d.h. das Zielmuster ist in seiner Position relativ beständig bzw. das Ausmaß einer thermischen Ausdehnung ist ungefähr bekannt aus den Daten der Windschutzscheibe. Bewegen sich nun die Stereokameras durch thermische Ausdehnung, Vibration, Stöße oder Matertalermüdung bei Kunststoff als Koppelelement aus ihrer Coefficient of expansion of a windshield is significantly lower than that of metals and far below that of plastics which are considered mechanical Coupling of the cameras come into question, ie the target pattern is relatively stable in its position or the extent of thermal expansion is approximately known from the data of the windshield. Now move the stereo cameras by thermal expansion, vibration, shock or Matertalermüdung plastic as coupling element from her
Ausgangsposition heraus, werden markante Punkte des Zielmusters an anderen Pixel Positionen abgebildet. Diese markanten Punkte sind zum einen der Kreuzmittelpunkt und der Abstand der Maßstabslinien voneinander. Eine Krümmung der Scheibe kann dadurch erkannt werden, dass sich das Kreuz in seiner eigentlichen Form verändert anstatt nur die Position zu ändern. Aus dieser Veränderung kann der Krümmungsradius der Scheibe im Starting position, prominent points of the target pattern are mapped to other pixel positions. These distinctive points are on the one hand the cross center and the distance of the scale lines from each other. A curvature of the disc can be recognized by the fact that the cross changes in its actual form rather than just changing the position. From this change, the radius of curvature of the disc in
Kamerasichtfeld berechnet werden bzw. die Veränderung der Camera field of view are calculated or the change of
Kamerablickrichtung bei einer dreidimensionalen Änderung der Camera viewing direction in a three-dimensional change of
Kamerabefestigung in Bezug zur Scheibe und das bei jeder einzelnen Camera mounting in relation to the disc and each one
Kamera. Diese Information ist wichtig, damit festgestellt werden kann, wann die Kameras in verschiedene Richtungen schauen. Zum Einen ist dies möglich durch die Linsenwirkung der gekrümmten Windschutzscheibe, zum Anderen durch eine Veränderung der Kamerablickrichtung durch die Camera. This information is important in determining when the cameras are looking in different directions. On the one hand this is possible by the lens effect of the curved windshield, on the other hand by a change in the camera viewing direction through the
Befestigung. Diese Veränderung kann durch eine bekannte Abweichung vom Sollwert in einer Software des Stereokamerasystems oder durch Mounting. This change can be caused by a known deviation from the setpoint in a software of the stereo camera system or by
mechanische Lageänderung der optischen Achse kompensiert werden. Eine einfache mechanische Kompensation stellt ein Bogen als zusätzliches Koppelelement dar, welcher die schielende Kamera definiert in einem geeigneten Rollwinkel nachführt. mechanical change in position of the optical axis can be compensated. A simple mechanical compensation represents a bow as an additional coupling element, which defines the squinting camera defined at a suitable roll angle.
Fig. 5 zeigt die Auswirkungen eines verkippten und an der Windschutzscheibe 12 befestigten Stereokamerasystems 10. Unter dem System 10 sind die von den Bildensoren der jeweiligen Kameramodule erzeugten Bilder dargestellt. Deutlich ist zu erkennen, dass im dem Nahbereich zugeordneten Teilbereich des Bildesensors das abgebildete, auf der Windschutzscheibe 12 Fig. 5 shows the effects of a tilted stereo camera system 10 mounted on the windshield 12. Beneath the system 10 are shown the images produced by the forming sensors of the respective camera modules. It can be clearly seen that the portion of the image sensor assigned to the near zone is the one shown on the windshield 12
angebrachte Zielmuster verkippt ist, d.h. das Zielmuster an anderen als den vorgesehenen Pixeln in dem vom Bildsensor erzeugten Bild abgebildet ist. Durch eine Software-technische Auswertung der Bilder der beiden Kameramodule kann dadurch eine Verkippung des Stereokamerasystems und aufgrund der„verzerrten" Darstellung der Zielmuster in den Bildern auch die Art der Verkippung ermittelt werden. Eine geeignete Softwarelösung wäre z.B. eine angepasste Bildentzerrung. attached target pattern is tilted, ie, the target pattern is shown on other than the intended pixels in the image generated by the image sensor. Through a software-technical evaluation of the images of the two Due to the "distorted" representation of the target pattern in the images, the type of tilting can be determined by means of a camera software module, for example, a suitable software solution would be an adapted image equalization.
Die Scheibendurchbiegung bzw. eine Positionsbestimmung der Kameras zueinander kann auch mit optischen Messmethoden erfolgen. Durch The disk deflection or a position determination of the cameras to each other can also be done with optical measurement methods. By
Projektion einer Lichtquelle, z.B. mit IR LED's oder Laser projiziert durch eine geeignete Linse z.B. einer Zylinderlinse, kann z.B. eine Linie in einem definierten Winkel (Zylinderlinsendrehung) auf die Windschutzscheibe projiziert werden. Die Lichtquelle ist fest mit dem Kamerasystem verbunden und befindet sich vom Mittelpunkt des Stereokamerasystems betrachtet weiter weg als die zugehörige Kamera. Die Projektion kann in definierten Projection of a light source, e.g. with IR LEDs or laser projected through a suitable lens e.g. a cylindrical lens, may e.g. a line at a defined angle (cylindrical lens rotation) are projected onto the windshield. The light source is firmly connected to the camera system and is located farther away from the center of the stereo camera system than the corresponding camera. The projection can be defined in
Zeitpunkten erfolgen, die abhängig von Temperaturänderungen oder festgelegten Zeitabständen z.B. Motorstart gewählt sein können. Die projizierte Linie, welche auf dem Bildsensor bedingt durch die gekrümmte Scheibe eine von der Geraden abweichende Form erhält, erfährt bei einer zusätzlichen Scheibenkrümmung eine deutliche Änderung ihrer At times occur, depending on temperature changes or fixed intervals, e.g. Engine start can be selected. The projected line, which receives on the image sensor due to the curved disk deviates from the line shape, undergoes a significant change in her with an additional disc curvature
Ausgangsform. Diese Änderung wird durch Bildverarbeitung des Original shape. This change is made by image processing of
Stereokamerasystems erfasst. Stereo camera system recorded.
Eine zweites Projektionssystem auf der anderen Seite, also näher vom A second projection system on the other side, ie closer from
Mittelpunkt des Stereokamerasystems angebracht als die zugehörige Center of the stereo camera system attached as the associated
Kamera, ermöglicht eine Bestimmung der Positionsänderung der Kamera durch ein Wandern des Schnittpunktes der 2 projizierten Linien. Camera, allows determination of the position change of the camera by moving the intersection of the 2 projected lines.
Eine weitere Möglichkeit ist durch oben geschriebene Linienprojektion gegeben, mit dem Unterschied, dass die Zylinderlinse drehbar gelagert ist. Die Projektion der Lichtquelle auf die Windschutzscheibe erfolgt in diesem Fall zu bestimmten Zeiten und bestimmten Drehwinkefn der Zylinderlinse. Another possibility is given by above written line projection, with the difference that the cylindrical lens is rotatably mounted. The projection of the light source on the windshield in this case takes place at certain times and certain Drehwinkefn the cylindrical lens.
Alternativ wäre auch eine Projektion eines Lichtpunktes denkbar, der sich durch seine Heiligkeit stets von der Umgebungsbeleuchtung abhebt und auf dem Bildsensor in seiner Ausdehnung einen bestimmten Pixelbereich einnimmt. Eine Verschiebung des Kamerasystems wäre an einem Wandern des beleuchteten Pixelbereichs erkennbar, und eine Winkeländerung durch eine Verzerrung des Lichtpunktes auf dem Bildsensor. Auch diese Variante der Erkennung von Justageabweichungen benötigt eine multifokale Optik wie Sie z.B. durch oben beschriebene Teillinse geschaffen wird. Alternatively, a projection of a light spot would be conceivable, which always stands out from the ambient lighting and on by its sanctity the image sensor occupies a certain pixel area in its extent. A shift of the camera system would be recognizable by a wander of the illuminated pixel area, and an angle change by a distortion of the light spot on the image sensor. Also, this variant of the detection of adjustment deviations requires a multifocal optics such as is created by the above-described partial lens.
Das erfindungsgemäße Stereokamerasystem besitzt folgende Vorteile: The stereo camera system according to the invention has the following advantages:
Geringere Toleranzanforderungen an die Kopplung der Kameramodule deren Preisvorteile über den Kosten für eine multifokale Optik liegen, unabhängig von den möglichen Zusatzfunktionen durch die multifokale Optik wie Lower tolerance requirements for the coupling of the camera modules whose price advantages are higher than the costs for a multifocal optics, regardless of the possible additional functions due to the multifocal optics such as
Scheibentyperkennung, Regensensor oder Wischqualitätserkennung der Scheibenwischanlage. Das erfindungsgemäße Stereokamerasystem ermöglicht Zusatzfunktionen, die im Folgenden im Überblick erläutert werden. Windscreen type recognition, rain sensor or wiper quality recognition of the windscreen wiper system. The stereo camera system according to the invention allows additional functions, which are explained in the following overview.
Durch die ermöglichte Nahfokussierung können verschiedene Through the enabled Nahfokussierung can different
Windschutzscheiben erkannt werden. Beispielsweise kann eine Windscreens are detected. For example, a
Identifikationsnummer, aufgeklebt oder aufgedruckt, durch entsprechende Bildverarbeitung für eine individuelle Kameraeinstellung benutzt werden. Identification number, affixed or printed, can be used for individual camera settings by appropriate image processing.
Die Nahfokussierung ermöglicht ferner eine Nutzung als Schmutz- und Regensensorsystem auch unter Ausnutzung des Zielmusters zur Bestimmung von Objektgröße und eventuell Objektart durch eine Vergleichsmethode.The Nahfokussierung also allows use as a dirt and rain sensor system also taking advantage of the target pattern for determining object size and possibly object type by a comparison method.
Diese objekterkennende Art der Regen- und Schmutzerkennung ermöglicht in der Zukunft z.B. eine Erkennung und Unterscheidung von Tropfengröße, Schnee und besonders auch Insekten auf der Windschutzscheibe, welche durch eine gezielte Erkennung ein besonderes Wischprogramm auslösen könnten. This object-recognizing type of rain and dirt detection enables in the future e.g. a recognition and distinction of drop size, snow and especially insects on the windshield, which could trigger a special wiping program by a targeted detection.
Weiterhin wird ein Test für die Funktion der Wischanlage durch das erfindungsgemäße Stereokamerasystem ermöglicht: kommt Wasser oder nicht; Beurteilung des Wischergebnisses in Bezug auf Schlieren, und Furthermore, a test for the function of the wiper system is made possible by the stereo camera system according to the invention: water or Not; Judgment on the wipe result with respect to streaks, and
Rückständen von z.B. Insekten, Staub etc. nach einer Scheibenreinigung. Residues of e.g. Insects, dust etc. after a windscreen cleaning.
Fig. 7 zeigt in Seitenansichten schematisch ein weiteres Ausführungsbeispiel des erfindungsgemäßen Stereokamerasystems. Fig. 7 shows in side views schematically another embodiment of the stereo camera system according to the invention.
In Fig. 7 ist oben eine Seitenansicht eines erfindungsgemäßen In Fig. 7 is a side view of an inventive top
Stereokamerasystems mit einer zusätzlichen Regensensorfunktion dargestellt. Vor der sensitiven Fläche 4 des Bildsensors eines Stereo camera system shown with an additional rain sensor function. In front of the sensitive surface 4 of the image sensor of
Kameramoduls des Systems ist ein partielles optisches Element 8 zur bifokalen Abbildung auf die sensitive Fläche des Bildsensors angeordnet. Vor dem partiellen optischen Element 8 befindet sich das Objektiv 1 des Kameramoduls mit der Hauptebene 2. Der Bildsensor ist ferner mit einem Abdeckglas 3 versehen. Die Sensitivität der Regensensorfunktion kann durch Störfaktoren von Lichtquellen aus dem Fernbereich eingeschränkt werden. Eine modulierte annähernd monochromatische Beleuchtung und die Farbfilter des Bayer-Patterns können zur Signalfilterung verwendet werden. Zur besseren Unterscheidung von Objektkanten und Störlichteinflüssen wird ein Spiegel(element) S1 vorgeschlagen, der (das) auch mit einem Camera module of the system is a partial optical element 8 arranged for bifocal imaging on the sensitive surface of the image sensor. Before the partial optical element 8 is the lens 1 of the camera module with the main plane 2. The image sensor is further provided with a cover glass 3. The sensitivity of the rain sensor function can be limited by interference from remote light sources. A modulated approximately monochromatic illumination and the color filters of the Bayer pattern can be used for signal filtering. For a better differentiation of object edges and interfering light influences, a mirror (element) S1 is proposed, which also has a
Einkopplungselement zur Beleuchtung kombiniert sein kann, wie es unten in Fig. 7 dargestellt ist. Der Spiegel S1 hat auf das Kamerasichtfeld bezogen einen entgegengesetzten Nickwinkel wie die geneigte Windschutzscheibe 5. Die Spiegelkante befindet sich in der Mitte der Nahbereichsabbildung und stellt somit eine Symmetrieebene dar. Regentropen 6 auf der Can be combined lighting element, as shown below in Fig. 7. The mirror S1 has an opposite pitch angle to the camera field of view as the inclined windshield 5. The mirror edge is located in the middle of the near-field image and thus represents a plane of symmetry. Regentropes 6 on the
Windschutzscheibe 5 werden auf dem Bildsensor 4 an dieser Windshield 5 are on the image sensor 4 at this
Symmetrieebene einmal normal und einmal gespiegelt abgebildet. Symmetry plane once normal and once mirrored shown.
Störfaktoren aus dem Fernbereich werden dagegen nur auf einer der beiden Ebenen abgebildet. Diese gesamte Anordnung ist hinter der gekrümmten Windschutzscheibe 5 angeordnet. Der Strahlengang der Interference factors from the far-end range, on the other hand, are only displayed on one of the two levels. This entire arrangement is arranged behind the curved windshield 5. The ray path of the
Nahbereichsabbildung S2 über ein Spiegelelement S1 , der Strahlengang der Nahbereichsabbildung S3 ohne Spiegelelement und der Strahlengang Fernbereichsabbildung S4 sind ebenfalls dargestellt. Besonders in der Kombination mit einem Beleuchtungseinkoppelelement ist das Spiegelelement S1 eine interessante Möglichkeit zur Unterscheidung zwischen Nahbereich und Fernbereich. Die Beleuchtungseinkopplung kann über einen Lichtleitkörper mit einem integrierten Hohlspiegelprofil in zylindrischer Ausführung erfolgen. Die Bildauswertung verwendet bei einem aufgenommenen Bild die Symmetrie als Parameter zur Trennung zwischen Objekten auf der Windschutzscheibe und Störfaktoren aus der Umgebung. In Fig. 7 ist unten eine solche Anordnung zum Einkoppeln einer Beleuchtung schematisch dargestellt. Hinter der Windschutzscheibe a ist ein Close-range imaging S2 via a mirror element S1, the beam path of the near-field imaging S3 without mirror element and the beam path long-range imaging S4 are also shown. Especially in combination with a lighting coupling element, the mirror element S1 is an interesting possibility for distinguishing between near and far range. The lighting coupling can be done via a light guide with an integrated concave mirror profile in a cylindrical design. The image analysis uses symmetry as a parameter for separating objects on the windshield and disturbing factors in the surroundings of a captured image. In Fig. 7, such an arrangement for coupling a lighting is shown schematically below. Behind the windshield a is a
beidseitiges Spiegelelement d (entsprechend S1 ) angeordnet, das von einem Lichtemitter mit Optik (Zylinderlinse) c emittiertes Licht auf einen Konkavfreiformspiegel b reflektiert. Vom Konkavfreiformspiegel b wird wiederum das Licht des Lichtemitters b in die Windschutzscheibe a eingekoppelt, von der es in Richtung zum Stereokamerasystem geführt wird, das oberhalb der gezeigten. Anordnung angeordnet ist, wie in Fig. 7 oben gezeigt. arranged on both sides mirror element d (corresponding to S1), the light emitted by a light emitter with optics (cylindrical lens) c light reflected on a concave free-reflecting mirror b. From concave free-reflecting mirror b, in turn, the light of the light emitter b is coupled into the windshield a, from which it is guided in the direction of the stereo camera system, which is above the shown. Arrangement is arranged, as shown in Fig. 7 above.
Bezugszeichen reference numeral
1 Objektiv 1 lens
2 Hauptebene Objektiv 2 main level lens
3 Abdeckglas Bildsensor 3 cover glass image sensor
4 Bildsensor (sensitive Fläche) 4 image sensor (sensitive area)
5 Windschutzscheibe 5 windshield
6 Objekt auf der Windschutzscheibe (hier Regentropfen) 6 object on the windshield (here raindrops)
7 Streulichtblende 7 Lens hood
8 partielles optisches Element zur bifokalen Abbildung a Windschutzscheibe 8 partial optical element for bifocal imaging a Windscreen
b Konkavf reiformspiegel (zylind risch ) b concave mirror (cylindric)
c Lichtemitter mit Optik (zur Zylinderlinse) c light emitter with optics (to cylindrical lens)
d beidseitiges Spiegelelement d two-sided mirror element
S1 Spiegelelement S1 mirror element
S2 Strahlengang Nahbereichsabbildung über Spiegelelement S2 beam path Close-up imaging via mirror element
S3 Strahlengang Nahbereichsabbildung S3 beam path Nahbereichsabbildung
S4 Strahlengang Fernbereichsabbildung S4 beam path long range imaging
10 Stereokamerasystem 10 stereo camera system
12 Windschutzscheibe 12 windshield
14, 16 Kameramodul 14, 16 camera module
18 Befestigungsmittel 18 fasteners
20 Zielmarke 20 target
22 Windschutzscheiben-Aufdruck 22 windshield print
24 Kameraobjektiv 24 camera lens
26 Teiltinse 26 partial lens
Claims
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE112011101083T DE112011101083A5 (en) | 2010-06-12 | 2011-05-26 | STEREO CAMERA SYSTEM |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102010023591A DE102010023591A1 (en) | 2010-06-12 | 2010-06-12 | Stereo Camera System |
| DE102010023591.1 | 2010-06-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| WO2011153989A2 true WO2011153989A2 (en) | 2011-12-15 |
| WO2011153989A3 WO2011153989A3 (en) | 2012-03-29 |
Family
ID=44910076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/DE2011/001115 Ceased WO2011153989A2 (en) | 2010-06-12 | 2011-05-26 | Stereo camera system |
Country Status (2)
| Country | Link |
|---|---|
| DE (2) | DE102010023591A1 (en) |
| WO (1) | WO2011153989A2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12187201B2 (en) | 2020-09-09 | 2025-01-07 | Volvo Truck Corporation | Method and a system for the management of an assistance system for a windscreen of a cab of a vehicle |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011017355B4 (en) * | 2011-04-16 | 2022-08-11 | Continental Autonomous Mobility Germany GmbH | Multifocal imaging system with optical filters |
| DE102012012501B4 (en) * | 2012-06-21 | 2019-10-24 | Volkswagen Aktiengesellschaft | Camera system for a motor vehicle |
| DE102012106834A1 (en) | 2012-07-27 | 2014-01-30 | Conti Temic Microelectronic Gmbh | Method for aligning two image recording elements of a stereo camera system |
| DE102012021885A1 (en) | 2012-10-27 | 2014-04-30 | Günter Fendt | Lens arrangement for environment detection system of motor vehicle, has two representation areas that are detected or represented different from one another, and two lenses for geometrical arrangement |
| DE102013102207A1 (en) | 2013-03-06 | 2014-09-11 | Conti Temic Microelectronic Gmbh | Camera system for a vehicle |
| DE102014105759A1 (en) * | 2014-04-24 | 2015-10-29 | Sick Ag | Camera and method for detecting a moving stream of objects |
| DE102014209197B4 (en) | 2014-05-15 | 2024-09-19 | Continental Autonomous Mobility Germany GmbH | Device and method for detecting precipitation for a motor vehicle |
| DE102014213536B4 (en) | 2014-07-11 | 2025-10-16 | Bayerische Motoren Werke Aktiengesellschaft | Method for combining partial images to form an image of a coherent surrounding area of a means of transport, driver assistance system and means of transport |
| DE102015010443A1 (en) | 2015-08-11 | 2016-01-28 | Daimler Ag | Assistance camera and modular vehicle camera system |
| DE102015217265A1 (en) * | 2015-09-10 | 2017-03-16 | Conti Temic Microelectronic Gmbh | Stereo camera device for detecting the environment of a motor vehicle, motor vehicle with such a stereo camera device and a method for detecting raindrops or deposits |
| DE102016115077A1 (en) * | 2016-08-15 | 2018-02-15 | Valeo Schalter Und Sensoren Gmbh | A method for detecting a light beam of an environmental zone of a motor vehicle in at least two different focal lengths with a camera system, and camera system and motor vehicle |
| CN106915303B (en) * | 2017-01-22 | 2018-11-16 | 西安科技大学 | Automobile A-column blind area perspective method based on depth data and fish eye images |
| DE102019003562A1 (en) | 2019-05-21 | 2020-01-02 | Daimler Ag | Method for evaluating images captured by a camera of a vehicle |
| DE102019130316B3 (en) | 2019-11-11 | 2020-08-06 | Bayerische Motoren Werke Aktiengesellschaft | Vehicle with a camera system for optically scanning an environment of the vehicle |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005225250A (en) * | 2004-02-10 | 2005-08-25 | Murakami Corp | On-vehicle surveillance device |
| DE102004015040A1 (en) * | 2004-03-26 | 2005-10-13 | Robert Bosch Gmbh | Camera in a motor vehicle |
| DE102004037871B4 (en) * | 2004-08-04 | 2006-10-12 | Siemens Ag | Optical module for an outer vestibule in the direction of travel of a motor vehicle detecting assistance system |
| DE102007050558A1 (en) * | 2007-10-23 | 2008-05-15 | Daimler Ag | Image recording device e.g. stereo-camera system, calibrating method, involves analyzing rectified image pair such that set of pairs of corresponding image points adjacent to determined pairs of corresponding image points is identified |
| EP2364553A2 (en) * | 2008-11-24 | 2011-09-14 | Carl Zeiss Optronics GmbH | Stereo camera equipment, method for continuously and automatically calibrating a stereo camera apparatus, computer program, computer program product and monitoring device for wind energy systems, buildings with transparent areas, runways and/or flight corridors of airports |
| DE102008062977A1 (en) * | 2008-12-23 | 2010-06-24 | Adc Automotive Distance Control Systems Gmbh | Optical module with multifocal optics for the detection of distance and near range in one image |
-
2010
- 2010-06-12 DE DE102010023591A patent/DE102010023591A1/en not_active Withdrawn
-
2011
- 2011-05-26 DE DE112011101083T patent/DE112011101083A5/en not_active Withdrawn
- 2011-05-26 WO PCT/DE2011/001115 patent/WO2011153989A2/en not_active Ceased
Non-Patent Citations (1)
| Title |
|---|
| None |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12187201B2 (en) | 2020-09-09 | 2025-01-07 | Volvo Truck Corporation | Method and a system for the management of an assistance system for a windscreen of a cab of a vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102010023591A1 (en) | 2011-12-15 |
| WO2011153989A3 (en) | 2012-03-29 |
| DE112011101083A5 (en) | 2013-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2011153989A2 (en) | Stereo camera system | |
| EP2370297B1 (en) | Optical module having multifocal lens for detecting far and near fields in an image | |
| EP2452213B1 (en) | Optical module for simultaneously focusing on two fields of view | |
| EP2384292B1 (en) | Camera arrangement for a motor vehicle, and motor vehicle comprising a camera arrangement | |
| DE69836344T2 (en) | RAIN SENSOR WITH FOG IDENTIFICATION | |
| EP2558336B1 (en) | Method and device for assisting a driver while driving a vehicle by detecting weather-related visibility limitations | |
| EP2715446B1 (en) | Camera system for a vehicle | |
| EP2062777B1 (en) | Optical module | |
| DE102004037871B4 (en) | Optical module for an outer vestibule in the direction of travel of a motor vehicle detecting assistance system | |
| DE102014209197B4 (en) | Device and method for detecting precipitation for a motor vehicle | |
| DE102005000650A1 (en) | Visual data detection device for motor vehicle has camera in stem of interior mirror, diverting mirrors and prism | |
| WO2012171737A1 (en) | Method and apparatus for identifying directional structures on a window of a vehicle | |
| WO2013163991A1 (en) | Detecting rain droplets on a glass pane by means of a camera and illumination | |
| DE102010043479B4 (en) | Camera arrangement and method for operating a camera arrangement for a motor vehicle | |
| WO2012107136A1 (en) | Method and device for determining an optical clarity through a car window | |
| EP1159169A1 (en) | Optoelectronic monitoring device for a motor vehicle | |
| WO2011153990A1 (en) | Optical device having a bifocal optical element and a mirror element | |
| DE102019206370A1 (en) | Exterior lighting device for a motor vehicle | |
| DE102006008274A1 (en) | Motor vehicle e.g. lorry, has optical detection device arranged for monitoring external space of vehicle and for detection of objects and climatic conditions in surrounding of vehicle | |
| EP3077255B1 (en) | Illumination for detecting raindrops on a pane by means of a camera | |
| EP3963505B1 (en) | Object identification system with flat carrier medium for arranging on a device | |
| WO2013091619A1 (en) | Method and device for determining moisture on a vehicle windscreen | |
| DE102015218500A1 (en) | Illumination and camera-based detection of raindrops on a pane | |
| DE102006056180A1 (en) | Image processing system calibrating method for motor vehicle, involves detecting and evaluating marking on vehicle pane using image sensor, where characteristics of vehicle pane are determined based on detected marking | |
| EP2136403A2 (en) | Image recording assembly and review system with same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WWE | Wipo information: entry into national phase |
Ref document number: 112011101083 Country of ref document: DE Ref document number: 1120111010834 Country of ref document: DE |
|
| REG | Reference to national code |
Ref country code: DE Ref legal event code: R225 Ref document number: 112011101083 Country of ref document: DE Effective date: 20130411 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 11779328 Country of ref document: EP Kind code of ref document: A2 |