WO2015149799A1 - Stereo camera system - Google Patents
Stereo camera system Download PDFInfo
- Publication number
- WO2015149799A1 WO2015149799A1 PCT/DE2015/200210 DE2015200210W WO2015149799A1 WO 2015149799 A1 WO2015149799 A1 WO 2015149799A1 DE 2015200210 W DE2015200210 W DE 2015200210W WO 2015149799 A1 WO2015149799 A1 WO 2015149799A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- mono
- camera
- stereo
- monocamera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Definitions
- the invention relates to a stereo camera system for a vehicle.
- Modern vehicles in particular motor vehicles are equipped with driver assistance systems whose sensors are often designed as cameras. With such cameras, it is lent possible to perform on the basis of the acquired image data, a Erken ⁇ drying and classification of objects in the vehicle environment.
- mono- and Ste ⁇ reoarrasysteme as environmental sensors for Augustassistenzsyste ⁇ me, especially for security systems are known.
- the disadvantage of a mono camera is that a distance measurement to OBJEK ⁇ th can only be limited.
- One way a decision ⁇ fernung estimate is based on model assumptions, such as. Ei ⁇ ner average vehicle width.
- Another possible ⁇ ness to remove estimate provides the so-called method Structure-From-Motion, which attempts to close reference to Be ⁇ movements in the image to the removal of objects and position relative to the mono camera. Therefore, the knowledge of the movement of the camera for this ⁇ Me technique will be required.
- An improvement of the range estimates is achieved by means of the stereo camera systems typically include two op ⁇ diagram modules that are each composed of a lens and an image sensor, and are integrated in a common housing ⁇ Ge. By finding corresponding points in the images of the two image sensors and using the known baseline (distance between the two image sensors) of triangulation, the distance of the points be ⁇ true may be using.
- a location determination ⁇ device for a motor vehicle which, inter alia, has a designed as a stereo camera optical Sensorein ⁇ unit.
- This stereo camera system consists of two monocamera modules which are integrated in the sensor unit as a stereo camera module and are structurally connected via a web.
- a formed as an image processing module electronic arithmetic unit is connected on the one hand via a data line with the Ste ⁇ reoskimodul and on the other via a data line to a data bus of the vehicle.
- AI discloses a Stereoka ⁇ merasystem with a first mono camera and a second mono camera for a motor vehicle from DE 10 2004 061 998, in which the two
- Cameras work together as a stereo camera. Also in this be ⁇ known stereo camera system, the image data of the two mono camera each on signal lines of a processing ⁇ unit are supplied to the processes this image data and displays, for example. Driver assistance functions for a night vision support, a traffic sign recognition and object recognition are available.
- This stereo camera system for a vehicle includes OF INVENTION ⁇ dung according to:
- a first monocamera with an optical system, an image sensor and an image evaluation unit, which is designed for image evaluation of the image data generated by the image sensor using a monochrome camera algorithm,
- a second monocamera having an optical system, an image sensor and an image evaluation unit, which is designed for image evaluation of the image data generated by the image sensor using a monocamera algorithm, and
- Stereoverbausensemother which is connected to the image sensor of the first mono camera and the image sensor of the second mono camera for transmitting the image data and which is designed to ste ⁇ reoskopischen image evaluation of the image data of the first and second mono camera using a stereo image algo- rithm.
- Such mono camera algorithms include, for example, the detection of whether ⁇ projects, such as road markings and traffic signs, etc., the model-based detection and tracking of vehicles, and a mono-scene reconstruction for detecting the vehicle surroundings see static.
- Stereoreausstratician one based on the principle of stereo recording environment is made possible, which can be made highly accurate stereo data for use in driver assistance systems, particularly in security systems available in Nor ⁇ mal réelle the stereo camera system.
- stereo evaluation is no longer possible, but mono information, which of course is less accurate, is still available for emergency operation to disposal. The reliability is thus increased over known stereo camera systems.
- Environmental sensors radar and / or lidar sensors
- de ⁇ sensor signals a defective mono camera can be identified with de ⁇ sensor signals a defective mono camera.
- the stereo functionality would be dispensed with and instead an emergency operation be maintained using the ver ⁇ lasting mono camera.
- the Stereomorausense is designed to diagnose the function of the ers ⁇ th and second mono camera using at least one diagnosis program.
- This allows for the use of a defective identification ⁇ He monocamera the resources of the stereo image evaluation ⁇ to isolate the run to failure of the mono camera error by loading such a diagnostic program from the Stereosometimesausncetician and out ⁇ leads is.
- the same algo ⁇ rithms can as the mono camera algorithms are executed and are compared with those the results of mono cameras, the example.
- Algorithms for detecting defective image sensors (imagers) or defective optics of monocameras can also be loaded and executed as diagnostic programs.
- the first monocamera has a power supply device and the second monocamera has a power supply device. sen.
- the reliability is increased are for the two mono cameras separate power supplies ⁇ before.
- sondere with defective vehicle networks for example due to a cable break due to the separate Bussys ⁇ systems for the two mono cameras, the reliability.
- a committeeas ⁇ sistenzsystem which is connected to the Stereosometimesaustician ⁇ unit via a bus system.
- a driver assistance system highly automated functions are realized for which high demands are placed on the coverage, the confidence and the accuracy, in particular a high reliability is expected, which can be met with the stereo camera system according to the invention.
- the ers ⁇ te and second mono camera is connected via a separate low-speed data bus to the driver assistance system for carrying out an emergency operation.
- a fallback level for the notbe ⁇ drive is realized in which the data of the intact mono camera on such a low-speed data bus, for example.
- a CAN bus of the driver assistance system are supplied for evaluation.
- Such emergency operation can optionally be performed with a redu ⁇ ed amount of data so that the image data due to their high frame rate can not be transmitted.
- only the object data from OBJEK ⁇ th as lane markings, road signs, etc. are transmitted.
- FIG. 1 shows a block diagram of a stereo camera system according to the invention.
- the for a vehicle (not shown in Figure 1) vorgese ⁇ hene stereo camera system 1 of the invention according to Figure 1 includes fully three components 2, 3 and 4 which are each formed as a module from ⁇ . These components are a first mono camera 2, a second mono camera 3 and a Stereosometimesausagonist ⁇ unit 4, wherein the first mono camera 2 via a high-speed data bus 5.1 and the second mono camera 2 are connected via a further high-speed data bus 5.2 to the Stereobildausense. 4
- the evaluation results of the Stereobildauseptmaschinetician 4 ⁇ he testified to be supplied via a data bus a driver assistance system 6, are realized with the highly automated functions.
- High-speed data bus 5 which is shown in FIG. smiles is shown, which includes the data bus Zvi ⁇ Stereomorausbuztician rule 4 and belongs to the driver assistance system ⁇ . 6
- These two monocameras 2 and 3 are self-sufficient in their functions as camera and therefore each comprise an optics 2.1 and 3.1, an image sensor (imager) 2.2 and 3.2, a Schmauswer ⁇ teech 2.3 and 3.3 and a data bus interface 2.5 and 3.5. That of the image sensors 2.2 and 3.2 of the environment of
- Vehicle generated image data are both thessenausagonist ⁇ unit 2.3 or 3.3 and the data bus interface 2.5 or 3.5 supplied.
- the image data of the monocameras 2 and 3 are evaluated by their image evaluation units 2.3 and 3.3 by means of a monocamera algorithm, and the evaluation result is likewise forwarded to the data bus interface 2.5 or 3.5.
- High-speed data bus 5.1 or 5 given.
- Wei ⁇ se and the image data of the image sensor 3.2 of the second mono camera 3 as well as the evaluation result of the Schmaus ⁇ evaluation unit 3.3 via the data bus interface 3.5 on the WEI direct high-speed data bus 5.2 or the common high-speed data bus 5 are given.
- the stereo image evaluation unit 4 is used for stereoscopic image analysis of the two high-speed data buses 5.1 and 5.2 or over the common high-speed data bus 5 ⁇ supplied image data of the two monocameras 2 and 3 by means of egg ⁇ nes stereo image algorithm. This provides high-precision stereo data using the stereo image algorithm be evaluated.
- the evaluation results generated by the stereo image evaluation unit 4 are supplied to the driver assistance system 6 via a data bus or via the common high-speed data bus 5, with which highly-automated functions are realized.
- This essentially three components having on ⁇ construction of the stereo camera system 1 according to the invention is the off ⁇ falling safety significantly increased, because one of the Auswer ⁇ teikien event of a failure of one of the mono cameras 2 or 3, for example. Due to a defective Mic rocontrollers or a defective memory 2.3 or 3.3, no stereo-evaluation is more mög ⁇ lich but are still the mono information intact Mo nostroke 2 or 3 for an emergency operation available.
- each of the two monocameras 2 and 3 has its own power supply device 2.4 or 3.4, so that this also increases the reliability. Because if one of the two power supply devices 2.4 or 3.4, the other mono camera with the non-defective power supply device ⁇ intact.
- the two high-speed data buses 5.1 and 5.2 respectively represent separate bus systems for the first and second monocamera 2 and 3 in order to increase the reliability in the event of a defective data bus network of the vehicle, for example due to a cable break.
- high-speed data buses 5.1 and 5.2 for example, an Ethernet or a Flexray data bus are used.
- the stereo camera system 1 can be classified as unreliable. If there are present more data sources in the vehicle, eg., A digital map or other cameras (topview) camera or environment sensors (radar and / or lidar sensors) may be a defective Monoka ⁇ ra 2 or 3 are identified with their sensor signals. In such a case, the stereo functionality would be eliminated and instead an emergency operation with the help of the remaining monocamera 2 or 3 maintained.
- the Stereomorausense 4 may be used for the diagnosis of function ⁇ on the first and second mono camera 2 and 3 using a diagnostics program. This makes possible by such a diagnostic program is loaded from the Stereoscopewer ⁇ teech 4 and performed 4 to use in the detection of a defective mono camera 2 or 3, the Res ⁇ resources of Stereomorauseptome to isolate the failure of the mono camera 2 or 3 out error.
- a diagnostic Pro ⁇ gram the same algorithms as the Monostroke- algorithms can be run and with which the mono cameras are compared 2 and 3, the results, the example.
- the first and second Monoka ⁇ ra is executed 2 and 3 respectively as a module, and therefore comprises a housing 2.6 and 3.6.
- the stereo ⁇ image evaluation unit 4 can be integrated into the housing 2.6 or 3.6 of the first or the second mono camera 2 or the second
- the stereo camera system according to the invention comprises two functionally independent mono cameras 2 and 3.
- the Darge ⁇ presented stereo camera system 1 can also be more than two mono ⁇ cameras together with a Stereomanausnce turned ⁇ sets.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
Stereokamerasystem Stereo Camera System
Die Erfindung betrifft ein Stereokamerasystem für ein Fahr- zeug. The invention relates to a stereo camera system for a vehicle.
Moderne Fahrzeuge, insbesondere Kraftfahrzeuge werden mit Fahrerassistenzsystemen ausgestattet, deren Sensorik oftmals als Kameras ausgebildet sind. Mit solchen Kameras ist es mög- lieh, auf der Basis der aufgenommenen Bilddaten eine Erken¬ nung und Klassifizierung von Objekten der Fahrzeugumgebung durchzuführen. Aus dem Stand der Technik sind Mono- und Ste¬ reokamerasysteme als Umfeldsensoren für Fahrerassistenzsyste¬ me, insbesondere für Sicherheitssysteme bekannt. Der Nachteil einer Monokamera ist, dass eine Entfernungsmessung zu Objek¬ ten nur eingeschränkt möglich ist. Eine Möglichkeit eine Ent¬ fernung zu schätzen beruht auf Modellannahmen, wie bspw. ei¬ ner durchschnittlichen Fahrzeugbreite. Eine weitere Möglich¬ keit zur Entfernungsschätzung liefert die sogenannte Methode Structure-From-Motion, bei der versucht wird, anhand von Be¬ wegungen im Bild auf die Entfernung der Objekte und Position relativ zur Monokamera zu schließen. Daher ist für diese Me¬ thode die Kenntnis der Eigenbewegung der Kamera erforderlich. Eine Verbesserung der Entfernungsschätzungen wird mit Hilfe von Stereokamerasystemen erreicht, die üblicherweise zwei op¬ tische Module umfassen, die jeweils aus einem Objektiv und einem Bildsensor aufgebaut sind und in einem gemeinsamen Ge¬ häuse integriert sind. Durch das Auffinden korrespondierender Punkte in den Bildern der beiden Bildsensoren und mit Hilfe der bekannten Basislinie (Abstand der beiden Bildsensoren) kann mithilfe von Triangulation die Entfernung der Punkte be¬ stimmt werden. Aus der DE 10 2011 082 218 AI ist eine Standortbestimmungs¬ einrichtung für ein Kraftfahrzeug bekannt, die unter anderem eine als Stereokamerasystem ausgebildete optische Sensorein¬ heit aufweist. Dieses Stereokamerasystem besteht aus zwei Mo- nokameramodulen, die in der Sensoreinheit als Stereokameramo¬ dul integriert und über einen Steg baulich verbunden sind. Ein als Bildverarbeitungsmodul ausgebildetes elektronisches Rechenwerk ist zum einen über eine Datenleitung mit dem Ste¬ reokameramodul und zum anderen über eine Datenleitung an ei- nen Datenbus des Fahrzeugs angebunden. Modern vehicles, in particular motor vehicles are equipped with driver assistance systems whose sensors are often designed as cameras. With such cameras, it is lent possible to perform on the basis of the acquired image data, a Erken ¬ drying and classification of objects in the vehicle environment. From the prior art mono- and Ste ¬ reokamerasysteme as environmental sensors for Fahrerassistenzsyste ¬ me, especially for security systems are known. The disadvantage of a mono camera is that a distance measurement to OBJEK ¬ th can only be limited. One way a decision ¬ fernung estimate is based on model assumptions, such as. Ei ¬ ner average vehicle width. Another possible ¬ ness to remove estimate provides the so-called method Structure-From-Motion, which attempts to close reference to Be ¬ movements in the image to the removal of objects and position relative to the mono camera. Therefore, the knowledge of the movement of the camera for this ¬ Me technique will be required. An improvement of the range estimates is achieved by means of the stereo camera systems typically include two op ¬ diagram modules that are each composed of a lens and an image sensor, and are integrated in a common housing ¬ Ge. By finding corresponding points in the images of the two image sensors and using the known baseline (distance between the two image sensors) of triangulation, the distance of the points be ¬ true may be using. From DE 10 2011 082 218 AI a location determination ¬ device for a motor vehicle is known, which, inter alia, has a designed as a stereo camera optical Sensorein ¬ unit. This stereo camera system consists of two monocamera modules which are integrated in the sensor unit as a stereo camera module and are structurally connected via a web. A formed as an image processing module electronic arithmetic unit is connected on the one hand via a data line with the Ste ¬ reokameramodul and on the other via a data line to a data bus of the vehicle.
Bei diesem bekannten Stereokamerasystem besteht die Gefahr, dass bei Auftreten eines Defektes, bspw. in einer der beiden Monokameras oder in dem elektronischen Rechenwerk ein voll- ständiger Ausfall auftreten kann. Die Ausfallsicherheit mit diesem bekannten Stereokamerasystem ist daher äußerst gering. In the case of this known stereo camera system, there is a risk that a complete failure may occur in the event of a defect, for example in one of the two monocameras or in the electronic calculating unit. The reliability with this known stereo camera system is therefore extremely low.
Des Weiteren ist aus der DE 10 2004 061 998 AI ein Stereoka¬ merasystem mit einer ersten Monokamera und einer zweiten Mo- nokamera für ein Kraftfahrzeug bekannt, bei dem die beidenFurthermore, AI discloses a Stereoka ¬ merasystem with a first mono camera and a second mono camera for a motor vehicle from DE 10 2004 061 998, in which the two
Kameras als Stereokamera zusammenwirken. Auch bei diesem be¬ kannten Stereokamerasystem werden die Bilddaten der beiden Monokamera jeweils über Signalleitungen einer Verarbeitungs¬ einheit zugeführt, die diese Bilddaten verarbeitet und bspw. Fahrerassistenzfunktionen für eine Nachtsichtunterstützung, eine Verkehrszeichenerkennung und eine Objekterkennung zur Verfügung stellt. Cameras work together as a stereo camera. Also in this be ¬ known stereo camera system, the image data of the two mono camera each on signal lines of a processing ¬ unit are supplied to the processes this image data and displays, for example. Driver assistance functions for a night vision support, a traffic sign recognition and object recognition are available.
Auch bei diesem bekannten Stereokamerasystem besteht die Ge- fahr eines totalen Ausfalls bei Auftreten eines Defektes in einer der Monokamera oder in der Verarbeitungseinheit. Daher ist es Aufgabe der Erfindung ein Stereokamerasystem für Fahrzeuge bereitzustellen, welches eine hohe Ausfallsicher¬ heit aufweist, so dass eine hohe Verfügbarkeit trotz Auftre¬ ten von Fehlern innerhalb des Stereokamerasystems erreicht wird. In the case of this known stereo camera system, there is also the danger of a total failure in the event of a defect in one of the monocamera or in the processing unit. Therefore, it is an object of the invention to provide a stereo camera system for vehicles, which has a high fail safe ¬ uniform, so that a high availability despite occurring defects ¬ th of errors is reached within the stereo camera system.
Die Aufgabe wird gelöst durch ein Stereokamerasystem mit den Merkmalen des Patentanspruchs 1. Dieses Stereokamerasystem für ein Fahrzeug umfasst erfin¬ dungsgemäß : The object is achieved by a stereo camera system having the features of claim 1. This stereo camera system for a vehicle includes OF INVENTION ¬ dung according to:
- eine erste Monokamera mit einer Optik, einem Bildsensor und einer Bildauswerteeinheit, welche zur Bildauswertung der von dem Bildsensor erzeugten Bilddaten unter Verwendung eines Mo- nokamera-Algorithmus ausgebildet ist, a first monocamera with an optical system, an image sensor and an image evaluation unit, which is designed for image evaluation of the image data generated by the image sensor using a monochrome camera algorithm,
- eine zweiten Monokamera mit einer Optik, einem Bildsensor und einer Bildauswerteeinheit, welche zur Bildauswertung der von dem Bildsensor erzeugten Bilddaten unter Verwendung eines Monokamera-Algorithmus ausgebildet ist, und a second monocamera having an optical system, an image sensor and an image evaluation unit, which is designed for image evaluation of the image data generated by the image sensor using a monocamera algorithm, and
- eine Stereobildauswerteeinheit, die mit dem Bildsensor der ersten Monokamera und dem Bildsensor der zweiten Monokamera zur Übertragung der Bilddaten verbunden ist und die zur ste¬ reoskopischen Bildauswertung der Bilddaten der ersten und zweiten Monokamera unter Verwendung eines Stereobild-Algo- rithmus ausgebildet ist. - a Stereobildauswerteeinheit which is connected to the image sensor of the first mono camera and the image sensor of the second mono camera for transmitting the image data and which is designed to ste ¬ reoskopischen image evaluation of the image data of the first and second mono camera using a stereo image algo- rithm.
Mit diesem erfindungsgemäßen Stereokamerasystem wird neben einer verbesserten Erfassungsleistung eine deutliche Erhöhung der Ausfallsicherheit ermöglicht. Dies wird zum einen dadurch erreicht, dass zwei in ihrer Funktion vollständig autarke Mo- nokameras vorgesehen sind und zum anderen die Bilddaten die¬ ser beiden Monokameras mittels einer Stereobildauswerteein¬ heit einer stereoskopischen Bildauswertung unterzogen werden. Durch diese erfindungsgemäße Aufteilung des Stereokamerasys¬ tems in drei Komponenten, nämlich zwei Monokameras und einer Stereobildauswerteeinheit kann bei Ausfall eines dieser Kom¬ ponenten eine Mono-Notfunktion aufrecht erhalten werden, in- folgedessen sich die Verfügbarkeit des Gesamtsystems erhöht. With this stereo camera system according to the invention, in addition to an improved detection performance, a significant increase in reliability is made possible. This is achieved in that two totally self-contained in function mono cameras are provided and on the other hand, the image data is subjected to the ¬ ser two mono cameras by means of a standardized Stereobildauswerteein ¬ a stereoscopic image evaluation of a. This inventive division of the Stereokamerasys ¬ tems in three components, namely two mono cameras and a Stereobildauswerteeinheit a mono-emergency function can be maintained in case of failure of one of these components ¬ Kom, In consequence, the availability of the overall system increases.
Damit liegen die von den beiden Monokameras erfassten This is the coverage of the two mono cameras
Umfeldinformationen doppelt vor und können von den jeweils zugehörigen Bildauswerteeinheiten mittels der in diesen in- stallierten Monokamera-Algorithmen ausgewertet werden. Solche Monokamera-Algorithmen umfassen bspw. die Erkennung von Ob¬ jekten, wie Fahrbahnmarkierungen und Verkehrszeichen usw., die modellbasierte Detektion und das Tracking von Fahrzeugen sowie eine Mono-Szenenrekonstruktion zur Erfassung des stati- sehen Fahrzeugumfelds. Environment information twice before and can be evaluated by the respective image evaluation units using the installed in these monocamera algorithms. Such mono camera algorithms include, for example, the detection of whether ¬ projects, such as road markings and traffic signs, etc., the model-based detection and tracking of vehicles, and a mono-scene reconstruction for detecting the vehicle surroundings see static.
Mit der Stereobildauswerteeinheit wird eine auf dem Stereo- Prinzip basierende Umwelterfassung ermöglicht, womit im Nor¬ malbetrieb des Stereokamerasystems hochgenaue Stereo-Daten für die Verwendung in Fahrerassistenzsystemen, insbesondere in Sicherheitssystemen zur Verfügung gestellt werden können. With the Stereobildauswerteeinheit one based on the principle of stereo recording environment is made possible, which can be made highly accurate stereo data for use in driver assistance systems, particularly in security systems available in Nor ¬ malbetrieb the stereo camera system.
Bei Ausfall bspw. einer der beiden Monokameras aufgrund bspw. eines defekten MikroControllers der Bildauswerteeinheit, ei- nes defekten Speichers oder einer defekten Energieversorgung ist keine Stereo-Auswertung mehr möglich, allerdings stehen noch Mono-Informationen, die natürlich weniger genau sind, für einen Notbetrieb zur Verfügung. Die Ausfallsicherheit ist damit gegenüber bekannten Stereokamerasystemen erhöht. If, for example, one of the two monocameras fails due to, for example, a defective microcontroller of the image evaluation unit, a defective memory or a defective power supply, stereo evaluation is no longer possible, but mono information, which of course is less accurate, is still available for emergency operation to disposal. The reliability is thus increased over known stereo camera systems.
Dadurch dass die von den beiden Monokameras in Form von Bild¬ daten gelieferten Umfeldinformationen doppelt vorliegen, zum Beispiel in Form von Fahrstreifenmarkierungen oder Verkehrs- zeichen, lässt sich eine gegenseitige Überwachung der Monoka- meras durchführen. Es ist damit möglich ein Maß für eine festgestellte Abweichung zu bestimmen, so dass bei einer Überschreitung einer bestimmten Schwelle durch dieses Maß das Stereokamerasystem als unzuverlässig eingestuft werden kann. Falls noch weitere Datenquellen vorliegen, bspw. eine digita¬ le Karte oder weitere Kameras (Topview-Kamera) oder This ensures that the environmental information supplied by the two mono cameras in the form of image data ¬ be duplicated, for example in the form of lane markings or traffic sign, a mutual surveillance of the monocar- It is thus possible to determine a measure of a detected deviation, so that when exceeding a certain threshold by this measure, the stereo camera system can be classified as unreliable. Even if more data sources are available, eg. A digital ¬ le card or more cameras (Topview camera) or
Umfeldsensoren (Radar- und/oder Lidar-Sensoren) kann mit de¬ ren Sensorsignalen eine defekte Monokamera identifiziert wer- den. In einem solchen Fall würde die Stereo-Funktionalität entfallen und stattdessen ein Notbetrieb mit Hilfe der ver¬ bleibenden Monokamera aufrecht erhalten werden. Environmental sensors (radar and / or lidar sensors) can be identified with de ¬ sensor signals a defective mono camera. In such a case, the stereo functionality would be dispensed with and instead an emergency operation be maintained using the ver ¬ lasting mono camera.
Nach einer vorteilhaften Ausgestaltung der Erfindung ist die Stereobildauswerteeinheit zur Diagnose der Funktion der ers¬ ten und zweiten Monokamera unter Verwendung wenigstens eines Diagnose-Programmes ausgebildet. Dies ermöglicht bei der Er¬ kennung einer defekten Monokamera die Ressourcen der Stereo¬ bildauswerteeinheit zur Isolation des zum Ausfall der Monoka- mera geführten Fehlers zu nutzen, indem ein solches Diagnose- Programm von der Stereobildauswerteeinheit geladen und ausge¬ führt wird. Als Diagnose-Programm können die gleichen Algo¬ rithmen wie die Monokamera-Algorithmen ausgeführt werden und die Ergebnisse mit denen der Monokameras verglichen werden, umso bspw. einen defekten MikroController oder defekte Spei¬ cher (RAM) der Bildauswerteeinheit zu erkennen. Als Diagnose- Programme können auch Algorithmen zum Erkennen von defekten Bildsensoren (Imager) oder defekten Optiken der Monokameras geladen und ausgeführt werden. According to an advantageous embodiment of the invention, the Stereobildauswerteeinheit is designed to diagnose the function of the ers ¬ th and second mono camera using at least one diagnosis program. This allows for the use of a defective identification ¬ He monocamera the resources of the stereo image evaluation ¬ to isolate the run to failure of the mono camera error by loading such a diagnostic program from the Stereobildauswerteeinheit and out ¬ leads is. As a diagnostic program, the same algo ¬ rithms can as the mono camera algorithms are executed and are compared with those the results of mono cameras, the example. To recognize a defective or faulty microcontroller Spei ¬ cher (RAM) of the image evaluation. Algorithms for detecting defective image sensors (imagers) or defective optics of monocameras can also be loaded and executed as diagnostic programs.
Weiterhin ist es vorteilhaft, wenn weiterbildungsgemäß die erste Monokamera eine Energieversorgungseinrichtung und die zweite Monokamera eine Energieversorgungseinrichtung aufwei- sen. Damit liegen für die beiden Monokameras getrennte Strom¬ versorgungen vor, wodurch ebenso die Ausfallsicherheit erhöht wird . Des Weiteren ist es auch vorteilhaft, wenn weiterbildungsge¬ mäß die erste und zweite Monokamera jeweils über einen eige¬ nen Highspeed-Datenbus mit der Stereobildauswerteeinheit ver¬ bunden ist. Auch hiermit wird aufgrund der getrennten Bussys¬ teme für die beiden Monokameras die Ausfallsicherheit, insbe- sondere bei defekten Fahrzeugnetzen, zum Beispiel aufgrund eines Kabelbruches erhöht. Insbesondere bietet es sich an, einen teuren Highspeed-Datenbus, wie bspw. Ethernet oder Flexray einzusetzen. Ferner bietet es sich weiterbildungsgemäß an, ein Fahreras¬ sistenzsystem vorzusehen, welches mit der Stereobildauswerte¬ einheit über ein Bussystem verbunden ist. Mit einem solchen Fahrerassistenzsystem werden hoch automatisierte Funktionen realisiert, für die hinsichtlich des Erfassungsbereichs, der Konfidenz und der Genauigkeit hohe Ansprüche gestellt werden, insbesondere eine hohe Ausfallsicherheit erwartet wird, die mit dem erfindungsgemäßen Stereokamerasystem erfüllt werden kann . Vorzugsweise ist zur Durchführung eines Notbetriebes die ers¬ te und zweite Monokamera jeweils über einen eigenen Lowspeed- Datenbus mit dem Fahrerassistenzsystem verbunden. So wird bei Ausfall einer Monokamera eine Rückfallebene für den Notbe¬ trieb realisiert, bei dem die Daten der intakten Monokamera über einen solchen Lowspeed-Datenbus , bspw. einem CAN-Bus der Fahrerassistenzsystem zur Auswertung zugeführt werden. Ein solcher Notbetrieb kann gegebenenfalls nur mit einer redu¬ zierten Datenmenge durchgeführt werden, so dass die Bilddaten aufgrund ihrer hohen Bildrate nicht mehr übertragen werden können. In diesem Fall werden nur die Objektdaten von Objek¬ ten, wie Spurmarkierungen, Verkehrszeichen usw. übertragen. Schließlich ist es gemäß einer letzten vorteilhaften Ausge¬ staltung der Erfindung vorgesehen, dass die erste und zweite Monokamera jeweils als Modul mit einem Gehäuse ausgebildet sind, wobei die Stereobildauswerteeinheit in dem Gehäuse der ersten oder der zweiten Monokamera integriert ist. Damit kann das erfindungsgemäße Stereokamerasystem kostengünstig herge¬ stellt werden. Furthermore, it is advantageous if, according to further development, the first monocamera has a power supply device and the second monocamera has a power supply device. sen. Thus thereby also the reliability is increased are for the two mono cameras separate power supplies ¬ before. Furthermore, it is also advantageous if weiterbildungsge ¬ Mäss the first and second mono camera via a respective EIGE ¬ NEN high-speed data bus to the Stereobildauswerteeinheit ver ¬ is prevented. Also herewith, is in particular increased sondere with defective vehicle networks, for example due to a cable break due to the separate Bussys ¬ systems for the two mono cameras, the reliability. In particular, it makes sense to use an expensive high-speed data bus, such as Ethernet or Flexray. Further, it lends itself to a further development according provide a Fahreras ¬ sistenzsystem which is connected to the Stereobildauswerte ¬ unit via a bus system. With such a driver assistance system highly automated functions are realized for which high demands are placed on the coverage, the confidence and the accuracy, in particular a high reliability is expected, which can be met with the stereo camera system according to the invention. Preferably, the ers ¬ te and second mono camera is connected via a separate low-speed data bus to the driver assistance system for carrying out an emergency operation. Thus, in case of failure of a mono camera a fallback level for the notbe ¬ drive is realized in which the data of the intact mono camera on such a low-speed data bus, for example. A CAN bus of the driver assistance system are supplied for evaluation. Such emergency operation can optionally be performed with a redu ¬ ed amount of data so that the image data due to their high frame rate can not be transmitted. In this case, only the object data from OBJEK ¬ th as lane markings, road signs, etc. are transmitted. Finally, it is provided according to a last advantageous Substituted ¬ staltung of the invention that the first and second mono camera are respectively formed as a module with a housing, wherein the Stereobildauswerteeinheit is integrated in the housing of the first or the second mono camera. Thus, the stereo camera system according to the invention can be cost-effectively Herge ¬ provides.
Die Erfindung wird nachfolgend unter Bezugnahme auf die ein¬ zige beigefügte Figur näher erläutert. Diese Figur 1 zeigt ein Blockschaltbild eines erfindungsgemäßen Stereokamerasys¬ tems . The invention is explained below with reference to the accompanying figure a ¬ Zige detail. FIG. 1 shows a block diagram of a stereo camera system according to the invention.
Das für ein Fahrzeug (in Figur 1 nicht dargestellt) vorgese¬ hene erfindungsgemäße Stereokamerasystem 1 gemäß Figur 1 um- fasst drei Komponenten 2, 3 und 4, die jeweils als Modul aus¬ gebildet sind. Diese Komponenten sind eine erste Monokamera 2, eine zweite Monokamera 3 und eine Stereobildauswerteein¬ heit 4, wobei die erste Monokamera 2 über einen Highspeed- Datenbus 5.1 und die zweite Monokamera 2 über einen weiteren Highspeed-Datenbus 5.2 mit der Stereobildauswerteeinheit 4 verbunden sind. Die von der Stereobildauswerteeinheit 4 er¬ zeugten Auswerteergebnisse werden über einen Datenbus einem Fahrerassistenzsystem 6 zugeführt, mit dem hochautomatisierte Funktionen realisiert werden. The for a vehicle (not shown in Figure 1) vorgese ¬ hene stereo camera system 1 of the invention according to Figure 1 includes fully three components 2, 3 and 4 which are each formed as a module from ¬. These components are a first mono camera 2, a second mono camera 3 and a Stereobildauswerteein ¬ unit 4, wherein the first mono camera 2 via a high-speed data bus 5.1 and the second mono camera 2 are connected via a further high-speed data bus 5.2 to the Stereobildauswerteeinheit. 4 The evaluation results of the Stereobildauswerteeinheit 4 ¬ he testified to be supplied via a data bus a driver assistance system 6, are realized with the highly automated functions.
Alternativ ist es auch möglich, den Datenaustausch zwischen den Komponenten 2, 3, 4 und 6 über einen gemeinsamen Alternatively, it is also possible to exchange data between the components 2, 3, 4 and 6 via a common
Highspeed-Datenbus 5 zu realisieren, der in Figur 1 gestri- chelt dargestellt ist, zu dem auch die Datenbusleitung zwi¬ schen Stereobildauswerteeinheit 4 und dem Fahrerassistenzsys¬ tem 6 gehört . Diese beiden Monokameras 2 und 3 sind in ihren Funktionen als Kamera autark und umfassen daher jeweils eine Optik 2.1 und 3.1, einen Bildsensor (Imager) 2.2 und 3.2, eine Bildauswer¬ teeinheit 2.3 und 3.3 und ein Datenbus-Interface 2.5 und 3.5. Die von den Bildsensoren 2.2 und 3.2 von der Umgebung desHigh-speed data bus 5, which is shown in FIG. smiles is shown, which includes the data bus Zvi ¬ Stereobildauswerteeinheit rule 4 and belongs to the driver assistance system ¬. 6 These two monocameras 2 and 3 are self-sufficient in their functions as camera and therefore each comprise an optics 2.1 and 3.1, an image sensor (imager) 2.2 and 3.2, a Bildauswer ¬ teeinheit 2.3 and 3.3 and a data bus interface 2.5 and 3.5. That of the image sensors 2.2 and 3.2 of the environment of
Fahrzeugs erzeugten Bilddaten werden sowohl der Bildauswerte¬ einheit 2.3 bzw. 3.3 als auch dem Datenbus-Interface 2.5 bzw. 3.5 zugeführt. Die Bilddaten der Monokameras 2 und 3 werden von deren Bildauswerteeinheiten 2.3 und 3.3 mittels eines Mo- nokamera-Algorithmus ausgewertet und das Auswerteergebnis ebenso an das Datenbus-Interface 2.5 bzw. 3.5 weitergeleitet. Vehicle generated image data are both the Bildauswerte ¬ unit 2.3 or 3.3 and the data bus interface 2.5 or 3.5 supplied. The image data of the monocameras 2 and 3 are evaluated by their image evaluation units 2.3 and 3.3 by means of a monocamera algorithm, and the evaluation result is likewise forwarded to the data bus interface 2.5 or 3.5.
Damit werden die Bilddaten des Bildsensors 2.2 der ersten Mo¬ nokamera 2 als auch das Auswerteergebnis von deren Bildaus- werteeinheit 2.3 über das Datenbus-Interface 2.5 auf denSo that the image data of the image sensor of the first 2.2 Mo ¬ nokamera 2 and the evaluation result of the evaluation unit Bildaus- be 2.3 via the data bus interface 2.5 on the
Highspeed-Datenbus 5.1 bzw. 5 gegeben. In entsprechender Wei¬ se werden auch die Bilddaten des Bildsensors 3.2 der zweiten Monokamera 3 als auch das Auswerteergebnis von deren Bildaus¬ werteeinheit 3.3 über das Datenbus-Interface 3.5 auf den wei- teren Highspeed-Datenbus 5.2 oder den gemeinsamen Highspeed- Datenbus 5 gegeben. High-speed data bus 5.1 or 5 given. Similarly Wei ¬ se and the image data of the image sensor 3.2 of the second mono camera 3 as well as the evaluation result of the Bildaus ¬ evaluation unit 3.3 via the data bus interface 3.5 on the WEI direct high-speed data bus 5.2 or the common high-speed data bus 5 are given.
Die Stereobildauswerteeinheit 4 dient zur stereoskopischen Bildauswertung der über die beiden Highspeed-Datenbusse 5.1 und 5.2 oder über den gemeinsamen Highspeed-Datenbus 5 zuge¬ führten Bilddaten der beiden Monokameras 2 und 3 mittels ei¬ nes Stereobild-Algorithmus. Damit stehen hochgenaue Stereo- Daten zur Verfügung, die mittels des Stereobild-Algorithmus ausgewertet werden. Die von der Stereobildauswerteeinheit 4 erzeugten Auswerteergebnisse werden dem Fahrerassistenzsystem 6 über einen Datenbus bzw. über den gemeinsamen Highspeed- Datenbus 5 zugeführt, mit dem hochautomatisierte Funktionen realisiert werden. The stereo image evaluation unit 4 is used for stereoscopic image analysis of the two high-speed data buses 5.1 and 5.2 or over the common high-speed data bus 5 ¬ supplied image data of the two monocameras 2 and 3 by means of egg ¬ nes stereo image algorithm. This provides high-precision stereo data using the stereo image algorithm be evaluated. The evaluation results generated by the stereo image evaluation unit 4 are supplied to the driver assistance system 6 via a data bus or via the common high-speed data bus 5, with which highly-automated functions are realized.
Mit diesem im Wesentlichen drei Komponenten aufweisenden Auf¬ bau des erfindungsgemäßen Stereokamerasystems 1 wird die Aus¬ fallsicherheit wesentlich erhöht, da bei einem Ausfall eines der Monokameras 2 oder 3, bspw. aufgrund eines defekten Mik- rocontrollers oder eines defekten Speichers einer der Auswer¬ teeinheiten 2.3 oder 3.3, keine Stereo-Auswertung mehr mög¬ lich ist, jedoch noch die Mono-Informationen der intakten Mo- nokamera 2 oder 3 für einen Notbetrieb zur Verfügung stehen. This essentially three components having on ¬ construction of the stereo camera system 1 according to the invention is the off ¬ falling safety significantly increased, because one of the Auswer ¬ teeinheiten event of a failure of one of the mono cameras 2 or 3, for example. Due to a defective Mic rocontrollers or a defective memory 2.3 or 3.3, no stereo-evaluation is more mög ¬ lich but are still the mono information intact Mo nokamera 2 or 3 for an emergency operation available.
Ferner weist jede der beiden Monokameras 2 und 3 eine eigene Energieversorgungseinrichtung 2.4 bzw. 3.4 auf, so dass auch hierdurch die Ausfallsicherheit erhöht wird. Denn bei Ausfall einer der beiden Energieversorgungseinrichtungen 2.4 oder 3.4 bleibt die andere Monokamera mit der nichtdefekten Energie¬ versorgungseinrichtung intakt. Furthermore, each of the two monocameras 2 and 3 has its own power supply device 2.4 or 3.4, so that this also increases the reliability. Because if one of the two power supply devices 2.4 or 3.4, the other mono camera with the non-defective power supply device ¬ intact.
Die beiden Highspeed-Datenbusse 5.1 und 5.2 stellen jeweils für die erste und zweite Monokamera 2 und 3 getrennte Bussys- teme dar, um auch hierdurch die Ausfallsicherheit bei einem defekten Datenbus-Netz des Fahrzeugs, bspw. aufgrund eines Kabelbruches zu erhöhen. Für solche Highspeed-Datenbusse 5.1 und 5.2 werden bspw. ein Ethernet- oder ein Flexray-Datenbus eingesetzt . The two high-speed data buses 5.1 and 5.2 respectively represent separate bus systems for the first and second monocamera 2 and 3 in order to increase the reliability in the event of a defective data bus network of the vehicle, for example due to a cable break. For such high-speed data buses 5.1 and 5.2, for example, an Ethernet or a Flexray data bus are used.
Für den Notbetrieb mit nur einer intakten Monokamera 2 oder 3, bei Ausfall der Stereobildauswerteeinheit 4 oder bei Aus¬ fall eines der Highspeed-Datenbusse 5.1, 5.2 oder 5 ist je- weils ein eigener Lowspeed-Datenbus 8.1 bzw. 8.2 für die ers¬ te bzw. zweite Monokamera 2 bzw. 3 vorgesehen, so dass die Bilddaten des Bildsensors 2.2 der ersten Monokamera 2 über den zugehörigen Lowspeed-Datenbus 8.1 direkt dem Fahrerassis- tenzsystem 6 und die Bilddaten des Bildsensors 3.2 der zwei¬ ten Monokamera 3 über den zugehörigen Lowspeed-Datenbus 8.2 ebenso direktem Fahrerassistenzsystem 6 zugeführt werden kön¬ nen. Es kann jedoch sein, dass im Notbetrieb die Bilddaten aufgrund der zu hohen Datenrate nicht über den Lowspeed- Datenbus 8.1 oder 8.2 übertragen werden können, so dass in einem solchen Fall zumindest die Objektdaten von Objekten, wie bspw. Spurdaten, Verkehrszeichen usw. übertragen werden. For emergency operation with only one intact mono camera 2 or 3, wherein failure of the Stereobildauswerteeinheit 4 or from ¬ case of the high-speed data buses 5.1, 5.2, or 5 JE because a separate low-speed data bus 8.1 or 8.2 provided for the ers ¬ te or second mono camera 2 and 3, so that the image data of the image sensor 2.2 of the first mono camera 2 via the associated low-speed data bus 8.1 directly the driver assistance tenzsystem 6 and The image data of the image sensor 3.2 of the two ¬ th mono camera 3 via the associated low-speed data bus 8.2 also direct driver assistance system 6 Kings ¬ NEN. However, it may be that in emergency operation the image data can not be transmitted via the low-speed data bus 8.1 or 8.2 due to the high data rate, so that in such a case at least the object data of objects such as track data, traffic signs, etc. are transmitted ,
Dadurch dass die von den beiden Monokameras 2 und 3 in Form von Bilddaten gelieferten Umfeldinformationen doppelt vorlie¬ gen, zum Beispiel in Form von Fahrstreifenmarkierungen oder Verkehrszeichen, lässt sich eine gegenseitige Überwachung der Monokameras 2 und 3 durchführen. Es ist damit möglich ein Maß für eine festgestellte Abweichung zu bestimmen, so dass bei einer Überschreitung einer bestimmten Schwelle durch dieses Maß das Stereokamerasystem 1 als unzuverlässig eingestuft werden kann. Falls noch in dem Fahrzeug weitere Datenquellen vorliegen, bspw. eine digitale Karte oder weitere Kameras (Topview-Kamera) oder Umfeldsensoren (Radar- und/oder Lidar- Sensoren) kann mit deren Sensorsignalen eine defekte Monoka¬ mera 2 oder 3 identifiziert werden. In einem solchen Fall würde die Stereo-Funktionalität entfallen und stattdessen ein Notbetrieb mit Hilfe der verbleibenden Monokamera 2 oder 3 aufrecht erhalten werden. This ensures that the environment information supplied in the form of image data of the two mono cameras 2 and 3 twice vorlie ¬ gene, for example in the form of lane markings or road signs, can be mutual monitoring of the mono cameras 2 and 3 perform. It is thus possible to determine a measure of a detected deviation, so that when exceeding a certain threshold by this measure, the stereo camera system 1 can be classified as unreliable. If there are present more data sources in the vehicle, eg., A digital map or other cameras (topview) camera or environment sensors (radar and / or lidar sensors) may be a defective Monoka ¬ ra 2 or 3 are identified with their sensor signals. In such a case, the stereo functionality would be eliminated and instead an emergency operation with the help of the remaining monocamera 2 or 3 maintained.
Die Stereobildauswerteeinheit 4 kann zur Diagnose der Funkti¬ on der ersten und zweiten Monokamera 2 und 3 unter Verwendung eines Diagnose-Programmes verwendet werden. Dies ermöglicht bei der Erkennung einer defekten Monokamera 2 oder 3 die Res¬ sourcen der Stereobildauswerteeinheit 4 zur Isolation des zum Ausfall der Monokamera 2 oder 3 geführten Fehlers zu nutzen, indem ein solches Diagnose-Programm von der Stereobildauswer¬ teeinheit 4 geladen und ausgeführt wird. Als Diagnose-Pro¬ gramm können die gleichen Algorithmen wie die Monokamera- Algorithmen ausgeführt werden und die Ergebnisse mit denen der Monokameras 2 und 3 verglichen werden, umso bspw. defekte MikroController oder defekte Speicher (RAM) der Bildauswerte¬ einheit 2.3 oder 3.3 zu erkennen. Als Diagnose-Programme kön¬ nen auch Algorithmen zum Erkennen von defekten Bildsensoren (Imager) oder defekten Optiken der Monokameras 2 oder 3 gela¬ den und ausgeführt werden. The Stereobildauswerteeinheit 4 may be used for the diagnosis of functi ¬ on the first and second mono camera 2 and 3 using a diagnostics program. this makes possible by such a diagnostic program is loaded from the Stereobildauswer ¬ teeinheit 4 and performed 4 to use in the detection of a defective mono camera 2 or 3, the Res ¬ resources of Stereobildauswerteeinheit to isolate the failure of the mono camera 2 or 3 out error. As a diagnostic Pro ¬ gram the same algorithms as the Monokamera- algorithms can be run and with which the mono cameras are compared 2 and 3, the results, the example. Defective microcontroller or defective memory (RAM) of the image evaluation ¬ unit to detect 2.3 or 3.3 , As diagnostic programs Kings ¬ nen also algorithms to detect defective image sensors (Imager) or defective optics of mono cameras are the 2 or 3 and executed gela ¬.
Wie oben bereits ausgeführt, ist die erste und zweite Monoka¬ mera 2 und 3 jeweils als Modul ausgeführt und umfasst daher ein Gehäuse 2.6 bzw. 3.6. Aus Kostengründen kann die Stereo¬ bildauswerteeinheit 4 in dem Gehäuse 2.6 oder 3.6 der ersten oder der zweiten Monokamera 2 oder 2 integriert werden. As already stated above, the first and second Monoka ¬ ra is executed 2 and 3 respectively as a module, and therefore comprises a housing 2.6 and 3.6. For cost reasons, the stereo ¬ image evaluation unit 4 can be integrated into the housing 2.6 or 3.6 of the first or the second mono camera 2 or the second
In dem oben beschriebenen Ausführungsbeispiel gemäß Figur 1 umfasst das erfindungsgemäße Stereokamerasystem zwei in ihrer Funktion autarke Monokameras 2 und 3. Entsprechend dem darge¬ stellten Stereokamerasystem 1 können auch mehr als zwei Mono¬ kameras zusammen mit einer Stereobildauswerteeinheit einge¬ setzt werden. Bezugs zeichen In the above described embodiment according to Figure 1, the stereo camera system according to the invention comprises two functionally independent mono cameras 2 and 3. According to the Darge ¬ presented stereo camera system 1 can also be more than two mono ¬ cameras together with a Stereobildauswerteeinheit turned ¬ sets. Reference sign
1 Stereokamerasystem 1 stereo camera system
2 erste Monokamera 2 first mono camera
2.1 Optik der ersten Monokamera 2 2.1 Optics of the first mono camera 2
2.2 Bildsensor (Imager) der ersten Monokamera 2 2.2 Image sensor (imager) of the first mono camera 2
2.3 Bildauswerteeinheit der ersten Monokamera 2 2.3 Image evaluation unit of the first monocamera 2
2.4 Energieversorgungseinrichtung der ersten Monokamera 2.4 power supply device of the first mono camera
2 2
2.5 Datenbus-Interface der ersten Monokamera 2 2.5 Data bus interface of the first mono camera 2
2.6 Gehäuse der ersten Monokamera 2 2.6 Housing of the first mono camera 2
3 zweite Monokamera 3 second mono camera
3.1 Optik der zweiten Monokamera 3 3.1 Optics of the second mono camera 3
3.2 Bildsensor (Imager) der zweiten Monokamera 3 3.2 Image sensor (imager) of the second monocamera 3
3.3 Bildauswerteeinheit der zweiten Monokamera 3 3.3 Image evaluation unit of the second monocamera 3
3.4 Energieversorgungseinrichtung der zweiten Monokame¬ ra 3 3.4 power supply device of the second Monokame ¬ ra 3rd
3.5 Datenbus-Interface der zweiten Monokamera 3 3.5 Data Bus Interface of the Second Monocamera 3
3.6 Gehäuse der zweiten Monokamera 3 3.6 Housing of the second mono camera 3
4 Stereobildauswerteeinheit 4 stereo image evaluation unit
5 Highspeed-Datenbus 5 high-speed data bus
5.1 Highspeed-Datenbus der ersten Monokamera 2 5.1 High-speed data bus of the first monocamera 2
5.2 Highspeed-Datenbus der zweiten Monokamera 3 5.2 High-speed data bus of the second mono camera 3
6 Fahrerassistenzsystem 6 driver assistance system
7 Bussystem 7 bus system
8.1 Lowspeed-Datenbus der ersten Monokamera 2 8.1 Low Speed Data Bus of the First Monocamera 2
8.2 Lowspeed-Datenbus der zweiten Monokamera 3 8.2 Low Speed Data Bus of the Second Monocamera 3
Claims
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102014206227.6 | 2014-04-02 | ||
| DE102014206227.6A DE102014206227A1 (en) | 2014-04-02 | 2014-04-02 | Stereo Camera System |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015149799A1 true WO2015149799A1 (en) | 2015-10-08 |
Family
ID=52991400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/DE2015/200210 Ceased WO2015149799A1 (en) | 2014-04-02 | 2015-03-27 | Stereo camera system |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102014206227A1 (en) |
| WO (1) | WO2015149799A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11195292B2 (en) | 2016-08-24 | 2021-12-07 | Sony Corporation | Information processing apparatus and method, vehicle, and information processing system |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102016205471A1 (en) | 2016-04-01 | 2017-05-04 | Conti Temic Microelectronic Gmbh | Stereo camera device and a method for operating the stereo camera device |
| DE102018211268A1 (en) | 2018-07-09 | 2020-01-09 | Conti Temic Microelectronic Gmbh | Stereo camera device and method for operating the stereo camera device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11177964A (en) * | 1997-12-09 | 1999-07-02 | Omron Corp | Image processing method and apparatus |
| JP2002032746A (en) * | 2000-07-17 | 2002-01-31 | Omron Corp | Image processing apparatus and image processing method |
| DE102004061998A1 (en) | 2004-12-23 | 2006-07-06 | Robert Bosch Gmbh | Stereo camera for a motor vehicle |
| DE102011082218A1 (en) | 2010-09-23 | 2012-03-29 | Continental Teves Ag & Co. Ohg | Location determination device in a motor vehicle and information fusion method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004001572B4 (en) * | 2004-01-12 | 2008-11-13 | Daimler Ag | Run-time calibration method |
| DE102006010295B4 (en) * | 2006-03-07 | 2022-06-30 | Conti Temic Microelectronic Gmbh | Camera system with at least two image recorders |
| DE102011101246A1 (en) * | 2011-05-11 | 2012-11-15 | Conti Temic Microelectronic Gmbh | REDUDENT OBJECT DETECTION FOR DRIVER ASSISTANCE SYSTEMS |
| DE102012214720A1 (en) * | 2012-06-26 | 2014-01-02 | Robert Bosch Gmbh | Method for operating object recognition system in motor vehicle, involves providing stereo video images generated from images of three cameras, where monitoring program runs on processor core for generating stereo video image |
-
2014
- 2014-04-02 DE DE102014206227.6A patent/DE102014206227A1/en active Pending
-
2015
- 2015-03-27 WO PCT/DE2015/200210 patent/WO2015149799A1/en not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11177964A (en) * | 1997-12-09 | 1999-07-02 | Omron Corp | Image processing method and apparatus |
| JP2002032746A (en) * | 2000-07-17 | 2002-01-31 | Omron Corp | Image processing apparatus and image processing method |
| DE102004061998A1 (en) | 2004-12-23 | 2006-07-06 | Robert Bosch Gmbh | Stereo camera for a motor vehicle |
| DE102011082218A1 (en) | 2010-09-23 | 2012-03-29 | Continental Teves Ag & Co. Ohg | Location determination device in a motor vehicle and information fusion method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11195292B2 (en) | 2016-08-24 | 2021-12-07 | Sony Corporation | Information processing apparatus and method, vehicle, and information processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102014206227A1 (en) | 2015-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102019205008B3 (en) | Backward collision avoidance system | |
| DE102016218277B4 (en) | Method for functional testing of a driver assistance system as well as control unit and reference device for a driver assistance system | |
| WO2020200792A1 (en) | Method for checking a surroundings detection sensor of a vehicle and method for operating a vehicle | |
| DE102008013366B4 (en) | Method for providing information for driver assistance systems | |
| DE102012216386A1 (en) | Method for operating a driver assistance system of a vehicle | |
| DE102020206755A1 (en) | REDUNDANCY INFORMATION FOR OBJECT INTERFACE FOR HIGHLY AND FULLY AUTOMATED DRIVING | |
| EP3904833B1 (en) | Device and method for evaluating signals from sensors for trajectory control and / or control of an automated vehicle | |
| DE102014106506A1 (en) | Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle | |
| DE102015210881B4 (en) | Method and device for determining the position and/or orientation of a vehicle | |
| EP4007891B1 (en) | Method and device for locating a vehicle in a surrounding area | |
| DE102021206297A1 (en) | Method and system for operating an at least partially automated vehicle | |
| DE102018005969A1 (en) | Method for operating a driver assistance system with two detection devices | |
| WO2022069088A1 (en) | Map plausibility test method | |
| DE102019107279A1 (en) | Method and device for recognizing a traffic law violation by falling below a permissible distance between a following vehicle and a leading vehicle | |
| DE102013019264B4 (en) | Control unit and method for providing sensor data | |
| DE102015217771A1 (en) | Device and method for monitoring a sensor function for a motor vehicle | |
| WO2015149799A1 (en) | Stereo camera system | |
| DE102019127322A1 (en) | Method for detecting objects in a vehicle environment, device for data processing, computer program product and computer-readable data carrier | |
| DE102020215885A1 (en) | PROCEDURE AND SYSTEM FOR DETECTING AND MITIGATION OF INTERFERENCE | |
| DE102023002044B3 (en) | Method for a model-based fusion of different sensor modalities | |
| DE102016105876A1 (en) | Electronic control unit for a vehicle with separate data connection, assistance system, vehicle and method | |
| DE102013218299A1 (en) | A method of detecting damage to a vehicle from a test image, corresponding system and computer program product | |
| DE102016223290A1 (en) | Method and device for calibrating a sensor for a vehicle | |
| DE112022003481T5 (en) | VEHICLE DEVICE AND VEHICLE CONTROL METHOD | |
| DE102021101717A1 (en) | Method for providing merged data, assistance system and motor vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15717408 Country of ref document: EP Kind code of ref document: A1 |
|
| WD | Withdrawal of designations after international publication |
Designated state(s): DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15717408 Country of ref document: EP Kind code of ref document: A1 |