DE102024201747A1

DE102024201747A1 - Image capture device for a vehicle, method and device for operating an image capture device and vehicle

Info

Publication number: DE102024201747A1
Application number: DE102024201747.7A
Authority: DE
Inventors: Robin Schneider; Peter Seitz
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2024-02-26
Filing date: 2024-02-26
Publication date: 2025-08-28

Abstract

Die Erfindung betrifft eine Bilderfassungsvorrichtung (102) mit einer Optikeinheit (204), die ausgebildet ist, um Licht (206) auf einen Erfassungsbereich (208) zu richten, einem Sensorträger (200), der zumindest teilweise in dem Erfassungsbereich (208) angeordnet ist, einem Bildsensor (202) zum Erfassen eines Bildes unter Verwendung des auf den Erfassungsbereich (208) gerichteten Lichts (206), wobei der Bildsensor (202) auf dem Sensorträger (200) und im Erfassungsbereich (208) angeordnet ist, und mit zumindest einer Detektoreinheit (210) zum Detektieren mindestens einer Eigenschaft des auf den Erfassungsbereich (208) gerichteten Lichts (206), wobei die zumindest eine Detektoreinheit (210) benachbart zu dem Bildsensor (202) auf dem Sensorträger (200) und im Erfassungsbereich (208) angeordnet ist. The invention relates to an image capture device (102) comprising an optical unit (204) designed to direct light (206) onto a capture region (208), a sensor carrier (200) arranged at least partially in the capture region (208), an image sensor (202) for capturing an image using the light (206) directed onto the capture region (208), wherein the image sensor (202) is arranged on the sensor carrier (200) and in the capture region (208), and at least one detector unit (210) for detecting at least one property of the light (206) directed onto the capture region (208), wherein the at least one detector unit (210) is arranged adjacent to the image sensor (202) on the sensor carrier (200) and in the capture region (208).

Description

Stand der TechnikState of the art

Die Erfindung geht von einer Bilderfassungsvorrichtung, insbesondere für ein Fahrzeug, einem Verfahren und einer Vorrichtung zum Betreiben einer Bilderfassungsvorrichtung sowie von einem Fahrzeug nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.The invention relates to an image capture device, in particular for a vehicle, a method and a device for operating an image capture device, and a vehicle according to the preamble of the independent claims. The present invention also relates to a computer program.

Die US 2008/0278580 A1 beschreibt ein Überwachungskamerasystem, bei dem durch einen äußeren Trigger die Bildaufnahme gestartet wird. Die US 2016/0295195 A1 betrifft ein Stereokamerasystem, bei dem durch Analyse eines Bildes der ersten Kamera entschieden wird, ob die zweite Kamera aktiviert werden soll, um eine Stereorekonstruktion zu ermöglichen. Die DE 103 57 488 A1 beschreibt ein Kamerasystem mit einem Zoomobjektiv und einem separaten Weißabgleichsensor, der so gesteuert wird, dass der Bildausschnitt des Weißabgleichsensors gleich dem des Bildsensors ist.The US 2008/0278580 A1 describes a surveillance camera system in which image recording is started by an external trigger. US 2016/0295195 A1 relates to a stereo camera system in which the analysis of an image from the first camera is used to decide whether the second camera should be activated to enable stereo reconstruction. DE 103 57 488 A1 describes a camera system with a zoom lens and a separate white balance sensor that is controlled so that the field of view of the white balance sensor is the same as that of the image sensor.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz eine verbesserte Bilderfassungsvorrichtung, ein verbessertes Verfahren zum Betreiben einer Bilderfassungsvorrichtung, weiterhin eine verbesserte Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm und ein verbessertes Fahrzeug gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.Against this background, the approach presented here provides an improved image capture device, an improved method for operating an image capture device, an improved device using this method, and finally a corresponding computer program and an improved vehicle according to the main claims. The measures listed in the dependent claims enable advantageous refinements and improvements of the device specified in the independent claim.

Vorteilhafterweise kann durch den vorgestellten Ansatz eine Möglichkeit geschaffen werden, um Zusatzfunktionen für eine Bilderfassungsvorrichtung kostengünstig und einfach realisieren zu können. Vorteilhafterweise kann der beschriebene Ansatz insbesondere in Verbindung mit einem Rückkanal über eine Schnittstelle realisiert werden, mit der die Bilderfassungsvorrichtung beispielsweise an ein Steuergerät angebunden wird. Beispielsweise kann als Zusatzfunktion ein Weißabgleich oder Spektrum, eine Helligkeit, ein Fokus oder eine Entfernung und/oder eine Reduktion des Energiebedarfs realisiert werden. Zudem können dafür bereits vorhandene Komponenten der Bilderfassungsvorrichtung genutzt werden und kann eine für einen Betrieb der Bilderfassungsvorrichtung benötigte Energie reduziert werden.Advantageously, the approach presented can create a possibility for implementing additional functions for an image capture device cost-effectively and easily. The approach described can advantageously be implemented, in particular, in conjunction with a return channel via an interface with which the image capture device is connected, for example, to a control unit. For example, a white balance or spectrum, brightness, focus or distance, and/or a reduction in energy consumption can be implemented as an additional function. Furthermore, existing components of the image capture device can be used for this purpose, and the energy required to operate the image capture device can be reduced.

Es wird eine Bilderfassungsvorrichtung vorgestellt, die eine Optikeinheit aufweist, die ausgebildet ist, um Licht auf einen Erfassungsbereich zu richten. Weiterhin weist die Bilderfassungsvorrichtung einen Sensorträger, der zumindest teilweise in dem Erfassungsbereich angeordnet ist, einen Bildsensor zum Erfassen eines Bildes unter Verwendung des auf den Erfassungsbereich gerichteten Lichts, wobei der Bildsensor auf dem Sensorträger und im Erfassungsbereich angeordnet ist, und zumindest eine Detektoreinheit zum Detektieren mindestens einer Eigenschaft des auf den Erfassungsbereich gerichteten Lichts auf, wobei die zumindest eine Detektoreinheit benachbart zu dem Bildsensor auf dem Sensorträger und im Erfassungsbereich angeordnet ist.An image capture device is presented that has an optical unit configured to direct light onto a capture region. Furthermore, the image capture device comprises a sensor carrier that is at least partially arranged in the capture region, an image sensor for capturing an image using the light directed onto the capture region, wherein the image sensor is arranged on the sensor carrier and in the capture region, and at least one detector unit for detecting at least one property of the light directed onto the capture region, wherein the at least one detector unit is arranged adjacent to the image sensor on the sensor carrier and in the capture region.

Die Bilderfassungsvorrichtung kann beispielsweise als eine Kamera realisiert sein, die in einem Fahrzeug verwendet werden kann, wie beispielsweise in einem Personenkraftwagen, einem Lastkraftwagen oder einem Nutzfahrzeug. Alternativ kann die Bilderfassungsvorrichtung jedoch auch in anderen Bereichen eingesetzt werden. Die Bilderfassungsvorrichtung kann beispielsweise für Assistenzsysteme eingesetzt werden, die sicherheitsrelevant sind und zusätzlich oder alternativ einen Nutzerkomfort verbessern können. Die Optikeinheit kann beispielsweise ein Kameraobjektiv sein, das eine Mehrzahl von Linsen aufweisen kann, die einfallendes Licht lenken und/oder beispielsweise auf einen Punkt fokussieren können. Der Sensorträger kann beispielsweise als eine Platine ausgeformt sein, die mit einer Steuereinheit beispielsweise gekoppelt oder als eine Steuervorrichtung ausgeformt sein kann. Auf dem Sensorträger kann der Bildsensor angeordnet sein. Vorteilhafterweise kann die Optikeinheit über dem Bildsensor angeordnet sein, sodass der Bildsensor im Erfassungsbereich angeordnet sein kann und das durch die Optikeinheit geleitete Licht auf den Bildsensor gerichtet sein und der Bildsensor das Bild erfassen kann. Vorteilhafterweise kann die Detektoreinheit dieselben Komponenten nutzen wie der Bildsensor, sodass die Bilderfassungsvorrichtung energieeffizient betrieben werden kann. Weiterhin können dadurch vorteilhafterweise Fertigungskosten eingespart sowie vorhandener Bauraum vorteilhaft genutzt werden.The image capture device can be implemented, for example, as a camera that can be used in a vehicle, such as a passenger car, a truck, or a commercial vehicle. Alternatively, however, the image capture device can also be used in other areas. The image capture device can be used, for example, for assistance systems that are safety-relevant and can additionally or alternatively improve user comfort. The optical unit can be, for example, a camera lens that can have a plurality of lenses that can direct incident light and/or focus it on a point, for example. The sensor carrier can be formed, for example, as a circuit board that can be coupled to a control unit, for example, or formed as a control device. The image sensor can be arranged on the sensor carrier. Advantageously, the optical unit can be arranged above the image sensor so that the image sensor can be arranged in the detection area, the light guided by the optical unit can be directed onto the image sensor, and the image sensor can capture the image. Advantageously, the detector unit can utilize the same components as the image sensor, allowing the image capture device to operate energy-efficiently. Furthermore, this can advantageously reduce manufacturing costs and maximize available installation space.

Gemäß einer Ausführungsform kann die Bilderfassungsvorrichtung mindestens eine weitere Detektoreinheit zum Detektieren mindestens einer Eigenschaft des auf den Erfassungsbereich gerichteten Lichts aufweisen. Die mindestens eine weitere Detektoreinheit kann benachbart zu dem Bildsensor auf dem Sensorträger und im Erfassungsbereich angeordnet sein. Vorteilhafterweise kann durch die Verwendung mehrerer Detektoreinheiten eine Erkennungsgenauigkeit verbessert werden. Beispielsweise kann die Bilderfassungsvorrichtung somit auch eine Mehrzahl von Funktionen erfüllen.According to one embodiment, the image capture device can have at least one additional detector unit for detecting at least one property of the light directed onto the capture area. The at least one additional detector unit can be arranged adjacent to the image sensor on the sensor carrier and in the capture area. Advantageously, detection accuracy can be improved by using multiple detector units. For example, the image capture device can thus also fulfill a plurality of functions.

Die Detektoreinheit und die mindestens eine weitere Detektoreinheit können symmetrisch zueinander in dem Erfassungsbereich angeordnet sein. Symmetrisch kann vorteilhafterweise bedeuten, dass die Detektoreinheiten mit einem gleichen Abstand zum Bildsensor auf dem Sensorträger angeordnet sein können. Beispielsweise können beide Detektoreinheiten eine gleiche vertikale Position aufweisen.The detector unit and the at least one further detector unit can be arranged symmetrically to each other in the detection area. Symmetrically can advantageously mean that the detector units can be arranged on the sensor carrier at the same distance from the image sensor. For example, both detector units can have the same vertical position.

Ferner kann die Optikeinheit rotationssymmetrisch ausgeführt sein. Dabei kann der Erfassungsbereich als ein Bildkreis realisiert sein. Vorteilhafterweise kann der Bildsensor in dem Bildkreis angeordnet sein. Genauer gesagt kann der Bildkreis vorteilhafterweise derart realisiert sein, dass der Bildsensor vollständig innerhalb des Bildkreises angeordnet ist.Furthermore, the optical unit can be designed to be rotationally symmetrical. The detection area can be realized as an image circle. Advantageously, the image sensor can be arranged within the image circle. More precisely, the image circle can advantageously be realized such that the image sensor is arranged entirely within the image circle.

Gemäß einer Ausführungsform kann der Bildsensor mehreckig ausgeführt sein. Vorteilhafterweise kann der Bildsensor quadratisch oder rechteckig ausgeführt sein.According to one embodiment, the image sensor can be polygonal. Advantageously, the image sensor can be square or rectangular.

Der Bildsensor kann den Erfassungsbereich, hier den als ein Bildkreis realisierten Erfassungsbereich, in vier Kreissegmente unterteilen. Die Kreissegmente können bei beispielsweise einem kleinstmöglichem Bildkreis voneinander getrennt sein. Das bedeutet, dass sich die Kreissegmente nicht überlappen können, da die Kanten und Ecken des mehreckigen Bildsensors eine Begrenzung des Bildkreises bewirken können.The image sensor can divide the detection area, here realized as an image circle, into four circular segments. The circular segments can be separated from each other, for example, with the smallest possible image circle. This means that the circular segments cannot overlap, as the edges and corners of the polygonal image sensor can limit the image circle.

Weiterhin kann die mindestens eine Detektoreinheit in einem der Kreissegmente des Erfassungsbereichs angeordnet sein. Vorteilhafterweise können durch die Anordnung der mindestens einen Detektoreinheit in einem der Kreissegmente nicht durch den Bildsensor genutzte Bereiche des Bildkreises für die mindestens eine Detektoreinheit genutzt werden. Dadurch kann vorteilhafterweise auf weitere Optikeinheiten verzichtet werden und können somit Kosten eingespart werden. Auch kann die ohnehin vorhandene Fläche von Sensorträger und Erfassungsbereich weiter ausgenutzt werden.Furthermore, the at least one detector unit can be arranged in one of the circular segments of the detection area. Advantageously, by arranging the at least one detector unit in one of the circular segments, areas of the image circle not used by the image sensor can be used for the at least one detector unit. This advantageously eliminates the need for additional optical units, thus saving costs. Furthermore, the existing surface area of the sensor carrier and detection area can be further utilized.

Gemäß einer Ausführungsform kann die weitere Detektoreinheit in demselben der Kreissegmente angeordnet sein, in dem die Detektoreinheit angeordnet ist. Zusätzlich oder alternativ kann die mindestens eine weitere Detektoreinheit in einem weiteren der Kreissegmente angeordnet sein. Vorteilhafterweise kann dadurch eine Erfassungsgenauigkeit verbessert werden. Weiterhin können beispielsweise weitere Funktionen für die Bilderfassungsvorrichtung realisiert werden. Auch dabei kann die Fläche von Sensorträger und Erfassungsbereich weiter ausgenutzt werden.According to one embodiment, the additional detector unit can be arranged in the same circular segment in which the detector unit is arranged. Additionally or alternatively, the at least one additional detector unit can be arranged in another of the circular segments. This can advantageously improve detection accuracy. Furthermore, for example, additional functions for the image capture device can be implemented. In this case, the surface area of the sensor carrier and the detection area can also be further utilized.

Die mindestens eine Detektoreinheit kann als ein Punktsensor oder als eine Photodiode ausgeformt sein. Vorteilhafterweise kann die Detektoreinheit als Photodiode über eine Phasendifferenz oder einen Kontrast ein Maß für einen Fokus ermitteln.The at least one detector unit can be configured as a point sensor or as a photodiode. Advantageously, the detector unit, as a photodiode, can determine a focus measure via a phase difference or a contrast.

Gemäß einer Ausführungsform kann die mindestens eine Detektoreinheit ausgebildet sein, um als die Eigenschaft eine Farbinformation, eine Helligkeit und zusätzlich oder alternativ einen Fokus zu detektieren. Vorteilhafterweise kann die Farbinformation für eine algorithmische Ermittlung eines Weißpunktes verwendet werden. Die Helligkeit kann vorteilhafterweise für eine Anpassung einer Verstärkung und zusätzlich oder alternativ einer Belichtungszeit genutzt werden, sodass beispielsweise keine Mittelwertbildung notwendig ist. Ferner kann die Detektoreinheit vorteilhafterweise über eine Phasendifferenz oder einen Kontrast ein Maß für den Fokus ermitteln.According to one embodiment, the at least one detector unit can be configured to detect color information, brightness, and additionally or alternatively a focus as the property. Advantageously, the color information can be used for algorithmic determination of a white point. The brightness can advantageously be used to adjust a gain and additionally or alternatively an exposure time, so that, for example, averaging is not necessary. Furthermore, the detector unit can advantageously determine a measure of the focus using a phase difference or a contrast.

Zudem wird ein Verfahren zum Betreiben einer Bilderfassungsvorrichtung in einer zuvor genannten Variante vorgestellt, wobei das Verfahren einen Schritt des Empfangens von Detektordaten von einer Schnittstelle zu der mindestens einen Detektoreinheit, wobei die Detektordaten mindestens eine Eigenschaft des auf den Erfassungsbereich gerichteten Lichts repräsentiert, einen Schritt des Abgleichens der Detektordaten mit Referenzdaten, um ein Abgleichergebnis zu erhalten, sowie einen Schritt des Ansteuerns des Bildsensors umfasst, um den Bildsensor in Abhängigkeit von dem Abgleichergebnis in einen aktivierten oder deaktivierten Zustand zu versetzen oder zu belassen.In addition, a method for operating an image capture device in a previously mentioned variant is presented, wherein the method comprises a step of receiving detector data from an interface to the at least one detector unit, wherein the detector data represents at least one property of the light directed onto the detection area, a step of comparing the detector data with reference data to obtain a comparison result, and a step of controlling the image sensor to set or leave the image sensor in an activated or deactivated state depending on the comparison result.

Das Verfahren kann vorteilhafterweise in einem Fahrzeug durchgeführt werden. Die Referenzdaten, mit denen die Detektordaten abgeglichen werden können, können vorteilhafterweise in einer fahrzeuginternen Speichereinheit hinterlegt sein. Das Abgleichergebnis kann vorteilhafterweise ein Überschreiten oder Unterschreiten eines Helligkeitswerts, eine Änderung einer spektralen Zusammensetzung von Umgebungslicht und zusätzlich oder alternativ eine Änderung von Differenzsignalen aufzeigen, beispielsweise durch eine Änderung im Umfeld der Bilderfassungsvorrichtung durch ein sich in das oder aus dem Sichtfeld der Bilderfassungsvorrichtung bewegendes Objekt. Dies kann vorteilhafterweise als eine Ein- oder Ausschaltbedingung für den Bildsensor definiert sein. Vorteilhafterweise kann der Bildsensor abhängig von dem Abgleichergebnis in einen Ruhezustand oder in einen Aktivzustand versetzt werden. Zusätzlich kann der Bildsensor abhängig von dem Abgleichergebnis in seinem aktuellen Betriebszustand belassen werden, wenn im Schritt des Abgleichens entsprechend keine Änderung im Umfeld der Bilderfassungsvorrichtung erkannt wurde. Vorteilhafterweise kann dadurch eine Betriebsenergie für den Bildsensor reduziert werden, da dieser nicht dauerhaft aufzeichnet.The method can advantageously be carried out in a vehicle. The reference data with which the detector data can be compared can advantageously be stored in a vehicle-internal memory unit. The comparison result can advantageously indicate an exceedance or undershoot of a brightness value, a change in the spectral composition of ambient light, and additionally or alternatively a change in difference signals, for example, due to a change in the environment of the image capture device caused by an object moving into or out of the field of view of the image capture device. This can advantageously be defined as an on or off condition for the image sensor. Advantageously, the image sensor can be placed in a sleep state or an active state depending on the comparison result. In addition, the image sensor can be left in its current operating state depending on the comparison result if no change in the environment of the image capture device is detected in the comparison step. This advantageously reduces the operating energy required by the image sensor, as it does not record continuously.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.The approach presented here further provides a device designed to perform, control, or implement the steps of a variant of a method presented here in corresponding devices. This embodiment of the invention in the form of a device also allows the problem underlying the invention to be solved quickly and efficiently.

Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.For this purpose, the device can have at least one computing unit for processing signals or data, at least one memory unit for storing signals or data, at least one interface to a sensor or an actuator for reading in sensor signals from the sensor or for outputting data or control signals to the actuator, and/or at least one communication interface for reading in or outputting data embedded in a communication protocol. The computing unit can be, for example, a signal processor, a microcontroller, or the like, wherein the memory unit can be a flash memory or a magnetic storage unit. The communication interface can be designed to read in or output data wirelessly and/or via a wired connection, wherein a communication interface that can read in or output wired data can read this data, for example, electrically or optically from a corresponding data transmission line or output it to a corresponding data transmission line.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedene Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller oder einem FPGA neben anderen Softwaremodulen vorhanden sind.In this case, a device can be understood as an electrical device that processes sensor signals and outputs control and/or data signals depending on them. The device can have an interface, which can be implemented in hardware and/or software. In a hardware implementation, the interfaces can, for example, be part of a so-called system ASIC, which contains various functions of the device. However, it is also possible for the interfaces to be separate integrated circuits or to consist at least partially of discrete components. In a software implementation, the interfaces can be software modules that are present, for example, on a microcontroller or an FPGA alongside other software modules.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also advantageous is a computer program product or computer program with program code that can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out, implement and/or control the steps of the method according to one of the embodiments described above, in particular when the program product or program is executed on a computer or a device.

Ferner wird ein Fahrzeug mit einer Bilderfassungsvorrichtung in einer hierin genannten Variante und einer vorstehend genannten Vorrichtung, die mit der Bilderfassungsvorrichtung gekoppelt ist, vorgestellt.Furthermore, a vehicle with an image capture device in a variant mentioned herein and a device mentioned above which is coupled to the image capture device is presented.

Das Fahrzeug kann vorteilhafterweise ausgeformt sein, um Personen und zusätzlich oder alternativ Gegenstände zu transportieren.The vehicle may advantageously be designed to transport persons and additionally or alternatively objects.

Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Ausführungsbeispiels eines Fahrzeugs mit einer Bilderfassungsvorrichtung;
2 eine schematische Seitendarstellung eines Ausführungsbeispiels einer Bilderfassungsvorrichtung;
3 eine schematische Darstellung eines Ausführungsbeispiels einer Bilderfassungsvorrichtung;
4 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Betreiben einer Bilderfassungsvorrichtung; und
5 ein Blockschaltbild einer Vorrichtung gemäß einem Ausführungsbeispiel.

Examples of the approach presented here are shown in the drawings and explained in more detail in the following description. It shows:

1 a schematic representation of an embodiment of a vehicle with an image capture device;
2 a schematic side view of an embodiment of an image capture device;
3 a schematic representation of an embodiment of an image capture device;
4 a flowchart of an embodiment of a method for operating an image capture device; and
5 a block diagram of a device according to an embodiment.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of advantageous embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and having a similar effect, whereby a repeated description of these elements is omitted.

1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Fahrzeugs 100 mit einer Bilderfassungsvorrichtung 102, wie sie in 2 und/oder 3 näher beschrieben ist. Das Fahrzeug 100 weist zudem eine Vorrichtung 104 auf, die mit der Bilderfassungsvorrichtung 102 gekoppelt und ausgebildet ist, um die Bilderfassungsvorrichtung 102 zu betreiben. Ein entsprechendes Verfahren zum Betreiben der Bilderfassungsvorrichtung 102 wird in 4 näher beschrieben. Die Vorrichtung 104 ist in 5 näher beschrieben. 1 shows a schematic representation of an embodiment of a vehicle 100 with an image capture device 102 as shown in 2 and/or 3 is described in more detail. The vehicle 100 also has a device 104 that is coupled to the image capture device 102 and is designed to operate the image capture device 102. A corresponding The method for operating the image capture device 102 is described in 4 described in more detail. The device 104 is shown in 5 described in more detail.

Beispielsweise ist das Fahrzeug als ein Personenkraftwagen realisiert oder alternativ als ein Lastkraftwagen realisierbar. Die Bilderfassungsvorrichtung 102 ist beispielsweise als eine Kamera ausgeformt, die gemäß einem Ausführungsbeispiel für Assistenzsysteme genutzt wird. Alternativ ist die Bilderfassungsvorrichtung 102 auch für andere Geräte oder Maschinen verwendbar und ist lediglich beispielhaft in Verbindung mit einem Fahrzeug dargestellt.For example, the vehicle is implemented as a passenger car or, alternatively, as a truck. The image capture device 102 is embodied, for example, as a camera, which, according to one embodiment, is used for assistance systems. Alternatively, the image capture device 102 can also be used for other devices or machines and is shown merely as an example in connection with a vehicle.

2 zeigt eine schematische Seitendarstellung eines Ausführungsbeispiels einer Bilderfassungsvorrichtung 102, wie sie beispielsweise in 1 beschrieben wurde. Die Bilderfassungsvorrichtung 102 weist hierzu einen Sensorträger 200 auf, der beispielsweise als eine Platine ausgeführt ist. Auf dem Sensorträger 200 ist ein Bildsensor 202 angeordnet, der ausgebildet ist, um ein Bild aus einer Umgebung der Bilderfassungsvorrichtung 102 aufzunehmen. Dazu weist die Bilderfassungsvorrichtung 102 eine Optikeinheit 204 auf, die ausgebildet ist, um Licht 206 auf einen Erfassungsbereich 208 zu richten. Das bedeutet, dass das Licht 206 an einer ersten Seite der Optikeinheit 204 als einfallendes Licht in die Optikeinheit 204 eintritt, und an einer der ersten Seite abgewandten zweiten Seite als austretendes Licht aus der Optikeinheit 204 austritt und auf den Bildsensor 202 im Erfassungsbereich 208 trifft. Die Optikeinheit 204 weist beispielsweise eine Mehrzahl von Linsen auf, die ausgebildet sind, um das Licht durch die Optikeinheit 204 zu leiten. Da 2 lediglich eine schematische Darstellung der Bilderfassungsvorrichtung 102 repräsentiert, sind die Linsen gemäß diesem Ausführungsbeispiel nicht näher gezeigt und beschrieben. Auch ein konkreter Verlauf des Lichts 206 durch die Optikeinheit 204 ist nicht näher erläutert und gemäß diesem Ausführungsbeispiel lediglich beispielhaft skizziert. 2 shows a schematic side view of an embodiment of an image capture device 102, as shown for example in 1 The image capture device 102 has a sensor carrier 200, which is designed, for example, as a circuit board. An image sensor 202 is arranged on the sensor carrier 200 and is designed to capture an image from an environment of the image capture device 102. For this purpose, the image capture device 102 has an optical unit 204, which is designed to direct light 206 onto a detection area 208. This means that the light 206 enters the optical unit 204 as incident light on a first side of the optical unit 204 and exits the optical unit 204 as exit light on a second side facing away from the first side and strikes the image sensor 202 in the detection area 208. The optical unit 204 has, for example, a plurality of lenses that are designed to guide the light through the optical unit 204. Since 2 represents only a schematic representation of the image capture device 102, the lenses according to this exemplary embodiment are not shown or described in detail. A specific path of the light 206 through the optical unit 204 is also not explained in detail and is merely sketched as an example according to this exemplary embodiment.

Dabei ist der Sensorträger 200 mindestens teilweise im Erfassungsbereich 208 angeordnet. Der Bildsensor 202 ist ausgebildet, um das Bild unter Verwendung des auf en Erfassungsbereich 208 gerichteten Lichts 206 zu erfassen. Weiterhin weist die Bilderfassungsvorrichtung 102 zumindest eine Detektoreinheit 210 zum Detektieren mindestens einer Eigenschaft des auf den Erfassungsbereich 208 gerichteten Lichts 206 auf. Die Detektoreinheit 210 ist dabei benachbart zu dem Bildsensor 202 auf dem Sensorträger 200 und im Erfassungsbereich 208 angeordnet. Die Detektoreinheit 210 ist beispielsweise als ein Punktsensor oder als eine Photodiode ausgeformt.The sensor carrier 200 is arranged at least partially in the detection area 208. The image sensor 202 is designed to capture the image using the light 206 directed onto the detection area 208. Furthermore, the image capture device 102 has at least one detector unit 210 for detecting at least one property of the light 206 directed onto the detection area 208. The detector unit 210 is arranged adjacent to the image sensor 202 on the sensor carrier 200 and in the detection area 208. The detector unit 210 is designed, for example, as a point sensor or as a photodiode.

Gemäß einem Ausführungsbeispiel weist die Bilderfassungsvorrichtung mindestens eine weitere Detektoreinheit 212 zum Detektieren mindestens einer Eigenschaft des auf den Erfassungsbereich 208 gerichteten Lichts 206 auf, wobei die weitere Detektoreinheit 212 benachbart zu dem Bildsensor 202 auf dem Sensorträger 200 und im Erfassungsbereich 208 angeordnet ist. Die Detektoreinheiten 210, 212 sind beispielsweise symmetrisch zueinander im Erfassungsbereich 208 angeordnet. Das bedeutet, dass sie beispielsweise in einem gleichen Abstand zu dem Bildsensor 202 auf dem Sensorträger 200 angeordnet sind und/oder beispielsweise eine gleiche vertikale Position aufweisen. Die Detektoreinheit 210 und die weitere Detektoreinheit 212 sind beispielsweise gleichartig ausgeführt und sind beispielsweise ausgebildet, um als die Eigenschaft eine Farbinformation für beispielsweise eine algorithmische Ermittlung des Weißpunktes, eine Helligkeit zur Anpassung einer Verstärkung und/oder einer Belichtungszeit und/oder einen Fokus zu detektieren. Beispielsweise sind die Detektoreinheiten 210, 212 ausgebildet, um über eine Phasendifferenz oder einen Kontrast ein Maß für den Fokus zu ermitteln.According to one embodiment, the image capture device has at least one further detector unit 212 for detecting at least one property of the light 206 directed onto the capture area 208, wherein the further detector unit 212 is arranged adjacent to the image sensor 202 on the sensor carrier 200 and in the capture area 208. The detector units 210, 212 are arranged, for example, symmetrically to one another in the capture area 208. This means that they are arranged, for example, at the same distance from the image sensor 202 on the sensor carrier 200 and/or, for example, have the same vertical position. The detector unit 210 and the further detector unit 212 are, for example, of similar design and are designed, for example, to detect color information as the property, for example, for an algorithmic determination of the white point, a brightness for adjusting a gain and/or an exposure time, and/or a focus. For example, the detector units 210, 212 are designed to determine a measure of the focus via a phase difference or a contrast.

In anderen Worten ausgedrückt wird gemäß diesem Ausführungsbeispiel die Bilderfassungsvorrichtung 102 als eine Kamera mit mindestens einem zusätzlichen Detektor 210 und/oder 212 beschrieben, der unabhängig von dem in der Bilderfassungsvorrichtung 102 verbauten Bildsensor 202 betrieben werden kann und dadurch die Funktionalität der Bilderfassungsvorrichtung 102 erweitert oder verbessert. Der zusätzliche Detektor 210 und/oder 212 nutzt die gleiche Optikeinheit 204 wie der Bildsensor 202 der Bilderfassungsvorrichtung 102 und ist auf der gleichen Leiterplatte montiert, die hier als Sensorträger 200 beschrieben ist.In other words, according to this exemplary embodiment, the image capture device 102 is described as a camera with at least one additional detector 210 and/or 212, which can be operated independently of the image sensor 202 installed in the image capture device 102 and thereby expands or improves the functionality of the image capture device 102. The additional detector 210 and/or 212 uses the same optical unit 204 as the image sensor 202 of the image capture device 102 and is mounted on the same circuit board, which is described here as the sensor carrier 200.

Durch den beschriebenen Ansatz ist eine Detektion von Umgebungsbedingungen zusätzlich oder als Ersatz zu dem beschrieben, was der Bildsensor 202 ermittelt. Dies kann dazu genutzt werden, die Funktion des Bildsensors 202 zu verbessern oder den Bildsensor 202 abzuschalten und nur bei Auftreten von gewissen Ereignissen wieder zu aktivieren, sodass dadurch Energie gespart wird.The described approach describes the detection of environmental conditions in addition to or as a replacement for what the image sensor 202 detects. This can be used to improve the function of the image sensor 202 or to deactivate the image sensor 202 and reactivate it only when certain events occur, thereby saving energy.

Die mindestens eine Detektoreinheit 210 und/oder 212 für die Zusatzfunktion ist hierbei auf demselben Sensorträger 200 wie der Bildsensor 202 platziert und nutzt die gleiche Optikeinheit 204. Dadurch sind keine Korrekturen oder Anpassungen für Bildwinkel, Transmission, Verschmutzung oder Ähnliches erforderlich. Die zusätzlich benötigten Komponenten beschränken sich auf die elektronischen Bauteile, wodurch eine sehr kostengünstige Umsetzung ermöglicht wird. Zur mechanischen Befestigung und Abschirmung gegenüber Umwelteinflüssen sind daher auch keine weiteren Maßnahmen erforderlich. Die Zusatzfunktion ermöglicht beispielsweise einen Weißabgleich oder Spektrum, eine Helligkeit, einen Fokus oder eine Entfernung und/oder eine Reduktion des Energiebedarfs. The at least one detector unit 210 and/or 212 for the additional function is placed on the same sensor carrier 200 as the image sensor 202 and uses the same optical unit 204. This eliminates the need for corrections or adjustments for image angle, transmission, contamination, or the like. The additional components required are limited to the electronic components, enabling a very cost-effective implementation. For mechanical mounting and environmental shielding, Therefore, no further measures are required due to external influences. The additional function allows, for example, white balance or spectrum adjustment, brightness, focus or distance adjustment, and/or a reduction in power consumption.

3 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Bilderfassungsvorrichtung 102, wie sie beispielsweise in mindestens einer der 1 bis 2 beschrieben wurde. In 3 ist die Bilderfassungsvorrichtung 102 aus der Draufsicht dargestellt. Die Optikeinheit 204 ist rotationssymmetrisch ausgeführt, sodass der Erfassungsbereich 208 als ein Bildkreis 300 realisiert ist. Der Bildkreis 300 entspricht hierbei der rotationssymmetrischen Form der Optikeinheit 204, die gemäß diesem Ausführungsbeispiel nicht näher dargestellt ist, da sie ansonsten die im Erfassungsbereich 208 angeordneten Komponenten der Bilderfassungsvorrichtung 102 verdecken würde. Beispielsweise ist der Bildkreis 300 der Optikeinheit 204 durch einen kleinsten Kreis beschreibbar, der den aktiven Teil des Bildsensors 202 abdeckt. 3 shows a schematic representation of an embodiment of an image capture device 102, as used for example in at least one of the 1 to 2 was described. In 3 The image capture device 102 is shown from a top view. The optical unit 204 is rotationally symmetrical, so that the detection area 208 is realized as an image circle 300. The image circle 300 corresponds to the rotationally symmetrical shape of the optical unit 204, which is not shown in detail in this exemplary embodiment, since it would otherwise obscure the components of the image capture device 102 arranged in the detection area 208. For example, the image circle 300 of the optical unit 204 can be described by a smallest circle that covers the active part of the image sensor 202.

Der Bildsensor 202 ist gemäß diesem Ausführungsbeispiel mehreckig ausgeführt und unterteilt den Erfassungsbereich 208 in vier Kreissegmente 302, 304, 306, 308. Hierbei ist die mindestens eine Detektoreinheit 210 in einem der Kreissegmente 302, 304, 306, 308 des Erfassungsbereichs 208 angeordnet. Genauer gesagt ist die Detektoreinheit 210 im Kreissegment 302 angeordnet. Die weitere Detektoreinheit 212 ist in demselben Kreissegment anordenbar oder angeordnet, in dem die Detektoreinheit 210 angeordnet ist. Zusätzlich oder alternativ ist die mindestens eine weitere Detektoreinheit 212 in einem weiteren der Kreissegmente 302, 304, 306, 308 angeordnet.According to this exemplary embodiment, the image sensor 202 is polygonal and divides the detection area 208 into four circular segments 302, 304, 306, 308. The at least one detector unit 210 is arranged in one of the circular segments 302, 304, 306, 308 of the detection area 208. More precisely, the detector unit 210 is arranged in the circular segment 302. The further detector unit 212 can be arranged or is arranged in the same circular segment in which the detector unit 210 is arranged. Additionally or alternatively, the at least one further detector unit 212 is arranged in another of the circular segments 302, 304, 306, 308.

Gemäß diesem Ausführungsbeispiel ist die Detektoreinheit 210 im Kreissegment 302 und die weitere Detektoreinheit 212 im Kreissegment 306 gegenüber angeordnet. Ferner weist die Bilderfassungsvorrichtung 102 zusätzliche Detektoreinheiten 310, 312, 314, 316 auf, sodass die Bilderfassungsvorrichtung 102 insgesamt beispielsweise sechs Detektoreinheiten 210, 212, 310, 312, 314, 316 aufweist. Von den Detektoreinheiten 210, 212, 310, 312, 314, 316 sind gemäß diesem Ausführungsbeispiel jeweils drei in ein und demselben der Kreissegmente 302, 304, 306, 308 angeordnet. Genauer gesagt sind die Detektoreinheiten 210, 310, 312 lediglich beispielhaft im Kreissegment 302 und die Detektoreinheiten 212, 314, 316 im Kreissegment 306 gegenüber angeordnet.According to this exemplary embodiment, the detector unit 210 is arranged in the circular segment 302, and the further detector unit 212 is arranged opposite in the circular segment 306. Furthermore, the image capture device 102 has additional detector units 310, 312, 314, 316, so that the image capture device 102 has a total of, for example, six detector units 210, 212, 310, 312, 314, 316. According to this exemplary embodiment, three of the detector units 210, 212, 310, 312, 314, 316 are arranged in each of the circular segments 302, 304, 306, 308. More precisely, the detector units 210, 310, 312 are arranged opposite one another in the circle segment 302, and the detector units 212, 314, 316 are arranged opposite one another in the circle segment 306, merely by way of example.

In anderen Worten ausgedrückt ist die mindestens eine Detektoreinheit 210 im Bildkreis 300 der Bilderfassungsvorrichtung 102 neben und somit benachbart zu dem Bildsensor 202 angeordnet. Gemäß diesem Ausführungsbeispiel ist die Optikeinheit 204 rotationssymmetrisch aufgebaut, während der Bildsensor 202 rechteckig ausgeführt ist. Dadurch bleiben an den vier Seiten des Bildsensors 202 die vier Kreissegmente 302, 304, 306, 308 im Erfassungsbereich 208 frei.In other words, the at least one detector unit 210 is arranged in the image circle 300 of the image capture device 102 next to and thus adjacent to the image sensor 202. According to this exemplary embodiment, the optical unit 204 is rotationally symmetrical, while the image sensor 202 is rectangular. As a result, the four circular segments 302, 304, 306, 308 remain free on the four sides of the image sensor 202 in the detection area 208.

Zusätzliche Sensoren, die hier allgemein als die Detektoreinheiten 210, 212, 310, 312, 314, 316 beschrieben sind, können in den vier Kreissegmenten 302, 304, 306, 308 positioniert werden, vorzugsweise symmetrisch zueinander. Beispielsweise sind die Detektoreinheiten 210, 212, 310, 312, 314, 316 in der Darstellung oben und unten mit gleichem Abstand zum Bildsensor 202 und gleicher vertikaler Position auf dem Sensorträger 200 angeordnet. Je nach Kreissegment 302, 304, 306, 308 sind dabei mehrere Sensoren angebracht. Die Position der Detektoreinheiten 210, 212, 310, 312, 314, 316 senkrecht zu einer Platinenfläche, und somit beispielsweise eine Höhe der Detektoreinheiten 210, 212, 310, 312, 314, 316, entspricht vorzugsweise der des photosensitiven Bereichs des Bildsensors 202, auf den die Optikeinheit 204 fokussiert. Es sind jedoch auch Positionen ober- oder unterhalb davon nutzbar, wenn die Detektoreinheiten 210, 212, 310, 312, 314, 316 als Punktsensoren ausgeführt sind, die keine hohe räumliche Auflösung erfordern. Für alle Funktionen ist durch die Trennung vom Bildsensor 202 ein unabhängiger Betrieb möglich, insbesondere mit einer höheren zeitlichen Auflösung.Additional sensors, generally described here as detector units 210, 212, 310, 312, 314, 316, can be positioned in the four circular segments 302, 304, 306, 308, preferably symmetrically to one another. For example, detector units 210, 212, 310, 312, 314, 316 are arranged at the top and bottom of the illustration, at the same distance from image sensor 202 and at the same vertical position on sensor carrier 200. Depending on the circular segment 302, 304, 306, 308, multiple sensors are mounted. The position of the detector units 210, 212, 310, 312, 314, 316 perpendicular to a circuit board surface, and thus, for example, a height of the detector units 210, 212, 310, 312, 314, 316, preferably corresponds to that of the photosensitive area of the image sensor 202, onto which the optical unit 204 focuses. However, positions above or below this can also be used if the detector units 210, 212, 310, 312, 314, 316 are designed as point sensors that do not require high spatial resolution. The separation from the image sensor 202 enables independent operation of all functions, particularly with a higher temporal resolution.

Zur Ermittlung von Farbinformationen werden als Sensoren bzw. Detektoreinheiten 210, 212, 310, 312, 314 und/oder 316 beispielsweise mehrere Photodioden, die spektral unterschiedliche Bereiche detektieren, verwendet. Dadurch entfällt beispielsweise eine algorithmische Ermittlung des Weißpunktes, da ein gemessener Wert zur Verfügung steht. Ferner wird durch die mit dem zumindest einen zusätzlichen Sensor 210, 212, 310, 312, 314 und/oder 316 gemessene Helligkeit eine Anpassung von Verstärkung und/oder Belichtungszeit vorgenommen, die ansonsten über eine Mittelwertbildung erfolgt. Weiterhin kann mit entsprechend ausgeführten Photodioden, die über Phasendifferenz oder Kontrast ein Maß für den Fokus ermitteln, eine Fokussiereinheit gesteuert werden.To determine color information, several photodiodes, for example, which detect spectrally different ranges, are used as sensors or detector units 210, 212, 310, 312, 314, and/or 316. This eliminates the need for an algorithmic determination of the white point, for example, since a measured value is available. Furthermore, the brightness measured by the at least one additional sensor 210, 212, 310, 312, 314, and/or 316 is used to adjust the gain and/or exposure time, which would otherwise be done by averaging. Furthermore, a focusing unit can be controlled using appropriately designed photodiodes, which determine a measure of the focus based on phase difference or contrast.

Ein derartiger zusätzlicher Sensor 210 kann zudem als Trigger verwendet werden. Dadurch ist es möglich, den Bildsensor 202 abzuschalten oder in einen Ruhezustand zu versetzen. Erst bei einem Auftreten einer Einschaltbedingung, die mit dem zusätzlichen Sensor 210 ermittelt wird, wird der Bildsensor 202 wieder aktiviert und die Bildaufnahme gestartet. Als Einschaltbedingung können beispielsweise Änderungen einzelner Signale oder Differenzen von Signalen verwendet werden, wie beispielsweise ein Über- oder Unterschreiten eines (Summen-)Helligkeitswertes, der vorzugsweise gefiltert wird, um langsame Änderungen, wie beispielsweise einen Verlauf der Sonne oder eine Zu- oder Abnahme einer Bewölkung herauszufiltern. Weiterhin sind Änderungen eines Differenzsignals beispielsweise von oben und unten, links und rechts oder diagonal über eine optische Achse analog zu einer Quadrant-Photodiode (QPD) als Einschaltbedingung verwendbar. Weitere Einschaltbedingungen sind beispielsweise eine Änderung eines Differenzsignals entlang einer Achse des Bildsensors 202, um Bewegungen in dieser Richtung zu detektieren, und/oder eine Änderung der spektralen Zusammensetzung des detektierten Umgebungslichtes. Durch die Anordnung der mindestens einen Detektoreinheit 210, 212, 310, 312, 314 und/oder 316 um den Bildsensor 202 sind Objekte, die in das Sichtfeld hinein oder heraus wandern, detektierbar, wodurch eine weitaus genauere Steuerung möglich wird, als sie beispielsweise ein nur das Umgebungslicht detektierender Lichtsensor ermöglicht. Bei der Verwendung von mehreren Detektoreinheiten 210, 212, 310, 312, 314 und/oder 316, wie beispielsweise in einem Surroundview-System bei einem Fahrzeug, bei dem sich Sichtbereiche überlappen, können die Detektoreinheiten 210, 212, 310, 312, 314 und/oder 316 dazu verwendet werden, die Bilderfassungsvorrichtung 102, die in dem jeweiligen Überlappungsbereich liegt, mit diesen Informationen zu versorgen. Ein weiterer Anwendungsbereich, auf den dies zutrifft, ist beispielsweise ein sogenanntes Automated Valet Parking (AVP). Die Übertragung von Informationen vom Sensor 202 zur Vorrichtung erfolgt beispielsweise über vorhandene Schnittstellen. Dazu zählen beispielsweise auch I2C oder I3C Kanäle. Beispielsweise kann ein sogenannter Always-On Sentinel Conduit (AOSC) genutzt werden.Such an additional sensor 210 can also be used as a trigger. This makes it possible to switch off the image sensor 202 or to put it into a standby state. Only when a switch-on condition, which is determined using the additional sensor 210, occurs is the image sensor 202 reactivated and image acquisition started. For example, changes in individual signals or differences between signals can be used as switch-on conditions, such as exceeding or falling below a (sum) brightness. ity value, which is preferably filtered to filter out slow changes, such as the path of the sun or an increase or decrease in cloud cover. Furthermore, changes in a differential signal, for example from above and below, left and right, or diagonally across an optical axis, can be used as a switch-on condition, analogous to a quadrant photodiode (QPD). Further switch-on conditions are, for example, a change in a differential signal along an axis of the image sensor 202 in order to detect movements in this direction, and/or a change in the spectral composition of the detected ambient light. By arranging the at least one detector unit 210, 212, 310, 312, 314, and/or 316 around the image sensor 202, objects that move into or out of the field of view can be detected, thereby enabling far more precise control than, for example, a light sensor that only detects ambient light. When using multiple detector units 210, 212, 310, 312, 314, and/or 316, such as in a surround-view system in a vehicle where fields of vision overlap, the detector units 210, 212, 310, 312, 314, and/or 316 can be used to supply the image capture device 102 located in the respective overlapping area with this information. Another application area to which this applies is, for example, so-called Automated Valet Parking (AVP). The transmission of information from the sensor 202 to the device takes place, for example, via existing interfaces. These include, for example, I2C or I3C channels. For example, a so-called Always-On Sentinel Conduit (AOSC) can be used.

Die Erfindung ist durch zusätzliche Sensoren bzw. Detektoreinheiten 210, 212, 310, 312, 314 und/oder 316 auf dem Sensorträger 200 bzw. der Leiterplatte, auf welcher der Bildsensor 202 befestigt ist, innerhalb des Bildkreises des Objektivs 204 nachweisbar. Vereinfachend kann angenommen werden, dass der Bildkreis des Objektivs 204 durch den kleinsten Kreis, der den aktiven Teil des Bildsensors 202 abdeckt, beschrieben wird.The invention can be detected by additional sensors or detector units 210, 212, 310, 312, 314 and/or 316 on the sensor carrier 200 or the circuit board on which the image sensor 202 is mounted, within the image circle of the lens 204. For simplification, it can be assumed that the image circle of the lens 204 is described by the smallest circle that covers the active part of the image sensor 202.

Der beschriebene Ansatz ist insbesondere in Verbindung mit einem Rückkanal über eine Schnittstelle, mit der die Bilderfassungsvorrichtung 102 beispielsweise an ein Steuergerät bzw. eine Vorrichtung angebunden wird, realisierbar.The described approach can be implemented in particular in conjunction with a return channel via an interface with which the image capture device 102 is connected, for example, to a control unit or a device.

4 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 400 zum Betreiben einer Bilderfassungsvorrichtung, wie sie in mindestens einer der 1 bis 3 beschrieben oder mindestens erwähnt wurde. Das Verfahren 400 umfasst hierzu einen Schritt 402 des Empfangens von Detektordaten von einer Schnittstelle zu der mindestens einen Detektoreinheit, wobei die Detektordaten mindestens eine Eigenschaft des auf den Erfassungsbereich gerichteten Lichts repräsentieren. Weiterhin umfasst das Verfahren 400 einen Schritt 404 des Abgleichens der Detektordaten mit Referenzdaten, um ein Abgleichergebnis zu erhalten. Das Abgleichergebnis repräsentiert beispielsweise ein Über- oder Unterschreiten eines Helligkeitswerts, eine Änderung von Differenzsignalen und/oder eine Änderung der spektralen Zusammensetzung des Umgebungslichts. Zusätzlich umfasst das Verfahren 400 einen Schritt 406 des Ansteuerns des Bildsensors, um den Bildsensor in Abhängigkeit von dem Abgleichergebnis in einen aktivierten oder deaktivierten Zustand zu versetzen oder zu belassen. Das bedeutet, dass der Bildsensor beispielsweise aktiviert wird, wenn das Abgleichergebnis mindestens eine Änderung im Umfeld offenbart, beispielsweise wenn sich ein Objekt in das oder aus dem Sichtfeld bewegt. Alternativ wird der Bildsensor deaktiviert oder in einen Ruhezustand versetzt, wenn das Abgleichergebnis keine Veränderung im Umfeld offenbart. 4 shows a flowchart of an embodiment of a method 400 for operating an image capture device as described in at least one of the 1 to 3 described or at least mentioned. For this purpose, the method 400 comprises a step 402 of receiving detector data from an interface to the at least one detector unit, wherein the detector data represents at least one property of the light directed onto the detection area. Furthermore, the method 400 comprises a step 404 of comparing the detector data with reference data to obtain a comparison result. The comparison result represents, for example, an exceedance or undershoot of a brightness value, a change in difference signals, and/or a change in the spectral composition of the ambient light. In addition, the method 400 comprises a step 406 of controlling the image sensor in order to set or leave the image sensor in an activated or deactivated state depending on the comparison result. This means that the image sensor is activated, for example, if the comparison result reveals at least one change in the environment, for example, if an object moves into or out of the field of view. Alternatively, the image sensor is deactivated or placed in a sleep state if the comparison result does not reveal any change in the environment.

Gemäß einem Ausführungsbeispiel wird im Schritt 406 des Ansteuerns zusätzlich oder alternativ zu dem Bildsensor zumindest eine innerhalb oder außerhalb der Bilderfassungsvorrichtung angeordnete Funktionseinheit angesteuert, bei der es sich z. B. um einen Bildsensor einer anderen Kamera, ein Steuergerät beispielsweise eines Fahrzeugs, das weitere Aktionen z. B. im Fahrzeug auslöst, oder dergleichen handelt.According to one embodiment, in step 406 of the actuation, in addition to or alternatively to the image sensor, at least one functional unit arranged inside or outside the image capture device is actuated, which is, for example, an image sensor of another camera, a control unit, for example of a vehicle, which triggers further actions, for example in the vehicle, or the like.

5 zeigt ein Blockschaltbild einer Vorrichtung 104 gemäß einem Ausführungsbeispiel. Die Vorrichtung 104 entspricht oder ähnelt beispielsweise der in 1 beschriebenen Vorrichtung und ist demnach beispielsweise für ein Fahrzeug einsetzbar. Die Vorrichtung 104 ist ausgebildet, um ein Verfahren zum Betreiben einer Bilderfassungsvorrichtung anzusteuern und/oder durchzuführen, wie es beispielsweise in 4 beschrieben wurde. Anders ausgedrückt ist die Vorrichtung 104 ausgebildet, um die Bilderfassungsvorrichtung aus mindestens einer der 1 bis 3 oder eine ähnliche Bilderfassungsvorrichtung zu betreiben oder einen Betrieb derselben zu steuern. Dazu weist die Vorrichtung 104 beispielsweise eine Empfangseinheit 500, eine Abgleicheinheit 502 und eine Ansteuereinheit 504 auf. Die Empfangseinheit 500 ist dabei ausgebildet, um Detektordaten 506 von einer Schnittstelle zu der mindestens einen Detektoreinheit 210 zu empfangen, wobei die Detektordaten 506 mindestens eine Eigenschaft des auf den Erfassungsbereich gerichteten Lichts repräsentieren. Die Abgleicheinheit 502 ist ausgebildet, um die Detektordaten 506 mit Referenzdaten 508 abzugleichen, um ein Abgleichergebnis 510 zu erhalten. Die Ansteuereinheit 504 ist ausgebildet, um den Bildsensor 202 anzusteuern, um den Bildsensor 202 in Abhängigkeit von dem Abgleichergebnis 510 in einen aktivierten oder deaktivierten Zustand zu versetzen oder zu belassen. 5 shows a block diagram of a device 104 according to an embodiment. The device 104 corresponds or is similar, for example, to the device shown in 1 described device and can therefore be used, for example, for a vehicle. The device 104 is designed to control and/or carry out a method for operating an image capture device, as described, for example, in 4 In other words, the device 104 is designed to select the image capture device from at least one of the 1 to 3 or a similar image capture device or to control the operation thereof. For this purpose, the device 104 has, for example, a receiving unit 500, a calibration unit 502, and a control unit 504. The receiving unit 500 is designed to receive detector data 506 from an interface to the at least one detector unit 210, wherein the detector data 506 represents at least one property of the light directed onto the detection area. The calibration unit 502 is designed to compare the detector data 506 with reference data 508 to obtain a calibration result 510. The control unit 504 is designed to control the image sensor 202 to set or leave the image sensor 202 in an activated or deactivated state depending on the adjustment result 510.

Gemäß einem Ausführungsbeispiel ist die Ansteuereinheit 504 ausgebildet, um zusätzlich oder alternativ zu dem Bildsensor zumindest eine innerhalb oder außerhalb der Bilderfassungsvorrichtung angeordnete Funktionseinheit anzusteuern, bei der es sich z. B. um einen Bildsensor einer anderen Kamera, ein Steuergerät beispielsweise eines Fahrzeugs, das weitere Aktionen z. B. im Fahrzeug auslöst, oder dergleichen handelt.According to one embodiment, the control unit 504 is designed to control, in addition to or as an alternative to the image sensor, at least one functional unit arranged inside or outside the image capture device, which may be, for example, an image sensor of another camera, a control unit of, for example, a vehicle, which triggers further actions, for example, in the vehicle, or the like.

Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an embodiment comprises an “and/or” link between a first feature and a second feature, this is to be read as meaning that the embodiment according to one embodiment has both the first feature and the second feature and according to another embodiment has either only the first feature or only the second feature.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 2008/0278580 A1 [0002]
US 2016/0295195 A1 [0002]
DE 103 57 488 A1 [0002]

Claims

An image capture device (102), wherein the image capture device (102) has the following features: - an optical unit (204) configured to direct light (206) onto a capture area (208); - a sensor carrier (200) arranged at least partially within the capture area (208); - an image sensor (202) for capturing an image using the light (206) directed onto the capture area (208), wherein the image sensor (202) is arranged on the sensor carrier (200) and within the capture area (208); and - at least one detector unit (210) for detecting at least one property of the light (206) directed onto the capture area (208), wherein the at least one detector unit (210) is arranged adjacent to the image sensor (202) on the sensor carrier (200) and within the capture area (208).

Image capture device (102) according to Claim 1 , with at least one further detector unit (212) for detecting at least one property of the light (206) directed onto the detection area (208), wherein the at least one further detector unit (212) is arranged adjacent to the image sensor (202) on the sensor carrier (200) and in the detection area (208).

Image capture device (102) according to Claim 2 , wherein the detector unit (210) and the at least one further detector unit (212) are arranged symmetrically to one another in the detection area (208).

Image capture device (102) according to one of the preceding claims, wherein the optical unit (204) is rotationally symmetrical, wherein the capture area (208) is realized as an image circle (300).

Image capture device (102) according to one of the preceding claims, wherein the image sensor (202) is polygonal,

Image capture device (102) according to the Claims 4 and 5 , wherein the image sensor (202) divides the detection area (208) into four circular segments (302, 304, 306, 308).

Image capture device (102) according to Claim 6 , wherein the at least one detector unit (210) is arranged in one of the circular segments (302, 304, 306, 308) of the detection area (208).

Image capture device (102) according to one of the Claims 2 until 7 , wherein the further detector unit (212) is arranged in the same one of the circular segments (302, 304, 306, 308) in which the detector unit (210) is arranged, and/or wherein the at least one further detector unit (212) is arranged in a further one of the circular segments (302, 304, 306, 308).

Image capture device (102) according to one of the preceding claims, wherein the at least one detector unit (210) is formed as a point sensor or a photodiode.

Image capture device (102) according to one of the preceding claims, wherein the at least one detector unit (210) is designed to detect color information, brightness and/or focus as the property.

A method (400) for operating an image capture device (102) according to one of the preceding claims, wherein the method (400) comprises the following steps: - receiving (402) detector data (506) from an interface to the at least one detector unit (210), wherein the detector data (506) represents at least one property of the light (208) directed onto the capture area (208); - comparing (404) the detector data (506) with reference data (508) to obtain a comparison result (510); and - controlling (406) the image sensor (202) to set or leave the image sensor (202) in an activated or deactivated state depending on the comparison result (510).

Device (104) which is configured to carry out and/or control the steps (402, 404, 406) of the method (400) according to one of the preceding claims in corresponding units (500, 502, 504).

Computer program configured to execute and/or control the steps (402, 404, 406) of the method (400) according to one of the preceding claims.

Machine-readable storage medium on which the computer program is Claim 13 is stored.

Vehicle (100) having the following features: - an image capture device (102) according to one of the Claims 1 until 10 and - a device (104) according to Claim 12 , the is coupled to the image capture device (102).