DE102024105267A1

DE102024105267A1 - Method for operating a driver assistance device for a motor vehicle, driver assistance device for a motor vehicle and computer program product

Info

Publication number: DE102024105267A1
Application number: DE102024105267.8A
Authority: DE
Inventors: Michael Lübcke; Sascha Schreiber
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2024-02-26
Filing date: 2024-02-26
Publication date: 2025-08-28
Anticipated expiration: 2044-02-27
Also published as: DE102024105267B4

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Fahrerassistenzeinrichtung (2) für ein Kraftfahrzeug (1), wobei mittels einer ersten Kamera (4) ein erstes Bild unter Verwendung einer ersten Farbfiltermatrix (8) und mittels einer zweiten Kamera (5) ein zweites Bild unter Verwendung einer gegenüber der ersten Farbfiltermatrix (8) eine andere Farbfilteranordnung aufweisenden zweiten Farbfiltermatrix (9) aufgenommen wird. Dabei ist vorgesehen, dass eine Farbinformation des ersten Bilds unter Verwendung einer Farbinformation des zweiten Bilds angepasst und aus dem farbangepassten ersten Bild ein Bildinhalt erstellt sowie mittels einer Anzeigeeinrichtung (16) angezeigt wird. Die Erfindung betrifft weiterhin eine Fahrerassistenzeinrichtung (2) für ein Kraftfahrzeug (1) sowie ein Computerprogrammprodukt. The invention relates to a method for operating a driver assistance device (2) for a motor vehicle (1), wherein a first image is recorded by means of a first camera (4) using a first color filter matrix (8), and a second image is recorded by means of a second camera (5) using a second color filter matrix (9) having a different color filter arrangement than the first color filter matrix (8). It is provided that color information of the first image is adapted using color information of the second image, and that image content is created from the color-adapted first image and displayed by means of a display device (16). The invention further relates to a driver assistance device (2) for a motor vehicle (1) and to a computer program product.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Fahrerassistenzeinrichtung für ein Kraftfahrzeug, wobei mittels einer ersten Kamera ein erstes Bild unter Verwendung einer ersten Farbfiltermatrix und mittels einer zweiten Kamera ein zweites Bild unter Verwendung einer gegenüber der ersten Farbfiltermatrix eine andere Farbfilteranordnung aufweisenden zweiten Farbfiltermatrix aufgenommen wird. Die Erfindung betrifft weiterhin eine Fahrerassistenzeinrichtung für ein Kraftfahrzeug sowie ein ComputerprogrammproduktThe invention relates to a method for operating a driver assistance device for a motor vehicle, wherein a first image is recorded by a first camera using a first color filter matrix, and a second image is recorded by a second camera using a second color filter matrix having a different color filter arrangement than the first color filter matrix. The invention further relates to a driver assistance device for a motor vehicle and a computer program product.

Aus dem Stand der Technik ist beispielsweise die Druckschrift DE 10 2013 102 207 A1 bekannt. Diese beschreibt ein Kamerasystem für ein Fahrzeug, zur Bilderfassung für eines oder mehrere Fahrerassistenzsysteme, umfassend ein erstes Kameramodul und ein zweites Kameramodul, wobei das erste Kameramodul und das zweite Kameramodul jeweils wenigstens ein Abbildungssystem und ein Bildaufnahmeelement umfassen, und wobei das erste Kameramodul und das zweite Kameramodul zur Umsetzung wenigstens von zwei unterschiedlichen Bilderfassungsfunktionen dienen.The state of the art includes, for example, the publication DE 10 2013 102 207 A1 This describes a camera system for a vehicle for image capture for one or more driver assistance systems, comprising a first camera module and a second camera module, wherein the first camera module and the second camera module each comprise at least one imaging system and one image recording element, and wherein the first camera module and the second camera module serve to implement at least two different image capture functions.

Weiterhin offenbart die Druckschrift US 2019/0191127 A1 ein Fahrzeugvisualisierungssystem mit einer Vielzahl von Kameras, darunter eine Vorwärtssichtkamera und mehrere Farbkameras, sowie mit einer Anzeigevorrichtung, die Videobilder anzeigen kann, die aus den von den Farbkameras erfassten Bilddaten abgeleitet werden. Eine Verarbeitungseinheit umfasst einen ersten Verarbeitungschip, der einen Bildprozessor für die maschinelle Verarbeitung der erfassten Bilddaten hat, und einen zweiten Verarbeitungstyp, der Fahrzeugdaten und von den Farbkameras erfasste Bilddaten empfängt. Der erste Verarbeitungschip verarbeitet die von den Kameras erfassten Bilddaten für die Objekterkennung und die Klassifizierung von Objekten. Der erste Verarbeitungschip steuert die Betriebsparameter der Farbkameras, um die Objekterkennung auf der Grundlage der maschinellen Verarbeitung der von den Farbkameras aufgenommenen Bilddaten durch den ersten Verarbeitungschip zu verbessern. Der zweite Verarbeitungschip steuert die Betriebsparameter der Farbkameras zur Anzeige von Videobildern auf dem Anzeigegerät.Furthermore, the publication discloses US 2019/0191127 A1 A vehicle visualization system having a plurality of cameras, including a forward-view camera and a plurality of color cameras, and a display device capable of displaying video images derived from the image data acquired by the color cameras. A processing unit includes a first processing chip having an image processor for machine processing the acquired image data, and a second processing unit that receives vehicle data and image data acquired by the color cameras. The first processing chip processes the image data acquired by the cameras for object detection and object classification. The first processing chip controls the operating parameters of the color cameras to improve object detection based on the machine processing of the image data acquired by the color cameras by the first processing chip. The second processing chip controls the operating parameters of the color cameras to display video images on the display device.

Es ist Aufgabe der Erfindung, ein Verfahren zum Betreiben einer Fahrerassistenzeinrichtung für ein Kraftfahrzeug vorzuschlagen, welches gegenüber bekannten Verfahren Vorteile aufweist, insbesondere eine umfassendere Visualisierung einer Umgebung des Kraftfahrzeugs für einen Fahrer des Kraftfahrzeugs bereitstellt.It is an object of the invention to propose a method for operating a driver assistance device for a motor vehicle, which has advantages over known methods, in particular provides a more comprehensive visualization of an environment of the motor vehicle for a driver of the motor vehicle.

Dies wird erfindungsgemäß mit einem Verfahren zum Betreiben einer Fahrerassistenzeinrichtung für ein Kraftfahrzeug mit den Merkmalen des Anspruchs 1 erreicht. Dabei ist vorgesehen, dass eine Farbinformation des ersten Bilds unter Verwendung einer Farbinformation des zweiten Bilds angepasst und aus dem farbangepassten erste Bild ein Bildinhalt erstellt sowie mittels einer Anzeigeeinrichtung angezeigt wird.This is achieved according to the invention with a method for operating a driver assistance device for a motor vehicle having the features of claim 1. It is provided that color information of the first image is adapted using color information of the second image, and an image content is created from the color-adapted first image and displayed by means of a display device.

Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben. Es wird darauf hingewiesen, dass die in der Beschreibung erläuterten Ausführungsbeispiele nicht beschränkend sind; vielmehr sind beliebige Variationen der in der Beschreibung, den Ansprüchen sowie den Figuren offenbarten Merkmale realisierbar.Advantageous embodiments with useful further developments of the invention are specified in the dependent claims. It should be noted that the exemplary embodiments explained in the description are not limiting; rather, any variations of the features disclosed in the description, the claims, and the figures are feasible.

Das Verfahren dient dem Betreiben der Fahrerassistenzeinrichtung. Die Fahrerassistenzeinrichtung ist vorzugsweise Bestandteil des Kraftfahrzeugs, kann jedoch selbstverständlich auch separat von diesem vorliegen. Beispielsweise ist die Fahrerassistenzeinrichtung mittels eines Steuergeräts des Kraftfahrzeugs umgesetzt oder sie umfasst das Steuergerät. Die Fahrerassistenzeinrichtung dient ganz grundsätzlich dem Unterstützen eines Fahrers des Kraftfahrzeugs bei dem Durchführen eines Fahrbetriebs des Kraftfahrzeugs. Während des Fahrbetriebs bewegt sich das Kraftfahrzeug zumindest zeitweise mit einer von Null verschiedenen Geschwindigkeit, insbesondere in seiner Vorwärtsfahrtrichtung oder seiner Rückwärtsfahrtrichtung.The method serves to operate the driver assistance device. The driver assistance device is preferably a component of the motor vehicle, but can of course also be present separately. For example, the driver assistance device is implemented by means of a control unit of the motor vehicle or it comprises the control unit. The driver assistance device fundamentally serves to support a driver of the motor vehicle when carrying out a driving operation of the motor vehicle. During driving operation, the motor vehicle moves at least temporarily at a speed other than zero, in particular in its forward or reverse direction.

Die Fahrerassistenzeinrichtung umfasst beispielsweise einen Abstandsregeltempomat, welcher die Geschwindigkeit des Kraftfahrzeugs derart einstellt, dass sich ein definierter Abstand des Kraftfahrzeugs zu einem Objekt einstellt, welches sich vor dem Kraftfahrzeug befindet. Das Objekt ist beispielsweise ein weiteres Kraftfahrzeug, also ein dem Kraftfahrzeug vorausfahrendes Kraftfahrzeug, ein Anhänger eines weiteren Kraftfahrzeugs oder dergleichen. Vorzugsweise ist die Fahrerassistenzeinrichtung für ein assistiertes Fahren zumindest nach Level 1oder mindestens nach Level 2 oder für ein automatisiertes beziehungsweise autonomes Fahren mindestens nach Level 3 gemäß SAE-Standard J3016 vorgesehen und ausgestaltet.The driver assistance system includes, for example, an adaptive cruise control system, which adjusts the speed of the motor vehicle to maintain a defined distance between the motor vehicle and an object located in front of the motor vehicle. The object is, for example, another motor vehicle, i.e., a motor vehicle traveling in front of the motor vehicle, a trailer of another motor vehicle, or the like. The driver assistance system is preferably designed and configured for assisted driving at least according to Level 1 or at least according to Level 2, or for automated or autonomous driving at least according to Level 3 according to SAE Standard J3016.

Die Fahrerassistenzeinrichtung verfügt über eine optische Umfelderfassungseinrichtung, mit welcher sie das Umfeld des Kraftfahrzeugs erfasst. Die optische Umfelderfassungseinrichtung umfasst zumindest die erste Kamera sowie die zweite Kamera, mittels welchen Bilder des Umfelds aufgenommen werden. Die Bilder sind somit Abbildungen des Umfelds beziehungsweise enthalten solche Abbildungen. Sie werden zumindest teilweise von der Fahrerassistenzeinrichtung weiterverarbeitet, beispielsweise um die bereits erwähnte Abstandsregelung umzusetzen. Insbesondere dient hierzu das Bild der ersten Kamera, welche entsprechend vorzugsweise als Frontkamera des Kraftfahrzeugs vorliegt und das Umfeld des Kraftfahrzeugs in Richtung einer Längsachse des Kraftfahrzeugs nach vorne gesehen aufnimmt. Die zweite Kamera dient hingegen beispielsweise einer Visualisierung des Umfelds des Kraftfahrzeugs für dessen Fahrer. Hierbei kann es vorgesehen sein, dass das zweite Bild zumindest zeitweise mittels der Anzeigeeinrichtung dem Fahrer angezeigt wird.The driver assistance system has an optical environment detection device with which it detects the surroundings of the motor vehicle. The optical environment detection device comprises at least the first camera and the second camera, by means of which images of the surroundings are recorded. The images are therefore images of the surroundings or contain such images. They are at least partially The driver assistance system further processes the image, for example, to implement the aforementioned distance control. In particular, the image from the first camera serves this purpose. This camera is preferably a front camera of the motor vehicle and records the surroundings of the motor vehicle, viewed forward in the direction of a longitudinal axis of the motor vehicle. The second camera, on the other hand, serves, for example, to visualize the surroundings of the motor vehicle for its driver. In this case, it can be provided that the second image is displayed to the driver at least temporarily via the display device.

Die erste Kamera kann selbstverständlich Bestandteil mehrerer erster Kameras sein; analog hierzu kann die zweite Kamera Bestandteil mehrerer zweiter Kameras sein. Sofern im Rahmen dieser Beschreibung von der ersten Kamera oder der zweiten Kamera die Rede ist, so sind die Ausführungen stets als auf mindestens eine erste Kamera beziehungsweise mindestens eine zweite Kamera bezogen zu verstehen. Die Ausführungen für die erste Kamera sind vorzugsweise auf jede der mehreren ersten Kameras, sofern vorhanden, anwendbar. Entsprechend sind die Ausführungen für die zweite Kamera auf jede der mehreren zweiten Kameras, ebenfalls lediglich sofern vorhanden, anwendbar.The first camera can of course be a component of multiple first cameras; analogously, the second camera can be a component of multiple second cameras. Wherever reference is made to the first camera or the second camera within the scope of this description, the statements are always to be understood as referring to at least one first camera or at least one second camera, respectively. The statements for the first camera are preferably applicable to each of the multiple first cameras, if present. Accordingly, the statements for the second camera are applicable to each of the multiple second cameras, likewise only if present.

Die erste Kamera kann grundsätzlich eine beliebige Kamera sein. Beispielsweise ist sie für sichtbares Licht ausgelegt, erfasst also elektromagnetische Strahlung mit einer Wellenlänge von 380 nm bis 750 nm auf. Zusätzlich oder alternativ erfasst die erste Kamera auch Licht im Infrarotbereich, also mit einer Wellenlänge von mehr als 750 nm, insbesondere von mindestens 780 nm einerseits und höchstens 1500 nm, höchstens 1200 nm oder höchstens 900 nm andererseits. Die erste Kamera kann zudem als Nachtsichtkamera vorliegen. Hierzu verfügt sie zum Beispiel über einen Restlichtverstärker oder ist als ein solcher ausgestaltet. Alternativ liegt sie als Wärmebildkamera vor. Die zweite Kamera ist hingegen bevorzugt für sichtbares Licht ausgelegt, insbesondere ausschließlich. Die erste Kamera und die zweite Kamera können sich insoweit hinsichtlich der von ihnen erfassten Wellenlängenbereiche unterscheiden. Beispielsweise überlappen sich die Wellenlängenbereiche, sind jedoch gegeneinander versetzt. Sie können auch unmittelbar aneinander angrenzen oder beabstandet voneinander vorliegen.The first camera can basically be any camera. For example, it is designed for visible light, i.e., it detects electromagnetic radiation with a wavelength of 380 nm to 750 nm. Additionally or alternatively, the first camera also detects light in the infrared range, i.e., with a wavelength of more than 750 nm, in particular of at least 780 nm on the one hand, and at most 1500 nm, at most 1200 nm, or at most 900 nm on the other. The first camera can also be a night vision camera. For this purpose, it has, for example, a residual light amplifier or is designed as such. Alternatively, it is a thermal imaging camera. The second camera, on the other hand, is preferably designed for visible light, in particular exclusively. The first camera and the second camera can differ in this respect with regard to the wavelength ranges they detect. For example, the wavelength ranges overlap but are offset from one another. They can also be directly adjacent to one another or spaced apart from one another.

Die erste Kamera nimmt das erste Bild unter Verwendung der ersten Farbfiltermatrix auf, die zweite Kamera das zweite Bild unter Verwendung der zweiten Farbfiltermatrix. Jede der Farbfiltermatrizen entspricht einer Anordnung von Farbfiltern, insbesondere unter regelmäßiger Wiederholung eines Farbfiltermusters. Das Farbfiltermuster beschreibt beispielsweise eine 2x2-Anordnung aus Farbfiltern, eine 3x3-Anordnung aus Farbfiltern oder eine 4x4 Anordnung aus Farbfiltern, welche zur Erzeugung der jeweiligen Farbfiltermatrix regelmäßig wiederholt wird. Jede der Farbfiltermatrizen setzt sich also aus mehreren Wiederholungen des Farbfiltermusters zusammen.The first camera captures the first image using the first color filter matrix, and the second camera captures the second image using the second color filter matrix. Each of the color filter matrices corresponds to an arrangement of color filters, in particular with a regularly repeated color filter pattern. The color filter pattern describes, for example, a 2x2 arrangement of color filters, a 3x3 arrangement of color filters, or a 4x4 arrangement of color filters, which is regularly repeated to generate the respective color filter matrix. Each of the color filter matrices is therefore composed of several repetitions of the color filter pattern.

Eine solche Farbfiltermatrix ist beispielsweise eine Bayer-Filtermatrix, welche sich aus einem roten, zwei grünen und einem blauen Farbfilter zusammensetzt. Die Farbfilter innerhalb jeder Farbfiltermatrix beziehungsweise in jedem Farbfiltermuster sind vorzugsweise gleich groß, weisen also untereinander identische Flächen beziehungsweise Flächeninhalte auf. Eine der Farbfiltermatrizen kann derart gewählt sein, dass lediglich durchsichtige Farbfilter vorliegen, sodass die jeweilige Kamera das entsprechende Bild aufnimmt als wäre kein Farbfilter vorhanden.One such color filter matrix is a Bayer filter matrix, for example, which consists of one red, two green, and one blue color filter. The color filters within each color filter matrix or in each color filter pattern are preferably the same size, i.e., they have identical areas or surface areas. One of the color filter matrices can be selected such that only transparent color filters are present, so that the respective camera captures the corresponding image as if no color filter were present.

Von Bedeutung ist jedoch, dass die erste Farbfiltermatrix der ersten Kamera von der zweiten Farbfiltermatrix der zweiten Kamera verschieden ist und sich hierbei hinsichtlich der Farbfilteranordnung von dieser unterscheidet. Beispielsweise setzen sich die erste Farbfiltermatrix und die zweite Farbfiltermatrix aus unterschiedlichen Farbfiltermustern zusammen, die erste Farbfiltermatrix weist also ein erstes Farbfiltermuster auf beziehungsweise setzt sich aus mehreren Wiederholungen dieses ersten Farbfiltermusters zusammen und die zweite Farbfiltermatrix weist das zweite Farbfiltermuster auf beziehungsweise setzt sich aus mehreren Wiederholungen dieses zweiten Farbfiltermusters zusammen.What is important, however, is that the first color filter matrix of the first camera is different from the second color filter matrix of the second camera and differs from the latter in terms of the color filter arrangement. For example, the first color filter matrix and the second color filter matrix are composed of different color filter patterns. Thus, the first color filter matrix has a first color filter pattern or is composed of multiple repetitions of this first color filter pattern, and the second color filter matrix has the second color filter pattern or is composed of multiple repetitions of this second color filter pattern.

Entsprechend unterscheiden sich die Bilder der Kameras bei (lediglich angenommenem) identischem Sichtfeld hinsichtlich ihres Farbeindrucks. Insbesondere gibt das erste Bild die in der aufgenommenen Szene vorhandenen Farben nicht oder lediglich teilweise korrekt wieder, wohingegen die Farbwiedergabe des mittels der zweiten Kamera aufgenommenen zweiten Bilds genauer ist, also eine höhere Farbtreue aufweist. Somit eignet sich das zweite Bild besser für eine Wiedergabe mittels der Anzeigeeinrichtung als das erste Bild, da der Fahrer durch die verfälschte Farbwiedergabe des ersten Bilds irritiert werden könnte. Beispielsweise zeichnet sich jedoch das erste Bild gegenüber dem zweiten Bild durch eine bessere Detailtreue aus, insbesondere indem die erste Kamera das erste Bild mit einer höheren Auflösung aufnimmt als die zweite Kamera das zweite Bild. Somit sind Details in der Umgebung anhand des ersten Bilds besser zu erkennen.Accordingly, the images from the cameras differ in terms of their color impression, even if the field of view is (only assumed to be) identical. In particular, the first image does not reproduce the colors present in the recorded scene correctly, or only partially, whereas the color reproduction of the second image recorded by the second camera is more accurate, i.e., has a higher color fidelity. The second image is therefore better suited for reproduction via the display device than the first image, as the driver could be irritated by the distorted color reproduction of the first image. For example, the first image is distinguished from the second image by a better level of detail, in particular because the first camera records the first image with a higher resolution than the second camera records the second image. This means that details in the surroundings can be better recognized using the first image.

Aus diesem Grund ist es vorgesehen, das erste Bild hinsichtlich seiner Farbwiedergabe an das zweite Bild anzupassen und erst anschließend mithilfe der Anzeigeeinrichtung dem Fahrer anzuzeigen, nämlich in Form des Bildinhalts, der aus dem ersten Bild nach dessen Farbanpassung erstellt wird. Letztlich bedeutet dies, dass die Farbinformation des zweiten Bilds verwendet wird, um die Farbinformation des ersten Bilds anzupassen beziehungsweise zu korrigieren. Hierbei bleibt eine Struktur des ersten Bilds erhalten, es erfolgt insoweit lediglich eine Kolorierung des ersten Bilds, während zum Beispiel in dem ersten Bild enthaltene Kanten und ähnliche Strukturen unverändert beibehalten werden. Insbesondere wird das Anpassen des ersten Bilds bevorzugt vor einem Demosaicing vorgenommen, bei welchem Sensordaten der Kameras interpoliert werden.For this reason, it is intended to adapt the first image to the second image in terms of its colour reproduction and only then to display it to the driver using the display device. namely in the form of the image content created from the first image after its color adjustment. Ultimately, this means that the color information of the second image is used to adjust or correct the color information of the first image. In this process, a structure of the first image is retained; in this case, only a colorization of the first image occurs, while edges and similar structures contained in the first image, for example, are retained unchanged. In particular, the adjustment of the first image is preferably performed before demosaicing, in which sensor data from the cameras is interpolated.

Somit erfolgt eine Angleichung der Farbwiedergabe des ersten Bilds an diejenige des zweiten Bilds, sodass beide Bilder denselben Farbeindruck bei dem Fahrer bewirken. Vorzugsweise wird das Anpassen der Farbinformation des ersten Bilds insoweit derart durchgeführt, dass der Fahrer beziehungsweise ein menschlicher Betrachter nachfolgend die beiden Bilder, nämlich das erste Bild und das zweite Bild, anhand ihrer Farbwiedergabe nicht mehr unterscheiden kann.This adjusts the color reproduction of the first image to that of the second image, so that both images produce the same color impression for the driver. Preferably, the color information of the first image is adjusted in such a way that the driver or a human observer can no longer distinguish between the two images, namely the first image and the second image, based on their color reproduction.

Hierdurch wird es beispielsweise möglich, die mit unterschiedlichen Farbfiltermatrizen aufgenommenen Bilder im gleichen Kontext dem Fahrer anzuzeigen, insbesondere mittels der Anzeigeeinrichtung. Hierunter ist insbesondere zu verstehen, dass die beiden Bilder nebeneinander angezeigt werden oder zumindest derart, dass der Fahrer sie gleichzeitig optisch erfassen kann. Ohne Farbanpassung des ersten Bilds würde der Fahrer die unterschiedliche Farbwiedergabe zwischen den Bildern erkennen. Das kann unter Umständen sogar dazu führen, dass der Fahrer in den beiden Bildern enthaltene Abbildungen desselben Objekts einander nicht zuordnen kann. Dies könnte die Unterstützungsleistung der Fahrerassistenzeinrichtung für den Fahrer und auch die Akzeptanz der Fahrerassistenzeinrichtung durch den Fahrer verringern. Ein solcher Effekt wird mithilfe der beschriebenen Vorgehensweise vermieden.This makes it possible, for example, to display images recorded with different color filter matrices in the same context to the driver, in particular using the display device. This means, in particular, that the two images are displayed side by side or at least in such a way that the driver can visually perceive them simultaneously. Without color adjustment of the first image, the driver would notice the different color reproduction between the images. Under certain circumstances, this could even lead to the driver being unable to identify images of the same object contained in the two images. This could reduce the level of support provided by the driver assistance device for the driver and also the driver's acceptance of the driver assistance device. Such an effect is avoided using the procedure described.

Eine Weiterbildung der Erfindung sieht vor, dass als erste Kamera eine Kamera verwendet wird, die eine andere Brennweite und/oder eine andere Ausrichtung und/oder eine andere Bildauflösung und/oder einen anderen Wellenlängenbereich aufweist als die zweite Kamera, wobei ein Sichtfeld der ersten Kamera zumindest teilweise in einem Sichtfeld der zweiten Kamera liegt. Die beiden Kameras unterscheiden sich also nicht nur hinsichtlich der Farbfiltermatrix, sondern auch hinsichtlich wenigstens eines anderen Kameraparameters, insbesondere hinsichtlich ihrer Brennweite und/oder ihrer Ausrichtung und/oder ihrer Bildauflösung beziehungsweise Sensorauflösung.A further development of the invention provides that the first camera is used with a camera that has a different focal length and/or a different orientation and/or a different image resolution and/or a different wavelength range than the second camera, wherein a field of view of the first camera lies at least partially within a field of view of the second camera. The two cameras therefore differ not only with regard to the color filter matrix, but also with regard to at least one other camera parameter, in particular with regard to their focal length and/or their orientation and/or their image resolution or sensor resolution.

Beispielsweise ist die Brennweite der ersten Kamera größer als die Brennweite der zweiten Kamera. Insbesondere weist eine der Kameras eine Brennweite auf, welche höchstens 24 mm, höchstens 16 mm, höchstens 10 mm oder höchstens 6 mm entspricht. Die jeweils andere Kamera weist hingegen eine Brennweite auf, welche mindestens 40 mm, mindestens 80 mm oder mindestens 120 mm entspricht. Durch die unterschiedlichen Brennweiten der Kameras werden Bereiche der Umgebung, welche von beiden Kameras erfasst werden, teilweise mit unterschiedlicher Schärfe in dem ersten Bild und dem zweiten Bild wiedergegeben. Aus diesem Grund ist es besonders sinnvoll, das erste Bild zum Erstellen des Bildinhalts heranzuziehen, jedoch um die Farbinformation des zweiten Bilds ergänzt.For example, the focal length of the first camera is greater than the focal length of the second camera. In particular, one of the cameras has a focal length of no more than 24 mm, no more than 16 mm, no more than 10 mm, or no more than 6 mm. The other camera, on the other hand, has a focal length of no less than 40 mm, no less than 80 mm, or no less than 120 mm. Due to the different focal lengths of the cameras, areas of the environment captured by both cameras are sometimes reproduced with different levels of sharpness in the first image and the second image. For this reason, it is particularly useful to use the first image to create the image content, but to supplement it with the color information from the second image.

Bevorzugt ist zusätzlich oder alternativ die Bildauflösung der ersten Kamera höher als die Bildauflösung der zweiten Kamera, insbesondere um einen Faktor von mindestens 1,5, mindestens 2,0 oder mindestens 2,5. Das von der ersten Kamera bereitgestellte erste Bild weist also eine höhere Bildauflösung und damit eine höhere Schärfe auf als das von der zweiten Kamera bereitgestellte zweite Bild. Von letzterem wird daher lediglich die Farbinformation verwendet, um die Farben des ersten Bilds anzupassen beziehungsweise zu korrigieren.Preferably, additionally or alternatively, the image resolution of the first camera is higher than the image resolution of the second camera, in particular by a factor of at least 1.5, at least 2.0, or at least 2.5. The first image provided by the first camera thus has a higher image resolution and thus greater sharpness than the second image provided by the second camera. Therefore, only the color information from the second camera is used to adjust or correct the colors of the first image.

Die beiden Kameras können dieselbe Ausrichtung aufweisen, also beispielsweise mit parallelen optischen Achsen angeordnet sein. Vorzugsweise sind ihre Ausrichtungen jedoch voneinander verschieden, insbesondere also mit gegeneinander angewinkelten oder windschiefen optischen Achsen angeordnet. In jedem Fall überschneiden sich jedoch die Sichtfelder der Kameras, das Sichtfeld der ersten Kamera liegt insoweit zumindest teilweise in dem Sichtfeld der zweiten Kamera und umgekehrt. Hierdurch ist sichergestellt, dass die Bilder zumindest teilweise dieselbe Szene beziehungsweise dasselbe Objekt abbilden, sodass die Farbinformation zwischen ihnen übertragbar sind. Mit der beschriebenen Vorgehensweise ergibt sich ein besonders hoher Informationsgehalt der Bilder, da diese voneinander verschiedene, jedoch überlappende Sichtfelder wiedergeben.The two cameras can have the same orientation, for example, be arranged with parallel optical axes. Preferably, however, their orientations are different from one another, in particular with optical axes that are angled or skewed towards one another. In any case, however, the fields of view of the cameras overlap; the field of view of the first camera therefore lies at least partially within the field of view of the second camera, and vice versa. This ensures that the images at least partially depict the same scene or object, so that the color information can be transferred between them. The procedure described results in a particularly high information content in the images, since they reproduce different, yet overlapping fields of view.

Eine Weiterbildung der Erfindung sieht vor, dass als erste Kamera eine zur automatischen Fahrerassistenz, insbesondere zur Längs- und/oder Querführung des Kraftfahrzeugs, verwendete Kamera und/oder als zweite Kamera eine Kamera eines Visualisierungssystems herangezogen wird. Die erste Kamera dient zur Durchführung der automatischen Fahrerassistenz, bei welcher mittels künstlicher Intelligenz die von der ersten Kamera aufgenommenen Bilder ausgewertet werden, beispielsweise zur Durchführung eines autonomen oder teilautonomen Fahrbetriebs des Kraftfahrzeugs, wobei anhand des mittels der ersten Kamera aufgenommenen ersten Bilds die Längsführung oder Querführung des Kraftfahrzeugs vorgenommen wird. Beispielsweise wird das erste Bild der ersten Kamera einem künstlichen neuronalen Netzwerk zugeführt, um eine Objekterkennung vorzunehmen, zum Beispiel eine Erkennung auf einen Verkehrsteilnehmer, ein Verkehrszeichen, ein Lichtzeichen oder dergleichen. Mittels der automatischen Fahrerassistenz wird insbesondere ein assistierter oder ein automatisierter Fahrbetrieb des Kraftfahrzeugs durchgeführt.A further development of the invention provides that the first camera is a camera used for automatic driver assistance, in particular for longitudinal and/or lateral guidance of the motor vehicle, and/or the second camera is a camera of a visualization system. The first camera is used to carry out the automatic driver assistance, in which the images recorded by the first camera are evaluated by means of artificial intelligence, for example to carry out autonomous or semi-autonomous driving of the motor vehicle, wherein The longitudinal or lateral guidance of the motor vehicle is performed based on the first image captured by the first camera. For example, the first image from the first camera is fed to an artificial neural network to perform object recognition, for example, recognition of a road user, a traffic sign, a traffic light, or the like. The automatic driver assistance system, in particular, performs assisted or automated driving of the motor vehicle.

Das Durchführen der Längsführung des Kraftfahrzeugs umfasst insbesondere das Einstellen einer Fahrgeschwindigkeit des Kraftfahrzeugs, insbesondere durch Beschleunigen und/oder Abbremsen des Kraftfahrzeugs. Die Querführung umfasst ein Lenken des Kraftfahrzeugs. Die Längsführung erfolgt beispielsweise im Rahmen der erwähnten Abstandsregelung mittels des Abstandsregeltempomats. Die Querführung wird bevorzugt im Rahmen eines Spurwechselassistents vorgenommen. In jedem Fall kommt bei der Längs- und/oder Querführung das erste Bild zum Einsatz beziehungsweise wird hierzu das erste Bild ausgewertet.Implementing longitudinal guidance of the motor vehicle includes, in particular, setting the driving speed of the motor vehicle, in particular by accelerating and/or decelerating the motor vehicle. Lateral guidance includes steering the motor vehicle. Longitudinal guidance occurs, for example, within the framework of the aforementioned distance control using adaptive cruise control. Lateral guidance is preferably performed within the framework of a lane change assistant. In any case, the first image is used for longitudinal and/or lateral guidance, or the first image is evaluated for this purpose.

Zusätzlich oder alternativ ist die zweite Kamera Bestandteil des Visualisierungssystems, beispielsweise eines Top View- Kamerasystems. Hierunter ist ein Kamerasystem zu verstehen, mittels welchem ein Umfeld des Kraftfahrzeugs, vorzugsweise im Nahbereich, aufgenommen und dem Fahrer angezeigt wird. Insbesondere umfasst das Kamerasystem mehrere zweite Kameras, welche gemeinsam ein Umfeld des Kraftfahrzeugs erfassen, bevorzugt in wenigstens einer gedachten Ebene durchgehend und ununterbrochen. Die mittels der mehreren zweiten Kameras des Kamerasystems aufgezeichneten zweiten Bilder werden miteinander kombiniert und dem Fahrer des Kraftfahrzeugs zumindest zeitweise angezeigt. Mit der beschriebenen Vorgehensweise ergibt sich eine besonders hohe Flexibilität und eine umfassende Unterstützung für den Fahrer.Additionally or alternatively, the second camera is a component of the visualization system, for example a top-view camera system. This refers to a camera system by means of which an area surrounding the motor vehicle is recorded, preferably in close-up, and displayed to the driver. In particular, the camera system comprises a plurality of second cameras which jointly record an area surrounding the motor vehicle, preferably continuously and uninterruptedly in at least one imaginary plane. The second images recorded by the plurality of second cameras of the camera system are combined with one another and displayed to the driver of the motor vehicle, at least temporarily. The procedure described results in particularly high flexibility and comprehensive support for the driver.

Eine Weiterbildung der Erfindung sieht vor, dass bei dem Erstellen des Bildinhalts in das erste Bild zumindest ein Teil des zweiten Bilds eingeblendet wird und/oder das erste Bild um zumindest einen Teil des zweiten Bilds ergänzt wird. Beispielsweise ist es vorgesehen, dass der Teil des zweiten Bilds oder auch das gesamte zweite Bild einen Teil des ersten Bilds ersetzt, das zweite Bild also zumindest teilweise in das erste Bild eingeblendet wird. Es kann jedoch auch vorgesehen sein, dass eine Ergänzung des ersten Bilds unter Verwendung zumindest eines Teils des zweiten Bilds vorgenommen wird. In diesem Fall wird beispielsweise das erste Bild mittels des zweiten Bilds vergrößert.A further development of the invention provides that when creating the image content, at least a part of the second image is superimposed into the first image and/or the first image is supplemented by at least a part of the second image. For example, it is provided that the part of the second image or even the entire second image replaces a part of the first image, i.e. the second image is at least partially superimposed into the first image. However, it can also be provided that the first image is supplemented using at least a part of the second image. In this case, for example, the first image is enlarged using the second image.

Beispielsweise ist es vorgesehen, sowohl das erste Bild als auch das zweite Bild in eine Ansicht des Kraftfahrzeugs aus Vogelperspektive umzurechnen und das zweite Bild hierbei oder nachfolgend in das erste Bild einzublenden beziehungsweise den Bildinhalt aus den so umgerechneten Bilder zusammenzusetzen. Somit setzt sich der resultierende Bildinhalt, welcher nachfolgend mittels der Anzeigeeinrichtung angezeigt wird, beispielsweise im Nahbereich des Kraftfahrzeugs aus dem zweiten Bild und im Fernbereich des Kraftfahrzeugs aus dem ersten Bild zusammen. Alternativ kann selbstverständlich der Bildinhalt lediglich das erste Bild umfassen, welches mittels der Farbinformation des zweiten Bilds farbangepasst ist. In jedem Fall wird eine besonders umfassende Information des Fahrers sichergestellt.For example, it is provided to convert both the first image and the second image into a bird's-eye view of the motor vehicle and to overlay the second image onto the first image at this time or subsequently, or to combine the image content from the images converted in this way. Thus, the resulting image content, which is subsequently displayed by the display device, is composed, for example, of the second image in the near field of the motor vehicle and of the first image in the far field of the motor vehicle. Alternatively, the image content can of course only comprise the first image, which is color-adjusted using the color information of the second image. In any case, particularly comprehensive information for the driver is ensured.

Eine Weiterbildung der Erfindung sieht vor, dass als erste Farbfiltermatrix eine Falschfarb-Filtermatrix verwendet wird, die wenigstens einen klaren Filter aufweist oder als RCCC-Filtermatrix oder RYYCy-Filtermatrix vorliegt. Die erste Farbfiltermatrix ist also nicht auf eine Wiedergabe der Umgebung des Kraftfahrzeugs in Echtfarben ausgerichtet, sondern verfälscht die Farben oder erfasst sie erst gar nicht. Um eine besonders zuverlässige maschinelle Auswertung des mittels der ersten Kamera aufgenommenen ersten Bilds zu erzielen, weist die erste Farbfiltermatrix wenigstens einen klaren Filter auf. Hierunter ist zu verstehen, dass das Farbfiltermuster den klaren Filter aufweist, welcher sich insoweit beispielsweise mehrfach in der ersten Farbfiltermatrix wiederfindet.A further development of the invention provides that a false-color filter matrix is used as the first color filter matrix, which has at least one clear filter or is present as an RCCC filter matrix or RYYCy filter matrix. The first color filter matrix is therefore not designed to reproduce the surroundings of the motor vehicle in true colors, but rather distorts the colors or does not capture them at all. In order to achieve particularly reliable machine evaluation of the first image recorded by the first camera, the first color filter matrix has at least one clear filter. This means that the color filter pattern has the clear filter, which in this respect can be found, for example, multiple times in the first color filter matrix.

Eine solche Farbfiltermatrix ist beispielsweise die RCCC-Filtermatrix, welche ein 2x2-Farbfiltermuster mit einem Rotfilter und drei klaren Filter aufweist, das wiederholt angeordnet ist. Auch die RYYCy-Filtermatrix kann verwendet werden. Diese weist ein 2x2-Farbfiltermuster mit einem Rotfilter, zwei Gelbfiltern und einem Cyanfilter auf. Mit einer solchen Farbfiltermatrix wird eine gute Auswertbarkeit des ersten Bilds erreicht, sodass dieses sich besonders gut zur Durchführung der maschinellen Fahrerassistenz, insbesondere der Längs- und/oder Querführung des Kraftfahrzeugs, eignet.One such color filter matrix is the RCCC filter matrix, which features a 2x2 color filter pattern with a red filter and three clear filters arranged in a repeated pattern. The RYYCy filter matrix can also be used. This has a 2x2 color filter pattern with a red filter, two yellow filters, and a cyan filter. This type of color filter matrix allows for good evaluation of the first image, making it particularly suitable for automated driver assistance, particularly for longitudinal and/or lateral guidance of the vehicle.

Eine Weiterbildung der Erfindung sieht vor, dass als zweite Farbfiltermatrix eine Echtfarb-Filtermatrix verwendet wird, insbesondere eine Bayer-Filtermatrix. Die zweite Farbfiltermatrix ist also darauf ausgerichtet, in dem Umfeld des Kraftfahrzeugs vorliegende Farben zumindest näherungsweise korrekt wiederzugeben, also ein hinsichtlich des Farbeindrucks möglichst wahrnehmungsgetreues Abbild der Umgebung zu erzeugen. Die Echtfarb-Filtermatrix weist insoweit vorzugsweise zumindest einen Rotfilter, einen Grünfilter und einen Blaufilter auf. Beispielsweise wird die Bayer-Filtermatrix verwendet, welche sich aus einem Rotfilter, zwei Grünfiltern und einem Blaufilter zusammensetzt, die in dem bereits erwähnten 2x2-Farbfiltermuster angeordnet sind.A further development of the invention provides that a true-color filter matrix, in particular a Bayer filter matrix, is used as the second color filter matrix. The second color filter matrix is thus designed to reproduce the colors present in the surroundings of the motor vehicle at least approximately correctly, i.e., to create an image of the surroundings that is as perceptually true as possible with regard to the color impression. The true-color filter matrix preferably comprises at least a red filter, a green filter, and a blue filter. For example, the Bayer filter matrix is used which consists of a red filter, two green filters and a blue filter arranged in the previously mentioned 2x2 color filter pattern.

Auch andere Filtermatrizen können selbstverständlich herangezogen werden, soweit sie eine Echtfarbwidergabe zumindest näherungsweise sicherstellen. Beispiele für solche Filtermatrizen sind beispielsweise eine RGBC-Filtermatrix, bestehend aus ein Rotfilter, einem Grünfilter, einem Blaufilter und einem klaren Filter, ein RGBCy-Filter, bestehend aus einem Rotfilter, einem Grünfilter, einem Blaufilter und einem Cyanfilter. Die beschriebene Vorgehensweise stellt eine hohe Farbtreue des zweiten Bilds sicher und ermöglicht damit eine Farbanpassung des ersten Bilds mit hoher Qualität.Other filter matrices can, of course, also be used, as long as they ensure at least approximately true color reproduction. Examples of such filter matrices include an RGBC filter matrix consisting of a red filter, a green filter, a blue filter, and a clear filter, and an RGBCy filter consisting of a red filter, a green filter, a blue filter, and a cyan filter. The described procedure ensures high color fidelity of the second image and thus enables high-quality color adjustment of the first image.

Eine Weiterbildung der Erfindung sieht vor, dass unter Berücksichtigung des Sichtfelds der ersten Kamera und des Sichtfelds der zweiten Kamera wenigstens ein erster Bildpunkt des ersten Bilds wenigstens einem zweiten Bildpunkt des zweiten Bilds zugeordnet und die Farbinformation des wenigstens einen ersten Bildpunkts unter Verwendung der Farbinformation des wenigsten einen zweiten Bildpunkts angepasst wird. Das erste Bild setzt sich aus mehreren ersten Bildpunkten und das zweite Bild aus mehreren zweiten Bildpunkt dann zusammen. Sofern im Rahmen dieser Beschreibung von dem ersten Bildpunkt oder dem wenigsten einen ersten Bildpunkt gesprochen wird, so sind die Ausführungen stets zueinander äquivalent. Auch sind die Ausführungen für den ersten Bildpunkt beziehungsweise den wenigstens einen ersten Bildpunkt bevorzugt auf jeden der mehreren ersten Bildpunkte des ersten Bilds übertragbar. Entsprechendes gilt für den zweiten Bildpunkt beziehungsweise den wenigstens einen zweiten Bildpunkt sowie die mehreren in dem zweiten Bild enthaltenen zweiten Bildpunkte.A further development of the invention provides that, taking into account the field of view of the first camera and the field of view of the second camera, at least one first pixel of the first image is assigned to at least one second pixel of the second image, and the color information of the at least one first pixel is adapted using the color information of the at least one second pixel. The first image is then composed of a plurality of first pixels, and the second image of a plurality of second pixels. If, within the scope of this description, reference is made to the first pixel or to the at least one first pixel, the statements are always equivalent to one another. The statements for the first pixel or the at least one first pixel are also preferably transferable to each of the plurality of first pixels of the first image. The same applies to the second pixel or the at least one second pixel, as well as to the plurality of second pixels contained in the second image.

Vorzugsweise wird jeder der ersten Bildpunkte des ersten Bilds einem der zweiten Bildpunkte des zweiten Bilds zugeordnet und/oder umgekehrt, nämlich unter Berücksichtigung der Sichtfelder der Kameras, welche sich insbesondere aus den Brennweiten und/oder den Ausrichtungen der Kameras ergeben. Vorzugsweise wird zusätzlich die Bildauflösung der Kameras berücksichtigt. Beispielsweise wird die Zuordnung des ersten Bildpunkts zu dem zweiten Bildpunkt beziehungsweise der ersten Bildpunkte zu den zweiten Bildpunkten bei einer Kalibrierung der Kameras vorgenommen und in der Fahrerassistenzeinrichtung hinterlegt. Die Kalibrierung kann sowohl im Rahmen einer statischen Kalibrierung vorgenommen werden als auch als dynamische Kalibrierung vorliegen.Preferably, each of the first pixels of the first image is assigned to one of the second pixels of the second image and/or vice versa, namely taking into account the fields of view of the cameras, which result in particular from the focal lengths and/or the orientations of the cameras. Preferably, the image resolution of the cameras is also taken into account. For example, the assignment of the first pixel to the second pixel, or of the first pixels to the second pixels, is performed during a calibration of the cameras and stored in the driver assistance device. The calibration can be performed either as part of a static calibration or as a dynamic calibration.

Anhand der Zuordnung wird die Farbinformation des zweiten Bildpunkts beziehungsweise der zweiten Bildpunkte auf den ersten Bildpunkt beziehungsweise die ersten Bildpunkte übertragen. Hierbei wird beispielsweise die Farbintensität des ersten Bildpunkts und/oder eine Helligkeitsinformation des ersten Bildpunkt beibehalten oder zumindest berücksichtigt. Somit wird ein Qualitätsverlust beziehungsweise ein Verlust an Schärfe des ersten Bilds durch die Farbanpassung unter Verwendung des zweiten Bilds vermieden. Die beschriebene Vorgehensweise stellt eine einfache und mit geringer Rechenkapazität durchführbare Vorgehensweise zur Erzielung von Bilder mit hoher Qualität bereit. Dies schließt insbesondere auch die Projektion von Farbinformationen aus dem niedriger aufgelösten zweiten Bilder in das höher aufgelöste, insbesondere für Verfahren der künstlichen Intelligenz optimierte erste Bild ein.Based on the assignment, the color information of the second pixel or pixels is transferred to the first pixel or pixels. For example, the color intensity of the first pixel and/or brightness information of the first pixel is retained or at least taken into account. This avoids a loss of quality or a loss of sharpness of the first image due to the color adjustment using the second image. The described procedure provides a simple procedure for achieving high-quality images that can be carried out with little computing power. This includes, in particular, the projection of color information from the lower-resolution second image into the higher-resolution first image, which is particularly optimized for artificial intelligence methods.

Eine Weiterbildung der Erfindung sieht vor, dass die Farbinformation des ersten Bilds unter Verwendung eines neuronalen Netzwerks angepasst wird, welchem das zweite Bild als Kontextdatensatz zugeführt wird. Verfahren zum Colorieren eines Falschfarbenbilds, beispielsweise eines Schwarzweißbilds, mittels künstlicher Intelligenz sind grundsätzlich bekannt, sodass nicht näher auf diese eingegangen werden soll. In jedem Fall wird die Farbanpassung des ersten Bilds unter Verwendung des neuronalen Netzwerks durchgeführt und hierbei das zweite Bild berücksichtigt.A further development of the invention provides that the color information of the first image is adjusted using a neural network to which the second image is fed as a context data set. Methods for colorizing a false-color image, for example, a black-and-white image, using artificial intelligence are generally known, so they will not be discussed in detail. In any case, the color adjustment of the first image is performed using the neural network, taking the second image into account.

Dem neuronalen Netzwerk wird vorzugsweise das zweite Bild als Kontextdatensatz zugeführt, um eine besonders hohe Farbtreue bei der Farbanpassung des ersten Bilds zu erzielen. Das neuronale Netzwerk weist hierzu ein Kontextfenster zu, auf dessen Inhalt es zum Anpassen der Farbinformation des ersten Bilds zurückgreift. Diesem Kontextfenster wird das zweite Bild zugeführt, sodass es nachfolgend als Kontext für das neuronale Netzwerk bei der Anpassung der Farbinformation des ersten Bilds zur Verfügung steht. Das neuronale Netzwerk basiert insoweit die Farbanpassung des ersten Bilds auf das zweite Bild beziehungsweise dessen Farbinformation. Hierdurch wird das erste Bild besonders farbgetreu angepasst.The second image is preferably fed to the neural network as a context data set in order to achieve particularly high color fidelity when adjusting the color of the first image. For this purpose, the neural network assigns a context window, the contents of which it uses to adjust the color information of the first image. The second image is fed to this context window so that it is subsequently available as context for the neural network when adjusting the color information of the first image. The neural network bases the color adjustment of the first image on the second image or its color information. This ensures that the first image is adjusted with particularly high color fidelity.

Die Erfindung betrifft weiterhin eine Fahrerassistenzeinrichtung für ein Kraftfahrzeug, insbesondere zur Durchführung des Verfahrens gemäß den Ausführungen im Rahmen dieser Beschreibung, wobei die Fahrerassistenzeinrichtung dazu vorgesehen und ausgestaltet ist, mittels einer ersten Kamera ein erstes Bild unter Verwendung einer ersten Farbfiltermatrix und mittels einer zweiten Kamera ein zweites Bild unter Verwendung einer gegenüber der ersten Farbfiltermatrix eine andere Farbfilteranordnung aufweisenden zweiten Farbfiltermatrix aufzunehmen. Dabei ist die Fahrerassistenzeinrichtung weiter dazu vorgesehen und ausgestaltet, eine Farbinformation des ersten Bilds unter Verwendung einer Farbinformation des zweiten Bilds anzupassen und aus dem farbangepassten ersten Bild einen Bildinhalt zu erstellen sowie mittels einer Anzeigeeinrichtung anzuzeigen.The invention further relates to a driver assistance device for a motor vehicle, in particular for carrying out the method according to the explanations in the context of this description, wherein the driver assistance device is provided and designed to record a first image by means of a first camera using a first color filter matrix and a second image by means of a second camera using a second color filter matrix having a different color filter arrangement than the first color filter matrix. The driver assistance device is further provided and designed to adapt color information of the first image using color information of the second image and to create an image content from the color-adjusted first image and to display it using a display device.

Auf die Vorteile einer derartigen Ausgestaltung der Fahrerassistenzeinrichtung beziehungsweise einer derartigen Vorgehensweise wurde bereits hingewiesen. Sowohl die Fahrerassistenzeinrichtung als auch das Verfahren zu ihrem Betreiben können gemäß den Ausführungen im Rahmen dieser Beschreibung weitergebildet sein, sodass insoweit auf diese verwiesen wird.The advantages of such a design of the driver assistance system and such a procedure have already been pointed out. Both the driver assistance system and the method for its operation can be further developed according to the explanations in this description, so reference is made to these in this regard.

Zudem betrifft die Erfindung ein Computerprogrammprodukt, umfassend Befehle, die bewirken, dass die Fahrerassistenzeinrichtung für das Kraftfahrzeug gemäß den Ausführungen dieser Beschreibung das erläuterte Verfahren ausführt. Hinsichtlich der Vorteile und möglicher vorteilhafter Weiterbildungen wird in Gänze auf die Beschreibung verwiesen.Furthermore, the invention relates to a computer program product comprising commands that cause the driver assistance system for the motor vehicle to execute the described method according to the details of this description. Regarding the advantages and possible advantageous developments, reference is made to the entire description.

Die in der Beschreibung beschriebenen Merkmale und Merkmalskombinationen, insbesondere die in der nachfolgenden Figurenbeschreibung beschriebenen und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen, sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungsformen als von der Erfindung umfasst anzusehen, die in der Beschreibung und/oder den Figuren nicht explizit gezeigt oder erläutert sind, jedoch aus den erläuterten Ausführungsformen hervorgehen oder aus ihnen ableitbar sind.The features and feature combinations described in the description, in particular the features and feature combinations described in the following description of the figures and/or shown in the figures, can be used not only in the respective combination specified, but also in other combinations or on their own, without departing from the scope of the invention. Thus, embodiments are also considered to be encompassed by the invention that are not explicitly shown or explained in the description and/or the figures, but which follow from or can be derived from the explained embodiments.

Die Erfindung wird nachfolgend anhand der in der Zeichnung dargestellten Ausführungsbeispiele näher erläutert, ohne dass eine Beschränkung der Erfindung erfolgt. Dabei zeigt die einzige

1 eine schematische Darstellung eines Kraftfahrzeugs mit einer Fahrerassistenzeinrichtung, die mittels einer Umfelderfassungseinrichtung ein Umfeld des Kraftfahrzeugs erfasst.

The invention will be explained in more detail below with reference to the exemplary embodiments shown in the drawings, without limiting the invention.

1 a schematic representation of a motor vehicle with a driver assistance device that detects the surroundings of the motor vehicle by means of an environment detection device.

Die 1 zeigt eine schematische Darstellung eines Kraftfahrzeugs 1 mit einer Fahrerassistenzeinrichtung 2, die über eine Umfelderfassungseinrichtung 3 verfügt. Von der Umfelderfassungsrichtung 3 sind rein beispielhaft eine erste Kamera 4 sowie eine zweite Kamera 5 dargestellt, welche jeweils ein Umfeld 6 des Kraftfahrzeugs erfassen. Die beiden Kameras 4 und 5 sind derart angeordnet und ausgestaltet, dass sie einander überlappende Sichtfelder aufweisen. Entsprechend erfassen sie jeweils ein Objekt 7, welches in dem Umfeld 6 vorliegt. Rein beispielhaft ist hier das Objekt 7 als Vegetationsobjekt, genauer gesagt als Baum, dargestellt.The 1 shows a schematic representation of a motor vehicle 1 with a driver assistance device 2 having an environment detection device 3. Purely by way of example, a first camera 4 and a second camera 5 are shown in the environment detection device 3, each of which captures an environment 6 of the motor vehicle. The two cameras 4 and 5 are arranged and configured such that they have overlapping fields of view. Accordingly, they each capture an object 7 present in the environment 6. Purely by way of example, object 7 is shown here as a vegetation object, more precisely as a tree.

Rein schematisch angedeutet ist der Umstand, dass die erste Kamera 4 das Umfeld 6 unter Verwendung einer ersten Farbfiltermatrix 8 und die zweite Kamera 5 unter Verwendung einer zweiten Farbfiltermatrix 9 erfasst. Es ist erkennbar, dass sich jede der Farbfiltermatrizen 8 und 9 aus mehreren Farbfiltern 10, 11, 12 und 13 zusammensetzt, welche in einem jeweiligen Farbfiltermuster 14 beziehungsweise 15 angeordnet sind, das sich zur Bildung der jeweiligen Farbfiltermatrix 8 beziehungsweise 9 durchgehend wiederholt.Indicated purely schematically is the fact that the first camera 4 captures the surroundings 6 using a first color filter matrix 8 and the second camera 5 captures it using a second color filter matrix 9. It can be seen that each of the color filter matrices 8 and 9 is composed of several color filters 10, 11, 12, and 13, which are arranged in a respective color filter pattern 14 and 15, respectively, which is repeated throughout to form the respective color filter matrix 8 and 9, respectively.

Die erste Farbfiltermatrix 8 liegt hier als RYYCy-Filtermatrix vor, entsprechend setzt sich ihr Farbfiltermuster 14 aus einem Rotfilter, zwei Gelbfiltern und einem Cyanfilter zusammen. Der Farbfilter 10 liegt als Rotfilter, die Farbfilter 11 und 12 als Gelbfilter und der Farbfilter 13 als Cyanfilter vor. Die zweite Farbfiltermatrix 9 ist als Bayer-Filtermatrix ausgestaltet und weist folglich einen Rotfilter, zwei Grünfilter und einen Blaufilter auf, aus welchen sich das Farbfiltermuster 15 zusammensetzt. Der Farbfilter 10 liegt hierbei als Rotfilter, die Farbfilter 11 und 12 als Grünfilter und der Farbfilter 13 als Blaufilter vor.The first color filter matrix 8 is configured as an RYYCy filter matrix, and its color filter pattern 14 is composed of a red filter, two yellow filters, and a cyan filter. Color filter 10 is configured as a red filter, color filters 11 and 12 as yellow filters, and color filter 13 as a cyan filter. The second color filter matrix 9 is configured as a Bayer filter matrix and thus has a red filter, two green filters, and a blue filter, which comprise the color filter pattern 15. Color filter 10 is configured as a red filter, color filters 11 and 12 as green filters, and color filter 13 as a blue filter.

Mittels der ersten Kamera 4 wird ein erstes Bild und unter Verwendung der zweiten Kamera 5 ein zweites Bild aufgenommen. Es ist vorgesehen, eine Farbinformation des ersten Bilds unter Verwendung einer Farbinformation des zweiten Bilds anzupassen. Aus diesem auf diese Art und Weise farbangepassten ersten Bild wird ein Bildinhalt erstellt, der anschließend mittels einer Anzeigeeinrichtung 16 des Kraftfahrzeugs 1 angezeigt wird. Beispielsweise entspricht der Bildinhalt unmittelbar dem farbangepassten ersten Bild. Es kann jedoch auch vorgesehen sein, das farbangepasste erste Bild perspektivisch anzupassen, beispielsweise in eine Ansicht des Kraftfahrzeugs 1 aus der Vogelperspektive zu überführen.A first image is captured by the first camera 4, and a second image is captured by the second camera 5. The color information of the first image is adapted using color information of the second image. From this color-adjusted first image, an image content is created, which is then displayed by a display device 16 of the motor vehicle 1. For example, the image content corresponds directly to the color-adjusted first image. However, the perspective of the color-adjusted first image can also be adapted, for example, by converting it into a bird's-eye view of the motor vehicle 1.

Mit der beschriebenen Vorgehensweise wird eine farbgetreue Wiedergabe des ersten Bilds oder zumindest des auf Grundlage des ersten Bilds erstellten Bildinhalts erreicht. Besonders bevorzugt ist es vorgesehen, den Bildinhalt aus dem ersten Bild und dem zweiten Bild zusammenzusetzen, sodass dem Fahrer ein Höchstmaß an Informationen auf optischen Weg angeboten wird. Dies steigert die Akzeptanz der Fahrerassistenzeinrichtung 2 durch den Fahrer des Kraftfahrzeugs 1.The described procedure achieves a true-color reproduction of the first image, or at least of the image content created based on the first image. Particularly preferably, the image content is composed of the first image and the second image, so that the driver is provided with a maximum amount of information visually. This increases the acceptance of the driver assistance system 2 by the driver of the motor vehicle 1.

BEZUGSZEICHENLISTE:LIST OF REFERENCE SYMBOLS:

11: Kraftfahrzeugmotor vehicle
22: FahrerassistenzeinrichtungDriver assistance system
33: UmfelderfassungseinrichtungEnvironment detection device
44: 1. Kamera1. Camera
55: 2. Kamera2. Camera
66: UmfeldEnvironment
77: Objektobject
88: 1. Farbfiltermatrix1. Color filter matrix
99: 2. Farbfiltermatrix2. Color filter matrix
1010: FarbfilterColor filter
1111: FarbfilterColor filter
1212: FarbfilterColor filter
1313: FarbfilterColor filter
1414: FarbfiltermusterColor filter pattern
1515: FarbfiltermusterColor filter pattern
1616: AnzeigeeinrichtungDisplay device

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10 2013 102 207 A1 [0002]
US 2019/0191127 A1 [0003]

Claims

Method for operating a driver assistance device (2) for a motor vehicle (1), wherein a first image is recorded by means of a first camera (4) using a first color filter matrix (8) and a second image is recorded by means of a second camera (5) using a second color filter matrix (9) having a different color filter arrangement than the first color filter matrix (8), characterized in that color information of the first image is adapted using color information of the second image and an image content is created from the color-adapted first image and displayed by means of a display device (16).

Procedure according to Claim 1 , characterized in that a camera is used as the first camera (4) which has a different focal length and/or a different orientation and/or a different image resolution and/or a different wavelength range than the second camera (5), wherein a field of view of the first camera (4) lies at least partially in a field of view of the second camera (5).

Method according to one of the preceding claims, characterized in that a camera used for automatic driver assistance is used as the first camera (4) and/or a camera of a visualization system is used as the second camera (5).

Method according to one of the preceding claims, characterized in that when creating the image content, at least a part of the second image is superimposed into the first image and/or the first image is supplemented by at least a part of the second image.

Method according to one of the preceding claims, characterized in that a false color filter matrix is used as the first color filter matrix (8), which has at least one clear filter or is present as an RCCC filter matrix or RYYCy filter matrix.

Method according to one of the preceding claims, characterized in that a true color filter matrix is used as the second color filter matrix (9).

Method according to one of the preceding claims, characterized in that , taking into account the field of view of the first camera (4) and the field of view of the second camera (5), at least a first pixel of the first image is assigned to at least one second pixel of the second image and the color information of the at least one first pixel is adapted using the colors of at least one second pixel.

Method according to one of the preceding claims, characterized in that the color information of the first image is adapted using a neural network to which the second image is supplied as a context data set.

Driver assistance device (2) for a motor vehicle (1), in particular for carrying out the method according to one or more of the preceding claims, wherein the driver assistance device (2) is provided and designed to record a first image using a first color filter matrix by means of a first camera (4) and a second image using a second color filter matrix (9) having a different color filter arrangement than the first color filter matrix by means of a second camera (5), characterized in that the driver assistance device (2) is further provided and designed to adapt color information of the first image using color information of the second image and to create an image content from the color-adapted first image and to display it by means of a display device (16).

Computer program product, comprising commands that cause the driver assistance device (2) to Claim 9 the procedure according to one or more of the Claims 1 until 8 executes.