DE102023105294A1 - Analyzing a motor vehicle’s environment using a camera module - Google Patents
Analyzing a motor vehicle’s environment using a camera module Download PDFInfo
- Publication number
- DE102023105294A1 DE102023105294A1 DE102023105294.2A DE102023105294A DE102023105294A1 DE 102023105294 A1 DE102023105294 A1 DE 102023105294A1 DE 102023105294 A DE102023105294 A DE 102023105294A DE 102023105294 A1 DE102023105294 A1 DE 102023105294A1
- Authority
- DE
- Germany
- Prior art keywords
- camera module
- camera
- data
- motor vehicle
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
In der Erfindung geht es darum, mittels eines Kameramoduls (10) eine Umgebung (U) eines Kraftfahrzeugs (1) zu analysieren. Dabei ist das Kameramodul (10) in einer Ein-Box-Architektur umgesetzt und mit einem integrierten Ethernet-Switch ausgestattet. Dazu umfasst das Kameramodul (10) ein Kameragehäuse (16) mit einer Umgebungskamera (11), zumindest einer Recheneinrichtung (12, 13) und einer Verbindungseinrichtung (14), die den Ethernet-Switch ausbildet. Mittels der Recheneinrichtung (12, 13) können durch Anwenden eines vorbestimmten Bildanalysealgorithmus auf Bilddaten (B), die von der Umgebungskamera (11) bereitgestellt werden, Analysedaten (A) erzeugt werden, die eine Eigenschaft zu einem visuellen Bildinhalt der Bilddaten (B) angeben. Die Analysedaten (A) können mittels der Verbindungseinrichtung (14) über jeweils eine von mehreren Ethernet-Schnittstellen (15a, 15b, 15c) an ein daran angeschlossenes, externes Fahrzeugmodul des Kraftfahrzeugs (1), wie zum Beispiel eine Rechenvorrichtung (20) zum Steuern eines elektronischen Fahrzeugführungssystems (21), ausgesendet werden.
Description
Die Erfindung betrifft ein Kameramodul zum Analysieren einer Umgebung für ein Kraftfahrzeug. Des Weiteren betrifft die Erfindung ein Kraftfahrzeug mit einem entsprechenden Kameramodul, sowie ein Verfahren zum Betreiben eines entsprechenden Kameramoduls. Schließlich betrifft die Erfindung ein Computerprogrammprodukt mit Anweisungen zum Ausführen eines entsprechenden Verfahrens.The invention relates to a camera module for analyzing an environment for a motor vehicle. Furthermore, the invention relates to a motor vehicle with a corresponding camera module and a method for operating a corresponding camera module. Finally, the invention relates to a computer program product with instructions for carrying out a corresponding method.
Es gibt Kraftfahrzeuge, die eine oder mehrere Umgebungskameras nutzen, um eine Fahrerassistenzfunktion oder eine autonome Fahrfunktion für das Kraftfahrzeug zu unterstützen. Mittels der Umgebungskamera kann das Umfeld oder die Umgebung des Kraftfahrzeugs, wie zum Beispiel ein Verkehrsgeschehen, aufgezeichnet und überwacht werden. Bilder der Umgebung, die die Umgebungskamera aufnimmt, können mit an sich bekannten Bildanalysealgorithmen mittels einer Rechenelektronik ausgewertet werden. Das Auswerten kann zum Beispiel die Identifikation von Objekten in der Umgebung, wie zum Beispiel andere Verkehrsteilnehmer oder Verkehrsschilder, umfassen. In Abhängigkeit von dem jeweils identifizierten Objekt kann ein Fahrerassistenzsystem zum Ausführen eines gewünschten Fahrmanövers angesteuert werden. Dadurch kann zum Beispiel eine vorgegebene Geschwindigkeit oder eine Fahrspur oder ein Abstand zu einem vorausfahrenden Fahrzeug eingehalten werden oder auf einen Notfall zum Beispiel mit einem Bremsmanöver oder Ausweichmanöver reagiert werden. Weitere Beispiele umfassen die Unterstützung beim Einparken oder zum Beispiel die Klassifizierung von Objekten wie Fahrzeugen, Lastkraftwagen, Fußgängern oder Radfahrern.There are motor vehicles that use one or more surround cameras to support a driver assistance function or an autonomous driving function for the motor vehicle. The surround camera can be used to record and monitor the environment or surroundings of the motor vehicle, such as traffic events. Images of the environment recorded by the surround camera can be evaluated using known image analysis algorithms using computer electronics. The evaluation can include, for example, the identification of objects in the environment, such as other road users or traffic signs. Depending on the object identified in each case, a driver assistance system can be controlled to carry out a desired driving maneuver. This can, for example, be used to maintain a specified speed or lane or distance to a vehicle in front, or to respond to an emergency, for example with a braking maneuver or evasive maneuver. Other examples include assistance with parking or, for example, the classification of objects such as vehicles, trucks, pedestrians or cyclists.
Solche Systeme zur visuellen Wahrnehmung der Umgebung für ein Kraftfahrzeug (Vehicular Vision System), die eine Fahrzeugkamera (Automotive Camera) zur Umgebungsüberwachung nutzen, sind an sich aus dem Stand der Technik bekannt.Such systems for the visual perception of the environment for a motor vehicle (Vehicular Vision System), which use a vehicle camera (Automotive Camera) to monitor the environment, are known per se from the state of the art.
Zum Beispiel offenbart die
Die
Im Stand der Technik sind die Umgebungskamera und Rechenelektronik zur Bildanalyse somit zwei getrennte oder separate Module des Kraftfahrzeugs, die zur Datenübertragung mittels einer Datenleitung verbunden werden. Die Architektur mit zwei getrennten Modulen für die Bilderfassung und die Bildauswertung wird als Zwei-Box-Architektur (Two Box Architecture) bezeichnet. Zudem ist jede Umgebungskamera mit einem Ethernet Anschluss zum Verbinden mit der Rechenelektronik ausgestattet, sodass die Verteilung der Ergebnisse des Auswertens zentral mittels der Rechenelektronik an verschiedene Fahrzeugsteuersysteme erfolgen muss.In the current state of the art, the environmental camera and the computer electronics for image analysis are two separate or separate modules of the motor vehicle, which are connected for data transmission via a data line. The architecture with two separate modules for image acquisition and image analysis is referred to as a two-box architecture. In addition, each environmental camera is equipped with an Ethernet connection for connection to the computer electronics, so that the distribution of the evaluation results must be carried out centrally via the computer electronics to various vehicle control systems.
Es ist die Aufgabe der vorliegenden Erfindung, die Verfügbarkeit von Daten, die mittels einer Umgebungskamera erfasst wurden, im Bordnetzwerk des Kraftfahrzeugs zu erhöhen.It is the object of the present invention to increase the availability of data recorded by means of an environmental camera in the on-board network of the motor vehicle.
Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.The object is achieved by the subject matter of the independent patent claims. Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and/or shown in the figures can be included in the invention not only in the combination specified in each case, but also in other combinations. In particular, the invention can also include embodiments and combinations of features that do not have all the features of an originally formulated claim. In addition, the invention can include embodiments and combinations of features that go beyond or deviate from the combinations of features set out in the references to the claims.
Die Erfindung basiert auf der Erkenntnis, dass die Verfügbarkeit der Daten der Umgebungskamera erhöht werden kann, wenn ein Kameramodul mit einer Ein-Box-Architektur und eingebautem Ethernet-Switch umgesetzt wird. Das heißt, das Kameramodul kann neben der Umgebungskamera auch die Rechenelektronik zur Bildanalyse und zusätzlich mehrere Schnittstellen gemäß dem Ethernet-Standard aufweisen. So können direkt an das Kameramodul mehrere andere Fahrzeugmodule, wie zum Beispiel ein Fahrerassistenzsystem oder Fahrzeugsensoren, angeschlossen werden, um eine Datenübertragung mit dem Kameramodul zu realisieren. Ein solches Kameramodul kann als intelligente Kamera (Smart Camera) bezeichnet.The invention is based on the finding that the availability of the data from the surrounding camera can be increased if a camera module is implemented with a one-box architecture and built-in Ethernet switch. This means that in addition to the surrounding camera, the camera module can also have the computing electronics for image analysis and additionally several interfaces in accordance with the Ethernet standard. Several other vehicle modules, such as a driver assistance system or vehicle sensors, can be connected directly to the camera module in order to implement data transmission with the camera module. Such a camera module can be referred to as an intelligent camera (smart camera).
Hierzu schlägt die Erfindung gemäß einem Aspekt ein Kameramodul zum Analysieren einer Umgebung oder eines Umfelds für ein Kraftfahrzeug vor. Um die Ein-Box-Architektur oder Ein-Gehäuse-Architektur umzusetzen, umfasst das Kameramodul ein Kameragehäuse, welches zumindest die im Folgenden genannten Komponenten des Kameramoduls enthält: eine Umgebungskamera, eine Recheneinrichtung und zumindest eine Verbindungseinrichtung. Mit „enthalten“ ist vorliegend gemeint, dass das Kameragehäuse diese Komponenten umschließt oder einfasst. Die Komponenten können somit in einem Gehäuseinnenraum, den das Gehäuse bereitstellt oder angeordnet sein. Die Komponenten bilden somit eine separate oder getrennte Funktionseinheit von weiteren Modulen des Fahrzeugs. Zum Beispiel können die Komponenten dazu auf einer gemeinsamen Platine angeordnet oder als sogenanntes Ein-Chip-System (System on an Chip) realisiert sein. Das Kameramodul kann somit ein eigenständiges Endgerät im Bordnetz des Kraftfahrzeugs sein.To this end, the invention proposes, according to one aspect, a camera module for analyzing an environment or surroundings for a motor vehicle. In order to use the one-box architecture or one-housing In order to implement the architecture, the camera module comprises a camera housing which contains at least the components of the camera module mentioned below: an environmental camera, a computing device and at least one connection device. In this case, “contain” means that the camera housing encloses or surrounds these components. The components can thus be arranged in a housing interior that the housing provides or provides. The components thus form a separate or distinct functional unit from other modules of the vehicle. For example, the components can be arranged on a common circuit board or implemented as a so-called system on a chip. The camera module can thus be an independent terminal device in the vehicle's on-board network.
Die Umgebungskamera des Kameramoduls ist ausgebildet, Bilddaten, insbesondere in digitaler Form, die eine Abbildung der Umgebung des Kraftfahrzeugs repräsentieren, zu erfassen, also aufzunehmen oder aufzuzeichnen. Die Recheneinrichtung ist zumindest ausgebildet, die erfassten Bilddaten in Abhängigkeit von einem vorbestimmten Bildanalysealgorithmus auszuwerten. Des Weiteren ist die Recheneinrichtung ausgebildet, Analysedaten, die eine Eigenschaft zu einem visuellen Bildinhalt der Bilddaten angeben, als Ergebnis des Auswertens bereitzustellen. Die Analysedaten können somit als die ausgewerteten Bilddaten gemäß dem Bildanalysealgorithmus verstanden werden.The surroundings camera of the camera module is designed to capture, i.e. record or record, image data, particularly in digital form, which represents an image of the surroundings of the motor vehicle. The computing device is at least designed to evaluate the captured image data depending on a predetermined image analysis algorithm. Furthermore, the computing device is designed to provide analysis data, which indicate a property of a visual image content of the image data, as a result of the evaluation. The analysis data can thus be understood as the evaluated image data according to the image analysis algorithm.
Die zumindest eine Verbindungseinrichtung ist ausgebildet, das Kameramodul gemäß dem Ethernet-Standard mit einem zugeordnet zu dem Kameramodul externen Fahrzeugmodul des Kraftfahrzeugs zur Datenübertragung zumindest der Analysedaten zu verbinden. Dabei umfasst die Verbindungseinrichtung zumindest zwei, also zwei oder mehrere, Ethernet-Schnittstellen zum Verbinden des Kameramoduls mit jeweils einem zugeordneten Fahrzeugmodul gemäß dem Ethernet-Standard. Das heißt, die Verbindungseinrichtung kann einen Switch, insbesondere einen Ethernet-Switch, wie er in der Netzwerktechnik an sich bekannt ist, ausbilden. Im verbundenen Zustand des jeweiligen Fahrzeugmoduls mit dem Kameramodul können zum Beispiel die Analysedaten über die jeweilige Ethernet-Schnittstelle übertragen werden. Vorzugsweise ist die jeweilige Ethernet-Schnittstelle bidirektional ausgebildet, sodass das Kameramodul über die jeweilige Ethernet-Schnittstelle zum Beispiel Sensordaten von dem jeweiligen Fahrzeugmodul empfangen kann.The at least one connection device is designed to connect the camera module in accordance with the Ethernet standard to an external vehicle module of the motor vehicle that is assigned to the camera module for data transmission of at least the analysis data. The connection device comprises at least two, i.e. two or more, Ethernet interfaces for connecting the camera module to an assigned vehicle module in each case in accordance with the Ethernet standard. This means that the connection device can form a switch, in particular an Ethernet switch, as is known per se in network technology. When the respective vehicle module is connected to the camera module, the analysis data can be transmitted via the respective Ethernet interface, for example. The respective Ethernet interface is preferably bidirectional, so that the camera module can receive, for example, sensor data from the respective vehicle module via the respective Ethernet interface.
Hierdurch ergibt sich der Vorteil, dass eine intelligente Kamera mit der Möglichkeit zur direkten Weiterverteilung von Daten an andere Fahrzeugmodule realisiert werden kann. Durch die Ein-Box-Architektur kann Bauraum für den Verbau im Kraftfahrzeug eingespart werden. Zudem kann vermieden werden, dass es bei der Verarbeitung der Bilddaten aufgrund von Latenzen in der Datenübertragung zur Rechenelektronik zu Verzögerungen kommt. Des Weiteren ist das Kameramodul selbst hochverfügbar, denn es kann bei Bedarf zum Beispiel besonders einfach in ein anderes Kraftfahrzeug verbaut werden.This has the advantage that an intelligent camera can be implemented with the option of directly distributing data to other vehicle modules. The one-box architecture saves space for installation in the vehicle. In addition, delays in processing the image data due to latencies in the data transfer to the computer electronics can be avoided. Furthermore, the camera module itself is highly available because it can be installed particularly easily in another vehicle if necessary, for example.
Mit einer Umgebungskamera ist vorliegend insbesondere eine fototechnische Apparatur oder Vorrichtung gemeint, die Bilder, insbesondere bewegte Bilder oder Videos, im Umfeld des Kraftfahrzeugs als Abbild der Umgebung aufnehmen oder aufzeichnen kann. Dazu umfasst die Umgebungskamera zum Beispiel eine abbildende Optik, insbesondere ein Objektiv und einen oder mehrere Bildsensoren mit einer Anordnung optischer Detektoren. Mittels der abbildenden Optik kann Licht aus der Umgebung auf den jeweiligen Bildsensor gelenkt oder fokussiert werden. Der Bildsensor, der zum Beispiel für sichtbares Licht empfindlich sein kann, kann das Licht mittels der Anordnung optischer Detektoren, also zum Beispiel einer Pixelmatrix, in digitale Signale umwandeln. Diese digitalen Signale können die Bilddaten repräsentieren.In this case, an environmental camera refers in particular to a phototechnical apparatus or device that can capture or record images, in particular moving images or videos, in the environment of the motor vehicle as an image of the environment. For this purpose, the environmental camera comprises, for example, an imaging optic, in particular a lens and one or more image sensors with an arrangement of optical detectors. Using the imaging optic, light from the environment can be directed or focused onto the respective image sensor. The image sensor, which can be sensitive to visible light, for example, can convert the light into digital signals using the arrangement of optical detectors, for example a pixel matrix. These digital signals can represent the image data.
Der Bildsensor kann zum Beispiel als CCD-Bildsensor, als CMOS-Bildsensor, insbesondere als aktiver Pixelsensor oder als passiver Pixelsensor, oder als ein anderer vorbekannter Bildsensor, der bevorzugt für sichtbares Licht empfindlich ist, ausgeführt sein. Vorzugsweise kann der Bildsensor einem Imager zugeordnet sein. Unter Imager kann eine elektronische Vorrichtung verstanden werden, die neben dem Bildsensor auch weitere elektronische Komponenten beinhaltet, beispielsweise zum Auslesen des Bildsensors und/oder zur Vorverarbeitung der Bilddaten et cetera. Der Imager kann auf einem einzigen Halbleiterchip realisiert sein und kann daher auch als Imager-Chip bezeichnet werden. Alternativ können der Bildsensor und weitere elektronische Komponenten auf unterschiedlichen Halbleiterchips ausgeführt sein, die beispielsweise auf einem gemeinsamen Schaltungsträger montiert sein können.The image sensor can be designed, for example, as a CCD image sensor, as a CMOS image sensor, in particular as an active pixel sensor or as a passive pixel sensor, or as another previously known image sensor that is preferably sensitive to visible light. The image sensor can preferably be assigned to an imager. An imager can be understood to mean an electronic device that, in addition to the image sensor, also contains other electronic components, for example for reading the image sensor and/or for preprocessing the image data, etc. The imager can be implemented on a single semiconductor chip and can therefore also be referred to as an imager chip. Alternatively, the image sensor and other electronic components can be designed on different semiconductor chips, which can, for example, be mounted on a common circuit carrier.
Unter einer Recheneinrichtung, die die Rechenelektronik des Kameramoduls bilden kann, kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält. Die Recheneinrichtung kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um identifizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle (LUT - Look-up-Table) durchzuführen.A computing device that can form the computing electronics of the camera module can be understood in particular as a data processing device that contains a processing circuit. The computing device can therefore in particular process data to carry out computing operations. This may also include operations to carry out identified accesses to a data structure, for example a conversion table (LUT - look-up table).
Die Recheneinrichtung kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinrichtung kann zusätzlich oder alternativ einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere Digitalsignalprozessoren, DSP, enthalten. Die Recheneinrichtung kann zusätzlich oder alternativ einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.The computing device can in particular contain one or more computers, one or more microcontrollers and/or one or more integrated circuits, for example one or more application-specific integrated circuits (ASICs), one or more field-programmable gate arrays (FPGAs), and/or one or more single-chip systems (SoCs). The computing device can additionally or alternatively contain one or more processors, for example one or more microprocessors, one or more central processing units (CPUs), one or more graphics processing units (GPUs) and/or one or more signal processors, in particular one or more digital signal processors (DSPs). The computing device can additionally or alternatively contain a physical or virtual network of computers or other of the aforementioned units.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinrichtung eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.In various embodiments, the computing device includes one or more hardware and/or software interfaces and/or one or more memory units.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer programmierbarer Festwertspeicher, EPROM (englisch: „erasable programmable read-only memory“), als elektrisch löschbarer programmierbarer Festwertspeicher, EEPROM (englisch: „electrically erasable programmable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.A memory unit can be a volatile data storage device, for example a dynamic random access memory (DRAM) or a static random access memory (SRAM), or a non-volatile data storage device, for example a read-only memory (ROM), a programmable read-only memory (PROM), an erasable programmable read-only memory (EPROM), an electrically erasable programmable read-only memory (EEPROM), a flash memory or flash EEPROM, a ferroelectric random access memory (FRAM), a magnetoresistive random access memory (MRAM) or a Phase-change random access memory (PCRAM) can be used.
Unter einem Bildanalysealgorithmus kann ein Algorithmus zur automatischen visuellen Wahrnehmung und Auswertung verstanden werden. Ein Bildanalysealgorithmus kann vorliegend als Computeralgorithmus zur automatischen Durchführung einer visuellen Wahrnehmungsaufgabe betrachtet werden. Eine visuelle Wahrnehmungsaufgabe, die auch als Computer-Vision-Aufgabe bezeichnet wird, kann beispielsweise als eine Aufgabe zur Extraktion von visuellen Informationen aus Bilddaten verstanden werden. Automatisch oder autonom bedeutet dabei im Zusammenhang der Erfindung, dass die jeweilige Funktion oder Aufgabe ohne die Unterstützung eines Menschen durchgeführt werden kann. Der Bildanalysealgorithmus kann zum Beispiel in Form eines Computer-Vision-Algorithmus oder als Algorithmus zum maschinellen Sehen oder Maschinenvision-Algorithmus vorliegen. Der Bildanalysealgorithmus kann zum Beispiel durch maschinelles Lernen trainiert werden oder worden sein und beispielsweise auf einem künstlichen neuronalen Netzwerk, insbesondere einem faltenden neuronalen Netz, basieren. Der Bildanalysealgorithmus kann verschiedene Wahrnehmungsaufgaben umfassen, die im späteren Verlauf noch näher beschrieben sind. Zum Beispiel kann mittels der Bildanalyse eine Objekterkennung in der Umgebung durchgeführt werden.An image analysis algorithm can be understood as an algorithm for automatic visual perception and evaluation. An image analysis algorithm can be considered here as a computer algorithm for automatically carrying out a visual perception task. A visual perception task, which is also referred to as a computer vision task, can be understood, for example, as a task for extracting visual information from image data. In the context of the invention, automatic or autonomous means that the respective function or task can be carried out without the support of a human. The image analysis algorithm can, for example, be in the form of a computer vision algorithm or as an algorithm for machine vision or machine vision algorithm. The image analysis algorithm can, for example, be or have been trained by machine learning and be based, for example, on an artificial neural network, in particular a convolutional neural network. The image analysis algorithm can include various perception tasks, which are described in more detail later. For example, object recognition in the environment can be carried out using image analysis.
Eine Ethernet-Schnittstelle kann vorliegend als Computerschnittstelle verstanden werden, die zwei oder mehrere Systeme, nämlich das Kameramodul und das oder die Fahrzeugmodule, für die Datenübertragung miteinander verbindet oder koppelt. Die jeweilige Schnittstelle bildet dabei einen Übergang von dem einen Modul in das jeweils andere Modul. Dieser Übergang kann zur Datenübertragung, also zum Datenaustausch, und/oder zur Kommunikation verwendet werden. Eine Schnittstelle im Sinne der Erfindung kann sowohl Hardware- als auch Softwarekomponenten umfassen. Die Hardware kann elektronische Bauteile zur Datenverarbeitung, eine Verkabelung und zum Beispiel einen physischen Anschluss für das Modul umfassen. Die Softwarekomponente kann zum Beispiel ein Protokoll für die Kommunikation und den Datenaustausch spezifizieren.An Ethernet interface can be understood here as a computer interface that connects or couples two or more systems, namely the camera module and the vehicle module(s), for data transmission. The respective interface forms a transition from one module to the other module. This transition can be used for data transmission, i.e. for data exchange, and/or for communication. An interface in the sense of the invention can comprise both hardware and software components. The hardware can comprise electronic components for data processing, cabling and, for example, a physical connection for the module. The software component can, for example, specify a protocol for communication and data exchange.
Vorliegend handelt es sich bei den Hardware- und Softwarekomponenten um an sich bekannte Komponenten, die gemäß dem Ethernet-Standard normiert oder festgelegt sind. Konkrete Spezifikationen, die den Ethernet-Standard in Grundlagen beschreiben, sind beispielweise in der Norm IEEE 802.3 festgehalten. Die Spezifikation umfasst zum Beispiel Informationen über eine Übertragungsgeschwindigkeit, ein Übertragungsverfahren, die Schnittstellenleitungen und eine Verbindungstechnik, zum Beispiel eine Steckverbindung und deren Belegung. Zum Beispiel kann eine konkrete Form für den physikalischen Anschluss sowie ein Datenformat für die Übertragung der Daten zwischen den miteinander verbundenen Modulen geregelt sein. Mit einem Datenformat ist in Bezug auf den Ethernet-Standard insbesondere ein physikalisches Format (Licht, elektromagnetische Welle oder elektrischer Impuls) und ein Datenframe oder Datenrahmen im Sinne der Netzwerktechnik gemeint.In this case, the hardware and software components are known components that are standardized or defined according to the Ethernet standard. Concrete specifications that describe the Ethernet standard in basic terms are, for example, set out in the IEEE 802.3 standard. The specification includes, for example, information about a transmission speed, a transmission method, the interface cables and a connection technology, for example a plug connection and its assignment. For example, a concrete form for the physical connection and a data format for the transmission of data between the interconnected modules can be regulated. In relation to the Ethernet standard, a data format is particularly a physical format (light, electromagnetic wave or electronic data). ric impulse) and a data frame or data frames in the sense of network technology.
Vorzugsweise kann die Verbindungseinrichtung neben den zumindest zwei Ethernet-Schnittstellen eine oder mehrere weitere Schnittstellen zum Verbinden des Kameramoduls mit jeweils einem zugeordneten Fahrzeugmodul gemäß einem vorgegebenen Kommunikationsstandard aufweisen. Zum Beispiel kann die Verbindungseinrichtung zumindest eine WLAN-Schnittstelle, eine Bluetooth-Schnittstelle, eine USB-Schnittstelle oder eine andere vorbestimmte standardisierte Schnittstelle zur Datenübertragung umfassen. Weitere Beispiele für eine Schnittstelle sind eine BUS-Schnittstelle für eine Verbindung zu einem Daten-BUS des Kraftfahrzeugs, wie ein CAN-BUS oder LIN-BUS oder eine Koaxial-Schnittstelle mit einem oder mehreren Koaxial Anschlüssen, beispielsweise in Form eines SMA Anschlusses (SMA: Sub-Miniature-A).Preferably, in addition to the at least two Ethernet interfaces, the connection device can have one or more further interfaces for connecting the camera module to an associated vehicle module in accordance with a predetermined communication standard. For example, the connection device can comprise at least one WLAN interface, a Bluetooth interface, a USB interface or another predetermined standardized interface for data transmission. Further examples of an interface are a BUS interface for a connection to a data BUS of the motor vehicle, such as a CAN BUS or LIN BUS, or a coaxial interface with one or more coaxial connections, for example in the form of an SMA connection (SMA: Sub-Miniature-A).
Zu der Erfindung gehören Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.The invention includes embodiments which provide additional advantages.
Gemäß einer Ausführungsform umfasst jede der Ethernet-Schnittstellen einen zugeordneten Ethernet-Anschluss, welche in Form einer Anschlussstelle aus dem Gehäuse herausgeführt sind. Anders ausgedrückt, kann das Gehäuse eine Anschlussstelle mit zwei oder mehr Ethernet-Anschlüssen umfassen. Die Anschlussstelle kann beispielsweise zusätzlich weitere Anschlüsse, zum Beispiel einen Videoanschluss oder einen Audioanschluss oder eine andere Art von Anschluss einer anderen Schnittstelle als der Ethernet-Schnittstelle umfassen. Mittels der Anschlussstelle kann somit von extern auf die Komponenten des Kameramoduls zugegriffen werden.According to one embodiment, each of the Ethernet interfaces comprises an associated Ethernet connection, which is led out of the housing in the form of a connection point. In other words, the housing can comprise a connection point with two or more Ethernet connections. The connection point can, for example, additionally comprise further connections, for example a video connection or an audio connection or another type of connection of an interface other than the Ethernet interface. The connection point can thus be used to access the components of the camera module from outside.
Mit einem Anschluss ist vorliegend insbesondere ein physikalischer Anschluss (Stecker oder Buchse) oder ein Adapter gemeint, der ein mechanisches Verbinden oder Koppeln der Module ermöglicht. Vorliegend kann der jeweilige Ethernet-Anschluss insbesondere als Steckverbindungsanschluss ausgebildet sein. Das heißt, die jeweilige Ethernet-Schnittstelle kann eine kabelgebundene oder drahtgebundene Datenübertragung umsetzen. Zur Datenübertragung kann zum Beispiel ein für das jeweils gewählte Übertragungsmedium (vorliegend zum Beispiel Licht oder ein elektrisches Signal) passende Verbindungselement angeschlossen werden. Das Verbindungselement zum Beispiel ein Kabel, insbesondere ein Lichtwellenleiter oder ein elektrischer Leiter, sein. In this case, a connection refers in particular to a physical connection (plug or socket) or an adapter that enables the modules to be mechanically connected or coupled. In this case, the respective Ethernet connection can be designed in particular as a plug connection. This means that the respective Ethernet interface can implement a wired or cable-based data transmission. For data transmission, for example, a connecting element suitable for the selected transmission medium (in this case, for example, light or an electrical signal) can be connected. The connecting element can be, for example, a cable, in particular an optical fiber or an electrical conductor.
Gemäß einer Ausführungsform ist das zumindest eine Fahrzeugmodul eine Sensoreinrichtung des Kraftfahrzeugs. Die Sensoreinrichtung ist ausgebildet, Sensordaten zu erfassen, die zumindest eine Eigenschaft oder einen Zustand der Umgebung und/oder des Kraftfahrzeugs repräsentieren. Die Verbindungseinrichtung ist ausgebildet, die Sensordaten mittels einer der Ethernet-Schnittstellen zu empfangen. Die Recheneinrichtung ist ausgebildet, die Analysedaten in Abhängigkeit von den empfangenen Sensordaten zu erzeugen. Das heißt, mittels der jeweiligen Ethernet-Schnittstelle kann zum Beispiel nicht nur ein Senden von Daten, sondern auch ein Empfangen von Daten für das Kameramodul erfolgen.According to one embodiment, the at least one vehicle module is a sensor device of the motor vehicle. The sensor device is designed to capture sensor data that represents at least one property or state of the environment and/or the motor vehicle. The connection device is designed to receive the sensor data by means of one of the Ethernet interfaces. The computing device is designed to generate the analysis data depending on the received sensor data. This means that the respective Ethernet interface can be used, for example, not only to send data but also to receive data for the camera module.
Als eine Umgebungseigenschaft können die Sensordaten zum Beispiel eine Temperatur und/oder Helligkeit und/oder eine Witterungsbedingung und/oder eine andere vorbestimmte Umgebungseigenschaft angeben. Als eine Fahrzeugeigenschaft können die Sensordaten zum Beispiel eine Geschwindigkeit und/oder Beschleunigung und/oder ein Drehmoment und/oder eine andere vorbestimmte Fahrzeugeigenschaft angeben. Die erfassten Sensordaten können bevorzugt mittels der Recheneinrichtung ausgewertet werden, um Informationen zu dem Zustand der Umgebung und/oder des Kraftfahrzeugs zu erhalten. Das Ergebnis des Auswertens kann von der Recheneinrichtung zum Beispiel in die Bildanalyse mit einbezogen werden. Zum Beispiel kann dann eine Güte oder eine Qualität der Bilddaten klassifiziert oder bewertet werden. Das heißt, es kann zum Beispiel ein Gewichtungsfaktor zur Gewichtung des Ergebnisses der Bildanalyse herangezogen werden oder es kann zum Beispiel ein Konfidenzwert oder eine Wahrscheinlichkeit zur Verifizierung der Bildanalyse genutzt werden.As an environmental property, the sensor data can indicate, for example, a temperature and/or brightness and/or a weather condition and/or another predetermined environmental property. As a vehicle property, the sensor data can indicate, for example, a speed and/or acceleration and/or a torque and/or another predetermined vehicle property. The recorded sensor data can preferably be evaluated by means of the computing device in order to obtain information on the state of the environment and/or the motor vehicle. The result of the evaluation can be included by the computing device in the image analysis, for example. For example, a grade or quality of the image data can then be classified or assessed. This means that, for example, a weighting factor can be used to weight the result of the image analysis, or a confidence value or a probability can be used to verify the image analysis.
Im Zusammenhang mit der Sensoreinrichtung ist in einer Ausführungsform vorgesehen, dass die Sensoreinrichtung ein Umfeldsensorsystem des Kraftfahrzeugs ausbildet. Das heißt, die Sensoreinrichtung umfasst zum Beispiel einen Radarsensor, einen LIDARSensor und/oder einen Ultraschallsensor, die jeweils ausgebildet sind, die Sensordaten zu erfassen, die eine Abbildung der Umgebung des Kraftfahrzeugs repräsentieren. Die Recheneinrichtung ist ausgebildet, die empfangenen Sensordaten gemäß einem vorbestimmten Bildanalysealgorithmus, wie er zum Beispiel zuvor beschrieben wurde, auszuwerten und die Analysedaten, die eine Eigenschaft zu dem visuellen Bildinhalt der Bilddaten und der Sensordaten angeben, als Ergebnis des Auswertens bereitzustellen. Die Recheneinrichtung kann somit die Bilddaten und Sensordaten fusionieren. So kann eine verbesserte Bildanalyse, insbesondere eine verbesserte Objekterkennung, durchgeführt werden. Dazu können die Sensordaten der Sensoreinrichtung, wie zuvor beschrieben, zum Beispiel zum Bestimmen eines Gewichtungsfaktors für die Güte oder Qualität der Bilddaten oder als Konfidenzwert oder Wahrscheinlichkeitswert zur Verifikation der Bilddaten verwendet werden.In connection with the sensor device, one embodiment provides that the sensor device forms an environment sensor system of the motor vehicle. This means that the sensor device comprises, for example, a radar sensor, a LIDAR sensor and/or an ultrasonic sensor, each of which is designed to capture the sensor data that represents an image of the environment of the motor vehicle. The computing device is designed to evaluate the received sensor data according to a predetermined image analysis algorithm, as described above, for example, and to provide the analysis data that indicate a property of the visual image content of the image data and the sensor data as a result of the evaluation. The computing device can thus fuse the image data and sensor data. In this way, an improved image analysis, in particular an improved object recognition, can be carried out. For this purpose, the sensor data of the sensor device can be used, as described above, for example to determine a weighting factor for the quality of the image data or as a confidence value or probability value for verifying the image data.
Zusätzlich oder alternativ kann die Sensoreinrichtung zum Beispiel eine weitere Umgebungskamera oder ein weiteres Kameramodul umfassen. Bei den Sensordaten kann es sich somit um weitere Bilddaten der Umgebung, wie sie zum Beispiel zuvor beschrieben wurden, handeln. Die Bilddaten können insbesondere zum Beispiel einen anderen Abschnitt oder Ausschnitt der Umgebung abbilden.Additionally or alternatively, the sensor device can comprise, for example, another environmental camera or another camera module. The sensor data can thus be further image data of the environment, such as that described above. The image data can in particular depict, for example, another section or portion of the environment.
Gemäß einer Ausführungsform ist zumindest ein Fahrzeugmodul eine elektronische Rechenvorrichtung des Kraftfahrzeugs. Die elektronische Rechenvorrichtung ist ausgebildet, in Abhängigkeit von den übertragenen Analysedaten ein Steuersignal zum Ansteuern eines elektronischen Fahrzeugführungssystems, insbesondere eines Fahrerassistenzsystems oder eines autonomen Fahrzeugführungssystems bereitzustellen, um ein zugeordnetes Fahrzeugführungsmanöver autonom durchzuführen. In Bezug auf die Rechenvorrichtung des Kraftfahrzeugs wird auf das zuvor zur Recheneinheit Gesagte verwiesen. Die Rechenvorrichtung kann zum Beispiel als zentraler Bordcomputer oder ECU (Electronic Control Unit - elektronische Steuereinheit) des Kraftfahrzeugs verstanden werden. Bevorzugt kann die Rechenvorrichtung einen oder mehrere Mikroprozessoren wie zum Beispiel einen sogenannten EyeQ-Chip von der Firma MobilEye umfassen.According to one embodiment, at least one vehicle module is an electronic computing device of the motor vehicle. The electronic computing device is designed to provide a control signal for controlling an electronic vehicle guidance system, in particular a driver assistance system or an autonomous vehicle guidance system, depending on the transmitted analysis data in order to autonomously carry out an associated vehicle guidance maneuver. With regard to the computing device of the motor vehicle, reference is made to what was said above about the computing unit. The computing device can be understood, for example, as a central on-board computer or ECU (Electronic Control Unit) of the motor vehicle. The computing device can preferably comprise one or more microprocessors such as, for example, a so-called EyeQ chip from MobilEye.
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen, wie Lenk-, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) verstanden werden, welches den Fahrer beim teilweise automatisierten oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom April 2021.An electronic vehicle guidance system can be understood as an electronic system that is set up to guide a vehicle fully automatically or fully autonomously, in particular without the need for a driver to intervene in the control system. The vehicle automatically performs all required functions, such as steering, braking and/or acceleration maneuvers, the observation and detection of road traffic and corresponding reactions. In particular, the electronic vehicle guidance system can implement a fully automatic or fully autonomous driving mode of the motor vehicle according to level 5 of the classification according to SAE J3016. An electronic vehicle guidance system can also be understood as a driver assistance system (ADAS), which supports the driver in partially automated or semi-autonomous driving. In particular, the electronic vehicle guidance system can implement a partially automated or semi-autonomous driving mode according to
Die wenigstens teilweise automatische Fahrzeugführung kann es daher beinhalten, das Fahrzeug gemäß eines vollautomatischen oder vollautonomen Fahrmodus der Stufe 5 nach SAE J3016 zu führen. Die wenigstens teilweise automatische Fahrzeugführung kann auch beinhalten, das Fahrzeug gemäß eines teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 nach SAE J3016 zu führen.The at least partially automatic vehicle guidance can therefore include guiding the vehicle according to a fully automatic or fully autonomous driving mode of level 5 according to SAE J3016. The at least partially automatic vehicle guidance can also include guiding the vehicle according to a partially automated or partially autonomous driving mode according to
Gemäß einer Ausführungsform umfasst der Bildanalysealgorithmus einen Objekterkennungsalgorithmus, wobei die Analysedaten Objektdaten enthalten, die ein Objekt in der Umgebung und/oder dessen Verhalten, wie zum Beispiel ein Bewegungsmuster, beschreiben.According to one embodiment, the image analysis algorithm comprises an object recognition algorithm, wherein the analysis data contains object data describing an object in the environment and/or its behavior, such as a movement pattern.
Im Rahmen der vorliegenden Offenbarung kann ein Objekterkennungsalgorithmus als ein Computeralgorithmus verstanden werden, der in der Lage ist, eines oder mehrere Objekte innerhalb eines bereitgestellten Eingangsdatensatzes, beispielsweise Eingangsbildes, zu identifizieren und zu lokalisieren, beispielsweise indem er entsprechende Begrenzungsboxen oder Bereiche von Interesse, ROI (englisch: „region of interest“), festlegt und insbesondere jeder der Begrenzungsboxen eine entsprechende Objektklasse zuordnet, wobei die Objektklassen aus einem vordefinierten Satz von Objektklassen ausgewählt werden können. Dabei kann die Zuweisung einer Objektklasse zu einer Begrenzungsbox derart verstanden werden, dass ein entsprechender Konfidenzwert oder eine Wahrscheinlichkeit dafür, dass das innerhalb der Begrenzungsbox identifizierte Objekt zu der entsprechenden Objektklasse gehört, bereitgestellt wird. Zum Beispiel kann der Algorithmus für eine gegebene Begrenzungsbox für jede der Objektklassen einen solchen Konfidenzwert oder eine Wahrscheinlichkeit bereitstellen. Die Zuweisung der Objektklasse kann zum Beispiel die Auswahl oder Bereitstellung der Objektklasse mit dem größten Konfidenzwert oder der größten Wahrscheinlichkeit beinhalten. Alternativ kann der Algorithmus auch lediglich die Begrenzungsboxen festlegen, ohne eine entsprechende Objektklasse zuzuordnen.In the context of the present disclosure, an object detection algorithm can be understood as a computer algorithm that is able to identify and localize one or more objects within a provided input data set, for example an input image, for example by defining corresponding bounding boxes or regions of interest, ROI (English: “region of interest”), and in particular by assigning a corresponding object class to each of the bounding boxes, wherein the object classes can be selected from a predefined set of object classes. The assignment of an object class to a bounding box can be understood in such a way that a corresponding confidence value or a probability that the object identified within the bounding box belongs to the corresponding object class is provided. For example, the algorithm can provide such a confidence value or a probability for each of the object classes for a given bounding box. The assignment of the object class can, for example, include selecting or providing the object class with the greatest confidence value or the greatest probability. Alternatively, the algorithm can simply define the bounding boxes without assigning a corresponding object class.
Zusätzlich oder alternativ kann der Bildanalysealgorithmus zum Beispiel einen Hinderniserkennungsalgorithmus, einen Objektverfolgungsalgorithmus, einen Klassifikationsalgorithmus, einen semantischen Segmentierungsalgorithmus und/oder einen Tiefenschätzalgorithmus umfassen. Solche Algorithmen und deren Implementierung sind an sich bekannt.Additionally or alternatively, the image analysis algorithm may comprise, for example, an obstacle detection algorithm, an object tracking algorithm, a classification algorithm, a semantic segmentation algorithm and/or a depth estimation algorithm. Such algorithms and their implementation are known per se.
Gemäß einer Ausführungsform weist die Verbindungseinrichtung zumindest eine Transceivereinheit auf, welche ausgebildet ist, ein von dem Kameramodul verwendetes vorgegebenes Datenformat für die Datenübertragung zwischen dem Kameramodul und dem jeweiligen Fahrzeugmodul in ein davon verschiedenes Datenformat umzuwandeln oder zu übersetzen, einem Verbindungselement zum Verbinden des Kameramoduls (10) und des jeweiligen Fahrzeugmoduls für die Datenübertragung und/oder von dem jeweiligen Fahrzeugmodul verwendbar ist, und umgekehrt. Bevorzugt kann für jede Ethernet-Schnittstelle oder jede Schnittstelle der Verbindungseinrichtung eine separate oder eigene Transceivereinheit vorgesehen sein. Alternativ kann eine gemeinsame Transceivereinheit für mehrere oder alle Ethernet-Schnittstellen vorgesehen sein.According to one embodiment, the connection device has at least one transceiver unit which is designed to convert a predetermined data format used by the camera module for the data transmission between the camera module and the respective vehicle module into a different data format or to translate, a connecting element for connecting the camera module (10) and the respective vehicle module for data transmission and/or by the respective vehicle module, and vice versa. Preferably, a separate or dedicated transceiver unit can be provided for each Ethernet interface or each interface of the connection device. Alternatively, a common transceiver unit can be provided for several or all Ethernet interfaces.
Unter einem Transceiver oder einer Transceivereinheit kann derjenige Bestandteil des Kameramoduls verstanden werden, der für das Senden und Empfangen der Signale oder Daten über die Verbindungseinheit zuständig ist. Das heißt, der Transceiver regelt das Einspeisen und Auskoppeln der Signale in das Kabel oder aus dem Kabel heraus. Insbesondere legt der Transceiver das Datenformat, insbesondere das physikalische Format der Daten, wie zum Beispiel die Bitübertragung gemäß dem OSI-Referenzmodell Schicht 1 („physical“) fest. Je nachdem, welches Übertragungsmedium eingesetzt wird, handelt es sich dabei zum Beispiel um elektrische Impulse, Licht oder andere elektromagnetische Wellen. Wird das Kameramodul zum Beispiel an das BUS-System des Kraftfahrzeugs angeschlossen werden, kann der Transceiver ein Umwandeln und Übersetzen des BUS-Signals in ein Signal gemäß dem Ethernet-Standard umwandeln oder umgekehrt.A transceiver or transceiver unit can be understood as the part of the camera module that is responsible for sending and receiving signals or data via the connection unit. This means that the transceiver controls the feeding and decoupling of signals into or out of the cable. In particular, the transceiver defines the data format, especially the physical format of the data, such as bit transmission according to the OSI reference model layer 1 ("physical"). Depending on which transmission medium is used, this can be electrical impulses, light or other electromagnetic waves. If the camera module is connected to the BUS system of the vehicle, for example, the transceiver can convert and translate the BUS signal into a signal according to the Ethernet standard or vice versa.
Besonders bevorzugt ist die Verbindungseinrichtung ausgebildet, ein vorbestimmtes Datensicherheitsprotokoll zur Netzwerksicherheit und/oder Verschlüsselung auf die Datenübertragung anzuwenden. Das heißt, das Kameramodul kann Cybersecurity Eigenschaften aufweisen. Dazu kann die Verbindungseinrichtung zum Beispiel ein Hardware-Sicherheitsmodul (HSM - Hardware Security Module) zur kryptographischen Verschlüsselung der zu übertragenden Daten, insbesondere der Analysedaten, aufweisen. Zusätzlich oder alternativ kann die Verbindungseinrichtung ausgebildet sein, die zu übertragenden Daten mittels MacSec zu verschlüsseln. MacSec ist ein bekannter Netzwerksicherheitsstandard, der auf der Medium-Access-Control-Schicht arbeitet und die verbindungslose Datenvertraulichkeit und -integrität für medienzugriffsunabhängige Protokolle definiert. MacSec ist in der Norm IEEE 802.1AE standardisiert.The connection device is particularly preferably designed to apply a predetermined data security protocol for network security and/or encryption to the data transmission. This means that the camera module can have cybersecurity properties. For this purpose, the connection device can have, for example, a hardware security module (HSM) for cryptographic encryption of the data to be transmitted, in particular the analysis data. Additionally or alternatively, the connection device can be designed to encrypt the data to be transmitted using MacSec. MacSec is a well-known network security standard that works on the medium access control layer and defines connectionless data confidentiality and integrity for media access-independent protocols. MacSec is standardized in the IEEE 802.1AE standard.
Besonders bevorzugt ist die Verbindungseinrichtung zum Verbinden mit einem Fahrzeugmodul vorkonfiguriert oder für das sogenannte Plug & Play ausgelegt. Vorkonfiguriert bedeutet in diesen Zusammenhang, dass vorgegebene Konfigurationsdaten zusammen mit der Installation des Geräts, beispielsweise beim Koppeln des Fahrzeugmoduls, gespeichert werden. Mit Plug & Play ist gemeint, dass mittels der Verbindungseinrichtung eine vorbestimmte Konfigurationsroutine gestartet wird, wenn das Peripheriegerät, hier das Fahrzeugmodul angeschlossen wird. Abhängig von Konfigurationsdaten, die das angeschlossene Peripheriegerät übermittelt, werden Einstellungen und Parameter der Verbindungseinreichung für die Datenübertragung vorgenommen.The connection device is particularly preferably preconfigured for connection to a vehicle module or designed for so-called plug & play. Preconfigured in this context means that predefined configuration data is saved together with the installation of the device, for example when coupling the vehicle module. Plug & play means that a predetermined configuration routine is started using the connection device when the peripheral device, here the vehicle module, is connected. Depending on the configuration data transmitted by the connected peripheral device, settings and parameters of the connection submission for data transmission are made.
Gemäß einer Ausführungsform ist die Umgebungskamera eine Frontkamera oder eine Rückfahrkamera oder eine Seitenkamera oder eine Satellitenkamera für das Kraftfahrzeug. Das heißt, die Umgebungskamera kann für eine Montage oder Anbringung an einer bestimmten Stelle oder Position des Kraftfahrzeugs ausgebildet sein. Dazu kann die Umgebungskamera zum Beispiel eine geeignete Form oder eine geeignete Montageschnittstelle, zum Beispiel zum Anschrauben oder Anklemmen an der gewünschten Position des Kraftfahrzeugs, aufweisen. Besonders bevorzugt kann die abbildende Optik der Umgebungskamera in eine Scheibe des Fahrzeugs, wie zum Beispiel eine Windschutzscheibe oder Seitenscheibe oder Heckscheibe, integriert sein.According to one embodiment, the surround camera is a front camera or a rear view camera or a side camera or a satellite camera for the motor vehicle. This means that the surround camera can be designed for mounting or attachment at a specific location or position of the motor vehicle. For this purpose, the surround camera can, for example, have a suitable shape or a suitable mounting interface, for example for screwing or clamping to the desired position of the motor vehicle. Particularly preferably, the imaging optics of the surround camera can be integrated into a window of the vehicle, such as a windshield or side window or rear window.
Mit einer Satellitenkamera ist insbesondere eine Kamera gemeint, die zum Beispiel auf einem Fahrzeugdach montiert sein kann und einen Rundumblick um das Kraftfahrzeug herum ermöglicht. Eine Frontkamera kann als Kamera verstanden werden, die einen Bereich in Fahrtrichtung vor dem Kraftfahrzeug erfassen kann. Eine Rückfahrkamera kann als Kamera verstanden werden, die einen Bereich in Fahrtrichtung hinter dem Kraftfahrzeug erfassen kann. Die Frontkamera und/oder Rückfahrkamera können zum Beispiel an einer Scheibe, beispielsweise einer Windschutzscheibe oder Heckscheibe des Kraftfahrzeugs montiert und/oder in diese integriert sein. Mit einer Seitenspiegelkamera ist insbesondere eine Kamera gemeint, die einen Bereich in Fahrtrichtung seitlich (links/rechts) zu dem Kraftfahrzeug erfassen kann. Die Seitenspiegelkamera kann zum Beispiel in einen Seitenspiegel des Kraftfahrzeugs integriertA satellite camera is particularly meant to be a camera that can be mounted on a vehicle roof, for example, and allows a panoramic view around the motor vehicle. A front camera can be understood as a camera that can capture an area in the direction of travel in front of the motor vehicle. A rear view camera can be understood as a camera that can capture an area in the direction of travel behind the motor vehicle. The front camera and/or rear view camera can be mounted on a window, for example a windshield or rear window of the motor vehicle, and/or integrated into it. A side mirror camera is particularly meant to be a camera that can capture an area in the direction of travel to the side (left/right) of the motor vehicle. The side mirror camera can be integrated into a side mirror of the motor vehicle, for example.
Gemäß einer Ausführungsform weist das Kameramodul zwei oder mehrere Verbindungseinrichtungen, wie sie zuvor beschrieben wurden, auf. Das heißt, das Kameramodul kann zum Beispiel mehrere Ethernet-Switche umfassen.According to one embodiment, the camera module has two or more connection devices as previously described. This means that the camera module can, for example, comprise several Ethernet switches.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein Kraftfahrzeug mit zumindest einem Kameramodul, wie es zuvor beschrieben wurde. Dabei umfasst das Kraftfahrzeug zumindest zwei Fahrzeugmodule, die jeweils mit einer der zumindest zwei Ethernet-Schnittstellen der Verbindungseinrichtung des Kameramoduls verbindbar sind. Bei dem Kraftfahrzeug kann es sich bevorzugt um einen Personenkraftwagen, insbesondere einen Lastkraftwagen, einen Personenbus oder ein Motorrad handeln.According to a further aspect, the invention relates to a motor vehicle with at least one camera module, as described above. The motor vehicle comprises at least two vehicle modules, each of which can be connected to one of the at least two Ethernet interfaces of the connection device of the camera module. The motor vehicle can preferably be a passenger car, in particular a truck, a passenger bus or a motorcycle.
Gemäß einer Ausführungsform ist die Umgebungskamera des jeweiligen Kameramoduls in eine Scheibe des Kraftfahrzeugs, insbesondere in eine Windschutzscheibe des Kraftfahrzeugs, integriert. Besonders bevorzugt kann hierbei zum Beispiel die abbildende Optik der Umgebungskamera durch einen Teil der Windschutzscheibe realisiert sein.According to one embodiment, the surroundings camera of the respective camera module is integrated into a window of the motor vehicle, in particular into a windshield of the motor vehicle. Particularly preferably, for example, the imaging optics of the surroundings camera can be implemented through a part of the windshield.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein Verfahren zum Betreiben eines Kameramoduls, wie es zuvor beschrieben wurde. Das Verfahren umfasst die folgenden Schritte: Zunächst werden Bilddaten, die eine Abbildung der Umgebung des Kraftfahrzeugs repräsentieren, mittels einer Umgebungskamera des Kameramoduls erfasst. Mittels einer Recheneinrichtung werden die Bilddaten in Abhängigkeit von dem vorbestimmten Bildanalysealgorithmus ausgewertet und Analysedaten, die eine Eigenschaft zu einem visuellen Bildinhalt der Bilddaten angeben, als Ergebnis des Auswertens bereitgestellt. Mittels zumindest einer Verbindungseinrichtung wird anschließend eine Verbindung gemäß dem Ethernet-Standard zur Datenübertragung zumindest der Analysedaten zwischen dem Kameramodul und einem zugeordneten und zu dem Kameramodul externen Fahrzeugmodul des Kraftfahrzeugs bereitgestellt. Dabei sind zumindest die Umgebungskamera, die Recheneinrichtung und die Verbindungseinrichtung in einem Kameragehäuse enthalten. Mittels der Verbindungseinrichtung werden zumindest zwei Ethernet-Schnittstellen zum Verbinden des Kameramoduls mit einem jeweils zugeordneten Fahrzeugmodul gemäß dem Ethernet-Standard bereitgestellt.According to a further aspect, the invention relates to a method for operating a camera module as described above. The method comprises the following steps: First, image data representing an image of the surroundings of the motor vehicle are captured by means of an environmental camera of the camera module. The image data are evaluated by means of a computing device as a function of the predetermined image analysis algorithm and analysis data indicating a property of a visual image content of the image data are provided as a result of the evaluation. A connection according to the Ethernet standard is then provided by means of at least one connection device for data transmission of at least the analysis data between the camera module and an associated vehicle module of the motor vehicle that is external to the camera module. At least the environmental camera, the computing device and the connection device are contained in a camera housing. The connection device provides at least two Ethernet interfaces for connecting the camera module to a respective associated vehicle module according to the Ethernet standard.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.For use cases or application situations that may arise during the method and which are not explicitly described here, it may be provided that, in accordance with the method, an error message and/or a request to enter user feedback is issued and/or a default setting and/or a predetermined initial state is set.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogrammprodukt mit Anweisungen oder Befehlen angegeben. Wenn die Befehle durch wenigstens ein Kameramodul, insbesondere zum Beispiel die Recheneinrichtung ausgeführt werden, veranlassen die Befehle die wenigstens das Kameramodul dazu, ein erfindungsgemäßes Verfahren durchzuführen. Die Befehle können beispielsweise als Programmcode vorliegen. Der Programmcode kann beispielsweise als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache, zum Beispiel C, und/oder als Programmskript, zum Beispiel Python, bereitgestellt sein.According to a further aspect of the invention, a computer program product with instructions or commands is specified. When the commands are executed by at least one camera module, in particular for example the computing device, the commands cause at least the camera module to carry out a method according to the invention. The commands can be present as program code, for example. The program code can be provided, for example, as binary code or assembler and/or as source code of a programming language, for example C, and/or as a program script, for example Python.
Vorliegend kann ein Computerprogrammprodukt ein Computerprogramm sein, das auf einem computerlesbaren (Speicher)medium oder einen computerlesbaren Datenträger gespeichert ist. Alternativ kann es sich bei dem um das computerlesbare (Speicher)medium oder den computerlesbaren Datenträger handeln, welcher das Computerprogramm speichert.In the present case, a computer program product may be a computer program stored on a computer-readable (storage) medium or a computer-readable data carrier. Alternatively, it may be the computer-readable (storage) medium or the computer-readable data carrier that stores the computer program.
Weitere Ausführungsformen des erfindungsgemäßen Kraftfahrzeugs, des Verfahrens und des Computerprogrammprodukts folgen unmittelbar aus den verschiedenen Ausgestaltungen des erfindungsgemäßen Kameramoduls und umgekehrt. Insbesondere lassen sich einzelne Merkmale und entsprechende Erläuterungen sowie Vorteile bezüglich der verschiedenen Ausführungsformen zu dem erfindungsgemäßen Kameramodul analog auf entsprechende Ausführungsformen der übrigen erfindungsgemäßen Aspekte übertragen. Insbesondere ist das erfindungsgemäße Kameramodul zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet oder programmiert. Insbesondere führt das erfindungsgemäße Kameramodul das erfindungsgemäße Verfahren durch.Further embodiments of the motor vehicle according to the invention, the method and the computer program product follow directly from the various embodiments of the camera module according to the invention and vice versa. In particular, individual features and corresponding explanations as well as advantages relating to the various embodiments of the camera module according to the invention can be transferred analogously to corresponding embodiments of the other aspects of the invention. In particular, the camera module according to the invention is designed or programmed to carry out a method according to the invention. In particular, the camera module according to the invention carries out the method according to the invention.
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.The invention is explained in more detail below using specific embodiments and associated schematic drawings. In the figures, identical or functionally identical elements may be provided with the same reference numerals. The description of identical or functionally identical elements may not necessarily be repeated with respect to different figures.
Dabei zeigen:
-
1 eine schematische Darstellung eines Kraftfahrzeugs mit einem Kameramodul in einer Ein-Box-Architektur zum Analysieren einer Umgebung des Kraftfahrzeugs gemäß einem Ausführungsbeispiel; und -
2 eine schematische Darstellung eines Verfahrensablaufdiagramms für ein Verfahren zum Betreiben eines entsprechenden Kameramoduls gemäß einem Ausführungsbeispiel.
-
1 a schematic representation of a motor vehicle with a camera module in a one-box architecture for analyzing an environment of the motor vehicle according to an embodiment; and -
2 a schematic representation of a process flow diagram for a method for operating a corresponding camera module according to an embodiment.
Zum Betreiben des Fahrzeugführungssystems 21 ist es notwendig, die Umgebung U des Kraftfahrzeugs 1, insbesondere Objekte oder Hindernisse in der Umgebung U, zu kennen und auszuwerten. Dazu umfasst das Kraftfahrzeug 1, wie in
Zum Erfassen der Umgebung U weist das Kameramodul 10 gemäß dem Ausführungsbeispiel in
Zum Analysieren der mittels der Umgebungskamera 11 erfassten Bilddaten B umfasst das Kameramodul 10 zudem eine Rechenelektronik. Im vorliegenden Ausführungsbeispiel umfasst die Rechenelektronik zwei Recheneinrichtungen 12, 13. Jede Recheneinrichtung 12, 13 kann zum Beispiel ein unterschiedliches Aufgabengebiet oder eine unterschiedliche Funktion in der Analyse der Bilddaten B übernehmen.To analyze the image data B captured by the
Die Recheneinrichtung 12 kann zum Beispiel eine Datenverarbeitungsgerät in Form einer Prozessoreinheit ausbilden. Im vorliegenden Ausführungsbeispiel kann die Recheneinheit 12 zum Beispiel als sogenanntes System on Chip (Ein-Chip-System) umgesetzt sein. Die Funktion der Recheneinrichtung 12 besteht darin, die Bilddaten B in Abhängigkeit von einem vorbestimmten Bildanalysealgorithmus auszuwerten. Vorliegend kann der Bildanalysealgorithmus zum Beispiel ein Objekterkennungsalgorithmus sein. Das heißt, beim Anwenden des Objekterkennungsalgorithmus auf die Bilddaten B kann eines oder es können mehrere Objekte innerhalb der Bilddaten B identifiziert und lokalisiert werden. So kann zum Beispiel ein Verkehrsschild und die dem Verkehrsschild zugeordnete Bedeutung, wie zum Beispiel eine Geschwindigkeitsbegrenzung oder ein Überholverbot durch Auswerten der Bilddaten erkannt werden. Der Bildanalysealgorithmus kann zum Beispiel als Computervision-Algorithmus implementiert sein. Dazu kann zum Beispiel ein neuronales Netz mittels eines vorbestimmten Trainingsalgorithmus oder einer vorbestimmten Trainingsmethode trainiert werden, um eine automatische Wahrnehmungsaufgabe zum Detektieren von Objekten in der Umgebung U durchzuführen.The
Die Recheneinrichtung 13 ist im vorliegenden Ausführungsbeispiel in Form eines Datenverarbeitungsgeräts zum Beispiel als Mikrocontroller ausgebildet. Die Recheneinrichtung 13 kann abhängig von den mittels der Recheneinrichtung 12 vorverarbeiteten Bilddaten B zum Beispiel Teile zum Durchführen einer Sicherheitsfunktion oder der Fahrerassistenzfunktion umsetzen. Zum Beispiel kann die Recheneinrichtung 13 die verarbeiteten Bilddaten filtern, um die für die Geschwindigkeitsregelung relevanten Objekte zu bestimmen. Zusätzlich oder alternativ kann mittels der Recheneinrichtung 13 zum Beispiel eine Datenfusion der vorverarbeiteten Bilddaten B zum Beispiel mit anderen Sensordaten D von Fahrzeugmodulen des Kraftfahrzeugs 1 durchgeführt werden. Auf die Funktion der Recheneinrichtung 13 zur Fusionierung von Daten wird später noch näher eingegangen. Die Recheneinrichtung 13 kann die finale Version der ausgewerteten Bilddaten zum Beispiel in Form von Analysedaten A als Ergebnis des Auswertens bereitstellen. Zum Beispiel kann die Recheneinrichtung 13 die Analysedaten A zur Steuerung des Fahrzeugführungssystems 21 ausgeben oder übermitteln.In the present embodiment, the
Die Recheneinrichtung 13 kann somit zum Beispiel die Endstufe der Verarbeitung der Bilddaten B darstellen. In diesem Zusammenhang kann die Recheneinrichtung 12 zum Beispiel eine Zwischenstufe oder Vorstufe der Verarbeitung der Bilddaten B bereitstellen.The
Um im Bordnetz des Kraftfahrzeugs 1 eine Verbindung zur Datenübertragung zwischen dem Kameramodul 10 und weiteren Fahrzeugmodulen zu ermöglichen, umfasst das Kameramodul 10 eine Verbindungseinrichtung 14, die vorliegend als Ethernet-Switch ausgebildet ist. Die Verbindungseinrichtung 14 weist zumindest zwei Ethernet-Schnittstellen auf, um ein elektrisches Netzwerk zwischen dem Kameramodul 10 und den übrigen Fahrzeugmodulen zu schaffen. Im vorliegenden Ausführungsbeispiel sind beispielhaft drei Ethernet-Schnittstellen 15a, 15b, 15c dargestellt. Natürlich können auch nur zwei oder mehr als drei Ethernet-Schnittstellen vorgesehen sein. Die Ethernet-Schnittstellen 15a, 15b, 15c sind zur Datenübertragung gemäß dem Ethernet-Standard ausgebildet. Der Ethernet-Standard ist zum Beispiel in der Norm IEEE 802.3 geregelt und beschreibt eine Technik, die sowohl Software (Protokolle und so weiter) als auch Hardware (Kabel, Verteiler, Netzwerkkarten und so weiter) für kabelgebundene Datennetze spezifiziert. Sie ermöglicht den Datenaustausch in Form von Datenframes zwischen den in einem lokalen Netz, vorliegend zum Beispiel dem Bordnetz des Kraftfahrzeugs 1, angeschlossenen Geräten, also den Fahrzeugmodulen und dem Kameramodul 10.In order to enable a connection for data transmission between the
Jede Ethernet-Schnittstelle 15a, 15b, 15c weist, wie in
Im vorliegenden Ausführungsbeispiel umfasst das Kraftfahrzeug 1 beispielhaft drei Fahrzeugmodule, die jeweils einer der Ethernet-Schnittstellen 15a, 15b, 15c zugeordnet sind. Bei zwei der Fahrzeugmodule handelt es sich zum Beispiel um eine Sensoreinrichtung des Kraftfahrzeugs 1. Eine Sensoreinrichtung kann zum Beispiel ein Radarsensor 22 sein. Ein Radarsensor 22 ist ein an sich bekannter strahlbasierter Sensor, der eingesetzt wird, um Objekte, zum Beispiel andere Fahrzeuge und Fußgänger, in der Umgebung U eines Kraftfahrzeugs 1 zu erfassen und zum Beispiel deren Abstand zum Fahrzeug sowie deren Relativgeschwindigkeit zu ermitteln. Dazu werden in an sich bekannter Weise elektromagnetische Wellen ausgesendet, die an den jeweiligen Objekten in der Umgebung reflektiert werden. Die reflektierten Anteile der elektromagnetischen Wellen können mittels eines optischen Detektors erfasst und als Sensorsignal von dem Radarsensor zur Auswertung und Analyse bereitgestellt werden. Vorliegend kann der Radarsensor 22 somit zum Beispiel Sensordaten D erfassen, die eine Abbildung der Umgebung U des Kraftfahrzeugs 1 repräsentieren. Diese Sensordaten D kann der Radarsensor 22 über die Ethernet-Schnittstelle 15a zur Auswertung an die Rechenelektronik, insbesondere die Recheneinrichtung 13 bereitstellen. Die Recheneinrichtung 13 kann die Sensordaten gemäß einem vorbestimmten Bildanalysealgorithmus, also zum Beispiel der zuvor beschriebenen Objekterkennung, auswerten. Die Recheneinrichtung 13 kann die ausgewerteten Sensordaten und die vorverarbeiteten Bilddaten B zum Beispiel fusionieren und so Analysedaten A erzeugen, die eine Eigenschaft zu dem visuellen Bildinhalt der Bilddaten B und der Sensordaten D angeben. Zum Beispiel können die Sensordaten D genutzt werden, um eine Konfidenz bei einer Objektklassifizierung, die zum Beispiel die Recheneinrichtung 12 bei der Objekterkennung durchführen kann, anzupassen. So kann das Ergebnis der Auswertung noch verfeinert werden.In the present exemplary embodiment, the
Die andere Sensoreinrichtung kann zum Beispiel eine Rückfahrkamera 23 des Kraftfahrzeugs 1 sein. Die Rückfahrkamera kann ebenfalls eine Umgebungskamera zum Erfassen der Umgebung U des Kraftfahrzeugs 1 sein. Im Gegensatz zu der Umgebungskamera 11 des Kameramoduls 10, die als Frontkamera ausgebildet ist, kann mittels der Rückfahrkamera 23 hingegen ein vordefinierter Sichtbereich entgegen der Fahrtrichtung hinter dem Kraftfahrzeug 1 erfasst werden. Die Rückfahrkamera 23 kann dabei als Sensordaten D analog zu der Umgebungskamera 11 ebenfalls Bilddaten liefern, die eine Abbildung der Umgebung U des Kraftfahrzeugs 1 repräsentieren. Diese Sensordaten D kann die Rückfahrkamera 23 im vorliegenden Ausführungsbeispiel mittels der Ethernet-Schnittstelle 15c zur Auswertung an das Kameramodul, insbesondere die Recheneinrichtung 13, übermitteln. Die Recheneinrichtung 13 kann die Sensordaten D der Rückfahrkamera 23 zum Beispiel analog zu den Bilddaten B der Umgebungskamera 11 auswerten. Anschließend können die ausgewerteten Sensordaten D und die vorverarbeiteten Bilddaten B mittels der Recheneinrichtung 13, wie bereits im Zusammenhang mit dem Radarsensor 22 beschrieben, fusioniert werden.The other sensor device can be, for example, a
Gemäß dem Ausführungsbeispiel in
Mittels des Ethernet-Switches, also der Verbindungseinrichtung 14, ist es somit möglich, Daten von anderen Sensoren des Kraftfahrzeugs 1, also Fahrzeugmodulen, wie dem Radarsensor 22 und der Rückfahrkamera 23, zu erfassen. Die erfassten Daten, also die Sensordaten D, können dann innerhalb des Kameramoduls zum Beispiel mit der Recheneinrichtung 13 verarbeitet werden und zum Beispiel mit den Bilddaten B fusioniert werden. Über den Ethernet-Switch können aber auch Daten an externe Fahrzeugmodule, hier also zum Beispiel die Rechenvorrichtung 20, ausgesendet werden. Dabei können zum Beispiel die Analysedaten, die zum Beispiel die Ergebnisse der Auswertung der Bilddaten B und der jeweiligen Sensordaten D erfassen, zur Steuerung des Fahrzeugführungssystems 21 an die Rechenvorrichtung 20 bereitgestellt werden.By means of the Ethernet switch, i.e. the
Besonders bevorzugt kann mittels des Ethernet-Switch ein vorbestimmtes Datensicherheitsprotokoll zur Netzwerksicherheit auf die Datenübertragung zwischen dem Kameramodul 10 und dem jeweiligen Fahrzeugmodul angewendet werden. Das kann zum Beispiel mittels MacSec gemäß dem Standard IEE 802.1AE oder einem sogenannten Hardware Security Modul (HSM) umgesetzt sein.Particularly preferably, a predetermined data security protocol for network security can be applied to the data transmission between the
Zusätzlich oder alternativ kann der Ethernet-Switch einen oder mehrere Ethernet-Transceiver, also Transceivereinheiten, umfassen. Zum Beispiel kann für jede Ethernet-Schnittstelle genau ein solcher Transceiver vorgesehen sein. Ein Transceiver ist ein an sich bekanntes Bauteil in der Netzwerktechnik, um Signale zwischen unterschiedlichen Netzwerkkomponenten, hier also den Fahrzeugmodulen und dem Kameramodul 10, zu übersetzen oder umzuwandeln. Dabei kann zum Beispiel mittels des Transceivers ein Datenformat, wie zum Beispiel ein physikalisches Format (Licht oder elektrischer Impuls) oder ein Datenframe, der gemäß dem jeweiligen Kommunikationsstandard, hier zum Beispiel Ethernet oder CAN, umgewandelt werden.Additionally or alternatively, the Ethernet switch can comprise one or more Ethernet transceivers, i.e. transceiver units. For example, exactly one such transceiver can be provided for each Ethernet interface. A transceiver is a component known per se in network technology for translating or converting signals between different network components, in this case the vehicle modules and the
Bevorzugt kann der Ethernet-Switch als Plug & Play-System konfiguriert sein. Das heißt, beim Anschließen von Peripheriegeräten, wie zum Beispiel den Fahrzeugmodulen, brauchen keine getrennten Treiber installiert oder zusätzliche Einstellungen vorgenommen werden. Der Ethernet-Switch wird in diesem Fall auch als nicht verwaltet bezeichnet. Alternativ dazu kann der Ethernet-Switch verwaltet sein. Das heißt, für jedes Peripheriegerät, das neu angeschlossen wird, muss ein entsprechender Treiber auf dem Kameramodul 10 installiert und bestimmte Einstellungen vorgenommen werden, um die Datenübertragung oder Kommunikation mit dem jeweiligen Peripheriegerät zu ermöglichen.Preferably, the Ethernet switch can be configured as a plug & play system. This means that when connecting peripheral devices, such as the vehicle modules, no separate drivers need to be installed or additional settings made. In this case, the Ethernet switch is also referred to as unmanaged. Alternatively, the Ethernet switch can be managed. This means that for each peripheral device that is newly connected, a corresponding driver must be installed on the
Anders als bei dem in
Wie in
Durch das beschriebene Kameramodul 10 in der Ein-Box-Architektur wird vermieden, die Komponenten des Kameramoduls 10 zu separieren und insbesondere in separate Steuereinheiten zu verpacken. Indem alle Komponenten in einem gemeinsamen Gehäuse 16 verortet sind, können dadurch Kosten reduziert werden und ein Volumen oder Bauraum für das Kameramodul 10 reduziert werden. Zusätzlich ergibt sich eine vereinfachte Integration des Kameramoduls 10 im Fahrzeug. Das Kameramodul 10 ermöglicht es zudem, mehrere Ethernet-Schnittstellen in ein einzelnes Ethernet-Network zu integrieren.The described
Zusammengefasst zeigen die Ausführungsbeispiele eine Automotive Camera, wie zum Beispiel eine Frontkamera, mit einem Imager und einer Bild- oder Videoverarbeitungseinheit in einer One-Box-Solution mit einem Ethernet-Switch, zum Verbinden der Kamera mit externen Geräten, also zum Beispiel den Fahrzeugmodulen des Kraftfahrzeugs 1. Insgesamt kann so eine intelligente Frontkamera realisiert werden, die mit einem integrierten Ethernet-Switch ausgestattet ist.In summary, the embodiments show an automotive camera, such as a front camera, with an imager and an image or video processing unit in a one-box solution with an Ethernet switch for connecting the camera to external devices, for example the vehicle modules of the
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- US 20210081683 A1 [0004]US 20210081683 A1 [0004]
- US 20200262344 A1 [0005]US 20200262344 A1 [0005]
Claims (13)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102023105294.2A DE102023105294A1 (en) | 2023-03-03 | 2023-03-03 | Analyzing a motor vehicle’s environment using a camera module |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102023105294.2A DE102023105294A1 (en) | 2023-03-03 | 2023-03-03 | Analyzing a motor vehicle’s environment using a camera module |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102023105294A1 true DE102023105294A1 (en) | 2024-09-05 |
Family
ID=92422547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102023105294.2A Withdrawn DE102023105294A1 (en) | 2023-03-03 | 2023-03-03 | Analyzing a motor vehicle’s environment using a camera module |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102023105294A1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060095193A1 (en) | 2004-10-29 | 2006-05-04 | Nissan Motor Co., Ltd. | Vehicle operation support apparatus |
| CN206217801U (en) | 2016-11-11 | 2017-06-06 | 智车优行科技（北京）有限公司 | A kind of advanced drive assist system module assembly device, system and vehicle |
| US20200262344A1 (en) | 2011-11-28 | 2020-08-20 | Magna Electronics Inc. | Multi-camera vehicular vision system |
| US20210081683A1 (en) | 2009-02-27 | 2021-03-18 | Magna Electronics Inc. | Vehicular control system |
| CN115339404A (en) | 2022-08-30 | 2022-11-15 | 重庆长安汽车股份有限公司 | Vehicle-mounted communication system, vehicle and vehicle-mounted communication processing method |
| DE102022114511A1 (en) | 2021-06-28 | 2022-12-29 | Nvidia Corporation | Resting the state to optimize start-up processes of autonomous vehicles |
-
2023
- 2023-03-03 DE DE102023105294.2A patent/DE102023105294A1/en not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060095193A1 (en) | 2004-10-29 | 2006-05-04 | Nissan Motor Co., Ltd. | Vehicle operation support apparatus |
| US20210081683A1 (en) | 2009-02-27 | 2021-03-18 | Magna Electronics Inc. | Vehicular control system |
| US20200262344A1 (en) | 2011-11-28 | 2020-08-20 | Magna Electronics Inc. | Multi-camera vehicular vision system |
| CN206217801U (en) | 2016-11-11 | 2017-06-06 | 智车优行科技（北京）有限公司 | A kind of advanced drive assist system module assembly device, system and vehicle |
| DE102022114511A1 (en) | 2021-06-28 | 2022-12-29 | Nvidia Corporation | Resting the state to optimize start-up processes of autonomous vehicles |
| CN115339404A (en) | 2022-08-30 | 2022-11-15 | 重庆长安汽车股份有限公司 | Vehicle-mounted communication system, vehicle and vehicle-mounted communication processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2149132B1 (en) | Method and a device for identifying traffic-relevant information | |
| DE102017203838A1 (en) | Method and system for environment detection | |
| EP2417594A1 (en) | Data processing system and method for providing at least one driver assistance function | |
| DE112018000335T5 (en) | SYSTEMS AND METHOD FOR A CALCULATION FRAME FOR A VISUAL WARNING OF THE DRIVER USING A "FULLY CONVOLUTIONAL" ARCHITECTURE | |
| DE102018105951A1 (en) | SYSTEM AND METHOD FOR DYNAMICALLY DISPLAYING IMAGES ON AN ELECTRONIC DISPLAY DEVICE OF A VEHICLE | |
| DE102016212326A1 (en) | Method for processing sensor data for a position and / or orientation of a vehicle | |
| DE112017000342T5 (en) | TRAVEL SUPPORT DEVICE AND TRAVEL SUPPORT PROCEDURE | |
| DE112020002567T5 (en) | IMAGE RECOGNITION DEVICE AND IMAGE RECOGNITION METHOD | |
| WO2020020654A1 (en) | Method for operating a driver assistance system having two detection devices | |
| DE102023115571A1 (en) | DISTANCE DETERMINATION USING IMAGE DATA | |
| DE102018128634A1 (en) | Method for providing visual information about at least part of an environment, computer program product, mobile communication device and communication system | |
| WO2024041833A1 (en) | Visual perception using a vehicle on the basis of a camera image and an ultrasonic map | |
| DE102022125914A1 (en) | FUSION OF IMAGE DATA AND LIDAR DATA FOR IMPROVED OBJECT RECOGNITION | |
| DE102022113077A1 (en) | DEVICE AND METHOD FOR IMAGE CONTROL OF A VEHICLE | |
| DE112018002867T5 (en) | CONNECTOR DEVICE AND CONNECTOR SYSTEM | |
| DE112020003708T5 (en) | Information processing apparatus, information processing method and program | |
| DE102019220335A1 (en) | SEMANTIC SEGMENTATION USING DRIVER ATTENTION INFORMATION | |
| DE102023105294A1 (en) | Analyzing a motor vehicle’s environment using a camera module | |
| DE102020213862A1 (en) | Method and environment detection system for providing environment data | |
| DE112021001872T5 (en) | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| DE112020003760T5 (en) | SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD AND IMAGING DEVICE | |
| DE102016219820A1 (en) | Method and control device for operating a vehicle, and method and device for providing environmental data for vehicles | |
| DE102020107627A1 (en) | DYNAMIC LIDAR ADJUSTMENT | |
| DE102023127870A1 (en) | METHODS AND SYSTEMS FOR TRACKING FIXED OBJECTS | |
| DE102023105818A1 (en) | Method for operating a driver assistance system for a motor vehicle and driver assistance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R163 | Identified publications notified | ||
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |