DE102021107938A1

DE102021107938A1 - Method, device and computer program for developing, parameterizing, protecting and/or operating a vehicle system

Info

Publication number: DE102021107938A1
Application number: DE102021107938.1A
Authority: DE
Inventors: Alexander Augst
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-03-30
Filing date: 2021-03-30
Publication date: 2022-10-06

Abstract

Es wird ein Verfahren (300) zur Entwicklung, Absicherung und/oder zum Betreiben eines Fahrzeugsystems eines Kraftfahrzeugs (100) beschrieben, wobei das Fahrzeugsystem zumindest eine Kamera (102) und zumindest einen Ultraschallsensor (103) umfasst. Das Verfahren (300) umfasst ein Erkennen (301), während eines Betriebs des Fahrzeugs (100), dass eine Triggerbedingung erfüllt ist. Des Weiteren umfasst das Verfahren (300), in Reaktion darauf, das Veranlassen (302) einer ersten sensorischen Erfassung einer Umgebung des Fahrzeugs (100) mittels der Kamera (102) und einer zweiten sensorischen Erfassung zumindest teilweise derselben Umgebung des Fahrzeugs (100) mit dem Ultraschallsensor (103). Das Verfahren (300) umfasst ferner das Vergleichen (303) von auf Basis der ersten sensorischen Erfassung ermittelten ersten Daten und auf Basis der zweiten sensorischen Erfassung ermittelten zweiten Daten, und das Übermitteln und/oder Verwenden (304) der ersten Daten und der zweiten Daten zur Entwicklung, Absicherung und/oder zum Betrieb des Fahrzeugsystems in Abhängigkeit von einem Ergebnis des Vergleichs der ersten Daten und der zweiten Daten.A method (300) for developing, validating and/or operating a vehicle system of a motor vehicle (100) is described, the vehicle system comprising at least one camera (102) and at least one ultrasonic sensor (103). The method (300) includes recognizing (301) during operation of the vehicle (100) that a trigger condition is met. Furthermore, the method (300) comprises, in response thereto, causing (302) a first sensory detection of surroundings of the vehicle (100) by means of the camera (102) and a second sensory detection at least partially of the same surroundings of the vehicle (100). the ultrasonic sensor (103). The method (300) further includes comparing (303) first data ascertained on the basis of the first sensory acquisition and second data ascertained on the basis of the second sensory acquisition, and transmitting and/or using (304) the first data and the second data for developing, validating and/or operating the vehicle system depending on a result of the comparison of the first data and the second data.

Description

Die Erfindung betrifft ein Verfahren, eine Vorrichtung sowie ein Computerprogramm zur Entwicklung, Parametrierung, Absicherung und/oder zum Betreiben eines Fahrzeugsystems umfassend eine Kamera und/oder einen Ultraschallsensor.The invention relates to a method, a device and a computer program for developing, parameterizing, validating and/or operating a vehicle system comprising a camera and/or an ultrasonic sensor.

Ein Fahrzeug kann ein Parksystem aufweisen, das ausgebildet ist, den Fahrer des Fahrzeugs bei einem Einpark- bzw. Ausparkmanöver zu unterstützen. Das Ein- bzw. Ausparken kann dabei zumindest teilweise automatisiert erfolgen.A vehicle can have a parking system that is designed to support the driver of the vehicle when maneuvering into or out of a parking space. Parking in and out of a parking space can be at least partially automated.

Das vorliegende Dokument befasst sich mit der technischen Aufgabe, ein verbessertes Verfahren zur Entwicklung, Parametrierung, Absicherung, und/oder zum Betreiben eines Fahrzeugsystems aufzuzeigen. Insbesondere betrifft die technische Aufgabe die Erhöhung der Güte eines Fahrzeugsystems, insbesondere eines Parksystems, in effizienter und zuverlässiger Weise, sowie das resultierende verbesserte Fahrzeugsystem.This document deals with the technical task of showing an improved method for developing, parameterizing, validating and/or operating a vehicle system. In particular, the technical task relates to increasing the quality of a vehicle system, in particular a parking system, in an efficient and reliable manner, and the resulting improved vehicle system.

Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.The object is solved by each of the independent claims. Advantageous embodiments are described inter alia in the dependent claims. It is pointed out that additional features of a patent claim dependent on an independent patent claim without the features of the independent patent claim or only in combination with a subset of the features of the independent patent claim can form a separate invention independent of the combination of all features of the independent patent claim, which can be made the subject of an independent claim, a divisional application or a subsequent application. This applies equally to the technical teachings described in the description, which can form an invention independent of the features of the independent patent claims.

Gemäß einem Aspekt wird ein Verfahren zur Entwicklung, Absicherung und/oder zum Betreiben eines Fahrzeugsystems eines Fahrzeugs, insbesondere Kraftfahrzeugs, beschrieben. Das Fahrzeugsystem kann zumindest eine Kamera (insbesondere eine Nahfeldkamera, umgangssprachlich auch: Parkkamera) und zumindest einen Ultraschallsensor (insbesondere mehrere Ultraschallsensoren z.B. zur Ausführung einer Funktionalität von Park Distance Control oder dergleichen) umfassen.According to one aspect, a method for developing, validating and/or operating a vehicle system of a vehicle, in particular a motor vehicle, is described. The vehicle system can include at least one camera (particularly a near-field camera, colloquially also known as a parking camera) and at least one ultrasonic sensor (particularly a number of ultrasonic sensors, e.g. for performing a functionality of park distance control or the like).

Der Begriff „Fahrzeugsystem umfassend eine Kamera und/oder einen Ultraschallsensor“ kann auch verstanden werden als ein auf Basis der Daten einer oder mehrerer Kameras und/oder eines oder mehrerer Ultraschallsensoren betreibbares Fahrzeugsystem. Das Fahrzeugsystem kann eine Recheneinheit (z.B. umfassend ein oder mehrere Signalverarbeitungsmodule und/oder ein oder mehrere Funktionsmodule) zur Verarbeitung der Daten der einer oder mehreren Kameras und/oder der ein oder mehreren Ultraschallsensoren umfassen. Das Fahrzeugsystem kann eingerichtet sein, den Fahrer des Fahrzeugs bei einem Park- und/oder Rangiermanöver zu unterstützen.The term “vehicle system comprising a camera and/or an ultrasonic sensor” can also be understood as a vehicle system that can be operated on the basis of the data from one or more cameras and/or one or more ultrasonic sensors. The vehicle system can include a computing unit (e.g. comprising one or more signal processing modules and/or one or more function modules) for processing the data from the one or more cameras and/or the one or more ultrasonic sensors. The vehicle system can be set up to support the driver of the vehicle during a parking and/or maneuvering maneuver.

Das Verfahren umfasst ein Erkennen, während eines Betriebs des Fahrzeugs, dass eine Triggerbedingung erfüllt ist. Die Triggerbedingung kann z.B. anzeigen, dass eine Inkonsistenz, z.B. ein gewisses Maß an Inkonsistenz bzw. eine ein gewisses Maß unterschreitende Konsistenz, zwischen den ersten Daten auf Basis der Kamera und den zweiten Daten auf Basis des Ultraschallsensors vorliegt.The method includes detecting, during operation of the vehicle, that a trigger condition is met. The trigger condition can indicate, for example, that there is an inconsistency, e.g. a certain degree of inconsistency or a consistency that falls below a certain degree, between the first data based on the camera and the second data based on the ultrasonic sensor.

Der Betrieb des Fahrzeugs ist insbesondere zu verstehen als: ein Fahrbetrieb, z.B. in einem bestimmten Geschwindigkeitsbereich, ein Park- oder Rangierbetrieb, ein Stillstand des Fahrzeugs, insbesondere ein Stillstand während ein Großteil der Systeme des Fahrzeugs aktiv ist und/oder Stillstand während ein Großteil der Systeme des Fahrzeugs inaktiv sind, (z.B. bei einem abgestellten Fahrzeug) und/oder ein (z.B. zur Ausführung des Verfahrens vorgesehener) Betriebsmodus des Fahrzeugs.The operation of the vehicle is to be understood in particular as: a driving operation, e.g. in a certain speed range, a parking or maneuvering operation, a standstill of the vehicle, in particular a standstill while a large part of the vehicle's systems are active and/or a standstill during a large part of the Vehicle systems are inactive (e.g. when the vehicle is parked) and/or an operating mode of the vehicle (e.g. intended for carrying out the method).

Insbesondere umfasst die zumindest eine Triggerbedingung eine Abhängigkeit von der Art des Betriebs und/oder von der Geschwindigkeit des Fahrzeugs. Beispielsweise werden mehrere Triggerbedingungen für unterschiedliche Parameter des Betriebs des Fahrzeugs und/oder für unterschiedliche Geschwindigkeitsbereiche vorgesehen. Ein oder mehrere weitere Schritte des Verfahrens können variiert werden, abhängig davon, infolge welcher Triggerbedingung die Daten erfasst worden sind.In particular, the at least one trigger condition includes a dependency on the type of operation and/or the speed of the vehicle. For example, several trigger conditions are provided for different parameters of the operation of the vehicle and/or for different speed ranges. One or more further steps of the method may be varied depending on what trigger condition caused the data to be acquired.

Des Weiteren umfasst das Verfahren, in Reaktion auf die zutreffende Triggerbedingung (insbesondere selektiv, nur bei einem Erfüllen der Triggerbedingung), das Veranlassen einer ersten sensorischen Erfassung einer Umgebung des Fahrzeugs mittels der Kamera und einer zweiten sensorischen Erfassung zumindest teilweise derselben Umgebung des Fahrzeugs mit dem Ultraschallsensor. Dabei können im Rahmen der ersten sensorischen Erfassung erste Daten (mit jeweils ein oder mehreren ersten Datensätzen) und im Rahmen der zweiten sensorischen Erfassung zweite Daten (mit jeweils ein oder mehreren zweiten Datensätzen) ermittelt werden. Dabei kann zu jedem ersten Datensatz ein entsprechender zweiter Datensatz erfasst werden (und/oder umgekehrt).The method also includes, in response to the applicable trigger condition (in particular selectively, only if the trigger condition is met), initiating a first sensory detection of an area around the vehicle using the camera and a second sensory detection of at least part of the same area around the vehicle with the ultrasonic sensor. First data (each with one or more first datasets) can be determined as part of the first sensory acquisition and second data (each with one or more second datasets) can be determined as part of the second sensory acquisition. A corresponding second data record can be recorded for each first data record (and/or vice versa).

Bevorzugt kann das Veranlassen der zumindest einen ersten und/oder zweiten sensorischen Erfassung eine Aktivierung, eine Veränderung des Betriebsmodus und/oder eine Ansteuerung der Kamera und/oder des Ultraschallsensors umfassen. Dabei kann abhängig von der Triggerbedingung ein Erfassen der ersten Daten und der zweiten Daten erfolgen. Insbesondere kann eine Aktivierung, eine Veränderung des Betriebsmodus und/oder eine Ansteuerung der Kamera und/oder des Ultraschallsensors bewirkt werden, die, insbesondere in dem betreffenden Betrieb (auch: Betriebsmodus) des Fahrzeugs, funktional nicht notwendig und/oder untypisch ist.Initiating the at least one first and/or second sensory detection can preferably include an activation, a change in the operating mode and/or an actuation of the camera and/or the ultrasonic sensor. Depending on the trigger condition, the first data and the second data can be recorded. In particular, an activation, a change in the operating mode and/or a control of the camera and/or the ultrasonic sensor can be brought about which, in particular in the relevant operation (also: operating mode) of the vehicle, is functionally unnecessary and/or atypical.

Insbesondere kann beim Zutreffen der Triggerbedingung die Aufzeichnung der (ggf. laufenden) Sensordaten (auch zu verstehen als Daten auf Basis der Sensordaten) der Fahrzeugkamera und des (zumindest einen) Ultraschallsensors erfolgen. Die Aufzeichnung kann für ein gewisses Zeitintervall, für eine gewisse Fahrdistanz bzw. für eine gewisse Anzahl einzelner Frames bzw. Echoauswertungen, oder dergleichen erfolgen. Der Beginn, das Ende, und/oder ein Modus der Aufzeichnung können abhängig von der Triggerbedingung und/oder von einer weiteren vorausbestimmten Bedingung erfolgen.In particular, if the trigger condition applies, the (possibly ongoing) sensor data (also to be understood as data based on the sensor data) of the vehicle camera and of the (at least one) ultrasonic sensor can be recorded. The recording can take place for a certain time interval, for a certain driving distance or for a certain number of individual frames or echo evaluations or the like. The beginning, the end, and/or a mode of recording can take place depending on the trigger condition and/or on another predetermined condition.

Bevorzugt kann die Triggerbedingung (auch) eine Bedingung für das Ende der Erfassung und/oder Verarbeitung (z.B. eine Vorverarbeitung von Rohdaten der Kamera bzw. des Ultraschallsensors) und/oder einen Verarbeitungsparameter mit dem die ersten Daten und/oder die zweiten Daten (bereits im Fahrzeug) zu verarbeiten sind, umfassen. Bevorzugt wird die (innerhalb und/oder außerhalb des Fahrzeugs zu erfolgende) Verarbeitung der ersten Daten und/oder der zweiten Daten mit der Triggerbedingung vorgebbar gewählt und/oder wird abhängig von der Triggerbedingung gewählt.Preferably, the trigger condition can (also) be a condition for the end of the acquisition and/or processing (e.g. pre-processing of raw data from the camera or the ultrasonic sensor) and/or a processing parameter with which the first data and/or the second data (already in Vehicle) are to be processed include. The processing of the first data and/or the second data (to be carried out inside and/or outside the vehicle) is preferably selected with the trigger condition in a predeterminable manner and/or is selected as a function of the trigger condition.

Beispielsweise können das Erfassen und/oder das Verarbeiten der ersten Daten und/oder der zweiten Daten je nach Triggerbedingung unterschiedlich sein bzw. unterschiedlich vorgegeben werden. Auch kann eine bestimmte (von der Verarbeitung der ersten Daten bzw. der zweiten Daten für den Betrieb einer Nutzfunktionalität) abweichende (für das Verfahren vorgesehene) Verarbeitung der Daten erfolgen.For example, the acquisition and/or the processing of the first data and/or the second data can be different or be specified differently depending on the trigger condition. A specific processing of the data (provided for the method) that deviates from the processing of the first data or the second data for the operation of a useful functionality can also take place.

Besonders zu beachten ist, dass die ersten Daten und/oder die zweiten Daten nicht etwa auf einzelne oder bestimmte Messwerte beschränkt sein müssen. Vielmehr können diese eine Sequenz der jeweiligen Werte umfassen bzw. repräsentieren.Particular attention should be paid to the fact that the first data and/or the second data need not be restricted to individual or specific measured values. Rather, these can include or represent a sequence of the respective values.

Bevorzugt repräsentieren die ersten Daten und/oder die zweiten Daten einen Verlauf, insbesondere eine Veränderung der jeweiligen Werte (z.B. in Bezug auf die Zeit, die Distanz, und/oder eine, einzelne Messwerte repräsentierende, Größe).The first data and/or the second data preferably represent a course, in particular a change in the respective values (e.g. in relation to time, distance and/or a variable representing individual measured values).

Beispielsweise können die ersten Daten auf Basis der Kamera überwiegend (bzw. am ehesten) den Rohdaten der Kamera, den (vor)verarbeiteten Sensordaten, auf ein oder mehrere sogenannte Area-of-Interest und/oder Objekte innerhalb der Kameradaten hervorgehobene oder begrenzte Daten, Daten betreffend ein oder mehrere Objekte (z.B. extrahierte Objekte), und/oder konkrete Messwerte (z.B. in Bezug auf bestimmte Winkel oder Raumteile) entsprechen bzw. diese umfassen.For example, the first data based on the camera can be predominantly (or most closely) the raw data of the camera, the (pre)processed sensor data, data highlighted or limited to one or more so-called areas of interest and/or objects within the camera data, Corresponds to or includes data relating to one or more objects (e.g. extracted objects) and/or concrete measured values (e.g. in relation to certain angles or parts of space).

Beispielsweise können die zweiten Daten auf Basis des Ultraschallsensors (auch zu verstehen auf Basis eines oder mehrerer Ultraschallsensoren) überwiegend den Rohdaten des Ultraschallsensors, den (vor)verarbeiteten Daten, z.B. Auswertungen von Echos und/oder Kreuzechos, und/oder gefilterten und/oder fusionierten Daten entsprechen oder diese umfassen.For example, the second data based on the ultrasonic sensor (also to be understood as based on one or more ultrasonic sensors) can be predominantly the raw data from the ultrasonic sensor, the (pre)processed data, e.g. evaluations of echoes and/or cross echoes, and/or filtered and/or fused correspond to or include data.

Im Verfahren können eine Aktivierung, eine Veränderung des Betriebsmodus und/oder eine Ansteuerung der Kamera und/oder des Ultraschallsensors, und/oder das Erfassen und/oder Verarbeiten der ersten Daten und der zweiten Daten erfolgen, die von einem Bedarf an den entsprechenden Daten im Fahrzeug unabhängig sind. Beispielsweise kann das Veranlassen einer ersten bzw. zweiten sensorischen Erfassung erfolgen, die für den (aktuellen, funktionalen) Betrieb des Fahrzeugs nicht notwendig oder zumindest teilweise kontraproduktiv sind.In the method, an activation, a change in the operating mode and/or a control of the camera and/or the ultrasonic sensor, and/or the acquisition and/or processing of the first data and the second data can take place, which depend on a need for the corresponding data in the are vehicle independent. For example, a first or second sensory detection can be initiated that is not necessary for the (current, functional) operation of the vehicle or is at least partially counterproductive.

Mit anderen Worten kann im Verfahren sowohl ein (mehr oder minder passives) Ermitteln der ersten Daten und/oder der zweiten Daten (z.B. mit einem aktiven Auswählen der Datenabschnitte) erfolgen, als auch zumindest teilweise ein aktives Erzeugen der ersten Daten und der zweiten Daten ausgeführt werden.In other words, in the method, both a (more or less passive) determination of the first data and/or the second data (e.g. with an active selection of the data sections) can take place, as well as at least partially an active generation of the first data and the second data will.

Es können somit Paare von jeweils einem ersten Datensatz (z.B. einem oder mehreren ersten Messwerten oder Messwertsequenzen) und einem zweiten Datensatz (z.B. einem oder mehreren zweiten Messwerten oder Messwertsequenzen) gebildet, bereitgestellt und/oder in weiteren Schritten des Verfahrens verarbeitet werden (z.B. indem die Zuordnung bestimmter erster Daten und bestimmter zweiter Daten berücksichtigt wird).Pairs of a first data set (e.g. one or more first measured values or measured value sequences) and a second data set (e.g. one or more second measured values or measured value sequences) can thus be formed, provided and/or processed in further steps of the method (e.g. by assignment of certain first data and certain second data is taken into account).

Das Verfahren umfasst ferner ein Vergleichen der auf Basis der ersten sensorischen Erfassung ermittelten ersten Daten und der auf Basis der zweiten sensorischen Erfassung ermittelten zweiten Daten. Das Vergleichen ist als eine Verarbeitung gemäß einer vorausbestimmten Abhängigkeit zu verstehen.The method also includes comparing the first data ascertained on the basis of the first sensory acquisition and the second data ascertained on the basis of the second sensory acquisition. The comparing is as a processing to be understood according to a predetermined dependency.

Das Vergleichen der ersten und zweiten Daten kann beispielsweise das Ermitteln eines Maßes für einen Unterschied und/oder für die Konsistenz und/oder Inkonsistenz zwischen den ersten Daten und den zweiten Daten (insbesondere innerhalb eines Paares mit einem ersten und einem zweiten Datensatz) von einem jeweiligen Sollwert und/oder voneinander umfassen.Comparing the first and second data can, for example, determine a measure of a difference and/or for the consistency and/or inconsistency between the first data and the second data (in particular within a pair with a first and a second data set) of a respective Target value and / or include each other.

Das Maß des Unterschieds kann eine Abweichung (z.B. Differenz), einen Faktor oder Koeffizient (z.B. einer vorausbestimmten Formel) zwischen dem ersten Messwert und dem zweiten Messwert kennzeichnen, insbesondere repräsentieren. Insbesondere wird das Maß des Unterschieds ermittelt und berücksichtigt werden, wenn die ersten Daten und die zweiten Daten etwa dieselbe Größe bzw. Art der Größe, z.B. einen Abstand zum Objekt, eine Abmessung des Objekts oder dergleichen kennzeichnen.The measure of the difference can characterize, in particular represent, a deviation (e.g. difference), a factor or coefficient (e.g. of a predetermined formula) between the first measured value and the second measured value. In particular, the extent of the difference will be determined and taken into account if the first data and the second data indicate approximately the same size or type of size, e.g. a distance to the object, a dimension of the object or the like.

Alternativ oder zusätzlich kann das Vergleichen der ersten und zweiten Daten ein Ermitteln eines Musters aus den ersten Daten (z.B. Verlauf der ersten Messwerte) und den zweiten Daten (z.B. Verlauf der zweiten Messwerte) sein oder umfassen. Dabei kann das Ergebnis des Vergleichs das ermittelte Muster, insbesondere ein oder mehrere Parameter des Musters, sein.Alternatively or additionally, the comparison of the first and second data can be or include determining a pattern from the first data (e.g. curve of the first measured values) and the second data (e.g. curve of the second measured values). The result of the comparison can be the determined pattern, in particular one or more parameters of the pattern.

Beispielsweise kann das Maß der Konsistenz und/oder Inkonsistenz der ersten Daten und der zweiten Daten ein Ähnlichkeitsmaß der ersten Daten mit einem ersten Muster und ein Ähnlichkeitsmaß der zweiten Daten zu einem zweiten Muster kennzeichnen. Dabei können das zweite Muster abhängig von dem ersten Muster oder das zweite Muster abhängig von dem ersten Muster gewählt oder eingestellt (z.B. konfiguriert bzw. parametriert) sein.For example, the degree of consistency and/or inconsistency of the first data and the second data can identify a degree of similarity of the first data to a first pattern and a degree of similarity of the second data to a second pattern. The second pattern can be selected or set (e.g. configured or parameterized) depending on the first pattern or the second pattern depending on the first pattern.

Alternativ oder zusätzlich kann das Maß der Konsistenz und/oder Inkonsistenz ermittelt werden, abhängig von einem von den ersten Daten und den zweiten Daten gebildeten Muster. Beispielsweise kann ein Muster aus den ersten Daten (z.B. Verlauf der ersten Messwerte) und den zweiten Daten (z.B. Verlauf der zweiten Messwerte) ermittelt werden und es kann ein Rückschluss auf die Konsistenz und/oder Inkonsistenz abhängig von einem oder mehreren Parametern des Musters gemacht werden.Alternatively or additionally, the degree of consistency and/or inconsistency can be determined depending on a pattern formed by the first data and the second data. For example, a pattern can be determined from the first data (e.g. course of the first measured values) and the second data (e.g. course of the second measured values) and a conclusion can be drawn about the consistency and/or inconsistency depending on one or more parameters of the pattern .

Das Maß der Konsistenz und/oder Inkonsistenz kann ein Maß der Plausibilität und/oder der Unplausibilität eines oder mehrerer Paare aus dem ersten Messwert (oder einem Verlauf der ersten Messwerte) und dem zweiten Messwert (oder einem Verlauf der zweiten Messwerte) kennzeichnen.The degree of consistency and/or inconsistency can indicate a degree of plausibility and/or implausibility of one or more pairs of the first measured value (or a history of the first measured values) and the second measured value (or a history of the second measured values).

Bei Vergleich können Vergleichsdaten ermittelt werden, die das Ergebnis des Vergleichs einer Vielzahl von Paaren kennzeichnen. Das Übermitteln und/oder Verwenden der ersten Daten und/oder der zweiten Daten ist insbesondere (auch) als Verwenden oder Berücksichtigen der Vergleichsdaten zu verstehen. Insbesondere können Vergleichsdaten eine statistische Verteilung und/oder eine (insbesondere einen gewissen Schwellwert überschreitende) Häufungen auf Basis der ersten Daten und der zweiten Daten kennzeichnen. Bevorzugt kann eine statistische Verteilung und/oder eine (insbesondere einen gewissen Schwellwert überschreitende) Häufungen der Vergleichsdaten (z.B. betreffend jeweils ein Paar der Messwerte) ermittelt werden. Diese kann in einem oder mehreren Schritten des Verfahrens verwendet werden.In the case of a comparison, comparison data can be determined which characterize the result of the comparison of a large number of pairs. The transmission and/or use of the first data and/or the second data is to be understood in particular (also) as using or taking into account the comparison data. In particular, comparison data can characterize a statistical distribution and/or an accumulation (in particular exceeding a certain threshold value) on the basis of the first data and the second data. A statistical distribution and/or an accumulation (in particular exceeding a certain threshold value) of the comparison data (e.g. relating to a pair of measured values) can preferably be determined. This can be used in one or more steps of the process.

Beispielsweise können Häufungen von inkonsistenten Paaren der Daten in Bezug auf eine Geo-Position, ein Muster eines Fahrbahnabschnitts, auf einen Parameter der Randbedingung (z.B. Temperatur, Helligkeit, etc.) und/oder auf die Geschwindigkeit des Fahrzeugs (während der Erfassungen) ermittelt werden. Diese können bei der (Weiter-)Entwicklung, Parametrierung, Absicherung und/oder zum Betreiben des Fahrzeugsystems, eines weiteren Fahrzeugsystems bzw. eines Entwicklungsstands für ein vergleichsbares Fahrzeugsystem verwendet werden. Dabei können bestimmte Regeln, insbesondere Gesetzmäßigkeiten rechnergestützt erkannt werden. Diese können (insbesondere mittels des in diesem Dokument beschriebenen mathematischen Zusammenhangs) beim Betreiben des Fahrzeugsystems im selben oder in einem weiteren Fahrzeug berücksichtigt werden.For example, accumulations of inconsistent pairs of data relating to a geo-position, a pattern of a section of road, a parameter of the boundary condition (e.g. temperature, brightness, etc.) and/or the speed of the vehicle (during the acquisitions) can be determined . These can be used in the (further) development, parameterization, validation and/or for operating the vehicle system, another vehicle system or a development status for a comparable vehicle system. Certain rules, in particular regularities, can be recognized with the aid of a computer. These can be taken into account (in particular by means of the mathematical relationship described in this document) when operating the vehicle system in the same vehicle or in another vehicle.

Des Weiteren umfasst das Verfahren das Übermitteln (auch zu verstehen als das Senden bzw. drahtlos Übertragen, z.B. gemäß einem Pull- oder Push-Prinzip) und/oder das Verwenden der ersten Daten und der zweiten Daten zur Entwicklung, Absicherung und/oder zum Betrieb des Fahrzeugsystems.The method also includes the transmission (also to be understood as sending or wireless transmission, e.g. according to a pull or push principle) and/or using the first data and the second data for development, validation and/or operation of the vehicle system.

Das Übermitteln und/oder das Verwenden erfolgt bevorzugt in Abhängigkeit von einem Ergebnis des Vergleichs der ersten Daten und der zweiten Daten. Das Übermitteln und/oder das Verwenden der ersten Daten und der zweiten Daten kann dabei insbesondere abhängig von dem ermittelten Maß für die Abweichung der ersten Daten und der zweiten Daten von dem jeweiligen Sollwert und/oder voneinander erfolgen.The transmission and/or the use preferably takes place depending on a result of the comparison of the first data and the second data. The transmission and/or the use of the first data and the second data can take place in particular depending on the determined measure of the deviation of the first data and the second data from the respective setpoint value and/or from each other.

Das beschriebene Verfahren ermöglicht es, in selektiver Weise Datenpaare einer Kamera und eines Ultraschallsensors zu erfassen. Insbesondere kann das Erfassen der ersten Messwerte und der zweiten Messwerte abhängig von der Triggerbedingung veranlasst werden.The method described allows data pairs of a camera and in a selective manner to detect an ultrasonic sensor. In particular, the acquisition of the first measured values and the second measured values can be initiated as a function of the trigger condition.

Insbesondere können Datenpaare erfasst werden, wenn eine Beeinträchtigung bei der Erfassung der Sensordaten erkannt oder vermutet wird. Alternativ oder zusätzlich können die Datenpaare erfasst werden, die auf eine Beeinträchtigung zumindest eines Teils des Fahrzeugsystems, insbesondere der Kamera und/oder des Ultraschallsensors, hindeuten. Dabei können die ersten Daten und/oder die zweiten Daten verwendet werden, um den Grund, den betroffenen Teil und/oder Parameter der Beeinträchtigung zu bestimmen. Beispielsweise kann erkannt werden, dass die ersten Daten und die zweiten Daten einem bestimmten Muster hinreichend ähnlich sind (bzw. ein bestimmtes Muster bilden) oder einen (demselben oder anderem) Muster nicht entsprechen, und/oder es kann ermittelt werden, dass die ersten Daten und die zweiten Daten in Bezug aufeinander inkonsistent und/oder unplausibel sind. Dies kann in Bezug auf unterschiedliche Situationen und/oder Randbedingungen erfolgen. Daraufhin können die ersten Daten und/oder die zweiten Daten zu einer, insbesondere rechnergestützten und/oder im Backend ausgeführten, Diagnose verwendet werden. Beispielsweise kann bestimmt werden, ob ein Problem (wahrscheinlich) die Kamera (bzw. den Datenpfad der Kameradaten) oder den Ultraschallsensor (bzw. den Datenpfad des Ultraschallsensors) betrifft. Dies kann z.B. erfolgen, durch die Verwendung (z.B. Analyse) mehrerer Paare von Daten, die bei unterschiedlichen Geschwindigkeiten, Fahrsituationen und/oder Randbedingungen ermittelt wurden. Im Übrigen können zuvor (um eine derartige Analyse zu ermöglichen) entsprechende Triggerbedingungen an ein oder mehrere Fahrzeuge versendet werden.In particular, pairs of data can be recorded if an impairment in the recording of the sensor data is recognized or suspected. Alternatively or additionally, the data pairs that indicate an impairment of at least one part of the vehicle system, in particular the camera and/or the ultrasonic sensor, can be recorded. In this case, the first data and/or the second data can be used to determine the reason, the affected part and/or parameters of the impairment. For example, it can be recognized that the first data and the second data are sufficiently similar to a specific pattern (or form a specific pattern) or do not correspond to a (the same or different) pattern, and/or it can be determined that the first data and the second data are inconsistent and/or implausible with respect to one another. This can be done in relation to different situations and/or boundary conditions. The first data and/or the second data can then be used for a diagnosis, in particular computer-aided and/or carried out in the backend. For example, it can be determined whether a problem (probably) affects the camera (or the data path of the camera data) or the ultrasonic sensor (or the data path of the ultrasonic sensor). This can be done, for example, by using (e.g. analyzing) multiple pairs of data that were determined at different speeds, driving situations and/or boundary conditions. In addition, corresponding trigger conditions can be sent to one or more vehicles beforehand (in order to enable such an analysis).

Die Daten können bei der Anpassung einer Fahrzeugfunktion und/oder bei der Erkennung eines Problems verwendet werden. So kann die Güte der Fahrzeugfunktion bzw. einer weiteren Fahrzeugfunktion auf Basis der Kamera und/oder Ultraschallsensor in effizienter bzw. zuverlässiger Weise erhöht werden. The data can be used in adjusting a vehicle function and/or in diagnosing a problem. In this way, the quality of the vehicle function or another vehicle function can be increased in an efficient and reliable manner on the basis of the camera and/or ultrasonic sensor.

Das Verfahren kann umfassen, das Ermitteln (bzw. das Anpassen), auf Basis der ersten Daten und der zweiten Daten, eines mathematischen Zusammenhangs zur Verarbeitung von ersten Daten auf Basis der Kamera und/oder von zweiten Daten auf Basis des Ultraschallsensors, und/oder zur Datenfusion von ersten Daten auf Basis der Kamera und von zweiten Daten auf Basis des Ultraschallsensors.The method can include determining (or adapting) based on the first data and the second data, a mathematical relationship for processing first data based on the camera and/or second data based on the ultrasonic sensor, and/or for data fusion of first data based on the camera and second data based on the ultrasonic sensor.

Der mathematische Zusammenhang kann eine (z.B. neue, veränderte, im bzw. auf Basis des Verfahrens ermittelte) Regel, Logik, Formel, und/oder einen Koeffizienten einer vorausbestimmten Formel kennzeichnen, insbesondere repräsentieren.The mathematical context can characterize, in particular represent, a rule, logic, formula (e.g. new, changed, determined in or on the basis of the method) and/or a coefficient of a predetermined formula.

Dabei kann eine (weitere, spätere) Verarbeitung der Daten auf Basis einer Fahrzeugkamera und/oder der Daten auf Basis eines Ultraschallsensors (in dem Fahrzeug oder in einem anderen Fahrzeug) in einer verbesserten Art und Weise ausführbar sein. Der mathematische Zusammenhang kann z.B. kennzeichnen bzw. bestimmend für eine Korrektur eines Fehlers oder einer Werteabweichung (z.B. betreffend erste Daten und/oder zweite Daten) sein.(Further, later) processing of the data based on a vehicle camera and/or the data based on an ultrasonic sensor (in the vehicle or in another vehicle) can be executable in an improved manner. The mathematical relationship can, for example, characterize or determine a correction of an error or a value deviation (e.g. relating to first data and/or second data).

Beispielsweise umfasst der mathematische Zusammenhang eine Vorschrift, nach der (z.B. künftige und/oder in einem anderen Fahrzeug vorkommende) Fehler oder Ungenauigkeiten bei der Verarbeitung der Daten auf Basis einer Fahrzeugkamera und/oder der Daten auf Basis eines Ultraschallsensors, erkennbar und/oder (zumindest teilweise) korrigierbar sind. Bevorzugt wird ein solcher mathematischer Zusammenhang in einem weiteren Fahrzeug bzw. für das Betreiben eines (weiteren) Fahrzeugsystems verwendet.For example, the mathematical relationship includes a rule according to which (e.g. future and/or occurring in another vehicle) errors or inaccuracies in the processing of the data based on a vehicle camera and/or the data based on an ultrasonic sensor can be identified and/or (at least partially) correctable. Such a mathematical relationship is preferably used in a further vehicle or for the operation of a (further) vehicle system.

Der mathematische Zusammenhang kann verwendet werden (bzw. unmittelbar oder mittelbar verwendbar sein) zum Betreiben einer Fahrzeugfunktion auf Basis von ersten Daten auf Basis einer Kamera (z.B. der Kamera bzw. einer anderen, z.B. typgleichen oder ähnlichen, Kamera) und/oder der zweiten Daten auf Basis eines Ultraschallsensors (z.B. des Ultraschallsensors bzw. eines anderen, z.B. typgleichen oder ähnlichen, Ultraschallsensors).The mathematical relationship can be used (or can be used directly or indirectly) to operate a vehicle function based on first data based on a camera (e.g. the camera or another camera, e.g. of the same type or similar) and/or the second data based on an ultrasonic sensor (e.g. the ultrasonic sensor or another ultrasonic sensor, e.g. of the same type or similar).

Bevorzugt kann ein Betreiben eines Fahrzeugsystems, insbesondere einer Fahrzeugfunktionalität mit einem Fahrzeugsystem (z.B. im selben oder anderen Fahrzeug, insbesondere in einer neuen Generation des besagten Fahrzeugsystems), nach (auch zu verstehen als: gemäß) dem mathematischen Zusammenhang erfolgen.A vehicle system, in particular a vehicle functionality with a vehicle system (e.g. in the same or another vehicle, in particular in a new generation of said vehicle system), can preferably be operated according to (also to be understood as: according to) the mathematical context.

Beispielsweise werden Daten zum Betreiben eines Fahrzeugsystems, z.B. zum Betreiben einer Fahrzeugfunktion (z.B. zum Steuern oder Regeln eines Aktors, zur Ausgabe einer Fahrerinformation, zum Erzeugen einer grafischen Darstellung, etc.) aus den Daten einer Fahrzeugkamera und/oder aus den Daten eines Ultraschallsensors, gemäß dem mathematischen Zusammenhang (z.B. gemäß einer oder mehrerer in dem mathematischen Zusammenhang repräsentierter Abhängigkeit) ermittelt. Solche Daten können z.B. korrigierte, fusionierte, plausibilisierte Messwerte, ein Abbild eines Teils der Umgebung des Fahrzeugs, und/oder Steuerungsdaten zum Betreiben einer Fahrzeugfunktionalität, z.B. eines Fahrerassistenzsystems, sein oder umfassen.For example, data for operating a vehicle system, e.g. for operating a vehicle function (e.g. for controlling or regulating an actuator, for outputting driver information, for generating a graphic representation, etc.) from the data from a vehicle camera and/or from the data from an ultrasonic sensor, determined according to the mathematical context (e.g. according to one or more dependencies represented in the mathematical context). Such data can, for example, be or include corrected, merged, plausibility-checked measured values, an image of a part of the vehicle's surroundings, and/or control data for operating a vehicle functionality, e.g. a driver assistance system.

Der mathematische Zusammenhang kann die zumindest eine oder mehrere bestimmte Abhängigkeiten kennzeichnen, gemäß welcher eine oder mehrere Daten, insbesondere Steuerungsinformationen zum Betreiben einer Fahrzeugfunktion, aus den Daten auf Basis einer Fahrzeugkamera und/oder den Daten auf Basis eines Ultraschallsensors (z.B. in einer verbesserten Art und Weise) ermittelt werden bzw. ermittelbar sind.The mathematical relationship can characterize the at least one or more specific dependencies according to which one or more data, in particular control information for operating a vehicle function, from the data based on a vehicle camera and/or the data based on an ultrasonic sensor (e.g. in an improved way and Way) are determined or can be determined.

Alternativ oder zusätzlich kann der mathematische Zusammenhang eine oder mehrere bestimmte Abhängigkeiten kennzeichnen, gemäß welcher ein Parameter der Fahrsituation beim Ermitteln der Daten zum Betreiben einer Fahrzeugfunktion aus den Daten auf Basis einer Fahrzeugkamera und/oder den Daten auf Basis eines Ultraschallsensors (z.B. in einer verbesserten Art und Weise) berücksichtigt werden soll bzw. kann.Alternatively or additionally, the mathematical relationship can characterize one or more specific dependencies according to which a parameter of the driving situation when determining the data for operating a vehicle function from the data based on a vehicle camera and/or the data based on an ultrasonic sensor (e.g. in an improved way and manner) should or can be taken into account.

Der mathematische Zusammenhang kann eine auf Daten auf Basis einer Fahrzeugkamera und/oder auf Daten auf Basis eines Ultraschallsensors anzuwendende Gesetzmäßigkeit, Regel, Vorschrift, Formel, Mustererkennung, einen digitalen Filter, Entscheidungsmatrix, Fehlerkorrektur, etc. kennzeichnen. Der mathematische Zusammenhang kann (anzuwendende) Parameter, Koeffizienten, Gleichungen, Polynomen, zur Verarbeitung, Fusion, und/oder Verwendung der Daten auf Basis einer Kamera und/oder der Daten auf Basis eines Ultraschallsystems kennzeichnen.The mathematical context can identify a law, rule, regulation, formula, pattern recognition, a digital filter, decision matrix, error correction, etc. to be applied to data based on a vehicle camera and/or to data based on an ultrasonic sensor. The mathematical relationship may identify parameters (to be applied), coefficients, equations, polynomials, for processing, fusion, and/or use of the camera-based data and/or the ultrasound system-based data.

Im Rahmen des Verfahrens kann zumindest ein Parameter einer Situation und/oder einer Randbedingung bei der ersten und/oder der zweiten sensorischen Erfassung ermittelt werden.Within the framework of the method, at least one parameter of a situation and/or a boundary condition can be determined during the first and/or the second sensory detection.

Der mathematische Zusammenhang kann dann abhängig von dem Parameter der Situation und/oder der Randbedingung ermittelt werden, insbesondere derart, dass der mathematische Zusammenhang Situation- und/oder Randbedingungsabhängig ist.The mathematical relationship can then be determined as a function of the parameter of the situation and/or the boundary condition, in particular in such a way that the mathematical relationship is dependent on the situation and/or boundary condition.

In einem Beispiel kann sich der mathematische Zusammenhang auf eine oder mehrere bestimmte Situationen und/oder Randbedingungen, insbesondere einen Wertebereich und/oder ein Muster der Situationen bzw. Randbedingungen, beziehen. In der bevorzugten Ausgestaltung kann der mathematische Zusammenhang mehrere mathematische Zusammenhänge umfassen oder repräsentieren, die jeweils bestimmten Situationen und/oder Randbedingungen zugeordnet sind.In one example, the mathematical relationship can relate to one or more specific situations and/or boundary conditions, in particular a value range and/or a pattern of the situations or boundary conditions. In the preferred embodiment, the mathematical relationship can include or represent a number of mathematical relationships, each of which is assigned to specific situations and/or boundary conditions.

So kann die Güte der Fahrzeugfunktion bzw. einer weiteren Fahrzeugfunktion auf Basis der Kamera und/oder des Ultraschallsensors weiter erhöht werden.In this way, the quality of the vehicle function or another vehicle function can be further increased on the basis of the camera and/or the ultrasonic sensor.

Das Vergleichen der ersten und zweiten Daten kann in Abhängigkeit von dem zumindest einen Parameter der Situation und/oder der Randbedingung erfolgen. Es können dann basierend auf dem Ergebnis des Vergleichs ein oder mehrere Anwendungsbedingungen für den mathematischen Zusammenhang ermittelt werden. So kann die Güte der Fahrzeugfunktion weiter erhöht werden.The first and second data can be compared depending on the at least one parameter of the situation and/or the boundary condition. Based on the result of the comparison, one or more application conditions for the mathematical relationship can then be determined. In this way, the quality of the vehicle function can be further increased.

Der mathematische Zusammenhang kann für den Betrieb des Fahrzeugsystems, insbesondere der Fahrzeugfunktion, in einem (ggf. anderen) Fahrzeug bereitgestellt werden. Insbesondere können erste Daten und zweite Daten aus einer Fahrzeug-Flotte (z.B. aus einem ersten Teil der Fahrzeugflotte) verwendet werden, um den mathematischen Zusammenhang zu ermitteln und/oder anzupassen, und dann wiederum für die Fahrzeug-Flotte (z.B. für einen zweiten Teil der Fahrzeugflotte) bereitzustellen.The mathematical relationship can be provided for the operation of the vehicle system, in particular the vehicle function, in a (possibly different) vehicle. In particular, first data and second data from a vehicle fleet (e.g. from a first part of the vehicle fleet) can be used to determine and/or adapt the mathematical relationship, and then in turn for the vehicle fleet (e.g. for a second part of the vehicle fleet) to provide.

Bevorzugt kann die Verwendung des mathematischen Zusammenhangs, insbesondere im selben oder in einem weiteren Fahrzeug abhängig von einer in den (jeweiligen) Fahrzeugen ermittelten oder prädizierten Situation, insbesondere Fahrsituation, und/oder Randbedingung erfolgen.The mathematical relationship can preferably be used, in particular in the same vehicle or in another vehicle, depending on a situation determined or predicted in the (respective) vehicles, in particular a driving situation, and/or boundary condition.

Beispielsweise kann (bei einem späteren) Betrieb des Fahrzeugs oder eines weiteren Fahrzeugs ein Parameter und/oder ein Muster einer aktuellen oder bevorstehenden Situation und/oder Randbedingung erkannt werden. In Reaktion darauf kann ein entsprechender, insbesondere vorab dem entsprechenden Parameter (auch Parameterwertebereich) zugeordneter, mathematischer Zusammenhang verwendet werden.For example, (during a later) operation of the vehicle or another vehicle, a parameter and/or a pattern of a current or imminent situation and/or boundary condition can be recognized. In response to this, a corresponding mathematical relationship, in particular previously assigned to the corresponding parameter (also parameter value range), can be used.

Die ersten und zweiten Daten können zumindest teilweise in dem Kraftfahrzeug verarbeitet, insbesondere verglichen, werden. Das Vergleichen der Daten kann zumindest teilweise in einer Recheneinheit des Fahrzeugs ausgeführt werden.The first and second data can be at least partially processed, in particular compared, in the motor vehicle. The comparison of the data can be carried out at least partially in a computing unit of the vehicle.

Besonders bevorzugt wird das (z.B. in dem Fahrzeug auszuführende) Vergleichen der Daten aus der Fahrzeug-externen Recheneinheit beeinflusst, insbesondere gesteuert. Dabei kann eine Abhängigkeit (insbesondere ein Parameter, Faktor, Koeffizient, Formel, Muster, Schwellwert, etc. der Abhängigkeit) nach der das Vergleichen der Daten (z.B. im Fahrzeug) auszuführen ist, aus der Fahrzeug-externen Recheneinheit bestimmt oder angepasst werden.The comparison of the data (to be carried out in the vehicle, for example) from the computing unit external to the vehicle is particularly preferably influenced, in particular controlled. A dependency (in particular a parameter, factor, coefficient, formula, pattern, threshold value, etc. of the dependency) according to which the data is to be compared (e.g. in the vehicle) can be determined or adapted from the vehicle-external computing unit.

Dabei kann ein Vergleich der Daten in unterschiedlichen Gruppen der Fahrzeuge unterschiedlich, z.B. nach unterschiedlichen Formeln, erfolgen. Die Fahrzeuge können z.B. nach vorausbestimmten Bedingungen (etwa: Land, Region, Nutzungsdaten des Fahrzeugs bzw. des Fahrzeugsystems) unterschieden bzw. in Gruppen eingeteilt werden.The data in different groups of vehicles can be compared differently, eg according to different formulas. The vehicles can, for example, be differentiated or divided into groups according to predetermined conditions (for example: country, region, usage data of the vehicle or the vehicle system).

Das Übermitteln und/oder Verwenden der ersten und zweiten Daten kann dann in Abhängigkeit von der Verarbeitung der Daten in dem Kraftfahrzeug erfolgen. Es kann somit eine Vorverarbeitung und/oder eine Vorauswahl der Daten innerhalb des jeweiligen Kraftfahrzeugs erfolgen. Dabei können die Menge der Daten sowie die erforderliche Bandbreite zur Ausführung des Verfahrens signifikant gesenkt werden. In der Praxis können z.B. weniger als 10^-2, 10^-4, 10^-6, 10^-8 aller auf Basis der Fahrzeugkamera bzw. Ultraschall ermittelten bzw. ermittelbaren Daten übermittelt und/oder verwendet werden. Mit anderen Worten können im Verfahren bzw. erst durch das Verfahren überwiegend nur tatsächlich erforderliche bzw. zweckmäßige Daten ermittelt, insbesondere aktiv erzeugt, und/oder ausgewählt werden.The first and second data can then be transmitted and/or used as a function of the processing of the data in the motor vehicle. A pre-processing and/or a pre-selection of the data can thus take place within the respective motor vehicle. In this way, the amount of data and the bandwidth required to carry out the method can be significantly reduced. In practice, for example, less than 10 ^-2 , 10 ^-4 , 10 ^-6 , 10 ^-8 of all data determined or determinable on the basis of the vehicle camera or ultrasound can be transmitted and/or used. In other words, in the method or only through the method, predominantly only data that is actually required or expedient can be determined, in particular actively generated and/or selected.

Durch das Verfahren können (in einer besonders effizienten Art und Weise) auch die Persönlichkeitsrechte der Fahrzeughalter berücksichtigt werden. Dies begründet sich z.B. mit einer sehr starken Reduktion der erfassten Daten sowie damit, dass die erfassten Daten tatsächlich der Entwicklung eines verbesserten Produkts bzw. Dienstleistung dienen.The process also allows (in a particularly efficient manner) the personal rights of the vehicle owner to be taken into account. This is due, for example, to a very strong reduction in the data collected and to the fact that the data collected is actually used to develop an improved product or service.

So kann die Effizienz des in diesem Dokument beschriebenen Verfahrens weiter erhöht werden bzw. das Verfahren kann in der Praxis zweckmäßig ausführbar gemacht werden.In this way, the efficiency of the method described in this document can be further increased or the method can be made expediently executable in practice.

Die ersten Daten und die zweiten Daten können an eine Fahrzeug-externe Einheit gesendet werden. Ferner können die ersten Daten und die zweiten Daten in der Fahrzeug-externen Einheit analysiert und/oder verarbeitet werden. Dabei können die Daten aus einer Vielzahl von Fahrzeugen zusammen und/oder abhängig voneinander verarbeitet, insbesondere aggregiert, werden. Beispielsweise kann eine statistische Abhängigkeit innerhalb der Vergleichsdaten ermittelt werden. Auf Basis der statistischen Abhängigkeit können (z.B. besonders häufige und/oder große) Abweichungen ermittelt bzw. die Abweichungen in Relation zueinander berücksichtigt werden.The first data and the second data can be sent to an off-vehicle unit. Furthermore, the first data and the second data can be analyzed and/or processed in the vehicle-external unit. The data from a large number of vehicles can be processed together and/or dependent on one another, in particular aggregated. For example, a statistical dependency within the comparison data can be determined. On the basis of the statistical dependency (e.g. particularly frequent and/or large) deviations can be determined or the deviations can be taken into account in relation to one another.

Unter dem Begriff „Fahrzeug-externe (Rechen)Einheit“ ist insbesondere ein Backend, insbesondere eine Cloud und/oder ein Rechenzentrum, zu verstehen. Durch die (beschriebene) Verwendung einer Fahrzeug-externen Einheit zur Verarbeitung der Daten (einer Vielzahl von Fahrzeugen) kann die Güte der Fahrzeugfunktion bzw. einer weiteren Fahrzeugfunktion auf Basis der Kamera und/oder des Ultraschallsensors in besonders robuster Weise erhöht werden.The term “vehicle-external (computing) unit” is to be understood in particular as meaning a backend, in particular a cloud and/or a data center. The (described) use of a vehicle-external unit for processing the data (from a large number of vehicles) can increase the quality of the vehicle function or another vehicle function based on the camera and/or the ultrasonic sensor in a particularly robust manner.

Das Verfahren kann umfassen, das Ermitteln einer Mehrzahl von ersten Datensätzen auf Basis der ersten sensorischen Erfassung und einer entsprechenden Mehrzahl von zweiten Datensätzen auf Basis der zweiten sensorischen Erfassung. Es kann dann für jedes Paars aus jeweils einem ersten Datensatz und einem zweiten Datensatz, ein Maß für eine Abweichung und/oder für eine gegenseitige Plausibilität des ersten und des zweiten Datensatzes ermittelt werden. Die Mehrzahl von Paaren aus jeweils einem ersten und einem zweiten Datensatz kann dann in Abhängigkeit von dem jeweiligen Maß für die Abweichung und/oder für die gegenseitige Plausibilität zu mehreren unterschiedlichen Gruppen zugeordnet werden. Daraufhin können die zu unterschiedlichen Gruppen zugeordneten Daten unterschiedlich verarbeitet und/oder verwendet werden.The method may include determining a plurality of first data sets based on the first sensory acquisition and a corresponding plurality of second data sets based on the second sensory acquisition. A measure of a deviation and/or mutual plausibility of the first and second data sets can then be determined for each pair consisting of a first data set and a second data set. The plurality of pairs, each consisting of a first and a second data set, can then be assigned to a number of different groups depending on the respective measure of the deviation and/or of the mutual plausibility. The data assigned to different groups can then be processed and/or used differently.

Bevorzugt erfolgt ein Auswählen der Gruppen gemäß einem ersten vorausbestimmten Kriterium. Das Verwenden der Daten einer oder mehrerer ausgewählter Gruppen kann insbesondere abhängig von einem zweiten vorausbestimmten Kriterium variiert werden.The groups are preferably selected according to a first predetermined criterion. The use of the data of one or more selected groups can be varied in particular depending on a second predetermined criterion.

Das Verwenden der Daten kann für und/oder mittels eines Entwicklungsstands erfolgen. Unter dem Begriff „Entwicklungsstand“ ist insbesondere eine Version einer Software, Hardware und/oder eine Middleware für ein Fahrzeugsystem (z.B. ein weiterzuentwickelndes Fahrzeugsystem) zu verstehen. Es kann ein Entwicklungsstand von dem Fahrzeugsystem bzw. ein Nachfolgesystem für das Fahrzeugsystem sein. Unter dem Begriff „Fahrzeugsystem“ kann im Rahmen des vorliegenden Dokuments insbesondere ein Entwicklungsstand für das Fahrzeugsystem bzw. ein weiterentwickeltes Fahrzeugsystem verstanden werden.The data can be used for and/or by means of a development status. The term "development status" is to be understood in particular as a version of software, hardware and/or middleware for a vehicle system (e.g. a vehicle system to be further developed). It can be a development status of the vehicle system or a successor system for the vehicle system. In the context of the present document, the term “vehicle system” can in particular be understood to mean a development status for the vehicle system or a further developed vehicle system.

Das Verwenden der ersten Daten und der zweiten Daten kann ein Reprozessieren der Daten (insbesondere als jeweilige Paare) umfassen. Das Reprozessieren kann mittels eines Entwicklungsstands, insbesondere eines Entwicklungsstands für das Fahrzeugsystem oder ein weiterentwickeltes Fahrzeugsystem (z.B. für eine neue Version des Fahrzeugsystems), erfolgen.Using the first data and the second data may include reprocessing the data (particularly as respective pairs). The reprocessing can take place using a development status, in particular a development status for the vehicle system or a further developed vehicle system (e.g. for a new version of the vehicle system).

Das Reprozessieren kann ein Betreiben eines (z.B. stationär gelagerten bzw. mittels der Fahrzeug-externen Recheneinheit betreibbaren) Fahrzeugsystems, insbesondere eines Entwicklungsstands für das Fahrzeugsystem, mit den ersten Daten (z.B. einem Verlauf einer Vielzahl der ersten Messwerte) und/oder zweiten Daten (z.B. einem Verlauf einer Vielzahl der ersten Messwerte) umfassen.Reprocessing can include operating a vehicle system (e.g. stationary or operable by means of the vehicle-external computing unit), in particular a development status for the vehicle system, with the first data (e.g. a history of a large number of the first measured values) and/or second data (e.g. a course of a multiplicity of the first measured values).

Beim Verwenden der ersten Daten und/oder der zweiten Daten können die Software, Hardware und/oder sogenannte Middleware für das Fahrzeugsystem, insbesondere ein Update, Upgrade oder Weiterentwicklung des Fahrzeugsystems bestimmt oder angepasst werden. Insbesondere kann der bereits in diesem Dokument beschriebene mathematische Zusammenhang bestimmt oder angepasst werden. Dieser kann z.B. an weitere oder neuere Fahrzeuge, z.B. an einen Teil der Fahrzeug-Flotte (z.B. mittels eines drahtlos ausgeführten Updates) bereitgestellt bzw. in diesen zum Betreiben eines (gleichen, ähnlichen bzw. weiterentwickelten) Fahrzeugsystems verwendet werden.When using the first data and/or the second data, the software, hardware and/or so-called middleware for the vehicle system, in particular an update, upgrade or further development of the vehicle system, can be determined or adapted. In particular, the mathematical relationship already described in this document can be determined or adjusted. This can be made available, for example, to other or newer vehicles, for example to part of the vehicle fleet (eg by means of a wireless update) or used in them to operate a (same, similar or further developed) vehicle system.

Gemäß einem weiteren Aspekt wird ein Computerprogramm, insbesondere ein Computerprogrammprodukt umfassend ein Computerprogramm, beschrieben, wobei das Computerprogramm ausgebildet ist, bei seiner Ausführung auf zumindest einer Recheneinheit das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a computer program, in particular a computer program product comprising a computer program, is described, the computer program being designed to carry out the method described in this document when it is executed on at least one computing unit.

Das Computerprogrammprodukt kann als ein Update eines bisherigen Computerprogramms ausgebildet sein, welches beispielsweise im Rahmen einer Funktionserweiterung, beispielsweise im Rahmen eines sogenannten „Remote Software Update“ die Teile des Computerprogramms bzw. des entsprechenden Programmcodes umfasst. Das Computerprogrammprodukt umfasst insbesondere ein von der Datenverarbeitungsvorrichtung lesbares Medium, auf dem der Programmcode gespeichert ist, oder zumindest eine verschlüsselte Datei. Gemäß einem weiteren Aspekt wird ein Programmprodukt beschrieben, das ein autorisiertes Zugriffsrecht auf abgelegte Daten des Computerprogrammprodukts umfasst.The computer program product can be embodied as an update of a previous computer program, which includes the parts of the computer program or the corresponding program code, for example as part of a functional expansion, for example as part of a so-called “remote software update”. The computer program product includes in particular a medium that can be read by the data processing device and on which the program code is stored, or at least one encrypted file. According to a further aspect, a program product is described which includes an authorized access right to stored data of the computer program product.

Alternativ oder zusätzlich kann das Computerprogramm einen abhängig von den ersten Daten und den zweiten Daten aus einer Vielzahl von Fahrzeugen erstellten, ermittelten oder angepassten (den bereits im Rahmen dieses Dokuments beschriebenen) mathematischen Zusammenhang zu einer Verwendung in einem Fahrzeug, insbesondere in einem oder mehreren bereits genutzten Fahrzeugen, (zum Betreiben des jeweiligen Fahrzeugsystems bzw. Funktionalität im Fahrzeug) bereitstellen. Beispielsweise kann ein den mathematischen Zusammenhang repräsentierender Datensatz mit dem Computerprogramm und/oder durch das Computerprogramm (an ein oder mehrere Fahrzeuge, z.B. mit einem Update) bereitgestellt bzw. aktualisiert werden.Alternatively or additionally, the computer program can create, determine or adapt a mathematical relationship (already described in the context of this document) based on the first data and the second data from a large number of vehicles for use in a vehicle, in particular in one or more already vehicles used (to operate the respective vehicle system or functionality in the vehicle). For example, a data set representing the mathematical relationship can be provided or updated with the computer program and/or by the computer program (to one or more vehicles, e.g. with an update).

Gemäß einem weiteren Aspekt wird eine Vorrichtung zur Entwicklung, Absicherung und/oder zum Betreiben eines Fahrzeugsystems eines Kraftfahrzeugs beschrieben. Das Fahrzeugsystem umfasst zumindest eine Kamera und zumindest einen Ultraschallsensor, z.B. um eine Fahrzeugfunktion, insbesondere eine Park- und/oder Rangierfunktion, bereitzustellen.According to a further aspect, a device for developing, validating and/or operating a vehicle system of a motor vehicle is described. The vehicle system includes at least one camera and at least one ultrasonic sensor, e.g. to provide a vehicle function, in particular a parking and/or maneuvering function.

Die Vorrichtung ist eingerichtet, während eines Betriebs des Fahrzeugs zu detektieren, dass eine Triggerbedingung erfüllt ist, und in Reaktion darauf eine erste sensorische Erfassung einer Umgebung des Fahrzeugs der Kamera und eine zweite sensorischen Erfassung zumindest teilweise derselben Umgebung des Fahrzeugs mit dem Ultraschallsensor zu veranlassen. Des Weiteren ist die Vorrichtung eingerichtet, auf Basis der ersten sensorischen Erfassung ermittelte erste Daten und auf Basis der zweiten sensorischen Erfassung ermittelte zweite Daten zu vergleichen, und die ersten Daten und die zweiten Daten in Abhängigkeit von einem Ergebnis des Vergleichs der ersten Daten und der zweiten Daten zur Entwicklung, Absicherung und/oder zum Betrieb des Fahrzeugsystems zu übermitteln und/oder zu verwenden.The device is set up to detect during operation of the vehicle that a trigger condition is met, and in response thereto to cause a first sensory detection of surroundings of the vehicle of the camera and a second sensory detection of at least partially the same surroundings of the vehicle with the ultrasonic sensor. Furthermore, the device is set up to compare first data ascertained on the basis of the first sensory acquisition and second data ascertained on the basis of the second sensory acquisition, and the first data and the second data depending on a result of the comparison of the first data and the second To transmit and/or use data for the development, validation and/or operation of the vehicle system.

Gemäß einem weiteren Aspekt wird ein (Straßen-)Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.According to a further aspect, a (road) motor vehicle (in particular a passenger car or a truck or a bus) is described which comprises the device described in this document.

Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.It should be noted that the methods, devices and systems described in this document can be used both alone and in combination with other methods, devices and systems described in this document. Furthermore, any aspects of the methods, devices and systems described in this document can be combined with one another in a variety of ways. In particular, the features of the claims can be combined with one another in many different ways.

Im Weiteren wird die Erfindung ohne Beschränkung der Allgemeinheit anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

1 beispielhafte Komponenten eines Fahrzeugs;
2 einen beispielhaften Sensierungsbereich eines Fahrzeugs; und
3 ein Ablaufdiagramm eines beispielhaften Verfahrens zum Betrieb eines Fahrzeugsystems, insbesondere eines Einparksystems.

The invention is described in more detail below with reference to exemplary embodiments without restricting the generality. show it

1 exemplary components of a vehicle;
2 an example sensing range of a vehicle; and
3 a flowchart of an exemplary method for operating a vehicle system, in particular a parking system.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Erhöhung der Güte eines Fahrzeugsystems, insbesondere eines Einparksystems. In diesem Zusammenhang zeigt 1 beispielhafte Komponenten eines Fahrzeugs 100. Das Fahrzeug 100 kann, z.B. an einem Außenspiegel des Fahrzeugs 100, eine Kamera 102 umfassen, die eingerichtet ist, erste Sensordaten, insbesondere Kamera- und/oder Bilddaten, in Bezug auf ein Umfeld des Fahrzeugs 100 zu erfassen. Des Weiteren kann das Fahrzeug 100 ein oder mehrere Ultraschallsensoren 103 umfassen, die eingerichtet sind, zweite Sensordaten, insbesondere Ultraschalldaten, in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Ein (Steuer- und/oder Auswerte-) Vorrichtung 101 des Fahrzeugs 100 kann eingerichtet sein, auf Basis der ersten und/oder der zweiten Sensordaten ein oder mehrere Objekte 110 im Umfeld des Fahrzeugs 100 zu detektieren. Ein Fahrzeugsystem, insbesondere ein Parksystem, des Fahrzeugs 100 kann dann in Abhängigkeit von den ein oder mehreren detektieren Objekten 110 bereitgestellt, insbesondere betrieben, werden, z.B. um ein automatisiertes Einpark- und/oder Ausparkmanöver zu bewirken.As explained at the outset, the present document deals with increasing the quality of a vehicle system, in particular a parking system. In this context shows 1 exemplary components of a vehicle 100. The vehicle 100 can include a camera 102, for example on an exterior mirror of the vehicle 100. FIG sen, which is set up to capture first sensor data, in particular camera and / or image data, in relation to an environment of the vehicle 100. Furthermore, the vehicle 100 can include one or more ultrasonic sensors 103 that are set up to acquire second sensor data, in particular ultrasonic data, in relation to the surroundings of the vehicle 100 . A (control and/or evaluation) device 101 of the vehicle 100 can be set up to detect one or more objects 110 in the area surrounding the vehicle 100 on the basis of the first and/or the second sensor data. A vehicle system, in particular a parking system, of vehicle 100 can then be provided, in particular operated, depending on the one or more detected objects 110, for example in order to bring about an automated maneuver into and/or out of a parking space.

Das Fahrzeug 100, insbesondere die Vorrichtung 101 des Fahrzeugs 100, kann eingerichtet sein, jeweils dieselbe Situation im Nahfeld des Fahrzeugs, insbesondere eine Anordnung mit ein oder mehreren Objekten 110 relativ zum Fahrzeug 100 und/oder eine Anordnung mit ein oder mehreren Objekten 110 relativ zueinander in der Umgebung des Fahrzeugs 100, sensorisch zu erfassen. Dabei kann die Situation mittels einer Fahrzeugkamera 102 erfasst werden, und das Kamerabild in Bezug auf die Situation kann gespeichert werden. Des Weiteren kann die Situation mittels der ein oder mehreren Ultraschallsensoren 103, z.B. durch Auswertung der Echo- bzw. Kreuzechosignale, sensorisch erfasst werden, und es können z.B. rohe bzw. teilweise verarbeitete Ultraschalldaten gespeichert werden.The vehicle 100, in particular the device 101 of the vehicle 100, can be set up, in each case the same situation in the near field of the vehicle, in particular an arrangement with one or more objects 110 relative to the vehicle 100 and/or an arrangement with one or more objects 110 relative to one another in the environment of the vehicle 100 to be detected by sensors. In this case, the situation can be captured by means of a vehicle camera 102 and the camera image relating to the situation can be stored. Furthermore, the situation can be detected by sensors using the one or more ultrasonic sensors 103, e.g. by evaluating the echo or cross-echo signals, and raw or partially processed ultrasonic data can be stored, for example.

Es können Datensätze aus jeweils einem Paar aus ersten Sensordaten der Kamera 102 und zweiten Sensordaten des Ultraschallsensors 103 gebildet werden bzw. die ersten Daten und die zweiten Daten können zu einer weiteren Verarbeitung zueinander zugeordnet bzw. verlinkt werden. Mit anderen Worten, es kann ein Datensatz bzw. eine Zuordnung zwischen ersten Daten aus der ersten sensorischen Erfassung mittels der Kamera 102 und zweiten Daten aus der zweiten sensorischen Erfassung mittels der ein oder mehrere Ultraschallsensoren 103 gebildet werden.Data sets can be formed from a pair of first sensor data from camera 102 and second sensor data from ultrasonic sensor 103, or the first data and the second data can be assigned or linked to one another for further processing. In other words, a data record or an association can be formed between first data from the first sensory acquisition using camera 102 and second data from the second sensory acquisition using one or more ultrasonic sensors 103 .

Es werden eine oder mehrere Triggerbedingungen (aus einer Fahrzeug-externen Einheit) an ein oder mehrere Fahrzeuge 100 (bevorzugt an mehrere in einem typischen Nutzbetrieb befindliche Fahrzeuge) übermittelt. Die Fahrzeuge 100 können nach einem bestimmten Kriterium, z.B. abhängig von den zuvor aus den Fahrzeugen übermittelten Daten, gewählt werden.One or more trigger conditions (from a vehicle-external unit) are transmitted to one or more vehicles 100 (preferably to a plurality of vehicles in typical commercial operation). The vehicles 100 can be selected according to a certain criterion, e.g. depending on the data previously transmitted from the vehicles.

Die Triggerbedingungen können die Bedingungen zum Erfassen (z.B. für den Anfang und das Ende des Erfassens) der ersten Daten und/oder der zweiten Daten, und/oder einen Parameter zum Verarbeiten der ersten Daten und/oder zweiten Daten bestimmen. Diese Bedingungen können sich auf die potentiell möglichen Zustände des Fahrzeugs, Randbedingungen und/oder die Situation, insbesondere die Fahrsituation, in der Umgebung des Fahrzeugs beziehen.The trigger conditions may specify the conditions for acquiring (e.g. for beginning and ending acquisition) the first data and/or the second data, and/or a parameter for processing the first data and/or second data. These conditions can relate to the potentially possible states of the vehicle, boundary conditions and/or the situation, in particular the driving situation, in the vicinity of the vehicle.

Die Erfassung und/oder die Zuordnung der Daten kann abhängig von ein oder mehreren vorausbestimmten Bedingungen, z.B. Triggerbedingungen, erfolgen. Ferner können die Daten zur weiteren Verwendung zu einem (Fahrzeug-externen) Backend, z.B. zu einem Rechenzentrum, übermittelt werden. Dies kann bevorzugt (ebenfalls) abhängig von der Triggerbedingung erfolgen.The data can be acquired and/or assigned depending on one or more predetermined conditions, e.g. trigger conditions. Furthermore, the data can be transmitted to a (vehicle-external) backend, e.g. to a data center, for further use. This can preferably (also) take place as a function of the trigger condition.

Die ersten Daten und/oder die zweiten Daten sind kennzeichnend, insbesondere repräsentierend für einen Verlauf, insbesondere eine Sequenz oder eine Veränderungsfunktion der ersten (z.B. auf Basis der Fahrzeugkamera ermittelten) Daten, z.B. Messwerte, bzw. der zweiten (z.B. auf Basis des Ultraschallsensors ermittelten) Daten, z.B. Messwerte. Beispielsweise können die ersten bzw. zweiten Daten, als ein Verlauf der Messwerte, eine eine Zeit, eine Fahrdistanz und/oder eine Position repräsentierende Größe bezogene erste bzw. zweite Messwerte kennzeichnen, insbesondere repräsentieren.The first data and/or the second data are characteristic, in particular representative of a course, in particular a sequence or a change function of the first data (e.g. determined on the basis of the vehicle camera), e.g. measured values, or the second data (e.g. determined on the basis of the ultrasonic sensor ) data, e.g. measured values. For example, the first or second data, as a progression of the measured values, can characterize, in particular represent, a quantity representing a time, a driving distance and/or a position.

Die Daten korrespondierend mit der ersten und/oder zweiten sensorischen Erfassung können in einem Speicher, insbesondere in einem sogenannten Ringspeicher (ROM bzw. EEPROM), oder einer sinngemäß ausgestalteten Struktur im Fahrzeug 100, z.B. in einem entsprechenden Steuergerät, gespeichert werden. Diese Daten können bei einem (auch nachträglichen) Erkennen der Triggerbedingung zur Ausführung weiterer Schritte des Verfahrens aus dem Ringspeicher ausgelesen werden. Dadurch kann die Menge der zu übermittelnden bzw. zu verarbeitenden Daten (z.B. Millionenfach) auf ein reduziertes, tatsächlich ausführbares, Niveau gesenkt werden. Die Triggerbedingung kann sich selbst auf Daten eines der genannten Systeme beziehen.The data corresponding to the first and/or second sensory detection can be stored in a memory, in particular in a so-called ring memory (ROM or EEPROM), or in a correspondingly configured structure in vehicle 100, e.g. in a corresponding control unit. This data can be read out of the ring memory when the trigger condition is recognized (also subsequently) in order to carry out further steps of the method. This allows the amount of data to be transmitted or processed (e.g. millions of times) to be reduced to a level that is actually executable. The trigger condition itself can relate to data from one of the systems mentioned.

In einem Beispiel kann von der Kamera 102 ein Kamerabild aufgenommen werden, wenn als Triggerbedingung erkannt wird, dass der Ultraschallsensor 103 versagt bzw. ein zweifelhaftes Ergebnis liefert. Alternativ oder ergänzend können Ultraschalldaten, z.B. auch Rohdaten oder zumindest teilweise verarbeitete Daten, aufgenommen werden, wenn als Triggerbedingung die Fahrzeugkamera 102 ein fehlerhaftes oder zumindest teilweise zweifelhaftes Ergebnis liefert.In one example, a camera image can be recorded by the camera 102 if it is recognized as a trigger condition that the ultrasonic sensor 103 fails or delivers a dubious result. Alternatively or additionally, ultrasound data, e.g. also raw data or at least partially processed data, can be recorded if the vehicle camera 102 supplies an incorrect or at least partially dubious result as a trigger condition.

Auf Basis der beiden (z.B. in einer Vielzahl von Fahrzeugen 100 veranlassten) Erfassungsvorgänge können Daten gewonnen werden, die z.B. wie folgt verwendet werden können,

• Nutzung der auf den ein oder mehreren Ultraschallsensoren 103 basierenden zweiten Daten und/oder der auf der Kamera 102 basierenden ersten Daten z.B. für eine Fahrzeugfunktion bzw. für ein Fahrzeugsystem; und/der
• Datenfusion der auf den ein oder mehreren Ultraschallsensoren 103 basierenden zweiten Daten mit den auf der Kamera 102 basierenden ersten Daten.

On the basis of the two detection processes (e.g. initiated in a large number of vehicles 100), data can be obtained which can be used, for example, as follows,

• Use of the second data based on the one or more ultrasonic sensors 103 and/or the first data based on the camera 102, for example for a vehicle function or for a vehicle system; and the
• Data fusion of the second data based on the one or more ultrasonic sensors 103 with the first data based on the camera 102 .

Es können, insbesondere anhand einer Vielzahl derartiger Datensätze (z.B. mittels einer nachgelagerten teilweise automatisierten Datenanalyse), Randbedingungen und/oder Situationen als Triggerbedingungen erkannt (sozusagen gefiltert) werden, bei denen ein Fehler, eine über einem Faktor und/oder Schwellwert, liegende Abweichung und/oder Unsicherheit (bzw. ein unter einem Schwellwert liegendes Konfidenzmaß) der auf den ein oder mehreren Ultraschallsensoren 103 basierenden zweiten Daten und/oder der auf der Kamera 102 basierenden ersten Daten vorliegt.Boundary conditions and/or situations can be identified (filtered, so to speak) as trigger conditions, in particular on the basis of a large number of such data sets (e.g. by means of a downstream, partially automated data analysis), in which an error, a deviation above a factor and/or threshold value, and /or uncertainty (or a confidence level below a threshold value) of the second data based on the one or more ultrasonic sensors 103 and/or the first data based on the camera 102 is present.

Abhängig von der ermittelten Information können eine bestimmte Korrektur, insbesondere eine Korrekturlogik, ein Korrekturfaktor und/oder ein Verwerfen der auf den ein oder mehreren Ultraschallsensoren 103 basierenden zweiten Daten und/oder der auf der Kamera 102 basierenden ersten Daten im selben oder in einem weiteren Fahrzeug 100 ausgeführt werden. Dies kann mittels eines (angelernten) mathematischen Zusammenhangs erfolgen.Depending on the information determined, a specific correction, in particular a correction logic, a correction factor and/or discarding of the second data based on one or more ultrasonic sensors 103 and/or the first data based on camera 102 can be carried out in the same vehicle or in another vehicle 100 to be executed. This can be done by means of a (taught) mathematical relationship.

Bevorzugt können auf Basis der (jeweils zwei) veranlassten sensorischen Erfassungsvorgänge eine gezielte, punktuelle und/oder auf eine konkrete Situation und/oder Randbedingung bezogene Handhabung, insbesondere spezielle Verarbeitung, Korrektur oder Ausschluss der auf den ein oder mehreren Ultraschallsensoren 103 basierenden zweiten Daten und/oder der auf der Kamera 102 basierenden ersten Daten erfolgen. Zu diesem Zweck kann im beschriebenen Verfahren ein Reprozessieren der Daten aus dem ersten und dem zweiten Erfassungsvorgang, z.B. in einem Backend, ausgeführt werden.On the basis of the (two in each case) sensory detection processes that have been initiated, a targeted, selective handling and/or handling related to a specific situation and/or boundary condition, in particular special processing, correction or exclusion of the second data based on the one or more ultrasonic sensors 103 and/or or the first data based on the camera 102 . For this purpose, the method described can be used to reprocess the data from the first and second acquisition process, e.g. in a backend.

Dabei können (zumindest teilweise automatisiert) ein oder mehrere Informationen, insbesondere Logik, Faktor, Offsetwerte, Korrekturfaktoren, etc. (d.h. allgemein ein mathematischer Zusammenhang), zum verbesserten Betrieb des Fahrzeugsystems ermittelt werden. Diese können zumindest teilweise mittels eines (in einem Backend ausführbaren) Optimierungsverfahrens (auf Basis einer Vielzahl von Datensätzen) ermittelt werden.One or more items of information, in particular logic, factor, offset values, correction factors, etc. (i.e. generally a mathematical relationship), can be determined (at least partially automatically) for improved operation of the vehicle system. These can be determined at least in part by means of an optimization method (executable in a backend) (based on a large number of data sets).

Im Rahmen des beschriebenen Verfahrens kann eine Konfigurationsdatei (auf Basis des mathematischen Zusammenhangs) zum Betreiben weiterer Fahrzeuge 100 bestimmt oder angepasst werden. Diese bzw. eine derartige Konfigurationsdatei kann an dasselbe Fahrzeug 100 oder an weitere Fahrzeuge 100 (z.B. mittels Remote-Software-Update, etwa als Parameterdaten oder Applikationsdaten) bereitgestellt (z.B. ausgerollt bzw. aktualisiert) werden. Das Ergebnis kann zum Verbessern des Entwicklungsstands, z.B. einer nächsten Version, insbesondere Generation, der Fahrzeugfunktionalität verwendet werden. Within the framework of the method described, a configuration file (on the basis of the mathematical relationship) for operating additional vehicles 100 can be determined or adapted. This or such a configuration file can be provided (e.g. rolled out or updated) to the same vehicle 100 or to other vehicles 100 (e.g. by means of a remote software update, for example as parameter data or application data). The result can be used to improve the state of development, e.g., a next version, especially generation, of the vehicle functionality.

Der erste und/oder der zweite Erfassungsvorgang können nicht erkennbar oder nicht störend für die Nutzer der Fahrzeuge 100, sozusagen in einem speziellen den Fahrzeugnutzer nicht störenden Betriebsmodus (insbesondere in einem für diese oder ähnliche Verfahren vorgesehenen „Tarnkappenmodus“), unter realen Bedingungen aber ohne eine für den Fahrzeugnutzer störenden oder wahrnehmbaren Auswirkung, z.B. ohne eine Fahrerinformation und/oder ohne einen Fahrwerkseingriff, veranlasst und/oder bewirkt werden. Dies kann erfolgen, um die besagten ersten Daten und/oder zweiten Daten für die Entwicklung, Parametrierung und/oder Absicherung von einer weiteren (real wirkenden) Fahrzeugfunktion zu generieren.The first and/or the second detection process may not be recognizable or disturbing for the users of the vehicles 100, so to speak in a special operating mode that does not disturb the vehicle user (in particular in a "stealth mode" provided for this or similar methods), but under real conditions without an effect that is disruptive or perceptible to the vehicle user, e.g. without driver information and/or without chassis intervention, being initiated and/or effected. This can be done in order to generate the aforesaid first data and/or second data for the development, parameterization and/or protection of a further (actually acting) vehicle function.

Dabei können die ein oder mehreren Triggerbedingungen auf die dafür relevanten Fälle zugeschnitten sein. Es können somit ein oder mehrere Triggerbedingungen verwendet werden, die auf ein oder mehrere zu analysierende Betriebsfälle der Fahrzeugfunktion zugeschnitten sind. Somit können die Menge an zu verarbeitenden Daten reduziert werden und Ressourcen einspart werden.The one or more trigger conditions can be tailored to the relevant cases. One or more trigger conditions can thus be used, which are tailored to one or more operating cases of the vehicle function to be analyzed. Thus, the amount of data to be processed can be reduced and resources can be saved.

Beispielsweise können die Daten der beiden Erfassungsvorgänge (bevorzugt offline, in einem Backend, außerhalb des Fahrzeugs 100) reprozessiert werden. Beispielsweise kann dabei (rechnergestützt) eine Lösung für ggf. vorkommende Fehler und/oder nicht übereinstimmende Ergebnisse gefunden werden.For example, the data from the two acquisition processes (preferably offline, in a backend, outside of vehicle 100) can be reprocessed. For example, a solution can be found (computer-aided) for any errors that may occur and/or inconsistent results.

Beispielsweise gehört dazu auch eine rechnergestützte Optimierung der Parameter, mit welchen die ersten Daten der Fahrzeugkamera 102 und/oder die zweiten Daten des zumindest einen Ultraschalsensors 103 in einer nächsten Version der entsprechenden Fahrzeugfunktionalität, z.B. für unterschiedliche Situationen und/oder Randbedingungen, verarbeitet werden. Eine derartige Optimierung kann z.B. auf Basis mehrerer Tausend oder Millionen Datensätze, z.B. mittels eines Optimierungsverfahrens, z.B. umfassend die Anwendung einer sogenannten Kostenfunktion, ermittelt werden. Als Ergebnis der Optimierung kann ein mathematischer Zusammenhang für die Verarbeitung der Daten der Fahrzeugkamera 102 und/oder des Ultraschallsensors 103 im Rahmen der Fahrzeugfunktion bereitgestellt werden.This also includes, for example, computer-aided optimization of the parameters with which the first data from vehicle camera 102 and/or the second data from the at least one ultrasonic sensor 103 is processed in a next version of the corresponding vehicle functionality, e.g. for different situations and/or boundary conditions. Such an optimization can be based, for example, on several thousand or millions of data sets, for example using a Optimization method, for example comprising the application of a so-called cost function, are determined. As a result of the optimization, a mathematical relationship can be provided for processing the data from vehicle camera 102 and/or ultrasonic sensor 103 as part of the vehicle function.

Die beiden Erfassungsvorgänge können ausgeführt und die entsprechenden, z.B. den jeweiligen Erfassungsvorgang, betreffenden und/oder mit diesem korrespondierenden Daten erfasst werden. Dies kann erfolgen (speziell) dafür, um Daten zu den zwei Erfassungsvorgängen zu erhalten. Bevorzugt werden der (erste und der zweite) Erfassungsvorgang zumindest teilweise unabhängig von einer funktionalen Nutzung der Fahrzeugkamera 102 bzw. des Ultraschallsensors 103 und/oder unabhängig von einer Ausführung einer bestimmten Fahrzeugfunktion dienenden Kamerafunktionalität veranlasst. Insbesondere werden die beiden Vorgänge (quasi eine Doppelmessung) alternativ oder zusätzlich zu einer Nutzung des Kamerasystems 102 zu einem funktionalen Zweck (aktiv) veranlasst.The two recording processes can be carried out and the corresponding data, e.g. relating to and/or corresponding to the respective recording process, can be recorded. This can be done (specifically) to get data on the two acquisitions. The (first and second) detection process is preferably initiated at least partially independently of a functional use of vehicle camera 102 or ultrasonic sensor 103 and/or independently of a camera functionality serving a specific vehicle function. In particular, the two processes (quasi a double measurement) are initiated (actively) as an alternative or in addition to using the camera system 102 for a functional purpose.

Die Erfassungsvorgänge können (ggf. auch) außerhalb der funktionalen Use-Cases, z.B. nicht nur beim Parken bzw. Rangieren, oder bei bestimmten, insbesondere ein Parken und/oder Rangieren betreffenden, Fällen erfolgen. Dabei kann kein oder im Wesentlichen nur das zweite Messergebnis, z.B. das auf den ein oder mehreren Ultraschallsensoren 103 basierte Ergebnis, funktional verwendet werden.The recording processes can (possibly also) take place outside of the functional use cases, e.g. not only when parking or manoeuvring, or in certain cases, in particular parking and/or manoeuvring. In this case, no or essentially only the second measurement result, e.g. the result based on the one or more ultrasonic sensors 103, can be used functionally.

Wie bereits oben dargelegt, kann das Veranlassen der ein oder mehreren ersten und/oder zweiten Erfassungsvorgänge abhängig von einer vorausbestimmten Bedingung, insbesondere von einer Triggerbedingung, erfolgen. Dabei kann zumindest eine Triggerbedingung derart gewählt werden, dass die Daten zur Entwicklung einer Park- oder Rangierfunktionalität während eines Fahrbetriebs des Fahrzeugs 100 auf einer Straße generiert werden und/oder dass Daten zur Entwicklung einer Fahrfunktionalität, z.B. einer Querführung und/oder Längsführung, während eines Park- oder Rangierbetriebs des Fahrzeugs 100 generiert werden.As already explained above, the initiation of the one or more first and/or second detection processes can take place depending on a predetermined condition, in particular on a trigger condition. At least one trigger condition can be selected in such a way that the data for developing a parking or maneuvering functionality is generated while vehicle 100 is driving on a road and/or that data for developing a driving functionality, e.g. lateral guidance and/or longitudinal guidance, is generated during a Parking or maneuvering of the vehicle 100 are generated.

Die Triggerbedingung kann z.B. kennzeichnend dafür sein, dass sich bestimmte Objekte 110, z.B. Objekte 110 einer bestimmten Art, z.B. ein Bordstein, ein Schlagloch, Tiere, insbesondere bestimmte Tierarten (Katzen, Hunde, Marder, etc.), menschliche Beine bzw. Füße, Teile, z.B. Karosserieteile und/oder Reifen, eines Fahrzeugs, unförmige und/oder noch nicht bekannte Objekte 110, in dem betreffenden Umfeld des Fahrzeugs 100 befinden bzw. dass bestimmte Objekte 110 erkannt werden. Die Triggerbedingung kann somit von einem Typ Objekt 110 in der Umgebung des Fahrzeugs 100 abhängen.The trigger condition can, for example, indicate that specific objects 110, e.g. objects 110 of a specific type, e.g. a curb, a pothole, animals, in particular specific animal species (cats, dogs, martens, etc.), human legs or feet, Parts, e.g. body parts and/or tires, of a vehicle, bulky and/or not yet known objects 110 are located in the relevant environment of vehicle 100 or that specific objects 110 are recognized. The trigger condition can thus depend on a type of object 110 in the area surrounding vehicle 100 .

Insbesondere können Erfassungsvorgänge derart ausgeführt werden, dass zumindest vorrangig die ersten Daten und/oder die zweiten Daten generiert, insbesondere ins Backend übermittelt, erfasst, und/oder im Verfahren weiterverarbeitet werden, die mit bestimmten Objekten 110, Anordnungen von Objekten 110, Randbedingungen und/oder Situationen korrespondieren. Als Daten, die mit einem Erfassungsvorgang korrespondieren, werden insbesondere Daten aufgefasst, die sich auf dasselbe (relativ kurze) Zeitintervall beziehen, wie der j eweilige Erfassungsvorgang, auf ein (relativ kurzes) Zeitintervall vor dem Erfassungsvorgang und/oder nach dem jeweiligen Erfassungsvorgang. Mit anderen Worten können sich die in diesem Dokument als korrespondierend bezeichneten Daten auf etwas beziehen, was vor, während oder nach dem Zustandekommen des jeweiligen Erfassungsvorgangs war, ist oder sein wird. Daher kann zumindest eine vorausbestimmte Bedingung entsprechend definiert sein.In particular, acquisition processes can be carried out in such a way that at least primarily the first data and/or the second data are generated, in particular transmitted to the backend, acquired, and/or processed further in the method, which are associated with certain objects 110, arrangements of objects 110, boundary conditions and/or or situations correspond. In particular, data that relates to the same (relatively short) time interval as the respective collection process, to a (relatively short) time interval before the collection process and/or after the respective collection process is considered to be data that corresponds to a collection process. In other words, the data referred to in this document as corresponding may refer to what was, is, or will be before, during, or after the respective acquisition process occurred. Therefore, at least one predetermined condition can be defined accordingly.

Es können Erfassungsvorgänge derart ausgeführt werden, dass zumindest vorrangig die ersten Daten und/oder die zweiten Daten generiert, insbesondere ins Backend übermittelt, erfasst, und/oder im Verfahren weiterverarbeitet werden, die (zumindest statistisch) eine erhöhte, insbesondere eine (besonders) hohe, Abweichung zwischen dem ersten Ergebnis eines ersten Erfassungsvorgangs und dem zweiten Ergebnis eines zweiten Erfassungsvorgangs aufweisen. Hier kann eine Abweichung bzw. eine Unplausibilität, z.B. bereits im Fahrzeug 100, erkannt werden und daraufhin können die Daten, die mit dem ersten bzw. zweiten Erfassungsvorgang korrespondieren, übermittelt und/oder weiterverarbeitet werden.Recording processes can be carried out in such a way that at least primarily the first data and/or the second data are generated, in particular transmitted to the backend, recorded and/or processed further in the process, which (at least statistically) have an increased, in particular a (particularly) high , Deviation between the first result of a first detection process and the second result of a second detection process. Here, a discrepancy or an implausibility, e.g. already in the vehicle 100, can be recognized and then the data that correspond to the first or second detection process can be transmitted and/or further processed.

Ferner können ein oder mehrere Parameter einer Situation, insbesondere einer Fahrsituation bzw. Park- oder Rangiersituation, ermittelt und berücksichtigt werden. Ferner kann ein Parameter einer Randbedingung (z.B. einer Randbedingung, die gehäuft bzw. vermehrt zu nicht zueinander passenden Ergebnissen des ersten Erfassungsvorgangs und des zweiten Erfassungsvorgangs führen) zu dem ersten Erfassungsvorgang und/oder dem zweiten Erfassungsvorgang, z.B. kennzeichnend für die Temperatur, die Lichtverhältnisse, die Luftfeuchtigkeit, etc. ermittelt und berücksichtigt werden. Insbesondere kann die zumindest eine vorausbestimmte Bedingung, z.B. die Triggerbedingung, abhängig von einem oder mehreren Parametern der Situation und/oder Randbedingung ermittelt werden.Furthermore, one or more parameters of a situation, in particular a driving situation or parking or maneuvering situation, can be determined and taken into account. Furthermore, a parameter of a boundary condition (e.g. a boundary condition that frequently or increasingly leads to results of the first detection process and the second detection process that do not match one another) can be associated with the first detection process and/or the second detection process, e.g. characteristic of the temperature, the lighting conditions, humidity, etc. are determined and taken into account. In particular, the at least one predetermined condition, e.g. the trigger condition, can be determined depending on one or more parameters of the situation and/or boundary condition.

Der Begriff „Fahrsituation“ kann im Rahmen des vorliegenden Dokuments z.B. als eine bestimmte Anordnung, Aktion, Interaktion, und/oder als ein bestimmter Fahrparameter von Verkehrsteilnehmern verstanden werden. Insbesondere unterscheidet sich die Bedeutung des Begriffs „Situation“ bzw. „Fahrsituation“ von einer häufig umgangssprachlich verwendeten Bedeutung des Begriffs „Verkehrssituation“, welche vielmehr einer zusammenfassenden, allgemeinen Kategorie „freier Verkehr“, „dichter Verkehr“, „zähfließender Verkehr“, „Stau“, „Stauende“ etc. entspricht.In the context of the present document, the term “driving situation” can be understood, for example, as a specific arrangement, action, interaction and/or as a specific driving parameter of road users. In particular, the meaning of the term "situation" differs or "driving situation" from a commonly used colloquial meaning of the term "traffic situation", which rather corresponds to a summarizing, general category "free traffic", "heavy traffic", "slow-moving traffic", "traffic jam", "end of traffic jam" etc.

Insbesondere ist eine Fahrsituation (vielmehr) durch ein bestimmtes Muster (auch zu verstehen als ein Datenmuster), z.B. ein Muster kennzeichnend die Anordnung, die Geschwindigkeit der Objekte und/oder die Muster der Parameter der Fahrsituation, gekennzeichnet. Auch kann die Fahrsituation durch ein räumliches Muster der sogenannten Freiräume in der Umgebung des Fahrzeugs gekennzeichnet sein. Beispielsweise kann sich eine Triggerbedingung auf derartige Merkmale bzw. entsprechende Parameter der Fahrsituation beziehen. Bevorzugt kann die zumindest eine Fahrsituation gekennzeichnet sein durch einen oder mehrere nachfolgend aufgezählte Merkmale:

• eine (bestimmte) räumliche Verteilung der Verkehrsteilnehmer und/oder der Bewegungsparameter der Verkehrsteilnehmer, insbesondere ein Anordnungsmuster der Verkehrsteilnehmer in der Umgebung des (realen) Fahrzeugs;
• eine (bestimmte) räumliche Verteilung unbeweglicher Objekte in der Umgebung des Fahrzeugs;
• eine relative Position und/oder ein Bewegungsparameter zu bestimmten Arten von Spurenmarkierungen, Verkehrszeichen, Ampeln (nicht notwendigerweise zu bestimmten Ampeln, etc.);
• eine Information über die Vorfahrt des Fahrzeugs, insbesondere gegenüber bestimmten Verkehrsteilnehmern und/oder Verkehrsteilnehmern, die tatsächlich oder zumindest potentiell aus bestimmten Richtungen, z.B. einer querenden Straße rechts oder von links, kommen oder kommen können, und/oder
• eine Information zu einer, z.B. einen Grenzwert überschreitenden, Handlung eines Verkehrsteilnehmers in der Umgebung des Fahrzeugs, z.B. ein Hupen, Lichthupen, Drängeln, Überholen des Fahrzeugs, ein Überholversuch, sowie dergleichen.

In particular, a driving situation is (rather) characterized by a specific pattern (also to be understood as a data pattern), eg a pattern characterizing the arrangement, the speed of the objects and/or the pattern of the parameters of the driving situation. The driving situation can also be characterized by a spatial pattern of the so-called free spaces in the vicinity of the vehicle. For example, a trigger condition can relate to such features or corresponding parameters of the driving situation. The at least one driving situation can preferably be characterized by one or more features listed below:

• a (specific) spatial distribution of the road users and/or the movement parameters of the road users, in particular an arrangement pattern of the road users in the vicinity of the (real) vehicle;
• a (certain) spatial distribution of immovable objects in the vicinity of the vehicle;
• a relative position and/or movement parameter to certain types of lane markings, traffic signs, traffic lights (not necessarily to certain traffic lights, etc.);
• information about the right of way of the vehicle, in particular over certain road users and/or road users who are actually or at least potentially coming from certain directions, eg a crossing street to the right or left, and/or
• Information about an action by a road user in the vicinity of the vehicle, for example one that exceeds a limit value, for example honking the horn, flashing the headlights, jostling, overtaking the vehicle, an attempt to overtake, and the like.

Ferner kann die Fahrsituation durch einen oder mehrere Parameter der (im Zusammenhang mit dieser Fahrsituation relevanten) Verkehrsregeln, Verkehrszeichen, Vorfahrten, Ampeln, Ampelphasen, etc. gekennzeichnet sein. Bevorzugt kann es sich bei der zumindest einen Fahrsituation um eine, bestimmte Grenzwerte überschreitende, Fahrsituation bzw. um eine Fahrsituation, die durch bestimmte Grenzwerte überschreitende Parameter gekennzeichnet ist, handeln. Beispielsweise kann es sich bei der zumindest einen Fahrsituation um eine Fahrsituation mit einer unerwünschten bzw. gefährlichen Annäherung an ein Objekt oder an einen Verkehrsteilnehmer, mit einem einen Grenzwert überschreitenden Beschleunigungswert, mit einer unterwünschten Anordnung zu weiteren Verkehrsteilnehmern, etc. handeln.Furthermore, the driving situation can be characterized by one or more parameters of the traffic rules (relevant in connection with this driving situation), traffic signs, right of way, traffic lights, traffic light phases, etc. The at least one driving situation can preferably be a driving situation that exceeds specific limit values or a driving situation that is characterized by parameters that exceed specific limit values. For example, the at least one driving situation can be a driving situation with an undesired or dangerous approach to an object or a road user, with an acceleration value that exceeds a limit value, with an undesired arrangement in relation to other road users, etc.

Bei der Fahrsituation kann es sich um eine (z.B. vergleichsweise selten vorkommende) Sondersituation oder um eine gefährliche Fahrsituation handeln, z.B. eine Fahrsituation, für die ein erhöhtes Risiko ermittelt oder angenommen wird. Derartige Fahrsituationen können mittels entsprechend definierter Triggerbedingungen (auch Parameter bzw. Kriterien der Triggerbedingungen) erkannt, insbesondere prädiziert, werden, und es können die Datenabschnitte zum Erzeugen einer virtuellen Umgebung eines Fahrzeugs, insbesondere einer virtuellen Umgebung mit einem bestimmten Parameter bzw. einer virtuellen Umgebung einer bestimmten Art bzw. Muster, aus realen Fahrzeugen ermittelt werden.The driving situation can be a special situation (e.g. one that occurs comparatively rarely) or a dangerous driving situation, e.g. a driving situation for which an increased risk is determined or assumed. Such driving situations can be recognized, in particular predicted, by means of correspondingly defined trigger conditions (also parameters or criteria of the trigger conditions), and the data sections for generating a virtual environment of a vehicle, in particular a virtual environment with a specific parameter or a virtual environment of a certain type or pattern can be determined from real vehicles.

Abhängig von den verarbeiteten Daten kann eine Anwendungsbedingung ermittelt werden. Die Anwendungsbedingung kann sich ebenfalls auf einen oder mehrere Parameter der Situation und/oder auf einen oder mehrere Parameter der Randbedingung beziehen. Beispielsweise kann die Anwendungsbedingung in einem Nutzbetrieb der Fahrzeuge 100 angewandt werden. Die Anwendungsbedingung kann (quasi punktuell, pro speziellen Wertebereich und/oder Muster der jeweiligen Parameter) zum verbesserten Betrieb von Fahrzeugen 100 eingesetzt werden. Die Anwendungsbedingung kann sich auch auf eine digitale Karte beziehen bzw. zu dieser zugeordnet oder abhängig vom Einlesen der digitalen Karte in einem Fahrzeug 100 angewandt werden. Beispielsweise können die jeweiligen Korrekturinformationen nur auf bestimmten Straßenarten, Plätzen, Ländern und/oder in den Bereichen angewandt werden, für die der Nutzer dies bestellt hat.Depending on the processed data, an application condition can be determined. The application condition can also refer to one or more parameters of the situation and/or to one or more parameters of the constraint. For example, the application condition can be applied in a live operation of the vehicles 100 . The application condition can be used (quasi selectively, per specific value range and/or pattern of the respective parameters) for improved operation of vehicles 100 . The application condition can also refer to a digital map or be assigned to it or applied depending on the reading of the digital map in a vehicle 100 . For example, the respective correction information can only be applied to certain street types, squares, countries and/or in the areas for which the user has ordered it.

Bevorzugt kann die zumindest eine Triggerbedingung abhängig von einer Mustererkennung sein, wobei sich die Mustererkennung auf eine oder mehrere Gegebenheiten aus folgender Liste beziehen kann:

• Daten der Fahrzeugkamera 102;
• Daten des Ultraschallsensors 103,
• ein Maß der Abweichung zwischen bestimmten ersten Daten korrespondierend mit dem ersten Erfassungsvorgang und zweiten Daten korrespondierend mit dem zweiten Erfassungsvorgang;
• Parameter der Randbedingung, betreffend den zweiten und/oder ersten Erfassungsvorgang; und/oder
• Parameter der Situation, insbesondere der Fahr, Park oder Rangiersituation.

The at least one trigger condition can preferably be dependent on a pattern recognition, in which case the pattern recognition can relate to one or more circumstances from the following list:

• vehicle camera 102 data;
• data from the ultrasonic sensor 103,
• a measure of the discrepancy between certain first data corresponding to the first acquisition event and second data corresponding to the second acquisition event;
• Boundary condition parameters relating to the second and/or first detection process; and or
• Parameters of the situation, in particular the driving, parking or maneuvering situation.

Dabei können eine oder mehrere der Gegebenheiten gemäß einer vorausbestimmten Bedingung ausgewertet werden, z.B. mit bestimmten Schwellwerten, Mustern verglichen werden.One or more of the circumstances can be evaluated according to a predetermined condition, e.g. compared with certain threshold values, patterns.

Beispielsweise können die mit dem ersten Erfassungsvorgang und mit dem zweiten Erfassungsvorgang korrespondierenden Daten zu einer einseitigen oder gegenseitigen Referenzierung (in diesem Beispiel auch als eine Überprüfung der Konsistenz bzw. Inkonsistenz zu verstehen) verwendet werden. Da die Kamera 102 und der Ultraschallsensor 103 unterschiedliche Eigenschaften aufweisen, können diese, insbesondere abhängig von den ermittelten Randbedingungen, Situationsparametern, und/oder weiteren Daten zu einer einseitigen oder gegenseitigen (ggf. automatischen) Referenzierung verwendet werden.For example, the data corresponding to the first detection process and to the second detection process can be used for one-sided or mutual referencing (in this example also to be understood as a check of consistency or inconsistency). Since the camera 102 and the ultrasonic sensor 103 have different properties, these can be used for one-sided or mutual (possibly automatic) referencing, in particular depending on the determined boundary conditions, situation parameters, and/or other data.

Auf Basis der Daten können ein Algorithmus und/oder eine Anwendungsbedingung zur Verwendung der (dort ermittelten) Daten in einem (weiteren) Fahrzeug 100 (zumindest teilweise automatisch) ermittelt oder optimiert werden. Dabei kann ein mathematischer Zusammenhang zur Ausführung einer Datenfusion verwendet werden, bei dem zumindest die auf der Kamera 102 und/oder dem Ultraschallsensor 103 basierenden Daten berücksichtigt werden. Der mathematische Zusammenhang kann zum Betreiben einer Fahrzeugfunktionalität (Funktionslogik) und/oder einer Bedien- oder Anzeigelogik verwendet werden.Based on the data, an algorithm and/or an application condition for using the data (determined there) in a (further) vehicle 100 can be determined (at least partially automatically) or optimized. In this case, a mathematical relationship can be used to carry out a data fusion, in which at least the data based on the camera 102 and/or the ultrasonic sensor 103 are taken into account. The mathematical relationship can be used to operate a vehicle functionality (functional logic) and/or an operating or display logic.

In diesem Dokument werden ferner Funktionalitäten beschrieben, die mit der verbesserten Logik, Parametern, Kennlinien, etc. betrieben werden. Beispielsweise kann, z.B. innerhalb einer Sensorfusion oder auf Basis des verbesserten Algorithmus, der Korrekturdaten und/oder der Anwendungsbedingung, eine beliebige Fahrerinformation, z.B. eine sogenannte augmentierte Realität, ausgeführt werden. Ferner können, z.B. innerhalb einer Sensorfusion oder auf Basis eines veränderten Parameters ermittelter Daten, eine Steuerung oder Regelung von Längsführung, Querführung, und/oder eine Manöverausführung des Fahrzeugs 100 ausgeführt werden.Functionalities that are operated with the improved logic, parameters, characteristics, etc. are also described in this document. For example, any driver information, e.g. a so-called augmented reality, can be executed, e.g. within a sensor fusion or on the basis of the improved algorithm, the correction data and/or the application condition. Furthermore, a control or regulation of longitudinal guidance, lateral guidance, and/or a maneuver execution of vehicle 100 can be carried out, e.g. within a sensor fusion or on the basis of data determined on the basis of a changed parameter.

Die Daten können mittels einer Telematik-Infrastruktur bzw. Telematik-Funktionalität abhängig von den ein oder mehreren Triggerbedingungen je nach Bedarf (auch laufend) zum Backend übertragen und/oder von im Backend mit hierfür eingerichteten Verfahren verarbeitet, insbesondere analysiert, werden.The data can be transmitted to the backend by means of a telematics infrastructure or telematics functionality depending on the one or more trigger conditions as required (also continuously) and/or processed, in particular analyzed, by processes set up for this purpose in the backend.

Die mit dem ersten Erfassungsvorgang und dem zweiten Erfassungsvorgang korrespondierenden Daten können z.B. in einem sogenannten Data Driven Development verwendet werden.The data corresponding to the first acquisition process and the second acquisition process can be used, for example, in a so-called data-driven development.

In einem weiteren mit alle in diesem Dokument beschriebenen Aspekten kombinierbaren Beispiel wird (bevorzugt pro Gruppe der Datenpaare) in der Fahrzeug-externen Einheit eine erste Regel kennzeichnend eine, z.B. statistische oder statistisch signifikante, Gesetzmäßigkeit, gemäß welcher die jeweiligen ersten Daten und die zweiten Daten bestimmte Maße der Konsistenz bzw. Inkonsistenz zueinander aufweisen, ermittelt. Beispielsweise kann auf Basis einer Mehrzahl von Datenpaaren, z.B. aus einer Vielzahl von Fahrzeugen,
(rechnergestützt) ein Rückschluss auf eine erste Regel gemacht werden, nach welcher ein bestimmtes bzw. einem bestimmten Muster entsprechendes Verhalten, Fehler, Performanceindikator, etc., vorkommt, z.B. von einer vorherrschenden Situation und/oder Randbedingung abhängt.In a further example that can be combined with all of the aspects described in this document, a first rule (preferably per group of data pairs) in the vehicle-external unit characterizes a, e.g. statistically or statistically significant, regularity according to which the respective first data and the second data have certain degrees of consistency or inconsistency with each other. For example, on the basis of a large number of data pairs, e.g. from a large number of vehicles,
(computer-aided) a conclusion can be made about a first rule, according to which a specific behavior, error, performance indicator, etc. corresponding to a specific pattern occurs, for example depends on a prevailing situation and/or boundary condition.

Daraufhin kann abhängig von der ersten Regel (teilweise rechnergestützt und/oder durch zumindest teilweise eine menschliche Entscheidung) ein Rückschluss auf eine zweite Regel gemacht werden bzw. es kann eine zweite Regel bestimmt werden. Die zweite Regel kann in der Datenverarbeitung des Systems des Fahrzeugs, insbesondere in den Entwicklungsstand des Fahrzeugs, angewandt bzw. berücksichtigt werden.Depending on the first rule (partially computer-assisted and/or at least partly based on a human decision), a second rule can then be inferred or a second rule can be determined. The second rule can be applied or taken into account in the data processing of the vehicle system, in particular in the development status of the vehicle.

Die zweite Regel kann eine (insbesondere von bestimmten Parametern der Fahrsituation und/oder Randbedingung abhängige) auszuführende Korrektur und/oder Verbesserung einer Gesetzmäßigkeit aus der ersten Regel kennzeichnen. Beispielsweise kann die zweite Regel eine Vorschrift (sozusagen ein bestimmtes „Rezept“) zur Korrektur eines Fehlers (auch zu verstehen als eine unpräzise Berechnung oder Funktionsweise) und/oder zur Verbesserung eines bestimmten, z.B. statistisch gehäuft vorkommenden, Verhaltens (z.B. im selben oder in einem anderen Fahrzeug) umfassen.The second rule can characterize a correction and/or improvement of a regularity from the first rule that is to be carried out (particularly dependent on specific parameters of the driving situation and/or boundary conditions). For example, the second rule can be a regulation (so to speak, a certain "recipe") for correcting an error (also to be understood as an imprecise calculation or functioning) and/or for improving a certain, e.g. statistically frequently occurring, behavior (e.g. in the same or in another vehicle).

Es wird somit ein Verfahren zur Entwicklung, Parametrierung, Absicherung und/oder zum Betreiben eines Fahrzeugsystems umfassend eine Kamera 102 und/oder einen Ultraschallsensor 103 beschrieben. Dabei ermöglicht das Verfahren eine verbesserte Erkennung bzw. Vermessung der Objekte 110 bzw. eines Abstands zu einem Objekt 110 in der Umgebung eines Fahrzeugs 100.A method for developing, parameterizing, validating and/or operating a vehicle system comprising a camera 102 and/or an ultrasonic sensor 103 is thus described. The method enables improved detection or measurement of objects 110 or of a distance from an object 110 in the vicinity of a vehicle 100.

3 zeigt ein Ablaufdiagramm eines beispielhaften (ggf. Computerimplementierten) Verfahrens 300 zur Entwicklung, Absicherung und/oder zum Betreiben eines Fahrzeugsystems eines Kraftfahrzeugs 100, wobei das Fahrzeugsystem zumindest eine Kamera 102 und zumindest einen Ultraschallsensor 103 umfasst. Das Verfahren 300 umfasst ein Erkennen, insbesondere Detektieren 301, während eines Betriebs des Fahrzeugs 100, dass eine Triggerbedingung erfüllt ist. Die Triggerbedingung kann z.B. anzeigen, dass die Kamera 102 und/oder der Ultraschallsensor 103 einen Defekt aufweisen. 3 FIG. 12 shows a flowchart of an exemplary (possibly computer-implemented) method rens 300 for developing, validating and/or operating a vehicle system of a motor vehicle 100, the vehicle system comprising at least one camera 102 and at least one ultrasonic sensor 103. Method 300 includes recognizing, in particular detecting 301, during operation of vehicle 100 that a trigger condition is met. The trigger condition can indicate, for example, that the camera 102 and/or the ultrasonic sensor 103 have a defect.

Das Verfahren 300 umfasst ferner, in Reaktion auf die detektierte Triggerbedingung, das Veranlassen 302 einer ersten sensorischen Erfassung einer Umgebung des Fahrzeugs 100 mittels der Kamera 102 und einer zweiten sensorischen Erfassung zumindest teilweise derselben Umgebung des Fahrzeugs 100 mit dem Ultraschallsensor 103. Im Rahmen der ersten sensorischen Erfassung können erste Daten (mit ein oder mehreren ersten Datensätzen) und im Rahmen der zweiten sensorischen Erfassung können zweite Daten (mit ein oder mehreren zweiten Datensätzen) ermittelt werden.The method 300 also includes, in response to the detected trigger condition, causing 302 a first sensory detection of an environment of the vehicle 100 by means of the camera 102 and a second sensory detection at least partially of the same environment of the vehicle 100 with the ultrasonic sensor 103. As part of the first Sensory detection can first data (with one or more first data sets) and in the context of the second sensory detection second data (with one or more second data sets) can be determined.

Des Weiteren umfasst das Verfahren 300 das Vergleichen 303 der auf Basis der ersten sensorischen Erfassung ermittelten ersten Daten und der auf Basis der zweiten sensorischen Erfassung ermittelten zweiten Daten. Dabei können insbesondere entsprechende erste und zweite Datensätze miteinander verglichen werden.Furthermore, the method 300 includes the comparison 303 of the first data ascertained on the basis of the first sensory acquisition and the second data ascertained on the basis of the second sensory acquisition. In particular, corresponding first and second data sets can be compared with one another.

Außerdem umfasst das Verfahren 300 das Übermitteln und/oder Verwenden 304 der ersten Daten und der zweiten Daten zur Entwicklung, Absicherung und/oder zum Betrieb des Fahrzeugsystems, insbesondere der Fahrzeugfunktion, in Abhängigkeit von einem Ergebnis des Vergleichs der ersten Daten und der zweiten Daten. Es können somit selektiv Daten der Kamera 102 und des Ultraschallsensors 103 bereitgestellt und/oder verwendet werden, um die Güte des Fahrzeugsystems, insbesondere der Fahrzeugfunktion des Fahrzeugsystems, etwa einer Park- und/oder Rangierfunktion, zu erhöhen.In addition, the method 300 includes the transmission and/or use 304 of the first data and the second data for the development, validation and/or operation of the vehicle system, in particular the vehicle function, depending on a result of the comparison of the first data and the second data. Data from camera 102 and ultrasonic sensor 103 can thus be provided and/or used selectively in order to increase the quality of the vehicle system, in particular the vehicle function of the vehicle system, such as a parking and/or maneuvering function.

Es wird somit ein Verfahren 300 zur Entwicklung, Absicherung und/oder zum Betreiben eines Fahrzeugsystems umfassend zumindest eine Einparkkamera 102 und einen Ultraschallsensor 103 beschrieben. Das Verfahren 300 kann das Überprüfen einer Triggerbedingung während eines Fahrzeugbetriebs umfassen. Daraufhin kann eine erste sensorische Erfassung einer Umgebung des Fahrzeugs 100 mittels der Fahrzeugkamera 102 und eine zweite sensorische Erfassung zumindest teilweise derselben Umgebung des Fahrzeugs 100 mit dem Ultraschallsensor 103 des Fahrzeugs 100 veranlasst werden.A method 300 for developing, validating and/or operating a vehicle system comprising at least one parking camera 102 and an ultrasonic sensor 103 is thus described. Method 300 may include checking a trigger condition during vehicle operation. A first sensory detection of surroundings of vehicle 100 by means of vehicle camera 102 and a second sensory detection of at least part of the same surroundings of vehicle 100 with ultrasonic sensor 103 of vehicle 100 can then be initiated.

Im Rahmen des Verfahrens 300 können die auf Basis der ersten sensorischen Erfassung und auf Basis der zweiten sensorischen Erfassung ermittelten Daten verglichen bzw. abgeglichen werden. Es kann dann abhängig von dem Ergebnis des Abgleichs bzw. des Vergleichs ein Übermitteln und/oder Verwenden auf Basis der ersten sensorischen Erfassung und auf Basis der zweiten sensorischen Erfassung ermittelten Daten zur Entwicklung, Verbesserung und/oder Absicherung des Fahrzeugsystems erfolgen.As part of the method 300, the data ascertained on the basis of the first sensory acquisition and on the basis of the second sensory acquisition can be compared or adjusted. Depending on the result of the adjustment or comparison, data determined on the basis of the first sensory detection and data determined on the basis of the second sensory detection can then be transmitted and/or used to develop, improve and/or protect the vehicle system.

Bei einer bevorzugten Variante des Verfahrens 300 können in einer Vielzahl von Fahrzeugen 100, z.B. aus einer Flotte von Fahrzeugen 100, Daten der jeweiligen Fahrzeugkameras 102, insbesondere Bilder, erfasst werden. Diese können, z.B. zusammen mit Daten des Ultraschallsensors 103 der jeweiligen Fahrzeuge 100 und zusammen mit den mit der Erfassung korrespondierenden Daten in ein Backend übermittelt werden.In a preferred variant of the method 300, data from the respective vehicle cameras 102, in particular images, can be recorded in a large number of vehicles 100, e.g. from a fleet of vehicles 100. These can be transmitted to a backend, e.g. together with data from the ultrasonic sensor 103 of the respective vehicles 100 and together with the data corresponding to the detection.

Bevorzugt handelt es sich bei dem Ultraschallsensor 103 eines Fahrzeugs 100 um ein Ultraschallsystem umfassend mehrere, z.B. vorne, hinten, seitlich, vorneseitlich bzw. hinten am Fahrzeug 100 seitlich, angeordnete Ultraschallsensoren (wie beispielhaft in 2 dargestellt). Beispielsweise kann es sich um ein entsprechend eingerichtetes Park- und Rangiersystem, insbesondere Park-Distance-Control-System, handeln.Ultrasonic sensor 103 of a vehicle 100 is preferably an ultrasonic system comprising a plurality of ultrasonic sensors arranged, e.g. at the front, rear, side, front side or rear of vehicle 100 (as exemplified in 2 shown). For example, it can be a correspondingly set up parking and maneuvering system, in particular a parking distance control system.

Die auf der ersten sensorischen Erfassung und der zweiten sensorischen Erfassung basierenden Daten können kennzeichnend, insbesondere repräsentierend sein für: einen bestimmten Messwert, z.B. einen Abstand, zu zumindest einem Objekt 110; eine Objekterkennung und/oder ein Datenmuster. Die ersten bzw. zweiten Daten können sich auf dieselben ein oder mehreren Objekte 110 beziehen. Alternativ oder ergänzend kann der Einfluss derselben ein oder mehreren Objekte 110 auf die ersten Daten (der ersten sensorischen Erfassung) und die zweiten Daten (der zweiten sensorischen Erfassung) bewertet werden.The data based on the first sensory acquisition and the second sensory acquisition can be indicative, in particular representative of: a specific measured value, e.g. a distance, to at least one object 110; an object recognition and/or a data pattern. The first and second data, respectively, may relate to the same one or more objects 110 . Alternatively or additionally, the influence of the same one or more objects 110 on the first data (of the first sensory acquisition) and the second data (of the second sensory acquisition) can be evaluated.

Die auf der ersten sensorischen Erfassung und der zweiten sensorischen Erfassung basierenden Daten können kennzeichnend sein, für eine Beschaffenheit, Form, Klasse (Art), Abmessung, Muster des Objekts 110, etc. Insbesondere kann es sich bei einem Objekt 110 um ein dreidimensionales und/oder um ein über der Fahrbahnebene erhabenes Objekt 110 handeln.The data based on the first sensory acquisition and the second sensory acquisition can be indicative of a nature, shape, class (type), dimension, pattern of the object 110, etc. In particular, an object 110 can be a three-dimensional and/or or an object 110 raised above the road surface.

Besonders bevorzugt wird ein Data Diven Development ausgeführt, abhängig von:

• den Daten, die zu den (nach einem bestimmten Kriterium) untereinander überwiegend übereinstimmenden ersten Messwerten (der ersten sensorischen Erfassung) und zweiten Messwerten (der zweiten sensorischen Erfassung) korrespondieren; und/oder
• den Daten, die mit nicht übereinstimmenden ersten Messwerten und zweiten Messwerten und/oder von nicht (nach einem bestimmten Kriterium) passenden ersten und zweiten Messwerten korrespondieren.

A data dive development is particularly preferred, depending on:

• the data relating to the first measured values (the first sensory acquisition) and second measurements (of the second sensory acquisition); and or
• the data corresponding to non-matching first measurement values and second measurement values and/or non-matching (according to a certain criterion) first and second measurement values.

Die ersten Fälle (übereinstimmende Messwerte) und die zweiten Fälle (nicht übereinstimmende Messwerte) können, insbesondere bereits im Fahrzeug 100, als solche erkannt und/oder voneinander unterschieden werden. Ferner können die ersten Fälle und die zweiten Fälle einer unterschiedlichen Verarbeitung unterzogen werden.The first cases (meaning values that match) and the second cases (measuring values that do not match) can be recognized as such and/or differentiated from one another, in particular already in vehicle 100 . Furthermore, the first cases and the second cases may be subjected to different processing.

Die auf der ersten sensorischen Erfassung und der zweiten sensorischen Erfassung basierenden Daten können zur Entwicklung, Verbesserung und/oder Absicherung eines Fahrzeugsystems umfassend zumindest eine Fahrzeugkamera 102 und/oder zumindest einen Ultraschallsensor 103 verarbeiten und/oder verwendet werden.The data based on the first sensory acquisition and the second sensory acquisition can be processed and/or used to develop, improve and/or validate a vehicle system comprising at least one vehicle camera 102 and/or at least one ultrasonic sensor 103.

Im Rahmen des Verfahrens 300 kann abhängig von den übermittelten ersten Daten (basierend auf der ersten sensorischen Erfassung) und/oder abhängig von den zweiten Daten (basierend auf der zweiten sensorischen Erfassung) ein mathematischer Zusammenhang zur Verarbeitung der auf der Fahrzeugkamera 102 basierenden ersten Daten und/oder der auf dem Ultraschallsensor 103 basierenden zweiten Daten, und/oder zur Ausführung einer Sensorfusion der auf der Fahrzeugkamera 102 basierenden ersten Daten und/oder der auf dem Ultraschallsensor 103 basierenden zweiten Daten ermittelt werden.As part of method 300, depending on the transmitted first data (based on the first sensory acquisition) and/or depending on the second data (based on the second sensory acquisition), a mathematical relationship for processing the first data based on vehicle camera 102 and /or the second data based on the ultrasonic sensor 103, and/or to carry out a sensor fusion of the first data based on the vehicle camera 102 and/or the second data based on the ultrasonic sensor 103 are determined.

Ein solcher mathematischer Zusammenhang kann zumindest teilweise als eine Umkehrfunktion und/oder eine Korrekturfunktion zu den in den übermittelten Daten ermittelten Artefakten sein. Der mathematische Zusammenhang kann als Korrekturdaten in weiteren Fahrzeugen 100 verwendet, insbesondere zu im Nutzbetrieb befindlichen Fahrzeugen 100 übermittelt bzw. dort aktualisiert werden.Such a mathematical relationship can be at least partially in the form of an inverse function and/or a correction function for the artifacts determined in the transmitted data. The mathematical relationship can be used as correction data in other vehicles 100, in particular transmitted to vehicles 100 in commercial operation or updated there.

Auf Basis der Daten kann z.B. (automatisch) ein verbesserter Algorithmus zur Verwendung der Daten in einem (weiteren) Fahrzeug 100 ermittelt oder optimiert werden. Dies kann ein mathematischer Zusammenhang zur Ausführung einer Datenfusion der Daten (untereinander und/oder mit weiteren Daten) sein. Dieser mathematische Zusammenhang kann auf weitere Fahrzeuge 100 verteilt bzw. dort upgedatet werden. Dabei kann es sich ggf. nur um sogenannte Parameter, insbesondere Applikationsparameter, handeln. Diese können in sicherer und effizienter Weise auf bereits bei Nutzern betriebene Fahrzeuge 100 verteilt, z.B. in diesen geupdatet, werden.For example, an improved algorithm for using the data in a (further) vehicle 100 can be (automatically) determined or optimized on the basis of the data. This can be a mathematical context for performing a data fusion of the data (among each other and/or with other data). This mathematical relationship can be distributed to other vehicles 100 or updated there. In this case, it may only be what are known as parameters, in particular application parameters. These can be distributed in a secure and efficient manner to vehicles 100 already operated by users, e.g. updated in them.

Der mathematische Zusammenhang kann eine im Verfahren 300 (z.B. im Backend) ermittelte mathematische Gesetzmäßigkeit, Regel, Vorschrift, Form und/oder Relation zwischen einem oder mehreren ermittelten Parametern (ebenso zu verstehen als entsprechende Werte des oder der Parameter), die auf einer sensorischen Erfassung mit einer Kamera 102 und/oder mit einem Ultraschallsensor 103 basieren, und einem oder mehreren Parametern zum Steuern einer Fahrzeugfunktionalität kennzeichnen. Beispielsweise kann der mathematische Zusammenhang eine mathematische Gesetzmäßigkeit, Regel, Vorschrift, Formel und/oder Relation kennzeichnen, insbesondere repräsentieren, nach welcher ein oder mehrere (künftig ermittelte) Daten der Kamera 102 und/oder des Ultraschallsensors 103 verarbeitet, insbesondere korrigiert, werden.The mathematical relationship can be a mathematical law, rule, regulation, form and/or relation between one or more determined parameters (also to be understood as corresponding values of the parameter or parameters) determined in the method 300 (e.g. in the backend), which is based on a sensory detection with a camera 102 and/or with an ultrasonic sensor 103, and characterize one or more parameters for controlling a vehicle functionality. For example, the mathematical relationship can characterize, in particular represent, a mathematical law, rule, regulation, formula and/or relation according to which one or more (futurely determined) data from the camera 102 and/or the ultrasonic sensor 103 are processed, in particular corrected.

Im Rahmen des Verfahrens 300 kann abhängig von den übermittelten Daten ein mathematischer Zusammenhang zum Betreiben einer Fahrzeugfunktionalität, einer Anzeigevorrichtung und/oder einer Bedienvorrichtung des Fahrzeugs 100 auf Basis der auf der Fahrzeugkamera 102 basierenden ersten Daten und/oder der auf dem Ultraschallsensor 103 basierenden zweiten Daten ermittelt werden.As part of method 300, depending on the transmitted data, a mathematical relationship for operating a vehicle functionality, a display device and/or an operating device of vehicle 100 can be generated based on the first data based on vehicle camera 102 and/or the second data based on ultrasonic sensor 103 be determined.

Im Rahmen des Verfahrens 300 kann ein mathematischer Zusammenhang abhängig von den ein oder mehreren Parametern der Situation und/oder der Randbedingung bei der ersten und/oder zweiten sensorischen Erfassung ermittelt werden und als eine Funktion der in einem bereits genutzten Fahrzeug 100 ermittelten (aktuellen) ein oder mehreren Parameter der Situation und/oder der Randbedingung zum Betreiben des Fahrzeugsystems (welches zumindest eine Fahrzeugkamera 102 und/oder zumindest einen Ultraschallsensor 103 umfasst) verwendet werden.As part of method 300, a mathematical relationship can be determined depending on the one or more parameters of the situation and/or the boundary condition in the first and/or second sensory detection and as a function of the (current) one determined in a vehicle 100 already in use or a plurality of parameters of the situation and/or the boundary condition for operating the vehicle system (which comprises at least one vehicle camera 102 and/or at least one ultrasonic sensor 103) are used.

Bei dem Vergleich der ersten Daten und der zweiten Daten kann ein Maß der Abweichung der ersten Daten und der zweiten Daten von einem j eweiligen Sollwert oder untereinander ermittelt und bei der Verwendung der Daten berücksichtigt werden. Ein solches Maß der Abweichung, insbesondere ein Faktor, eine Differenz, eine Funktion, insbesondere ein Koeffizient einer Funktion, zwischen den ersten Daten und den zweiten Daten (jeweils korrespondierend mit der ersten sensorischen Erfassung und der zweiten sensorischen Erfassung) kann auch in einer Abhängigkeit von einem oder mehreren Parametern der Situation und/oder einem oder mehreren Parametern der Randbedingung ermittelt und (z.B. in einem weiteren Fahrzeug 100) berücksichtigt werden.When comparing the first data and the second data, a measure of the deviation of the first data and the second data from a respective desired value or from one another can be determined and taken into account when using the data. Such a measure of the deviation, in particular a factor, a difference, a function, in particular a coefficient of a function, between the first data and the second data (each corresponding to the first sensory acquisition and the second sensory acquisition) can also depend on one or more parameters of the situation and/or one or more parameters of the boundary condition and (e.g. in another vehicle 100) taken into account.

Ein auf einen oder mehrere Parameter der Situation und/oder einen oder mehrere Parameter der Randbedingung bezogener Vergleich der Daten kann ausgeführt werden, und es können daraufhin eine oder mehrere Verwendungsbedingungen zur Verwendung der Daten auf Basis der Datenanalyse, insbesondere auf Basis des mathematischen Zusammenhangs, ermittelt werden.A comparison of the data based on one or more parameters of the situation and/or one or more parameters of the boundary condition can be carried out, and one or more conditions of use for the use of the data can then be determined on the basis of the data analysis, in particular on the basis of the mathematical relationship will.

Eine Verarbeitung, insbesondere ein Vergleich, der ersten Daten (die mit der ersten sensorischen Erfassung korrespondieren) und der zweiten Daten (die mit der zweiten sensorischen Erfassung korrespondieren) kann zumindest teilweise innerhalb des Fahrzeugs 100 ausgeführt werden und eine Übertragung und/oder Verwendung der Daten kann abhängig von der im Fahrzeug 100 ausgeführten Verarbeitung, z.B. einer On-Board-Logik, im Fahrzeug 100 erfolgen.A processing, in particular a comparison, of the first data (corresponding to the first sensory acquisition) and the second data (corresponding to the second sensory acquisition) can be carried out at least partially within the vehicle 100 and a transmission and/or use of the data may occur in the vehicle 100 depending on processing performed in the vehicle 100, e.g., on-board logic.

Eine solche (fahrzeuginterne) Verarbeitung kann ein Überprüfen einer On-Board-Bedingung sein. Beispielsweise können Daten kennzeichnend eine On-Board-Bedingung, z.B. Vergleichsparameter, Logik, ein oder mehrere Vergleichsmuster, etc., zum Fahrzeug 100 hochgeladen werden. Diese werden auf die Daten angewandt. Daraufhin kann abhängig von der im Fahrzeug 100 ausgeführten Verarbeitung entschieden werden, weiterverarbeitete Daten, z.B. nur ein Ergebnis, ein bestimmtes Ergebnis der Datenverarbeitung und/oder Rohdaten, zur weiteren Off-Board-Auswertung zum Backend zu übermitteln.Such (in-vehicle) processing may be checking an on-board condition. For example, data indicative of an on-board condition, e.g., comparison parameters, logic, one or more comparison patterns, etc., may be uploaded to the vehicle 100. These are applied to the data. Depending on the processing carried out in the vehicle 100, it can then be decided to transmit further processed data, e.g. only a result, a specific result of the data processing and/or raw data, to the backend for further off-board evaluation.

Abhängig von einem Ergebnis des Vergleichs eines ersten Messwerts auf Basis der ersten sensorischen Erfassung mit einem zweiten Messwert auf Basis der zweiten sensorischen Erfassung, können die ersten Daten korrespondierend zu dem ersten Messwert und/oder die zweiten Daten korrespondierend zu dem zweiten Messwert ermittelt werden und zu der beabstandet angeordneten Recheneinheit übermittelt werden. Ferner kann eine zumindest teilweise automatisierte Datenanalyse in der beabstandet angeordneten Recheneinheit ausgeführt wird.Depending on a result of the comparison of a first measured value based on the first sensory acquisition with a second measured value based on the second sensory acquisition, the first data corresponding to the first measured value and/or the second data corresponding to the second measured value can be determined and be transmitted to the arithmetic unit arranged at a distance. Furthermore, an at least partially automated data analysis can be carried out in the computing unit arranged at a distance.

Die Daten korrespondierend mit dem ersten Messwert und dem zweiten Messwert können in einen Speicher, insbesondere einen sogenannten Ringspeicher oder einer sinngemäß ausgestalteten Struktur im Fahrzeug 100, z.B. in einem entsprechenden Steuergerät, gespeichert werden. Diese Daten können bei einem (auch nachträglichen) Erkennen einer vorausbestimmten Bedingung, insbesondere der Triggerbedingung, aus dem Ringspeicher ausgelesen werden. Dadurch kann die Menge der zu übermittelnden bzw. zu verarbeitenden Daten (z.B. um einen Faktor von 1000 oder mehr, oder 1 Million oder mehr) gesenkt werden.The data corresponding to the first measured value and the second measured value can be stored in a memory, in particular a so-called ring memory or a correspondingly designed structure in vehicle 100, e.g. in a corresponding control device. This data can be read out from the ring memory when a predetermined condition, in particular the trigger condition, is recognized (also subsequently). This allows the amount of data to be transmitted or processed (e.g. by a factor of 1000 or more, or 1 million or more) to be reduced.

Bevorzugt können zunächst die zweiten Messwerte (und die Daten die einhergehend mit den zweiten Messwerten ermittelt werden) bestimmt werden, die eine bestimmte, besondere, z.B. einen Schwellwert überschreitende und/oder einem bestimmten Kriterium entsprechende Abweichung von den ersten Messwerten aufweisen. Vorrangig zu diesen zweiten Messwerten und insbesondere zu den ersten Messwerten können auch umfangreichere korrespondierende Daten erfasst werden.The second measured values (and the data that are determined along with the second measured values) can preferably first be determined, which have a specific, special deviation from the first measured values, e.g. exceeding a threshold value and/or corresponding to a specific criterion. More extensive corresponding data can also be recorded primarily for these second measured values and in particular for the first measured values.

Die mit dem ersten Messvorgang bzw. mit dem zweiten Messvorgang korrespondierenden Daten können z.B. die entsprechenden Rohdaten, vorverarbeitete oder verarbeitete Sensordaten sein. Ein oder mehrere Messwerte können Daten, korrespondierende, z.B. im Wesentlichen nicht verarbeitete (überwiegend rohe) Daten auf Basis eines Sensors, z.B. Bilder, diverse Parameter der mit den Messwerten korrespondierenden Randbedingungen, etc. kennzeichnen oder sein. Diese Daten können zum Ermitteln des besagten mathematischen Zusammenhangs verarbeitet werden.The data corresponding to the first measurement process or to the second measurement process can, for example, be the corresponding raw data, pre-processed or processed sensor data. One or more measured values can identify or be data, corresponding, e.g. essentially unprocessed (mainly raw) data based on a sensor, e.g. images, various parameters of the boundary conditions corresponding to the measured values, etc. This data can be processed to determine said mathematical relationship.

Bevorzugt können, wenn die ersten Messwerte und die zweiten Messwerte (z.B. nach einem jeweils bestimmen Kriterium) besonders gut zusammenpassen oder besondere Abweichung aufweisen, auch umfangreichere Daten ermittelt und (gemäß dem in diesem Dokument beschriebenen Verfahren) verwendet werden.Preferably, if the first measured values and the second measured values (e.g. according to a specific criterion) match particularly well or show a particular deviation, more extensive data can also be determined and used (according to the method described in this document).

Im Rahmen des Verfahrens 300 können mehrere Datensätze zu jeweils einer ersten und zweiten sensorischen Erfassung, insbesondere im Fahrzeug 100, zu mehreren unterschiedlichen Gruppen zugeordnet werden, wobei die Zuordnung (bzw. Aufteilung) in Gruppen abhängig von dem Maß ihrer Abweichung und/oder dem Maß ihrer, insbesondere gegenseitigen Plausibilität, ausgeführt werden kann.As part of method 300, multiple data sets for a first and second sensory acquisition, in particular in vehicle 100, can be assigned to multiple different groups, with the assignment (or division) into groups depending on the extent of their deviation and/or the extent their, in particular mutual, plausibility.

Das Zuordnen zu mehreren (unterschiedlichen) Gruppen kann auch als Aufteilen in mehrere, unterschiedliche Gruppen, sozusagen als ein „Sortieren“, verstanden werden. Dieses kann mittels einer Musterkennung ausgeführt werden. Die Übermittlung und/oder Verwendung der Daten kann abhängig von der jeweiligen Gruppe erfolgen. Beispielsweise können vom Backend aus Daten zu einer oder mehreren Gruppen zugeordneten Daten abgerufen werden („Pull“) und/oder vom Fahrzeug 100 aus zum Übermitteln bestimmt werden („Push“). Somit kann die Menge der übertragenden Daten verringert und/oder eine Verarbeitung der Daten wesentlich vereinfacht werden.Assigning to several (different) groups can also be understood as dividing into several different groups, as “sorting”, so to speak. This can be done using pattern recognition. The transmission and/or use of the data can take place depending on the respective group. For example, data relating to one or more groups of data assigned can be retrieved from the backend (“pull”) and/or determined for transmission from vehicle 100 (“push”). The amount of data to be transmitted can thus be reduced and/or processing of the data can be significantly simplified.

Die in diesem Dokument beschriebenen Maßnahmen ermöglichen es, Key-Performance-Indikatoren für den Ultraschallsensor 103 und die Kamera 102 von Fahrzeugen 100 zu ermitteln, gegenseitig zu referenzieren und/oder zu optimieren. Des Weiteren können Daten für die Entwicklung von Nahfeldkameras und Ultraschallsensoren umfassende Systeme bereitgestellt werden. Die bereitgestellten Daten können für eine zumindest teilweise automatisierte Datenanalyse und Anwendung von rechnergestützten Optimierungsverfahren verwendet werden. Dabei können insbesondere sogenannte Grenzparameter (Ege Cases) bestimmt werden.The measures described in this document make it possible to determine key performance indicators for the ultrasonic sensor 103 and the camera 102 of vehicles 100, to reference and/or optimize each other. Furthermore, data for the development of systems comprising near-field cameras and ultrasonic sensors can be provided. The data provided can be used for at least partially automated data analysis and application of computer-aided optimization methods. In particular, so-called limit parameters (Ege Cases) can be determined.

Die in diesem Dokument beschriebenen Maßnahmen ermöglichen es ferner, mittels der Datenauswertung die Funktionssicherheit und/oder die Gebrauchssicherheit eines Fahrzeugsystems nachzuweisen. Ferner kann objektive Information anhand von genutzten Fahrzeugen 100 ohne eine Auswirkung auf den Fahrbetrieb ermittelt werden. Außerdem ermöglicht es die Triggerbedingung Datenschutzanforderungen einzuhalten.The measures described in this document also make it possible to demonstrate the functional safety and/or the safety in use of a vehicle system by means of data evaluation. Furthermore, objective information can be determined on the basis of vehicles 100 in use without affecting the driving operation. In addition, the trigger condition makes it possible to comply with data protection requirements.

Erkenntnisse auf Basis der Daten können für alle Phasen der Produktentstehung, Vermarktung und Betreuung genutzt werden. So kann ein objektives Feedback aus der Fahrzeug-Flotte in Bezug auf die Nutzung und die Performance der Fahrzeugfunktionen zu einer schrittweisen Produktverbesserung genutzt werden.Findings based on the data can be used for all phases of product development, marketing and support. In this way, objective feedback from the vehicle fleet in relation to the use and performance of the vehicle functions can be used to gradually improve the product.

Anhand der beschriebenen Maßnahmen kann bewirkt werden, dass sich Fahrzeugfunktionen durch einen Datenaustausch schnell und adaptiv an bestimmte Fahrbahnstellen oder bisher nicht bekannte Situationen anpassen. Auf Basis der Daten einiger Fahrzeuge aus einer Fahrzeug-Flotte können Daten zur Entwicklung und Absicherung auch für besonders komplexe Situationen gewonnen werden.The measures described can be used to ensure that vehicle functions are quickly and adaptively adapted to specific road sections or previously unknown situations by exchanging data. Based on the data from a few vehicles from a vehicle fleet, data for development and validation can also be obtained for particularly complex situations.

Eine Funktionalität kann ggf. für einen Fahrzeug-Nutzer nach einer jeweils bestätigten Performance in kleinen Schritten (auch länderanhängig und/oder streckenabhängig) freigeschaltet werden. Dabei kann ein Ausrollen der Verbesserungen mit Mitteln der Telematik bzw. anhand von Remote Software Updates erfolgen. Ein derartiger Funktionsupdate bzw. Patch können gezielt für ein Problem in effizienter Weise ausgerollt werden. Durch die in diesem Dokument beschriebenen Maßnahmen können somit die Problembehebung und/oder Entwicklungs- und Rolloutzyklen beschleunigt werden.A functionality may be activated for a vehicle user in small steps (also depending on the country and/or route) after a confirmed performance. The improvements can be rolled out using telematics or remote software updates. Such a function update or patch can be rolled out specifically for a problem in an efficient manner. The measures described in this document can thus be used to speed up troubleshooting and/or development and rollout cycles.

Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.The present invention is not limited to the exemplary embodiments shown. In particular, it should be noted that the description and the figures are only intended to illustrate the principle of the proposed methods, devices and systems by way of example.

Claims

Method (300) for developing, validating and/or operating a vehicle system of a motor vehicle (100); wherein the vehicle system comprises at least one camera (102) and at least one ultrasonic sensor (103); the method (300) comprising - Detect (301), during operation of the vehicle (100), that a trigger condition is met; - in response, causing (302) a first sensory detection of an environment of the vehicle (100) by means of the camera (102) and a second sensory detection of at least partially the same environment of the vehicle (100) with the ultrasonic sensor (103); - comparing (303) first data ascertained on the basis of the first sensory acquisition and second data ascertained on the basis of the second sensory acquisition; and - Transmitting and/or using (304) the first data and the second data for developing, validating and/or operating the vehicle system depending on a result of the comparison of the first data and the second data.

Method (300) according to claim 1 , wherein the method (300) comprises determining, on the basis of the first data and the second data, a mathematical relationship - for processing first data based on the camera (102) and/or second data based on the ultrasonic sensor (103) , and/or for data fusion of first data based on the camera (102) and second data based on the ultrasonic sensor (103); and - for operating a vehicle function on the basis of first data based on the camera (102) or a different camera from the camera (102) and/or the second data based on the ultrasonic sensor (103) or one of the ultrasonic sensor (103) deviating other ultrasonic sensor.

Method (300) according to claim 2 , wherein the method (300) comprises, - determining at least one parameter of a situation, in particular a driving situation, and/or a boundary condition in the first sensory detection and/or the second sensory detection; and - determining the mathematical relationship as a function of the parameter of the situation and/or the boundary condition, in particular in such a way that the mathematical relationship characterizes, in particular represents, a dependence on situation parameters and/or boundary condition parameters.

Method (300) according to claim 3 , wherein - the comparison (303) of the first and second data takes place as a function of the at least one parameter of the situation and/or the boundary condition; and - the method (300) includes determining, based on the result of the comparison, one or more application conditions for the use of the mathematical relationship in a vehicle.

Method (300) according to any one of claims 2 until 4 , wherein the method (300) comprises providing data representing the mathematical context for operation of the vehicle system in the vehicle (100) or in one or more vehicles that differ from the vehicle (100).

Method (300) according to one of the preceding claims, wherein the comparing (303) of the first and second data comprises - determining a measure of a deviation of the first data and the second data from a respective desired value and/or from one another; and - the transmission and/or use (304) of the first data and the second data takes place depending on the measure determined.

Method (300) according to any one of the preceding claims, wherein the method (300) comprises - Processing, in particular comparing (303), the first and the second data at least partially in the vehicle (100); and - Transmission and/or use (304) of the first and second data depending on the processing, in particular on the result of the comparison, in the vehicle (100).

Method (300) according to any one of the preceding claims, wherein the method (300) comprises - Transmission (304) of the first data and the second data to a vehicle-external unit; and - Analyzing the first data and the second data in the vehicle-external unit.

Method (300) according to any one of the preceding claims, wherein the method (300) comprises - determining a plurality of first data sets based on the first sensory acquisition and a corresponding plurality of second data sets based on the second sensory acquisition; - determining, for each pair of a first data set and a second data set, a measure of a deviation and/or of a mutual plausibility of the first and second data sets; and - Assigning the plurality of pairs, each consisting of a first and a second data set, to a plurality of different groups, depending on the respective measure of the deviation and/or of the mutual plausibility.

Computer program, in particular a computer program product, comprising a computer program, wherein the computer program is designed, when it is executed on at least one computing unit, one or more steps of the method (300) according to at least one of Claims 1 until 9 to execute.

Device (101) for developing, validating and/or operating a vehicle system of a vehicle, in particular a motor vehicle (100); wherein the vehicle system comprises at least one camera (102) and at least one ultrasonic sensor (103); wherein the device (101) is set up - To recognize during operation of the vehicle (100) that a trigger condition is met; - In response thereto, a first sensory detection of surroundings of the vehicle (100) by means of the camera (102) and a second sensory detection at least partially of the same surroundings of the vehicle (100) with the ultrasonic sensor (103); - compare first data ascertained on the basis of the first sensory acquisition and second data ascertained on the basis of the second sensory acquisition; and - transmit and/or use the first data and the second data depending on a result of the comparison of the first data and the second data for the development, validation and/or operation of the vehicle system.