DE102015007145B4 - Procedure for automatic route evaluation - Google Patents
Procedure for automatic route evaluation Download PDFInfo
- Publication number
- DE102015007145B4 DE102015007145B4 DE102015007145.9A DE102015007145A DE102015007145B4 DE 102015007145 B4 DE102015007145 B4 DE 102015007145B4 DE 102015007145 A DE102015007145 A DE 102015007145A DE 102015007145 B4 DE102015007145 B4 DE 102015007145B4
- Authority
- DE
- Germany
- Prior art keywords
- image
- route
- signal
- images
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types or segments such as motorways, toll roads or ferries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
Verfahren zum Auswerten eines optischen Erscheinungsbildes einer Fahrstrecke (28, 29, 30), wobei
- aus zumindest einem Kraftfahrzeug (3), das auf der Fahrstrecke (28, 29, 30) fährt oder gefahren ist, Videodaten (6), die eine Bildsequenz (13) der Fahrstrecke (28, 29, 30) enthalten, die über eine jeweilige Kommunikationsverbindung (7) an eine Recheneinrichtung (4) übertragen werden, empfangen werden und
- durch eine Analyseeinrichtung (12) auf der Grundlage der Videodaten (6) zu Bildern (14) der Bildsequenz (13) jeweils ein Übereinstimmungswert (15) betreffend einen Grad einer Übereinstimmung des Bildes (14) mit einem vorbestimmten Attraktivitätskriterium ermittelt wird und
- die Übereinstimmungswerte (15) der Bilder (14) zu einem Bewertungssignal (10) für die Bildsequenz (13) kombiniert werden und
- das Bewertungssignal (10) als eine Beschreibung des Erscheinungsbildes der Fahrstrecke (28, 29, 30) bereitgestellt wird und
- ein Maximalbereich (16) des Bewertungssignals (10) detektiert wird, in welchem zumindest einer der Übereinstimmungswerte (15) des Bewertungssignals (10) größer als ein vorbestimmter Schwellenwert (17) ist, und
- aus der Bildsequenz (13) zumindest ein zu dem Maximalbereich (16) korrespondierendes Bild (14) der Bildsequenz (13) ermittelt und ausgegeben wird, und
- zu den Bildern (14) der Bildsequenz (13) jeweils ein anhand eines vorbestimmten Qualitätsmaßes festgelegter Qualitätswert (18) einer optischen Qualität des Bildes (14) erzeugt wird, wobei das Qualitätsmaß ein Signal-zu-Rausch-Verhältnis und/oder eine Bildschärfe angibt, und
- die Qualitätswerte (18) zu einem Qualitätssignal (11) kombiniert werden und
- das zumindest eine korrespondierende Bild (14) aus dem Maximalbereich (16) in Abhängigkeit von dem Qualitätssignal (11) ermittelt wird und wobei
- eine Abspieldauer desjenigen Teils der Bildsequenz (13), für welchen das Bewertungssignal (10) den Maximalbereich (16) aufweist, ermittelt wird und
- in Abhängigkeit von der Abspieldauer entweder ein Videosignal oder nur ein einzelnes Bild (14) ausgegeben wird, wobei
- für eine Routenbewertung jedes Bewertungssignal (10) durch Bildung eines Mittelwerts zu einem einzigen Gesamtwert (31) zusammengefasst wird, um eine kompakte Aussage zu einer Fahrstrecke zu erhalten, und
- der Gesamtwert (31) für eine Fahrstrecke und die extrahierten Bilder durch die Recheneinrichtung (4) bereitgestellt werden und
- ein Navigationssystem (21) eines Fahrzeugs (5) und die Recheneinrichtung (4) eine Kommunikationsverbindung (22) aufbauen und
- das Fahrzeug (5) die extrahierten Bilder und die Gesamtwerte aus der Recheneinrichtung (4) bezieht und sie als Routenvorschau und Routenbewertung grafisch an den Fahrer zurückgibt.
- from at least one motor vehicle (3) which is traveling or has traveled on the route (28, 29, 30), video data (6) containing an image sequence (13) of the route (28, 29, 30) are received, which are transmitted to a computing device (4) via a respective communication connection (7), and
- an analysis device (12) determines, on the basis of the video data (6), a respective match value (15) relating to a degree of match of the image (14) with a predetermined attractiveness criterion for images (14) of the image sequence (13), and
- the match values (15) of the images (14) are combined to form an evaluation signal (10) for the image sequence (13) and
- the evaluation signal (10) is provided as a description of the appearance of the route (28, 29, 30) and
- a maximum range (16) of the evaluation signal (10) is detected in which at least one of the match values (15) of the evaluation signal (10) is greater than a predetermined threshold value (17), and
- at least one image (14) of the image sequence (13) corresponding to the maximum range (16) is determined and output from the image sequence (13), and
- for each of the images (14) of the image sequence (13), a quality value (18) of an optical quality of the image (14) is generated, which quality value is determined on the basis of a predetermined quality measure, the quality measure indicating a signal-to-noise ratio and/or an image sharpness, and
- the quality values (18) are combined to form a quality signal (11) and
- the at least one corresponding image (14) is determined from the maximum range (16) as a function of the quality signal (11) and wherein
- a playback duration of that part of the image sequence (13) for which the evaluation signal (10) has the maximum range (16) is determined and
- depending on the playback time, either a video signal or only a single image (14) is output, whereby
- for a route evaluation, each evaluation signal (10) is combined into a single overall value (31) by forming an average in order to obtain a compact statement about a route, and
- the total value (31) for a route and the extracted images are provided by the computing device (4) and
- a navigation system (21) of a vehicle (5) and the computing device (4) establish a communication connection (22) and
- the vehicle (5) obtains the extracted images and the total values from the computing device (4) and returns them graphically to the driver as a route preview and route evaluation.
Description
Die Erfindung betrifft ein Verfahren zum Auswerten eines optischen Erscheinungsbildes einer Fahrstrecke. Durch die Auswertung wird ermittelt, ob die Fahrstrecke oder Teile der Fahrstrecke zum Beispiel landschaftlich besonders schön ist oder architektonische Sehenswürdigkeiten aufweist. Durch die Erfindung wird ein Verfahren weitergebildet, das aus der
Bei dem bekannten Verfahren werden durch Kraftfahrzeuge Videodaten mit Bildsequenzen von Fahrstrecken eines Straßennetzes erfasst. Die Videodaten werden zentral in einem Server gesammelt und einem Benutzer angezeigt, wenn sich dieser über die Fahrstrecke informieren möchte. Falls sehr viele Kraftfahrzeuge Videodaten erzeugen, ergibt sich, dass jede Fahrstrecke mehrfach gefilmt wird. Um eine Auswahl aus den Videodaten zu treffen, müssen Personen das Bildmaterial sichten und bewerten. Nur hierdurch ist es möglich, schlechte Videoaufnahmen von guten, für die Fahrstrecke repräsentativen Filmaufnahmen zu unterscheiden. Dies macht das Verfahren aufwändig.In the known method, motor vehicles capture video data with image sequences of routes along a road network. The video data is collected centrally on a server and displayed to a user who wishes to obtain information about the route. If a large number of motor vehicles generate video data, each route is filmed multiple times. To select from the video data, people must view and evaluate the images. Only in this way is it possible to distinguish poor video recordings from good film recordings representative of the route. This makes the process complex.
Aus der
Aus der
Aus der Publikation „
Einem Fahrer ist es heutzutage also möglich, vor Antritt einer Fahrt einen Eindruck von verschiedenen Fahrrouten zu gewinnen, die zu einem von ihm gewählten Ziel führen. Des Weiteren kann er sich beispielsweise im Internet Fotos, Videos und Bewertungen von Fahrrouten ansehen.Nowadays, drivers can get an idea of various routes leading to their chosen destination before setting off. They can also view photos, videos, and reviews of routes online, for example.
Um eine Routenauswahl automatisiert durchzuführen, ist Voraussetzung, dass das Bildmaterial, also Fotos und Videos, von anderen Personen schon einmal ausgewertet und kategorisiert wurde. Handelt es sich um abstrakte, beispielsweise emotionale, Kriterien wie beispielsweise eine Bewertung der „landschaftlichen Schönheit“, so ist man auf das Urteilsvermögen einer anderen Person angewiesen. Ansonsten lässt sich eine Suche nach einer „landschaftlich schönen“ Fahrroute nicht automatisiert durchführen.To automate route selection, the image material, i.e., photos and videos, must have already been evaluated and categorized by other people. If the criteria are abstract, such as an assessment of "scenic beauty," one relies on the judgment of another person. Otherwise, a search for a "scenic" route cannot be performed automatically.
Ein zweites Problem besteht in der Auswertung der Menge der Videodaten selbst. Werden über mehrere Kraftfahrzeuge, in denen jeweils eine Videokamera Bildsequenzen von der Umgebung erfasst werden, zentral in einem Server gesammelt, so ist der Aufwand, diese umfangreichen Videodaten zu sichten, wirtschaftlich nicht mehr vertretbar.A second problem lies in the evaluation of the amount of video data itself. If image sequences of the surroundings are collected centrally on a server from several vehicles, each with a video camera in which they record, the effort required to view this extensive video data is no longer economically justifiable.
Der Erfindung liegt die Aufgabe zugrunde, ein optisches Erscheinungsbild von Fahrstrecken auszuwerten, um eine systematische Suche einer Fahrroute in Abhängigkeit von deren optischen Erscheinungsbild zu ermöglichen.The invention is based on the object of evaluating an optical appearance of routes in order to enable a systematic search for a route depending on its optical appearance.
Die Aufgabe wird durch den Gegenstand des unabhängigen Patentanspruchs gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche.The problem is solved by the subject matter of the independent patent claim. Advantageous developments of the invention result from the features of the dependent patent claims.
Erfindungsgemäß wird ein Verfahren bereitgestellt, das zum Auswerten eines optischen Erscheinungsbildes einer Fahrstrecke dient. Eine Fahrstrecke ist in diesem Zusammenhang beispielsweise ein Streckenabschnitt in einem Straßenverkehrsnetz, also beispielsweise eine Straße oder ein Straßenzug. In der bereits beschriebenen Weise werden aus zumindest einem Kraftfahrzeug, das auf der Fahrstrecke fährt oder auf der Fahrstrecke gefahren ist, Videodaten empfangen. Bevorzugt sind mehrere Kraftfahrzeug vorgesehen. Die Videodaten jedes Kraftfahrzeugs enthalten eine Bildsequenz oder ein Video der Fahrstrecke. Die Videodaten können beispielsweise durch einen zentralen Server des Internets, also eine an das Internet angeschlossene Recheneinrichtung, empfangen werden. Durch eine Analyseeinrichtung wird auf Grundlage der Videodaten zu Bildern der Bildsequenz jeweils ermittelt, zu welchem Grad oder Anteil oder Prozentsatz das Bild mit einem vorbestimmten Attraktivitätskriterium übereinstimmt. Hierzu wird ein entsprechender Übereinstimmungswert ermittelt, also beispielsweise ein Wert in einem Bereich von 0 bis 100 Prozent. Das Attraktivitätskriterium kann beispielsweise eine „landschaftlich schöne“ Fahrstrecke oder eine „architektonisch schöne“ Fahrstrecke bezeichnet oder definieren. Der Übereinstimmungswert besagt dann, inwieweit oder zu welchem Grad die durch die Videodaten dargestellte Fahrstrecke dem Attraktivitätskriterium entspricht. Hierzu werden beispielsweise für einzelne Bilder der Bildsequenz jeweils Vergleiche zwischen dem Bild und einer optischen Eigenschaft, durch welche das Attraktivitätskriterium charakterisiert ist, durchgeführt. Beispielsweise können Grünflächen, also grüne Bildbereiche, für eine landschaftlich schöne Umgebung repräsentativ sein. In Abhängigkeit vom Anteil einer jeweiligen optischen Eigenschaft (grüne Bildbereiche, Bildbereiche mit Gebäudestrukturen) kann dann der Übereinstimmungswert festgelegt werden.According to the invention, a method is provided for evaluating the visual appearance of a route. A route in this context is, for example, a section of a road network, i.e., a street or a road network. In the manner already described Video data is received from at least one motor vehicle that is traveling or has traveled on the route. Preferably, several motor vehicles are provided. The video data from each motor vehicle contains an image sequence or a video of the route. The video data can be received, for example, by a central Internet server, i.e., a computing device connected to the Internet. On the basis of the video data, an analysis device determines the degree, proportion, or percentage of each image in the image sequence that the image matches a predetermined attractiveness criterion. For this purpose, a corresponding match value is determined, for example, a value in a range from 0 to 100 percent. The attractiveness criterion can, for example, designate or define a "scenic" route or an "architecturally beautiful" route. The match value then indicates the extent or degree to which the route represented by the video data matches the attractiveness criterion. For this purpose, for example, comparisons are made between the image and an optical property that characterizes the attractiveness criterion for individual images in the image sequence. For example, green areas in an image can be representative of a beautiful landscape. The match value can then be determined depending on the proportion of a particular optical characteristic (green areas in an image, areas with building structures).
Durch die Analyseeinrichtung wird zu mehreren oder allen Bildern der Bildsequenz jeweils ein Übereinstimmungswert erzeugt. Die Übereinstimmungswerte werden gemäß dem erfindungsgemäßen Verfahren zu einem Bewertungssignal für die Bildsequenz kombiniert. Mit anderen Worten stellen die Übereinstimmungswerte der Bilder Amplitudenwerte des Bewertungssignals dar. Das Bewertungssignal wird dann als eine Beschreibung des Erscheinungsbildes der Fahrstrecke bereitgestellt. Es kann beispielsweise zusammen mit den Videodaten bereitgestellt werden oder in die Videodaten integriert sein. Mittels des Verfahrens können natürlich auch mehrere Fahrstrecken in der beschriebenen Weise mit einem Bewertungssignal versehen werden.The analysis device generates a match value for several or all images of the image sequence. The match values are combined according to the inventive method to form an evaluation signal for the image sequence. In other words, the match values of the images represent amplitude values of the evaluation signal. The evaluation signal is then provided as a description of the appearance of the route. It can, for example, be provided together with the video data or integrated into the video data. Using the method, several routes can of course also be provided with an evaluation signal in the manner described.
Durch die Erfindung ergibt sich der Vorteil, dass Videodaten, die von Kraftfahrzeugen beispielsweise mittels Videokameras während einer Fahrt generiert werden, in automatisierter Form durch eine zentrale Recheneinrichtung, beispielsweise einen Internetserver, in Bezug auf ein Attraktivitätskriterium bewertet werden. Die Bildsequenz der Videodaten wird somit um ein Bewertungssignal ergänzt, welches zu einzelnen Abschnitten der Fahrstrecke jeweils einen Übereinstimmungswert oder Zugehörigkeitsgrad zu dem Attraktivitätskriterium angibt. Somit steht mit dem Bewertungssignal eine Beschreibung des Erscheinungsbildes der Fahrstrecke für eine weitere automatisierte Bearbeitung bereit. Es ist nicht nötig, die Videodaten durch eine Person auszuwerten. Die genannte Analyseeinrichtung kann z.B. ein Programmmodul der Recheneinrichtung umfassen. Die Analyseeinrichtung kann z.B. auf der Grundlage eines Klassifikators oder eines Algorithmus für eine Klassifikation gebildet sein.The invention provides the advantage that video data generated by motor vehicles, for example using video cameras during a journey, is automatically evaluated by a central computing device, for example an internet server, with regard to an attractiveness criterion. The image sequence of the video data is thus supplemented by an evaluation signal, which indicates a match value or degree of belonging to the attractiveness criterion for individual sections of the route. The evaluation signal thus provides a description of the appearance of the route for further automated processing. It is not necessary for a person to evaluate the video data. The aforementioned analysis device can, for example, comprise a program module of the computing device. The analysis device can, for example, be based on a classifier or an algorithm for classification.
Die Erfindung weist optionale Weiterbildungen auf, durch deren Merkmale sich zusätzliche Vorteile ergeben.The invention has optional further developments, the features of which provide additional advantages.
Gemäß einer Weiterbildung der Erfindung ermittelt die Analyseeinrichtung den Übereinstimmungswert jedes Bildes mittels eines neuronalen Netzes. Durch das neuronale Netz werden Bildelemente des Bildes in einem einstufigen oder mehrstufigen Verarbeitungsprozess gruppiert. Mit anderen Worten werden die Bildelemente zusammengefasst. Dies ergibt in vorteilhafter Weise eine Abstraktion oder Abstrahierung der Bildelemente hin zu repräsentativen Zahlen oder Werten. Beispielsweise können grüne Bildelemente in einem Bild zu einer grünen Region zusammengefasst werden, welche dann durch einen einzelnen Wert repräsentiert werden kann, der beispielsweise den Grünflächen- oder Laubanteil im Bild repräsentieren kann. Mittels des neuronalen Netzes kann alternativ zur Auswertung eines einzelnen Bildes auch vorgesehen sein, zum Ermitteln des einen Übereinstimmungswerts das Bild und zumindest ein weiteres Bild der Bildsequenz zugrunde zu legen. Hierdurch ergibt sich in vorteilhafter Weise ein Glättungseffekt oder Stabilisierungseffekt. Besonders bevorzugt wird ein sogenanntes tiefes neuronales Netz verwendet, das insbesondere mehr als drei neuronale Schichten aufweist. Hierdurch kann allein mittels eines neuronalen Netzes eine Abstraktion des Bildes hin zu einem einzelnen Übereinstimmungswert erreicht werden. Es ist dann keine zusätzliche Nachbearbeitung zum Berechnen des Übereinstimmungswerts nötig.According to a further development of the invention, the analysis device determines the match value of each image using a neural network. The neural network groups image elements of the image in a single-stage or multi-stage processing process. In other words, the image elements are summarized. This advantageously results in an abstraction or abstraction of the image elements into representative numbers or values. For example, green image elements in an image can be summarized into a green region, which can then be represented by a single value that can, for example, represent the proportion of green space or foliage in the image. Using the neural network, as an alternative to evaluating a single image, it can also be provided to use the image and at least one other image of the image sequence as a basis for determining the one match value. This advantageously results in a smoothing or stabilizing effect. Particularly preferably, a so-called deep neural network is used, which in particular has more than three neural layers. This allows an abstraction of the image into a single match value to be achieved using a neural network alone. No additional post-processing is then required to calculate the match value.
Gemäß einer Weiterbildung der Erfindung werden zum Konfigurieren des neuronalen Netzes mittels einer unüberwachten Lernmethode (Englisch: unsupervised learning) Trainingsbilder untereinander verglichen und in Gruppen eingeteilt. Mit anderen Worten kann in vorteilhafter Weise beim Konfigurieren des neuronalen Netzes darauf verzichtet werden, die entscheidenden Bildelemente durch eine Person herauszusuchen oder zu markieren. Durch Vergleichen von Trainingsbildern wird in automatisierter Form ermittelt, welche Bildbereiche für das Unterscheiden zwischen den Trainingsbildern wichtig sind. Beispielsweise unterscheiden sich Trainingsbilder nur geringfügig im Bereich des vorausliegenden Straßenabschnitts, der in allen Trainingsbildern mit hoher Wahrscheinlichkeit gleich grau ist. Das neuronale Netz wird somit insbesondere für die Bild-Randbereiche empfindlich oder sensibilisiert, in denen in Abhängigkeit von der landschaftlichen Beschaffenheit Farben und Strukturen anders sind. Eine der Gruppen kann hierbei dann beispielsweise einen grauen Randbereich für eine Fahrt durch ein Stadtgebiet aufweisen und eine zweite Gruppe für einen grünen Randbereich stehen, wie er sich bei einer Fahrt durch eine Landschaft ergibt.According to a further development of the invention, training images are compared with each other and divided into groups to configure the neural network using an unsupervised learning method. In other words, when configuring the neural network, it is advantageously possible to dispense with the need for a person to select or mark the crucial image elements. By comparing training images, it is automatically determined which image regions are important for distinguishing between the training images. For example, training images differ only slightly in the area of the preceding A section of road that is likely to be the same shade of gray in all training images. The neural network is thus particularly sensitive or sensitized to the edge areas of the image, where colors and structures differ depending on the landscape. For example, one of the groups could then have a gray edge area for a drive through an urban area, and a second group could represent a green edge area, such as that found when driving through a landscape.
Algorithmen zum Durchführen eines unüberwachten Lernens eines neuronalen Netzes sind an sich aus dem Stand der Technik bekannt. Durch das Gruppieren ergibt sich aber noch keine Möglichkeit, einem Bild mittels des neuronalen Netzes einen Übereinstimmungswert bezüglich eines Attraktivitätskriteriums zuzuordnen.Algorithms for performing unsupervised learning of a neural network are well known in the art. However, grouping does not yet provide a way to assign a matching value to an image based on an attractiveness criterion using the neural network.
In einem weiteren Schritt werden deshalb Beispielbilder, denen ein vorbestimmter Übereinstimmungswert zugeordnet ist, jeweils einer der Gruppen zugeordnet. Hierbei kann es sich um eine sehr geringe Anzahl von Bildern handeln, die von Personen bewertet worden sein können. Beispielsweise können Personen feststellen, dass ein Beispielbild besonders schöne landschaftliche Elemente enthält. Wird dann dieses Bild einer der Gruppen zugeordnet (in welcher sich z.B. Bilder mit grünem Randbereich befinden), so ist dann klar, dass Bilder der Bildsequenz, die durch das neuronale Netz dieser Gruppe zugeordnet werden, offenbar von einer Person als landschaftlich schön eingestuft werden. Dagegen wird ein Beispielbild, das während einer Fahrt durch ein Stadtgebiet erzeugt worden ist, von der Person nicht als landschaftlich schön eingestuft. Wird dann dieses Beispielbild einer anderen Gruppe (z.B. mit grauem Randbereich in den Bildern) zugeordnet, so wird diesem Bild ein kleinerer Übereinstimmungswert zugeordnet als einem Bild, das der Gruppe mit grünem Randbereich zugeordnet wird. Durch die Weiterbildung ergibt sich der Vorteil, dass eine Vielzahl von Trainingsbildern ohne eine Auswertung durch Bedienpersonen verarbeitet werden kann und lediglich eine verhältnismäßig zu den Trainingsbildern geringe Anzahl an Beispielbildern zum abschließenden Konfigurieren des neuronalen Netzes nötig ist. Das Verhältnis an der Anzahl an Beispielbildern zur Anzahl an Trainingsbildern kann beispielsweise weniger als 1 Prozent betragen. Hierdurch lässt sich die Analyseeinrichtung in einem automatisierten Prozess konfigurieren, der lediglich einen Eingriff von Benutzerpersonen bei dem Bestimmen des Grades der Übereinstimmung der Beispielbilder mit dem Attraktivitätskriterium erfordert.In a further step, example images assigned a predetermined match value are each assigned to one of the groups. This may involve a very small number of images that have been rated by people. For example, people may notice that an example image contains particularly beautiful landscape elements. If this image is then assigned to one of the groups (which includes, for example, images with a green border area), it is clear that images in the image sequence assigned to this group by the neural network are obviously classified by a person as having beautiful scenery. In contrast, an example image taken while driving through an urban area is not classified by the person as having beautiful scenery. If this example image is then assigned to a different group (e.g., one with a gray border area in the images), this image is assigned a lower match value than an image assigned to the group with a green border area. This refinement offers the advantage that a large number of training images can be processed without operator evaluation, and only a relatively small number of sample images relative to the training images is required for the final configuration of the neural network. The ratio of the number of sample images to the number of training images can, for example, be less than 1 percent. This allows the analysis device to be configured in an automated process that only requires user intervention to determine the degree of correspondence of the sample images with the attractiveness criterion.
Besonders vorteilhaft ist diese Ausführungsform im Zusammenhang mit einem Attraktivitätskriterium, das sich auf subjektive, von zumindest einer Person bereitzustellende Einschätzungen eines ästhetischen Empfindens beziehen. Die Beispielbilder werden somit bei einer entsprechenden Weiterbildung jeweils mit einer subjektiven, von zumindest einer Person bereitgestellten Einschätzung einer in dem Beispielbild dargestellten Fahrstrecke bereitgestellt. Es erfolgt also eine Einschätzung in Bezug auf das Attraktivitätskriterium. Die Einschätzung gibt insbesondere eine landschaftliche Schönheit oder eine architektonische Schönheit oder einen Grad der Abgeschiedenheit der Fahrstrecke an. Beispielsweise kann die Einschätzung also besagen, dass die in dem Beispielbild dargestellte Fahrstrecke landschaftlich sehr schön oder nicht schön ist. Insbesondere kann auch eine Einteilung gemäß einer Skala erfolgen, also ein Wert für den zu beurteilenden oder einzuschätzenden subjektiven Eindruck. Beispielsweise kann die Person der Fahrstrecke für das Attraktivitätskriterium „landschaftlich schön“ einen Wert in einem Bereich von 0 bis 100 Prozent zuteilen.This embodiment is particularly advantageous in connection with an attractiveness criterion that relates to subjective assessments of aesthetic perception provided by at least one person. With a corresponding development, the example images are thus each provided with a subjective assessment of a route shown in the example image, provided by at least one person. An assessment is therefore made with regard to the attractiveness criterion. The assessment indicates, in particular, scenic beauty or architectural beauty or a degree of remoteness of the route. For example, the assessment can therefore state that the route shown in the example image is very scenic or not scenic. In particular, a classification can also be made according to a scale, i.e. a value for the subjective impression to be assessed or evaluated. For example, the person can assign the route a value in a range of 0 to 100 percent for the attractiveness criterion “scenic”.
Erfindungsgemäß wird also aus dem Bewertungssignal ein Gesamtwert für die Fahrstrecke berechnet. Es kann sich hierbei beispielsweise um einen arithmetischen oder geometrischen Mittelwert des Bewertungssignals handeln. Es kann auch beispielsweise das gemittelte Bewertungssignal dann noch in Intervalle unterteilt werden, um beispielsweise eine Zugehörigkeitsstufe (beispielsweise 3 von 5 Sternen) zu dem Attraktivitätskriterium anzugeben. Durch Bereitstellen eines einzelnen Gesamtwerts für die gesamte Fahrstrecke ergibt sich der Vorteil, dass beim Vergleichen mehrerer Fahrstrecken ein besonders geringer Berechnungsaufwand entsteht.According to the invention, an overall value for the route is calculated from the evaluation signal. This can, for example, be an arithmetic or geometric mean of the evaluation signal. The averaged evaluation signal can then be further divided into intervals, for example, to indicate a level of membership (e.g., 3 out of 5 stars) for the attractiveness criterion. Providing a single overall value for the entire route has the advantage of significantly reducing the computational effort when comparing multiple routes.
Erfindungsgemäß wird außerdem ein Maximalbereich des Bewertungssignals detektiert. In dem Maximalbereich ist zumindest einer der Übereinstimmungswerte des Bewertungssignals, also eine Amplitude des Bewertungssignals, größer als ein vorbestimmter Schwellenwert. Aus der Bildsequenz wird dann zumindest ein zu dem Maximalbereich korrespondierendes Bild der Bildsequenz ermittelt und ausgegeben. Mit anderen Worten wird in Abhängigkeit von der Abspieldauer entweder ein Videosignal aus mehreren Bildern oder nur ein einzelnes Bild ausgegeben, wobei die Bilder jeweils gemäß dem Bewertungssignal mit dem Attraktivitätskriterium einen Übereinstimmungswert aufweisen, der größer als der Schwellenwert ist. Es wird also in dem Bewertungssignal ein lokales Maximum oder das globale Maximum ermittelt und das zumindest eine Bild aus diesem Maximalbereich ausgegeben. Der Benutzer erhält dann zumindest ein Bild der Bildsequenz, das besonders repräsentativ in Bezug auf das Attraktivitätskriterium ist. Hierdurch ergibt sich der Vorteil, dass in automatisierter Form ein besonders aussagekräftiges Bild der Bildsequenz oder einen aussagekräftigen Filmausschnitt aus der Bildsequenz bereitgestellt wird.According to the invention, a maximum range of the evaluation signal is also detected. In the maximum range, at least one of the match values of the evaluation signal, i.e., an amplitude of the evaluation signal, is greater than a predetermined threshold value. At least one image of the image sequence corresponding to the maximum range is then determined and output from the image sequence. In other words, depending on the playback duration, either a video signal comprising several images or only a single image is output, wherein the images each have a match value according to the evaluation signal with the attractiveness criterion that is greater than the threshold value. Thus, a local maximum or the global maximum is determined in the evaluation signal, and at least one image from this maximum range is output. The user then receives at least one image of the image sequence that is particularly representative with regard to the attractiveness criterion. This has the advantage that, in automated form, a particularly a meaningful image of the image sequence or a meaningful film excerpt from the image sequence is provided.
Erfindungsgemäß wird außerdem zu den Bildern der Bildsequenz jeweils zusätzlich ein anhand eines vorbestimmten Qualitätsmaßes festgelegter Qualitätswert einer optischen Qualität des Bildes erzeugt. Das Qualitätsmaß gibt ein Signal-zu-Rausch-Verhältnis und/oder eine Bildschärfe an. Die Bildschärfe und das Signal-zu-Rausch-Verhältnis können in an sich bekannter Weise ermittelt werden. Es kann auch ein Maß für eine Verdeckung durch ein vorausfahrendes Fahrzug ermittelt werden. Alternativ dazu kann mittels eines weiteren neuronalen Netzes in der beschriebenen Weise für jedes der genannten Bilder ein Qualitätswert ermittelt werden, wobei hier wieder Trainingsbilder und Beispielbilder zum Ermöglichen eines unbeaufsichtigten Lernens und anschließenden Konfigurierens zugrundegelegt werden können. Die Qualitätswerte der Bilder werden dann zu einem Qualitätssignal kombiniert. Ist nun ein Maximalbereich des Bewertungssignals ermittelt worden, so kann das zumindest eine Bild aus dem Maximalbereich zusätzlich in Abhängigkeit von dem Qualitätssignal ermittelt werden. Hierdurch ergibt sich der Vorteil, dass das zumindest eine zum Maximalbereich korrespondierende Bild auch hinsichtlich der Bildqualität ausgewählt wird. Somit kann sichergestellt werden, dass das ausgegebene Bild eine vorbestimmte Mindestqualität aufweist, also z.B. eine freie Sicht auf die Umgebung dargestellt ist.According to the invention, a quality value for an optical quality of the image, determined based on a predetermined quality measure, is additionally generated for each of the images in the image sequence. The quality measure indicates a signal-to-noise ratio and/or image sharpness. The image sharpness and the signal-to-noise ratio can be determined in a conventional manner. A measure of occlusion by a vehicle traveling ahead can also be determined. Alternatively, a quality value can be determined for each of the images mentioned using a further neural network in the manner described, whereby training images and example images can again be used as a basis to enable unsupervised learning and subsequent configuration. The quality values of the images are then combined to form a quality signal. Once a maximum range of the evaluation signal has been determined, the at least one image from the maximum range can also be determined depending on the quality signal. This offers the advantage that the at least one image corresponding to the maximum range is also selected with regard to image quality. This ensures that the output image has a predetermined minimum quality, e.g. a clear view of the surroundings is shown.
Die Erfindung betrifft die Frage, ob aus dem Maximalbereich ein Einzelbild oder ein Videosignal ausgewählt werden soll. Hierzu wird erfindungsgemäß eine Abspieldauer desjenigen Teils der Bildsequenz, für welchen das Bewertungssignal den Maximalbereich aufweist, ermittelt. Beispielsweise wird die Anzahl der in dem Maximalbereich bereitgestellten oder zur Verfügung stehenden Bilder der Bildsequenz ermittelt. Es kann auch auf der Grundlage der Videodaten eine Abspieldauer in Bezug auf eine normale Abspielgeschwindigkeit ermittelt werden. In Abhängigkeit von der ermittelten Abspieldauer wird entweder der Teil der Bildsequenz, also ein Videosignal, oder nur ein einzelnes Bild aus dem Teil ausgegeben. Hierdurch ergibt sich der Vorteil, dass keine unerwünscht kurzen Videosignale präsentiert werden, die von einem menschlichen Betrachter mental nicht verarbeitet werden können. Hier ist es sinnvoller, ein Standbild oder ruhendes Einzelbild bereitzustellen, das die Person betrachten kann.The invention relates to the question of whether a single image or a video signal should be selected from the maximum range. For this purpose, the playback time of that part of the image sequence for which the evaluation signal has the maximum range is determined. For example, the number of images of the image sequence provided or available in the maximum range is determined. A playback time in relation to a normal playback speed can also be determined on the basis of the video data. Depending on the determined playback time, either the part of the image sequence, i.e. a video signal, or just an individual image from the part is output. This has the advantage that no undesirably short video signals are presented that cannot be mentally processed by a human viewer. In this case, it is more sensible to provide a still image or static single image that the person can view.
Gemäß einer Weiterbildung der Erfindung wird das Bewertungssignal als eine Funktion der Tageszeit und/oder der Jahreszeit und/oder des Wetters gebildet. Mit anderen Worten wird der Übereinstimmungswert zusammen mit der Information bereitgestellt, dass diese Übereinstimmung zu einer vorbestimmten Tageszeit und/oder Jahreszeit und/oder bei einem vorbestimmten Wetter ermittelt wurde. Beispielsweise kann das Attraktivitätskriterium „landschaftliche Schönheit“ im Sommer oder im Winter ermittelt worden sein und hierbei zu unterschiedlichen Übereinstimmungswerten der Bilder mit dem Attraktivitätskriterium führen.According to a further development of the invention, the evaluation signal is formed as a function of the time of day and/or the season and/or the weather. In other words, the match value is provided together with the information that this match was determined at a predetermined time of day and/or season and/or under predetermined weather conditions. For example, the attractiveness criterion "scenic beauty" may have been determined in summer or winter, resulting in different match values of the images with the attractiveness criterion.
Gemäß einer Weiterbildung der Erfindung wird in der beschriebenen Weise zu mehreren Fahrstrecken jeweils ein Bewertungssignal erzeugt. Im Zusammenhang mit einer Navigationsassistenz wird zumindest eine Fahrstrecke, die zu einem vorgegebenen Navigationsziel führt, ermittelt. Dem Benutzer wird zu jeder ermittelten Fahrstrecke auf der Grundlage des jeweiligen Bewertungssignals ein Hinweis betreffend das Attraktivitätskriterium ausgegeben. Es kann dann beispielsweise eine Auswahl einer der Fahrstrecken empfangen werden, die z.B. der Benutzer eingibt. Es kann auch vorgesehen sein, dass der Benutzer das Attraktivitätskriterium auswählt und als Fahrstrecke für die Navigationsassistenz dann diejenige ausgewählt wird, welche gemäß ihrem Bewertungssignal das Attraktivitätskriterium ab besten erfüllt, also z.B. den größten Gesamtwert aufweist. Durch die Weiterbildung ergibt sich der Vorteil, dass eine Navigationsassistenz bereitgestellt wird, welche auch subjektive und/oder emotionale Kriterien, nämlich das Attraktivitätskriterium, berücksichtigt.According to a further development of the invention, an evaluation signal is generated for each of several routes in the manner described. In connection with a navigation assistance system, at least one route that leads to a predetermined navigation destination is determined. For each determined route, the user is provided with an indication regarding the attractiveness criterion based on the respective evaluation signal. A selection of one of the routes, which the user enters, for example, can then be received. It can also be provided that the user selects the attractiveness criterion and the route selected for the navigation assistance is the one that best fulfills the attractiveness criterion according to its evaluation signal, i.e., for example, has the highest overall value. This further development results in the advantage of providing a navigation assistance system that also takes subjective and/or emotional criteria, namely the attractiveness criterion, into account.
Das erfindungsgemäße Verfahren kann durch eine Recheneinrichtung für das Internet durchgeführt werden. Durch diese Recheneinrichtung können somit dieselben Vorteile verwirklicht werden wie durch das Verfahren.The method according to the invention can be implemented by a computer for the Internet. This computer can thus realize the same advantages as the method.
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:
-
1 eine schematische Darstellung eines Systems, durch welches eine Ausführungsform des erfindungsgemäßen Verfahrens durchgeführt wird, -
2 Diagramme mit einem schematisierten Verlauf eines Bewertungssignals und eines Qualitätssignals, -
3 eine schematische Darstellung einer Navigationsassistenz, und -
4 ein Ablaufdiagramm zu einer Ausführungsform des erfindungsgemäßen Verfahrens.
-
1 a schematic representation of a system by which an embodiment of the method according to the invention is carried out, -
2 Diagrams with a schematic progression of a rating signal and a quality signal, -
3 a schematic representation of a navigation assistance system, and -
4 a flowchart for an embodiment of the method according to the invention.
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, the described components of the embodiment each represent individual features of the invention that can be considered independently of one another, each of which also independently of one another and are therefore to be considered as components of the invention, either individually or in a combination other than that shown. Furthermore, the described embodiment can also be supplemented by further features of the invention already described.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are provided with the same reference numerals.
Hierzu erzeugt jedes Kraftfahrzeug 3 der Kraftfahrzeugflotte 2 während einer Fahrt auf einer der Fahrstrecken Videodaten 6, die über eine jeweilige Kommunikationsverbindung 7 an die Recheneinrichtung 4 übertragen werden. Die Kommunikationsverbindung 7 kann beispielsweise über eine Mobilfunkverbindung und/oder eine Internetverbindung hergestellt sein. Die Videodaten 6 können durch die Kraftfahrzeuge 3 jeweils mittels einer Videokamera 8 erzeugt sein. Ein Erfassungsbereich der Videokameras 8 kann dabei jeweils in einem Frontbereich des Kraftfahrzeugs 3 ausgerichtet sein. Die Videodaten 6 enthalten somit jeweils ein Video oder eine Bildsequenz aus Bildern, in denen jeweils eine Umgebung des Kraftfahrzeugs 3 dargestellt ist. Die Videodaten 6 können über ein Funkmodul 9, beispielsweise ein Mobilfunkmodul oder ein WLAN-Funkmodul (WLAN - wireless local area network) über die Kommunikationsverbindung 7 ausgesendet werden.For this purpose, each motor vehicle 3 of the motor vehicle fleet 2 generates
Die Videodaten 6 werden durch die Recheneinrichtung 4 dahingehend verarbeitet, dass zu den Bildsequenzen der Videodaten 6 jeweils ein Bewertungssignal 10 und optional ein Qualitätssignal 11 erzeugt werden. Es können auch mehrere Bewertungssignale 10 zu unterschiedlichen Attraktivitätskriterien erzeugt werden. Das Bewertungssignal 10 gibt an, inwieweit einzelne Bilder der Bildsequenz der Videodaten 6 dem abstrakten, emotionalen Attraktivitätskriterium, beispielsweise dem Attraktivitätskriterium „landschaftliche Schönheit“ entsprechen. Mit „inwieweit“ ist hierbei gemeint, dass ein Übereinstimmungswert für einzelne Bilder der Bildsequenz bereitgestellt wird. Das Qualitätssignal 11 kann zu den Bildern jeweils eine gemäß einem Qualitätskriterium ermittelte Bildqualität angeben. Das Bewertungssignal 10 und das optionale Qualitätssignal 11 werden durch eine Analyseeinrichtung 12 der Recheneinrichtung 4 erzeugt. Die Analyseeinrichtung 12 kann beispielsweise als ein Programmmodul der Recheneinrichtung 4 ausgestaltet sein.The
In
Das Qualitätssignal 11 kann aus einzelnen Qualitätswerten 18 gebildet sein, die jeweils zu einen der Bilder 14 durch die Analyseeinrichtung 12 ermittelt sein können. In
In
In dem Kraftfahrzeug 5 kann nun ein Fahrer mittels eines Navigationssystems 21 durch die Recheneinrichtung 4 beim Planen einer Fahrt unterstützt werden. Hierzu können das Navigationssystem 21 und die Recheneinrichtung 4 eine Kommunikationsverbindung 22 aufbauen, die beispielsweise auf der Grundlage eines Funkmoduls 23 des Kraftfahrzeugs 5 und eines Kommunikationsmoduls 24 der Recheneinrichtung 4 gebildet sein kann. Das Kommunikationsmodul 24 kann beispielsweise durch ein Programmmodul und/oder eine Netzwerkanschlusseinrichtung der Recheneinrichtung 4 gebildet sein. Das Funkmodul 23 kann in derselben Weise wie die Funkmodule 9 ausgestaltet sein.In the
Das Navigationssystem 21 kann eine Anzeigeeinrichtung 25 aufweisen, beispielsweise einen Bildschirm und/oder eine Kopf-oben-Anzeigeeinrichtung (Head-up-Display) des Kraftfahrzeugs. Für das Beispiel sei angenommen, dass der Fahrer von einer Ausgangsposition 26 des Kraftfahrzeugs 5 aus zu einem Navigationsziel 27 hinfahren möchte. Durch das Navigationssystem 21 seien beispielsweise drei mögliche Fahrstrecken 28, 29, 30 ermittelt worden. Zu den Fahrstrecken 28, 29, 30 kann über die Kommunikationsverbindung 22 jeweils deren Bewertungssignal 10 oder ein daraus gebildeter Gesamtwert 31 ermittelt werden. Es kann dann zu jeder Fahrstrecke 28, 29, 30 beispielsweise ein Gesamtwert 31 ermittelt werden, der als ein Mittelwert des jeweiligen Bewertungssignals 10 berechnet sein kann. In
Für die weitere Erläuterung des Beispiels sei angenommen, dass das Bewertungssignal 10 aus
In
In einem Schritt S2 wird das trainierte neuronale Netz 33 nun dahingehend geeicht oder justiert, dass die zunächst bedeutungslosen Gruppen, in welche die Trainingsbilder 34 mittels des unüberwachten Lernens eingeteilt worden sind, nun einen jeweiligen Übereinstimmungsgrad oder Übereinstimmungswert zugeteilt bekommen, wobei der Übereinstimmungswert die Übereinstimmung in Bezug auf ein vorgegebenes Attraktivitätskriterium darstellt. Hierzu werden Beispielbilder 35 mit einem jeweils vorgegebenen Übereinstimmungswert 15 ermittelt. Dies kann beispielsweise durch Personen ermittelt werden. In dem Schritt S2 wird ermittelt, welcher der Gruppen 35 die Beispielbilder 35 zugeordnet werden. So kann jeder der Gruppen 35 ein entsprechender Übereinstimmungswert 15 zugeordnet werden.In a step S2, the trained
In einem Schritt S4 kann in vergleichbarer Weise ein weiteres neuronales Netz 37 oder ein anderer Klassifikator auf der Grundlage von Trainingsbildern 38 trainiert werden. Die Trainingsbilder 38 stellen dabei Fahrstrecken in unterschiedlicher Bildqualität dar. Die Bildqualität kann z.B. durch ein Signal-zu-Rausch-Verhältnis und/oder eine Schärfe des Bildes und/oder einen Verdeckungsgrad durch vorausfahrende Fahrzeuge definiert sein. In einem Schritt S5 kann auf der Grundlage von Beispielbildern 39, denen jeweils ein Qualitätswert 18 zugeordnet worden ist, das trainierte neuronale Netz 37 in der beschriebenen Weise geeicht oder konfiguriert werden. Auch die Qualitätswerte 18 der Beispielbilder 39 können von Personen festgelegt worden sein.In a step S4, a further
In einem Schritt S6 wird dann durch die Analyseeinrichtung 12 auf der Grundlage der neuronalen Netze 33, 37 eine Bildsequenz 13 aus den Videodaten 6 verarbeitet. Hierdurch entstehen in der beschriebenen Weise zu den Videodaten 6 ein Bewertungssignal 10 und ein Qualitätssignal 11. Dies wird dadurch erreicht, dass jedem Bild der Bildsequenz 13 ein Übereinstimmungswert 15 und ein Qualitätswert 18 zugeordnet wird. In einem Schritt S7 können die erzeugten Signale in dem Speicher 20 gespeichert werden. In einem Schritt S8 kann beispielsweise durch die Recheneinrichtung 4 zu Fahrstrecken 28, 29, 30, die ein Navigationssystem 21 ermittelt hat, jeweils das Bewertungssignal 10 ermittelt werden.In a step S6, the
In einem Schritt S9 kann durch das Navigationssystem 21 diejenige Fahrstrecke 28 für die Navigationsassistenz ausgewählt werden, welche den höchsten Gesamtwert 31 aufweist oder welche der Fahrer nach Betrachtung der Bildinformationen 32 auswählt. Hierbei ist dann sichergestellt, dass die Routenführung entlang einer Fahrstrecke 28 führt, die gemäß des Attraktivitätskriteriums C1 die günstigste oder beste Fahrroute darstellt.In a step S9, the
Durch das Beispiel ist gezeigt, wie die Recheneinrichtung 4 auf der Grundlage von maschinellem Lernen, insbesondere mittels tiefer neuronaler Netze, es ermöglicht, Bild- und Videoaufnahmen hinsichtlich abstrakter emotionaler Kriterien, wie beispielsweise der landschaftlichen Schönheit, automatisch zu bewerten. Die Mitglieder einer Fahrzeugflotte 2 oder eines Fahrzeugschwarms erfassen permanent Videoaufnahmen der von ihnen abgefahrenen Fahrstrecken und hinterlegen die Aufnahmen auf einem Server, der durch die Recheneinrichtung 4 gebildet ist. Aus den gesammelten Videoaufnahmen werden durch maschinelles Lernen automatisch für jedes Bild im Videosignal Werte für Attraktivitätskriterien wie landschaftliche Schönheit, architektonische Schönheit, Abgeschiedenheit extrahiert. Durch dieses Vorgehen ergibt sich ein Signalverlauf für die jeweiligen Attraktivitätskriterien. Für die Routenbewertung kann jedes Bewertungssignal, beispielsweise durch Bildung eines Mittelwerts, zu einem einzigen Gesamtwert zusammengefasst werden, um eine kompakte Aussage zu einer Fahrstrecke zu erhalten.The example shows how the
Für lokale Maxima der Bewertungssignale zu den Attraktivitätskriterien können Einzelbilder oder kurze Videoclips an der entsprechenden Position in den Videosequenzen oder Bildsequenzen extrahiert werden. Handelt es sich bei einem Maximum um einen kurzen Ausschlag, sollte ein Einzelbild extrahiert werden, bei einem plateauartigen Ausschlag sollte ein kurzer Videoclip extrahiert werden. Ein kurzer Ausschlag kann in der beschriebenen Weise definiert werden.For local maxima of the evaluation signals for the attractiveness criteria, individual images or short video clips can be extracted at the corresponding position in the video sequences or image sequences. If a maximum is a short peak, a single image should be extracted; if a plateau-like peak occurs, a short video clip should be extracted. A short peak can be defined as described above.
Für sämtliche Videoaufnahmen sollte auch der Wert für die optische Qualität des Bildmaterials durch ein Verfahren für maschinelles Lernen, wie bereits beschrieben, extrahiert werden. Dieses Signal sollte bei der Extraktion von Einzelbildern dazu verwendet werden, um das optisch ansprechendste Einzelbild um einen Maximalbereich im Bewertungssignal herum zu identifizieren, und genau dieses Einzelbild extrahieren. Möchte sich ein Fahrer über die verschiedenen möglichen Fahrrouten zu einem Fahrziel informieren, bezieht sein Fahrzeug die extrahierten Bilder und Attraktivitätskriterien aus der Recheneinrichtung 4 und gibt sie als Routenvorschau und Routenbewertung grafisch an den Fahrer zurück.For all video recordings, the optical quality value of the image material should also be extracted using a machine learning method, as previously described. This signal should be used during the extraction of individual images to identify the most visually appealing individual image around a maximum range in the evaluation signal, and then extract precisely this individual image. If a driver wishes to obtain information about the various possible routes to a destination, their vehicle retrieves the extracted images and attractiveness criteria from the
Für die Erstellung der Routenbewertung und Routenvorschau ist nach einer einmaligen Einrichtung keine menschliche Arbeit mehr nötig. Die Videoaufnahmen können von Fahrzeugen nebenbei während normaler Fahrten aufgezeichnet werden. Da die Aufzeichnung der benötigten Daten nebenbei erfolgen kann, kann über die Zeit eine Bewertung und Vorschau für jede Fahrstrecke, die von entsprechend ausgestatteten Kraftfahrzeugen befahren wird, erstellt werden. Es ergibt sich mittelfristig automatisch eine sehr hohe Streckenabdeckung. Das beschriebene Verfahren läuft vollkommen automatisch ab und erfordert, auch für die Durchführung des maschinellen Lernens selbst, nur einen begrenzten Aufwand an Ressourcen und Finanzen.After a one-time setup, no human intervention is required to create the route evaluation and route preview. The video recordings can be recorded by vehicles during normal journeys. Since the required data can be recorded in the background, an evaluation and preview can be created over time for every route traveled by appropriately equipped vehicles. This automatically results in a very high level of route coverage in the medium term. The described process runs completely automatically and requires only limited resources and financial investment, including for the implementation of the machine learning itself.
Die Mitglieder des Fahrzeugschwarms zeichnen mit Hilfe der Kameras Bilder vom Streckenverlauf einzelner Fahrstrecken auf und senden die Videodaten über ein Funkmodul zu einem zentralen Server. Nachdem genügend Videodaten auf dem Server gesammelt wurde, wird auf dem Server das Training eines Verfahrens für maschinelles Lernen initiiert. Das Lernverfahren, zum Beispiel ein tiefes neuronales Netz, muss ein ausreichend großes Abstraktionsvermögen erreichen können, um Bildelemente jedes Bildes soweit zusammenzufassen, dass ein Übereinstimmungswert für eines der beschriebenen Attraktivitätskriterien, wie zum Beispiel landschaftliche Schönheit, zusammengefasst werden. In der Trainingsphase soll die verwendete Analyseeinrichtung ohne zusätzliche Informationen, das heißt mittels unüberwachten Lernens, von Trainingsbildern lernen. Danach werden der Analyseeinrichtung von Menschen für das jeweilige Attraktivitätskriterium bewertete Beispielbilder zur Verfügung gestellt. Mit Hilfe dieser Beispielbilder kann die Analyseeinrichtung die in der Trainingsphase abstrahierten Muster einem Übereinstimmungswert zuordnen. Nachdem das Training und die Zuordnung erfolgt sind, kann die Analyseeinrichtung sämtliche zur Verfügung stehende Videodaten sowie später eingehende Videodaten in Bezug auf die vorgegebenen Attraktivitätskriterien bewerten.The members of the vehicle swarm use cameras to record images of the route along individual journeys and send the video data to a central server via a radio module. Once sufficient video data has been collected on the server, training of a machine learning process is initiated on the server. The learning process, for example a deep neural network, must be able to achieve a sufficiently high level of abstraction to summarize image elements from each image to the extent that a match value for one of the described attractiveness criteria, such as scenic beauty, can be summarized. During the training phase, the analysis device used is to learn from training images without additional information, i.e., using unsupervised learning. The analysis device is then provided with example images rated by humans for the respective attractiveness criterion. Using these example images, the analysis device can assign a match value to the patterns abstracted in the training phase. After training and matching have been completed, the analysis facility can evaluate all available video data as well as later incoming video data with respect to the specified attractiveness criteria.
Auf dieselbe Art sollte hinsichtlich der Bildqualität beispielsweise ein weiteres neuronales Netz trainiert werden. Sämtliche Videoaufnahmen sollten damit ebenfalls ausgewertet werden, sodass sich jeweils ein zusätzliches Qualitätssignal 11 ergibt. Durch jedes extrahierte Attraktivitätskriterium ist somit ein Bewertungssignal 10 und ein Qualitätssignal 11 pro eingehender Videoaufnahme entstanden. Ein weiterer Algorithmus identifiziert in diesen Signalverläufen lokale Maxima und/oder Minima. An den Stellen in den Videoaufnahmen, die einem lokalen, kurzzeitigen Maximum im Signalverlauf des Bewertungssignals entsprechen, werden bei einem kurzzeitigen Maximum Einzelbilder extrahiert und bei einem breiteren oder längeren Maximum Videoclips. Bei einer Extraktion von Einzelbildern wird das Einzelbild an der Stelle im Videosignal entnommen, an der das Bildqualitätssignal und das Bewertungssignal ein gemeinsames Maximum erreichen. Die extrahierten Bilder werden z.B. zusammen mit den gemittelten Bewertungssignalen, das heißt allgemein dem Gesamtwert für eine Fahrstrecke, auf einem Server bereitgestellt, damit sie von Kraftfahrzeugen abgerufen werden können. Wenn ein Fahrer über sein Navigationssystem nach Routen zu einem bestimmten Fahrziel sucht, lädt das Navigationssystem über ein Funkmodul extrahierte Bilder, Videoclips und Bewertungssignale herunter, vorzugsweise passend zur aktuellen Tages- und Jahreszeit. Das Navigationssystem 21 an Bord des Kraftfahrzeugs stellt dann Informationen grafisch dar.In the same way, for example, another neural network should be trained with regard to image quality. All video recordings should also be evaluated with it, resulting in an
Insgesamt zeigt das Beispiel, wie durch die Erfindung ein Verfahren zur automatischen Routenbewegung und Erstellung einer Routenvorschau bereitgestellt werden kann.Overall, the example shows how the invention can provide a method for automatic route movement and creation of a route preview.
Claims (7)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102015007145.9A DE102015007145B4 (en) | 2015-06-03 | 2015-06-03 | Procedure for automatic route evaluation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102015007145.9A DE102015007145B4 (en) | 2015-06-03 | 2015-06-03 | Procedure for automatic route evaluation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102015007145A1 DE102015007145A1 (en) | 2016-12-08 |
| DE102015007145B4 true DE102015007145B4 (en) | 2025-04-24 |
Family
ID=57352606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102015007145.9A Active DE102015007145B4 (en) | 2015-06-03 | 2015-06-03 | Procedure for automatic route evaluation |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102015007145B4 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017215718B4 (en) | 2017-09-07 | 2019-06-13 | Audi Ag | Method for evaluating an optical appearance in a vehicle environment and vehicle |
| DE102023003248A1 (en) | 2023-08-05 | 2024-04-18 | Mercedes-Benz Group AG | Method for improving the attractiveness of a route suggested by a navigation system of a vehicle |
| DE102023132230A1 (en) * | 2023-11-20 | 2025-05-22 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Procedure and system for route planning taking into account an event category |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CH176381A (en) | 1934-11-01 | 1935-04-15 | Hallwag A G Hallersche Buchdru | Map with landmarks for scenic beauties. |
| DE10005780A1 (en) | 2000-02-10 | 2001-08-16 | Bosch Gmbh Robert | Route planning method for navigation system, involves setting the determined routes as high priority based on at least one evaluation criterion |
| DE102007037329A1 (en) | 2006-08-18 | 2008-02-21 | Volkswagen Ag | Optimal driving strategy determining method for motor vehicle, involves optimizing driving strategy depending on two parameters that include route desireability for passenger of vehicle, travel time, comfort, operation cost and safety |
| DE102009005259A1 (en) | 2009-01-20 | 2010-07-22 | Bayerische Motoren Werke Aktiengesellschaft | Computer-aided method for multi-criteria optimization of route of motor vehicle, involves calculating target based on weights when user inputs release command, and outputting information about calculated target to user over output unit |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060271286A1 (en) | 2005-05-27 | 2006-11-30 | Outland Research, Llc | Image-enhanced vehicle navigation systems and methods |
| US8019536B2 (en) | 2007-12-28 | 2011-09-13 | At&T Intellectual Property I, L.P. | Methods, devices, and computer program products for geo-tagged photographic image augmented GPS navigation |
| DE112013004890B4 (en) | 2012-10-03 | 2018-08-09 | Denso Corporation | Car navigation system |
-
2015
- 2015-06-03 DE DE102015007145.9A patent/DE102015007145B4/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CH176381A (en) | 1934-11-01 | 1935-04-15 | Hallwag A G Hallersche Buchdru | Map with landmarks for scenic beauties. |
| DE10005780A1 (en) | 2000-02-10 | 2001-08-16 | Bosch Gmbh Robert | Route planning method for navigation system, involves setting the determined routes as high priority based on at least one evaluation criterion |
| DE102007037329A1 (en) | 2006-08-18 | 2008-02-21 | Volkswagen Ag | Optimal driving strategy determining method for motor vehicle, involves optimizing driving strategy depending on two parameters that include route desireability for passenger of vehicle, travel time, comfort, operation cost and safety |
| DE102009005259A1 (en) | 2009-01-20 | 2010-07-22 | Bayerische Motoren Werke Aktiengesellschaft | Computer-aided method for multi-criteria optimization of route of motor vehicle, involves calculating target based on weights when user inputs release command, and outputting information about calculated target to user over output unit |
Non-Patent Citations (3)
| Title |
|---|
| Elias B.: Extraktion von Landmarken für die Navigation. In: Dissertation, 2006, 1 - 153. https://core.ac.uk/download/pdf/237445797.pdf [abgerufen am 03.08.2022] |
| Farabet C., Couprie C., Najman L., Lecun Y.: Learning Hierarchical Features for Scene Labeling. In: IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 1915-1929. https://www.researchgate.net/publication/240308781_Learning_Hierarchical_Features_for_Scene_Labeling [abgerufen am 03.08.2022] |
| Zheng Y.-T., Yan S., Zha Z.-J., Li Y., Zhou X., Chua T.-S., Jain R.: GPSView: A Scenic Driving Route Planner. In: ACM Trans. Multimedia Computing, Communications and Applications, 9, 2013, 1, 1-18. https://dl.acm.org/doi/pdf/10.1145/2422956.2422959 [abgerufen am 03.08.2022] |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102015007145A1 (en) | 2016-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102011086512B4 (en) | fog detection | |
| DE102013205950B4 (en) | Roadside detection method | |
| DE102016119698B4 (en) | Vehicle control system | |
| DE102012201724B4 (en) | TRAFFIC SIGN RECOGNITION DEVICE | |
| DE102016211182A1 (en) | A method, apparatus and system for performing automated driving of a vehicle along a trajectory provided from a map | |
| DE102017100198A1 (en) | FIXING GENERATION FOR MACHINE LEARNING | |
| DE102018201054A1 (en) | System and method for image representation by a driver assistance module of a vehicle | |
| DE102018101366A1 (en) | VEHICLES IN BAD LIGHT RATIO | |
| DE102016203723A1 (en) | Method and system for determining the pose of a vehicle | |
| DE102011055458A1 (en) | Adaptation technology for the detection of a free lane by means of reliable local model calibration | |
| DE102013205854B4 (en) | Method for detecting a free path using temporary coherence | |
| DE102012112104A1 (en) | PROCESS AND DEVICE FOR PROCESSABILITY ANALYSIS | |
| DE102015203016A1 (en) | Method and device for optical self-localization of a motor vehicle in an environment | |
| DE102016210534A1 (en) | Method for classifying an environment of a vehicle | |
| DE102018116036A1 (en) | Training a deep convolutional neural network for individual routes | |
| DE102018111935A1 (en) | Image processing system, image processing method, information processing apparatus and recording medium | |
| DE112015003263T5 (en) | image modification | |
| DE102016114693A1 (en) | A method for assisting a driver of a motor vehicle when driving the motor vehicle, driver assistance system and motor vehicle | |
| DE102018213268A1 (en) | METHOD FOR APPLICATION IN A VEHICLE | |
| EP2813999B1 (en) | Augmented reality system and method of generating and displaying augmented reality object representations for a vehicle | |
| WO2019057252A1 (en) | METHOD AND DEVICE FOR DETECTING LICENSES, DRIVER ASSISTANCE SYSTEM AND VEHICLE | |
| DE102018100909A1 (en) | Method of reconstructing images of a scene taken by a multifocal camera system | |
| DE102017209370B4 (en) | Method for determining overtaking information | |
| DE102015007145B4 (en) | Procedure for automatic route evaluation | |
| EP2996327B1 (en) | Surround view system for vehicles with attachments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009620000 Ipc: G06V0030190000 |
|
| R082 | Change of representative |
Representative=s name: HOFSTETTER, SCHURACK & PARTNER - PATENT- UND R, DE |
|
| R002 | Refusal decision in examination/registration proceedings | ||
| R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06V0030190000 Ipc: G06V0020560000 |
|
| R006 | Appeal filed | ||
| R008 | Case pending at federal patent court | ||
| R019 | Grant decision by federal patent court |