DE102024003512A1

DE102024003512A1 - Method for detecting objects on the outer skin of a vehicle and vehicle

Info

Publication number: DE102024003512A1
Application number: DE102024003512.5A
Authority: DE
Inventors: Felix Beyer; Christopher Pangerl; Patrick Scheppe; Florian Frey; Georg Layher
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2024-10-25
Filing date: 2024-10-25
Publication date: 2025-10-16

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion von Objekten (1) auf der Außenhaut (2) eines Fahrzeugs (3), wobei von einer die Umgebung des Fahrzeugs (3) zumindest durch Scheiben des Fahrzeugs (3) erfassenden Innenraumkamera erzeugte Kamerabilder (4) von einer fahrzeuginternen Recheneinheit verarbeitet werden. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass die Recheneinheit wenigstens ein Referenzbild (5) vorhält, darstellend den Sichtbereich der Innenraumkamera ohne Objekte (1) auf der Außenhaut (2) des Fahrzeugs (3), die Recheneinheit zumindest zu einem festgelegten Zeitpunkt ein von der Innenraumkamera erzeugtes Kamerabild (4) mit dem Referenzbild (5) vergleicht und die Ausgabe eines Detektionssignals an ein nachgelagertes Assistenzsystem ausgibt, wenn durch Differenzbildung zwischen dem Referenzbild (5) und dem Kamerabild (4) die Anwesenheit eines Objekts (1) in einem mit der Umgebung korrelierenden Bildbereich des Kamerabilds (4) festgestellt wird. The invention relates to a method for detecting objects (1) on the outer skin (2) of a vehicle (3), wherein camera images (4) generated by an interior camera capturing the surroundings of the vehicle (3) at least through windows of the vehicle (3) are processed by an in-vehicle computing unit. The method according to the invention is characterized in that the computing unit maintains at least one reference image (5) representing the field of view of the interior camera without objects (1) on the outer skin (2) of the vehicle (3), the computing unit compares a camera image (4) generated by the interior camera with the reference image (5) at least at a predetermined time, and outputs a detection signal to a downstream assistance system if the presence of an object (1) in an image region of the camera image (4) that correlates with the surroundings is determined by calculating the difference between the reference image (5) and the camera image (4).

Description

Die Erfindung betrifft ein Verfahren zur Detektion von Objekten auf der Außenhaut eines Fahrzeugs nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug zur Durchführung des Verfahrens.The invention relates to a method for detecting objects on the outer skin of a vehicle according to the type defined in the preamble of claim 1 and to a vehicle for carrying out the method.

Moderne Fahrzeuge verfügen über die unterschiedlichsten Umgebungssensoren, die eine Erfassung und Erkennung von Umgebungsobjekten im Umfeld des Fahrzeugs erlauben. Hierzu zählen beispielsweise Kamerasysteme, LiDARe, Ultraschallsensoren, Radarsensoren und dergleichen. Der Umgebungserfassung nachgelagerte Assistenzsysteme können die von den Sensoren gelieferten Sensordaten, bzw. daraus abgeleitete Informationen, zur Bereitstellung weiterer Funktionen nutzen. Beispielsweise kann die fahrzeugführende Person mit Hilfe eines Totwinkelassistenten über sich im toten Winkel aufhaltende Fahrzeuge hingewiesen werden. Mittels eines adaptiven Abstandsregeltempomaten kann ein vorgegebener Abstand zu einem vorausfahrenden Fahrzeug automatisiert gehalten werden. Zudem kann automatisiert ein Spurwechsel eingeleitet werden, ein Notbremsmanöver ausgeführt werden und dergleichen.Modern vehicles are equipped with a wide variety of environmental sensors that allow the detection and recognition of objects in the vehicle's vicinity. These include camera systems, LiDARes, ultrasonic sensors, radar sensors, and the like. Assistance systems downstream of environmental detection can use the sensor data provided by the sensors, or information derived from it, to provide additional functions. For example, a blind spot assistant can alert the driver of vehicles in the blind spot. Adaptive cruise control can automatically maintain a specified distance from a vehicle ahead. Furthermore, a lane change can be initiated automatically, an emergency braking maneuver can be performed, and so on.

Typischerweise wird das Umfeld des Fahrzeugs auf die Existenz von Objekten hin untersucht. Es ist jedoch auch denkbar, dass sich Personen oder Tiere auf dem Fahrzeug aufhalten, beispielsweise auf der Motorhaube, dem Dach oder dem Heckdeckel, oder Gegenstände dort abgelegt oder angebracht werden. Insbesondere beim Anfahren und Beschleunigen bzw. Bremsen können Lebewesen und Gegenstände vom Fahrzeug herunterrutschen oder -rollen und sich verletzen oder beschädigt werden. Dies gilt es zu vermeiden.Typically, the vehicle's surroundings are scanned for the presence of objects. However, it is also conceivable that people or animals are on the vehicle, for example, on the hood, roof, or trunk lid, or that objects are placed or attached there. Particularly when starting, accelerating, or braking, living beings and objects can slide or roll off the vehicle and be injured or damaged. This must be avoided.

Dieser Sachverhalt ist insbesondere für das automatisierte oder auch autonome Fahren relevant, da hier gegebenenfalls keine Person anwesend ist, die eine vorausgehende Anwesenheitskontrolle für Objekte durchführen kann. Zudem steigt das Risiko, dass eine das Fahrzeug nutzende Person besagte Objekte übersieht, wenn die Person zu sehr auf die automatisierten Fähigkeiten des Fahrzeugs vertraut. Ebenfalls besteht das Risiko, dass Dritte eine kostenlose Fahrt auf der Außenhaut eines entsprechend autonom gesteuerten Fahrzeugs in Anspruch nehmen, wie beispielsweise beim sogenannten S-Bahn-Surfen.This issue is particularly relevant for automated or autonomous driving, as there may not be a person present to conduct a preliminary check for objects. Furthermore, the risk that a person using the vehicle will overlook said objects increases if they rely too heavily on the vehicle's automated capabilities. There is also the risk that third parties will take advantage of a free ride on the outer skin of an autonomously controlled vehicle, such as in the case of so-called S-Bahn surfing.

Auch kann es passieren, dass ein Fahrzeugnutzer Gepäck wie Einkäufe, eine Handtasche oder dergleichen beim Einsteigen auf dem Fahrzeugdach ablegt und vergisst. Startet nun die fahrzeugführende Person die Fahrt, so kann das entsprechende Gepäckstück verlorengehen. Zudem kann die fahrzeugführende Person vergessen, dass Dachaufbauten wie ein Fahrradträger oder dergleichen am Fahrzeug montiert wurden. Fährt die fahrzeugführende Person dann beispielsweise in eine Tiefgarage mit einer geringen Durchfahrtshöhe ein, so kann es zu einer Kollision kommen.It can also happen that a vehicle user places luggage such as shopping, a handbag, or the like on the roof of the vehicle when getting in and forgets it. If the driver then starts driving, the luggage in question can be lost. Furthermore, the driver may forget that roof attachments such as a bike rack or the like are mounted on the vehicle. If the driver then enters an underground parking garage with a low clearance, for example, a collision can occur.

Um dem entgegenzuwirken, offenbart die DE 10 2017 113 186 A1 die Objekterkennung auf Fahrzeugaußenoberflächen. Die Druckschrift beschreibt ein Fahrzeug, welches mittels einer geeigneten Sensorik dazu in der Lage ist, auf der Außenhaut des Fahrzeugs befindliche Objekte wie Gegenstände oder Personen zu erkennen. Werden entsprechende Objekte erkannt, insbesondere länger als eine festgelegte Zeitdauer, kann ein autonomer Fahrbetriebsmodus des Fahrzeugs eingeschränkt werden. Hierdurch lässt sich das S-Bahn-Surfen im Kontext von autonom fahrenden Pkw's verhindern. Als Erfassungsmittel können dabei Kameras verwendet werden. Diese Kameras können außen oder auch im Innenraum des Fahrzeugs angeordnet sein. Neben dem Einschränken besagter autonomer Fahrfunktionen können über eine geeignete Kommunikationsschnittstelle auch Hinweisnachrichten an relevante Akteure, wie eine Polizeidienststelle, vermittelt werden.To counteract this, the DE 10 2017 113 186 A1 Object detection on vehicle exterior surfaces. This document describes a vehicle that, using suitable sensors, is capable of detecting objects such as objects or people on the vehicle's exterior skin. If such objects are detected, especially for longer than a specified period of time, the vehicle's autonomous driving mode can be restricted. This can prevent S-Bahn surfing in the context of autonomously driving cars. Cameras can be used as detection devices. These cameras can be located outside or inside the vehicle. In addition to restricting said autonomous driving functions, alerts can also be transmitted to relevant parties, such as a police station, via a suitable communication interface.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zur Detektion von Objekten auf der Außenhaut eines Fahrzeugs anzugeben, welches bei einem geringen technischen Aufwand eine zuverlässige Detektion entsprechender Objekte erlaubt.The present invention is based on the object of providing an improved method for detecting objects on the outer skin of a vehicle, which allows reliable detection of corresponding objects with little technical effort.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Detektion von Objekten auf der Außenhaut eines Fahrzeugs mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug zur Durchführung des Verfahrens ergeben sich aus den hiervon abhängigen Ansprüchen.According to the invention, this object is achieved by a method for detecting objects on the outer skin of a vehicle having the features of claim 1. Advantageous embodiments and further developments as well as a vehicle for carrying out the method emerge from the dependent claims.

Ein gattungsgemäßes Verfahren zur Detektion von Objekten auf der Außenhaut eines Fahrzeugs, wobei von einer die Umgebung des Fahrzeugs zumindest durch Scheiben des Fahrzeugs erfassenden Innenraumkamera erzeugte Kamerabilder von einer fahrzeuginternen Recheneinheit verarbeitet werden, wird erfindungsgemäß dadurch weitergebildet, dass die Recheneinheit wenigstens ein Referenzbild vorhält, darstellend den Sichtbereich der Innenraumkamera ohne Objekte auf der Außenhaut des Fahrzeugs, die Recheneinheit zumindest zu einem festgelegten Zeitpunkt ein von der Innenraumkamera aktuell erzeugtes Kamerabild mit dem Referenzbild vergleicht und die Ausgabe eines Detektionssignals an ein nachgelagertes Assistenzsystem ausgibt, wenn durch Differenzbildung zwischen dem Referenzbild und dem Kamerabild die Anwesenheit eines Objekts in einem mit der Umgebung korrelierenden Bildbereich des Kamerabilds festgestellt wird.A generic method for detecting objects on the outer skin of a vehicle, wherein camera images generated by an interior camera capturing the surroundings of the vehicle at least through windows of the vehicle are processed by a vehicle-internal computing unit, is further developed according to the invention in that the computing unit maintains at least one reference image representing the field of view of the interior camera without objects on the outer skin of the vehicle, the computing unit compares a camera image currently generated by the interior camera with the reference image at least at a specified time and outputs a detection signal to a downstream assistance system if by forming the difference between the reference image and the camera image the The presence of an object is detected in an area of the camera image that correlates with the surroundings.

Die Objekterkennung, also das Detektieren von Lebewesen und/oder Gegenständen auf der Außenhaut des Fahrzeugs, basiert im Zuge des erfindungsgemäßen Verfahrens somit auf der Differenzbildung zwischen Kamerabildern. Dies erlaubt aufgrund des geringen technischen Aufwands eine effiziente und schnelle Bilderkennung und erlaubt es gleichzeitig Objekte zuverlässig zu erkennen.Object recognition, i.e., the detection of living beings and/or objects on the vehicle's outer skin, is based on the method according to the invention by calculating the difference between camera images. Due to the minimal technical complexity, this allows for efficient and fast image recognition while simultaneously reliably detecting objects.

Die zur Erzeugung der Kamerabilder verwendete Innenraumkamera ist dabei so angeordnet, dass der Erfassungsbereich Teile der Umgebung des Fahrzeugs umfasst. Hierzu kann die Innenraumkamera die Umgebung beispielsweise durch die Scheiben des Fahrzeugs erfassen. Bei dem Fahrzeug kann es sich auch um ein Cabrio handeln. Beispielsweise kann die Innenraumkamera in das Armaturenbrett des Fahrzeugs eingelassen sein und somit bei heruntergefahrenem Dach einen Blick auf das Heck des Fahrzeugs aufweisen, sodass beispielsweise auf dem Kofferraumdeckel liegende Objekte erkannt werden können. Bei einem Coupe kann der entsprechende Bereich durch die Heckscheibe erfassbar sein.The interior camera used to generate the camera images is positioned so that the detection area includes parts of the vehicle's surroundings. For this purpose, the interior camera can, for example, capture the surroundings through the vehicle's windows. The vehicle can also be a convertible. For example, the interior camera can be embedded in the vehicle's dashboard and thus, when the roof is lowered, provide a view of the rear of the vehicle, allowing objects lying on the trunk lid, for example, to be detected. In a coupe, the corresponding area can be captured through the rear window.

In der Recheneinheit wird zumindest ein Referenzbild vorgehalten. Bevorzugt können jedoch auch mehrere Referenzbilder vorgehalten werden, die beispielsweise zu verschiedenen äußeren Randbedingungen aufgenommen wurden, wie zu unterschiedlichen Lichtverhältnisse, Witterungsverhältnissen oder an verschiedenen Orten. Beispielsweise können aktuelle Lichtverhältnisse bei der Aufnahme des Kamerabilds ermittelt werden und das jeweils passende Referenzbild zur Differenzbildung herangezogen werden. Dies erlaubt eine besonders zuverlässige Objekterkennung. Entsprechende Referenzbilder und/oder aktuelle Kamerabilder können zudem eine Bildbearbeitung widerfahren, beispielsweise zur Verbesserung eines Kontrasts oder dergleichen. Zudem können mehrere Referenzbilder miteinander verarbeitet werden, beispielsweise durch eine Mittelwertbildung oder das „Verschmieren“. So lässt sich beispielsweise der nachteilige Effekt von Reflektionen in einem der Referenzbilder durch das Berücksichtigen des Bildinhalts weiterer Referenzbilder abschwächen.At least one reference image is stored in the computing unit. Preferably, however, several reference images can also be stored, which may have been recorded under different external conditions, such as different lighting conditions, weather conditions, or at different locations. For example, current lighting conditions can be determined when the camera image is recorded, and the appropriate reference image can be used to calculate the difference. This allows particularly reliable object recognition. Corresponding reference images and/or current camera images can also be subjected to image processing, for example to improve contrast or the like. In addition, several reference images can be processed together, for example by averaging or "smearing". In this way, for example, the adverse effect of reflections in one of the reference images can be mitigated by taking into account the image content of additional reference images.

Insbesondere können Referenzbilder zu verschiedenen Fahrzeugzuständen aufgenommen werden, wie eine Situation, in der verschiedene Dachaufbauten auf dem Fahrzeug angebracht wurden wie Gepäckträger, eine Dachtransportbox, ein Gepäckstück, ein Fahrradträger oder dergleichen. Dies erlaubt es, die Ausgabe des Detektionssignals zu unterbinden, wenn sich die fahrzeugführende Person ohnehin über die Anbringung jeweiliger Dachaufbauten im Klaren ist.In particular, reference images can be captured for various vehicle states, such as a situation in which various roof attachments have been mounted on the vehicle, such as a luggage rack, a roof box, a piece of luggage, a bicycle rack, or the like. This allows the detection signal to be suppressed if the driver is already aware of the attachment of the respective roof attachments.

Die entsprechende Objektdetektion wird dabei zumindest zu einem festgelegten Zeitpunkt durchgeführt. Dieser Zeitpunkt kann ereignisgesteuert gewählt werden, beispielsweise beim Betreten des Fahrzeugs, Starten des Motors, beim Anfahren, beim Halten oder dergleichen. Die Objektdetektion kann auch während der Nutzung des Fahrzeugs mehrmals ausgeführt werden, beispielsweise nach einem festgelegten Zeitintervall wie jede Minute. Auch ist es denkbar, die Objektdetektion fortwährend auszuführen bzw. kontinuierlich. Während der Fahrt bewegt sich die Umgebung relativ zum Fahrzeug. So können auch Referenzbilder während der Fahrt aufgenommen werden, wobei dann sich nicht verändernde Bildabschnitte ein Hinweis auf die Anwesenheit eines Objekts auf der Außenhaut sind. Auch ist es denkbar, die Objektdetektion während der Nichtbenutzung des Fahrzeugs auszuführen, während das Fahrzeug also abgestellt ist bzw. parkt. In diesem Falle sind sich verändernde Bildabschnitte ein Hinweis auf die Anwesenheit eines Objekts. Beispielsweise kann so das Detektionssignal ausgegeben werden, wenn eine Katze oder ein Marder über das Fahrzeug läuft.The corresponding object detection is carried out at least at a specified time. This time can be selected based on an event, for example when entering the vehicle, starting the engine, moving off, stopping, or the like. Object detection can also be carried out multiple times while the vehicle is in use, for example at a specified time interval such as every minute. It is also conceivable to carry out object detection continuously or continuously. While driving, the environment moves relative to the vehicle. In this way, reference images can also be recorded while driving, with unchanging image sections indicating the presence of an object on the outer skin. It is also conceivable to carry out object detection while the vehicle is not in use, i.e. while the vehicle is parked. In this case, changing image sections indicate the presence of an object. For example, the detection signal can be issued if a cat or marten walks over the vehicle.

Um zu gewährleisten, dass bei Aufnahme des Referenzbilds tatsächlich kein Objekt auf der Außenhaut anwesend ist, kann der Fahrzeugnutzer bei Bildaufnahme proaktiv abgefragt werden, ob dies tatsächlich der Fall ist. Auch kann der Fahrzeugnutzer das Referenzbild manuell aufnehmen.To ensure that no object is actually present on the outer skin when the reference image is taken, the vehicle user can be proactively asked whether this is actually the case. The vehicle user can also take the reference image manually.

Eine vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens sieht dabei vor, dass zumindest ein Referenzbild beim Abstellen des Fahrzeugs aufgenommen und zumindest temporär in der Recheneinheit vorgehalten wird, welches bei der erneuten Benutzung des Fahrzeugs mit dem dann aufgenommenen Kamerabild verglichen wird. Generell ist es denkbar jeweilige Referenzbilder einmalig aufzunehmen und für die Differenzbildung heranzuziehen. Bevorzugt werden jedoch aktuelle Referenzbilder verwendet, die insbesondere jedes Mal beim Abstellen des Fahrzeugs automatisch neu aufgenommen werden. Hierdurch lässt sich der jeweils aktuelle Zustand des Fahrzeugs sowie der Umgebung zur Differenzbildung berücksichtigen. Beim Abstellen des Fahrzeugs meint in diesem Zusammenhang insbesondere das Halten, Parken, Deaktivieren der Zündung bzw. der Bordelektronik, das Schließen der Fahrzeugtüren, das Verriegeln der Fahrzeugtüren und dergleichen. Beispielsweise wird ein Referenzbild automatisch aufgenommen, wenn das Fahrzeug einen Türverriegelungsbefehl empfängt. Die zur Differenzbildung zu verwendenden Kamerabilder werden bei der nächsten Nutzung des Fahrzeugs erzeugt. Dies meint insbesondere das Entriegeln der Fahrzeugtüren, öffnen der Fahrzeugtüren, Starten der Bordelektronik bzw. Zündung, das Anfahren und dergleichen.An advantageous development of the method according to the invention provides that at least one reference image is recorded when the vehicle is parked and stored at least temporarily in the computing unit, which is compared with the camera image recorded when the vehicle is used again. In general, it is conceivable to record respective reference images once and use them to calculate the difference. However, current reference images are preferably used, which are automatically recorded each time the vehicle is parked. This allows the current state of the vehicle and the surroundings to be taken into account for the difference calculation. In this context, parking the vehicle means, in particular, stopping, parking, deactivating the ignition or the on-board electronics, closing the vehicle doors, locking the vehicle doors, and the like. For example, a reference image is automatically recorded when the vehicle receives a door locking command. The camera images to be used to calculate the difference are generated the next time the vehicle is used. This means, in particular, unlocking the vehicle doors, opening the vehicle doors, starting the on-board electronics or ignition, starting off and the like.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist es ferner vorgesehen, dass die mit der Umgebung korrelierenden Bildbereiche aus dem Kamerabild und dem Referenzbild ausgeschnitten werden und nur die ausgeschnittenen Bildbereiche miteinander verglichen werden. Hierdurch lässt sich der technische Aufwand zur Durchführung des erfindungsgemäßen Verfahrens weiter reduzieren. So müssen kleinere Bildbereiche und damit weniger Daten verarbeitet werden, was eine noch schnellere Objekterkennung erlaubt. Zudem lassen sich die Anforderungen an das Leistungsvermögen der zugrunde liegenden Hardware senken.According to a further advantageous embodiment of the method according to the invention, it is further provided that the image regions correlating with the surroundings are cut out of the camera image and the reference image, and only the cut-out image regions are compared with each other. This further reduces the technical complexity required to implement the method according to the invention. Smaller image regions and thus less data need to be processed, allowing for even faster object recognition. Furthermore, the performance requirements of the underlying hardware can be reduced.

Ferner wird das Risiko gesenkt, dass sich Änderungen der Struktur im Fahrzeuginnenraum, bspw. das Einbringen oder Entfernen von Gegenständen, auf die Objektdetektion auswirken. Durch das Beschränken der auszuwertenden Bildbereiche auf diejenigen Bildausschnitte, die die Umgebung zeigen, lassen sich so Fehldetektionen vermeiden. Beispielsweise können Gegenstände in den Fahrzeuginnenraum gelegt oder positioniert werden wie Gepäck, Kindersitze und dergleichen. Auch könnten sich Fahrzeuginsassen im Fahrzeuginnenraum bewegen, sodass eine unerwünschte Differenz zwischen jeweiligen Referenzbildern und Kamerabildern entstehen könnte. Werden jedoch nur diejenigen Bildbereiche berücksichtigt, die mit der Umgebung zusammenfallen, so wird das Risiko gesenkt, dass entsprechende im Fahrzeuginnenraum anwesende Objekte zu einer Detektion führen können.Furthermore, the risk that structural changes in the vehicle interior, such as the addition or removal of objects, will affect object detection is reduced. By limiting the image areas to be evaluated to those sections of the image that show the surroundings, false detections can be avoided. For example, objects such as luggage, child seats, and the like may be placed or positioned in the vehicle interior. Vehicle occupants could also move within the vehicle interior, which could result in an undesirable discrepancy between the respective reference images and the camera images. However, by only considering those image areas that coincide with the surroundings, the risk that corresponding objects present in the vehicle interior could lead to detection is reduced.

Bevorzugt zeigt dabei zumindest ein ausgeschnittener Bildbereich zumindest abschnittsweise den Blick der Innenraumkamera durch ein Seitenfenster, Dachfenster, die Heckscheibe und/oder die Frontscheibe des Fahrzeugs. Je nach Anordnungsposition und Ausrichtung der Innenraumkamera können entsprechende Bereiche der jeweiligen Fenster bzw. Scheiben ersichtlich sein. Ist die Innenraumkamera beispielsweise in das Armaturenbrett integriert und auf das Fahrzeugheck ausgerichtet, kann ein Blick durch die Seitenfenster, ein etwaiges Dachfenster sowie die Heckscheibe möglich sein. Eine Innenraumkamera könnte auch an einer sonstigen Stelle im Innenraum angeordnet sein, beispielsweise integriert in den Dachhimmel, den Rückspiegel, eine Kopfstütze, die A-, B- oder C-Säule und dergleichen. Es ist auch denkbar eine in Fahrzeugquerrichtung oder zur Fahrzeugfront hin ausgerichtete Innenraumkamera zur Erzeugung jeweiliger Referenzbilder und Kamerabilder zu verwenden. Insbesondere können die Kamerabilder mehrerer Innenraumkameras verarbeitet werden, um Objekte auf verschiedenen Außenhautbereichen zu erkennen. Dabei wird von jeder Innenraumkamera ein eigenes Referenzbild aufgenommen.Preferably, at least one cut-out image area shows, at least in part, the view of the interior camera through a side window, roof window, rear window, and/or windshield of the vehicle. Depending on the position and orientation of the interior camera, corresponding areas of the respective windows or windows can be visible. If, for example, the interior camera is integrated into the dashboard and aimed at the rear of the vehicle, a view through the side windows, any roof window, and the rear window may be possible. An interior camera could also be arranged at another location in the interior, for example, integrated into the roof lining, the rearview mirror, a headrest, the A-, B-, or C-pillar, and the like. It is also conceivable to use an interior camera aimed transversely or towards the front of the vehicle to generate respective reference images and camera images. In particular, the camera images from multiple interior cameras can be processed to detect objects on different outer skin areas. Each interior camera records its own reference image.

Entsprechend einer weiteren vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens ist es ferner vorgesehen, dass im Zuge der Differenzbildung ein Ähnlichkeitsmaß gebildet wird und das Detektionssignal ausgegeben wird, wenn das Ähnlichkeitsmaß über ein festgelegtes Toleranzmaß von einem festgelegten Ähnlichkeitsschwellwert abweicht. Hierdurch lässt sich die Zuverlässigkeit der Objektdetektion noch weiter steigern und das Risiko für Fehldetektionen noch weiter senken. Über das Anpassen des festgelegten Ähnlichkeitsschwellwerts lässt sich zudem die Detektionsschwelle anpassen. Situationsbedingt können unterschiedliche Ähnlichkeitsschwellwerte verwendet werden, wie beispielsweise in Abhängigkeit der Lichtverhältnisse in der Umgebung und/oder im Fahrzeuginnenraum. Es kommen dabei verschiedene Methoden zur Bildung des Ähnlichkeitsmaßes in Frage. Besonders bevorzugt wird als Ähnlichkeitsmaß der Index struktureller Ähnlichkeit verwendet, auch als Structural Similarity (SSIM) bezeichnet.According to a further advantageous embodiment of the method according to the invention, it is further provided that a similarity measure is formed during the difference formation and the detection signal is output if the similarity measure deviates from a specified similarity threshold by more than a specified tolerance level. This allows the reliability of object detection to be further increased and the risk of false detections to be further reduced. The detection threshold can also be adjusted by adjusting the specified similarity threshold. Different similarity thresholds can be used depending on the situation, for example depending on the lighting conditions in the environment and/or in the vehicle interior. Various methods for forming the similarity measure are possible. The structural similarity index, also known as structural similarity (SSIM), is particularly preferably used as the similarity measure.

Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass, wenn die Anwesenheit eines Objekts erkannt wird, zumindest der das Objekt enthaltende Bildbereich des Kamerabilds einem Algorithmus des maschinellen Sehens zugeführt wird, insbesondere basierend auf künstlicher Intelligenz, welcher das Objekt klassifiziert. Dies kann dazu genutzt werden etwaige Objektdetektionen zu plausibilisieren.A further advantageous embodiment of the method according to the invention further provides that, when the presence of an object is detected, at least the image area of the camera image containing the object is fed to a machine vision algorithm, in particular based on artificial intelligence, which classifies the object. This can be used to verify the plausibility of any object detections.

Es wird die Objektklassifizierung basierend auf dem maschinellen Sehen erst dann ausgeführt, wenn durch die Differenzbildung bereits eine generelle Objektdetektion erfolgt ist. Hierdurch wird das unnötige Ausführen der Objektklassifizierung verhindert, sodass Rechenressourcen eingespart werden bzw. für andere Aufgaben zur Verfügung stehen. Eine entsprechende Klassifikationsinformation kann zudem für weitere Funktionen genutzt werden. So kann beispielsweise zwischen einem Gepäckstück wie einer Tasche, einem Koffer, einem Fahrrad oder auch Lebewesen wie Katzen, Mardern, Menschen und dergleichen unterschieden werden. Je nachdem, welches Objekt erkannt wird, können verschiedene Folgereaktionen ausgelöst werden. Wird beispielsweise die Anwesenheit eines Dachgepäckträgers auf der Außenhaut des Fahrzeugs erkannt, so könnte keine Folgereaktionen erfolgen. Wird hingegen die Anwesenheit eines Dachgepäckträgers und einer Handtasche erkannt, so könnte eine Folgereaktion eingeleitet werden.Object classification based on machine vision is only carried out once general object detection has already been achieved through difference formation. This prevents the unnecessary execution of object classification, thus saving computing resources or making them available for other tasks. Corresponding classification information can also be used for other functions. For example, a distinction can be made between a piece of luggage such as a bag, a suitcase, a bicycle, or even living beings such as cats, martens, people, and the like. Depending on which object is detected, different follow-up reactions can be triggered. For example, if the presence of a roof rack on the outer skin of the vehicle is detected, no follow-up reactions could take place. If, on the other hand, the presence of a roof rack and a handbag are detected, a follow-up reaction could be initiated.

Es können dabei alle gängigen Algorithmen des maschinellen Sehens eingesetzt werden, wobei diese bevorzugt auf künstlicher Intelligenz basieren. Beispielsweise kann ein künstliches neuronales Netz zur Verarbeitung entsprechender Bildinhalte verwendet werden. Dabei kann es sich besonders bevorzugt um ein sogenanntes Convolutional Neural Network (CNN) handeln.All common algorithms of machine vision can be used, whereby These are preferably based on artificial intelligence. For example, an artificial neural network can be used to process corresponding image content. This can particularly preferably be a so-called convolutional neural network (CNN).

Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist es ferner vorgesehen, dass das Assistenzsystem als Reaktion auf das Detektionssignal das Anfahren des Fahrzeugs oder einen zumindest teilautomatisierten Betriebsmodus für das Fahrzeug sperrt. Somit wird die Nutzungsfähigkeit des Fahrzeugs eingeschränkt, insbesondere wird das Anfahren verhindert. Hierdurch wird das Herabrutschen oder Herabrollen entsprechender Objekte vom Fahrzeug vermieden. Zudem können geeignete Maßnahmen getroffen werden, um das Objekt rechtzeitig von der Außenhaut des Fahrzeugs zu entfernen. Durch das Sperren des Anfahrens lässt sich somit auch bei einer manuellen Nutzung des Fahrzeugs das Entstehen von Unfällen oder Verlieren von Ladung verhindern. Das Fahrzeug kann auch automatisiert bzw. autonom anfahren. Entsprechend lässt sich auch das autonome Anfahren verhindern.According to a further advantageous embodiment of the method according to the invention, it is further provided that the assistance system, in response to the detection signal, blocks the vehicle from starting or an at least partially automated operating mode for the vehicle. This limits the usability of the vehicle, in particular, starting is prevented. This prevents corresponding objects from sliding or rolling off the vehicle. In addition, suitable measures can be taken to remove the object from the outer skin of the vehicle in good time. By blocking starting, the occurrence of accidents or loss of cargo can be prevented even when the vehicle is used manually. The vehicle can also start automatically or autonomously. Accordingly, autonomous starting can also be prevented.

Gemäß einer Ausführungsform kann auch wenn die Anwesenheit eines Objekts erkannt wird, die Objektdetektion weiter ausgeführt werden, um auch das Entfernern des Objekts von der Außenhaut erkennen zu können. Sobald dies der Fall ist, wird das Detektionssignal von der Recheneinheit nicht mehr ausgegeben. In einem solchen Fall kann dann das Anfahren des Fahrzeugs bzw. der zumindest teilautomatisierte Betriebsmodus wieder freigegeben werden.According to one embodiment, even if the presence of an object is detected, object detection can continue to be performed in order to also detect the object's removal from the outer skin. As soon as this occurs, the detection signal is no longer output by the computing unit. In such a case, the vehicle can then be enabled to start moving or the at least partially automated operating mode can be enabled again.

Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass das Assistenzsystem als Reaktion auf das Detektionssignal die Ausgabe einer Hinweisnachricht an einen Nutzer bewirkt. Dies ermöglicht es den Nutzer auf die Anwesenheit des Objekts auf der Außenhaut aufmerksam zu machen. Hierzu können verschiedene Ausgabemodalitäten genutzt werden, sodass visuelle, akustische und/oder haptische Hinweisnachrichten übermittelt werden können. Beispielsweise können im Fahrzeug Warnleuchten aufleuchten, Hinweistöne erklingen, auf einer Anzeigevorrichtung Warnnachrichten oder Warnbilder angezeigt werden, das Lenkrad des Fahrzeugs oder Teile eines Fahrzeugsitzes vibrieren und dergleichen. Somit können Fahrzeuginsassen entsprechend informiert werden. Auch ist es denkbar Hinweisnachrichten an ein fahrzeugexternes Gerät zu übermitteln, wie beispielsweise das Smartphone des Fahrzeughalters. Beispielsweise kann über eine entsprechende App eine Pushnachricht ausgegeben werden, die den Fahrzeughalter über die Anwesenheit des Objekts informiert. Diese Pushnachricht kann das von der Innenraumkamera zuletzt aufgenommene Kamerabild und/oder das relevante Referenzbild umfassen. Beispielsweise kann so der Fahrzeughalter über ein über das Fahrzeug laufendes Tier wie eine Katze oder einen Marder informiert werden. Dies erlaubt es dem Fahrzeughalter sein Fahrzeug aufzusuchen und das Tier zu verscheuchen.A further advantageous embodiment of the method according to the invention further provides that the assistance system, in response to the detection signal, outputs an alert message to a user. This makes it possible to alert the user to the presence of the object on the outer skin. Various output modalities can be used for this purpose, so that visual, acoustic, and/or haptic alert messages can be transmitted. For example, warning lights can illuminate in the vehicle, alert tones can sound, warning messages or warning images can be displayed on a display device, the vehicle's steering wheel or parts of a vehicle seat can vibrate, and the like. Vehicle occupants can thus be informed accordingly. It is also conceivable to transmit alert messages to a device external to the vehicle, such as the vehicle owner's smartphone. For example, a push notification can be issued via a corresponding app, informing the vehicle owner of the presence of the object. This push notification can include the last camera image recorded by the interior camera and/or the relevant reference image. For example, the vehicle owner can be informed about an animal, such as a cat or marten, walking across the vehicle. This allows the vehicle owner to go to his vehicle and scare away the animal.

Auch könnte nach einer Rast auf einem Rasthof beim erneuten Fahrtbeginn die fahrzeugführende Person darauf hingewiesen werden, dass eine Dachtransportbox oder Fahrräder auf dem Dach des Fahrzeugs mitgeführt werden. Hat die fahrzeugführende Person dies vergessen, so kann ihr hierdurch die vergrößerte Fahrzeughöhe erneut ins Gedächtnis gerufen werden.After a rest stop, the driver could also be informed upon resuming the journey that a roof box or bicycles are being carried on the roof of the vehicle. If the driver has forgotten this, this can be used to remind them of the increased vehicle height.

Bevorzugt wird dabei die Hinweisnachricht durch eine Höheninformation ergänzt, beschreibend eine durch die Anwesenheit des Objekts auf der Außenhaut vergrößerte Höhe des Fahrzeugs und/oder es wird die Hinweisnachricht durch eine Kollisionswarnung ergänzt, für ein dem Fahrzeug in Fahrtrichtung vorausliegendes, den Fahrbereich querendes Infrastrukturobjekt. Dies erlaubt es das Entstehen von Unfällen zuverlässiger zu verhindern. Durch das Ausgeben der Höheninformation kann dem Nutzer die vergrößerte Höhe des Fahrzeugs anhand eines konkreten Werts vermittelt werden. Die Höhe kann dabei durch die Bildanalyse der Kamerabilder von der Recheneinheit selbst abgeschätzt werden. Auch ist es denkbar für verschiedene Objektklassen unterschiedliche Standardhöhenwerte vorzuhalten. Auch kann die fahrzeugführende Person proaktiv beim Erkennen eines entsprechenden Objekts auf der Außenhaut des Fahrzeugs abgefragt werden, wie groß das Objekt ist, sodass die vergrößerte Höhe des Fahrzeugs manuell vorgegeben werden kann. Hierzu kann die fahrzeugführende Person bzw. ein Fahrzeuginsasse eine geeignete Mensch-Maschine-Schnittstelle nutzen. Beispielsweise kann die Größe des Objekts oder direkt die vergrößerte Höhe des Fahrzeugs über eine berührempfindliche Anzeigevorrichtung eingegeben werden.Preferably, the warning message is supplemented by height information describing the increased height of the vehicle due to the presence of the object on the outer skin, and/or the warning message is supplemented by a collision warning for an infrastructure object located ahead of the vehicle in the direction of travel and crossing the driving area. This allows the occurrence of accidents to be prevented more reliably. By outputting the height information, the increased height of the vehicle can be communicated to the user using a specific value. The height can be estimated by the computing unit itself through image analysis of the camera images. It is also conceivable to maintain different standard height values for different object classes. The person driving the vehicle can also be proactively queried as to the object's size upon detection of a corresponding object on the outer skin of the vehicle, so that the increased height of the vehicle can be manually specified. The person driving the vehicle or a vehicle occupant can use a suitable human-machine interface for this purpose. For example, the size of the object or directly the increased height of the vehicle can be entered via a touch-sensitive display device.

Ergänzend oder alternativ kann auch besagte Kollisionswarnung ausgegeben werden. So kann die vergrößerte Höhe des Fahrzeugs bzw. dessen Silhouette mit den Dimensionen des Infrastrukturobjekts abgeglichen werden. Bei dem Infrastrukturobjekt kann es sich beispielsweise um eine Brücke, eine Schilderbrücke, die Einfahrt in eine Garage bzw. eine Tiefgarage, einen Tunnel oder dergleichen handeln. Ist das Objekt auf der Außenhaut des Fahrzeugs zu groß, so kann bei einer Durchfahrt unter dem Infrastrukturobjekt eine Kollision drohen. Über die Kollisionswarnung lässt sich die fahrzeugführende Person entsprechend sensibilisieren, sodass Gegenmaßnahmen wie das Stoppen des Fahrzeugs eingeleitet werden können. Ist das Fahrzeug zumindest teilautomatisiert steuerbar, so kann das Ausgeben der Kollisionswarnung das entsprechende Ansteuern des Fahrzeugs umfassen, wie das Durchführen eines automatischen Notbremsmanövers.In addition or alternatively, the aforementioned collision warning can also be issued. This allows the increased height of the vehicle or its silhouette to be compared with the dimensions of the infrastructure object. The infrastructure object could be, for example, a bridge, a sign gantry, the entrance to a garage or underground car park, a tunnel, or similar. If the object on the outer skin of the vehicle is too large, a collision may occur when driving under the infrastructure object. The collision warning can be used to The driver must be made aware of the situation so that countermeasures such as stopping the vehicle can be initiated. If the vehicle is at least partially automated, issuing the collision warning can include appropriate control of the vehicle, such as performing an automatic emergency braking maneuver.

Bevorzugt liest dabei das Fahrzeug die geodätische Höhe des Infrastrukturobjekts aus einer digitalen Straßenkarte aus und/oder bestimmt diese mittels einer fahrzeugeigenen Umgebungssensorik. Für einen entsprechenden Abgleich der vergrößerten Höhe des Fahrzeugs mit den Dimensionen des Infrastrukturobjekts zur Ausgabe der Kollisionswarnung muss selbstverständlich die passierbare Höhe des Infrastrukturobjekts bekannt sein. Diese geodätische Höhe kann als Information in einer digitalen Straßenkarte gespeichert sein. So kann das Fahrzeug über geeignete Positionsbestimmungsmittel verfügen, wie ein Navigationssystem. Mit Hilfe eines solchen Navigationssystems lässt sich die Geoposition des Fahrzeugs ermitteln, beispielsweise unter Verarbeitung eines globalen Navigationssatelittensignals. Ein Kartenabgleich erlaubt es die vom Fahrzeug befahrene Straße zu ermitteln und die Anwesenheit entsprechender Infrastrukturobjekte im Kartenmaterial festzustellen. Dies erlaubt es die entsprechende geodätische Höhe des Infrastrukturobjekts zu ermitteln. Zusätzlich oder alternativ kann das Fahrzeug die geodätische Höhe des Infrastrukturobjekts auch selbst messen. Hierzu kann das Fahrzeug das Infrastrukturobjekt mittels einer geeigneten Sensorik abtasten, wie mittels eines LiDARs, Ultraschallsensoren, Radarsensoren und dergleichen. Entsprechende Tiefeninformationen lassen sich auch mit Hilfe einer Stereokamera gewinnen. Auch bei der Verwendung einer Monokamera können die Dimensionen des Infrastrukturobjekts abgeschätzt werden, insbesondere unter Berücksichtigung einer charakteristischen Größe des Infrastrukturobjekts in den Kamerabildern.The vehicle preferably reads the geodetic height of the infrastructure object from a digital road map and/or determines it using the vehicle's own environmental sensors. For a corresponding comparison of the increased height of the vehicle with the dimensions of the infrastructure object in order to issue the collision warning, the passable height of the infrastructure object must of course be known. This geodetic height can be stored as information in a digital road map. The vehicle can thus be equipped with suitable positioning tools, such as a navigation system. With the help of such a navigation system, the geoposition of the vehicle can be determined, for example, by processing a global navigation satellite signal. A map comparison allows the road traveled by the vehicle to be identified and the presence of corresponding infrastructure objects in the map material to be determined. This allows the corresponding geodetic height of the infrastructure object to be determined. Additionally or alternatively, the vehicle can also measure the geodetic height of the infrastructure object itself. To do this, the vehicle can scan the infrastructure object using suitable sensors, such as a LiDAR, ultrasonic sensors, radar sensors, and the like. Corresponding depth information can also be obtained using a stereo camera. Even using a mono camera, the dimensions of the infrastructure object can be estimated, especially considering a characteristic size of the infrastructure object in the camera images.

Ein gattungsgemäßes Fahrzeug, umfassend eine zumindest einen Abschnitt der Umgebung erfassende Innenraumkamera und eine Recheneinheit zur Verarbeitung von der Innenraumkamera erzeugten Kamerabilder, wird erfindungsgemäß dadurch weitergebildet, dass die Recheneinheit über zumindest Lesezugriff auf ein computerlesbares Speichermedium verfügt, bevorratend maschineninterpretierbare Anweisungen, die bei einer Ausführung durch einen Prozessor der Recheneinheit diesen dazu veranlasst ein im vorigen beschriebenes Verfahren auszuführen. Bei dem Fahrzeug kann es sich um ein beliebiges Straßenfahrzeug wie einen Pkw, Lkw, Transporter, Bus oder dergleichen handeln. Generell könnte es sich auch um ein Schienenfahrzeug, Wasserfahrzeug oder Luftfahrzeug handeln.A generic vehicle comprising an interior camera capturing at least a portion of the surroundings and a computing unit for processing camera images generated by the interior camera is further developed according to the invention in that the computing unit has at least read access to a computer-readable storage medium storing machine-interpretable instructions which, when executed by a processor of the computing unit, cause the processor to execute a method described above. The vehicle can be any road vehicle such as a car, truck, van, bus, or the like. In general, it could also be a rail vehicle, watercraft, or aircraft.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zur Detektion von Objekten auf der Außenhaut eines Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.Further advantageous embodiments of the method according to the invention for detecting objects on the outer skin of a vehicle also emerge from the exemplary embodiments which are described in more detail below with reference to the figures.

Dabei zeigen:

1 eine schematische Seitendarstellung eines Fahrzeugs, bei dem ein Objekt auf der Außenhaut des Fahrzeugs vergessen wurde;
2 eine schematische Darstellung einer im Zuge eines erfindungsgemäßen Verfahrens ausgeführten Differenzbildung zwischen einem Referenzbild und einem Kamerabild gemäß einer ersten Ausführungsform; und
3 eine schematische Darstellung einer im Zuge des erfindungsgemäßen Verfahrens ausgeführten Differenzbildung zwischen dem Referenzbild und dem Kamerabild gemäß einer zweiten Ausführungsform.

Showing:

1 a schematic side view of a vehicle in which an object has been left on the outer skin of the vehicle;
2 a schematic representation of a difference formation between a reference image and a camera image carried out in the course of a method according to the invention according to a first embodiment; and
3 a schematic representation of a difference formation between the reference image and the camera image carried out in the course of the method according to the invention according to a second embodiment.

1 zeigt die Seitenansicht auf ein Fahrzeug 3, bei dem ein Objekt 1 auf der Außenhaut 2 vergessen wurde. Beispielsweise war die fahrzeugführende Person mit ihren Kindern einkaufen und hat die Kinder auf ihren Kindersitzen im Fond festgeschnallt. Vorher hat die fahrzeugführende Person die Einkäufe auf dem Dach des Fahrzeugs 3 abgestellt und dort vergessen. Fährt nun die Person an, würden die Einkäufe vom Dach herunterfallen und könnten beschädigt werden oder verlorengehen. Zudem besteht das Risiko, dass das Fahrzeug 3 dabei beschädigt wird. 1 shows the side view of a vehicle 3 in which an object 1 has been left on the outer skin 2. For example, the driver of the vehicle was shopping with their children and had strapped the children into their child seats in the rear. The driver had previously placed the shopping on the roof of vehicle 3 and left it there. If the driver then drives off, the shopping would fall from the roof and could be damaged or lost. There is also a risk that vehicle 3 could be damaged in the process.

Mit Hilfe eines erfindungsgemäßen Verfahrens zur Detektion von Objekten 1 auf der Außenhaut 2 des Fahrzeugs 3 lassen sich solche Situationen vermeiden. Hierzu werden mit einer Innenraumkamera des Fahrzeugs 3 in den 2 und 3 gezeigte Kamerabilder 4 aufgenommen und mit einem vorher von derselben Kamera aufgenommenen Referenzbild 5 verglichen. Dies erfolgt durch Differenzbildung zwischen Referenzbild 5 und Kamerabild 4. Die Idee ist es dabei, auf der Außenhaut 2 des Fahrzeugs 3 liegende Objekte 1 in denjenigen Bildbereichen zu erkennen, in denen die Umgebung sichtbar ist. Bei einem Coupé sind dies typischerweise Bildbereiche, in denen die Seitenfenster, Dachfenster, die Heckscheibe oder auch die Frontscheibe liegen. Bei einem Cabriolet mit geöffnetem Verdeck steht ein entsprechend größerer Bildbereich zum Erkennen der Umgebung zur Verfügung.Such situations can be avoided with the aid of a method according to the invention for detecting objects 1 on the outer skin 2 of the vehicle 3. For this purpose, an interior camera of the vehicle 3 is used to 2 and 3 The camera images 4 shown are recorded and compared with a reference image 5 previously recorded by the same camera. This is done by calculating the difference between reference image 5 and camera image 4. The idea is to detect objects 1 lying on the outer skin 2 of the vehicle 3 in those image areas in which the surroundings are visible. In a coupe, these are typically image areas containing the side windows, roof windows, rear window, or even the windshield. In a convertible with the top open, a correspondingly larger image area is available for detecting the surroundings.

Werden Objekte 1 auf der Außenhaut 2 erkannt, so gibt eine die Differenzbildung ausführende Recheneinheit ein Detektionssignal aus. Dieses wird von nachgelagerten Assistenzsystemen genutzt, um eine geeignete Reaktion auszuführen. Beispielsweise kann ein Warnhinweis an die fahrzeugführende Person oder den Fahrzeughalter ausgegeben werden und/oder der teilautomatisierte oder gar autonome Betrieb des Fahrzeugs 3 angepasst werden. Insbesondere wird das automatische oder auch das manuelle Anfahren des Fahrzeugs 3 gesperrt.If objects 1 are detected on the outer skin 2, a computing unit that performs the differential calculation outputs a detection signal. This signal is used by downstream assistance systems to initiate an appropriate response. For example, a warning can be issued to the person driving the vehicle or the vehicle owner and/or the partially automated or even autonomous operation of vehicle 3 can be adjusted. In particular, the automatic or manual starting of vehicle 3 is blocked.

2 zeigt ein Ausführungsbeispiel, bei dem die Innenraumkamera im Fond angeordnet ist und die Umgebung in Richtung der Fahrzeugfront hin erfasst. Die Umgebung ist durch die beiden seitlichen Fenster, ein Dachfenster sowie die Frontscheibe sichtbar. Dargestellt sind das Referenzbild 5 sowie das Kamerabild 4. Im Kamerabild 4 ist als Objekt 1 eine durch eine Schraffur angedeutete Einkaufstüte auf dem Glasdach vorhanden. Durch die Differenzbildung wird das Objekt 1 erkannt, sodass das Detektionssignal ausgegeben wird und entsprechende Gegenmaßnahmen zum Verhindern eines Herabrollens oder Herabrutschens des Objekts 1 von der Außenhaut 2 eingeleitet werden können. 2 shows an embodiment in which the interior camera is located in the rear and records the surroundings toward the front of the vehicle. The surroundings are visible through the two side windows, a roof window, and the windshield. Reference image 5 and camera image 4 are shown. In camera image 4, object 1 is a shopping bag indicated by hatching on the glass roof. By calculating the difference, object 1 is detected, so that the detection signal is output, and appropriate countermeasures can be initiated to prevent object 1 from rolling or sliding off the outer skin 2.

Für die korrekte Funktionsweise des erfindungsgemäßen Verfahrens gilt es einige Aspekte zu beachten. So ändert sich der durch die Scheiben des Fahrzeugs 3 wahrnehmbare Bildinhalt mit der Position des Fahrzeugs 3. Fährt das Fahrzeug, so bewegt sich die Umgebung, sodass das Risiko besteht, dass alleine aufgrund der Fortbewegung des Fahrzeugs 3 die Anwesenheit von Objekten 1 auf der Außenhaut 2 erkannt werden könnte, wenn die Detektion auf Bildunterschieden in der Differenzbildung beruht. Um dies zu verhindern, können geeignete Maßnahmen getroffen werden, wie das Herausrechnen sich bewegender Bildinhalte der Kamerabilder 4, bevor eine Differenzbildung mit dem Referenzbild 5 durchgeführt wird oder das Umschalten der Detektionsprämisse während der Fahrt, sodass die Anwesenheit von Objekten 1 durch sich nicht ändernde Bildbereiche festgestellt wird. Auch könnte das Fahrzeug 3 stehen, wobei das Referenzbild 5 und das Kamerabild 4 an verschiedenen Parkpositionen aufgenommen wurden.For the correct functioning of the method according to the invention, several aspects must be taken into account. For example, the image content perceivable through the windows of the vehicle 3 changes with the position of the vehicle 3. When the vehicle is moving, the surroundings move, so there is a risk that the presence of objects 1 on the outer skin 2 could be detected solely due to the movement of the vehicle 3 if the detection is based on image differences in the difference formation. To prevent this, suitable measures can be taken, such as calculating out moving image content of the camera images 4 before a difference formation with the reference image 5 is carried out or switching the detection premise during the journey so that the presence of objects 1 is determined by unchanging image areas. The vehicle 3 could also be stationary, with the reference image 5 and the camera image 4 being recorded at different parking positions.

Besonders bevorzugt wird daher das für die Differenzbildung verwendete Referenzbild 5 beim Abstellen des Fahrzeugs erzeugt und das zu verwendende Kamerabild 4 bei der nächsten Fahrzeugnutzung aufgenommen. Entsprechend wird beispielsweise beim Öffnen der Fahrzeugtüren das Kamerabild 4 aufgenommen. So kann vorausgesetzt werden, dass die in den entsprechenden Bildbereichen einsehbaren Bereiche der Umgebung im Referenzbild 5 und dem verwendeten Kamerabild 4 gleich sind. Dies erhöht die Zuverlässigkeit einer korrekten Objektdetektion.Therefore, it is particularly preferred that the reference image 5 used for the difference calculation be generated when the vehicle is parked, and the camera image 4 to be used be recorded the next time the vehicle is used. Accordingly, for example, the camera image 4 is recorded when the vehicle doors are opened. It can thus be assumed that the areas of the surroundings visible in the corresponding image areas in the reference image 5 and the camera image 4 used are identical. This increases the reliability of correct object detection.

3 veranschaulicht ein weiteres Ausführungsbeispiel für ein Kamerabild 4, welches von einer im Armaturenbrett des Fahrzeugs 3 angeordneten und Richtung des Fahrzeughecks ausgerichteten Innenraumkamera aufgenommen wurde. Dabei befindet sich beispielhaft als Objekt 1 eine Person bzw. ein Dummy auf dem Dach des Fahrzeugs 3. 3 illustrates another exemplary embodiment of a camera image 4, which was recorded by an interior camera arranged in the dashboard of vehicle 3 and directed toward the rear of the vehicle. For example, object 1 is a person or a dummy on the roof of vehicle 3.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10 2017 113 186 A1 [0006]

Claims

Method for detecting objects (1) on the outer skin (2) of a vehicle (3), wherein camera images (4) generated by an interior camera capturing the surroundings of the vehicle (3) at least through windows of the vehicle (3) are processed by a vehicle-internal computing unit, characterized in that the computing unit maintains at least one reference image (5) representing the field of view of the interior camera without objects (1) on the outer skin (2) of the vehicle (3), the computing unit compares a camera image (4) currently generated by the interior camera with the reference image (5) at least at a predetermined point in time and outputs a detection signal to a downstream assistance system if the presence of an object (1) in an image region of the camera image (4) correlating with the surroundings is determined by forming the difference between the reference image (5) and the camera image (4).

Procedure according to Claim 1 , characterized in that at least one reference image (5) is recorded when the vehicle (3) is parked and is stored at least temporarily in the computing unit, which is compared with the camera image (4) then recorded when the vehicle (3) is used again.

Procedure according to Claim 1 or 2 , characterized in that the image areas correlating with the environment are cut out of the camera image (4) and the reference image (5) and only the cut-out image areas are compared with each other.

Procedure according to Claim 3 , characterized in that at least one cut-out image area shows, at least in sections, the view of the interior camera through a side window, roof window, the rear window and/or the front window of the vehicle (3).

Procedure according to one of the Claims 1 until 4 , characterized in that in the course of the difference formation a similarity measure is formed and the detection signal is output if the similarity measure deviates from a specified similarity threshold value by more than a specified tolerance measure.

Procedure according to one of the Claims 1 until 5 , characterized in that when the presence of an object (1) is detected, at least the image area of the camera image (4) containing the object (1) is fed to a machine vision algorithm, in particular based on artificial intelligence, which classifies the object (1).

Method according to one of the Claims 1 until 6 , characterized in that the assistance system, in response to the detection signal, blocks the starting of the vehicle (3) or an at least partially automated operating mode for the vehicle (3).

Procedure according to one of the Claims 1 until 7 , characterized in that the assistance system, in response to the detection signal, causes an information message to be output to a user.

Procedure according to Claim 8 , characterized in that the information message is supplemented by height information describing an increased height of the vehicle (3) due to the presence of the object (1) on the outer skin (2) and/or a collision warning with an infrastructure object located ahead of the vehicle (3) in the direction of travel and crossing the driving area.

Procedure according to Claim 9 , characterized in that the vehicle (3) reads the geodetic height of the infrastructure object from a digital road map and/or determines it by means of the vehicle's own environmental sensors.

Vehicle (3), comprising an interior camera capturing at least a portion of the surroundings and a computing unit for processing camera images generated by the interior camera, characterized in that the computing unit has at least read access to a computer-readable storage medium, storing machine-interpretable instructions which, when executed by a processor of the computing unit, cause the processor to carry out a method according to one of the Claims 1 until 10 to execute.