DE102016011016A1

DE102016011016A1 - Verfahren zum Betrieb eines Assistenzsystems

Info

Publication number: DE102016011016A1
Application number: DE102016011016.3A
Authority: DE
Inventors: Jürgen Schmidt
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2016-09-10
Filing date: 2016-09-10
Publication date: 2017-04-13

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines Assistenzsystems für ein Fahrzeug (1) mit zumindest einer Kamera (4), mittels welcher ein Bereich innerhalb und/oder außerhalb eines Fahrzeuges (1) erfasst wird. Erfindungsgemäß ist vorgesehen, dass – anhand einer Bildauswertung und einer Datenanalyse eine teilweise oder vollständige Verdeckung eines Zielbereiches der zumindest einen Kamera (4) erfasst wird, – wobei bei Vorhandensein einer teilweisen oder vollständigen Verdeckung anhand eines Vergleiches einer erfassten Form der teilweisen oder vollständigen Verdeckung und einer hinterlegten Vorlage ermittelt wird, um welches Objekt es sich bei der teilweisen oder vollständigen Verdeckung des Zielbereiches handelt, – wobei der teilweise oder vollständig verdeckte Zielbereich bei der Bildverarbeitung und Datenanalyse unberücksichtigt bleibt.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Assistenzsystems mit zumindest einer Kamera, mittels welcher ein Bereich innerhalb und/oder außerhalb des Fahrzeuges erfasst wird.
Im Allgemeinen ist ein Verfahren zum Betrieb eines Assistenzsystems für ein Fahrzeug mit zumindest einer Kamera bekannt. Beispielsweise ist die zumindest eine Kamera zur Insassenbeobachtung vorgesehen. Ist ein Sichtbereich in Bezug auf ein Zielbereich der zumindest einen Kamera teilweise oder vollständig verdeckt, können Analysen sowie Einstellungen von Sicherheits- und/oder Komfortfunktionen nicht einem tatsächlichen Zustand entsprechend und somit fehlerhaft sein. Vergleichsweise starke Einbußen in Bezug auf die Sicherheit, insbesondere eines Fahrers des Fahrzeuges, und/oder den Komfort können die Folge sein.
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Betrieb eines Assistenzsystems für ein Fahrzeug anzugeben.
Die Aufgabe wird erfindungsgemäß durch die in Anspruch 1 angegebenen Merkmale gelöst.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Ein Verfahren zum Betrieb eines Assistenzsystems für ein Fahrzeug mit zumindest einer Kamera sieht vor, dass mittels der zumindest einen Kamera ein Bereich innerhalb und/oder außerhalb des Fahrzeuges erfasst wird. Erfindungsgemäß wird anhand einer Bildauswertung und einer Datenanalyse eine teilweise oder vollständige Verdeckung eines Zielbereiches der Kamera erfasst, wobei bei Vorhandensein einer teilweisen oder vollständigen Verdeckung anhand eines Vergleiches einer erfassten Form der teilweisen oder vollständigen Verdeckung und einer hinterlegten Vorlage ermittelt wird, um welches Objekt es sich bei der teilweisen oder vollständigen Verdeckung des Zielbereiches handelt, wobei der teilweise oder vollständig verdeckte Zielbereich bei der Bildverarbeitung und Datenanalyse unberücksichtigt bleibt.
Durch Anwendung des Verfahrens wird eine teilweise oder vollständige Verdeckung der zumindest einen Kamera erfasst und ermittelt, um welches Objekt es sich handelt, durch welches der Zielbereich teilweise oder vollständig verdeckt ist.
Dadurch, dass der teilweise oder vollständig verdeckte Zielbereich der zumindest einen Kamera bei der Bildverarbeitung und Datenanalyse nicht berücksichtig wird, wird das Risiko einer Beeinflussung der Verdeckung bei einer Ermittlung vergleichsweise wichtiger Eingangsgrößen des Assistenzsystems wesentlich verringert.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt die:
1 schematisch einen Ausschnitt eines Fahrzeuges mit einem Insassen auf einem Fahrzeugsitz.
In der einzigen Figur ist ein Ausschnitt eines Fahrzeuges 1 mit einem Insassen 2 auf einem Fahrzeugsitz 3 dargestellt.
Das Fahrzeug 1 verfügt über ein Assistenzsystem, bei welchem beispielsweise ein Zustand des Insassen 2, bei welchem es sich insbesondere um einen Fahrer des Fahrzeuges 1 handelt, überwacht wird. Beispielsweise ist das Assistenzsystem als Müdigkeitsassistent ausgeführt, wobei das Assistenzsystem zumindest ein Kamerasystem mit einer Mehrzahl von Kameras 4 umfasst, wobei in dem vorliegenden Ausführungsbeispiel nur eine Kamera 4 gezeigt ist.
Alternativ dazu kann es sich auch um ein anderes Assistenzsystem handeln, welches zumindest eine Kamera 4 umfasst, die einen Bereich innerhalb und/oder außerhalb des Fahrzeuges 1 erfasst.
In dem vorliegenden Ausführungsbeispiel ist die Kamera 4 derart im Fahrzeug 1 angeordnet, dass sich ein Kopf des Insassen 2 im Erfassungsbereich der Kamera 4 befindet. Gemäß 1 ist die Kamera 4 in einen Innenspiegel 5 des Fahrzeuges 1 integriert. Alternativ dazu kann sich die Kamera 4 entsprechend einer Funktion des Assistenzsystems auch an einer anderen geeigneten Position befinden.
Durch die Anordnung der Kamera 4 und/oder beispielsweise aufgrund unterschiedlicher Körpergrößen von Insassen 2, insbesondere von unterschiedlichen Fahrern des Fahrzeuges 1, besteht die Gefahr, dass ein Sichtbereich der Kamera 4 in Bezug auf einen geforderten Zielbereich teilweise oder vollständig verdeckt ist.
Aufgrund der teilweisen oder vollständigen Verdeckung des Zielbereiches und darauf basierenden Analysen und Bildauswertungen können Sicherheits- und/oder Komfortfunktionen fehlerhaft eingestellt werden. Aus den fehlerhaften Einstellungen können vergleichsweise große Einbußen der Sicherheit und/oder des Komforts, insbesondere in Bezug auf den Insassen 2, d. h. den Fahrer, resultieren.
Ein Kamerasystem, deren Bestandteil die Kamera 4 ist, ermittelt auf Basis von Bildauswertungen und Datenanalysen, dass ein Raum zwischen der Kamera 4 und dem Zielobjekt oder Zielbereich, gemäß dem vorliegenden Ausführungsbeispiel der Insasse 2, teilweise oder vollständig blockiert ist, so dass der Insasse 2 teilweise oder vollständig verdeckt ist.
Die Bildauswertung und Datenanalyse kann auch in Kombination ausgewerteter Signale weiterer im oder am Fahrzeug 1 angeordneter Sensoren erfolgen. Hierzu eignen sich insbesondere erfasste Signale einer sogenannten Time-of-flight-Kamera, einer ultraschallbasierten, einer laserbasierten und/oder einer radarbasierten Erfassungseinheit.
Handelt es sich um ein anderes Assistenzsystem, so kann das Zielobjekt oder kann der Zielbereich auch eine Straße und/oder eine Fahrzeugumgebung sein.
Um das Risiko einer Beeinträchtigung der Sicherheits- und/oder Komfortfunktion aufgrund der teilweisen oder vollständigen Verdeckung des Zielbereiches der Kamera 4, insbesondere des Insassen 2, zumindest zu verringern, ist ein weiter unten beschriebenes Verfahren vorgesehen.
In einem ersten Schritt wird ermittelt, ob sich auf dem Fahrzeugsitz 3 ein mittels der Kamera 4 zu überwachender Insasse 2 als Zielbereich befindet.
Ob sich ein Insasse 2 auf dem Fahrzeugsitz 3 befindet, wird beispielsweise mittels erfasster Signale eines Gurtschlossschalters erfasst, welcher betätigt wird, wenn eine Gurtschlosszunge eines Sicherheitsgurtes eines dem Fahrzeugsitz 3 zugeordneten Gurtschlosses eingesteckt wird.
Alternativ oder zusätzlich kann die Belegung des Fahrzeugsitzes 3 durch den Insassen 2 mittels erfasster Signale eines im Fahrzeugsitz 3 angeordneten Gewichtssensors und/oder Temperatursensors ermittelt werden.
Wiederum alternativ oder zusätzlich kann durch eine erfasste Betätigung einer Fahrzeugtür im Bereich des Fahrzeugsitzes 3 und/oder anhand einer erfassten Betätigung von Bedienelementen und/oder von Pedalen ermittelt werden, dass sich ein Insasse 2, insbesondere der Fahrer, auf dem Fahrzeugsitz 3 befindet.
Denkbar ist auch, dass Körperteile des Insassen 2 mittels erfasster Signale der Kamera 4 und/oder eines anderen Sensors, beispielsweise einer ultraschallbasierten Erfassungseinheit erfasst werden, wodurch auf die Belegung des Fahrzeugsitzes 3 durch den Insassen 2 geschlossen wird.
Des Weiteren kann vorgesehen sein, dass der Insasse 2 anhand erfasster Tonsignale eines im Fahrzeug 1 vorhandenen Mikrofons und/oder einem Fahrzeugzustand, insbesondere einem Fahrbetrieb des Fahrzeuges 1, erfasst wird. Insbesondere befindet sich das Fahrzeug 1 im Fahrbetrieb, wenn ein Fahrer auf dem Fahrersitz sitzt.
Darüber hinaus kann die Insassenerfassung zusätzlich oder alternativ mittels anderer geeigneter Verfahren und Vorrichtungen erfolgen.
In einem zweiten Schritt wird ermittelt, woraus die teilweise oder vollständige Verdeckung des Zielbereiches, insbesondere des Insassen 2, resultiert.
Signale, d. h. erfasste Bilddaten in Bezug auf die teilweise oder vollständige Verdeckung, werden mittels Bildverarbeitungsverfahren, mittels Mustererkennung, mittels Klassifikation und einer Signalverarbeitung und Interpretation der genannten Verfahren ermittelt.
Die erfassten Signale, insbesondere die Bilddaten, werden mit gespeicherten Mustern von Fahrzeugbauteilen, z. B. Lenkradformen, Pralltopfformen, Armlehnformen, Blendformen, Innenspiegelformen und Formen jeglicher, insbesondere beweglicher, Fahrzeugbauteile im Fahrzeuginnenraum verglichen. Anhand dieses Vergleiches wird ermittelt, ob eines dieser Fahrzeugbauteile der Grund für die Verdeckung des Zielbereiches der Kamera 4 ist.
Beispielsweise wird das Fahrzeugbauteil, sofern dieses ansteuerbar ist, automatisch angesteuert und derart positioniert, dass der Zielbereich der Kamera 4, insbesondere der Insasse 2, nicht mehr durch das Fahrzeugbauteil verdeckt ist. Das Fahrzeugbauteil wird also außerhalb eines optischen Pfades der Kamera 4 positioniert.
Ist vorgesehen, dass das automatisch verstellbare Fahrzeugbauteil nicht automatisch verstellt werden soll, kann eine Aufforderung an den Insassen 2 ausgegeben werden, dass dieser das Fahrzeugbauteil manuell außerhalb des optischen Pfades der Kamera 4 positioniert.
Handelt es sich um ein ausschließlich manuell verstellbares Fahrzeugbauteil, wie beispielsweise eine Sonnenblende 6, wird ein Hinweis mit einer Aufforderung zur Verstellung, insbesondere Positionierung, des Fahrzeugbauteiles an den Insassen 2 ausgegeben.
Der Hinweis in Bezug auf die Verstellung wird optisch, akustisch und/oder haptisch ausgegeben. Dabei erfolgt die Verstellung mit Hilfestellung in Form von Text und/oder aufleuchtender Leuchteinheiten und/oder visueller Informationen, in Form einer Sprachnachricht und/oder durch Andeutung einer Verstellrichtung über eine vergleichsweise zeitlich kurze Verstellung des Fahrzeugbauteiles in die erforderliche Verstellrichtung, beispielsweise durch Wippen und/oder Vibration.
Zusätzlich zur Verstellung des Fahrzeugbauteiles und/oder zur Ausgabe des Hinweises mit der Aufforderung kann vorgesehen sein, dass eine Änderung einer Sitzposition des Fahrzeugsitzes 3 in Bezug auf die Kamera 4 vorgeschlagen, angezeigt und/oder automatisch durchgeführt wird.
Die Ermittlung einer Position des Fahrzeugbauteiles kann alternativ oder zusätzlich zu der oben beschriebenen Alternative auch auf Basis erfasster Signale der Kamera 4 in Bezug zu einer Sitzposition, erkannter Körperdaten und/oder Körperteilen des Insassen 2 erfolgen.
Alternativ oder zusätzlich zu der oben beschriebenen Methode zur Ermittlung der teilweisen oder vollständigen Verdeckung des Zielbereiches der Kamera 4 kann diese auf Basis einer momentanen Position des Fahrzeugbauteiles im Fahrzeug 1 und einer personalisierten Erfassung eines spezifischen Insassen 2 und/oder durch Abruf von Daten zu dessen Körpergröße und/oder üblichen Kopfpositionen und einer momentanen Verdeckung eines bestimmten Bereiches des Insassen 2 erfolgen.
Wird erfasst, dass die teilweise oder vollständige Verdeckung des Zielbereiches der Kamera 4 nicht aus einer momentanen Position des Fahrzeugbauteiles, welche anhand der Mustererkennung ermittelt werden kann, resultiert, wird auf eine andere Ursache der teilweisen oder vollständigen Verdeckung geschlossen. Beispielsweise wird die Sicht der Kamera 4 auf den Insassen 2, insbesondere seinen Kopfbereich, durch ein Mobiltelefon, eine Zeitung, eine Videokamera, ein Spielzeug und/oder eine Hand teilweise oder vollständig verdeckt.
Wird ermittelt, dass es sich nicht um ein Fahrzeugbauteil handelt und das Fahrzeug 1 befindet sich im Fahrbetrieb, wird, wie oben beschrieben, ein entsprechender Hinweis an den Insassen 2 ausgegeben.
Bei einer Bildauswertung mit Bildanalyse und Datenverarbeitungsmitteln wird die teilweise oder vollständige Verdeckung des Zielbereiches dieser Kamera 4, insbesondere bei Vorhandensein mehrerer Kameras 4, nicht berücksichtigt.
Durch die Nichtberücksichtigung der teilweisen oder vollständigen Verdeckung dieser Kamera 4 hat die Verdeckung keinen Einfluss, insbesondere keinen negativen Einfluss, auf die Genauigkeit bei der Detektion des Zielbereiches, z. B. ein Auge, das Gesicht des Insassen 2 oder eine Spurmarkierung.
Die Analyse, ob sich ein Insasse 2 als Zielbereich auf dem Fahrzeugsitz 3 befindet und ob der Zielbereich teilweise oder vollständig verdeckt ist und um welche Art Verdeckung es sich handelt, wird für jede einzelne Kamera 4 des Kamerasystems fortlaufend durchgeführt.
Diese Analyse erfolgt auf der Basis der Kenntnis des optischen Pfades jeder Kamera 4 im Verbund und einer Bild- und Datenanalyse einzelner Kamerabilder.
Durch den Ausschluss eines teilweise oder vollständig verdeckten Zielbereiches einer oder mehrerer Kameras 4 des Kamerasystems bei der Analyse der Kamerabilder, insbesondere der Bildverarbeitung und Datenanalyse, wird eine Beeinflussung dieser Analyse bei der Ermittlung verhältnismäßig wichtiger Eingangsgrößen für das Assistenzsystem oder für mehrere Assistenzsysteme, beispielsweise zur Überwachung des Insassen 2, insbesondere seiner Augenlidbewegungen, oder eines Fahrspurassistenten, bei welchem eine Fahrbahnmarkierung erfasst wird, weitestgehend ausgeschlossen.
Durch die Anwendung des Verfahrens wird das Risiko von fehlerhaften Einstellungen in Bezug auf Sicherheits- und/oder Komfortfunktionen des Fahrzeuges 1 wesentlich verringert.
Bezugszeichenliste

1: Fahrzeug
2: Insasse
3: Fahrzeugsitz
4: Kamera
5: Innenspiegel
6: Sonnenblende

Claims

Verfahren zum Betrieb eines Assistenzsystems für ein Fahrzeug (1) mit zumindest einer Kamera (4), mittels welcher ein Bereich innerhalb und/oder außerhalb eines Fahrzeuges (1) erfasst wird, dadurch gekennzeichnet, dass – anhand einer Bildauswertung und einer Datenanalyse eine teilweise oder vollständige Verdeckung eines Zielbereiches der zumindest einen Kamera (4) erfasst wird, – wobei bei Vorhandensein einer teilweisen oder vollständigen Verdeckung anhand eines Vergleiches einer erfassten Form der teilweisen oder vollständigen Verdeckung und einer hinterlegten Vorlage ermittelt wird, um welches Objekt es sich bei der teilweisen oder vollständigen Verdeckung des Zielbereiches handelt, – wobei der teilweise oder vollständig verdeckte Zielbereich bei der Bildverarbeitung und Datenanalyse unberücksichtigt bleibt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ermittelt wird, ob es sich bei dem Objekt um ein verstellbares Fahrzeugbauteil handelt.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass nach einer Verstellung des Fahrzeugbauteiles erneut überprüft wird, ob der Zielbereich der zumindest einen Kamera (4) teilweise oder vollständig verdeckt ist.