DE102019132035A1

DE102019132035A1 - Method and vehicle for the gesture-based actuation of vehicle parts

Info

Publication number: DE102019132035A1
Application number: DE102019132035.6A
Authority: DE
Inventors: Ralph Torge; Matthias Findeis; Christoph Lampl; Manuel Schlienz
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2021-05-27

Abstract

Offenbart wird ein Verfahren zum Betätigen von elektrisch beweglichen Fahrzeugteilen eines Fahrzeugs, wobei das Fahrzeug Funkmittel umfasst, mit denen die Position eines von einem Benutzer mitgeführten weiteren Funkmittels relativ zum Fahrzeug erfassbar ist, wobei das Fahrzeug Kameras umfasst, die die Umgebung des Fahrzeugs aufnehmen, wobei das Fahrzeug elektronische Rechenmittel umfasst, wobei das Verfahren umfasst: Erkennen, dass sich die Position des weiteren Funkmittels innerhalb eines vorbestimmten Abstands vom Fahrzeug befindet; Auswerten von Kameraaufnahmen in einem Bereich um die erkannte Position, daraufhin, ob ein Benutzer eine vorbestimmte Geste ausführt; Falls der Benutzer eine vorbestimmte Geste ausführt, Betätigen des beweglichen Fahrzeugteils, das der erkannten Geste zugeordnet ist.A method is disclosed for actuating electrically movable vehicle parts of a vehicle, the vehicle comprising radio means with which the position of a further radio means carried by a user can be detected relative to the vehicle, the vehicle comprising cameras that record the surroundings of the vehicle, wherein the vehicle comprises electronic computing means, the method comprising: recognizing that the position of the further radio means is within a predetermined distance from the vehicle; Evaluating camera recordings in an area around the recognized position, as to whether a user is performing a predetermined gesture; If the user performs a predetermined gesture, actuation of the movable vehicle part that is assigned to the recognized gesture.

Description

Die Erfindung betrifft Verfahren zum Betätigen von elektrisch beweglichen Fahrzeugteilen und entsprechende Fahrzeuge.The invention relates to methods for actuating electrically movable vehicle parts and corresponding vehicles.

Heutzutage sind Fahrzeuge bekannt, bei denen durch einen Fußtritt unter dem Heckbereich eines Fahrzeugs die Betätigung bzw. Öffnung der Heckklappe des Fahrzeugs initiiert wird. Die Initiierung der Öffnung kann dadurch erreicht werden, dass eine Verriegelung der Heckklappe elektrisch geöffnet wird und sich die Heckklappe aufgrund einer mechanischen Vorspannung öffnet. Alternativ kann die Initiierung der Öffnung auch bedeuteten, dass einem elektrischen Antrieb (elektrischer Motor) der Heckklappe das Signal zum Öffnen der Heckklappe gegeben wird. Allgemein kann die Initiierung der Bewegung durch eine elektrische Aktuatorik erreicht werden.Nowadays, vehicles are known in which the actuation or opening of the tailgate of the vehicle is initiated by kicking under the rear area of a vehicle. The initiation of the opening can be achieved in that a lock of the tailgate is opened electrically and the tailgate opens due to a mechanical preload. Alternatively, the initiation of the opening can also mean that an electric drive (electric motor) of the tailgate is given the signal to open the tailgate. In general, the initiation of the movement can be achieved by an electrical actuator system.

Diese Systeme haben den Nachteil, dass sich der Benutzer direkt am Fahrzeug befinden muss, um die Heckklappe per Fußtritt zu bedienen.These systems have the disadvantage that the user has to be directly at the vehicle in order to operate the tailgate with a kick.

Die Aufgabe an den Fachmann ist es, eine Bedienung der elektrisch beweglichen Fahrzeugteile auch aus größerer Entfernung zu ermöglichen.The task for a person skilled in the art is to enable the electrically movable vehicle parts to be operated even from a great distance.

Die Aufgabe wird durch das Verfahren und Fahrzeug gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.The object is achieved by the method and vehicle according to the independent claims. Advantageous developments are defined in the dependent claims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Betätigen von elektrisch beweglichen Fahrzeugteilen oder Fahrzeugfunktionen eines Fahrzeugs, wobei das Fahrzeug Funkmittel und/oder Kamerasysteme umfasst, mit denen die Position und/oder Orientierung eines von einem Benutzer mitgeführten weiteren Funkmittels relativ zum Fahrzeug erfassbar ist, wobei das Fahrzeug Kameras umfasst, die die Umgebung des Fahrzeugs aufnehmen, wobei das Fahrzeug elektronische Rechenmittel umfasst, wobei das Verfahren umfasst: Erkennen mithilfe der Funkmittel oder Kameras, dass sich die Position des weiteren Funkmittels innerhalb eines vorbestimmten Abstands vom Fahrzeug befindet; Auswerten von Kameraaufnahmen in einem Bereich um die erkannte Position, daraufhin, ob ein Benutzer eine vorbestimmte Geste ausführt; Falls der Benutzer eine vorbestimmte Geste ausführt, Betätigen des beweglichen Fahrzeugteils, das der erkannten Geste zugeordnet ist und/oder Aktivieren eines Lichts des Fahrzeugs.A first aspect of the invention relates to a method for actuating electrically movable vehicle parts or vehicle functions of a vehicle, the vehicle comprising radio equipment and / or camera systems with which the position and / or orientation of a further radio equipment carried by a user relative to the vehicle can be detected, wherein the vehicle comprises cameras that record the surroundings of the vehicle, wherein the vehicle comprises electronic computing means, the method comprising: recognizing with the aid of the radio means or cameras that the position of the further radio means is within a predetermined distance from the vehicle; Evaluating camera recordings in an area around the recognized position, as to whether a user is performing a predetermined gesture; If the user executes a predetermined gesture, actuation of the movable vehicle part that is assigned to the recognized gesture and / or activation of a light of the vehicle.

Funkmittel können hierin auf UWB, Bluetooth oder anderen Protokollen und Frequenzbereichen basieren. Die Kameras des Fahrzeugs sind typischerweise derart angeordnet, dass sie eine ggf. unvollständige Sicht auf das Umfeld des Fahrzeugs ermöglichen. Bereits zu anderen Zwecken installierte Kameras, wie für Parkmanöver oder für das automatisierte Fahren installierte Kameras können für die Zwecke dieser Erfindung verwendet werden, so dass keine zusätzlichen Kameras installiert werden müssen. Die Verarbeitung der Kameradaten zur Erkennung der Gesten kann mithilfe an sich bekannter Algorithmen zur Bildverarbeitung durch die elektronischen Rechenmittel, wie einen Computer, erreicht werden. Alternativ können auch neuartige Algorithmen oder maschinelles Lernen verwendet werden, um die Gestenerkennung zu ermöglichen. Die vom Benutzer mitgeführten Funkmittel können ein sogenanntes Smart Phone, ein Funkschlüssel, eine Smart Watch oder generell Smart Devices sein.Radio means herein can be based on UWB, Bluetooth or other protocols and frequency ranges. The cameras of the vehicle are typically arranged in such a way that they allow a possibly incomplete view of the surroundings of the vehicle. Cameras that have already been installed for other purposes, such as for parking maneuvers or for automated driving, can be used for the purposes of this invention, so that no additional cameras have to be installed. The processing of the camera data for recognizing the gestures can be achieved with the aid of algorithms known per se for image processing by the electronic computing means, such as a computer. Alternatively, novel algorithms or machine learning can also be used to enable gesture recognition. The radio equipment carried by the user can be a so-called smart phone, a radio key, a smart watch or generally smart devices.

Hierin wird somit vorgeschlagen, das Umfeld des Fahrzeugs mit Kameras daraufhin zu untersuchen, ob ein Benutzer eine vorbestimmte Geste ausführt und ein Fahrzeugteil entsprechend zu bewegen. Dabei wird das Umfeld nicht vollständig nach dem Benutzer abgesucht, sondern lediglich ein Bereich um den Benutzer herum. Dies ermöglicht eine Reduzierung des Rechenaufwands der elektronischen Rechenmittel zur Erkennung der Geste. Auf diese Weise kann die Geste des Benutzers schneller und gegebenenfalls genauer erkannt werden, als es möglich wäre, wenn der gesamte Bereich des Fahrzeugs auf Gesten des Benutzers hin abgesucht würde.It is therefore proposed here to examine the surroundings of the vehicle with cameras to determine whether a user is performing a predetermined gesture and to move a vehicle part accordingly. The surroundings are not searched for the user in full, but only an area around the user. This enables a reduction in the computing effort of the electronic computing means for recognizing the gesture. In this way, the user's gesture can be recognized more quickly and possibly more precisely than would be possible if the entire area of the vehicle were searched for gestures by the user.

Ein elektrisches bewegliches Fahrzeugteil ist typischerweise ein Fahrzeugteil, das beweglich ist relativ zum Rest des Fahrzeugs und bei dem die Bewegung durch elektrische Mittel zumindest initiiert wird. Die Bewegung kann durch elektrische Aktuatorik durchgeführt oder veranlasst werden.An electric movable vehicle part is typically a vehicle part that is movable relative to the rest of the vehicle and in which movement is at least initiated by electrical means. The movement can be carried out or caused by electrical actuators.

Das elektrisch bewegliche Fahrzeugteil kann ein Schiebedach, Türen, eine Heckklappe, eine Tankklappe, eine Ladeklappe, ein Fenster eine Frontklappe, ein Cabrioverdeck, Aerodynamikteile, Spoiler oder Spiegel des Fahrzeugs sein.The electrically movable vehicle part can be a sunroof, doors, a tailgate, a fuel filler flap, a loading flap, a window, a front flap, a convertible top, aerodynamic parts, spoilers or mirrors of the vehicle.

Eine Geste kann eine vorbestimmte Bewegung eines Körperteils sein, insbesondere eine Bewegung der Hand, des Arms, des Kopfs, Fußes und/oder Beins.A gesture can be a predetermined movement of a body part, in particular a movement of the hand, arm, head, foot and / or leg.

Der Bereich um erkannte Position herum kann als ein Winkelbereich definiert sein, insbesondere ein horizontaler Winkelbereich, der sich 10°, 20° oder 30° um die Richtung der erkannten Position herum erstreckt. Weiterhin kann vorgesehen sein, dass zwei Kamerabildern parallel ausgewertet werden, wenn sich der Nutzer in einem Todbereich um das Fahrzeug herum befindet.The area around the recognized position can be defined as an angular range, in particular a horizontal angular range that extends 10 °, 20 ° or 30 ° around the direction of the recognized position. Furthermore, it can be provided that two camera images are evaluated in parallel if the user is in a dead zone around the vehicle.

Ein anderer Aspekt der Erfindung betrifft ein Fahrzeug, umfassend mindestens ein elektrisch bewegliches Fahrzeugteil, wobei das Fahrzeug Funkmittel und/oder Kameras zur Positionserfassung umfasst, mit denen die Position eines von einem Benutzer mitgeführten weiteren Funkmittels relativ zum Fahrzeug erfassbar ist, wobei das Fahrzeug Kameras umfasst, die die Umgebung des Fahrzeugs aufnehmen, wobei das Fahrzeug dazu eingerichtet ist, eines der vorstehenden Verfahren auszuführen.Another aspect of the invention relates to a vehicle, comprising at least one electrically movable vehicle part, the vehicle comprising radio equipment and / or cameras for position detection, with which the position of another radio device carried by a user can be recorded relative to the vehicle, the vehicle comprising cameras that record the surroundings of the vehicle, wherein the vehicle is set up to carry out one of the above methods.

FigurenlisteFigure list

1 schematically shows a flowchart of an embodiment.

DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELSDETAILED DESCRIPTION OF THE EMBODIMENT

1 zeigt schematisch ein Ablaufdiagramm eines Ausführungsbeispiels. In einem Schritt S1 wird erkannt, dass sich ein Benutzer mit einem Funkmittel, wie einem ID-Geber eines drahtlosen Fahrzeugzugangssystems, innerhalb eines vorbestimmten Abstands, wie z.B. 5m, 10m oder 15m, vom Fahrzeug befindet. 1 schematically shows a flowchart of an embodiment. In one step S1 it is recognized that a user with a radio device, such as an ID transmitter of a wireless vehicle access system, is within a predetermined distance, such as, for example, 5 m, 10 m or 15 m, from the vehicle.

In Antwort auf das Erfassen des ID-Gebers im vorbestimmten Abstand aktiviert das Fahrzeug die Außenkameras, hier also Kameras, die dazu eingerichtet sind, das Umfeld des Fahrzeugs zu erkennen und mit den Kamerabildern bei Parkvorgängen den Fahrer zu unterstützen. Das Fahrzeug erkennt dann mittels der Kameras, dass der Benutzer eine Geste ausführt und dem Fahrzeug zugewandt ist. Dabei untersucht das Fahrzeug mithilfe von z.B. Computer Vision Algorithmen oder machine learning Algorithmen nur den Bereich im Umfeld des Fahrzeugs, der um die erkannte Position herum liegt. Dabei wird insgesamt ein Winkelbereich von ca. 20° um die erkennte Position herum untersucht. Die Verwendung dieses Ausschnitts ermöglicht es, dass eine Geste schneller erkannt werden kann, als wenn das gesamte Umfeld des Fahrzeugs auf Benutzer und die Geste hin hätte untersucht werden müssen.In response to the detection of the ID transmitter at a predetermined distance, the vehicle activates the external cameras, in this case cameras that are set up to recognize the surroundings of the vehicle and to support the driver with the camera images when parking. The vehicle then uses the cameras to recognize that the user is making a gesture and is facing the vehicle. With the help of e.g. computer vision algorithms or machine learning algorithms, the vehicle only examines the area around the vehicle that is around the recognized position. In doing so, an angular range of approx. 20 ° around the recognized position is examined. The use of this section enables a gesture to be recognized more quickly than if the entire surroundings of the vehicle had to be examined for the user and the gesture.

Wenn in den Aufnahmen der Kamera erkannt wird, dass eine bestimmte Geste ausgeführt wird, wird die Öffnung oder Schließung des entsprechenden Fahrzeugteils veranlasst. Es kann eine Zuordnung zwischen verschiedenen Gesten und Fahrzeugteilen geben. Je nachdem, welche Geste ausgeführt wird, wird die Öffnung oder andere Funktion eines anderen Fahrzeugteils veranlasst.If it is recognized in the recordings of the camera that a certain gesture is being carried out, the opening or closing of the corresponding part of the vehicle is initiated. There can be an association between various gestures and vehicle parts. Depending on which gesture is performed, the opening or other function of another vehicle part is initiated.

Claims

A method for actuating electrically movable vehicle parts of a vehicle, the vehicle comprising radio means or cameras with which the position of a further radio means carried by a user can be detected relative to the vehicle, the vehicle comprising cameras that record the surroundings of the vehicle, the Vehicle comprising electronic computing means, the method comprising: Using the radio means or cameras, recognizing that the position of the further radio means is within a predetermined distance from the vehicle; Evaluating camera recordings in an area around the recognized position, as to whether a user is performing a predetermined gesture; If the user performs a predetermined gesture, actuation of the movable vehicle part that is assigned to the recognized gesture.

Procedure according to Claim 1 wherein an electric movable vehicle part is a vehicle part which is movable relative to the remainder of the vehicle and in which the movement is at least initiated by electrical means.

Method according to one of the preceding claims, wherein the electrically movable vehicle part is a sunroof, doors, a tailgate, a fuel filler flap, a loading flap, windows, front flap and convertible top, aerodynamic parts and spoilers, mirrors or vehicle functions (e.g. lights).

Method according to one of the preceding claims, wherein a gesture is a predetermined movement of a body part, in particular a movement of the hand, arm, head, foot and / or leg.

Method according to one of the preceding claims, wherein the area around the recognized position is defined as an angular range, in particular a horizontal angular range, which extends 10 °, 20 ° or 30 ° around the direction of the recognized position.

Vehicle comprising at least one electrically movable vehicle part, wherein the vehicle comprises radio means and / or cameras for position detection, with which the position of a further radio means carried by a user can be detected relative to the vehicle, the vehicle comprising cameras that record the surroundings of the vehicle, wherein the vehicle is set up to carry out a method according to one of the preceding claims.