DE102016114160A1

DE102016114160A1 - Method for at least semi-autonomous maneuvering of a motor vehicle into a garage on the basis of ultrasound signals and camera images, driver assistance system and motor vehicle

Info

Publication number: DE102016114160A1
Application number: DE102016114160.7A
Authority: DE
Inventors: Marco Heimberger; Myles Friel
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-08-01
Filing date: 2016-08-01
Publication date: 2018-02-01
Also published as: WO2018024585A1

Abstract

Die Erfindung betrifft ein Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs (1) in eine Garage (10), bei welchem während das Kraftfahrzeug (1) entlang eines Fahrschlauchs (12) zu der Garage (10) manövriert wird, mit einem Ultraschallsensor (4) des Kraftfahrzeugs (1) Ultraschallsignale ausgesendet und von Objekten (8) in einer Umgebung (7) des Kraftfahrzeugs (1) reflektierte Ultraschallsignale empfangen werden und anhand der empfangenen Ultraschallsignale die Objekte (8) in der Umgebung (7) identifiziert werden und während des Manövrierens mit einer Kamera (9) des Kraftfahrzeugs (1) Bilder (13) bereitgestellt werden, welche die Umgebung (7) beschreiben, wobei falls zumindest eines der Objekte (8) anhand der empfangenen Ultraschallsignale als Hindernis in dem Fahrschlauch (12) identifiziert wird, anhand von zumindest einem der Bilder (13), welches einen dem identifizierten Hindernis zugeordneten Bereich in der Umgebung (7) beschreibt, erkannt wird, ob die empfangenen Ultraschallsignale von einer Komponente der Garage (10) reflektiert wurden.The invention relates to a method for at least semi-autonomous maneuvering of a motor vehicle (1) into a garage (10), in which the motor vehicle (1) is maneuvered along a driving tube (12) to the garage (10) with an ultrasonic sensor ( 4) of the motor vehicle (1) emitted ultrasonic signals and objects (8) in an environment (7) of the motor vehicle (1) reflected ultrasonic signals are received and based on the received ultrasonic signals, the objects (8) in the environment (7) are identified and during Maneuvering with a camera (9) of the motor vehicle (1) images (13) are provided, which describe the environment (7), wherein if at least one of the objects (8) identifies using the received ultrasonic signals as an obstacle in the driving tube (12) is, on the basis of at least one of the images (13), which describes an area associated with the identified obstacle in the environment (7) is detected whether the rec pleasant ultrasonic signals from a component of the garage (10) were reflected.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs in eine Garage, bei welchem während das Kraftfahrzeug entlang eines Fahrschlauchs zu der Garage manövriert wird, mit einem Ultraschallsensor des Kraftfahrzeugs Ultraschallsignale ausgesendet und von Objekten in der Umgebung des Kraftfahrzeugs reflektierte Ultraschallsignale empfangen werden und anhand der empfangenen Ultraschallsignale die Objekte in der Umgebung identifiziert werden. Zudem werden während des Manövrierens mit einer Kamera des Kraftfahrzeugs Bilder bereitgestellt, welche die Umgebung beschreiben. Darüber hinaus betrifft die vorliegende Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug. Schließlich betrifft die vorliegende Erfindung ein Kraftfahrzeug. The present invention relates to a method for at least semi-autonomous maneuvering of a motor vehicle in a garage, in which while the motor vehicle is maneuvered along a driving tube to the garage, transmitted with an ultrasonic sensor of the motor vehicle ultrasonic signals and received from objects in the vicinity of the motor vehicle reflected ultrasonic signals and identify the objects in the environment based on the received ultrasound signals. In addition, images are provided during maneuvering with a camera of the motor vehicle, which describe the environment. Moreover, the present invention relates to a driver assistance system for a motor vehicle. Finally, the present invention relates to a motor vehicle.

Das Interesse richtet sich vorliegend insbesondere auf Verfahren, mit denen ein Kraftfahrzeug in eine Garage manövriert bzw. eingeparkt werden kann. Hierzu kann beispielsweise eine Einparktrajektorie bestimmt werden, welche sich von der aktuellen Position des Kraftfahrzeugs außerhalb der Garage zu einer Parkposition innerhalb der Garage erstreckt. Dabei kann es vorgesehen sein, dass das Kraftfahrzeug mithilfe eines Fahrerassistenzsystems des Kraftfahrzeugs zumindest semi-autonom entlang dieser Einparktrajektorie manövriert wird. Hierzu kann das Fahrerassistenzsystem in die Lenkung eingreifen und dem Fahrer des Kraftfahrzeugs bleibt es weiterhin überlassen, das Gaspedal und die Bremse zu betätigen. Ferner kann das Kraftfahrzeug auch vollautonom entlang der Einparktrajektorie manövriert werden. Hierbei übernimmt das Fahrerassistenzsystem ferner den Eingriff in einen Antriebsmotor und/oder ein Bremssystem des Kraftfahrzeugs. Ferner sind aus dem Stand der Technik Verfahren bekannt, bei welchen der Fahrer das Kraftfahrzeug verlässt und das Kraftfahrzeug dann ferngesteuert in die Garage eingepackt wird. In the present case, the interest is directed in particular to methods with which a motor vehicle can be maneuvered or parked in a garage. For this purpose, for example, a parking trajectory can be determined, which extends from the current position of the motor vehicle outside the garage to a parking position within the garage. It may be provided that the motor vehicle is maneuvered at least semi-autonomously along this parking trajectory with the aid of a driver assistance system of the motor vehicle. For this purpose, the driver assistance system can intervene in the steering and the driver of the motor vehicle is still left to operate the accelerator pedal and the brake. Furthermore, the motor vehicle can also be fully autonomously maneuvered along the parking trajectory. In this case, the driver assistance system also takes over the intervention in a drive motor and / or a brake system of the motor vehicle. Furthermore, methods are known from the prior art, in which the driver leaves the motor vehicle and the motor vehicle is then remotely packed in the garage.

Hierzu beschreibt die DE 10 2012 200 625 A1 ein Verfahren zur Ausführung eines Parkvorgangs eines Fahrzeugs mittels einer Fernsteuerung, durch welche eine Längs- und/oder Querregelung des Fahrzeugs erfolgen kann. Dabei ist die Ausführung des Parkvorgangs über die Fernsteuerung aktivierbar. Mit einer Fernsteuerung kann hierbei die Längsregelung des Kraftfahrzeugs steuerbar seien. Die Querregelung kann von einem Parkassistenten im Fahrzeug übernommen werden. Ferner kann das Fahrzeug Ultraschallsensoren aufweisen, welche eine Garage, insbesondere die Garagenwände, detektieren. Zudem kann das Fahrzeug eine Frontkamera und eine Rückkamera aufweisen, welche Bilder der Fahrzeugumgebung aufnehmen und für die Parkassistenzfunktionen analysieren. This describes the DE 10 2012 200 625 A1 a method for performing a parking operation of a vehicle by means of a remote control, by which a longitudinal and / or transverse control of the vehicle can take place. The execution of the parking operation can be activated via the remote control. With a remote control in this case the longitudinal control of the motor vehicle can be controlled. The lateral control can be taken over by a parking assistant in the vehicle. Furthermore, the vehicle may have ultrasonic sensors which detect a garage, in particular the garage walls. In addition, the vehicle may have a front camera and a rear camera, which take pictures of the vehicle environment and analyze for the parking assistance functions.

Wenn das Kraftfahrzeug in Richtung der Garage bewegt wird, werden üblicherweise Messungen mit zumindest einem Ultraschallsensor des Fahrerassistenzsystems durchgeführt. Auf Grundlage der Messungen des Ultraschallsensors können dann Hindernisse in der Umgebung des Kraftfahrzeugs erkannt werden und das Einparkmanöver in die Garage gegebenenfalls abgebrochen werden. Dabei ergibt sich die Problematik, dass Komponenten der Garage auf Grundlage der Messungen des Ultraschallsensors als Hindernisse erkannt werden. Eine Möglichkeit dies zu vermeiden besteht darin, die Empfindlichkeit des Ultraschallsensors herabzusetzen. Dies bringt aber die Gefahr mit sich, dass gegebenenfalls niedrige Hindernisse in der Umgebung des Kraftfahrzeugs nicht zuverlässig erfasst werden können und das Kraftfahrzeug somit mit diesen kollidieren kann. When the motor vehicle is moved in the direction of the garage, measurements are usually carried out with at least one ultrasonic sensor of the driver assistance system. On the basis of the measurements of the ultrasonic sensor, obstacles in the surroundings of the motor vehicle can then be detected and the parking maneuver in the garage can be interrupted if necessary. This results in the problem that components of the garage are detected as obstacles based on the measurements of the ultrasonic sensor. One way to avoid this is to reduce the sensitivity of the ultrasonic sensor. However, this entails the risk that possibly low obstacles in the surroundings of the motor vehicle can not be detected reliably and the motor vehicle can thus collide with them.

Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie ein autonomer Einparkvorgang in eine Garage sicherer und zuverlässiger durchgeführt werden kann. It is an object of the present invention to provide a solution as to how an autonomous parking operation in a garage can be carried out more safely and reliably.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche. This object is achieved by a method by a driver assistance system and by a motor vehicle with the features according to the respective independent claims. Advantageous developments of the present invention are the subject of the dependent claims.

Bei einer Ausführungsform eines Verfahrens zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs in eine Garage werden bevorzugt während das Kraftfahrzeug entlang eines Fahrschlauchs zu der Garage manövriert wird, mit einem Ultraschallsensor des Kraftfahrzeugs Ultraschallsignale ausgesendet und von Objekten in einer Umgebung des Kraftfahrzeugs reflektierte Ultraschallsignale empfangen. Bevorzugt werden anhand der empfangenen Ultraschallsignale die Objekte in der Umgebung identifiziert. Des Weiteren ist es bevorzugt vorgesehen, dass während des Manövrierens mit einer Kamera des Kraftfahrzeugs Bilder bereitgestellt werden, welche die Umgebung beschreiben. Falls das Objekt anhand der empfangenen Ultraschallsignale als Hindernis in dem Fahrschlauch identifiziert wird, wird insbesondere anhand von zumindest einem der Bilder, welches einen dem identifizierten Hindernis zugeordneten Bereich in der Umgebung beschreibt, erkannt, ob die empfangenen Ultraschallsignale von einer Komponente der Garage reflektiert wurden. In one embodiment of a method for at least semi-autonomous maneuvering of a motor vehicle into a garage, while the motor vehicle is being maneuvered along a travel tube to the garage, ultrasound signals are emitted with an ultrasound sensor of the motor vehicle and ultrasound signals received from objects in an environment of the motor vehicle are received. The objects in the environment are preferably identified on the basis of the received ultrasound signals. Furthermore, it is preferably provided that during maneuvering with a camera of the motor vehicle images are provided which describe the environment. If the object is identified as an obstacle in the travel tube on the basis of the received ultrasound signals, in particular on the basis of at least one of the images which describes an area associated with the identified obstacle in the environment, it is detected whether the received ultrasound signals were reflected by a component of the garage.

Ein erfindungsgemäßes Verfahren dient zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs in eine Garage. Hierbei werden während das Kraftfahrzeug entlang eines Fahrschlauchs zu der Garage manövriert wird, mit einem Ultraschallsensor des Kraftfahrzeugs Ultraschallsignale ausgesendet und von Objekten in einer Umgebung des Kraftfahrzeugs reflektierte Ultraschallsignale empfangen. Ferner werden anhand der empfangenen Ultraschallsignale die Objekte in der Umgebung identifiziert. Des Weiteren werden während des Manövrierens mit einer Kamera des Kraftfahrzeugs Bilder bereitgestellt, welche die Umgebung beschreiben. Falls zumindest eines der Objekte anhand der empfangenen Ultraschallsignale als Hindernis in dem Fahrschlauch identifiziert wird, wird anhand von zumindest einem der Bilder, welches einen dem identifizierten Hindernis zugeordneten Bereich in der Umgebung beschreibt, erkannt, ob die empfangenen Ultraschallsignale von einer Komponente der Garage reflektiert wurden. An inventive method is used for at least semi-autonomous maneuvering of a motor vehicle in a garage. In this case, while the motor vehicle is being maneuvered along a driving tube to the garage, ultrasound signals are emitted by an ultrasonic sensor of the motor vehicle and emitted by objects in an environment of the vehicle Motor vehicle reflected ultrasonic signals received. Furthermore, the objects in the environment are identified on the basis of the received ultrasound signals. Furthermore, images are provided during maneuvering with a camera of the motor vehicle, which describe the environment. If at least one of the objects is identified as an obstacle in the travel tube based on the received ultrasound signals, it is determined from at least one of the images describing an area associated with the identified obstacle in the environment whether the received ultrasound signals were reflected by a component of the garage ,

Mithilfe des Verfahrens soll das Kraftfahrzeug zumindest semi-autonom in eine Garage manövriert bzw. eingeparkt werden. Bei der Garage handelt es sich insbesondere um eine Garage, die durch Wände und eine Decke begrenzt ist, und welche eine Einfahrt aufweist, welche beispielsweise von einem Garagentor verschlossen werden kann. Bei der Garage kann es sich beispielsweise um eine Einzelgarage oder um eine Doppelgarage handeln. Das Verfahren kann beispielsweise mit einem entsprechenden Fahrerassistenzsystem des Kraftfahrzeugs durchgeführt werden. Zum zumindest semiautonomen Manövrieren des Kraftfahrzeugs kann zunächst eine Einparktrajektorie bestimmt werden. Diese Einparktrajektorie kann sich von einem Startpunkt bzw. von der aktuellen Position des Kraftfahrzeugs zu einer Parkposition innerhalb der Garage erstrecken. Entlang dieser Einparktrajektorie kann dann das Kraftfahrzeug mithilfe des Fahrerassistenzsystems manövriert werden. Hierzu kann das Fahrerassistenzsystem einen Eingriff in die Lenkung, einen Antriebsmotor und/oder ein Bremssystem des Kraftfahrzeugs durchführen. Grundsätzlich kann es auch vorgesehen sein, dass das Kraftfahrzeug entlang der Einparktrajektorie ferngesteuert manövriert wird. By means of the method, the motor vehicle should be maneuvered or parked in a garage, at least semi-autonomously. The garage is in particular a garage which is bounded by walls and a ceiling and which has a driveway which can be closed, for example, by a garage door. The garage can be, for example, a single garage or a double garage. The method can be carried out, for example, with a corresponding driver assistance system of the motor vehicle. For at least semi-autonomous maneuvering of the motor vehicle, a parking trajectory can first be determined. This parking trajectory can extend from a starting point or from the current position of the motor vehicle to a parking position within the garage. Along this parking trajectory, the motor vehicle can then be maneuvered by means of the driver assistance system. For this purpose, the driver assistance system can perform an intervention in the steering, a drive motor and / or a brake system of the motor vehicle. In principle, it can also be provided that the motor vehicle is maneuvered remotely controlled along the parking trajectory.

Während des Manövrierens des Kraftfahrzeugs bzw. während der Bewegung des Kraftfahrzeugs entlang der Einparktrajektorie werden mit zumindest einem Ultraschallsensor des Kraftfahrzeugs fortlaufend Messungen durchgeführt. Hierzu sendet der Ultraschallsensor das Ultraschallsignal aus, welches dann von den Objekten in der Umgebung des Kraftfahrzeugs reflektiert wird. Die Ultraschallsignale, die von den Objekten reflektiert wurden, können dann mit dem Ultraschallsensor wieder empfangen werden. Die reflektierten Ultraschallsignale können dann mithilfe eines elektronischen Steuergeräts des Fahrerassistenzsystems ausgewertet werden. Beispielsweise kann eine digitale Umgebungskarte erzeugt werden, welche die Umgebung des Kraftfahrzeugs beschreibt. Ferner kann es vorgesehen sein, dass die Objekte, die mit dem Ultraschallsensor erfasst wurden, entsprechend klassifiziert bzw. identifiziert werden. Hierbei können die Objekte beispielsweise als hohe Objekte oder als niedrige Objekte klassifiziert werden. Dabei stellen hohe Objekte ein Hindernis für das Kraftfahrzeug dar, welches zu einer Kollision zwischen dem Kraftfahrzeug und dem Objekt führen kann. Niedrige Objekte können beispielsweise solche Objekte sein, welche mit dem Kraftfahrzeug überfahren werden können, ohne dass eine Beschädigung des Kraftfahrzeugs droht. During the maneuvering of the motor vehicle or during the movement of the motor vehicle along the parking trajectory, measurements are continuously carried out with at least one ultrasonic sensor of the motor vehicle. For this purpose, the ultrasonic sensor transmits the ultrasonic signal, which is then reflected by the objects in the surroundings of the motor vehicle. The ultrasonic signals reflected from the objects can then be received again with the ultrasonic sensor. The reflected ultrasound signals can then be evaluated by means of an electronic control unit of the driver assistance system. For example, a digital environment map may be generated which describes the environment of the motor vehicle. Furthermore, provision may be made for the objects which have been detected with the ultrasound sensor to be correspondingly classified or identified. In this case, the objects can be classified, for example, as tall objects or as low objects. In this case, high objects constitute an obstacle for the motor vehicle, which can lead to a collision between the motor vehicle and the object. Low objects can be, for example, objects that can be run over by the motor vehicle without the risk of damaging the motor vehicle.

Gemäß einem wesentlichen Aspekt der vorliegenden Erfindung ist es vorgesehen, dass wenn auf Grundlage der empfangenen Ultraschallsignale ein Objekt als Hindernis identifiziert wird, welches sich in dem Fahrschlauch befindet, das Vorhandensein dieses Hindernisses auf Grundlage zumindest eines Bilds, das mit der Kamera aufgenommen wird, überprüft wird. Es wird also überprüft, ob das auf Grundlage der Ultraschallmessungen erkannte Hindernis tatsächlich vorhanden ist. Insbesondere wird überprüft, ob dieses Hindernis in dem Fahrschlauch angeordnet ist. Der Fahrschlauch beschreibt dabei denjenigen Bereich in der Umgebung des Kraftfahrzeugs, der bei der zukünftigen Bewegung des Kraftfahrzeugs entlang der Einparktrajektorie von dem Kraftfahrzeug eingenommen wird. Falls auf Grundlage der Ultraschallmessungen das Hindernis in dem Fahrschlauch erkannt wurde, wird zumindest ein Bild herangezogen, welches mit der Kamera aufgenommen wurde, und welches einen Bereich in der Umgebung beschreibt, in dem sich das vermeintliche Hindernis befindet. Auf Grundlage dieses zumindest einen Bildes wird nun überprüft, ob dieses Hindernis tatsächlich vorhanden ist oder ob die empfangenen Ultraschallsignale von einer Komponente der Garage stammen, die sich aber nicht in dem Fahrschlauch befindet. Dem liegt die Erkenntnis zugrunde, dass bestimmte Komponenten bzw. Bauteile der Garage das mit dem Ultraschallsensor ausgesendete Ultraschallsignal derart reflektieren können, dass das reflektierte Ultraschallsignal als Hindernis in dem Fahrschlauch erkannt wird. Dadurch, dass auf Grundlage des zumindest einen Bildes überprüft wird, ob dieses Hindernis tatsächlich vorhanden ist oder ob die empfangenen Ultraschallsignale von einer Komponente der Garage stammen. Damit kann beispielsweise darauf verzichtet werden, die Empfindlichkeit des Ultraschallsensors während des Einparkens des Kraftfahrzeugs in die Garage zu reduzieren. Damit kann auf zuverlässige Weise verhindert werden, dass beispielsweise niedrige Objekte auf Grundlage der reduzierten Empfindlichkeit des Ultraschallsensors nicht erkannt werden und somit das Kraftfahrzeug mit diesen kollidiert. Auf diese Weise kann insgesamt der zumindest semi-autonome Einparkvorgang in eine Garage sicherer und zuverlässiger gestaltet werden. According to an essential aspect of the present invention, if, based on the received ultrasound signals, an object is identified as an obstacle located in the driving tube, the presence of this obstacle is checked on the basis of at least one image taken with the camera becomes. It is thus checked whether the obstacle detected on the basis of the ultrasonic measurements is actually present. In particular, it is checked whether this obstacle is arranged in the driving tube. The travel tube describes the region in the vicinity of the motor vehicle which is occupied by the motor vehicle during the future movement of the motor vehicle along the parking trajectory. If, on the basis of the ultrasound measurements, the obstacle in the driving tube has been detected, at least one image is taken which was recorded with the camera and which describes an area in the environment in which the supposed obstacle is located. On the basis of this at least one image is now checked whether this obstacle is actually present or whether the received ultrasonic signals come from a component of the garage, but which is not in the driving tube. This is based on the finding that certain components or components of the garage can reflect the ultrasound signal emitted by the ultrasound sensor in such a way that the reflected ultrasound signal is detected as an obstacle in the travel tube. By checking on the basis of the at least one image whether this obstacle is actually present or whether the received ultrasound signals originate from a component of the garage. This can be dispensed, for example, to reduce the sensitivity of the ultrasonic sensor during parking of the motor vehicle in the garage. This can be reliably prevented that, for example, low objects based on the reduced sensitivity of the ultrasonic sensor are not recognized and thus the motor vehicle collides with them. In this way, the at least semi-autonomous parking process in a garage can be made safer and more reliable overall.

Bevorzugt bleibt das anhand der empfangenen Ultraschallsignale identifizierte Hindernis bei dem Manövrieren des Kraftfahrzeugs in die Garage unberücksichtigt, falls die empfangenen Ultraschallsignale als von der Komponente der Garage reflektiert erkannt werden. Beispielsweise kann das zumindest semi-autonome Einparkmanöver derart durchgeführt werden, dass das Einparkmanöver abgebrochen wird und/oder das Kraftfahrzeug abgebremst wird, falls ein Hindernis in dem Fahrschlauch erkannt wird. Hat nun die Überprüfung auf Grundlage des Bildes der Kamera ergeben, dass das auf Grundlage der Ultraschallmessungen identifizierte Hindernis tatsächlich nicht vorhanden ist, kann dieses vermeintliche Hindernis bei dem Einparkmanöver unberücksichtigt bleiben. Dies bedeutet insbesondere, dass das Verfahren nicht abgebrochen wird oder das Kraftfahrzeug abgebremst wird. Dies ermöglicht eine zuverlässige Durchführung des Einparkmanövers. Preferably, the obstacle identified on the basis of the received ultrasound signals is disregarded in the maneuvering of the motor vehicle into the garage if the received Ultrasound signals are detected as reflected by the component of the garage. For example, the at least semi-autonomous parking maneuver be performed such that the parking maneuver is canceled and / or the motor vehicle is decelerated if an obstacle in the travel tube is detected. If the check on the basis of the image of the camera has now shown that the obstacle identified on the basis of the ultrasonic measurements is actually not present, this supposed obstacle can be disregarded in the parking maneuver. This means in particular that the process is not stopped or the motor vehicle is braked. This allows a reliable implementation of the parking maneuver.

Gemäß einer weiteren Ausführungsform werden die empfangenen Ultraschallsignale als von der Komponente der Garage reflektiert erkannt, falls in dem zumindest einen Bild zumindest ein Teil der Garage erkannt wurde. Die Kamera des Kraftfahrzeugs kann beispielsweise derart ausgerichtet und/oder ausgebildet sein, dass diese Bilder von einem Bereich der Umgebung aufnehmen kann, welcher sich in Fahrtrichtung vor dem Kraftfahrzeug befindet. Wenn nun innerhalb des Bilds, das mit der Kamera aufgenommen wurde, die Garage oder zumindest ein Teil der Garage erkannt wurde, kann davon ausgegangen werden, dass die von dem Ultraschallsensor empfangenen Ultraschallsignale von einem Teil oder einer Komponente der Garage reflektiert wurden. Eine solche Komponente der Garage kann beispielsweise Wand der Garage sein, welche die Garage oder einen Stellplatz innerhalb der Garage begrenzt. Die Komponente kann auch eine Decke oder ein Boden der Garage sein. Als Komponente der Garage kann auch ein Garagentor, mit dem eine Einfahrt der Garage verschlossen werden kann, erkannt werden. Falls also eine solche Komponente oder ein Teil der Garage in zumindest einem Bild, welches den Bereich des vermeintlichen Hindernisses beschreibt angeordnet ist, kann mit einer hohen Wahrscheinlichkeit davon ausgegangen werden, dass die reflektierten Ultraschallsignale von dieser Komponente der Garage stammen. According to a further embodiment, the received ultrasonic signals are detected as reflected by the component of the garage if at least one part of the garage has been recognized in the at least one image. The camera of the motor vehicle, for example, be aligned and / or trained so that they can take pictures of an area of the environment, which is located in the direction of travel in front of the motor vehicle. If the garage or at least part of the garage has now been detected within the image taken with the camera, it can be assumed that the ultrasound signals received by the ultrasound sensor were reflected by a part or a component of the garage. Such a component of the garage may, for example, be the wall of the garage which limits the garage or a parking space within the garage. The component may also be a ceiling or a floor of the garage. As a component of the garage, a garage door, with which an entrance of the garage can be closed, can be detected. If, therefore, such a component or a part of the garage is arranged in at least one image which describes the area of the supposed obstacle, it can be assumed with a high probability that the reflected ultrasound signals originate from this component of the garage.

Dabei ist es insbesondere vorgesehen, dass die empfangenen Ultraschallsignale als von der Komponente der Garage reflektiert erkannt werden, falls in dem zumindest einen Bild eine Einfahrt der Garage erkannt wird. Die Einfahrt der Garage beschreibt insbesondere diejenige Öffnung der Garage, durch welche das Kraftfahrzeug bei dem Einparken in die Garage bewegt wird. Die Einfahrt der Garage kann insbesondere mit einem Garagentor verschlossen werden. An die Einfahrt der Garage können Wände der Garage, die Decke der Garage und/oder ein Boden der Garage angrenzen. Hierbei hat es sich gezeigt, dass diese Komponenten der Garage, die an die Einfahrt der Garage angrenzen mit einer hohen Wahrscheinlichkeit zu Reflexionen des ausgesendeten Ultraschallsignals führen können, welche dann als Hindernis in dem Fahrschlauch identifiziert werden können. Wenn nun in dem zumindest einen Bild die Einfahrt der Garage und/oder Komponenten der Garage, welche an die Einfahrt angrenzen, erkannt werden, kann mit einer hohen Wahrscheinlichkeit davon ausgegangen werden, dass die reflektierten Ultraschallsignale von einer dieser Komponenten stammen. In this case, provision is made in particular for the received ultrasonic signals to be recognized as reflected by the component of the garage if an entrance of the garage is detected in the at least one image. The entrance of the garage describes in particular that opening of the garage through which the motor vehicle is moved when parking in the garage. The entrance of the garage can be closed in particular with a garage door. At the entrance of the garage walls of the garage, the ceiling of the garage and / or a floor of the garage may be adjacent. It has been shown that these components of the garage, which adjoin the entrance of the garage with high probability to reflections of the emitted ultrasonic signal can lead, which can then be identified as an obstacle in the driving tube. If now in the at least one image, the entrance of the garage and / or components of the garage, which adjoin the entrance, are detected, it can be assumed with a high probability that the reflected ultrasonic signals originate from one of these components.

Gemäß einer weiteren Ausgestaltung wird die Einfahrt der Garage als Rechteck in dem zumindest einen Bild erkannt, wobei sich eine Helligkeit in dem Inneren und dem Äußeren des Rechtecks unterscheidet. Es kann also überprüft werden, ob sich in dem zumindest einen Bild, das dem vermeintlich erkannten Hindernis zugeordnet ist, ein Rechteck befindet. Hierbei kann insbesondere überprüft werden, ob ein Bereich innerhalb des Rechtecks dunkler ist als ein Bereich außerhalb des Rechtecks. Dabei wird berücksichtigt, dass beispielsweise die Wände, welche die Einfahrt der Garage begrenzen, heller sind als der Bereich innerhalb der unbeleuchteten Garage. Beispielsweise kann mithilfe eines entsprechenden Bildverarbeitungsprogramms das Vorhandensein eines Rechtecks in dem Bild überprüft werden. Falls ein Rechteck erkannt wurde, kann überprüft werden, ob Bereiche bzw. Bildpunkte innerhalb des Rechtecks eine geringere Helligkeit aufweisen als Bildpunkte außerhalb des Rechtecks. Somit kann auf einfache und zuverlässige Weise die Einfahrt der Garage in dem zumindest einen Bild erkannt werden. According to a further embodiment, the entrance of the garage is recognized as a rectangle in the at least one image, wherein a brightness differs in the interior and the exterior of the rectangle. It can therefore be checked whether there is a rectangle in the at least one image which is assigned to the allegedly recognized obstacle. In particular, it can be checked here whether an area within the rectangle is darker than an area outside the rectangle. It is considered that, for example, the walls that limit the entrance of the garage, are brighter than the area within the unlit garage. For example, by using an appropriate image processing program, the presence of a rectangle in the image can be checked. If a rectangle has been detected, it can be checked whether areas or pixels within the rectangle have lower brightness than pixels outside the rectangle. Thus, the entrance of the garage can be recognized in the at least one image in a simple and reliable manner.

Gemäß einer weiteren Ausgestaltung wird zum Erkennen der Garage in dem zumindest einen Bild ein Merkmal aus dem zumindest einen Bild extrahiert, wobei zum Extrahieren des Merkmals ein Merkmalsdeskriptor verwendet wird. Beispielsweise kann zunächst eine entsprechende Vorverarbeitung des aufgenommenen Bildes durchgeführt werden. Des Weiteren kann es vorgesehen sein, dass beispielsweise eine entsprechende Segmentierung durchgeführt wird. Im Anschluss daran kann eine Merkmalsextraktion durchgeführt werden, bei welcher die Einfahrt der Garage und insbesondere das Rechteck, welche die Einfahrt der Garage repräsentiert, erkannt wird. Hierzu können Verfahren des maschinellen Sehens oder des Computersehens verwendet werden. Zur Merkmalsextraktion kann beispielsweise ein entsprechender Deskriptor bzw. Merkmalsdeskriptor verwendet werden. Als Merkmalsdeskriptor kann beispielsweise das Histogramm der orientierten Gradienten (Histogram of Orientated Gradients – HOG) verwendet werden. Darüber hinaus kann als Merkmalsdeskriptor beispielsweise lokale binäre Muster (Local Binary Patterns – LBP) verwendet werden. Somit kann das Rechteck in dem Bild zuverlässig erkannt werden. According to a further refinement, to identify the garage in the at least one image, a feature is extracted from the at least one image, a feature descriptor being used for extracting the feature. For example, a corresponding preprocessing of the recorded image can first be carried out. Furthermore, it may be provided that, for example, a corresponding segmentation is performed. Subsequently, a feature extraction can be carried out, in which the entrance of the garage and in particular the rectangle, which represents the entrance of the garage, is detected. For this purpose, methods of machine vision or computer vision can be used. For feature extraction, for example, a corresponding descriptor or feature descriptor can be used. As a feature descriptor, for example, the histogram of oriented gradients (HOG) can be used. In addition, as a feature descriptor, for example, Local Binary Patterns (LBP) may be used. Thus, the rectangle in the image can be reliably recognized.

Weiterhin ist es vorteilhaft, wenn das Erkennen der Garage in dem zumindest einen Bild auf Grundlage von maschinellem Lernen durchgeführt wird, wobei das maschinelle Lernen auf Lerndaten basiert, welche Einfahrten mit unterschiedlichen Beleuchtungsverhältnissen beschreiben. Weiterhin kann das maschinelle Lernen verwendet werden, um die Einfahrt der Garage bzw. das Rechteck, welches die Einfahrt der Garage repräsentiert, in dem zumindest einen Bild zu erkennen. Dabei können unterschiedliche Verfahren des maschinellen Lernens und insbesondere das sogenannte Deep Learning verwendet werden. Dieses maschinelle Lernen kann auf Lerndaten bzw. auf Lernbildern basieren, welche Einfahrten von Garagen mit unterschiedlichen Beleuchtungsverhältnissen beschreiben. Diese unterschiedlichen Beleuchtungsverhältnisse können beispielsweise durch unterschiedliche Lichtverhältnisse am Tag und in der Nacht in der Umgebung der Garage entstehen. Ferner können die unterschiedlichen Beleuchtungsverhältnisse dadurch entstehen, dass die Garage im Innenraum beleuchtet ist oder dass die Garage durch die Scheinwerfer des Kraftfahrzeugs im Innenraum beleuchtet wird. Diese unterschiedlichen Beleuchtungsverhältnisse können mit den Lerndaten eingelernt werden und somit kann die Einfahrt der Garage zuverlässig in den Bildern erkannt werden. Furthermore, it is advantageous if the recognition of the garage in the at least one image is carried out on the basis of machine learning, wherein the machine learning is based on learning data which describes entries with different lighting conditions. Furthermore, the machine learning can be used to recognize the entrance of the garage or the rectangle, which represents the entrance of the garage, in the at least one image. In this case, different methods of machine learning and in particular the so-called deep learning can be used. This machine learning can be based on learning data or on learning images describing driveways of garages with different lighting conditions. These different lighting conditions can arise, for example, due to different light conditions during the day and at night in the surroundings of the garage. Furthermore, the different lighting conditions can arise because the garage is illuminated in the interior or that the garage is illuminated by the headlights of the motor vehicle in the interior. These different lighting conditions can be taught with the learning data and thus the entrance of the garage can be reliably detected in the images.

In einer weiteren Ausgestaltung wird in dem zumindest einen Bild als die Komponente der Garage eine Stufe in der Einfahrt erkannt, welche zwischen einem Zufahrtsweg zu der Garage und einer Abstellfläche innerhalb der Garage angeordnet ist. Die Abstellfläche, auf welcher das Kraftfahrzeug zum Parken abgestellt werden kann, kann beispielsweise auf einem Boden der Garage angeordnet sein. Dieser Boden der Garage kann beispielsweise im Vergleich zu einem Anfahrtsweg, welcher zu der Garage führt, höher gelegen sein. Dadurch ergibt sich eine Stufe zwischen dem Anfahrtsweg und der Abstellfläche der Garage. Es hat sich herausgestellt, dass insbesondere von dieser Stufe die Ultraschallsignale, die mit dem Ultraschallsensor ausgesendet werden, derart reflektiert werden, dass diese als Hindernisse in dem Fahrschlauch erkannt werden. Dies ist insbesondere dann gegeben, wenn auf dieser Stufe oder um die Einfahrt herum ein Metallrahmen oder ein Metallblech angeordnet ist. Wenn also eine derartige Stufe oder ein derartiges Metallblech in den Bildern erkannt wird, kann davon ausgegangen werden, dass die reflektierten Ultraschallsignale von dieser Stufe und/oder von diesem Metallblech stammen. In a further embodiment, in the at least one image as the component of the garage, a step in the driveway is detected, which is arranged between an access road to the garage and a parking space within the garage. The parking space on which the motor vehicle can be parked for parking, can be arranged for example on a floor of the garage. For example, this floor of the garage may be higher compared to an access road leading to the garage. This results in a step between the approach path and the parking space of the garage. It has been found that in particular from this stage, the ultrasonic signals which are emitted with the ultrasonic sensor, are reflected such that they are recognized as obstacles in the driving tube. This is especially true when a metal frame or sheet metal is placed around this step or around the entrance. Thus, if such a step or sheet metal is detected in the images, it can be assumed that the reflected ultrasonic signals originate from that step and / or from this metal sheet.

Hierbei ist es insbesondere vorgesehen, dass die Stufe in der Einfahrt als Linie in dem zumindest einen Bild erkannt wird, welche sich im Wesentlichen entlang einer Horizontalen erstreckt. Beispielsweise kann ein entsprechender Objekterkennungsalgorithmus verwendet werden, welcher Linien in dem zumindest einen Bild erkennen kann. Wenn das Metallblech erkannt werden soll, kann dieses Metallblech mithilfe eines entsprechenden Objekterkennungsalgorithmus auf Grundlage seiner Formgebung, seiner Farbe oder dergleichen erkannt werden. Dies ermöglicht eine zuverlässige Erkennung der Stufe und/oder des Metallblech. In this case, it is provided in particular that the step in the entrance is recognized as a line in the at least one image which extends substantially along a horizontal line. For example, a corresponding object recognition algorithm can be used, which can detect lines in the at least one image. If the metal sheet is to be detected, this metal sheet may be recognized by a corresponding object recognition algorithm based on its shape, color or the like. This allows reliable detection of the step and / or the metal sheet.

Weiterhin ist es vorteilhaft, wenn anhand der empfangenen Ultraschallsignale und/oder der Bilder weitere Objekte in der Umgebung während des Manövrierens des Kraftfahrzeugs erkannt werden. Während der Bewegung des Kraftfahrzeugs zu der Garage können auf Grundlage der Ultraschallmessungen und/oder der Bilder, die mit der Kamera bereitgestellt werden, erfasst bzw. erkannt werden. Auch hier kann überprüft werden, ob diese Objekte ein Hindernis für das Kraftfahrzeug darstellen. Wenn ein erkanntes Objekt beispielsweise als Hindernis klassifiziert wird und erkannt wird, dass dieses Hindernis nicht durch eine fehlerhafte Messung, die von einer Komponente der Garage stammt, hervorgerufen wurde, kann eine entsprechende Warnung an den Fahrer des Kraftfahrzeugs ausgegeben werden oder die Einparktrajektorie kann neu berechnet werden. Es kann auch vorgesehen sein, dass das Einparkmanöver abgebrochen wird. Dies ermöglicht insgesamt ein sicheres und zuverlässiges Einparkmanöver. Furthermore, it is advantageous if, on the basis of the received ultrasound signals and / or the images, further objects in the surroundings are detected during the maneuvering of the motor vehicle. During the movement of the motor vehicle to the garage, it may be detected based on the ultrasound measurements and / or the images provided with the camera. Again, it can be checked whether these objects represent an obstacle to the motor vehicle. For example, if a detected object is classified as an obstacle and it is recognized that this obstacle was not caused by an erroneous measurement originating from a component of the garage, a corresponding warning may be issued to the driver of the motor vehicle or the parking trajectory may be recalculated become. It can also be provided that the parking maneuver is canceled. Overall, this allows a safe and reliable parking maneuver.

Ein erfindungsgemäßes Fahrerassistenzsystem für ein Kraftfahrzeug ist zum Durchführen eines erfindungsgemäßen Verfahrens und vorteilhafter Ausgestaltungen davon ausgelegt. Das Fahrerassistenzsystem kann beispielsweise zumindest einen Ultraschallsensor aufweisen. Insbesondere ist es vorgesehen, dass das Fahrerassistenzsystem eine Mehrzahl von Ultraschallsensoren aufweist, die beispielsweise verteilt an dem Kraftfahrzeug angeordnet sind. Ferner kann das Fahrerassistenzsystem zumindest eine Kamera aufweisen. Auch hier kann es vorgesehen sein, dass das Fahrerassistenzsystem eine Mehrzahl von Kameras aufweist. An inventive driver assistance system for a motor vehicle is designed for performing a method according to the invention and advantageous embodiments thereof. The driver assistance system may have, for example, at least one ultrasonic sensor. In particular, it is provided that the driver assistance system has a plurality of ultrasonic sensors, which are arranged distributed for example on the motor vehicle. Furthermore, the driver assistance system can have at least one camera. Again, it may be provided that the driver assistance system has a plurality of cameras.

Zudem ist es insbesondere vorgesehen, dass das Fahrerassistenzsystem ein elektronisches Steuergerät aufweist, welches einerseits Messwerte von dem Ultraschallsensor empfangen kann, welche die empfangenen Ultraschallsignale beschreiben. Zudem können mit dem elektronischen Steuergerät die Bilder empfangen werden, die mit der zumindest einen Kamera aufgenommen werden. In addition, it is provided in particular that the driver assistance system has an electronic control unit, which on the one hand can receive measured values from the ultrasound sensor which describe the received ultrasound signals. In addition, with the electronic control unit, the images can be received, which are recorded with the at least one camera.

Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet. A motor vehicle according to the invention comprises a driver assistance system according to the invention. The motor vehicle is designed in particular as a passenger car.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug. The preferred embodiments presented with reference to the method according to the invention and their advantages apply accordingly the driver assistance system according to the invention and for the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively specified combination but also in other combinations or in isolation, without the frame to leave the invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. Moreover, embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed, which go beyond or deviate from the combinations of features set out in the back references of the claims.

Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. The invention will now be described with reference to preferred embodiments and with reference to the accompanying drawings.

Dabei zeigen: Showing:

1 ein Kraftfahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung, welches ein Fahrerassistenzsystem aufweist; 1 a motor vehicle according to an embodiment of the present invention, which has a driver assistance system;

2 das Kraftfahrzeug, welches zumindest semi-autonom in eine Garage manövriert wird; und 2 the motor vehicle, which is at least semi-autonomously maneuvered into a garage; and

3 ein Bild der Garage, welche eine Einfahrt aufweist. 3 a picture of the garage, which has a driveway.

In den Figuren werden gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. In the figures, identical and functionally identical elements are provided with the same reference numerals.

1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist vorliegend als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2, welches einen Fahrer des Kraftfahrzeugs 1 beim zumindest semi-autonomen Manövrieren oder beim Einparken unterstützen kann. Insbesondere ist das Fahrerassistenzsystem 2 dazu ausgelegt, das Kraftfahrzeug 1 zumindest semi-autonom in eine Garage 10 einzuparken. 1 shows a motor vehicle 1 according to an embodiment of the present invention in a plan view. The car 1 is designed here as a passenger car. The car 1 includes a driver assistance system 2 which is a driver of the motor vehicle 1 assist in at least semi-autonomous maneuvering or parking. In particular, the driver assistance system 2 designed to the motor vehicle 1 at least semi-autonomous in a garage 10 to park.

Das Fahrerassistenzsystem 2 umfasst ferner ein elektronisches Steuergerät 3. Des Weiteren umfasst das Fahrerassistenzsystem 2 zumindest einen Ultraschallsensor 4. In dem vorliegenden Ausführungsbeispiel umfasst das Fahrerassistenzsystem 2 acht Ultraschallsensoren 4, wobei vier Ultraschallsensor 4 in einem Frontbereich 5 und vier Ultraschallsensoren 4 in einem Heckbereich 6 des Kraftfahrzeugs 1 angeordnet sind. Mithilfe der Ultraschallsensoren 4 können Objekte 8 in einer Umgebung 7 des Kraftfahrzeugs 1 erfasst werden. Hierzu können mit den jeweiligen Ultraschallsensoren 4 Ultraschallsignale ausgesendet werden. Die Ultraschallsignale, die von Objekten 8 in der Umgebung 7 reflektiert werden können mit den Ultraschallsensoren 4 wieder empfangen werden. Mithilfe der jeweiligen Ultraschallsensoren können dann Messwerte bereitgestellt werden, welche die reflektierten Ultraschallsignale beschreiben. Diese Messwerte können dann zu dem elektronischen Steuergerät 3 übertragen werden. Das elektronische Steuergerät 3 ist mit den jeweiligen Ultraschallsensoren 4 zur Datenübertragung verbunden. Entsprechende Datenleitungen sind vorliegend der Übersichtlichkeit halber nicht dargestellt. Mithilfe des elektronischen Steuergeräts 3 können die Objekte 8 in der Umgebung 7 dann auf Grundlage der Messsignale klassifiziert bzw. identifiziert werden. Es kann auch vorgesehen sein, dass mit dem elektronischen Steuergerät 3 eine digitale Umgebungskarte bereitgestellt wird, welche die Umgebung 7 und die Objekte 8 beschreibt. The driver assistance system 2 further comprises an electronic control unit 3 , Furthermore, the driver assistance system includes 2 at least one ultrasonic sensor 4 , In the present embodiment, the driver assistance system comprises 2 eight ultrasonic sensors 4 , where four ultrasonic sensor 4 in a front area 5 and four ultrasonic sensors 4 in a rear area 6 of the motor vehicle 1 are arranged. Using the ultrasonic sensors 4 can objects 8th in an environment 7 of the motor vehicle 1 be recorded. For this purpose, with the respective ultrasonic sensors 4 Ultrasonic signals are emitted. The ultrasonic signals emitted by objects 8th in the neighborhood 7 can be reflected with the ultrasonic sensors 4 be received again. With the aid of the respective ultrasound sensors, measured values can then be provided which describe the reflected ultrasound signals. These readings can then be sent to the electronic control unit 3 be transmitted. The electronic control unit 3 is with the respective ultrasonic sensors 4 connected to the data transmission. Corresponding data lines are not shown here for the sake of clarity. Using the electronic control unit 3 can the objects 8th in the neighborhood 7 then classified or identified based on the measurement signals. It can also be provided that with the electronic control unit 3 a digital map of the surroundings is provided 7 and the objects 8th describes.

Darüber hinaus umfasst das Fahrerassistenzsystem 2 eine Kamera 9, welche beispielsweise als CCD-Kamera oder als CMOS-Kamera ausgebildet sein kann. Mithilfe der Kamera 9 können Bildsequenzen oder Videodaten bereitgestellt werden, welche die Umgebung 7 und/oder die Objekte 8 beschreiben. In dem vorliegenden Ausführungsbeispiel ist die Kamera 9 derart angeordnet, dass mit dieser ein Bereich in Fahrtrichtung vor dem Kraftfahrzeug 1 erfasst werden kann. Die Anordnung der Kamera 9 ist grundsätzlich beliebig. Es kann auch vorgesehen sein, dass das Fahrerassistenzsystem 2 eine Mehrzahl von Kameras 9 aufweist. Auch die mit der Kamera 9 bereitgestellten Bilddaten können mit dem elektronischen Steuergerät 3 ausgewertet werden. In addition, the driver assistance system includes 2 a camera 9 , which may be formed for example as a CCD camera or as a CMOS camera. Using the camera 9 For example, image sequences or video data relating to the environment may be provided 7 and / or the objects 8th describe. In the present embodiment, the camera is 9 arranged such that with this an area in the direction of travel in front of the motor vehicle 1 can be detected. The arrangement of the camera 9 is basically arbitrary. It can also be provided that the driver assistance system 2 a plurality of cameras 9 having. Also with the camera 9 provided image data can with the electronic control unit 3 be evaluated.

2 zeigt das Kraftfahrzeug 1, welches mithilfe des Fahrerassistenzsystems 2 in eine Garage 10 manövriert wird. Hier kann mit dem Fahrerassistenzsystem 2 zunächst eine Einparktrajektorie bestimmt werden, entlang welcher das Kraftfahrzeug 1 manövriert wird. Hierzu kann das Fahrerassistenzsystem 2 entsprechende Eingriffe in die Lenkung, den Antriebsmotor und/oder das Bremssystem des Kraftfahrzeugs 1 durchführen. Damit kann das Kraftfahrzeug 1 von einer aktuellen Startposition außerhalb der Garage 10 zu einer Endposition innerhalb der Garage 10 manövriert werden, welche einer Abstellfläche 11 der Garage 10 zugeordnet ist. Dabei ist ein Fahrschlauch 12 dargestellt, welcher den Bereich in der Umgebung 7 des Kraftfahrzeugs 1 beschreibt, welchen das Kraftfahrzeug 1 beim Einparken in die Garage 10 zukünftig einnehmen wird. Während das Kraftfahrzeug 1 manövriert wird, werden mit den Ultraschallsensoren 4 fortlaufend Messungen durchgeführt. Somit kann beispielsweise bestimmt werden, ob sich ein Hindernis in dem Fahrschlauch 12 befindet, welches zu einer Kollision führen kann. 2 shows the motor vehicle 1 , which uses the driver assistance system 2 in a garage 10 maneuvered. Here can with the driver assistance system 2 First, a parking trajectory be determined, along which the motor vehicle 1 maneuvered. For this purpose, the driver assistance system 2 corresponding interventions in the steering, the drive motor and / or the braking system of the motor vehicle 1 carry out. Thus, the motor vehicle 1 from a current starting position outside the garage 10 to an end position within the garage 10 be maneuvered, which one shelf 11 The Garage 10 assigned. There is a driving tube 12 representing the area in the environment 7 of the motor vehicle 1 describes which the motor vehicle 1 when parking in the garage 10 will take in the future. While the motor vehicle 1 are maneuvered with the ultrasonic sensors 4 continuously performed measurements. Thus, for example, it can be determined whether there is an obstacle in the driving tube 12 which can lead to a collision.

Wenn sich das Kraftfahrzeug 1 an die Garage 10 annähert, können die mit den jeweiligen Ultraschallsensoren 4 ausgesendete Ultraschallsignal an einer Komponente der Garage 10 reflektiert werden und wieder zu dem Ultraschallsensor 4 zurückgelangt. Dabei kann es der Fall sein, dass ein Ultraschallsignal derart reflektiert wird, dass das reflektierte Ultraschallsignal oder das daraus generierte Messsignal von dem elektronischen Steuergerät 3 als Hindernis bzw. als hohes Objekt 8, welches sich innerhalb des Fahrschlauchs 12 befindet, eingestuft wird. Dies kann dazu führen, dass das Fahrerassistenzsystem 2 das Einparkmanöver abbricht oder eine Bremsung durchführt. When the motor vehicle 1 to the garage 10 approaches, can with the respective ultrasonic sensors 4 emitted ultrasound signal to a component of the garage 10 be reflected and returned to the ultrasonic sensor 4 passes back. It may be the case that an ultrasonic signal is reflected such that the reflected ultrasonic signal or the measurement signal generated therefrom of the electronic control unit 3 as an obstacle or as a tall object 8th which is inside the driving tube 12 is classified. This can lead to the driver assistance system 2 the parking maneuver breaks off or performs a braking.

Wenn während des Einparkmanövers in die Garage 10 auf Grundlage der Messsignale, die mit den Ultraschallsensoren 4 bereitgestellt werden, ein Hindernis in dem Fahrschlauch 12 identifiziert wird, wird mit der Kamera 9 ein Bild 13 aufgenommen, welches einem Bereich in der Umgebung 7 zugeordnet ist, in dem sich das vermeintliche Hindernis befindet. Es kann auch vorgesehen sein, dass während der Fahrt des Kraftfahrzeugs 1 in Richtung der Garage 10 fortlaufend Bilder 13 aufgenommen werden und zumindest das Bild 13 herangezogen wird, welche den Bereich beschreibt, in dem sich das vermeintliche Hindernis befindet. If during the parking maneuver in the garage 10 based on the measurement signals, using the ultrasonic sensors 4 be provided an obstacle in the driving tube 12 is identified with the camera 9 a picture 13 included, which is an area in the area 7 is assigned, in which the supposed obstacle is located. It can also be provided that while driving the motor vehicle 1 in the direction of the garage 10 consecutive pictures 13 be included and at least the picture 13 is used, which describes the area in which the supposed obstacle is located.

Ein solches Bild 13 ist in 3 gezeigt. In dem Bild 13 ist zu erkennen, dass die Garage 10 als Komponenten Wände 14, eine Decke 15, einen Boden 16 sowie eine Einfahrt 17 aufweist. Wenn nun in dem Bild 13 die Garage 10 oder ein Teil davon erkannt wird, kann davon ausgegangen werden, dass das reflektierte Ultraschallsignal, auf Grundlage dessen das vermeintliche Hindernis erkannt wurde, von einer Reflexion des Ultraschallsignals an einer Komponente der Garage 10 stammt. Insbesondere kann dies angenommen werden, wenn in dem Bild 13 die Einfahrt 17 der Garage 10 erkannt wird. Es hat sich gezeigt, dass insbesondere von Komponenten der Garage 10, welche in der Einfahrt 17 angeordnet sind oder diese umgeben, Reflexionen der Ultraschallsignale hervorrufen können, welche als Hindernisse erkannt werden. Darüber hinaus kann es vorgesehen sein, dass überprüft wird, ob in dem Bild das auf Grundlage der Messungen mit den Ultraschallsensoren erkannte Hindernis tatsächlich vorhanden ist. Such a picture 13 is in 3 shown. In the picture 13 it can be seen that the garage 10 as components walls 14 , A blanket 15 , a floor 16 as well as a driveway 17 having. If now in the picture 13 the garage 10 or part of it is detected, it can be assumed that the reflected ultrasound signal, on the basis of which the supposed obstacle was detected, is due to a reflection of the ultrasound signal on a component of the garage 10 comes. In particular, this can be assumed if in the picture 13 the entrance 17 The Garage 10 is recognized. It has been shown that in particular of components of the garage 10 which are in the driveway 17 are arranged or surrounded, reflections of the ultrasonic signals can cause, which are recognized as obstacles. In addition, it can be provided that it is checked whether the obstacle actually detected in the image based on the measurements with the ultrasonic sensors is present.

Zum Erkennen der Einfahrt 17 der Garage 10 kann insbesondere überprüft werden, ob in dem Bild 13 ein Rechteck 18 erkannt werden kann. Insbesondere kann überprüft werden, ob die Bildpunkte innerhalb des Rechtecks 18 dunkler sind als die Bildpunkte außerhalb des Rechtecks 18. Somit kann beispielsweise eine innen unbeleuchtete Garage 10 zuverlässig erkannt werden. Zum Erkennen des Rechtecks 18 in dem Bild 13 können Verfahren des maschinellen Sehens oder des Computer Sehens verwendet werden. Beispielsweise kann eine Merkmalsextraktion durchgeführt werden. Das Rechteck 18 in dem Bild 13 kann auch mithilfe eines entsprechenden Klassifikators erkannt werden. Weiterhin kann es vorgesehen sein, dass das Rechteck 18 in dem Bild 13 auf Grundlage von maschinellem Lernen erkannt wird. Um einen entsprechenden Bilderkennungsalgorithmus oder Objekterkennungsalgorithmus entsprechend anzulernen, können beispielsweise Lerndaten oder Lernbilder verwendet werden. Diese Lernbilder können unterschiedliche Garagen 10 und/oder unterschiedliche Einfahrten 17 zeigen. Ebenso können diese Lerndaten Garagen 10 bzw. Einfahrten 17 mit unterschiedlichen Beleuchtungsverhältnissen zeigen. To recognize the driveway 17 The Garage 10 In particular, it can be checked if in the picture 13 a rectangle 18 can be recognized. In particular, it can be checked if the pixels within the rectangle 18 darker than the pixels outside the rectangle 18 , Thus, for example, an indoor unlit garage 10 be reliably recognized. To recognize the rectangle 18 in the picture 13 For example, machine vision or computer vision techniques can be used. For example, feature extraction may be performed. The rectangle 18 in the picture 13 can also be detected using an appropriate classifier. Furthermore, it can be provided that the rectangle 18 in the picture 13 is detected on the basis of machine learning. In order to teach a corresponding image recognition algorithm or object recognition algorithm, for example, learning data or learning images can be used. These learning images can be different garages 10 and / or different driveways 17 demonstrate. Likewise, these learning data garages 10 or driveways 17 show with different lighting conditions.

Ferner kann überprüft werden, ob in dem Bild 13 eine Stufe 19 erkannt wird, welche sich zwischen dem Boden 16 bzw. der Abstellfläche 10 und einem Zufahrtsweg 20, welcher zu der Garage 10 führt, erkannt wird. In dem vorliegenden Beispiel ist an dieser Stufe 19 und um die Einfahrt 17 herum ein Metallblech 21 angeordnet. Mithilfe eines entsprechenden Objekterkennungsalgorithmus kann die Stufe 19 beispielsweise als Linie in dem Bild 13 erkannt werden. Das Metallblech 21 kann beispielsweise aufgrund seiner Formgebung, seiner Farbe und/oder seiner Reflexionseigenschaften in dem Bild 13 erkannt werden. Insbesondere wenn in dem Bild 13 die Stufe 19 und/oder das Metallblech 21 erkannt wird, kann davon ausgegangen werden, dass die reflektierten Ultraschallsignale von der Stufe 19 und/oder dem Metallblech 21 stammen können. It can also be checked if in the picture 13 a step 19 it is recognized, which is between the ground 16 or the storage area 10 and a driveway 20 which leads to the garage 10 leads, is detected. In the present example is at this stage 19 and around the driveway 17 around a metal sheet 21 arranged. Using a corresponding object detection algorithm, the stage 19 for example as a line in the picture 13 be recognized. The metal sheet 21 may, for example, due to its shape, its color and / or its reflection properties in the image 13 be recognized. Especially if in the picture 13 the stage 19 and / or the metal sheet 21 is detected, it can be assumed that the reflected ultrasonic signals from the stage 19 and / or the sheet metal 21 can come.

Falls sich auf Grundlage der Auswertung des Bilds 13 ergeben hat, dass das vermeintliche Hindernis, das auf Grundlage der Messungen mit den Ultraschallsensoren 4 erkannt wurde, tatsächlich nicht vorhanden ist, kann dieses vermeintliche Hindernis bei dem Einparkmanöver des Kraftfahrzeugs 1 in die Garage 10 unberücksichtigt bleiben. Beispielsweise kann das Hindernis als niedriges Objekt, welches von dem Kraftfahrzeug 1 überfahren werden kann, klassifiziert werden. Falls eine digitale Umgebungskarte bereitgestellt wurde, kann das vermeintlich erkannte Hindernis aus dieser Umgebungskarte gelöscht werden. Dies ermöglicht insgesamt sichere und zuverlässige Durchführung des autonomen Einparkmanövers in die Garage 10. If based on the evaluation of the image 13 has revealed that the supposed obstacle, based on the measurements with the ultrasonic sensors 4 has been detected, actually does not exist, this alleged obstacle in the parking maneuver of the motor vehicle 1 in the garage 10 disregarded. For example, the obstacle may be a low object, that of the motor vehicle 1 can be crossed. If a digital environment map has been provided, the supposedly detected obstacle may be deleted from this environment map. This allows a total of safe and reliable implementation of the autonomous parking maneuver in the garage 10 ,

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102012200625 A1 [0003]

Claims

Method for the at least semi-autonomous maneuvering of a motor vehicle ( 1 ) in a garage ( 10 ), wherein while the motor vehicle ( 1 ) along a driving tube ( 12 ) to the garage ( 10 ) is maneuvered with an ultrasonic sensor ( 4 ) of the motor vehicle ( 1 ) Transmitted ultrasonic signals and objects ( 8th ) in an environment ( 7 ) of the motor vehicle ( 1 ) reflected ultrasonic signals are received and based on the received ultrasonic signals the objects ( 8th ) in the neighborhood ( 7 ) and during maneuvering with a camera ( 9 ) of the motor vehicle ( 1 ) Images ( 13 ) providing the environment ( 7 ), characterized in that if at least one of the objects ( 8th ) based on the received ultrasonic signals as an obstacle in the driving tube ( 12 ) is identified on the basis of at least one of the images ( 13 ), which includes an area associated with the identified obstacle in the environment ( 7 ) detects whether the received ultrasonic signals from a component of the garage ( 10 ) were reflected.

Method according to claim 1, characterized in that the obstacle identified on the basis of the received ultrasound signals in the maneuvering of the motor vehicle ( 1 ) in the garage ( 10 ) is not taken into account if the received ultrasonic signals than from the component of the garage ( 10 ) can be detected reflected.

A method according to claim 1 or 2, characterized in that the received ultrasonic signals as from the component of the garage ( 10 ) are recognized, if in the at least one image ( 13 ) at least part of the garage ( 10 ) is recognized.

A method according to claim 3, characterized in that the received ultrasonic signals as from the component of the garage ( 10 ) are recognized, if in the at least one image ( 13 ) a driveway ( 17 ) The Garage ( 10 ) is recognized.

Method according to claim 4, characterized in that the entrance ( 17 ) The Garage ( 10 ) as a rectangle ( 18 ) in the at least one image ( 13 ) is detected, with a brightness in the interior and the exterior of the rectangle ( 18 ) is different.

Method according to claim 4 or 5, characterized in that for recognizing the garage ( 10 ) in the at least one image ( 13 ) a feature of the at least one image ( 13 ), using a feature descriptor to extract the feature.

Method according to one of claims 4 to 6, characterized in that the recognition of the garage ( 10 ) in the at least one image ( 13 ) is performed on the basis of machine learning, wherein the machine learning is based on learning data which entries ( 17 ) with different lighting conditions.

Method according to one of the preceding claims, characterized in that in the at least one image ( 13 ) as the component of the garage ( 10 ) a step ( 19 ) in the driveway ( 17 ) which is detected between an access route ( 20 ) to the garage ( 10 ) and a storage area ( 11 ) inside the garage ( 10 ) is arranged.

Method according to claim 8, characterized in that the stage ( 19 ) in the driveway ( 17 ) as a line in the at least one image ( 13 ), which extends substantially along a horizontal line.

A method according to claim 9, characterized in that the first identified by means of the received ultrasonic signals as an obstacle object ( 8th ) than from the motor vehicle ( 1 ) passable object ( 8th ), if in the at least one image ( 13 ) the stage ( 19 ) is recognized.

Method according to one of the preceding claims, characterized in that on the basis of the received ultrasonic signals and / or images further objects in the environment ( 7 ) during maneuvering of the motor vehicle ( 1 ) be recognized.

Driver assistance system ( 2 ) for a motor vehicle ( 1 ) which is designed to carry out a method according to one of the preceding claims.

Motor vehicle ( 1 ) with a driver assistance system ( 2 ) according to claim 12.