DE102006050549B4

DE102006050549B4 - Procedures to assist the driver of a motor vehicle

Info

Publication number: DE102006050549B4
Application number: DE102006050549.2A
Authority: DE
Inventors: Alexander Augst
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2006-10-26
Filing date: 2006-10-26
Publication date: 2025-12-31
Anticipated expiration: 2026-10-27
Also published as: DE102006050549A1

Abstract

Verfahren zur Unterstützung des Fahrers eines Kraftfahrzeugs bei der Durchführung eines Einparkvorgangs, bei welchem in einer Entkopplungsphase, in welcher zumindest ein Steuerelement des Kraftfahrzeugs, welches im Normalbetrieb des Kraftfahrzeugs zur Steuerung zumindest eines Antriebssystems des Kraftfahrzeugs dient, von dem zumindest einen Antriebssystem entkoppelt ist, in Abhängigkeit von Bedienaktionen, welche auf das zumindest eine Steuerelement ausgeübt werden, eine optische Darstellung einer Position des Kraftfahrzeugs bezüglich seiner Umgebung verändert wird,
ohne dass dabei die physikalische Position des Kraftfahrzeugs in der Umgebung verändert wird,
dadurch gekennzeichnet,
dass in der Entkopplungsphase Bedienaktionen, welche auf das zumindest eine Steuerelement ausgeübt werden, sensorisch erfasst werden,
dass in Abhängigkeit von den sensorisch erfassten Bedienaktionen Steuersignale zur Steuerung des zumindest einen Antriebssystems erzeugt werden,
dass die erzeugten Steuersignale zwischengespeichert werden und
dass die zwischengespeicherten Steuersignale in einer zeitlich nach der Entkopplungsphase liegenden Ausführungsphase für die Durchführung eines zumindest teilautomatisch ablaufenden Einparkvorgangs des Kraftfahrzeugs verwendet werden. Method for assisting the driver of a motor vehicle in carrying out a parking maneuver, in which, during a decoupling phase in which at least one control element of the motor vehicle, which in normal operation of the motor vehicle serves to control at least one drive system of the motor vehicle, is decoupled from the at least one drive system, an optical representation of a position of the motor vehicle relative to its environment is changed depending on operating actions which are exerted on the at least one control element,
without changing the physical position of the motor vehicle in the environment,
characterized by
that during the decoupling phase, operating actions performed on at least one control element are detected by sensors,
that, depending on the sensor-detected operating actions, control signals are generated to control at least one drive system,
that the generated control signals are temporarily stored and
that the temporarily stored control signals are used in an execution phase that takes place after the decoupling phase for carrying out an at least partially automatic parking process of the motor vehicle.

Description

Die Erfindung betrifft ein Verfahren zur Unterstützung des Fahrers eines Kraftfahrzeugs bei der Durchführung eines Fahrmanövers.The invention relates to a method for assisting the driver of a motor vehicle in carrying out a driving maneuver.

Ein solches Verfahren wird in der deutschen Patentanmeldung der Anmelderin mit der Veröffentlichungsnummer DE 10 2006 026 092 A1 beschrieben.Such a method is described in the applicant's German patent application with publication number DE 10 2006 026 092 A1 described.

Das Dokument DE 103 09 934 A1 offenbart einen Fahrsimulator mit einer Simulationseinheit, die zumindest eine Zentralsteuereinheit, einen Sichtsimulator und eine Schnittstelle aufweist, über die die Simulationseinheit im Betriebszustand mit einem Steuergerät verbunden ist, wobei die Verbindung der Simulationseinheit mit dem Steuergerät eine bidirektionale Kommunikationsverbindung darstellt und das Steuergerät einen Bestandteil eines Kraftfahrzeugs darstellt.The document DE 103 09 934 A1 Disclosing a driving simulator with a simulation unit comprising at least a central control unit, a vision simulator and an interface via which the simulation unit is connected to a control unit in the operating state, wherein the connection of the simulation unit to the control unit is a bidirectional communication link and the control unit is a component of a motor vehicle.

Das Dokument DE 601 05 684 T2 offenbart ein Verfahren zum Bereitstellen einer Unterstützung bei einem Fahrzeugfahrvorgang durch Anzeigen eines Bildes, das Umgebungsbedingungen um das Fahrzeug herum darstellt, auf einer Anzeigeeinheit, wobei das Verfahren umfasst: einen ersten Schritt, der einem Benutzer erlaubt, auf dem Bild auf der Anzeigeeinheit eine Endposition zu spezifizieren, die eine Position des Fahrzeugs an einem Ende eines vorbestimmten Fahrvorgangs ist, und einen zweiten Schritt des Gewinnens, für die Endposition, einer Startposition, die eine Position des Fahrzeugs an einem Anfang des vorbestimmten Fahrvorgangs ist, entsprechend einem vorgeschriebenen Bewegungsmuster, das eine Bewegung des Fahrzeugs in dem vorbestimmten Fahrvorgang darstellt.The document DE 601 05 684 T2 discloses a method for providing assistance during a vehicle driving operation by displaying an image depicting environmental conditions around the vehicle on a display unit, wherein the method comprises: a first step that allows a user to specify an end position on the image on the display unit, which is a position of the vehicle at one end of a predetermined driving operation, and a second step of obtaining, for the end position, a starting position, which is a position of the vehicle at one beginning of the predetermined driving operation, according to a prescribed movement pattern that represents a movement of the vehicle in the predetermined driving operation.

Aufgabe der vorliegenden Erfindung ist es, ein gattungsgemäßes Verfahren vorteilhaft weiterzuentwickeln bzw. abzuwandeln.The object of the present invention is to advantageously further develop or modify a generic method.

Gelöst wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1. Vorteilhafte Ausführungsformen und Weiterbildungen der vorliegenden Erfindung ergeben sich aus den abhängigen Ansprüchen.This problem is solved by a method having the features of claim 1. Advantageous embodiments and further developments of the present invention are set out in the dependent claims.

Die Erfindung wird im vorliegenden Dokument anhand eines Einparkvorgangs beschrieben (bzw. gleichbedeutend: anhand eines Einparkmanövers). Der vorliegende erfinderische Gedanke ist jedoch ohne Weiteres auch auf andere Fahrmanöver mit definierter Zielposition anwendbar - etwa auf die Ausfahrt aus einer Garage bis hin zum Erreichen einer zur Weiterfahrt geeigneten Position oder auch auf ein Wendemanöver. Lediglich zu Gunsten einer prägnanten Ausdrucksweise und zur Ermöglichung anschaulicher Beispiele ist im Folgenden meist von einem Einparkvorgang die Rede.The invention is described in this document using a parking maneuver as an example. However, the inventive concept can readily be applied to other driving maneuvers with a defined target position – for example, exiting a garage and reaching a position suitable for continuing the journey, or even to a turning maneuver. For the sake of conciseness and to facilitate clear examples, the following text generally refers to a parking maneuver.

Ein wesentlicher Unterschied der Erfindung zu bekannten Verfahren besteht darin, dass der Einparkvorgang zunächst virtuell vom Bediener erprobt werden kann.A key difference between the invention and known methods is that the parking process can first be tested virtually by the operator.

Die Erprobung erfolgt in einer Entkopplungsphase, in welcher zumindest ein Steuerelement (z.B. Lenkrad, Gaspedal) des Kraftfahrzeugs, welches im Normalbetrieb des Kraftfahrzeugs zur Steuerung zumindest eines Antriebssystems (z.B. Lenkung, Längsantrieb) des Kraftfahrzeugs dient, von dem zumindest einen Antriebssystem entkoppelt ist. Durch die Entkopplung werden also in der Entkopplungsphase keine Eingriffe auf die Antriebssysteme vorgenommen. Erfindungsgemäß wird in dieser Entkopplungsphase in Abhängigkeit von Bedienaktionen, welche auf das zumindest eine Steuerelement ausgeübt werden, eine optische Darstellung einer Position des Kraftfahrzeugs bezüglich seiner Umgebung verändert, ohne dass dabei die physikalische Position des Kraftfahrzeugs in der Umgebung verändert wird. Insbesondere kann die optische Darstellung, welche erfindungsgemäß verändert wird, in einem (fotorealistischen oder stilisierten) virtuellen Abbild des Kraftfahrzeugs bestehen, welches innerhalb eines Abbilds der Umgebung des Kraftfahrzeugs oder auch unmittelbar in der Umgebung verschoben wird. Die optisch dargestellte „Position des Kraftfahrzeugs bezüglich seiner Umgebung“ ist dabei nicht die aktuelle physikalische Position des Kraftfahrzeugs, sondern eine potenzielle bzw. geplante zukünftige Position des Kraftfahrzeugs.The testing takes place in a decoupling phase, in which at least one control element (e.g., steering wheel, accelerator pedal) of the motor vehicle, which in normal operation serves to control at least one drive system (e.g., steering, longitudinal drive) of the motor vehicle, is decoupled from that drive system. During this decoupling phase, no interventions are made to the drive systems. According to the invention, in this decoupling phase, depending on operating actions performed on the at least one control element, an optical representation of the motor vehicle's position relative to its environment is changed without altering the motor vehicle's physical position within the environment. In particular, the optical representation that is changed according to the invention can consist of a (photorealistic or stylized) virtual image of the motor vehicle, which is moved within an image of the motor vehicle's environment or directly within the environment. The optically represented "position of the motor vehicle relative to its environment" is not the current physical position of the motor vehicle, but a potential or planned future position of the motor vehicle.

Der Bediener hat also die Möglichkeit, den Einparkvorgang gewissermaßen virtuell zu erproben. Am Ende der Erprobung markiert die optische Darstellung vorzugsweise - eine erfolgreiche Erprobung vorausgesetzt - eine vom Fahrer beabsichtigte Parkposition für das Kraftfahrzeug. Die optische Darstellung der Position des Kraftfahrzeugs bezüglich seiner Umgebung kann beispielsweise auf einer Anzeigeeinheit im Fahrzeuginneren erfolgen. Die optische Darstellung der Position des Kraftfahrzeugs bezüglich seiner Umgebung kann aber auch durch die Erzeugung zumindest eines Projektionsobjekts in der Umgebung des Kraftfahrzeugs erfolgen. Ein Verfahren zur Erzeugung eines Projektionsobjekts in der Umgebung des Kraftfahrzeugs mittels an dem Kraftfahrzeug vorgesehener Projektionsmittel wird nachfolgend beschrieben. The operator thus has the option of virtually testing the parking procedure. At the end of the test, the visual display preferably marks – assuming successful testing – a parking position intended by the driver for the vehicle. The visual display of the vehicle's position relative to its surroundings can, for example, be shown on a display unit inside the vehicle. However, the visual display of the vehicle's position relative to its surroundings can also be achieved by generating at least one projection object in the vehicle's vicinity. A method for generating a projection object in the vehicle's vicinity using projection means provided on the vehicle is described below.

Vorzugsweise verändert sich die optisch dargestellte Position des Kraftfahrzeugs in derselben Art und Weise wie sich die reale Position des Kraftfahrzeugs bezüglich der realen Umgebung im Normalbetrieb des Kraftfahrzeugs bei denselben Bedienaktionen verändern würde. Zur Bestimmung der optisch darzustellenden Position des Kraftfahrzeugs in Abhängigkeit von den Bedienaktionen kann ein physikalisches, insbesondere ein zumindest kinematisches Modell des Kraftfahrzeugs dienen. Vorzugsweise werden als Eingangsgrößen des Modells zunächst in Abhängigkeit von den Ergebnissen einer sensorischen Erfassung der Bedienaktionen Steuersignale erzeugt, die sich auf die Steuerung der Antriebselemente beziehen. Statt Steuersignalen, die sich auf die Steuerung der Antriebselemente beziehen, können auch gesonderte Modellsteuersignale erzeugt werden, die solchen Steuersignalen auf Modellebene entsprechen.Preferably, the optically displayed position of the motor vehicle changes in the same way as the actual position of the motor vehicle relative to its real environment would change during normal operation of the motor vehicle with the same operating actions. To determine the optically To represent the vehicle's position as a function of the operating actions, a physical, and in particular at least a kinematic, model of the vehicle can be used. Preferably, control signals relating to the control of the drive elements are initially generated as input variables for the model, depending on the results of sensor-based detection of the operating actions. Instead of control signals relating to the control of the drive elements, separate model control signals can also be generated that correspond to such control signals at the model level.

Vorzugsweise erfolgt die optische Darstellung der Position des Kraftfahrzeugs bezüglich seiner Umgebung durch die Darstellung eines Abbilds des Kraftfahrzeugs an entsprechender Position innerhalb eines Abbilds der Umgebung des Kraftfahrzeugs (z.B. bei Anzeige auf einem Bordmonitor) oder durch die Darstellung eines Abbilds des Kraftfahrzeugs in der realen Umgebung (z.B. bei Erzeugung eines Projektionsobjekts in der Umgebung des Kraftfahrzeugs).Preferably, the optical representation of the position of the motor vehicle in relation to its surroundings is achieved by displaying an image of the motor vehicle at a corresponding position within an image of the surroundings of the motor vehicle (e.g., when displayed on an on-board monitor) or by displaying an image of the motor vehicle in the real environment (e.g., when generating a projection object in the surroundings of the motor vehicle).

Ein wesentlicher Aspekt der Erfindung besteht darin, dass es durch die Entkopplung möglich wird, dass der Fahrer die Steuerelemente (z.B. Lenkrad, Gaspedal) des Kraftfahrzeugs, welche im Normalbetrieb des Kraftfahrzeugs zur Steuerung der Antriebssysteme (z.B. Lenkung, Längsantrieb) des Kraftfahrzeugs dienen, zur virtuellen Erprobung bzw. zur Steuerung der virtuellen Erprobung nutzt. So kann eine besonders aussagekräftige Erprobung durchgeführt werden, denn ein auf diese Weise erfolgreich durchgeführter Probelauf gibt nicht nur Aufschluss über die theoretische Durchführbarkeit des Einparkvorgangs, sondern auch darüber, ob der Fahrer auch tatsächlich praktisch in der Lage ist, das Kraftfahrzeug unter Nutzung der Steuerelemente geeignet zu steuern. Zudem kann der Fahrer - sofern der Einparkvorgang anschließend unter seiner Mitwirkung durchgeführt werden soll - bereits in der Entkopplungsphase wirkungsvoll genau die Bedienaktionen proben, die er in einer späteren Ausführungsphase beherrschen sollte. Diese Vorteile würden entfallen, wenn der virtuelle Probelauf im Wesentlichen gesteuert mittels eines anderen Bedienelements, etwa eines Joysticks, durchgeführt würde.A key aspect of the invention is that decoupling allows the driver to use the vehicle's controls (e.g., steering wheel, accelerator pedal), which in normal operation control the vehicle's drive systems (e.g., steering, longitudinal drive), for virtual testing or to control the virtual testing itself. This enables particularly meaningful testing, as a successful trial run in this way not only reveals the theoretical feasibility of the parking maneuver but also whether the driver is actually capable of effectively controlling the vehicle using the controls. Furthermore, if the parking maneuver is subsequently to be carried out with the driver's participation, the driver can effectively practice the precise operating actions during the decoupling phase that they will need to master in a later execution phase. These advantages would be lost if the virtual test run were essentially controlled by a different operating element, such as a joystick.

Die Entkopplungsphase ist für den Fahrer des Kraftfahrzeugs vorzugsweise gezielt durch eine Bedienaktion herbeiführbar. Die für die Erfindung erforderliche Entkopplung von Steuerelementen und Antriebselementen ist in modernen und zukünftigen Kraftfahrzeugen unter Verwendung so genannter X-by-Wire Techniken verhältnismäßig einfach realisierbar. Es besteht dann im Normalbetrieb ohnehin nur eine elektronische Kopplung, die durch Signalveränderungen leicht aufhebbar ist.The decoupling phase can preferably be initiated by the driver of the motor vehicle through a controlled action. The decoupling of control elements and drive elements required for the invention is relatively easy to implement in modern and future motor vehicles using so-called X-by-Wire technologies. In normal operation, there is then only an electronic coupling, which can be easily removed by changing the signal.

Im einfachsten Fall wird nach der Entkopplungsphase zum Normalbetrieb übergegangen. Dieser Übergang kann automatisch erfolgen (z.B. wenn ein Erfolg des virtuellen Parkmanövers automatisch erkannt wurde) oder ebenfalls auf eine Bedienaktion des Fahrers hin. Der Fahrer kann dann im Normalbetrieb das Kraftfahrzeug einparken und dabei den Trainingseffekt der vorangegangenen Erprobung umsetzen. Sofern die virtuelle Erprobung des Parkmanövers ergeben hat, dass das Parkmanöver nicht oder nur sehr schwierig und/oder riskant durchführbar ist, kann der Fahrer seine Fahrt auch einfach fortsetzen, ohne an der betreffenden Stelle einzuparken.In the simplest case, normal operation resumes after the decoupling phase. This transition can occur automatically (e.g., if the success of the virtual parking maneuver is automatically detected) or upon a driver input. The driver can then park the vehicle in normal operation, thereby applying the training effect of the preceding test. If the virtual test of the parking maneuver reveals that it is not feasible, or only very difficult and/or risky, the driver can simply continue driving without parking at that location.

Gemäß einer bevorzugten Ausführungsform der Erfindung werden in der Entkopplungsphase Bedienaktionen, welche auf das zumindest eine Steuerelement ausgeübt werden, sensorisch erfasst und in Abhängigkeit von den sensorisch erfassten Bedienaktionen werden Steuersignale zur Steuerung des zumindest einen Antriebssystems erzeugt. Die erzeugten Steuersignale werden zwischengespeichert und die zwischengespeicherten Steuersignale werden in einer zeitlich nach der Entkopplungsphase liegenden Ausführungsphase für die Durchführung eines zumindest teilautomatisch ablaufenden Einparkvorgangs des Kraftfahrzeugs verwendet. Vorzugsweise sind die bei dieser Ausführungsform der Erfindung erzeugten und zwischengespeicherten Steuersignale unmittelbar zur Steuerung des zumindest einen Antriebssystems geeignet. Sie können dann in der Ausführungsphase unmittelbar zur Steuerung des zumindest einen Antriebssystems verwendet werden. Grundsätzlich kann die Erzeugung und Zwischenspeicherung aber mit Steuersignalen beliebiger Art und auf beliebigem Abstraktionsniveau stattfinden. Entscheidend ist, dass sich aus den erzeugten und zwischengespeicherten Steuersignalen später Steuersignale erzeugen lassen, die unmittelbar zur Steuerung des zumindest einen Antriebssystems dienen können.According to a preferred embodiment of the invention, during the decoupling phase, operating actions performed on the at least one control element are detected by sensors, and control signals for controlling the at least one drive system are generated based on these sensor-detected actions. The generated control signals are temporarily stored, and these stored signals are used in an execution phase following the decoupling phase to carry out an at least partially automatic parking maneuver of the vehicle. Preferably, the control signals generated and temporarily stored in this embodiment of the invention are directly suitable for controlling the at least one drive system. They can then be used directly for controlling the at least one drive system during the execution phase. In principle, however, the generation and temporary storage can take place with control signals of any type and at any level of abstraction. The crucial point is that control signals that can be directly used to control the at least one drive system can later be generated from the generated and temporarily stored control signals.

Bei einer solchen Ausführungsform der Erfindung kann das zuvor risikofrei virtuell durchgeführte Einparkmanöver also im Erfolgsfall tatsächlich physikalisch in der Ausführungsphase ausgeführt werden. Der Fahrer hat das virtuelle Einparkmanöver in der Entkopplungsphase somit nicht nur zu Erprobungszwecken durchgeführt, sondern seine während der Entkopplungsphase vorgenommenen Bedienaktionen wirken sich tatsächlich auf die reale Ausführung des Parkmanövers in der Ausführungsphase aus. Die Ausführung in der Ausführungsphase kann voll- oder teilautomatisch erfolgen.In such an embodiment of the invention, the parking maneuver, previously performed virtually without risk, can, if successful, actually be physically executed in the execution phase. The driver has thus not only performed the virtual parking maneuver in the decoupling phase for testing purposes, but their operating actions during the decoupling phase actually affect the real execution of the parking maneuver in the execution phase. The execution in the execution phase can be fully or partially automatic.

Der Fahrer kann auch lediglich durch die Ausgabe von Bedienanweisungen angeleitet werden, seine Bedienaktionen in der Ausführungsphase so zu wiederholen, wie sie sich in der Entkopplungsphase als erfolgreich erwiesen haben. Die Bedienanweisungen können dabei insbesondere den Zeitpunkt und das Ausmaß eines Lenkeinschlags betreffen. Der Fall der bloßen Ausgabe von Bedienanweisungen kann als die geringste Automatisierungsstufe eines teilautomatischen Einparkvorgangs angesehen werden.The driver can also be guided simply by receiving operating instructions to repeat their actions in the execution phase as they proved successful in the decoupling phase. These instructions can relate, in particular, to the timing and extent of a steering input. The mere issuance of operating instructions can be considered the lowest level of automation for a semi-automated parking maneuver.

Ein vollautomatischer Einparkvorgang kann im einfachsten Fall dadurch umgesetzt werden, dass Steuersignale, die zuvor in der Entkopplungsphase aufgezeichnet wurden und die unmittelbar zur Steuerung sämtlicher relevanten Antriebssysteme des Kraftfahrzeugs geeignet sind, in der Ausführungsphase unverändert zeitrichtig an die Antriebssysteme weitergegeben werden. Es kann aber auch eine Aufbereitung, z.B. Glättung, der aufgezeichneten Signale bzw. einer resultierenden Trajektorie vorgenommen werden. Bei geeigneter Aufbereitung der aufgezeichneten Steuersignale kann unter Umständen sogar eine bei der virtuellen Erprobung erst durch mehrmaliges Rangieren (mehrere Rangier-Züge) und ggf. Korrigieren erreichte Zielposition durch eine geringere Anzahl von Rangier-Zügen erreicht werden.In its simplest form, a fully automated parking process can be implemented by passing on control signals, recorded during the decoupling phase and directly suitable for controlling all relevant drive systems of the vehicle, unchanged and in sync with the drive systems during the execution phase. Alternatively, the recorded signals or the resulting trajectory can be processed, for example, by smoothing. With appropriate processing of the recorded control signals, it may even be possible to achieve a target position during virtual testing that previously required multiple maneuvers (multiple maneuvers) and, if necessary, corrections, with fewer maneuvers.

Eine eventuelle Nachbearbeitung bzw. Optimierung der Steuersignale sollte jedoch vorzugsweise nur dann erfolgen, wenn bekannt ist, dass auch eine gegebenenfalls veränderte Trajektorie kollisions- und gefahrenfrei befahrbar ist. Alternativ können bekannte Hindernisse in die Planung einer nachbearbeiteten bzw. optimierten Trajektorie miteinbezogen werden.Any post-processing or optimization of the control signals should preferably only be carried out if it is known that a potentially modified trajectory can still be traversed without collisions or hazards. Alternatively, known obstacles can be incorporated into the planning of a post-processed or optimized trajectory.

Vorzugsweise kann der Fahrer durch eine entsprechende Bedienaktion auch veranlassen, dass eine eventuell bestimmte Trajektorie - insbesondere dann, wenn sie geglättet und/oder nachbearbeitet wurde - noch einmal ganz oder teilweise virtuell „abgefahren“ wird. Dazu kann ein eventuell zur optischen Darstellung im Sinne der Erfindung verwendetes Abbild entsprechend auf der Trajektorie durch die Umgebung bewegt werden. Vorzugsweise lässt sich für den Fahrer währenddessen mittels weiterer Bedienaktionen die Geschwindigkeit und/oder die Richtung des Abfahrens beeinflussen (vgl. jog-shuttle bei einem Video-Recorder). Insbesondere wenn der Fahrer an dem nachfolgenden physikalischen Einparkvorgang aktiv mitwirken soll bzw. will, kann er anhand einer solchen Simulation des Einparkvorgangs noch einmal die vorzunehmenden Rangier-Züge studieren.Preferably, the driver can also initiate a virtual re-trajectory, in whole or in part, by means of a corresponding control action. This is particularly relevant if the trajectory has been smoothed and/or post-processed. For this purpose, an image used for visual representation in accordance with the invention can be moved along the trajectory through the environment. Preferably, the driver can influence the speed and/or direction of the re-trajectory by means of further control actions (cf. jog shuttle on a video recorder). In particular, if the driver is to actively participate in the subsequent physical parking maneuver, they can use such a simulation to study the necessary maneuvers.

Vorzugsweise wird eine gemäß der oben genannten bevorzugten Ausführungsform der Erfindung stattfindende voll- oder teilautomatische Durchführung in der Ausführungsphase durch eine Bestätigungsaktion des Fahrers ausgelöst.Preferably, a fully or partially automatic execution in the execution phase, as described above in the preferred embodiment of the invention, is triggered by a confirmation action from the driver.

Gemäß einer anderen bevorzugten Ausführungsform der Erfindung werden ebenfalls in der Entkopplungsphase Bedienaktionen, welche auf das zumindest eine Steuerelement ausgeübt werden, sensorisch erfasst und es werden ebenfalls in Abhängigkeit von den sensorisch erfassten Bedienaktionen Steuersignale zur Steuerung des zumindest einen Antriebssystems erzeugt. Auch diese Steuersignale können beliebiger Art sein und auf beliebigem Abstraktionsniveau liegen. Sie müssen jedoch geeignet sein, als Grundlage für eine modellbasierte Bestimmung von Bewegungsdaten des Kraftfahrzeugs zu dienen. Die modellbasierte Bestimmung der Bewegungsdaten erfolgt vorzugsweise auf Basis eines physikalischen, insbesondere kinematischen Modells des Kraftfahrzeugs. Die Bewegungsdaten können beispielsweise einen Geschwindigkeitsverlauf oder eine Trajektorie des Kraftfahrzeugs beschreiben bzw. umfassen. Vorzugsweise werden die Bewegungsdaten zusätzlich auch zur bereits genannten Bestimmung einer optisch darzustellenden Position des Kraftfahrzeugs benutzt. Diese optische Darstellung der Position kann dann auf demselben physikalischen Modell des Kraftfahrzeugs beruhen. Bei dieser Ausführungsform der Erfindung werden nun nicht bzw. nicht nur Steuersignale zwischengespeichert, sondern es werden die errechneten Bewegungsdaten zwischengespeichert und die zwischengespeicherten Bewegungsdaten werden in einer zeitlich nach der Entkopplungsphase liegenden Ausführungsphase für die Durchführung eines zumindest teilautomatisch ablaufenden Einparkvorgangs des Kraftfahrzeugs verwendet. Bei dem zumindest teilautomatisch ablaufenden Einparkvorgang können dann die Bewegungsdaten beispielsweise als Sollgrößen eines Regelungsverfahrens dienen, bei dem in Abhängigkeit von den Sollgrößen und aktuellen physikalischen Bewegungsdaten geeignete Steuersignale erzeugt werden, um das Kraftfahrzeug entsprechend den zwischengespeicherten Bewegungsdaten zu bewegen.According to another preferred embodiment of the invention, during the decoupling phase, operating actions applied to the at least one control element are also sensorially detected, and control signals for controlling the at least one drive system are generated depending on the sensorially detected operating actions. These control signals can also be of any type and at any level of abstraction. However, they must be suitable to serve as the basis for a model-based determination of the vehicle's motion data. The model-based determination of the motion data is preferably based on a physical, in particular kinematic, model of the vehicle. The motion data can, for example, describe or include a speed profile or a trajectory of the vehicle. Preferably, the motion data is also used for the aforementioned determination of an optically representable position of the vehicle. This optical representation of the position can then be based on the same physical model of the vehicle. In this embodiment of the invention, not only control signals are temporarily stored, but the calculated motion data is also temporarily stored. This temporarily stored motion data is then used in an execution phase following the decoupling phase to carry out an at least partially automatic parking process of the vehicle. During this at least partially automatic parking process, the motion data can then serve, for example, as setpoints for a control procedure. Depending on these setpoints and the current physical motion data, suitable control signals are generated to move the vehicle according to the temporarily stored motion data.

Die zwischengespeicherten Steuersignale bzw. Bewegungsdaten können auch für eine spätere Wiederholung (z.B. tägliche komplizierte Einfahrt in eine Garage aus definierter Startposition bzw. Ausfahrt aus einer Garage) dauerhaft verwendbar vorgehalten werden. Die zwischengespeicherten Steuersignale bzw. Bewegungsdaten können auch zu sonstigen Protokollierungszwecken (z.B. Unfall-Rekonstruktion) gespeichert werden.The cached control signals or movement data can be stored permanently for later repetition (e.g., daily complex entry into a garage from a defined starting position or exit from a garage). The cached control signals or movement data can also be stored for other logging purposes (e.g., accident reconstruction).

Gemäß einer vorteilhaften Weiterbildung der Erfindung wird auf Basis von in der Entkopplungsphase erzeugten Steuersignalen eine Trajektorie des Kraftfahrzeugs bestimmt. Zudem wird aus durch Kommunikationsmittel des Kraftfahrzeugs empfangenen Kommunikationsdaten zumindest eines weiteren Verkehrsteilnehmers eine Trajektorie des zumindest einen weiteren Verkehrsteilnehmers bestimmt und die Trajektorie des Kraftfahrzeugs wird vor der Ausführungsphase auf Kollisionsfreiheit mit der Trajektorie des zumindest einen weiteren Verkehrsteilnehmers überprüft. Vorzugsweise wird dann eine voll- oder teilautomatische Durchführung in der Ausführungsphase nur ermöglicht, wenn die Trajektorien kollisionsfrei sind. Dabei können selbstverständlich auch „Sicherheitszuschläge“ berücksichtigt werden. So kann eine effektive Unfallprävention erreicht werden. Es kann auch im Falle einer drohenden Kollision eine Warnung an den Fahrer ausgegeben werden.According to an advantageous embodiment of the invention, a trajectory is calculated based on control signals generated during the decoupling phase. The vehicle's trajectory is determined. Furthermore, based on communication data received by the vehicle's communication system from at least one other road user, a trajectory of that at least one other road user is determined, and the vehicle's trajectory is checked for collision-free operation with the trajectory of the at least one other road user before the execution phase. Preferably, fully or partially automatic execution is only enabled if the trajectories are collision-free. Of course, safety margins can also be taken into account. In this way, effective accident prevention can be achieved. A warning can also be issued to the driver in the event of an impending collision.

Die für eine solche Weiterbildung der Erfindung erforderliche Bestimmung der Trajektorie des Kraftfahrzeugs kann ausgehend von zwischengespeicherten Steuersignalen und/oder Bewegungsdaten vorgenommen werden. Die Formulierung „auf Basis der in der Entkopplungsphase erzeugten Steuersignale“ schließt beide Fälle ein, da auch eventuell zwischengespeicherte Bewegungsdaten auf zuvor erzeugten Steuersignalen basieren. Sofern Bewegungsdaten zwischengespeichert sind und die Bewegungsdaten eine Trajektorie darstellen oder umfassen, kann der Bestimmungsschritt sehr einfach durch eine reine Übernahme bzw. Verwendung der Bewegungsdaten erfolgen. Die Kommunikationsdaten anderer Verkehrsteilnehmer können beispielsweise direkt oder vermittelt von den anderen Verkehrsteilnehmern (z.B. über so genannte Car-to-Car-Communication) oder über einen zentralen Datendienst empfangen werden.The determination of the motor vehicle's trajectory, required for such a further development of the invention, can be carried out based on buffered control signals and/or motion data. The phrase "based on the control signals generated in the decoupling phase" encompasses both cases, since any buffered motion data is also based on previously generated control signals. If motion data is buffered and represents or comprises a trajectory, the determination step can be performed very simply by adopting or using the motion data. Communication data from other road users can be received, for example, directly or indirectly from the other road users (e.g., via so-called car-to-car communication) or via a central data service.

Gemäß einer anderen Weiterbildung der Erfindung wird ebenfalls auf Basis der eventuell in der Entkopplungsphase erzeugten Steuersignale eine Trajektorie des Kraftfahrzeugs bestimmt. Die Trajektorie des Kraftfahrzeugs wird vor der Ausführungsphase optisch für den Fahrer dargestellt und dem Fahrer wird Gelegenheit gegeben, die Trajektorie ganz oder teilweise zu verändern. According to another embodiment of the invention, a trajectory of the motor vehicle is also determined based on the control signals that may be generated during the decoupling phase. The trajectory of the motor vehicle is displayed visually to the driver before the execution phase, and the driver is given the opportunity to modify the trajectory completely or partially.

Zur optischen Darstellung der Trajektorie können dieselben Anzeigemittel dienen, die während der Entkopplungsphase zunächst erfindungsgemäß zur optischen Darstellung einer Position des Kraftfahrzeugs bezüglich seiner Umgebung dienen. Zur Veränderung der Trajektorie kann ein gesondertes Bedienelement dienen. Die Veränderung kann aber auch dadurch erfolgen, dass die Erzeugung der Steuersignale durch das zumindest eine entkoppelte Steuerelement erneut von Anfang an oder von einem durch den Fahrer wählbaren Trajektorienpunkt aus durchlaufen wird und die neu erzeugten Steuersignale in eine neue Trajektorie umgesetzt werden. Die veränderte Trajektorie kann dann wieder als Grundlage für einen voll- oder teilautomatisch durchgeführten realen Einparkvorgang dienen.The same display means used during the decoupling phase to visually represent the vehicle's position relative to its surroundings can be used to visually display the trajectory. A separate control element can be used to change the trajectory. Alternatively, the change can be achieved by restarting the generation of control signals from the beginning or from a trajectory point selectable by the driver using at least one decoupled control element, and then converting the newly generated control signals into a new trajectory. The modified trajectory can then serve as the basis for a fully or partially automated parking maneuver.

Gemäß einer abermals anderen Weiterbildung der Erfindung werden während des eventuellen Ablaufs eines zumindest teilautomatisch ablaufenden Einparkvorgangs in der Ausführungsphase erste Steuersignale zur Steuerung des zumindest einen Antriebssystems automatisch erzeugt. Zudem werden auch in der Ausführungsphase Bedienaktionen des Fahrers, welche auf das zumindest eine Steuerelement ausgeübt werden, sensorisch erfasst und es werden in Abhängigkeit von den sensorisch erfassten Bedienaktionen zweite Steuersignale zur Steuerung des zumindest einen Antriebssystems erzeugt. Diese zweiten Steuersignale werden bei der Steuerung des zumindest einen Antriebssystems gegenüber den ersten Steuersignalen zumindest teilweise priorisiert. Durch die Priorisierung wird dem Fahrer die Möglichkeit gegeben, den automatischen Ablauf eines voll- oder teilautomatischen Einparkvorgangs in der Ausführungsphase zu überstimmen („overruling“). Der Fahrer kann so auf eventuell veränderte Randbedingungen oder Planungsfehler reagieren.According to yet another embodiment of the invention, during the execution phase of a potentially partially automatic parking maneuver, initial control signals for controlling the at least one drive system are automatically generated. Furthermore, during the execution phase, driver actions applied to the at least one control element are sensor-detected, and depending on these sensor-detected actions, second control signals for controlling the at least one drive system are generated. These second control signals are at least partially prioritized over the first control signals when controlling the at least one drive system. This prioritization allows the driver to override the automatic execution of a fully or partially automatic parking maneuver during the execution phase. The driver can thus react to potentially changed boundary conditions or planning errors.

Die optische Darstellung der Position des Kraftfahrzeugs bezüglich seiner Umgebung kann bei dem erfindungsgemäßen Verfahren, wie bereits erwähnt, erfolgen durch die Erzeugung zumindest eines Projektionsobjekts in der Umgebung des Kraftfahrzeugs.As already mentioned, the optical representation of the position of the motor vehicle in relation to its surroundings can be achieved in the method according to the invention by generating at least one projection object in the surroundings of the motor vehicle.

Im Folgenden wird dabei der Fall betrachtet, dass die Position des Kraftfahrzeugs bezüglich seiner Umgebung dargestellt wird, indem ein Zielobjekt an der jeweiligen Position - im Folgenden als Zielposition bezeichnet - durch an dem Kraftfahrzeug vorgesehene Projektionsmittel als Projektionsobjekt erzeugt wird. Die projektionstechnisch erreichte Erzeugung des Zielobjekts in der Umgebung dient dann als die erfindungsgemäße optische Darstellung einer Position des Kraftfahrzeugs bezüglich seiner Umgebung.The following considers the case where the position of the motor vehicle relative to its surroundings is represented by generating a target object at the respective position – hereinafter referred to as the target position – as a projection object using projection means provided on the motor vehicle. The projection-based generation of the target object in the surroundings then serves as the optical representation, according to the invention, of the position of the motor vehicle relative to its surroundings.

Die hierzu im Folgenden gemachten Ausführungen gehen teilweise über den bei der Erfindung fokussierten Anwendungsfall der Unterstützung des Fahrers bei einem Fahrmanöver hinaus. Der für die vorliegende Erfindung relevante Sachverhalt ist jedoch ohne Weiteres zu entnehmen.The following explanations extend in part beyond the application case focused on by the invention, namely supporting the driver during a driving maneuver. However, the facts relevant to the present invention are readily apparent.

Die Darstellung des Zielobjekts als Projektionsobjekt außerhalb des Kraftfahrzeugs bietet eine in vielen Fällen vorteilhafte Alternative zu anderen Anzeigeformen, etwa zur Projektion auf die Windschutzscheibe bei einem so genannten Head-Up-Display (HUD).Displaying the target object as a projection object outside the vehicle offers an advantageous alternative in many cases to other display methods, such as projection onto the windshield in a so-called head-up display (HUD).

Zum einen kann eine Projektion an einer Projektionsstelle außerhalb eines Kraftfahrzeugs so gestaltet werden, dass sie auch für andere Verkehrsteilnehmer sichtbar ist. Somit können die anderen Verkehrsteilnehmer über ein bevorstehendes Parkmanöver und einen eventuellen Platzbedarf des projizierenden Kraftfahrzeugs informiert werden. Es kann auch der beabsichtigte Parkplatz durch das erzeugte Projektionsobjekt für andere Verkehrsteilnehmer erkennbar reserviert werden.Firstly, a projection at a projection point outside a vehicle can be designed so that it is also visible to other road users. This allows other road users to be informed about an upcoming parking maneuver and the potential space requirements of the projecting vehicle. The intended parking space can also be clearly reserved for other road users by means of the projected image.

Ein weiterer Vorteil einer Erzeugung des Zielobjekts als Projektionsobjekt unmittelbar an der Zielposition besteht gegenüber anderen Anzeigeformen zum anderen darin, dass so unter Umständen in einfacherer und/oder verbesserter Art und Weise eine aus Sicht des Betrachters (bezogen auf Elemente der realen Fahrzeugumgebung) positionsrichtige bzw. positionsgenaue Darstellung realisiert werden kann. Dies wird durch die Erzeugung von Projektionsobjekten außerhalb des Kraftfahrzeugs in einfacherer bzw. verbesserter Art und Weise möglich, da das Ergebnis der Projektion in die Fahrzeugumgebung nicht bzw. nicht in gleichem Maße wie etwa eine Projektion auf die Windschutzscheibe von der Augenposition und/oder dem Blickwinkel des Betrachters abhängt. Für die Realisierung der Darstellung des Zielobjekts durch Projektion in die Fahrzeugumgebung sind somit in der Regel auch keine Mittel zur Erfassung der Augenposition und/oder des Blickwinkels des Betrachters erforderlich. Beispielsweise sind im Zusammenhang mit Night-Vision-Systemen und im Zusammenhang mit Vorrichtungen zur hervorgehobenen Anzeige von Verkehrszeichen Augmentierungsverfahren bekannt, bei welchen für den Fahrer eines Kraftfahrzeugs ein außerhalb des Fahrzeugs befindliches Objekt optisch hervorgehoben wird, indem eine optische Information so auf die Windschutzscheibe des Kraftfahrzeugs projiziert wird, dass sie sich für den Fahrer des Kraftfahrzeugs als Pfeil auf das Objekt oder als Umrandung um das Objekt darstellt. Bewegt der Fahrer seinen Kopf jedoch zur Seite und wird diese Bewegung vom jeweiligen System nicht berücksichtigt, erscheint die projizierte Information aus Sicht des Fahrers nicht positionsrichtig im augmentierten Gesamtbild. Wird eine entsprechende optische Information (hier beispielsweise ein Pfeil oder ein Kreis bzw. bei entsprechender optischer Verzerrung eine Ellipse) jedoch als Projektionsobjekt in der Umgebung des Kraftfahrzeugs erzeugt, so ist das dem Fahrer des Kraftfahrzeugs dargestellte Gesamtbild weitgehend von dessen Augenposition innerhalb des Kraftfahrzeugs unabhängig.Another advantage of generating the target object as a projection object directly at the target position, compared to other display methods, is that it can potentially achieve a positionally accurate representation (relative to elements of the real vehicle environment) from the viewer's perspective in a simpler and/or improved manner. This is made possible by generating projection objects outside the vehicle, as the result of the projection into the vehicle environment does not depend, or at least not to the same extent as, for example, a projection onto the windshield, on the viewer's eye position and/or viewing angle. Therefore, for the realization of the target object's representation by projection into the vehicle environment, means of detecting the viewer's eye position and/or viewing angle are generally not required. For example, augmentation methods are known in connection with night vision systems and devices for the highlighted display of traffic signs, in which an object located outside the vehicle is visually highlighted for the driver by projecting optical information onto the vehicle's windshield in such a way that it appears to the driver as an arrow pointing at the object or as a outline around the object. However, if the driver moves their head to the side and this movement is not taken into account by the respective system, the projected information does not appear correctly positioned within the augmented overall image from the driver's perspective. If, however, corresponding optical information (here, for example, an arrow or a circle, or, with appropriate optical distortion, an ellipse) is generated as a projection object in the vicinity of the vehicle, the overall image displayed to the driver is largely independent of their eye position inside the vehicle.

Gegenüber der Anzeige des Zielobjekts auf einem Bordmonitor oder einer vergleichbaren Anzeigeeinheit besitzt die Erzeugung des Zielobjekts als Projektionsobjekt in der Fahrzeugumgebung den Vorteil, dass der Bediener seinen Blick nicht von der Umgebung weg und auf den Bordmonitor lenken muss. Stattdessen sieht er das Zielobjekt unmittelbar an der Zielposition.Compared to displaying the target object on an on-board monitor or a similar display unit, generating the target object as a projection in the vehicle's surroundings has the advantage that the operator does not have to take their gaze away from the surroundings and onto the on-board monitor. Instead, they see the target object directly at its target position.

Die Erzeugung von Projektionsobjekten durch an einem Kraftfahrzeug vorgesehene Projektionsmittel kann in vielen Einsatzsituationen vorteilhaft sein. Die nachfolgenden Ausführungen gelten auch und insbesondere für Projektionsobjekte, die als Zielobjekte oder Hilfsobjekte dienen bei der bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens, welche eine Erzeugung eines Zielobjekts durch Projektion in die Fahrzeugumgebung vorsieht. Als Hilfsobjekte bei einem solchen Verfahren kommen insbesondere Steuerpfeile zur Verdeutlichung von möglichen Fahrrichtungen des Zielobjekts oder Warnsymbole zum Hinweis auf eine Kollisionsgefahr in Frage.The generation of projection objects by means of projection devices provided on a motor vehicle can be advantageous in many operating situations. The following explanations also apply, and in particular apply, to projection objects that serve as target objects or auxiliary objects in the preferred embodiment of the method according to the invention, which provides for the generation of a target object by projection into the vehicle's surroundings. Auxiliary objects in such a method include, in particular, steering arrows to clarify possible directions of travel of the target object or warning symbols to indicate a risk of collision.

Durch die Erzeugung zumindest eines Projektionsobjekts durch an einem Kraftfahrzeug vorgesehene Projektionsmittel kann zumindest ein voraussichtlicher zukünftiger Aufenthaltsort des Kraftfahrzeugs markiert werden, insbesondere zumindest flächig markiert werden. Insbesondere eine flächige Markierung lässt für den Betrachter tatsächlich bzw. einfach und anschaulich erkennen, welche Konsequenzen sich aus dem voraussichtlichen zukünftigen Aufenthalt des Kraftfahrzeugs an der jeweiligen Stelle ergeben. Unter einer zumindest flächigen Markierung wird dabei jede Markierung verstanden, die einen bestimmten Flächenbereich - insbesondere auf der Fahrbahn, alternativ aber auch auf einer anderen Projektionsfläche oder schwebend im freien Raum - oder ein bestimmtes Gebiet im dreidimensionalen Raum definiert. Die Markierung kann darin bestehen, dass der jeweilige Flächenbereich bzw. das Gebiet im Raum optisch massiv gefüllt wird oder mit einem Muster gefüllt wird. Alternativ oder zusätzlich kann der jeweilige Flächenbereich bzw. das Gebiet im Raum auch durch eine optische Umrandung oder in sonstiger Weise definiert werden. Insbesondere durch eine zumindest flächige Markierung kann etwa durch einen Betrachter im Kraftfahrzeug abgeschätzt werden, ob etwa ein Parkplatz tatsächlich die für das Kraftfahrzeug erforderliche Größe hat und ob er kollisionsfrei erreichbar ist. Die bloße Anzeige etwa einer linienförmigen Bewegungstrajektorie des Fahrzeugschwerpunkts oder eine beispielsweise pfeilartige Kennzeichnung einer Bewegungsrichtung würde demgegenüber in vielen Situationen nur einen Beitrag mit geringer Aussagekraft liefern. Durch eine flächige Markierung kann also besonders aussagekräftig der Platzbedarf bzw. Raumbedarf des Kraftfahrzeugs bei einem bevorstehenden Fahrmanöver gekennzeichnet werden. Vorzugsweise ist das Zielobjekt also zumindest flächig ausgebildet.By generating at least one projection object using projection devices provided on a motor vehicle, at least one anticipated future location of the vehicle can be marked, in particular, at least an area can be marked. An area marking, in particular, allows the observer to clearly and easily recognize the consequences of the vehicle's anticipated future location. An area marking is understood to be any marking that defines a specific surface area—especially on the roadway, but alternatively also on another projection surface or floating in free space—or a specific area in three-dimensional space. The marking can consist of the respective area being visually filled with a solid image or a pattern. Alternatively or additionally, the respective area can also be defined by an optical outline or in some other way. An area marking, in particular, allows an observer inside the vehicle to assess whether a parking space is actually large enough for the vehicle and whether it can be reached without collision. Simply displaying, for example, a linear trajectory of the vehicle's center of gravity or an arrow indicating a direction of movement would, in many situations, provide only limited information. A surface marking, on the other hand, can be particularly effective in indicating the space required by the vehicle during an upcoming maneuver. Therefore, the target object is preferably at least two-dimensional.

Unter einem Projektionsobjekt kann jede außerhalb des Kraftfahrzeugs auftretende Lichterscheinung angesehen werden, die durch die an dem Kraftfahrzeug vorgesehenen Projektionsmittel verursacht wird. Als Projektionsmittel werden nicht angesehen konventionelle Fahrzeugscheinwerfer und Fahrzeugleuchten, die in erster Linie zur Erhellung der Umgebung des Fahrzeugs dienen (z.B. Abblendlicht und Fernlicht) oder die zu einer verbesserten Erkennbarkeit des Fahrzeugs dienen, ohne gezielt Licht an eine Projektionsstelle in der Umgebung des Fahrzeugs abzugeben (z.B. Heckleuchten).A projection object can be any light phenomenon occurring outside the motor vehicle that is caused by the projection means provided on the motor vehicle. Conventional vehicle headlights and lights that primarily serve to illuminate the vehicle's surroundings (e.g., low beam and high beam) or that serve to improve the vehicle's visibility without specifically directing light onto a projection point in the vehicle's vicinity (e.g., taillights) are not considered projection means.

Die Projektion kann so ausgeführt werden, dass ein erzeugtes Projektionsobjekt - insbesondere das Zielobjekt und/oder bestimmte Hilfsobjekte - nur für Insassen des projizierenden Fahrzeugs, insbesondere den Fahrer, sichtbar ist, für andere Verkehrsteilnehmer hingegen unsichtbar oder zumindest schwer erkennbar. Auf diese Weise kann dem unter Umständen bestehenden Bedürfnis des Fahrers Rechnung getragen werden, andere Verkehrsteilnehmer nicht an seinen Planungen - sofern das zumindest eine Projektionsobjekt solche Planungen betrifft - und/oder an Informationsanzeigen seines Fahrzeugs teilhaben zu lassen. Es kann so gegebenenfalls auch vermieden werden, dass andere Verkehrsteilnehmer durch Projektionen gestört bzw. irritiert werden. Erreicht werden kann eine ausschließlich für den Fahrer sichtbare Projektion beispielsweise durch die Anwendung von Infrarot-Projektionstechniken. Denkbar sind aber auch andere Projektionstechniken, wie etwa die Verwendung von ultraviolettem oder polarisiertem Licht. Der Fahrer und gegebenenfalls weitere Insassen des projizierenden Kraftfahrzeugs können dann unter Verwendung optischer Hilfsmittel in die Lage versetzt werden, Projektionsobjekte zu sehen, die für andere Verkehrsteilnehmer im Wesentlichen unsichtbar sind. Als optische Hilfsmittel können dabei beispielsweise spezielle Filter dienen, die vorzugsweise an der Windschutzscheibe des Kraftfahrzeugs anzubringen sind, oder eine Kamera mit nachgelagerter Bildwiedergabeeinheit zur Wiedergabe des gegebenenfalls nachverarbeiteten Kamerabilds. Die optischen Hilfsmittel müssen geeignet auf die spezielle verwendete Projektionstechnik abgestimmt sein - beispielsweise kann eine Infrarotkamera Verwendung finden, um Projektionsobjekte sichtbar zu machen, die durch eine Infrarotprojektion erzeugt werden.The projection can be designed so that a generated projection object—especially the target object and/or certain auxiliary objects—is visible only to the occupants of the projecting vehicle, particularly the driver, while remaining invisible or at least difficult to discern for other road users. This accommodates the driver's potential need to keep their planning—provided at least one projection object relates to such planning—and/or information displayed in their vehicle private from other road users. It can also prevent other road users from being disturbed or confused by projections. A projection visible only to the driver can be achieved, for example, through the use of infrared projection techniques. Other projection techniques are also conceivable, such as the use of ultraviolet or polarized light. The driver and, if applicable, other occupants of the projecting vehicle can then be enabled, with the aid of optical devices, to see projection objects that are essentially invisible to other road users. Optical aids can include, for example, special filters, preferably mounted on the windshield of the vehicle, or a camera with a downstream image display unit to reproduce the potentially processed camera image. The optical aids must be appropriately matched to the specific projection technique used – for example, an infrared camera can be used to make projected objects visible that are created by infrared projection.

Gemäß einer besonders bevorzugten Ausführungsform der Erfindung wird mittels der an dem Kraftfahrzeug vorgesehenen Projektionsmittel zusätzlich zu dem Zielobjekt zumindest ein zur Fahrerinformation dienendes Hilfsobjekt erzeugt und die Erzeugung des zumindest einen Hilfsobjekts erfolgt so, dass das zumindest eine Hilfsobjekt für andere Verkehrsteilnehmer ohne optische Hilfsmittel im Wesentlichen unsichtbar ist. Für den Fahrer des projizierenden Kraftfahrzeugs hingegen wird das zumindest eine für andere Verkehrsteilnehmer im Wesentlichen unsichtbare Hilfsobjekt durch optische Hilfsmittel sichtbar gemacht.According to a particularly preferred embodiment of the invention, in addition to the target object, at least one auxiliary object serving to inform the driver is generated by means of the projection means provided on the motor vehicle, and the generation of the at least one auxiliary object is such that the at least one auxiliary object is essentially invisible to other road users without optical aids. For the driver of the projecting motor vehicle, however, the at least one auxiliary object, which is essentially invisible to other road users, is made visible by means of optical aids.

Die Fälle der schweren Erkennbarkeit und der vollständigen Unsichtbarkeit seien im Rahmen des vorliegenden Dokuments zusammengefasst durch die Ausdrucksweise „im Wesentlichen unsichtbar“. Sofern nicht explizit anders erwähnt, ist im Folgenden jeweils „im Wesentlichen unsichtbar“ gemeint, wenn von „unsichtbar“ gesprochen wird. Wenn von Sichtbarkeit „ausschließlich“ für den Fahrer gesprochen wird, so ist damit gemeint, dass die jeweilige Information für Personen außerhalb des Kraftfahrzeugs „im Wesentlichen unsichtbar“ ist. Der Vollständigkeit halber sei erwähnt, dass unter Unsichtbarkeit im vorliegenden Zusammenhang selbstverständlich nicht der Fall einer Verdeckung der Sicht eines Betrachters auf das Projektionsobjekt zu verstehen ist. Gemeint ist beispielsweise die Unsichtbarkeit einer Lichterscheinung aufgrund der Wellenlänge oder Polarität des zu der Lichterscheinung beitragenden Lichts.The cases of difficult detection and complete invisibility are summarized in this document by the phrase "essentially invisible." Unless explicitly stated otherwise, the term "invisible" is used throughout to mean "essentially invisible." When visibility is mentioned "exclusively" for the driver, it means that the information in question is "essentially invisible" to persons outside the vehicle. For the sake of completeness, it should be noted that invisibility in this context does not refer to the obstruction of an observer's view of the projected object. It refers, for example, to the invisibility of a light phenomenon due to the wavelength or polarity of the light contributing to the phenomenon.

Die Projektion kann so ausgeführt werden, dass die erzeugten Projektionsobjekte ebenfalls oder sogar ausschließlich für andere Verkehrsteilnehmer sichtbar sind. Ist die Projektion so gestaltet, dass sie für andere Verkehrsteilnehmer sichtbar ist, kann durch die Projektion beispielsweise ein benötigter Platz bzw. Raum in der Fahrzeugumgebung - etwa ein Parkplatz - optisch erkennbar markiert und somit gewissermaßen reserviert werden.The projection can be designed so that the generated projection objects are visible to other road users as well, or even exclusively. If the projection is designed to be visible to other road users, it can, for example, visually mark and thus reserve a required space or area in the vehicle's vicinity – such as a parking space.

Vorteilhafterweise kann die Projektion auch so gestaltet werden, dass mehrere Projektionsobjekte erzeugt werden, und dass nur ein Teil derselben für andere Verkehrsteilnehmer sichtbar ist, während ein anderer Teil der erzeugten Projektionsobjekte für die anderen Verkehrsteilnehmer unsichtbar ist. Für den Fahrer des projizierenden Kraftfahrzeugs sind hingegen vorzugsweise sämtliche erzeugten Projektionsobjekte sichtbar. So kann beispielsweise eine wesentliche Kerninformation (z.B. das Zielobjekt) sowohl für den Fahrer als auch für andere Verkehrsteilnehmer sichtbar sein, wohingegen Zusatzinformationen (z.B. Rangier-Anweisungen an den Fahrer) bzw. Hilfsobjekte (z.B. Steuerpfeile zur Anzeige einer Bedienmöglichkeit) nur dem Fahrer vorbehalten sind.Advantageously, the projection can also be designed to generate multiple projection objects, with only some of them visible to other road users, while others remain invisible. For the driver of the projecting vehicle, however, all generated projection objects are preferably visible. For example, essential core information (e.g., the target object) can be visible to both the driver and other road users, whereas supplementary information (e.g., maneuvering instructions for the driver) or auxiliary objects (e.g., control arrows to indicate an operating option) are reserved for the driver only.

Ein für andere Verkehrsteilnehmer unsichtbares Projektionsobjekt kann aus nur einem Objektteil bestehen. Wenn dieser Objektteil unsichtbar ist, ist das ganze Projektionsobjekt unsichtbar. Ebenso kann selbstverständlich auch ein einziges Projektionsobjekt mehrere Objektteile umfassen, wobei zumindest ein Objektteil für andere Verkehrsteilnehmer sichtbar ist, während zumindest ein anderer Objektteil für die anderen Verkehrsteilnehmer unsichtbar ist. Etwa kann ein Projektionsobjekt aus einem symbolischen Objektteil und einer Beschriftung als weiterem Objektteil bestehen. Es kann dann der symbolische Objektteil für alle Verkehrsteilnehmer sichtbar dargestellt werden, während die Beschriftung nur für den Fahrer des projizierenden Fahrzeugs sichtbar dargestellt wird.A projection object invisible to other road users can consist of only one object part. If this object part is invisible, the entire projection object is invisible. Likewise, a single projection object can, of course, comprise multiple object parts. At least one part of the object is visible to other road users, while at least one other part remains invisible to them. For example, a projection object can consist of a symbolic object part and a label as a further object part. The symbolic object part can then be displayed visible to all road users, while the label is only visible to the driver of the projecting vehicle.

Die unterschiedliche Sichtbarkeit unterschiedlicher Projektionsobjekte bzw. Objektteile kann im einfachsten Fall dadurch erreicht werden, dass unterschiedliche Projektionsmittel Anwendung finden. Ohne Hilfsmittel sichtbare Projektionsobjekte bzw. Objektteile werden dann von ersten Projektionsmitteln erzeugt, nur mit Hilfsmitteln sichtbare (und ansonsten unsichtbare) Projektionsobjekte bzw. Objektteile von zweiten Hilfsmitteln.The different visibility of different projected objects or object parts can be achieved in the simplest case by using different projection methods. Projected objects or object parts visible without aids are then generated by the first set of projection methods, while projected objects or object parts visible only with aids (and otherwise invisible) are generated by the second set of aids.

Es kann auch eine Bedienmöglichkeit vorgesehen werden, durch welche der Fahrer beeinflussen kann, ob ein Projektionsobjekt bzw. ein Objektteil eines solchen für andere Verkehrsteilnehmer sichtbar sein soll. Vorzugsweise ist also mittels einer bei dem Kraftfahrzeug vorgesehenen Bedienmöglichkeit steuerbar, ob ein Projektionsobjekt bzw. ein Objektteil eines solchen für andere Verkehrsteilnehmer sichtbar ist.It is also possible to provide a control mechanism by which the driver can influence whether a projected object or a part thereof is visible to other road users. Preferably, therefore, it is possible to control whether a projected object or a part thereof is visible to other road users by means of a control mechanism provided in the motor vehicle.

Besonders vorteilhaft ist eine Projektion, die sich dem Betrachter dreidimensional darstellt. Dies kann beispielsweise in an sich bekannter Weise erreicht werden durch eine an sich im Wesentlichen zweidimensionale Projektion, die vom Betrachter aber aufgrund perspektivischer Darstellungselemente dreidimensional wahrgenommen wird. Eine dreidimensionale Darstellung - insbesondere für Insassen, etwa den Fahrer, des mit den Projektionsmitteln ausgerüsteten Kraftfahrzeugs - kann ferner auch erreicht werden durch verschiedenste Techniken der 3D-Darstellung, bei welchen durch technische Hilfsmittel (z.B. Shutter-Brille, Rot-Grün-Filter, Polarisationsfilter, etc.) erreicht wird, dass den beiden Augen des Betrachters leicht unterschiedliche - beispielsweise perspektivisch leicht versetzte - Bilder dargeboten werden, wodurch der Effekt einer räumlichen Wahrnehmung entsteht. Zur verbesserten Benutzbarkeit wird die Anbringung solcher Stereoprojektions-Hilfsmittel bzw. Stereosicht-Hilfsmittel an der Windschutzscheibe des Kraftfahrzeugs bzw. ihre Einarbeitung in die Windschutzscheibe vorgeschlagen. Dies ist insbesondere unter Verwendung eines oder mehrerer Polarisationsfilter realisierbar.A projection that appears three-dimensional to the viewer is particularly advantageous. This can be achieved, for example, in a known manner, through a projection that is essentially two-dimensional but perceived three-dimensionally by the viewer due to perspective elements. A three-dimensional representation—especially for occupants, such as the driver, of a vehicle equipped with projection equipment—can also be achieved through various 3D projection techniques. These techniques employ technical aids (e.g., shutter glasses, red-green filters, polarization filters, etc.) to present slightly different images—for example, images slightly offset due to perspective—to each of the viewer's eyes, thus creating the effect of spatial perception. To improve usability, it is proposed that such stereoscopic projection aids be mounted on or integrated into the windshield of the vehicle. This is particularly feasible using one or more polarization filters.

Typischerweise werden Projektionsobjekte erzeugt, indem Licht auf die Oberfläche eines festen (also nicht flüssigen oder gasförmigen) Körpers geworfen wird. Es dient dann also die Oberfläche des Körpers als Projektionsfläche. Ein Projektionsobjekt kann unter bestimmten Umständen und unter Zuhilfenahme geeigneter Techniken aber auch an einer Projektionsstelle „im freien Raum“ - also nicht auf der Oberfläche eines Festkörpers, sondern beispielsweise „in der Luft schwebend“ - erzeugt werden.Projection objects are typically created by shining light onto the surface of a solid (i.e., not liquid or gaseous) body. The body's surface then serves as the projection surface. However, under certain circumstances and with the aid of suitable techniques, a projection object can also be created at a projection point "in free space"—that is, not on the surface of a solid, but, for example, "suspended in the air."

Ein solches „im freien Raum“ erzeugtes Projektionsobjekt kann beispielsweise im Wesentlichen flächig ausgebildet sein oder zumindest für den Betrachter flächig in Erscheinung treten. Hierzu kann etwa eine Nebelwand als Projektionsfläche genutzt werden. Um ein dreidimensionales Erscheinungsbild zu erreichen, ist ganz besonders vorteilhaft die Anwendung von Techniken, die tatsächlich die Erzeugung eines bereits an sich dreidimensional beschaffenen Projektionsobjekts zulassen. Durch eine an sich dreidimensionale Projektion kann einem Fahrzeuginsassen ebenso wie einem außerhalb des Kraftfahrzeugs befindlichen Betrachter der Projektion - etwa einem anderen Verkehrsteilnehmer - gleichermaßen eine dreidimensionale Darstellung an derselben Projektionsstelle dargeboten werden, denn durch die nachfolgend beschriebenen Techniken können Darstellungen realisiert werden, deren Dreidimensionalität nahezu unabhängig vom Blickwinkel des Betrachters ist. Eine solche dreidimensionale Projektion ist ganz besonders vorteilhaft wegen ihres realistischen räumlichen Erscheinungsbilds, welches eine hohe Aufmerksamkeit des Betrachters und eine wirkungsvolle Informationsvermittlung zur Folge haben kann. Da eine solche dreidimensionale Projektion typischerweise aus der Fahrbahnebene räumlich herausragt oder über dieser „schwebt“, ist sie besonders gut erkennbar und wird nur mit geringer Wahrscheinlichkeit verdeckt. Besonders vorteilhaft ist somit eine dreidimensionale Ausbildung des Zielobjekts.Such a projection object, generated "in free space," can, for example, be essentially two-dimensional or at least appear two-dimensional to the viewer. A fog screen, for instance, can be used as a projection surface. To achieve a three-dimensional appearance, the application of techniques that actually allow the creation of a projection object that is inherently three-dimensional is particularly advantageous. With an inherently three-dimensional projection, a three-dimensional representation can be presented at the same projection point to both a vehicle occupant and an observer outside the vehicle—such as another road user—because the techniques described below allow for representations whose three-dimensionality is almost independent of the viewer's perspective. Such a three-dimensional projection is particularly advantageous because of its realistic spatial appearance, which can result in high viewer attention and effective information transfer. Since such a three-dimensional projection typically protrudes spatially from or "floats" above the road surface, it is particularly easy to see and is unlikely to be obscured. A three-dimensional representation of the target object is therefore particularly advantageous.

Technisch realisierbar ist eine solche dreidimensionale Projektion etwa durch holographische Projektion, beispielsweise mit Hilfe kohärenter Lichtquellen (Laser). Für die holographische Projektion notwendige kohärente Lichtquellen können in an sich aus dem Stand der Technik bekannter Art und Weise beispielsweise mittels Teilung eines Laserstrahls mit Hilfe eines halbtransparenten Spiegels erzeugt werden.Such a three-dimensional projection is technically feasible, for example, through holographic projection, using coherent light sources (lasers). The coherent light sources necessary for holographic projection can be generated in a manner known from the prior art, for example, by splitting a laser beam using a semi-transparent mirror.

Gegebenenfalls kann für die Projektion an der Projektionsstelle ein speziell ausgestaltetes Medium geschaffen werden, in welches bzw. auf welches projiziert wird. Alternativ oder zusätzlich kann an der Projektionsstelle auch eine Grenze zweier Medien mit unterschiedlichen optischen Eigenschaften geschaffen werden. Es kann dann speziell die Grenze zwischen den beiden Medien geeignete optische Eigenschaften aufweisen, um dort ein Projektionsobjekt zu erzeugen.If necessary, a specially designed medium can be created at the projection point, onto which the image is projected. Alternatively or additionally, a boundary between two media with different optical properties can be created at the projection point. The boundary between the two media can then have suitable optical properties to generate a projection object.

Gemäß einer besonders vorteilhaften Ausführungsform der Erfindung wird das Zielobjekt erzeugt, indem eine holographische Projektion auf eine oder mehrere Ultraschallwellenfronten vorgenommen wird. Vorzugsweise sind die Ultraschallwellenfronten hinsichtlich ihrer räumlichen Anordnung steuerbar. Dabei kann mit Hilfe speziell zu diesem Zweck geschaffener stehender Ultraschallwellen bzw. einer räumlichen Anordnung solcher stehender Ultraschallwellen eine Inhomogenität der wellenoptischen Eigenschaften eines Mediums geschaffen werden. Mittels dieser Inhomogenität können die für die holographische Projektion verwendeten kohärenten Lichtquellen ein Defraktionsmuster an vorgegebenen Stellen im Raum bilden. Diese Stellen im Raum verhalten sich somit selbst wie Lichtquellen im Raum (vgl. physikalischer Effekt der Defraktion), wodurch aus der Sicht eines Betrachters ein im Raum schwebendes dreidimensionales Objekt gebildet werden kann. Eine geeignete Ultraschallwellenfront kann etwa mittels ebenfalls kohärenter untereinander synchronisierter Ultraschallsignalgeber geschaffen werden. Solche Ultraschallsignalgeber können in einem Medium (beispielsweise in Wasser oder - für die vorliegende Anwendung von höherer Relevanz - in Luft) stehende Wellen erzeugen, die gegebenenfalls auch räumlich verschiebbar sind. Indem der Luftdruck infolge der Wellen an den betreffenden Stellen im Raum ungleichmäßig verteilt wird, ergeben sich auch für die optischen Eigenschaften der betreffenden Stellen bestimmte Veränderungen, insbesondere bilden sich Minima bzw. Maxima im Hinblick auf bestimmte optische Eigenschaften. Die daraus resultierende Inhomogenität kann als Medium, bildlich gesprochen „Kristallisationszentren“, für die Bildung eines Defraktionsmusters genutzt werden.According to a particularly advantageous embodiment of the invention, the target object is generated by performing a holographic projection onto one or more ultrasonic wavefronts. Preferably, the ultrasonic wavefronts are controllable with respect to their spatial arrangement. An inhomogeneity in the wave-optical properties of a medium can be created using standing ultrasonic waves specifically generated for this purpose or a spatial arrangement of such standing ultrasonic waves. This inhomogeneity allows the coherent light sources used for the holographic projection to form a defraction pattern at predetermined locations in space. These locations in space thus behave like light sources in space (cf. the physical effect of defraction), thereby creating the appearance of a three-dimensional object floating in space from the viewer's perspective. A suitable ultrasonic wavefront can be generated, for example, by means of coherent, mutually synchronized ultrasonic signal generators. Such ultrasonic signal generators can generate standing waves in a medium (for example, in water or—of greater relevance for the present application—in air), which may also be spatially displaceable. Because the air pressure is unevenly distributed at the relevant locations in space due to the waves, certain changes also occur in the optical properties of these locations; in particular, minima and maxima form with respect to certain optical properties. The resulting inhomogeneity can be used as a medium, figuratively speaking, "crystallization centers," for the formation of a defraction pattern.

Gemäß einer anderen besonders vorteilhaften Ausführungsform der Erfindung kann eine holographische Projektion zur Erzeugung des Zielobjekts auch an einer an der Projektionsstelle zumindest kurzzeitig geschaffenen Wärmefront erzeugt werden. Die Wärmefront kann durch Beeinflussung der lokalen Temperatur der Luft an der Projektionsstelle mit Hilfe entsprechender technischer Mittel, insbesondere mit Hilfe von Mitteln zum Erwärmen der Luft (beispielsweise mit Hilfe eines weiteren unsichtbaren gelenkten Laserstrahls oder mehrerer auf eine Ebene im Raum fokussierter Laserstrahlen) geschaffen werden. Durch solche Techniken kann beispielsweise lokal Wasserdampf bzw. Nebel erzeugt werden, da die Wassertröpfchen in der Luft - beispielsweise mit einem Laserstrahl - erhitzt werden können. Eine auf solche Art und Weise erzeugbare „Nebelwand“ kann als Projektionsfläche für die Projektion dienen.According to another particularly advantageous embodiment of the invention, a holographic projection for generating the target object can also be created at a heat front that is at least temporarily generated at the projection point. The heat front can be created by influencing the local temperature of the air at the projection point using appropriate technical means, in particular by means of heating the air (for example, by means of another invisible, guided laser beam or several laser beams focused on a plane in space). Such techniques can, for example, locally generate water vapor or fog, since the water droplets in the air can be heated—for example, with a laser beam. A “fog wall” generated in this way can serve as the projection surface for the projection.

Die genannten Inhomogenitäten wellenoptischer Eigenschaften des Mediums können in beiden oben beschriebenen vorteilhaften Ausführungsformen auch pulsierend, d.h. für jeweils eine kurze Zeit, und an annähernd demselben Ort geschaffen werden, da eine aus schnell pulsierenden Raumbereichen zusammengesetzte Projektion in der menschlichen Wahrnehmung als zeitlich und räumlich kontinuierlich wahrgenommen wird. Besonders vorteilhaft ist es, wenn hierfür eine Synchronisation der Einrichtung zur Schaffung wellenoptischer Inhomogenitäten mit der Steuerung des Projektionsmittel geschaffen wird.The aforementioned inhomogeneities in the wave-optical properties of the medium can also be created in both advantageous embodiments described above in a pulsating manner, i.e., for a short period of time, and at approximately the same location, since a projection composed of rapidly pulsating spatial regions is perceived by humans as temporally and spatially continuous. It is particularly advantageous if the device for creating wave-optical inhomogeneities is synchronized with the control of the projection means.

Bei der praktischen Umsetzung der beschriebenen Verfahren ist zu beachten, dass ein geschaffenes Projektionsmedium unter Umständen nur für sehr kurze Zeit in unveränderter Form zur Verfügung steht. Beispielsweise kann eine geschaffene Wärmefront innerhalb von Sekunden verschwimmen oder durch Luftströme verändert, z.B. verzerrt, werden. Ein lokal erzeugter Überdruck wird in der Regel innerhalb weniger Millisekunden ausgeglichen. Nur im Fall einer stehenden Welle gibt es Knotenpunkte und Schwingungsorte im Raum, die periodisch ihre Minima und Maxima erreichen, weshalb eine solche Lösung bevorzugt wird. Um einer jeweils nur kurzzeitigen Nutzbarkeit des erzeugten Projektionsmediums gerecht zu werden, kann die Erzeugung von Projektionsobjekten in einem gepulsten Betrieb unter Synchronisation der Einrichtungen zur Schaffung des Projektionsmediums und der eigentlichen projizierenden Einrichtung erfolgen. Für eine in der menschlichen Wahrnehmung als zeitkontinuierlich wahrgenommene Projektion können dabei ca. 24 Einzelprojektionen pro Sekunde ausreichen. Untersuchungen haben ergeben, dass dabei jede Einzelprojektion eine Zeitdauer von wenigen Nanosekunden nicht überschreiten muss, um eine ausreichende Erkennbarkeit zu gewährleisten.In the practical implementation of the described methods, it must be considered that a created projection medium may only be available in its unchanged form for a very short time. For example, a created heat front can blur within seconds or be altered, e.g., distorted, by air currents. A locally generated overpressure is usually equalized within a few milliseconds. Only in the case of a standing wave are there nodes and oscillation points in space that periodically reach their minima and maxima, which is why such a solution is preferred. To accommodate the short-term usability of the generated projection medium, the generation of projection objects can be carried out in pulsed operation with synchronization of the devices for creating the projection medium and the actual projecting device. Approximately 24 individual projections per second may suffice for a projection perceived as continuous in time by humans. Studies have shown that each individual projection need not exceed a duration of a few nanoseconds to ensure adequate recognizability.

Vorzugsweise umfasst das Kraftfahrzeug selbst geeignete Mittel zum Schaffen eines speziell ausgestalteten Projektionsmediums (beispielsweise zur Erzeugung einer Ultraschallwellenfront bzw. zur anderweitigen Schaffung wellenoptischer Inhomogenitäten) und gegebenenfalls zur Steuerung der räumlichen Anordnung derselben. Beispielsweise können an dem Kraftfahrzeug geeignete Ultraschallsignalgeber zu diesem Zweck vorgesehen werden. Durch die Möglichkeit der Steuerung der räumlichen Anordnung kann das Projektionsmedium dort geschaffen werden, wo ein Projektionsobjekt erzeugt werden soll. Das Kraftfahrzeug ist bei geeigneter Steuerung dann eigenständig in der Lage, durch eine entsprechende Projektionstechnik dreidimensionale Projektionsobjekte zu erzeugen. Es ist aber auch vorstellbar, dass an typischen Projektionsstellen (etwa auf großen Parkplätzen oder in einem Parkhaus) durch eine stationäre Einrichtung ein geeignetes Projektionsmedium bereitgestellt wird, welches dann für alle Verkehrsteilnehmer, die eine solche Projektionsstelle passieren, nutzbar ist.Preferably, the motor vehicle itself includes suitable means for creating a specially designed projection medium (for example, for generating an ultrasonic wavefront or for otherwise creating wave-optical inhomogeneities) and, optionally, for controlling its spatial arrangement. For example, suitable ultrasonic signal transmitters can be provided on the motor vehicle for this purpose. By controlling the spatial arrangement, the projection medium can be created wherever a projection object is to be generated. With suitable control, the motor vehicle is then independently capable of generating three-dimensional projection objects using appropriate projection technology. However, it is also conceivable that a suitable projection medium is provided at typical projection locations (such as large parking lots or parking garages) by a stationary device, which is then used for It is usable by all road users passing such a projection point.

Ein „im freien Raum“ erzeugtes Projektionsobjekt kann im Wesentlichen zwei- oder dreidimensional ausgebildet sein. Auch die Sichtbarkeit eines zweidimensionalen Projektionsobjekts kann unter Umständen verbessert werden, wenn die Projektion nicht auf eine Projektionsfläche vorgenommen wird, sondern wenn das Projektionsobjekt, gegebenenfalls unter Nutzung eines Projektionsmediums wie etwa einer Ultraschallwellenfront, gewissermaßen „schwebend“ im freien Raum erzeugt wird. So können etwa auch zweidimensionale - nicht nur durch ihre perspektivische Ansicht, sondern tatsächlich - aus der Fahrebene herausragende Projektionsobjekte erzeugt werden.A projection object generated "in free space" can essentially be two- or three-dimensional. The visibility of a two-dimensional projection object can also be improved if the projection is not made onto a projection surface, but rather if the projection object is generated, possibly using a projection medium such as an ultrasound wavefront, as if "floating" in free space. In this way, for example, two-dimensional projection objects can be created that actually protrude from the road surface—not just due to their perspective.

Generell - d.h. auch bei dreidimensionalen Projektionen, insbesondere aber bei zweidimensionalen Projektionen - kann es bei Projektionsobjekten, die sich dem Betrachter abhängig von dessen Blickwinkel verzerrt darstellen könnten, vorteilhaft sein, den Blickwinkel des jeweiligen Betrachters bei der Projektion derart zu berücksichtigen, dass sich aus dem jeweiligen Blickwinkel ein zumindest annähernd geometrisch korrektes (unverzerrtes) Bild ergibt. Die Berücksichtigung kann insbesondere in einer absichtlichen Verzerrung des zu projizierenden Bildes bestehen, welche die blickwinkelabhängige perspektivische Verzerrung bei der Betrachtung des Projektionsobjekts ausgleicht. Ein solches Vorgehen ist in ganz anderem Zusammenhang etwa bekannt für fest auf einer Spielfläche von Sportstadien angebrachte Werbeanzeigen, welche derart auf eine bestimmte Kameraperspektive abgestimmt sind, dass sie im Kamerabild unverzerrt erscheinen. Sofern die Blickrichtung eines Betrachters auf das Projektionsobjekt bekannt ist - zum Beispiel im Falle eines anderen Verkehrsteilnehmers, dessen Position durch Umfeldsensorik des Kraftfahrzeugs erkannt wird oder durch Fahrzeug-Fahrzeug-Kommunikation gemeldet wird - ist es vorteilhaft, die bekannte Blickrichtung in an sich bekannter Art und Weise bei der Projektion zu berücksichtigen. Ansonsten können Annahmen bezüglich eines Betrachtungswinkels getroffen werden (z.B. gemäß Kartenmaterial eines Navigationssystems). Alternativ - insbesondere, wenn nicht bekannt ist, in welcher Richtung sich ein Betrachter befinden könnte oder wenn mehrere mögliche Richtungen in Betracht zu ziehen sind - können auch einfach mehrere Darstellungen gleichzeitig projiziert werden, die jeweils auf einen bestimmten Betrachtungswinkel bzw. Betrachtungswinkelbereich abgestimmt sind. Somit besteht eine hohe Wahrscheinlichkeit, dass für einen aus unbekanntem Blickwinkel betrachtenden Betrachter zumindest eine der Darstellungen gut erkennbar und informativ ist. Eine Berücksichtigung des Blickwinkels des Betrachters durch entsprechende Verzerrung kann sich gegebenenfalls auf sämtliche erzeugten Projektionsobjekte oder auch nur auf einzelne erzeugte Projektionsobjekte beziehen. Insbesondere für Darstellungselemente, die sich in der Wahrnehmung des Betrachters aus der Projektionsebene herausheben sollen, ist eine solche Darstellungsform vorteilhaft.In general – that is, also with three-dimensional projections, but especially with two-dimensional projections – it can be advantageous, when dealing with projection objects that might appear distorted to the viewer depending on their viewing angle, to take the viewer's perspective into account during the projection process in such a way that the resulting image is at least approximately geometrically correct (undistorted). This can be achieved, in particular, by intentionally distorting the projected image to compensate for the perspective distortion that occurs when viewing the projection object from different angles. Such a procedure is known, in a completely different context, for example, for advertisements permanently affixed to the playing surface of sports stadiums, which are aligned with a specific camera perspective so that they appear undistorted in the camera image. If the viewing direction of a viewer towards the projection object is known—for example, in the case of another road user whose position is detected by the vehicle's environmental sensors or reported via vehicle-to-vehicle communication—it is advantageous to take this known viewing direction into account during the projection process in a known manner. Otherwise, assumptions regarding the viewing angle can be made (e.g., based on map data from a navigation system). Alternatively—especially if the direction in which a viewer might be located is unknown or if several possible directions must be considered—multiple projections can simply be displayed simultaneously, each tailored to a specific viewing angle or range of viewing angles. This increases the likelihood that at least one of the projections will be clearly recognizable and informative for a viewer observing from an unknown perspective. Taking the viewer's viewing angle into account through appropriate distortion can, if necessary, apply to all generated projection objects or only to individual ones. This form of representation is particularly advantageous for representational elements that are intended to stand out from the projection plane in the viewer's perception.

Vorzugsweise wird das Zielobjekt so gestaltet, dass es aus der Sicht des Betrachters zumindest teilweise deutlich nach oben über die Fahrbahnebene hinausragt. Es ist dann besonders gut erkennbar.Preferably, the target object is designed so that, from the viewer's perspective, it protrudes at least partially and significantly above the road surface. It is then particularly easy to see.

Besonders vorteilhaft ist es, wenn das Zielobjekt graphisch so gestaltet wird, dass es in der Umgebung ein virtuelles Kraftfahrzeug verkörpert. Besonders vorteilhaft kann das Zielobjekt dabei gestaltet werden, wenn es als dreidimensionales Projektionsobjekt erzeugt wird - gegebenenfalls unter Nutzung eines an der Projektionsstelle eigens erzeugten Projektionsmediums.It is particularly advantageous if the target object is graphically designed in such a way that it embodies a virtual motor vehicle in its environment. The target object can be designed particularly effectively if it is created as a three-dimensional projection object – possibly using a projection medium specifically created at the projection point.

Es kann alternativ oder zusätzlich auch vorteilhaft sein, das Zielobjekt ganz oder teilweise teiltransparent auszugestalten. Der Effekt von Verdeckungen der Fahrzeugumgebung wird so verringert. Zudem wird der virtuelle Charakter des Zielobjekts unterstrichen und es wird weniger Leistung für die Projektion benötigt.Alternatively or additionally, it can also be advantageous to make the target object partially or completely transparent. This reduces the effect of occlusion from the vehicle's surroundings. Furthermore, it emphasizes the virtual nature of the target object and requires less power for projection.

Im Fall der optischen Darstellung der Position des Kraftfahrzeugs durch Erzeugung eines Projektionsobjekts in der Umgebung des Kraftfahrzeugs ist folgende Besonderheit zu beachten. Vorzugsweise beginnt das erfindungsgemäß „virtuell erprobte“ Einparkmanöver bei der aktuellen physikalischen Position des Kraftfahrzeugs. Dabei kann es aus projektionstechnischen Gründen schwierig sein, das Zielobjekt bereits in kurzer Distanz vom Kraftfahrzeug projektionstechnisch zu erzeugen. Daher kann es vorteilhaft sein, das Zielobjekt erst dann projektionstechnisch zu erzeugen, wenn es sich bereits in solchem Abstand zum Kraftfahrzeug befindet, dass es auch projektionstechnisch darstellbar ist. Eine eventuelle Aufzeichnung der Steuersignale bzw. Bewegungsdaten beginnt hingegen vorzugsweise bereits in der Ausgangsposition, um das gesamte Einparkmanöver reproduzieren zu können.In the case of optically representing the vehicle's position by generating a projection object in the vehicle's vicinity, the following special feature must be considered. Preferably, the parking maneuver "virtually tested" according to the invention begins at the vehicle's current physical position. For projection-related reasons, it can be difficult to generate the target object at a short distance from the vehicle. Therefore, it can be advantageous to generate the target object only when it is already at a sufficient distance from the vehicle to be projected. Any recording of the control signals or movement data, however, preferably begins at the starting position in order to be able to reproduce the entire parking maneuver.

Durch Verwendung mehrerer räumlich am Kraftfahrzeug verteilter Projektionsmittel kann unter Umständen in verbessertem Maße bereits in sehr kurzem Abstand vom Kraftfahrzeug mit der Projektion begonnen werden.By using several projection devices distributed spatially around the vehicle, it may be possible to begin projection to an improved degree at a very short distance from the vehicle.

Anhand der einzigen beigefügten Zeichnung und eines Ausführungsbeispiels werden nachfolgend weitere Vorteile, Varianten, bevorzugte Ausführungsformen und Weiterbildungen der Erfindung beschrieben. Dabei zeigt

1 eine Szenenansicht, in welcher ein Kraftfahrzeug durch Projektion ein als virtuelles Kraftfahrzeug ausgebildetes Projektionsobjekt erzeugt.

Based on the single accompanying drawing and an exemplary embodiment, further advantages, variants, preferred embodiments and further developments of the invention are described below.

1 a scene view in which a motor vehicle generates a projection object designed as a virtual motor vehicle through projection.

1 zeigt den Blick des Fahrers eines selbst nicht bildlich dargestellten Kraftfahrzeugs durch die Windschutzscheibe des Kraftfahrzeugs in die Umgebung des Kraftfahrzeugs. 1 shows the view of the driver of a motor vehicle (not depicted in the image) through the windshield of the motor vehicle into the surroundings of the vehicle.

Mehrere (ebenfalls nicht eigens bildlich in 1 dargestellte) Steuerelemente des Kraftfahrzeugs seien über so genannte X-by-Wire Techniken mit den zugehörigen Antriebssystemen gekoppelt. Beispielsweise sind Bremse und Gaspedal lediglich elektronisch mit dem Längsantrieb, das Lenkrad lediglich elektronisch mit der eigentlichen Lenkung und der Ganghebel lediglich elektronisch mit dem Getriebe des Kraftfahrzeugs gekoppelt.Several (also not specifically illustrated in) 1 The vehicle's control elements (as depicted) are coupled to the associated drive systems via so-called X-by-Wire technology. For example, the brake and accelerator pedals are only electronically coupled to the longitudinal drive, the steering wheel only electronically to the actual steering system, and the gearshift lever only electronically to the vehicle's transmission.

Das Kraftfahrzeug soll nun eingeparkt werden. In der Umgebung sind mehrere andere Kraftfahrzeuge 11, 13, 14, 15, 16, 17, 18, 19 abgestellt.The vehicle is now to be parked. Several other vehicles (numbers 11, 13, 14, 15, 16, 17, 18, and 19) are parked nearby.

Zur Erprobung bzw. Vorbereitung des Einparkmanövers werden sämtliche für das Einparkmanöver relevanten Steuerelemente des Kraftfahrzeugs (hier: Lenkrad, Gaspedal und Bremse, Ganghebel) von den zugehörigen Antriebselementen (z.B. Lenkung, Motor/Längsantrieb, Getriebe) entkoppelt. Um die Entkopplung zu erreichen, werden an den elektronischen Schnittstellen zwischen Steuerelementen und Antriebssystemen lediglich keine Nutzsignalanteile mehr weitergeleitet bzw. ersatzweise „neutrale“ Signale weitergeleitet. Der Fahrer kann so eine Bedienung der entkoppelten Steuerelemente durchführen, ohne dabei das Fahrzeug bereits zu bewegen bzw. dessen Bewegung zu beeinflussen. Stattdessen wird durch die vom Fahrer vorgenommene Bedienung der Steuerelemente ein mittels eines an dem Kraftfahrzeug vorgesehenen Laserprojektors erzeugtes Projektionsobjekt 12 in der Umgebung des Kraftfahrzeugs bewegt bzw. verschoben. Das Einparkmanöver kann so durch den Fahrer vorab gefahrenfrei erprobt werden.To test and prepare for the parking maneuver, all vehicle controls relevant to the maneuver (here: steering wheel, accelerator and brake pedals, gearshift lever) are decoupled from their corresponding drive components (e.g., steering, engine/longitudinal drive, transmission). To achieve this decoupling, the electronic interfaces between the controls and drive systems simply stop transmitting any useful signal components or instead transmit "neutral" signals. This allows the driver to operate the decoupled controls without actually moving the vehicle or influencing its movement. Instead, the driver's operation of the controls moves a projection object 12, generated by a laser projector mounted on the vehicle, in the vehicle's vicinity. This allows the driver to safely test the parking maneuver beforehand.

Der Zustand einer solchen Entkopplung kann vom Fahrer herbeigeführt werden durch die Betätigung eines hierfür vorgesehenen Bedienelements im Fahrzeuginneren. Es kann beispielsweise die Aufschrift „Virtual Parking“ tragen. Vorzugsweise ist der Entkopplungszustand nur im physikalischen Stillstand des Kraftfahrzeugs herbeiführbar.The driver can initiate this decoupling state by activating a designated control element inside the vehicle. This element may, for example, be labeled "Virtual Parking". Preferably, the decoupling state can only be initiated when the vehicle is physically stationary.

Das Projektionsobjekt 12 wird bei dem virtuellen Parkmanöver als möglichst realistisches Abbild des Kraftfahrzeugs in der Umgebung dargestellt. Es wird in Abhängigkeit von den Bedienaktionen des Fahrers nahezu exakt so durch die Umgebung „gefahren“, wie das Kraftfahrzeug selbst durch die Umgebung fahren würde, wenn die Steuerelemente nicht entkoppelt wären. Die Position, an der das Projektionsobjekt hierzu erzeugt werden muss, wird auf Basis eines kinematischen sowie kinetischen Bewegungsmodells des Kraftfahrzeugs berechnet. 1 zeigt das Projektionsobjekt 12 bereits am Ende des virtuellen Parkmanövers in der vom Fahrer virtuell angefahrenen Parkposition.During the virtual parking maneuver, projection object 12 is displayed as a highly realistic representation of the vehicle in its environment. Depending on the driver's actions, it is "driven" through the environment almost exactly as the vehicle itself would move if the controls were not decoupled. The position at which the projection object must be generated is calculated based on a kinematic and kinetic motion model of the vehicle. 1 The projection object 12 already shows the parking position virtually approached by the driver at the end of the virtual parking maneuver.

Das Projektionsobjekt 12 ist als dreidimensionales virtuelles Abbild des Kraftfahrzeugs ausgebildet und ist für alle Verkehrsteilnehmer (ohne optische Hilfsmittel) sichtbar. Das Projektionsobjekt 12 ist teiltransparent, wodurch (unter anderem) auch für andere Verkehrsteilnehmer seine virtuelle Natur erkennbar ist. Durch die „Projektionsstrahlen“ 8 ist - insbesondere zur Vermeidung von Irritationen anderer Verkehrsteilnehmer - erkennbar, durch welche Projektionsquelle (d.h. von welchem Kraftfahrzeug) das Projektionsobjekt 12 projiziert wird (bspw. aus welchem Fahrzeug). Somit ist das Bewegungsvorhaben des projizierenden Kraftfahrzeugs, mit dem die Erzeugung des Projektionsobjekts 12 einhergeht, auch für andere Verkehrsteilnehmer dem projizierenden Kraftfahrzeug zuordenbar.The projection object 12 is designed as a three-dimensional virtual image of the motor vehicle and is visible to all road users (without optical aids). The projection object 12 is semi-transparent, which makes its virtual nature recognizable to other road users as well. The "projection rays" 8 indicate—particularly to avoid confusing other road users—which projection source (i.e., which motor vehicle) is projecting the projection object 12 (e.g., from which vehicle). Thus, the intended movement of the projecting motor vehicle, which results in the generation of the projection object 12, can also be attributed to the projecting motor vehicle by other road users.

In der vorliegenden Beschreibung wird davon ausgegangen, dass das Kraftfahrzeug über geeignete Mittel zur Erzeugung dreidimensionaler Projektionsobjekte in seiner Umgebung verfügt. Die beschriebenen Abläufe sind jedoch ohne Weiteres auf den einfacheren Fall einer zweidimensionalen Projektion - beispielsweise des Grundrisses des Kraftfahrzeugs - beispielsweise auf die Straßenoberfläche übertragbar.This description assumes that the vehicle has suitable means for generating three-dimensional projection objects in its environment. However, the described processes can easily be transferred to the simpler case of a two-dimensional projection – for example, of the vehicle's footprint – onto the road surface.

Während der virtuellen Erprobung werden Steuersignale, die der Fahrer durch die Bedienung der Steuerelemente erzeugt, aufgezeichnet. Diese Steuersignale sind - im Falle einer erfolgreichen Erprobung - anschließend für die Durchführung des entsprechenden realen Fahrmanövers abrufbar. Die durch die Bedienung des Steuerelements im entkoppelten Zustand erzeugten Steuersignale können also zu einem späteren Zeitpunkt für eine tatsächliche Bewegung des Kraftfahrzeugs verwendet werden. Der Fahrer kann ein schwieriges Manöver somit zunächst „virtuell erproben“ und es nur im Erfolgsfall anschließend „auf Knopfdruck“ tatsächlich ausführen.During virtual testing, control signals generated by the driver through the operation of the controls are recorded. If the test is successful, these control signals can then be recalled to execute the corresponding real-world driving maneuver. The control signals generated by operating the controls in a decoupled state can therefore be used later for actual vehicle movement. The driver can thus first "virtually test" a difficult maneuver and only execute it "at the push of a button" if successful.

Die aufgezeichneten Steuersignale werden durch eine bei dem Kraftfahrzeug vorgesehene Recheneinheit, beispielsweise ein Steuergerät, rechen- bzw. signaltechnisch aufbereitet. Die Steuersignale werden dabei geglättet. Auf Basis der geglätteten Steuersignale wird unter Nutzung eines kinematischen Modells eine resultierende Trajektorie errechnet, die zu der Position in der Umgebung des Kraftfahrzeugs führt, an welcher das Projektionsobjekt aktuell dargestellt wird. Der Einfachheit halber könnte alternativ auch einfach die ungeglättete Trajektorie aufgezeichnet werden, die sich ohnehin aus dem für die optische Darstellung des Projektionsobjekts 12 berechneten Positionsverlauf ergibt. Die geglättete Trajektorie kann (in 1 nicht dargestellt) ebenfalls durch den Laserprojektor in der Fahrzeugumgebung dargestellt werden. Das Projektionsobjekt 12 kann dazu vorübergehend ausgeblendet werden.The recorded control signals are processed by a computing unit integrated into the vehicle, such as a control unit. This processing smooths the control signals. Based on these smoothed signals, a kinematic model is used to calculate a resulting trajectory that leads to the position in the vehicle's vicinity where the projected object is located. The object is currently displayed. For the sake of simplicity, the unsmoothed trajectory could alternatively be recorded, which results anyway from the position profile calculated for the optical representation of the projection object 12. The smoothed trajectory can (in 1 (Not shown) can also be displayed by the laser projector in the vehicle's surroundings. Projection object 12 can be temporarily hidden for this purpose.

Die Trajektorie kann durch den Fahrer - nach dem Ende des virtuellen Einparkmanövers und noch vor der Freigabe des nachfolgenden entsprechenden physikalischen Manövers - verändert werden. Vorteilhafterweise ist dabei nicht nur eine Komplett-Veränderung, sondern auch eine stellen- bzw. abschnittsweise Veränderung vornehmbar. Es muss dann beispielsweise keine vollständige Änderung der aufgezeichneten Steuersignale erfolgen. Zudem wird dem Fahrer die Manöverplanung erleichtert, da er seine Aufmerksamkeit auf Details lenken kann, ohne das Gesamtmanöver wesentlich zu verändern. Es kann auch lediglich die endgültige Parkposition verändert werden, indem das in dieser Position befindliche Projektionsobjekt entweder mittels eines gesonderten Bedienelements (z.B. Joystick oder Dreh-/Druckknopf) oder mittels der genannten Steuerelemente in der Umgebung verschoben wird. Nach der Korrektur der endgültigen Parkposition wird - gegebenenfalls nach Einholung einer Bestätigung des Fahrers - eine veränderte Trajektorie berechnet, die ohne zusätzliches „Korrektur-Rangieren“ von der aktuellen physikalischen Position des Kraftfahrzeugs zur veränderten endgültigen Parkposition führt.The trajectory can be modified by the driver after the virtual parking maneuver has finished and before the subsequent physical maneuver is initiated. Advantageously, not only can a complete change be made, but also partial or segmental modifications. This eliminates the need for a complete overhaul of the recorded control signals. Furthermore, maneuver planning is simplified for the driver, as they can focus their attention on details without significantly altering the overall maneuver. It is also possible to modify only the final parking position by moving the projected object located in that position, either using a separate control element (e.g., joystick or rotary/push button) or using the aforementioned controls. After correcting the final parking position, a revised trajectory is calculated—possibly after obtaining driver confirmation—which leads from the vehicle's current physical position to the modified final parking position without requiring any additional "corrective maneuvering."

Der Fahrer kann durch eine entsprechende Bedienaktion auch veranlassen, dass die Trajektorie - insbesondere dann, wenn sie geglättet und/oder nachbearbeitet wurde - noch einmal ganz oder teilweise virtuell von dem Projektionsobjekt 12 „abgefahren“ wird. Der Fahrer kann anhand dieser Simulation des Einparkvorgangs noch einmal die Stimmigkeit und Risikofreiheit des nun geplanten Einparkvorgangs überprüfen.The driver can also initiate a virtual re-tracing of the trajectory – particularly if it has been smoothed and/or post-processed – by projection object 12, either in whole or in part. This simulation allows the driver to verify the accuracy and safety of the planned parking maneuver.

Sofern eine „Nachbearbeitung“ einer erzeugten, jedoch nicht wunschgemäßen Trajektorie nicht sinnvoll erscheint, kann der Fahrer auch die aufgezeichneten Steuersignale verwerfen und gegebenenfalls eine völlig neue Aufzeichnung im Rahmen eines neuen virtuellen Parkvorgangs starten.If "post-processing" a generated but not desired trajectory does not seem sensible, the driver can also discard the recorded control signals and, if necessary, start a completely new recording as part of a new virtual parking process.

Ist der Fahrer schließlich mit der am Ende eines virtuellen Parkvorgangs (mit gegebenenfalls nachfolgender Korrektur bzw. Nachbearbeitung) dargestellten endgültigen Parkposition des Projektionsobjekts 12 und der dorthin führenden Trajektorie zufrieden, betätigt er ein Bestätigungselement im Fahrzeuginneren. Als dieses Bestätigungselement kann auch das Bedienelement - gegebenenfalls in besonderer Art und Weise betätigt, beispielsweise durch einen Langdruck - dienen, das bereits zum Start des virtuellen Parkmanövers diente. Auf die Bestätigung hin wird das Kraftfahrzeug vollautomatisch entlang der aufgezeichneten Trajektorie physikalisch in die Parkposition gefahren, in welcher in 1 noch das Projektionsobjekt 12 abgebildet ist. Zur Durchführung des vollautomatischen physikalischen Einparkmanövers werden im Wesentlichen die Antriebssysteme des Kraftfahrzeugs mit den zuvor während des virtuellen Parkmanövers aufgezeichneten Steuersignalen, in gegebenenfalls aufbereiteter - z.B. geglätteter - Form, beaufschlagt. Um Modellfehler auszugleichen wird zudem eine Abweichung der Istposition von der Trajektorie überwacht und durch geeignete automatische Eingriffe auf die Antriebssysteme ausgeregelt.Once the driver is satisfied with the final parking position of the projection object 12 and the trajectory leading there, as displayed at the end of a virtual parking maneuver (with any subsequent correction or post-processing), they activate a confirmation element inside the vehicle. This confirmation element can also be the control element – possibly activated in a special way, for example by a long press – that was already used to start the virtual parking maneuver. Upon confirmation, the vehicle is driven fully automatically along the recorded trajectory into the parking position, in which 1 Projection object 12 is still depicted. To execute the fully automated physical parking maneuver, the vehicle's drive systems are essentially supplied with the control signals recorded during the virtual parking maneuver, possibly in a processed form – e.g., smoothed. To compensate for model errors, deviations of the actual position from the trajectory are monitored and corrected by appropriate automatic interventions in the drive systems.

Claims

A method for assisting the driver of a motor vehicle in carrying out a parking maneuver, in which, during a decoupling phase in which at least one control element of the motor vehicle, which in normal operation of the motor vehicle serves to control at least one drive system of the motor vehicle, is decoupled from the at least one drive system, an optical representation of the position of the motor vehicle relative to its environment is changed depending on operating actions performed on the at least one control element, without changing the physical position of the motor vehicle in the environment, characterized in that, during the decoupling phase, operating actions performed on the at least one control element are sensorially detected, that, depending on the sensorially detected operating actions, control signals for controlling the at least one drive system are generated, that the generated control signals are temporarily stored, and that the temporarily stored control signals are used in an execution phase occurring after the decoupling phase for carrying out an at least partially automatic parking maneuver of the motor vehicle.

Procedure according to Claim 1 , characterized in that, during the decoupling phase, operating actions applied to the at least one control element are sensorially detected, that control signals for controlling the at least one drive system are generated depending on the sensorially detected operating actions, and that a model can be derived from the generated control signals The system calculates the movement data of the motor vehicle, temporarily stores the calculated movement data, and uses the temporarily stored movement data in an execution phase following the decoupling phase for the execution of an at least partially automatic parking process of the motor vehicle.

Procedure according to one of the Claims 1 or 2 , characterized in that a trajectory of the motor vehicle is determined on the basis of the control signals generated in the decoupling phase, that a trajectory of at least one other road user is determined from communication data received by communication means of the motor vehicle, and that the trajectory of the motor vehicle is checked for collision freedom with the trajectory of at least one other road user before the execution phase.

Procedure according to one of the Claims 1 until 3 , characterized in that a trajectory of the motor vehicle is determined on the basis of the control signals generated in the decoupling phase, that the trajectory of the motor vehicle is visually displayed for the driver before the execution phase and can be changed depending on operating actions of the driver.

Procedure according to one of the Claims 1 until 4 , characterized in that during the execution phase of the at least partially automatic parking process, first control signals for controlling the at least one drive system are automatically generated, that during the execution phase, operating actions performed on the at least one control element are sensorially detected, that depending on the sensorially detected operating actions, second control signals for controlling the at least one drive system are generated, and that in controlling the at least one drive system, the second control signals are at least partially prioritized over the first control signals.

Procedure according to one of the Claims 1 until 5 , characterized in that the at least one control element is designed as the steering wheel of the motor vehicle and that the at least one drive system is designed as the steering system of the motor vehicle.

Procedure according to one of the Claims 1 until 6 , characterized in that the at least one control element is designed as the accelerator pedal of the motor vehicle and that the at least one drive system is designed as the longitudinal drive of the motor vehicle.

Procedure according to one of the Claims 1 until 7 , characterized in that , for the optical representation of the position of the motor vehicle with respect to its surroundings, a projection object is generated at this position in the surroundings by means of projection means provided on the motor vehicle.