[go: up one dir, main page]

DE102008046214A1 - Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle - Google Patents

Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle Download PDF

Info

Publication number
DE102008046214A1
DE102008046214A1 DE102008046214A DE102008046214A DE102008046214A1 DE 102008046214 A1 DE102008046214 A1 DE 102008046214A1 DE 102008046214 A DE102008046214 A DE 102008046214A DE 102008046214 A DE102008046214 A DE 102008046214A DE 102008046214 A1 DE102008046214 A1 DE 102008046214A1
Authority
DE
Germany
Prior art keywords
vehicle
image
overall
environment
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102008046214A
Other languages
German (de)
Inventor
Jochen Dipl.-Ing. Feese
Uwe Dr.-Ing. Franke
Markus Dipl.-Ing. Griesinger
Joachim Missel
Hartmut Dr. Schaefer
Jürgen Dr.-Ing. Seekircher
Tom van den Dipl.-Ing. Elst
Bernd Dipl.-Inform. Woltermann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102008046214A priority Critical patent/DE102008046214A1/en
Publication of DE102008046214A1 publication Critical patent/DE102008046214A1/en
Priority to PCT/EP2009/005413 priority patent/WO2010025792A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

The method involves detecting environment of a vehicle (1) using image detection units (2.1, 2.2) i.e. unidirectional cameras. An overall image (G) is produced from detected single images (E), and is displayed by a display unit (2.4), where the overall image shows a bird's eye view of vehicle environment. The vehicle is positioned in the overall image depending on situation. Relevant surrounding regions (U1, U2) are determined and displayed based on distance (A1, A2, A3) between vehicle and obstacle for vehicle driving condition, where the distance is detected by a distance sensor system (3). An independent claim is also included for a vehicle environment monitoring device comprising a display unit.

Description

Die Erfindung betrifft ein Verfahren zur Überwachung einer Umgebung eines Fahrzeuges gemäß dem Oberbegriff des Anspruchs 1 und eine Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges gemäß dem Oberbegriff des Anspruchs 6.The The invention relates to a method for monitoring a Environment of a vehicle according to the preamble of claim 1 and a device for monitoring a Environment of a vehicle according to the preamble of claim 6.

Nutzfahrzeuge zum Güter- oder Personentransport sind häufig durch große Fahrzeugabmessungen und eine geringe Übersichtlichkeit gekennzeichnet. Auch moderne Personenkraftwagen weisen aufgrund ihrer äußeren Gestalt häufig eine sehr geringe Übersichtlichkeit auf. Daraus resultiert, dass insbesondere ein Rangieren mit diesen Fahrzeugen für einen Fahrer sehr schwierig ist. Deshalb ist es vorteilhaft, Fahrzeuge und deren Umgebung aus einer Vogelperspektive auf einem Bildschirm darzustellen, so dass das Fahrzeug und dessen gesamte Umgebung für den Fahrer sichtbar sind.commercial vehicles for freight or passenger transport are common due to large vehicle dimensions and a low clarity characterized. Even modern passenger cars are due their outer shape often a very small clarity on. As a result, in particular a shunting with these Vehicles for a driver is very difficult. Therefore It is advantageous to view vehicles and their surroundings from a bird's eye view to display on a screen so that the vehicle and its entire environment are visible to the driver.

Aus dem Stand der Technik sind verschiedene Verfahren und Vorrichtungen zu einer derartigen Überwachung und Darstellung einer Umgebung eines Fahrzeuges bekannt, wobei einem Fahrer des Fahrzeuges insbesondere ein Bild des Fahrzeuges und dessen Umgebung aus einer Vogelperspektive ausgegeben wird. Dadurch wird für den Fahrer eine verbesserte Rundumsicht geschaffen, die diesem als Assistenzfunktion bzw. Unterstützung während des Fahrbetriebes, beispielsweise bei einem Rangieren des Fahrzeuges, dient. Weiterhin können Unfälle vermieden werden, welche sich häufig aufgrund einer schlechten Rundumsicht, insbesondere bei großen und schwer überschaubaren Fahrzeugen, ereignen.Out The prior art includes various methods and devices to such monitoring and representation of an environment a vehicle known, wherein a driver of the vehicle in particular a picture of the vehicle and its surroundings issued from a bird's eye view becomes. This provides the driver with improved all-round visibility created this as an assistance function or support during driving, for example, when maneuvering the Vehicle, serves. Furthermore, accidents can be avoided which are often due to poor visibility, especially for large and difficult to manage Vehicles, happen.

Die DE 600 03 750 T2 offenbart ein Verfahren zum geführten Einparken und eine Einparkführvorrichtung mit einer Fahrzeugpositionsberechnungseinheit zur Berechnung der Position des Fahrzeugs in einer Draufsicht bzw. einer Vogelperspektive und einer Schätzortberechnungseinheit zur Berechnung eines Schätzbewegungsortes des Fahrzeugkörpers, wenn das Fahrzeug in einem festgelegten Lenkwinkel in Bezug auf die durch die Fahrzeugpositionsberechnungseinheit berechnete Fahrzeugposition bewegt wird. Die Vorrichtung umfasst weiterhin eine Anzeigeeinheit zur Anzeige der durch die Fahrzeugpositionsberechnungseinheit berechneten Fahrzeugposition zusammen mit dem durch die Schätzortberechnungseinheit berechneten Schätzbewegungsort des Fahrzeugkörpers. Während des Einparkens werden das Fahrzeug bzw. dessen berechnete Fahrzeugposition sowie alle für das Einparken relevante Bereiche der Umgebung des Fahrzeuges situationsabhängig mittels der Anzeigeeinheit ausgegeben.The DE 600 03 750 T2 discloses a guided parking method and a parking guiding apparatus including a vehicle position calculating unit for calculating the position of the vehicle in a bird's-eye view and an estimated location calculating unit for calculating an estimated moving location of the vehicle body when the vehicle is at a predetermined steering angle with respect to the vehicle position calculating unit Vehicle position is moved. The apparatus further comprises a display unit for displaying the vehicle position calculated by the vehicle position calculation unit together with the estimated movement location of the vehicle body calculated by the estimated location calculation unit. During parking, the vehicle or its calculated vehicle position as well as all relevant for parking areas of the environment of the vehicle depending on the situation are output by means of the display unit.

Weiterhin ist aus der JP 2007 102 798 A1 ein System zur Darstellung einer Umgebung eines Fahrzeuges aus einer Vogelperspektive bekannt. Dabei sind eine vordere Bilderfassungseinheit zur Erfassung eines vor dem Fahrzeug befindlichen Bereiches einer Umgebung des Fahrzeuges und eine hintere Bilderfassungseinheit zur Erfassung eines hinter dem Fahrzeug befindlichen Bereiches der Umgebung vorgesehen, wobei die erfassten Bilder mittels einer Bildverarbeitungseinheit in ein Bild umgewandelt werden, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt. Dieses Bild wird mittels einer optischen Ausgabeeinheit ausgegeben, wobei ein dargestellter Bildbereich derart verschoben wird, dass das Fahrzeug situationsabhängig in einer ersten Darstellung gemeinsam mit dessen vorderer Umgebung oder in einer zweiten Darstellung mit dessen hinterer Umgebung dargestellt wird. Dabei wird in der ersten Darstellung eine hintere Fahrzeugkante an einen unteren Rand des Bildbereiches verschoben und in der zweiten Darstellung eine vordere Fahrzeugkante an den dem unteren Rand des Bildbereiches gegenüberliegenden oberen Rand verschoben.Furthermore, from the JP 2007 102 798 A1 a system for displaying an environment of a vehicle from a bird's eye view known. In this case, a front image acquisition unit for detecting an area of an environment of the vehicle in front of the vehicle and a rear image acquisition unit for detecting an area behind the vehicle of the environment are provided, wherein the captured images are converted by means of an image processing unit into an image which the vehicle and whose surroundings show a bird's eye view. This image is output by means of an optical output unit, wherein a displayed image area is shifted such that the vehicle is displayed as a function of the situation in a first representation together with its front environment or in a second representation with its rear environment. In this case, in the first representation, a rear vehicle edge is moved to a lower edge of the image area, and in the second representation, a front vehicle edge is displaced at the upper edge opposite the lower edge of the image area.

Ferner beschreibt die DE 102 92 327 T5 eine Bildverarbeitungsvorrichtung für Umgebungsbilder eines Fahrzeuges. Das Fahrzeug umfasst eine Bilderfassungseinheit zur Erfassung eines Bildes der Umgebung des Fahrzeuges und eine Anzeigeeinheit zum Anzeigen eines Bildes, welche das von der Bilderfassungseinheit aufgenommene Bild verarbeitet und das verarbeitete Bild auf der Anzeigeeinheit anzeigt. Das Fahrzeug umfasst weiterhin eine Einrichtung zum Erzeugen eines Bildes aus einer Vogelperspektive, welche ein Bild aus einer Vogelperspektive durch Umwandlung des von der Bilderfassungseinheit aufgenommenen Bildes erzeugt und eine Bereichsunterscheidungseinrichtung, welche ein von der Einrichtung zum Erzeugen des Bildes aus einer Vogelperspektive erzeugtes erstes Bild aus einer Vogelperspektive und ein zweites Bild aus einer Vogelperspektive vergleicht, das zeitlich später aufgenommen und erzeugt wurde und einander zusammenpassende und nicht zusammenpassende Bereiche ermittelt. Weiterhin ist eine Einrichtung zur Erzeugung eines zusammengesetzten Bildes vorgesehen, welche das zusammengesetztes Bild aus einer Vogelperspektive durch Hinzufügen des nicht zusammenpassenden Bereichs zu dem zweiten Bild erzeugt und einer Anzeigeverarbeitungseinrichtung zum Anzeigen des zusammengesetzten Bildes auf der Anzeigeeinheit zuführt. Dabei wird das Fahrzeug in dem zusammengesetzten Bild aus der Vogelperspektive derart positioniert, dass ein für eine Fahrsituation des Fahrzeuges relevanter Bereich der Umgebung des Fahrzeuges dargestellt wird.Furthermore, the describes DE 102 92 327 T5 an image processing device for environmental images of a vehicle. The vehicle includes an image capture unit for acquiring an image of the surroundings of the vehicle, and a display unit for displaying an image, which processes the image captured by the image capture unit and displays the processed image on the display unit. The vehicle further comprises means for generating a bird's-eye view image which generates a bird's-eye view image by converting the image picked up by the image capture unit and a region discriminating means comprising a first image generated from the bird's-eye view creation means Bird's eye view and a second bird's-eye view taken later in time and created, identifying matching and mismatched areas. Furthermore, means for generating a composite image are provided, which generates the composite image from a bird's eye view by adding the mismatching region to the second image, and supplies it to display processing means for displaying the composite image on the display unit. In this case, the vehicle is positioned in the composite image from a bird's-eye view in such a way that a region of the surroundings of the vehicle that is relevant to a driving situation of the vehicle is displayed.

Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren und eine verbesserte Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges anzugeben, mittels welchen eine exakte und übersichtliche Darstellung des Fahrzeuges und dessen Umgebung realisierbar ist.The invention is based on the object, a comparison with the prior art improved method and an improved device for monitoring an environment of a vehicle specify, by means of which an accurate and clear presentation of the vehicle and its surroundings can be realized.

Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die im Anspruch 6 angegebenen Merkmale gelöst.Regarding of the method according to the invention by the features specified in claim 1 and in terms of the device by solved specified in claim 6 features.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.advantageous Embodiments of the invention are the subject of the dependent claims.

Bei dem erfindungsgemäßen Verfahren zur Überwachung einer Umgebung eines Fahrzeuges wird die Umgebung mittels wenigstens einer Bilderfassungseinheit erfasst, wobei aus mittels der wenigstens einen Bilderfassungseinheit erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt und mittels einer Anzeigeeinheit ausgegeben wird, wobei das Gesamtbild das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt und das Fahrzeug in dem Gesamtbild situationsabhängig positioniert wird. Erfindungsgemäß werden für eine Fahrsituation des Fahrzeuges relevante Umgebungsbereiche anhand zumindest eines mittels wenigstens einer Abstandssensorik erfassten Abstandes zu einem oder mehreren Hindernissen ermittelt und ausgegeben.at the method according to the invention for monitoring an environment of a vehicle, the environment by means of at least an image acquisition unit detected, wherein by means of at least an image acquisition unit captured frames based on a Image processing unit generates an overall image and by means of a Display unit is output, the overall image of the vehicle and its surroundings from a bird's eye view and the vehicle is positioned in the overall picture depending on the situation. According to the invention for a driving situation the vehicle relevant environmental areas based on at least one by means of at least one distance sensor detected distance to one or more obstacles identified and issued.

Dadurch wird in vorteilhafter Weise erreicht, dass auch bei einer geringen Darstellungsgröße der Anzeigeeinheit eine optimale Anzeige des Fahrzeuges und seiner Umgebung zu einer Unterstützung des Fahrers erzielt wird. Weiterhin wird der Fahrer aufgrund der Darstellung der relevanten Umgebungsbereiche, welche in bevorzugten Ausgestaltungen der Erfindung auf dem Gesamtbild in hervorgehobener oder vergrößerter Form erfolgt, auf mögliche Gefahren, beispielsweise eine mögliche Kollision mit einem Hindernis, hingewiesen und kann diese somit vermeiden.Thereby is achieved in an advantageous manner that even at a low Display size of the display unit an optimal Display of the vehicle and its surroundings in support of the Driver is achieved. Furthermore, the driver is due to the presentation the relevant environmental areas, which in preferred embodiments of the invention on the overall picture in highlighted or enlarged Form takes place, on possible dangers, for example one possible collision with an obstacle, pointed and can thus avoid this.

Die erfindungsgemäße Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges umfasst wenigstens eine Bilderfassungseinheit zur Erfassung der Umgebung, eine Bildverarbeitungseinheit zur Erzeugung eines Gesamtbildes aus mittels der wenigstens einen Bilderfassungseinheit erfassten Einzelbildern, eine Anzeigeeinheit zur Ausgabe des Gesamtbildes, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt, und eine Steuereinheit zu einer situationsabhängigen Positionierung des Fahrzeuges in dem Gesamtbild. Erfindungsgemäß ist die Steuereinheit derart mit wenigstens einer Abstandssensorik gekoppelt, dass für eine Fahrsituation des Fahrzeuges relevante Umgebungsbereiche anhand von zumindest einem erfassten Abstand zu einem oder mehreren Hindernissen ermittelbar und ausgebbar sind.The Inventive device for monitoring an environment of a vehicle comprises at least one image capture unit for detecting the environment, an image processing unit for generating an overall image by means of the at least one image acquisition unit captured single images, a display unit for outputting the entire image, which the vehicle and its surroundings from a bird's eye view shows, and a control unit for a situation-dependent positioning of the vehicle in the overall picture. According to the invention the control unit is coupled to at least one distance sensor, that for a driving situation of the vehicle relevant environmental areas based on at least one detected distance to one or more Obstacles can be determined and output.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.embodiments The invention will be described in more detail below with reference to drawings explained.

Dabei zeigen:there demonstrate:

1 schematisch ein Fahrzeug mit einer Vorrichtung zur Überwachung einer Umgebung des Fahrzeuges, 1 schematically a vehicle with a device for monitoring an environment of the vehicle,

2 schematisch eine Anzeigeeinheit mit einem Gesamtbild des Fahrzeuges gemäß 1 und dessen Umgebung aus einer Vogelperspektive, wobei für eine Fahrsituation des Fahrzeuges relevante Umgebungsbereiche auf dem Gesamtbild hervorgehoben dargestellt ist, 2 schematically a display unit with an overall picture of the vehicle according to 1 and its surroundings from a bird's-eye view, wherein surrounding areas relevant for a driving situation of the vehicle are highlighted on the overall picture,

3 schematisch das Fahrzeug gemäß 2, wobei die relevanten Umgebungsbereiche auf dem Gesamtbild vergrößert dargestellt sind, 3 schematically the vehicle according to 2 in which the relevant surrounding areas are shown enlarged on the overall picture,

4 schematisch das Fahrzeug gemäß 2, wobei die relevanten Umgebungsbereiche mittels eines Zusatzbildes zusätzlich zu dem Gesamtbild dargestellt sind, und 4 schematically the vehicle according to 2 , wherein the relevant surrounding areas are represented by means of an additional image in addition to the overall picture, and

5 schematisch das Fahrzeug gemäß 2, wobei die relevanten Umgebungsbereiche mittels eines Zusatzbildes bei ausgeblendetem Gesamtbild dargestellt ist. 5 schematically the vehicle according to 2 , wherein the relevant surrounding areas is shown by means of an additional image hidden in the overall picture.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.each other corresponding parts are in all figures with the same reference numerals Mistake.

In 1 ist ein Fahrzeug 1 mit einer Vorrichtung 2 zur Überwachung einer Umgebung des Fahrzeuges 1 dargestellt.In 1 is a vehicle 1 with a device 2 for monitoring an environment of the vehicle 1 shown.

Die Vorrichtung 2 umfasst im dargestellten Ausführungsbeispiel der Erfindung eine erste Bilderfassungseinheit 2.1, welche am vorderen Ende des Fahrzeuges 1 angeordnet ist, und eine zweite Bilderfassungseinheit 2.2, welche am hinteren Ende des Fahrzeuges 1 angeordnet ist, wobei mittels der Bilderfassungseinheiten 2.1 und 2.2 das Fahrzeug 1 und dessen Umgebung erfassbar sind.The device 2 In the illustrated embodiment of the invention comprises a first image capture unit 2.1 , which at the front end of the vehicle 1 is arranged, and a second image capture unit 2.2 , which at the rear end of the vehicle 1 is arranged, wherein by means of the image acquisition units 2.1 and 2.2 the vehicle 1 and whose surroundings are detectable.

Bei den Bilderfassungseinheiten 2.1 und 2.2 handelt es sich vorzugsweise um Kameras, welche einen großen Erfassungsbereich aufweisen. Dabei kann es sich neben herkömmlichen Kameras insbesondere um omnidirektionale Kameras handeln. Diese können beispielsweise mosaikbasierte Kameras, rotierende Kameras, Kameras mit speziellen Weitwinkellinsen, so genannten Fischaugen-Linsen, sein oder auf einem katadioptrischen System basieren.In the image acquisition units 2.1 and 2.2 these are preferably cameras which have a large detection range. In addition to conventional cameras, these may in particular be omnidirectional cameras. These can be, for example, mosaic-based cameras, rotating cameras, cameras with special wide-angle lenses, so-called fisheye lenses, or based on a catadioptric system.

Die Bilderfassungseinheiten 2.1 und 2.2 erfassen das Fahrzeug 1 und dessen Umgebung in Einzelbildern E, welche mittels einer Bildverarbeitungseinheit 2.3 in ein in 2 näher dargestelltes Gesamtbild G umgewandelt wird, welches das Fahrzeug 1 und dessen Umgebung aus der Vogelperspektive zeigt.The image capture units 2.1 and 2.2 capture the vehicle 1 and its surroundings in individual images E, which by means of a Bildverarbei processing unit 2.3 in an in 2 closer represented overall image G is converted, which is the vehicle 1 and its surroundings from a bird's eye view.

Zu einer optischen Ausgabe des Gesamtbildes G ist eine Anzeigeeinheit 2.4, beispielsweise ein Betätigungsbildschirm, vorgesehen, so dass einem Fahrer des Fahrzeuges 1 dieses und dessen Umgebung aus der Vogelperspektive ausgebbar sind. Dies führt insbesondere zu einer verbesserten Übersicht über das Fahrzeug 1 und somit beispielsweise zu einem vereinfachten Rangieren des Fahrzeuges 1 für den Fahrer.An optical output of the overall image G is a display unit 2.4 , For example, an operation screen, provided so that a driver of the vehicle 1 this and its surroundings can be displayed from a bird's eye view. This leads in particular to an improved overview of the vehicle 1 and thus, for example, to a simplified maneuvering of the vehicle 1 for the driver.

Es besteht jedoch das Problem, dass die Anzeigeeinheit 2.4 aufgrund begrenzter Platzverhältnisse im Fahrzeug 1 in ihrer Größe begrenzt ist, so dass auch das Gesamtbild G lediglich in der begrenzten Größe ausgebbar ist.However, there is a problem that the display unit 2.4 due to limited space in the vehicle 1 is limited in size, so that the entire image G can be output only in the limited size.

Um eine verbesserte Übersicht über das Fahrzeug 1 und dessen Umgebung sowie eine detaillierte Darstellung zu schaffen, ist erfindungsgemäß eine Steuereinheit 2.5 derart mit einer Abstandssensorik 3 des Fahrzeuges 1 gekoppelt, dass gemäß den 2 bis 5 für eine Fahrsituation des Fahrzeuges 1 relevante Umgebungsbereiche U1, U2 anhand von mittels der Abstandssensorik 3 erfassten Abständen A1, A2 und A3 ermittelt und ausgegeben werden.For an improved overview of the vehicle 1 and to provide its environment as well as a detailed representation, is a control unit according to the invention 2.5 such with a distance sensor 3 of the vehicle 1 coupled that according to the 2 to 5 for a driving situation of the vehicle 1 relevant environmental areas U1, U2 by means of the distance sensor 3 detected distances A1, A2 and A3 are determined and output.

Die Abstandssensorik 3 umfasst mehrere Abstandssensoren 3.1 bis 3.6, anhand welcher ein Abstand A1, A2, A3 zu in den 2 bis 5 näher dargestellten Hindernissen 4, 5 und 6 erfasst wird. Die Abstandssensorik 3 ist vorzugsweise Bestandteil eines nicht näher dargestellten Fahrerassistenzsystemes, wie einer Einparkhilfe, eines Spurerkennung- und Spurhalteassistents eines Nachtsicht-Assistents oder weiterer Systeme, wobei die Abstandssensoren 3.1 bis 3.6 insbesondere Kameras, Radar-, Lidar- und/oder Ultraschallsensoren sind.The distance sensor 3 includes several distance sensors 3.1 to 3.6 , on the basis of which a distance A1, A2, A3 in the 2 to 5 obstacles shown in detail 4 . 5 and 6 is detected. The distance sensor 3 is preferably part of a driver assistance system, not shown, such as a parking aid, a lane detection and lane departure of a night vision assistant or other systems, wherein the distance sensors 3.1 to 3.6 In particular, cameras, radar, lidar and / or ultrasonic sensors are.

2 zeigt die Anzeigeeinheit 2.4 mit dem Gesamtbild G, welches das Fahrzeug 1 bei einem Einparkvorgang zwischen zwei Hindernissen 4 und 6, bei welchen es sich insbesondere um Fahrzeuge handelt, aus einer Vogelperspektive zeigt. Ein Parkraum bzw. eine Parklücke, in welcher das Fahrzeug 1 abgestellt werden soll, ist durch ein weiteres Hindernis 6 seitlich begrenzt, bei welchen es sich beispielsweise um eine Mauer, eine Häuserwand oder einen Zaun handeln kann. Das Fahrzeug 1 ist dabei in der Mitte des Gesamtbildes G angeordnet, kann jedoch situationsabhängig auch abweichend von dieser Darstellung in dem Gesamtbild G positioniert werden. 2 shows the display unit 2.4 with the overall picture G showing the vehicle 1 during a parking procedure between two obstacles 4 and 6 , which are in particular vehicles, shows from a bird's eye view. A parking space or a parking space in which the vehicle 1 is to be turned off, is through another obstacle 6 laterally limited, which may be, for example, a wall, a house wall or a fence. The vehicle 1 is arranged in the middle of the overall image G, but can also be positioned in the overall image G deviating from this representation, depending on the situation.

In einer nicht näher dargestellten Weiterbildung der Erfindung ist das Fahrzeug 1 in Fahrtrichtung auf der Anzeigeeinheit 2.4 darstellbar, wobei der Fahrer des Fahrzeuges 1 bevorzugt wählen kann, in welcher Darstellung ihm das Fahrzeug 1 und dessen Umgebung ausgegeben werden soll.In a non-illustrated embodiment of the invention, the vehicle 1 in the direction of travel on the display unit 2.4 representable, the driver of the vehicle 1 can preferentially choose in what presentation to him the vehicle 1 and whose environment is to be output.

Während des Einparkvorganges werden mittels der Abstandssensoren 3.1 bis 3.6 fortlaufend die Hindernisse 4, 5 und 6 und/oder deren Abstände A1, A2 und A3 zu dem Fahrzeug 1 erfasst. Anhand eines zeitlichen Verlaufes der Abstände A1, A2 und A3 und/oder deren absoluter Größen werden für die Fahrsituation die relevanten Umgebungsbereiche U1 und U2 ermittelt, da die Abstände A1 und A2 der Hindernisse 4 und 5 zu dem Fahrzeug 1 sehr gering und somit für die aktuelle Fahrsituation relevant bzw. kritisch sind.During the parking process by means of the distance sensors 3.1 to 3.6 continuously the obstacles 4 . 5 and 6 and / or their distances A1, A2 and A3 to the vehicle 1 detected. Based on a time course of the distances A1, A2 and A3 and / or their absolute values, the relevant ambient areas U1 and U2 are determined for the driving situation, since the distances A1 and A2 of the obstacles 4 and 5 to the vehicle 1 very low and therefore relevant or critical for the current driving situation.

Diese Umgebungsbereiche U1 und U2 werden im dargestellten Ausführungsbeispiel der Erfindung hervorgehoben auf dem Gesamtbild G dargestellt. Zu dieser Hervorhebung sind kreisförmige Markierungen M1 und M2 vorgesehen, welche die Aufmerksamkeit des Fahrers auf die Umgebungsbereiche U1 und U2 lenken. Die Markierungen M1 und M2 sind dabei vorzugsweise farbig, insbesondere in Signalfarben, ausgeführt, so dass diese besonders auffällig sind.These Surrounding areas U1 and U2 are in the illustrated embodiment of the invention highlighted on the overall picture G. To this emphasis is circular marks M1 and M2 provided the driver's attention to the surrounding areas Steer U1 and U2. The markers M1 and M2 are preferably colored, especially in signal colors, designed so that These are particularly noticeable.

Alternativ oder zusätzlich zu den Markierungen M1 und M2 wird die Hervorhebung der relevanten Umgebungsbereiche U1 und U2 anhand einer Darstellung dieser mit einem gegenüber dem restlichen Gesamtbild G vergrößerten Kontrast oder einer Darstellung in einem vom restlichen Gesamtbild G abweichenden Farbton erzielt. Zu diesem Zweck kann das restliche Gesamtbild G während der Darstellung der relevanten Umgebungsbereiche U1 und U2 mit verringertem Kontrast und/oder mit einer geringeren Farbintensität, beispielsweise in Graustufen, dargestellt werden.alternative or in addition to the marks M1 and M2, the Highlighting the relevant surrounding areas U1 and U2 based on a representation this one with respect to the rest of the overall picture G enlarged contrast or a representation in achieved a different color from the rest of the overall G image. For this purpose, the remaining overall image G during the representation of the relevant environmental areas U1 and U2 with reduced Contrast and / or with a lower color intensity, for example, in gray scale.

Weiterhin können je nach der Größe der Abstände A1, A2 und A3 zu den Hindernissen 4, 5 und 6 oder weiterer nicht näher dargestellter Abstände zu weiteren ebenfalls nicht näher dargestellten Hindernissen auch mehr oder weniger als die zwei relevanten Umgebungsbereiche U1 und U2 hervorgehoben dargestellt werden.Furthermore, depending on the size of the distances A1, A2 and A3 to the obstacles 4 . 5 and 6 or other unspecified distances to other obstacles also not shown in more detail or highlighted as the two relevant surrounding areas U1 and U2.

3 zeigt die Anzeigeeinheit 2.4 und das auf dieser dargestellte Fahrzeug 1 während des Einparkvorgangs gemäß 2. 3 shows the display unit 2.4 and that on this vehicle shown 1 during the parking process according to 2 ,

Hierbei sind die die relevanten Umgebungsbereiche U1 und U2 auf dem Gesamtbild G vergrößert dargestellt, d. h. sie werden aus dem Gesamtbild G "herausgezoomt", so dass dem Fahrer des Fahrzeuges 1 eine detaillierte Darstellung der Fahrsituation zur Verfügung steht und dieser seine Fahrt derart anpassen kann, dass das Fahrzeug 1 ohne Berührung an den Hindernissen 4 und 5 vorbeibewegt werden kann.Here, the relevant surrounding areas U1 and U2 are shown enlarged on the overall image G, ie they are "zoomed out" of the overall image G, so that the driver of the vehicle 1 a detailed description of the driving situation is available and this his ride like this can customize that vehicle 1 without touching the obstacles 4 and 5 can be moved past.

Zusätzlich besteht ebenfalls die Möglichkeit, dass die vergrößert dargestellten Umgebungsbereiche U1 und U2 wie bereits beschrieben mit einem größeren Kontrast oder einer Darstellung in einem vom restlichen Gesamtbild G abweichenden Farbton mittels der Anzeigeeinheit 2.4 ausgegeben werden.In addition, there is also the possibility that the enlarged areas shown U1 and U2 as already described with a greater contrast or a representation in a deviating from the rest of the overall image G hue by means of the display unit 2.4 be issued.

4 zeigt eine dritte Ausgestaltung der Erfindung, bei welcher das Fahrzeug 1 und dessen Umgebung bei dem Einparkvorgang gemäß 2 auf dem Gesamtbild G dargestellt ist, wobei die relevanten Umgebungsbereiche U1 und U2 auf dem Gesamtbildes G und anhand von Zusatzbildern Z1 und Z2 dargestellt werden. 4 shows a third embodiment of the invention, in which the vehicle 1 and its surroundings during the parking procedure according to 2 is represented on the overall image G, wherein the relevant surrounding areas U1 and U2 are displayed on the overall image G and on the basis of additional images Z1 and Z2.

Die Umgebungsbereiche U1 und U2 sind auf diesem Zusatzbildern Z1 und Z2 vorzugsweise vergrößert dargestellt, so dass eine eindeutige und detaillierte Darstellung der Umgebungsbereiche U1 und U2 erzielt wird. Die Zusatzbilder sind in einer nicht näher dargestellten Ausgestaltung der Erfindung ebenfalls mit einem größeren Kontrast oder mit einem vom restlichen Gesamtbild G abweichenden Farbton dargestellt.The Surrounding areas U1 and U2 are on this additional pictures Z1 and Z2 is preferably shown enlarged, so that a clear and detailed representation of the surrounding areas U1 and U2 is achieved. The additional images are not closer illustrated embodiment of the invention also with a larger Contrast or with a different color from the rest of the overall G image shown.

Dabei werden die Zusatzbilder Z1 und Z2 vorzugsweise in Bereichen des Gesamtbildes G dargestellt, welche für die aktuelle Fahrsituation des Fahrzeuges 1 nicht relevant sind. Weiterhin sind zusätzlich vorzugsweise die Markierungen M1 und M2 um die Umgebungsbereiche U1 und U2 angeordnet, so dass der Fahrer weiß, welche Bereiche der Umgebung des Fahrzeuges 1 ihm angezeigt werden.In this case, the additional images Z1 and Z2 are preferably shown in areas of the overall image G, which for the current driving situation of the vehicle 1 are not relevant. Furthermore, the markers M1 and M2 are additionally preferably arranged around the surrounding areas U1 and U2, so that the driver knows which areas of the surroundings of the vehicle 1 be displayed to him.

In 5 ist die Anzeigeeinheit 2.4 dargestellt, welche die relevanten Umgebungsbereiche U1 und U2 anhand der Zusatzbilder Z1 und Z2 darstellt, wobei jedoch im Unterschied zu dem in 4 dargestellten Ausführungsbeispiel der Erfindung das Gesamtbild G ausgeblendet wird.In 5 is the display unit 2.4 which illustrates the relevant surrounding areas U1 and U2 on the basis of the additional images Z1 and Z2, but in contrast to that in FIG 4 illustrated embodiment of the invention, the overall picture G is hidden.

Die Zusatzbilder Z1 und Z2 stellen die Umgebungsbereiche U1 und U2 in vergrößerter Form dar und sind derart ausgebildet, dass eine zur Verfügung stehende Größe der Anzeigeeinheit 2.4 optimal ausgenutzt wird.The additional images Z1 and Z2 represent the surrounding areas U1 and U2 in an enlarged form and are designed such that an available size of the display unit 2.4 optimally utilized.

In einer nicht näher dargestellten Ausgestaltung der Erfindung wird bei einer Unterschreitung eines der Abstände A1, A2, oder A3 und/oder fahrsituationsabhängig von der Darstellung des Fahrzeuges 1 und dessen Umgebung aus der Vogelperspektive auf eine Anzeige aus einem anderen Blickwinkel, beispielsweise auf ein Bild einer Rückfahrkamera, umgeschaltet, so dass der Fahrer des Fahrzeuges 1 die Fahrsituation besser bewerten kann.In a non-illustrated embodiment of the invention is at a fall below one of the distances A1, A2, or A3 and / or driving situation-dependent on the representation of the vehicle 1 and its surroundings bird's-eye view of a display from another angle, such as an image of a rear view camera, switched so that the driver of the vehicle 1 can better evaluate the driving situation.

In einer nicht näher dargestellten Weiterbildung der Erfindung werden alternativ zu den in den 2 bis 5 gezeigten Darstellungen eine komplette Fahrzeugseite bzw. ein kompletter Fahrzeugbereich und deren angrenzende Umgebung als relevanter Umgebungsbereich U1, U2 ausgegeben. So wird beispielsweise alternativ zu den dargestellten zwei Umgebungsbereichen U1, U2 bei der gleichen Fahrzeugsituation, d. h. dem in den 2 bis 5 dargestellten Einparkvorgang, der rechte zu dem Hindernis 6 gerichtete Fahrzeugbereich und das Hindernis 6 in einem einzelnen relevanten Umgebungsbereich dargestellt.In a further development of the invention, not shown in the alternative 2 to 5 representations shown a complete vehicle side and a complete vehicle area and their adjacent environment as a relevant surrounding area U1, U2 output. For example, as an alternative to the illustrated two surrounding areas U1, U2 in the same vehicle situation, ie in the 2 to 5 illustrated parking, the right to the obstacle 6 directed vehicle area and the obstacle 6 represented in a single relevant environment area.

In vorteilhafter Weise verfügt die Vorrichtung 1 zur Überwachung der Umgebung des Fahrzeuges 1 in einer besonders gewinnbringenden Weiterbildung der Erfindung über Mittel, anhand welcher der Fahrer des Fahrzeuges 1 die gewünschte Darstellung der relevanten Umgebungsbereiche U1 und U2, d. h. die hervorgehobene Darstellung und/oder die vergrößerte Darstellung auf dem Gesamtbild oder die Darstellung anhand der Zusatzbilder Z1 und Z2 gemeinsam mit dem Gesamtbild G oder ohne dieses, wählen kann.Advantageously, the device has 1 to monitor the environment of the vehicle 1 in a particularly profitable development of the invention via means based on which the driver of the vehicle 1 the desired representation of the relevant surrounding areas U1 and U2, ie the highlighted representation and / or the enlarged representation on the overall image or the representation based on the additional images Z1 and Z2 together with the overall image G or without this, can choose.

In einer weiteren Ausgestaltung der Erfindung wird die Art der Darstellung der relevanten Umgebungsbereiche U1 und U2 automatisch, beispielsweise in Abhängigkeit von der Größe der erfassten Abstände A1, A2, A3 zwischen dem Fahrzeug 1 und den Hindernissen 4, 5, 6 vorgegeben und alternativ automatisch je nach Fahrsituation oder der Größe der erfassten Abstände A1, A2, A3 gewechselt.In a further embodiment of the invention, the type of representation of the relevant surrounding areas U1 and U2 is automatic, for example as a function of the size of the detected distances A1, A2, A3 between the vehicle 1 and the obstacles 4 . 5 . 6 predetermined and alternatively automatically changed depending on the driving situation or the size of the detected distances A1, A2, A3.

11
Fahrzeugvehicle
22
Vorrichtungcontraption
2.12.1
BilderfassungseinheitImage capture unit
2.22.2
BilderfassungseinheitImage capture unit
2.32.3
BildverarbeitungseinheitImage processing unit
2.42.4
Anzeigeeinheitdisplay unit
2.52.5
Steuereinheitcontrol unit
33
Abstandssensorikdistance sensor
3.13.1
Abstandssensordistance sensor
3.23.2
Abstandssensordistance sensor
3.33.3
Abstandssensordistance sensor
3.43.4
Abstandssensordistance sensor
3.53.5
Abstandssensordistance sensor
3.63.6
Abstandssensordistance sensor
44
Hindernisobstacle
55
Hindernisobstacle
66
Hindernisobstacle
A1A1
Abstanddistance
A2A2
Abstanddistance
A3A3
Abstanddistance
Ee
Einzelbildframe
GG
Gesamtbildoverall picture
M1M1
Markierungmark
M2M2
Markierungmark
U1U1
Umgebungsbereichsurrounding area
U2U2
Umgebungsbereichsurrounding area

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - DE 60003750 T2 [0004] - DE 60003750 T2 [0004]
  • - JP 2007102798 A1 [0005] - JP 2007102798 A1 [0005]
  • - DE 10292327 T5 [0006] - DE 10292327 T5 [0006]

Claims (6)

Verfahren zur Überwachung einer Umgebung eines Fahrzeuges (1), bei dem die Umgebung mittels wenigstens einer Bilderfassungseinheit (2.1, 2.2) erfasst wird, wobei aus mittels der wenigstens einen Bilderfassungseinheit (2.1, 2.2) erfassten Einzelbildern (E) anhand einer Bildverarbeitungseinheit (2.3) ein Gesamtbild (G) erzeugt und mittels einer Anzeigeeinheit (2.4) ausgegeben wird, wobei das Gesamtbild (G) das Fahrzeug (1) und dessen Umgebung aus einer Vogelperspektive zeigt und das Fahrzeug (1) in dem Gesamtbild (G) situationsabhängig positioniert wird, dadurch gekennzeichnet, dass für eine Fahrsituation des Fahrzeuges (1) relevante Umgebungsbereiche (U1, U2) anhand zumindest eines mittels wenigstens einer Abstandssensorik (3) erfassten Abstandes (A1, A2, A3) zu einem oder mehreren Hindernissen (4, 5, 6) ermittelt und ausgegeben werden.Method for monitoring an environment of a vehicle ( 1 ), in which the environment by means of at least one image acquisition unit ( 2.1 . 2.2 ), wherein by means of the at least one image acquisition unit ( 2.1 . 2.2 ) captured individual images (E) using an image processing unit ( 2.3 ) generates an overall image (G) and by means of a display unit ( 2.4 ), the overall image (G) representing the vehicle ( 1 ) and its surroundings from a bird's eye view and the vehicle ( 1 ) is positioned as a function of the situation in the overall image (G), characterized in that for a driving situation of the vehicle ( 1 ) relevant environmental areas (U1, U2) based on at least one by means of at least one distance sensor ( 3 ) detected distance (A1, A2, A3) to one or more obstacles ( 4 . 5 . 6 ) are determined and output. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die relevanten Umgebungsbereiche (U1, U2) auf dem Gesamtbild (G) hervorgehoben dargestellt werden.Method according to claim 1, characterized in that that the relevant surrounding areas (U1, U2) on the overall picture (G) highlighted. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die relevanten Umgebungsbereiche (U1, U2) auf dem Gesamtbild (G) vergrößert dargestellt werden.Method according to claim 1 or 2, characterized that the relevant surrounding areas (U1, U2) on the overall picture (G) are displayed enlarged. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die relevanten Umgebungsbereiche (U1, U2) anhand des Gesamtbildes (G) und anhand von Zusatzbildern (Z1, Z2) dargestellt werden.Method according to one of claims 1 to 3, characterized in that the relevant environmental areas (U1, U2) on the basis of the overall picture (G) and on the basis of additional pictures (Z1, Z2) are shown. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die relevanten Umgebungsbereiche (U1, U2) anhand von Zusatzbildern (Z1, Z2) dargestellt werden, wobei das Gesamtbild (G) ausgeblendet wird.Method according to one of claims 1 to 3, characterized in that the relevant environmental areas (U1, U2) are represented on the basis of additional images (Z1, Z2), where the overall picture (G) is hidden. Vorrichtung (1) zur Überwachung einer Umgebung eines Fahrzeuges (1) mit wenigstens einer Bilderfassungseinheit (2.1, 2.2) zur Erfassung der Umgebung, einer Bildverarbeitungseinheit (2.3) zur Erzeugung eines Gesamtbildes (G) aus mittels der wenigstens einen Bilderfassungseinheit (2.1, 2.2) erfassten Einzelbildern (E), einer Anzeigeeinheit (2.4) zur Ausgabe des Gesamtbildes G), welches das Fahrzeug (1) und dessen Umgebung aus einer Vogelperspektive zeigt, und einer Steuereinheit (2.5) zu einer situationsabhängigen Positionierung des Fahrzeuges (1) in dem Gesamtbild (G), dadurch gekennzeichnet, dass die Steuereinheit (2.5) derart mit wenigstens einer Abstandssensorik (3) gekoppelt ist, dass für eine Fahrsituation des Fahrzeuges (1) relevante Umgebungsbereiche (U1, U2) anhand von zumindest einem erfassten Abstand (A1, A2, A3) zu einem oder mehreren Hindernissen (4, 5, 6) ermittelbar und ausgebbar sind.Contraption ( 1 ) for monitoring an environment of a vehicle ( 1 ) with at least one image acquisition unit ( 2.1 . 2.2 ) for detecting the environment, an image processing unit ( 2.3 ) for generating an overall image (G) by means of the at least one image acquisition unit ( 2.1 . 2.2 ) captured individual images (E), a display unit ( 2.4 ) for outputting the overall image G), which the vehicle ( 1 ) and its surroundings from a bird's-eye view, and a control unit ( 2.5 ) to a situation-dependent positioning of the vehicle ( 1 ) in the overall image (G), characterized in that the control unit ( 2.5 ) in such a way with at least one distance sensor system ( 3 ) is coupled that for a driving situation of the vehicle ( 1 ) relevant environmental areas (U1, U2) based on at least one detected distance (A1, A2, A3) to one or more obstacles ( 4 . 5 . 6 ) can be determined and output.
DE102008046214A 2008-09-08 2008-09-08 Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle Withdrawn DE102008046214A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102008046214A DE102008046214A1 (en) 2008-09-08 2008-09-08 Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle
PCT/EP2009/005413 WO2010025792A1 (en) 2008-09-08 2009-07-27 Method and device for monitoring an environment of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008046214A DE102008046214A1 (en) 2008-09-08 2008-09-08 Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle

Publications (1)

Publication Number Publication Date
DE102008046214A1 true DE102008046214A1 (en) 2009-04-30

Family

ID=40490442

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008046214A Withdrawn DE102008046214A1 (en) 2008-09-08 2008-09-08 Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle

Country Status (2)

Country Link
DE (1) DE102008046214A1 (en)
WO (1) WO2010025792A1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011110204A1 (en) * 2010-03-10 2011-09-15 Daimler Ag Driver assistance device having a visual representation of detected objects
DE102010034142A1 (en) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh A method of assisting a driver in driving a motor vehicle and driver assistance system
DE102010034127A1 (en) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Method for displaying images on a display device in a motor vehicle, driver assistance system and motor vehicle
EP2481637A1 (en) * 2011-01-28 2012-08-01 Nxp B.V. Parking Assistance System and Method
DE102011112578A1 (en) * 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Method and device for an assistance system in a vehicle for carrying out an autonomous or semi-autonomous driving maneuver
US8446471B2 (en) 2009-12-31 2013-05-21 Industrial Technology Research Institute Method and system for generating surrounding seamless bird-view image with distance interface
EP2555519A4 (en) * 2010-03-26 2016-12-07 Aisin Seiki DEVICE FOR MONITORING THE SURROUNDINGS OF A VEHICLE
US9969330B2 (en) 2013-06-26 2018-05-15 Conti Temic Microelectronic Gmbh Mirror substitute device and vehicle
US10000155B2 (en) 2013-07-23 2018-06-19 Application Solutions (Electronics and Vision) Ltd. Method and device for reproducing a lateral and/or rear surrounding area of a vehicle
WO2019072455A1 (en) * 2017-10-11 2019-04-18 Robert Bosch Gmbh METHOD FOR PRESENTING AN ENVIRONMENT OF A VEHICLE
JP2020155893A (en) * 2019-03-19 2020-09-24 ヤマハ発動機株式会社 Display device for ship, ship, and image display method for ship
DE102024202845B3 (en) * 2024-03-25 2025-07-17 Volkswagen Aktiengesellschaft Vehicle, driver assistance system and method for operating the driver assistance system when maneuvering near an object

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011082475A1 (en) * 2011-09-12 2013-03-14 Robert Bosch Gmbh Driver assistance system to assist a driver in collision-relevant situations

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60003750T2 (en) 1999-04-28 2004-06-03 Matsushita Electric Industrial Co., Ltd., Kadoma Parking assistance device
DE10292327T5 (en) 2001-06-13 2004-09-23 Denso Corp., Kariya Vehicle environment image processing device and recording medium
JP2007102798A (en) 2006-10-11 2007-04-19 Denso Corp Vehicle circumference monitoring system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2410742A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
JP4956915B2 (en) * 2005-05-20 2012-06-20 日産自動車株式会社 Video display device and video display method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60003750T2 (en) 1999-04-28 2004-06-03 Matsushita Electric Industrial Co., Ltd., Kadoma Parking assistance device
DE10292327T5 (en) 2001-06-13 2004-09-23 Denso Corp., Kariya Vehicle environment image processing device and recording medium
JP2007102798A (en) 2006-10-11 2007-04-19 Denso Corp Vehicle circumference monitoring system

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446471B2 (en) 2009-12-31 2013-05-21 Industrial Technology Research Institute Method and system for generating surrounding seamless bird-view image with distance interface
CN102782739A (en) * 2010-03-10 2012-11-14 戴姆勒股份公司 Driver assistance device having a visual representation of detected object
WO2011110204A1 (en) * 2010-03-10 2011-09-15 Daimler Ag Driver assistance device having a visual representation of detected objects
EP2555519A4 (en) * 2010-03-26 2016-12-07 Aisin Seiki DEVICE FOR MONITORING THE SURROUNDINGS OF A VEHICLE
US9862319B2 (en) 2010-03-26 2018-01-09 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device using cameras and an emphasized frame
DE102010034142A1 (en) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh A method of assisting a driver in driving a motor vehicle and driver assistance system
DE102010034127A1 (en) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Method for displaying images on a display device in a motor vehicle, driver assistance system and motor vehicle
EP2481637A1 (en) * 2011-01-28 2012-08-01 Nxp B.V. Parking Assistance System and Method
US8854231B2 (en) 2011-01-28 2014-10-07 Nxp, B.V. Parking assistance system and method
DE102011112578A1 (en) * 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Method and device for an assistance system in a vehicle for carrying out an autonomous or semi-autonomous driving maneuver
US9511723B2 (en) 2011-09-08 2016-12-06 Continental Teves Ag & Co. Ohg Method and device for an assistance system in a vehicle for performing an autonomous or semi-autonomous driving maneuver
US9969330B2 (en) 2013-06-26 2018-05-15 Conti Temic Microelectronic Gmbh Mirror substitute device and vehicle
US10000155B2 (en) 2013-07-23 2018-06-19 Application Solutions (Electronics and Vision) Ltd. Method and device for reproducing a lateral and/or rear surrounding area of a vehicle
WO2019072455A1 (en) * 2017-10-11 2019-04-18 Robert Bosch Gmbh METHOD FOR PRESENTING AN ENVIRONMENT OF A VEHICLE
CN111201558A (en) * 2017-10-11 2020-05-26 罗伯特·博世有限公司 Method for showing the surroundings of a vehicle
JP2020537427A (en) * 2017-10-11 2020-12-17 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ How to depict the surroundings of a vehicle
US11321911B2 (en) * 2017-10-11 2022-05-03 Robert Bosch Gmbh Method for representing the surroundings of a vehicle
JP7190487B2 (en) 2017-10-11 2022-12-15 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング How to draw a vehicle's surroundings
JP2020155893A (en) * 2019-03-19 2020-09-24 ヤマハ発動機株式会社 Display device for ship, ship, and image display method for ship
JP7232089B2 (en) 2019-03-19 2023-03-02 ヤマハ発動機株式会社 Display device for ship, ship and image display method for ship
DE102024202845B3 (en) * 2024-03-25 2025-07-17 Volkswagen Aktiengesellschaft Vehicle, driver assistance system and method for operating the driver assistance system when maneuvering near an object

Also Published As

Publication number Publication date
WO2010025792A1 (en) 2010-03-11

Similar Documents

Publication Publication Date Title
DE102008046214A1 (en) Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle
DE102009005505B4 (en) Method and device for generating an image of the surroundings of a motor vehicle
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
DE102012025322B4 (en) Motor vehicle with camera monitor system
DE102017100004A1 (en) Method for providing at least one information from a surrounding area of a motor vehicle, display system for a motor vehicle, driver assistance system for a motor vehicle and motor vehicle
DE102008046544A1 (en) Vehicle e.g. passenger car, surrounding monitoring method, utilized for passenger transportation, involves displaying section of complete image for positioning of vehicle, and selecting section as function of vehicle movement direction
DE102010051206A1 (en) A method of generating an image of a vehicle environment and imaging device
DE102009029439A1 (en) Method and device for representing obstacles in a parking assistance system of motor vehicles
DE102010034139A1 (en) Method for supporting a parking process of a motor vehicle, driver assistance system and motor vehicle
EP2603402A1 (en) Method for displaying images on a display device and driver assistance system
DE102011077143A1 (en) A vehicle camera system and method for providing a seamless image of the vehicle environment
DE102017218074A1 (en) Method for representing an environment of a vehicle
DE102004028763A1 (en) Andockassistent
DE102011088332A1 (en) Method for improving object detection in multi-camera systems
DE102010026222A1 (en) Method for assisting driver during driving and/or maneuvering of car, involves optically outputting orientation aids and optically outputting detected areas on display units from perspective view, where images are superimposed with aids
DE102010051204A1 (en) Method for displaying obstacle for vehicle, involves detecting area surrounding vehicle with camera system, and detecting obstacles with sensor element independent of camera system
DE102008006309A1 (en) Method and device for driver assistance when maneuvering a vehicle or vehicle combination
DE102016114693A1 (en) A method for assisting a driver of a motor vehicle when driving the motor vehicle, driver assistance system and motor vehicle
DE102018210877A1 (en) Procedure for assisting in maneuvering a team consisting of a towing vehicle and trailer, system and team
DE102011077398A1 (en) Vehicle camera system for providing a complete picture of the vehicle environment and corresponding method
EP3327698A1 (en) Method for assisting a driver of a motor vehicle when parking the motor vehicle in a parking lot, driver assistance system and motor vehicle
DE102010033786A1 (en) Method for detecting and displaying areas laterally and laterally behind a vehicle and vehicle with several image acquisition units for detecting areas located laterally next to and laterally behind the vehicle
DE102015000794A1 (en) A method of displaying an environment of a vehicle and a surround display device for a vehicle
DE102008030104A1 (en) Vehicle i.e. tractor-trailer, surrounding monitoring method, involves assigning positions of image capturing units and weighing factor to each pixel, and determining overall picture between vehicle elements by taking into inclination angle
DE102011010860A1 (en) Method and driver assistance system for displaying images in a motor vehicle and motor vehicle

Legal Events

Date Code Title Description
OAV Publication of unexamined application with consent of applicant
OR8 Request for search as to paragraph 43 lit. 1 sentence 1 patent law
R005 Application deemed withdrawn due to failure to request examination