[go: up one dir, main page]

WO2013087362A1 - Verfahren zur verbesserung der objektdetektion bei multikamerasystemen - Google Patents

Verfahren zur verbesserung der objektdetektion bei multikamerasystemen Download PDF

Info

Publication number
WO2013087362A1
WO2013087362A1 PCT/EP2012/072963 EP2012072963W WO2013087362A1 WO 2013087362 A1 WO2013087362 A1 WO 2013087362A1 EP 2012072963 W EP2012072963 W EP 2012072963W WO 2013087362 A1 WO2013087362 A1 WO 2013087362A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
raised
area
interface
viewing areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2012/072963
Other languages
English (en)
French (fr)
Inventor
Tobias Ehlgen
Leo VEPA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to CN201280061379.6A priority Critical patent/CN103999122A/zh
Priority to EP12794902.2A priority patent/EP2791895A1/de
Priority to IN3173DEN2014 priority patent/IN2014DN03173A/en
Publication of WO2013087362A1 publication Critical patent/WO2013087362A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the invention relates to a method for improving the object detection in multi-camera systems, in particular to an automatic displacement of seams in object detection in overlapping areas of images of a multi-camera system, a device for implementing the method and a computer program for performing the method on a computer device.
  • DE 10 2009 036 200 A1 discloses a method for monitoring the surroundings of a vehicle.
  • the environment and objects located therein, in particular raised objects, are captured by means of image capture units in individual images and the individual images are used to create a bird's-eye view of the overall image.
  • boundary lines are defined in the overlapping areas between the individual images.
  • a boundary line is provided as a function of the determined position of the objects in the said image. This boundary line is set so variable that it runs away from the objects.
  • Dividing lines between the individual images are defined, wherein the dividing line is designed such that raised objects can be displayed in the overlapping region.
  • Photographs of an overall bird's eye view In particular, moving objects are displayed reliably.
  • the images are captured from different positions and have an overlap area.
  • the image recordings are transformed into a bird's eye view, which takes place as part of an image-data processing, and image sections of the transformed image recordings are combined to form a bird's-eye view of the overall picture.
  • the transition between two adjacent ones Image sections take place along a straight or curved boundary line which runs asymmetrically between the image sections in the overall image.
  • KR 2010 0113 959 A discloses a method for monitoring the surroundings of a vehicle, wherein the image areas of several cameras partially overlap.
  • the individual images are combined to form an overall image in which the vehicle and its surroundings are shown from a bird's eye view.
  • the cameras are arranged and aligned in such a way that their respective imaged areas are partially overlaid. Accordingly, the overall picture is expressed throughout the entire overlay area shown
  • DE 10 2008 029 181 A1 discloses a device to visualize the environment to the driver and to represent obstacles in the vehicle environment. When an obstacle is detected by a detection element other than the camera, the
  • Image processing unit the direction and slope of the virtual view depending on the obstacle.
  • Front camera comprising at least one side camera in the exterior mirror and a rear camera, calculate from images a view from above of the vehicle from a bird's eye view and reflect the vehicle environment (Bird's Eye View, Top View or Area View). This allows the driver, by a single glance at a
  • Display unit such as a display in a center console to see the entire closer vehicle environment.
  • the driver can overlook blind spots due to the bird's eye view.
  • the cameras are mounted in different positions.
  • the front camera is usually located in the front or in the windshield, the rear camera either above the rear window or at the level of the trunk lid, while side cameras are usually with a vertical orientation on the road orientation in the exterior mirrors on the driver and passenger side of the vehicle.
  • Some of these cameras have one Common field of view, which is referred to below as the overlap area.
  • each camera image is assigned an image area within the bird's-eye view today, i. a representation of
  • the stitching point within the overlap area is shifted such that the at least one detected raised object always remains visible.
  • the visualization of the at least one detected raised object in this area is prioritized prior to training Overlapping areas enjoys.
  • the detection of the at least one raised object can be achieved by sensors such as e.g. Ultrasound, laser scanner, radar or lidar applications and the like are reliably detected today.
  • the stitching point is shifted so that the most relevant object is not within a non-displayable area but it is ensured that the detection point (Stitching point) on detection of at least one raised object includes this at least one raised object, ie this is located in the visualization area.
  • the term "most relevant object” means that at least one raised object, which is within the overlap region or which is in the region of a
  • the method proposed according to the invention ensures that detected raised objects which are located in said areas, i. either in the overlap area of two frames or in the vicinity of a stitching point, do not disappear in a blind area.
  • the driver of such a vehicle is offered a significantly improved all-round view, in which all objects are and remain constantly visible. This not least leads to a considerable gain in security.
  • the solution proposed according to the invention makes it possible to color the detected object when displayed on a display within the vehicle in order to attract the driver's attention. Furthermore, it is ensured that the driver of the vehicle sees the object at any time, since this is not within a Interface area disappears, in particular not in a transition region of two adjacent viewing areas of the cameras. Furthermore, the solution proposed by the invention makes it possible to present raised objects in a much more natural manner, which results in a clear advantage with regard to the perception by the driver.
  • FIG. 2 shows an image of the vehicle, calculated from individual images, from the image taken by cameras mounted in the vehicle
  • FIG. 4 shows firmly defined stitching locations for an image on the image
  • Figure 5 Vehicle from a bird's eye view, Figure 5 is located in front of a vehicle (shown here as a semi-trailer)
  • FIG. 6 shows one in the region of an assembly point (stitching point)
  • Figure 7 shows a resulting blind wedge along that indicated in Figure 6
  • FIG. 8 shows a detected raised object approaching a stitching point
  • FIG. 9 shows a displacement of the stitching point within the overlapping area in order to visualize the detected, at least one raised object for the driver of the vehicle.
  • Embodiments The illustration according to FIG. 1 shows a vehicle which has four individual cameras. It should be noted that the vehicle may also have more or fewer cameras, as long as they have at least one common
  • a vehicle 10 is equipped with a 4-camera system 12.
  • the 4-camera system 12 includes a camera that captures an image of a
  • Front image area 14 receives, further includes a camera that receives a rear image area 16.
  • the front image area 14 and the rear image area 16 of the vehicle 10 are identified with respect to a direction of travel 18.
  • the 4-camera system 12 of the vehicle 10 comprises a side camera which receives a left image area 20 and a further side camera, which is mounted, for example, in an exterior mirror of the vehicle 10, which receives a right image area 22 next to the vehicle 10.
  • FIG. 2 shows that the front image areas, rear image areas and left and right image areas 14, 16, 20 and 22 recorded according to FIG. 1 are transformed into a bird's eye view 24.
  • the perspective resulting from the bird's-eye view 24 from above the vehicle 10 is shown in FIG.
  • the representation according to FIG. 3 shows that the vehicle 10 comprises a front camera 28.
  • the front camera 28 of the vehicle 10 receives a viewing area 30, which is located substantially in front of the vehicle 10.
  • the vehicle 10 has a rear camera 32, the viewing area 34 of which extends substantially behind the vehicle 10.
  • the vehicle 10 includes a right side camera 36 whose viewing area 38 is located on the right side of the vehicle 10.
  • the vehicle 10 includes the vehicle 10, a left side camera 40, whose viewing area is identified by reference numeral 42 and which is located substantially on the left side of the vehicle 10.
  • the two side cameras 36 and 40 may be arranged, for example, in the exterior mirrors of the vehicle 10.
  • first overlap region 44 results from an overlap of the field of view 30 of the front camera 28 with the front part of the field of view 38 of the right side camera 36.
  • second overlap region 46 arises, resulting from the overlap of the field of view 30 of the front camera 28 with the viewing area 42 of the left side camera 40 of the vehicle 10 results.
  • third overlapping region 48 results, which results from the overlap of the viewing region 42 of the left side camera 40 of the vehicle with the front visual region 30 of the front camera 28.
  • a fourth overlapping area 50 is formed by overlapping the rear part of the viewing area 42 of the left side camera 40 with the viewing area 34 of the rear camera 32.
  • FIG. 4 shows the individual stitching locations along which the individual images are assembled when the vehicle 10 is viewed from above. From the position of the seams 52, 54, 56, 58, which define a first, a second, a third and a fourth seam, it follows that the seams 52, 54, 56, 58 in a comparison with Figure 3, the individual Overlap areas 44, 46, 48, 50
  • Viewing area 30 of the front camera 28 is transformed to the first modified viewing area 60, which is a trapezoidal compared to the viewing area 30 of the front camera 28
  • Overlap area 46 and the third overlap area 48 (see illustration according to Figure 3), which are to a second modified field of view 62 on the left side of the vehicle 10.
  • the second modified viewing area 62 is bounded by the second seam 54 and by the third seam 56.
  • a third modified vision area 64 located behind the vehicle 10 is defined by the third seam 56 and the fourth
  • a fourth modified field of vision 66 is formed on the right side of the vehicle 10, as shown in FIG. 4, bounded by the fourth seam 58 and the first seam 52.
  • the first seam 52 corresponds to the first overlapping region 44 on the right front side of the vehicle 10
  • the fourth seam 58 corresponds to the fourth overlapping region 50 on the right rear side of the vehicle 10-seen in the direction of travel.
  • FIGS. 5, 6 and 7 are the presentation conditions in front of a vehicle - here a semi-trailer - in forming a blind wedge on the
  • Figure 5 shows that in front of a vehicle 10, here the tractor of a
  • a raised object 68 is in the form of a person.
  • the distortion in the vertical direction of the person representing a raised object 68 results from the vertical distortion that is traversed during the image transformation in order to arrive at a bird's eye view of the vehicle 10.
  • the raised object 68 illustrated here as a point is located at a central interface 72 between the viewing areas on the front side of the
  • the central interface 72 corresponds to the vehicle center 70.
  • the central interface 72 (stitching point) is located directly in front of the vehicle 10, so that there located raised objects 68 are no longer clearly visible to the driver of the vehicle 10.
  • the blind wedge resulting for the driver on the basis of the image processing with respect to the central interface 72 is designated by reference numeral 74.
  • This blind wedge 74 is located in front of the vehicle front 76 of the vehicle 10, here designed as a semitrailer.
  • the at least one raised object 68 is shown distorted in an oblique section as shown in FIG.
  • This distorted representation within the blind wedge 74 which can only be shown imperfectly in FIG. 7 - leads to an unfavorable reproduction of the raised object 68, be it as a distorted point 68 in FIG. 6, or as a distorted person 68 as in FIG see.
  • the blind wedge 74 results from the circumstance that in the vehicle 10 according to FIGS. 5, 6 and 7 cameras are arranged in the exterior mirrors of the vehicle, which faces the central interface 72 (stitching position) extending in the direction of the vehicle front 76 of the vehicle
  • the illustration according to FIG. 8 can be seen on the basis of FIG. 4 that the modified viewing areas 60, 62, 64 and 66 are located around the vehicle 10. 4, the first modified viewing area 60 is bounded by the first and second stitching sites 52, 54, while the second modified viewing area 62 on the left side of the vehicle is defined by the second interface 54 and the third seam 56 is limited. Furthermore, it can be seen from the illustration according to FIG. 8 that the third modified viewing area 64 is delimited by the second interface 54 and the third interface 56. The fourth modified viewing area 66 located on the right side of the vehicle 10 is bounded by the fourth interface 58 and the first interface 52. From the plan view according to FIG. 8 it follows that within the first modified
  • Interface 52 moves. From the illustration according to FIG. 8, it is also clear that here-shown in broken lines in FIG. 8 -a critical one around the first seam 52 Area 78 is defined.
  • the raised object 68 which moves in the direction of movement 80 from left to right in front of the vehicle 10, moves toward this critical area 78 of the first interface 52.
  • Reference numeral 82 designates an opening angle of this critical region 78, which in the illustration according to FIG. 8 is in the order of magnitude of 10 ° -20 °, for example 15 °.
  • FIG. 9 shows that the at least one raised object 68 has moved in the direction of movement 80 as far as the first seam 52, and that a displacement 84 of the first seam 52 has taken place in the direction of the fourth modified visible region 66.
  • the first modified viewing area 60 and the fourth modified viewing area 66 are affected by the displacement 84 of the first interface 52.
  • the first modified viewing area 60 in front of the vehicle 10 is enlarged, whereas the fourth modified viewing area 66 lying to the right of the vehicle 10 is reduced. This is due to the visualization of the at least one raised object 68 at the first proximity point 52, whose original position is shown in dashed lines in FIG. 9.
  • Approaching the at least one raised object 68 to the first seam 52 can analogously also with a corresponding movement direction 80 of the at least one raised object 68 to a shift of the second interface 54 and the third interface 56 and finally the fourth, behind the vehicle 10th lying
  • the raised object 68 shown in FIGS. 8 and 9 may be one which moves very fast or which is in the greatest proximity to the vehicle 10. This is to be understood in the above context under a relevant object. From the bird's-eye view of the vehicle 10 shown in FIGS. 8 and 9, it can be seen that, in the context of image processing, the modification of the individual viewing areas 60, 62, 64 and 66 depends on the occurrence of the at least one in the direction of movement 80
  • the invention further relates to a computer program, according to which one of the methods described above can be performed when the computer program is executed on a programmable computer device.
  • the computer program can be, for example, a module for implementing a driver assistance system or a subsystem thereof in a vehicle, or an application for driver assistance functions that can be executed on a smartphone.
  • Computer program can be stored on a machine-readable storage medium, such as on a permanent or rewritable storage medium or in association with a computer device or on a removable CD-ROM, DVD or USB stick. Additionally or alternatively, the computer program on a
  • Computer equipment such as provided on a server for downloading, for example via a data network, such as the Internet or a
  • the solution proposed by the invention advantageously avoids the blind wedge 74, in which raised objects 68 are no longer recognizable or hardly recognizable. Due to the modification of the blind wedge 74 in front of the vehicle 10, raised objects 68 located there will not disappear in the blind wedge 74 in the short term - as shown in FIG. 7 - but the seams 52, 54, 56, 58 will be displaced depending on the object.
  • the inventively proposed solution can be achieved in a vehicle equipped with multiple cameras that in the range of

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung bezieht sich auf ein Verfahren zur Wiedergabe von erhabenen Objekten (68), die sich in einem kritischen Bereich (78) befinden oder auf diesen zubewegen. Der kritische Bereich (78) befindet sich an Nahtstellen (52, 54, 56, 58) zusammengefügt aus von mehreren Einzelkameras (28, 32, 36, 40) erfasster Sichtbereiche (30, 34, 38, 42). Es werden die nachfolgenden Verfahrensschritte durchlaufen: Es erfolgt die Erfassung von Sichtbereichen (30, 34, 38, 42) mit jeweils einer Einzelkamera (28, 32, 36, 40) an einem Fahrzeug (10). Anschließend erfolgt das Zusammenfügen der Sichtbereiche (30, 34, 38, 42) entlang von Nahtstellen (52, 54, 56, 58) zu einer transformierten Vogelperspektiv-Ansicht (24). Schließlich erfolgt das Verschieben mindestens einer Nahtstelle (52, 54, 56, 58) zwischen angrenzenden Sichtbereichen (30, 34, 38, 42) bei Detektion mindestens eines sich innerhalb des kritischen Bereichs (78) an mindestens einer Nahtstelle (52, 54, 56, 58) befindenden oder sich auf diesen zubewegenden erhabenen Objekts (68).

Description

Beschreibung Titel
Verfahren zur Verbesserung der Objektdetektion bei Multikamerasvstemen Stand der Technik
Die Erfindung bezieht sich auf ein Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen, insbesondere auf eine automatische Verschiebung von Nahtstellen bei Objektdetektion in Überlappungsbereichen von Bildern eines Multikamerasystems, eine Vorrichtung zur Implementierung des Verfahrens sowie auf ein Computerprogramm zur Ausführung des Verfahrens auf einer Computereinrichtung.
DE 10 2009 036 200 A1 offenbart ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs. Die Umgebung und in dieser befindliche Objekte, insbesondere erhabene Objekte, werden mittels Bilderfassungseinheiten in einzelnen Bildern erfasst und aus den einzelnen Bildern wird ein Gesamtbild in der Vogelperspektive erzeugt. Bei der Erzeugung des Gesamtbildes werden Grenzlinien in den Überlappungsbereichen zwischen den einzelnen Bildern definiert. Um in den Überlappungsbereichen der Einzelbilder befindliche Objekte vollständig auf dem Gesamtbild darstellen zu können, wird eine Grenzlinie in Abhängigkeit von der ermittelten Position der Objekte in dem besagten Bild vorgesehen. Diese Grenzlinie ist derart variabel vorgegeben, so dass sie abseits der Objekte verläuft. Es werden Trennlinien zwischen den Einzelbildern festgelegt, wobei die Trennlinie derart ausgebildet ist, dass erhabene Objekte im Überlappungsbereich dargestellt werden können.
DE 10 2006 003 538 B3 offenbart ein Verfahren zum Zusammenfügen mehrerer
Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive. Insbesondere werden bewegte Objekte zuverlässig dargestellt. Die Bildaufnahmen werden aus unterschiedlichen Positionen erfasst und weisen einen Überlappungsbereich auf. Die Bildaufnahmen werden in die Vogelperspektive transformiert, was im Rahmen einer Bild-Daten-Verarbeitung erfolgt, und Bildausschnitte der transformierten Bildaufnahmen werden zu einem Gesamtbild aus der Vogelperspektive zusammengefügt. Der Übergang zwischen zwei benachbarten Bildausschnitten erfolgt entlang einer geraden oder kurvigen Grenzlinie, welche asymmetrisch zwischen den Bildausschnitten im Gesamtbild verläuft.
KR 2010 0113 959 A offenbart ein Verfahren zur Überwachung der Umgebung eines Fahrzeuges, wobei sich die Bildbereiche mehrerer Kameras teilweise überlagern. In einem Bildverarbeitungssystem werden die Einzelbilder zu einem Gesamtbild zusammengesetzt, in dem das Fahrzeug und seine Umgebung aus der Vogelperspektive dargestellt sind. Um die Umgebung möglichst vollständig abzubilden, sind die Kameras derart angeordnet und ausgerichtet, dass sich deren jeweils abgebildete Bereiche teilweise überlagern. Demnach setzt sich das Gesamtbild in dem gesamten abgebildeten Überlagerungsbereich aus
Teilbereichen der Einzelbilder der beiden Kameras zusammen. Abwechselnd ist jeweils ein Teilbereich des Einzelbildes der ersten Kamera zu einem Teilbereich des Einzelbildes der zweiten Kamera angeordnet. DE 10 2008 029 181 A1 offenbart eine Vorrichtung, um dem Fahrer die Umgebung zu visualisieren und Hindernisse in der Fahrzeugumgebung darzustellen. Wenn ein Hindernis von einem anderen Detektionselement als der Kamera erfasst wird, ändert die
Bildverarbeitungseinheit die Richtung und die Steigung der virtuellen Ansicht abhängig vom Hindernis.
Heute bei vielen Fahrzeugen eingebaute Multikamerasysteme, beispielsweise eine
Frontkamera, mindestens eine Seitenkamera im Außenspiegel sowie eine Heckkamera umfassend, berechnen aus Bildern eine Ansicht von oben auf das Fahrzeug aus der Vogelperspektive und geben die Fahrzeugumgebung wieder (Bird's Eye View, Top View oder Area View). Dadurch wird dem Fahrer ermöglicht, durch einen einzigen Blick auf eine
Anzeigeeinheit, beispielsweise ein Display in einer Mittelkonsole, die gesamte nähere Fahrzeugumgebung zu sehen. Somit kann der Fahrer aufgrund der Vogelperspektive auch tote Winkel überblicken. Um ein möglichst vollständiges Bild der Fahrzeugumgebung zu erhalten, sind die Kameras an unterschiedlichen Positionen montiert. Die Frontkamera befindet sich meistens im Frontend oder im Bereich der Windschutzscheibe, die Heckkamera entweder oberhalb der Heckscheibe oder in Höhe der Kofferraumklappe, während sich Seitenkameras meistens mit einer vertikal auf die Fahrbahn gerichteten Orientierung in den Außenspiegeln auf Fahrer- und Beifahrerseite des Fahrzeugs befinden. Dabei haben einige dieser Kameras einen gemeinsamen Sichtbereich, der im Folgenden als Überlappungsbereich bezeichnet wird. In gängigen Systemen werden die Bilder, welche diese Kameras liefern, durch eine
perspektivische Transformation (auch Homographie genannt) auf eine Ebene abgebildet. Um die auf die Ebene transformierten Bilder zu einem gemeinsamen Bild zusammenzufügen, werden die Bilder„zusammengenäht", was in der Fachsprache auch als„Stitching" bezeichnet wird. In den Überlappungsbereichen einzelner nebeneinander liegender Bilder liegen Bilddaten vor, die von mehreren Kameras aufgenommen wurden. Derartige
Überlappungsbereiche zweier nebeneinander liegender Bilder bzw. deren Bilddaten definieren. Nahtstellen (Stitching Stellen). Hierbei wird heutzutage jedem Kamerabild ein Bildbereich innerhalb der Vogelperspektive zugewiesen, d.h. einer Darstellung der
Fahrzeugumgebung und des Fahrzeugs von oben her. Bei gängigen Systemen wird eine festimplementierte und nicht änderbare Nahtstelle (Stitching Stelle) innerhalb des
Überlappungsbereichs der Bilder definiert. Da die Nahtstelle in der Regel im Bezug auf die Ebene optimiert ist, entsteht für erhabene Objekte nahe der Nahtstelle ein blinder Keil, in dem diese erhabenen Objekte nicht mehr bzw. kaum noch zu erkennen sind. Die Bilder, die von den einzelnen im Fahrzeug verbauten Kameras aufgenommen werden, können nicht entlang der Kameragrundlinien zusammengenäht werden, da die üblicherweise
vorgesehenen Einbaupositionen der Kameras am Fahrzeug dieses nicht zulassen. Darstellung der Erfindung
Erfindungsgemäß wird vorgeschlagen, die einzelnen sich zwischen den Kameras ergebenden Überlappungsbereiche, in denen sich auch die Zusammenfügungsstellen (Stitching Stellen) der Einzelbilder befinden, so zu modifizieren, dass aufgrund des
Vorhandenseins eines erhabenen Objektes, die Zusammenfügungsstelle (Stitching Stelle) innerhalb der Überlappungsbereichs verschoben wird, derart, dass das mindestens eine detektierte erhabene Objekt immer sichtbar bleibt. Dem erfindungsgemäß vorgeschlagenen Verfahren folgend, ist sichergestellt, dass bei Detektion eines erhabenen Objektes innerhalb eines Überlappungsbereiches oder bei Detektion eines erhabenen Objektes in der Nähe einer Zusammenfügungsstelle (Stitching Stelle) die Visualisierung des mindestens einen detektierten erhabenen Objektes in diesem Bereich Priorität vor der Ausbildung korrekt verlaufender Überlappungsbereiche genießt. Durch das erfindungsgemäß vorgeschlagene Verfahren ist nunmehr der signifikante Nachteil bei aus dem Stand der Technik bekannten Verfahren ausgeschlossen, dass in Überlappungsbereichen oder in deren Nähe empfindliche erhabene Objekte einfach verschluckt werden und für den Fahrer trotz ihres Vorhandenseins nicht visualisierbar sind.
Die Detektion des mindestens einen erhabenen Objekts, sei es im Überlappungsbereich zweier Einzelbilder, sei es in der Nähe einer Zusammenfügungsstelle (Stitching Stelle) kann durch Sensoriken, wie z.B. Ultraschall, Laserscanner, Radar oder Lidar-Applikationen und dergleichen heutzutage zuverlässig entdeckt werden.
Für den Fall, dass sich mehrere erhabene Objekte innerhalb des Überlappungsbereiches zweier Einzelbilder bzw. in der Nähe einer Zusammenfügungsstelle (Stitching Stelle) von Einzelbildern befinden, wird die Zusammenfügungsstelle (Stitching Stelle) so verschoben, dass das relevanteste Objekt sich nicht innerhalb eines nicht darstellbaren Bereichs befindet, sondern sichergestellt ist, dass die Zusammenfügungsstelle (Stitching Stelle) bei Detektion mindestens eines erhabenen Objektes dieses mindestens eine erhabene Objekt einschließt, d.h. dieses im Visualisierungsbereich liegt. Im vorstehenden Zusammenhang ist unter dem Ausdruck„Relevantestes Objekt" jenes mindestens eine erhabene Objekt zu verstehen, welches innerhalb des Überlappungsbereiches oder welches sich im Bereich einer
Zusammenfügungsstelle (Stitching Stelle) am nächsten zum Fahrzeug befindet und/oder mindestens ein erhabenes Objekt, was sich mit der höchsten Geschwindigkeit bewegt.
Vorteile der Erfindung
Durch das erfindungsgemäß vorgeschlagene Verfahren wird sichergestellt, dass detektierte erhabene Objekte, die in den besagten Bereichen, d.h. entweder im Überlappungsbereich zweier Einzelbilder bzw. die sich in der Nähe einer Zusammenfügungsstelle (Stitching Stelle) befinden, nicht in einem blinden Bereich verschwinden. Dadurch kann einerseits eine Überwindung der Nachteile der aus dem Stand dem Technik bekannten Lösungen erreicht werden, des Weiteren wird dem Fahrer eines derart ausgerüsteten Fahrzeugs eine erheblich verbesserte Rundumsicht geboten, in der alle Objekte ständig sichtbar sind und bleiben. Dies führt nicht zuletzt zu einem erheblichen Zugewinn an Sicherheit.
Durch die erfindungsgemäß vorgeschlagene Lösung besteht des Weiteren die Möglichkeit, das detektierte Objekt bei der Darstellung auf einem Display innerhalb des Fahrzeugs einzufärben, um die Aufmerksamkeit des Fahrers zu erregen. Ferner ist sichergestellt, dass der Fahrer des Fahrzeugs das Objekt jederzeit sieht, da dieses nicht innerhalb eines Nahtstellenbereiches verschwindet, insbesondere nicht in einem Übergangsbereich zweier benachbarter Sichtbereiche der Kameras. Des Weiteren besteht durch die erfindungsgemäß vorgeschlagene Lösung die Möglichkeit, erhabene Objekte wesentlich natürlicher darzustellen, was einen deutlichen Vorteil hinsichtlich der Wahrnehmung durch den Fahrer ergibt.
Kurze Beschreibung der Zeichnungen
Anhand der Zeichnung wird die Erfindung nachstehend eingehender beschrieben. Es zeigt:
Einzelbilder, die von im Fahrzeug montierten Kameras aufgenommen werden, Figur 2 ein aus Einzelbildern berechnetes Bild des Fahrzeugs aus der
Vogelperspektive,
Figur 3 die Sichtbereiche an verschiedenen Positionen im Fahrzeug angeordneter
Kameras sowie die sich aus den Einzelsichtbereichen der Kameras ergebenden Überlappungsbereiche,
Figur 4 fest definierte Zusammenfügungsstellen (Stitching Stellen) für ein Bild auf das
Fahrzeug aus der Vogelperspektive, Figur 5 eine sich vor einem Fahrzeug (hier dargestellt als Sattelschlepper) befindliche
Person,
Figur 6 eine sich im Bereich einer Zusammenfügungsstelle (Stitching Stelle)
befindliche Person, in diesem Fall mittig vor dem Fahrzeug und damit nicht mehr eindeutig sichtbar,
Figur 7 einen sich ergebenden blinden Keil entlang der in Figur 6 angedeuteten
Zusammenfügungsstelle (Stitching Stelle), Figur 8 ein detektiertes, sich einer Zusammenfügungsstelle (Stitching Stelle) näherndes erhabenes Objekt und
Figur 9 eine Verschiebung der Zusammenfügungsstelle (Stitching Stelle) innerhalb des Überlappungsbereiches zur Sichtbarmachung des detektierten, mindestens einen erhabenen Objektes für den Fahrer des Fahrzeugs.
Ausführungsvarianten Der Darstellung gemäß Figur 1 ist ein Fahrzeug zu entnehmen, welches vier einzelne Kameras aufweist. Hierzu ist anzumerken, dass das Fahrzeug auch mehr oder weniger Kameras aufweisen kann, solange diese mindestens einen gemeinsamen
Überlappungsbereich haben. Gemäß der Darstellung in Figur 1 ist ein Fahrzeug 10 mit einem 4-Kamera-System 12 ausgerüstet. Das 4-Kamera-System 12 umfasst eine Kamera, welche ein Bild eines
Frontbildbereichs 14 aufnimmt, des Weiteren eine Kamera, die einen Heckbildbereich 16 aufnimmt. Der Frontbildbereich 14 und der Heckbildbereich 16 des Fahrzeugs 10 sind in Bezug auf eine Fahrtrichtung 18 identifiziert. Des Weiteren umfasst das 4-Kamera-System 12 des Fahrzeugs 10 eine Seitenkamera, welche einen linken Bildbereich 20 aufnimmt sowie eine weitere Seitenkamera, die beispielsweise in einem Außenspiegel des Fahrzeugs 10 montiert ist, die einen rechten Bildbereich 22 neben dem Fahrzeug 10 aufnimmt.
Der Darstellung gemäß Figur 2 ist zu entnehmen, dass die gemäß Figur 1 aufgenommenen Frontbildbereiche, Heckbildbereiche und linke sowie rechte Bildbereiche 14, 16 20 und 22 zu einer Vogel perspektiv-Ansicht 24 transformiert werden. Die sich aus der Vogelperspektiv- Ansicht 24 ergebende Perspektive von oberhalb des Fahrzeugs 10 ist in Figur 2 dargestellt.
Der Darstellung gemäß Figur 3 ist zu entnehmen, dass das Fahrzeug 10 eine Frontkamera 28 umfasst. Die Frontkamera 28 des Fahrzeugs 10 nimmt einen Sichtbereich 30 auf, der sich im Wesentlichen vor dem Fahrzeug 10 befindet. Darüber hinaus weist das Fahrzeug 10 eine Heckkamera 32 auf, deren Sichtbereich 34 sich im Wesentlichen hinter dem Fahrzeug 10 erstreckt. Darüber hinaus umfasst das Fahrzeug 10 eine rechte Seitenkamera 36, deren Sichtbereich 38 sich auf der rechten Seite des Fahrzeugs 10 befindet. Des Weiteren umfasst das Fahrzeug 10 eine linke Seitenkamera 40, deren Sichtbereich mit Bezugszeichen 42 identifiziert ist und der sich im Wesentlichen auf der linken Seite des Fahrzeugs 10 befindet.
Die beiden Seitenkameras 36 bzw. 40 können beispielsweise in den Außenspiegeln des Fahrzeugs 10 angeordnet sein.
Wie aus der Darstellung gemäß Figur 3 hervorgeht, ergeben sich aufgrund der Überlappung der einzelnen Sichtbereiche 30, 34, 38 und 42 miteinander, jeweils Überlappungsbereiche 44, 46, 48 und 50.
Es ergibt sich ein erster Überlappungsbereich 44, resultierend aus einer Überlappung des Sichtbereiches 30 der Frontkamera 28 mit dem vorderen Teil des Sichtbereiches 38 der rechten Seitenkamer 36. Analog dazu stellt sich ein zweiter Überlappungsbereich 46 ein, der sich aus der Überlappung des Sichtbereichs 30 der Frontkamera 28 mit dem Sichtbereich 42 der linken Seitenkamera 40 des Fahrzeugs 10 ergibt. Ferner kommt es zur Bildung eines dritten Überlappungsbereichs 48, der sich aus der Überlappung des Sichtbereichs 42 der linken Seitenkamera 40 des Fahrzeugs mit dem Frontsichtbereich 30 der Frontkamera 28 ergibt. Ein vierter Überlappungsbereich 50 wird dadurch gebildet, dass sich der hintere Teil des Sichtbereichs 42 der linken Seitenkamera 40 mit dem Sichtbereich 34 der Heckkamera 32 überlappt.
Aufgrund dieser Überlappungsbereiche 44, 46, 48 und 50 besteht das Erfordernis, in einer Bird's-Eye-Perspektive auf das Fahrzeug 10 einzelne, wie im Zusammenhang mit Figur 4 noch näher beschrieben werden wird, Nahtstellen der Einzelbilder zum Zusammenfügen der Einzelbilder zu schaffen.
Figur 4 sind die einzelnen Zusammenfügungsstellen (Stitching Stellen) zu entnehmen, entlang derer bei einer Draufsicht auf das Fahrzeug 10 die Einzelbilder zusammengefügt werden. Aus der Lage der Nahtstellen 52, 54, 56, 58, welche eine erste, eine zweite, eine dritte und eine vierte Nahtstelle definieren, ergibt sich, dass die Nahtstellen 52, 54, 56, 58 bei einem Vergleich mit Figur 3, den einzelnen Überlappungsbereichen 44, 46, 48, 50
entsprechen. Somit erfolgt gemäß Figur 4 eine Modifikation des Sichtbereiches 30 der Frontkamera 28 sowie des ersten Überlappungsbereichs 44 sowie des zweiten
Überlappungsbereiches 46 in Gestalt der ersten Nahtstelle 52 auf der rechten Seite des Fahrzeugs 10 gesehen in Fahrtrichtung sowie der zweiten Nahtstelle 54 auf der linken Seite des Fahrzeugs 10 gesehen in Fahrtrichtung.
Ein Vergleich zwischen den Darstellungen gemäß Figur 3 und 4 zeigt, dass sich der
Sichtbereich 30 der Frontkamera 28 zum ersten modifizierten Sichtbereich 60 transformiert wird, der im Vergleich zum Sichtbereich 30 der Frontkamera 28 ein trapezförmiges
Aussehen aufweist. Gleiches ergibt sich aus der Transformation des zweiten
Überlappungsbereiches 46 und des dritten Überlappungsbereichs 48 (vgl. Darstellung gemäß Figur 3), die zu einem zweiten modifizierten Sichtbereich 62 auf der linken Seite des Fahrzeugs 10 werden. Der zweite modifizierte Sichtbereich 62 ist durch die zweite Nahtstelle 54 und durch die dritte Nahtstelle 56 begrenzt. Ein sich hinter dem Fahrzeug 10 befindender dritter modifizierter Sichtbereich 64 wird durch die dritte Nahtstelle 56 und die vierte
Nahtstelle 58 begrenzt, die zu dem dritten modifizierten Sichtbereich 64 auf der Rückseite des Fahrzeugs 10 führen. Schließlich entsteht ein vierter modifizierter Sichtbereich 66 auf der rechten Seite des Fahrzeugs 10, gemäß der Darstellung in Figur 4, der durch die vierte Nahtstelle 58 und die erste Nahtstelle 52 begrenzt ist. Dabei entspricht die erste Nahtstelle 52 dem ersten Überlappungsbereich 44 an der rechten vorderen Seite des Fahrzeugs 10 und die vierte Nahtstelle 58 dem vierten Überlappungsbereich 50 an der rechten hinteren Seite des Fahrzeugs 10 - gesehen in Fahrtrichtung.
Der Figurensequenz der Figuren 5, 6 und 7 sind die Darstellungsverhältnisse vor einem Fahrzeug - hier ein Sattelschlepper - bei Ausbildung eines blinden Keils an der
Fahrzeugvorderseite zu entnehmen. Figur 5 zeigt, dass sich vor einem Fahrzeug 10, hier die Zugmaschine eines
Sattelschleppers, dessen Fahrzeugmitte mit Bezugszeichen 70 bezeichnet ist, ein erhabenes Objekt 68 in Gestalt einer Person befindet. Die Verzerrung in vertikale Richtung der ein erhabenes Objekt 68 darstellenden Person resultiert aus der Vertikalverzerrung, die bei der Bildtransformation durchlaufen wird, um zu einer Vogelperspektiv-Darstellung des Fahrzeugs 10 zu gelangen.
Wie aus Figur 6 ersichtlich, befindet sich das hier als Punkt dargestellte erhabene Objekt 68 an einer zentralen Nahtstelle 72 zwischen den Sichtbereichen an der Frontseite des
Fahrzeugs 10. Die zentrale Nahtstelle 72 korrespondiert zur Fahrzeugmitte 70. Die zentrale Nahtstelle 72 (Stitching Stelle) befindet sich direkt vor dem Fahrzeug 10, so dass dort befindliche erhabene Objekte 68 für den Fahrer des Fahrzeugs 10 nicht mehr eindeutig sichtbar sind.
In der Darstellung gemäß Figur 7 ist der für den Fahrer aufgrund der Bildverarbeitung in Bezug auf die zentrale Nahtstelle 72 sich ergebende blinde Keil durch Bezugszeichen 74 bezeichnet. Dieser blinde Keil 74 befindet sich vor der Fahrzeugfront 76 des Fahrzeugs 10, hier ausgebildet als Sattelschlepper. Das mindestens eine erhabene Objekt 68 wird gemäß der Darstellung in Figur 7 in einem schräg verlaufenden Schnitt verzerrt dargestellt. Diese verzerrte Darstellung innerhalb des blinden Keils 74, was in Figur 7 nur unvollkommen dargestellt werden kann - führt zu einer ungünstigen Wiedergabe des erhabenen Objektes 68, sei es als verzerrter Punkt 68 in Figur 6, sei als verzerrt dargestellte Person 68 wie in Figur 5 zu sehen. Der blinde Keil 74, wie in Figur 7 dargestellt, ergibt sich aufgrund des Umstandes, dass bei dem Fahrzeug 10 gemäß der Figuren 5, 6 und 7 Kameras in den Außenspiegeln des Fahrzeugs angeordnet sind, die zur zentralen Nahtstelle 72 (Stitching Stelle) einen sich in Richtung der Fahrzeugfront 76 des Fahrzeugs erstreckenden
Sichtbereich erfassen, wodurch der unmittelbar vor der Fahrzeugfront 76 liegende Bereich eben jenen blinden Keil 74 bildet. Dies ist in Figur 7 angedeutet.
Der Darstellung gemäß Figur 8 ist in Anlehnung an Figur 4 zu entnehmen, dass sich um das Fahrzeug 10 herum die modifizierten Sichtbereiche 60, 62, 64 und 66 befinden. Analog zur Darstellung gemäß Figur 4 ist der erste modifizierte Sichtbereich 60 durch die erste und die zweite Nahtstelle (Stitching Stelle) 52, 54 begrenzt, während der auf der linken Seite des Fahrzeugs liegende zweite modifizierte Sichtbereich 62 durch die zweite Nahtstelle 54 und die dritte Nahtstelle 56 begrenzt ist. Des Weiteren ist der Darstellung gemäß Figur 8 zu entnehmen, dass der dritte modifizierte Sichtbereich 64 von der zweiten Nahtstelle 54 und der dritten Nahtstelle 56 begrenzt ist. Der auf der rechten Seite des Fahrzeugs 10 befindliche vierte modifizierte Sichtbereich 66 ist durch die vierte Nahtstelle 58 und die erste Nahtstelle 52 begrenzt. Aus der Draufsicht gemäß Figur 8 ergibt sich, dass sich innerhalb des ersten modifizierten
Sichtbereichs 60 vor dem Fahrzeug 10 liegend, ein erhabenes Objekt 68 von in
Fahrtrichtung des Fahrzeugs 10 gesehen, der linken Seite, d.h. ausgehend von der zweiten Nahtstelle 54, von links nach rechts vor dem Fahrzeug 10 in Richtung auf die erste
Nahtstelle 52 bewegt. Aus der Darstellung gemäß Figur 8 geht des Weiteren hervor, dass hier - in Figur 8 gestrichelt eingezeichnet - um die erste Nahtstelle 52 herum ein kritischer Bereich 78 definiert ist. Das erhabene Objekt 68, welches sich in Bewegungsrichtung 80 von links nach rechts vor dem Fahrzeug 10 bewegt, bewegt sich auf diesen kritischen Bereich 78 der ersten Nahtstelle 52 zu. Mit Bezugszeichen 82 ist ein Öffnungswinkel dieses kritischen Bereichs 78 bezeichnet, der in Darstellung gemäß Figur 8 in der Größenordnung von 10°- 20°, so z.B. 15°, liegt.
Aus der Darstellung gemäß Figur 9 geht hervor, dass sich das mindestens eine erhabene Objekt 68 in Bewegungsrichtung 80 bis an die erste Nahtstelle 52 heran bewegt hat, und dass eine Verschiebung 84 der ersten Nahtstelle 52 in Richtung auf den vierten modifizierten Sichtbereich 66 erfolgt ist. Wie Figur 9 zeigt, sind der erste modifizierte Sichtbereich 60 und der vierte modifizierte Sichtbereich 66 durch die Verschiebung 84 der ersten Nahtstelle 52 betroffen. In der Darstellung des mindestens einen erhabenen Objekts 68 ist der erste modifizierte Sichtbereich 60 vor dem Fahrzeug 10 vergrößert, wohingegen der rechts neben dem Fahrzeug 10 liegende, vierte modifizierte Sichtbereich 66 verkleinert ist. Dies ist der Sichtbarmachung des mindestens einen erhabenen Objekts 68 an der ersten Nahstelle 52, deren ursprüngliche Lage in Figur 9 gestrichelt eingezeichnet ist, geschuldet.
Die in Figur 9 dargestellte Verschiebung 84 der ersten Nahtstelle 52 aufgrund der
Annäherung des mindestens einen erhabenen Objekts 68 an die erste Nahtstelle 52 kann in analoger Weise auch bei einer dementsprechenden Bewegungsrichtung 80 des mindestens einen erhabenen Objekts 68 zu einer Verschiebung der zweiten Nahtstelle 54 bzw. der dritten Nahtstelle 56 und schließlich der vierten, hinter dem Fahrzeug 10 liegenden
Nahtstelle 58 führen. Bei dem in den Figuren 8 und 9 darstellten erhabenen Objekt 68 kann es sich um ein solches handeln, welches sich sehr schnell bewegt oder welches sich in der größten Nähe zum Fahrzeug 10 befindet. Dies ist in vorstehendem Zusammenhang unter einem relevanten Objekt zu verstehen. Aus der in Figur 8 und 9 dargestellten Vogelperspektive des Fahrzeugs 10 geht hervor, dass im Rahmen der Bildverarbeitung die Modifikation der einzelnen Sichtbereiche 60, 62, 64 und 66 abhängig vom Auftreten des mindestens einen sich in Bewegungsrichtung 80
bewegenden erhabenen Objekts 68 zur jeweiligen Verschiebung der die modifizierten Sichtbereiche 60, 62, 64 und 66 verbindenden Nahtstellen 52, 54, 56, 58 führt. Die Erfindung betrifft weiterhin ein Computerprogramm, gemäß dem eines der vorstehend beschriebenen Verfahren durchgeführt werden kann, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird. Bei dem Computerprogramm kann es sich beispielsweise um ein Modul zur Implementierung eines Fahrassistenzsystems oder eines Subsystems hiervon in einem Fahrzeug handeln, oder um eine Applikation für Fahrassistenzfunktionen, welche auf einem Smartphone ausführbar ist. Das
Computerprogramm kann auf einem maschinenlesbaren Speichermedium gespeichert werden, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung oder auf einer entfernbaren CD-Rom, DVD oder einem USB-Stick. Zusätzlich oder alternativ kann das Computerprogramm auf einer
Computereinrichtung, wie etwa auf einem Server zum Herunterladen bereitgestellt werden, zum Beispiel über ein Datennetzwerk, wie etwa das Internet oder einer
Kommunikationsverbindung, wie etwa eine Telefonleitung oder eine drahtlose Verbindung. Durch die vorstehend insbesondere anhand der Figuren 3 bis 9 beschriebene Lösung kann die bei gängigen Systemen fest implementierte und nicht änderbare Lage der Nahtstellen 52, 54, 56 und 58 verschoben und entsprechend der Darstellungserfordernisse modifiziert werden. Durch die erfindungsgemäß vorgeschlagene Lösung wird in vorteilhafter Weise der blinde Keil 74 vermieden, in dem erhabene Objekte 68 nicht mehr bzw. kaum noch zu erkennen sind. Aufgrund der Modifikation des blinden Keils 74 vor dem Fahrzeug 10 werden dort befindliche erhabene Objekte 68 nicht kurzfristig im blinden Keil 74 - wie in Figur 7 dargestellt - verschwinden, sondern die Nahtstellen 52, 54, 56, 58 werden objektabhängig verschoben. Durch die erfindungsgemäß vorgeschlagene Lösung kann bei einem mit mehreren Kameras ausgerüsteten Fahrzeug erreicht werden, dass im Bereich von
Nahtstellen 52, 54, 56 und 58 vorhandene erhabene Objekte 68 in verbesserter
realistischerer Darstellung wiedergegeben werden können und es kann in vorteilhafter Weise erreicht werden, dass diese erhabenen Objekte 68 auch stets sichtbar sind, wenngleich sie auch möglicherweise durch Kameras in einem geringeren Auflösungsvermögen detektiert werden. Dem Sicherheitsaspekt, dass die erhabenen Objekte 68 in jedem Fall für den Fahrer stets erkennbar sind, wiegt den Nachteil einer möglicherweise qualitativ geringer wertigen
Darstellung mit geringerem Auflösungsvermögen bei weitem auf.
Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die anhängigen Ansprüche angegebenen Bereiches eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.

Claims

Ansprüche
1. Verfahren zur Wiedergabe von erhabenen Objekten (68), die sich im Bereich von
Nahtstellen (52, 54, 56, 58) zusammengefügt aus von mehreren Kameras (28, 32, 36 ,40) erfasster Sichtbereiche (30 34, 38, 42) befinden, mit nachfolgenden
Verfahrensschritten: a) Erfassung von Sichtbereichen (30, 34, 38, 42) mit jeweils einer Kamera (28, 32, 36, 40) an einem Fahrzeug (10), b) Zusammenfügen der Sichtbereiche (30 ,34, 38, 42) an Nahtstellen (52, 54, 56, 58) zu einer transformierten Vogelperspektiv-Ansicht (24), c) Verschieben mindestens einer Nahtstelle (52, 54, 56, 58) zwischen angrenzenden
Sichtbereichen (30, 34, 38, 42) bei Detektion mindestens eines sich im Bereich mindestens einer Nahtstelle (52, 54, 56, 58) befindenden oder sich auf diesen zubewegenden erhabenen Objekts (68).
2. Verfahren gemäß Anspruch 1 , dadurch gekennzeichnet, dass das mindestens eine
erhabene Objekt (68) durch eine externe Sensorik oder Bildverarbeitungsalgorithmen detektiert wird.
3. Verfahren gemäß dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das mindestens eine erhabene Objekt (68) durch Ultraschall, Laserradar, Radar oder Lidar detektiert wird.
4. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Nahtstelle (52, 54, 56, 58) innerhalb mindestens eines
Überlappungsbereichs (44, 56, 48, 50) von einander überlappenden Sichtbereichen (30, 34, 38, 42) verschoben wird.
5. Verfahren gemäß einem oder mehrerer der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass bei mehreren sich im mindestens einen Überlappungsbereich (44, 46, 48, 50) befindender oder sich auf diesen zubewegender erhabener Objekte (68), die mindestens eine Nahtstelle (52, 54, 56, 58) derart verschoben wird, dass das relevanteste der erhabenen Objekte (68) detektiert wird.
Verfahren gemäß dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das relevanteste erhabene Objekt (68) das dem Fahrzeug (10) nächste Objekt ist.
Verfahren gemäß den beiden vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass das relevanteste erhabene Objekt (68) das beweglichste Objekt in der Nähe des Fahrzeugs (10) ist.
Computerprogramm zur Implementierung des Verfahrens gemäß einem der Ansprüche 1 bis 7 auf einer computerprogrammierbaren Einrichtung.
Fahrassistenzsystem für ein Fahrzeug (10) zur Wiedergabe von erhabenen Objekten (68), die sich im Bereich von Nahtstellen (52, 54, 56, 58) zusammengefügter von mehreren Kameras (28, 32, 36, 40) erfasster Sichtbereiche (30, 34, 38 ,42) befinden mit
- Kameras (28 ,32, 36 ,40), die mehrere Sichtbereiche (30 ,34, 38, 42) erfassen, einer Komponente für das Zusammenfügen der Sichtbereiche (30, 34, 38, 42) entlang von Nahtstellen (52, 54, 56, 58) zu einer transformierten Vogel perspektiv- Ansicht (24), einer Komponente zum Verschieben der mindestens einen Nahtstelle (52, 54, 56, 58) zwischen angrenzenden Sichtbereichen (30, 34, 38, 42) bei Detektion mindestens eines sich in einem kritischen Bereich (78) an mindestens einer Nahtstelle (52, 54, 56, 58) befindenden oder sich auf diesen zubewegenden erhabenen Objekts (68).
PCT/EP2012/072963 2011-12-13 2012-11-19 Verfahren zur verbesserung der objektdetektion bei multikamerasystemen Ceased WO2013087362A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280061379.6A CN103999122A (zh) 2011-12-13 2012-11-19 用于改进多摄像机系统中的对象探测的方法
EP12794902.2A EP2791895A1 (de) 2011-12-13 2012-11-19 Verfahren zur verbesserung der objektdetektion bei multikamerasystemen
IN3173DEN2014 IN2014DN03173A (de) 2011-12-13 2012-11-19

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011088332.0 2011-12-13
DE102011088332.0A DE102011088332B4 (de) 2011-12-13 2011-12-13 Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen

Publications (1)

Publication Number Publication Date
WO2013087362A1 true WO2013087362A1 (de) 2013-06-20

Family

ID=47278778

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/072963 Ceased WO2013087362A1 (de) 2011-12-13 2012-11-19 Verfahren zur verbesserung der objektdetektion bei multikamerasystemen

Country Status (5)

Country Link
EP (1) EP2791895A1 (de)
CN (1) CN103999122A (de)
DE (1) DE102011088332B4 (de)
IN (1) IN2014DN03173A (de)
WO (1) WO2013087362A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107306338A (zh) * 2016-04-19 2017-10-31 通用汽车环球科技运作有限责任公司 用于对象检测和跟踪的全景摄像机系统
CN109644252A (zh) * 2016-08-12 2019-04-16 株式会社电装 周边检查装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013217081B4 (de) 2013-08-27 2019-11-21 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Positionserkennung
EP2851870B1 (de) 2013-09-20 2019-01-23 Application Solutions (Electronics and Vision) Limited Verfahren zur Kalkulation der Selbstbewegung eines Gegenstandes
DE102014108684B4 (de) 2014-06-20 2024-02-22 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Fahrzeug mit Umfeldüberwachungseinrichtung sowie Verfahren zum Betreiben einer solchen Überwachungseinrichtung
EP3009983A1 (de) * 2014-10-13 2016-04-20 Conti Temic microelectronic GmbH Vorrichtung und Verfahren zur Hindernisdetektion
DE102015204213B4 (de) * 2015-03-10 2023-07-06 Robert Bosch Gmbh Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
DE102015010011B4 (de) 2015-08-05 2020-03-19 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
DE102015010009A1 (de) 2015-08-05 2017-02-09 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
JP6493143B2 (ja) * 2015-10-15 2019-04-03 株式会社デンソー 表示制御装置及び表示制御プログラム
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
CN107009968B (zh) * 2017-03-28 2020-08-28 驭势科技（北京）有限公司 车载激光雷达控制方法、装置及车载设备
JP7203205B2 (ja) 2019-04-18 2023-01-12 三菱電機株式会社 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法
US11066014B1 (en) * 2020-01-13 2021-07-20 Ford Global Technologies, Llc 360 degree trailer camera view system
KR102281609B1 (ko) 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006003538B3 (de) 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE102008029181A1 (de) 2008-06-19 2009-02-19 Daimler Ag Verfahren zur Überwachung der Umgebung eines Fahrzeugs
DE102009036200A1 (de) 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
KR20100113959A (ko) 2009-04-14 2010-10-22 현대자동차일본기술연구소 차량 주위 화상 표시 시스템
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4883977B2 (ja) 2005-10-05 2012-02-22 アルパイン株式会社 車両用画像表示装置
CN101035269A (zh) * 2007-02-14 2007-09-12 周竟 汽车多用途监控及定位器
CN100559420C (zh) * 2007-03-29 2009-11-11 汤一平 基于计算机视觉的停车诱导系统
CN101304515A (zh) * 2007-05-11 2008-11-12 徐世刚 全景式倒车引导系统
CN101420599A (zh) * 2008-11-20 2009-04-29 符巨章 车辆全景监控系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006003538B3 (de) 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE102008029181A1 (de) 2008-06-19 2009-02-19 Daimler Ag Verfahren zur Überwachung der Umgebung eines Fahrzeugs
KR20100113959A (ko) 2009-04-14 2010-10-22 현대자동차일본기술연구소 차량 주위 화상 표시 시스템
DE102009036200A1 (de) 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
EP2482557A1 (de) * 2009-09-24 2012-08-01 Panasonic Corporation Fahrhilfen-anzeigevorrichtung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Robot Vision", vol. 4931, 1 January 2008, SPRINGER BERLIN HEIDELBERG, Berlin, Heidelberg, ISBN: 978-3-54-078157-8, article YU-CHIH LIU ET AL: "Bird's-Eye View Vision System for Vehicle Surrounding Monitoring", pages: 207 - 218, XP055004046, DOI: 10.1007/978-3-540-78157-8_16 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107306338A (zh) * 2016-04-19 2017-10-31 通用汽车环球科技运作有限责任公司 用于对象检测和跟踪的全景摄像机系统
CN109644252A (zh) * 2016-08-12 2019-04-16 株式会社电装 周边检查装置

Also Published As

Publication number Publication date
DE102011088332B4 (de) 2021-09-02
EP2791895A1 (de) 2014-10-22
DE102011088332A1 (de) 2013-06-13
IN2014DN03173A (de) 2015-05-22
CN103999122A (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
DE102011088332B4 (de) Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
EP3501897B1 (de) Sichtsystem zur erfassung einer fahrzeugumgebung
EP3157786B1 (de) Fahrzeug mit umfeldüberwachungseinrichtung sowie verfahren zum betreiben einer solchen überwachungseinrichtung
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
EP3028898B1 (de) Sichtsystem
EP3281178B1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
EP2603413B1 (de) Verfahren zur unterstützung eines parkvorgangs eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE102011079913A1 (de) Sichtunterstützungssystem für einen Fahrer und Fahrzeug mit einem solchen System
EP3833575B1 (de) Kameraüberwachungssystem
WO2011141249A1 (de) Verfahren zum anzeigen eines bildes auf einer anzeigeeinrichtung in einem fahrzeug, fahrerassistenzsystem und fahrzeug
DE102008046214A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102019133948A1 (de) Verfahren zur Fahrerassistenz für eine Kombination aus einem Kraftfahrzeug und einem Anhänger
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
DE102016114689A1 (de) Verfahren zum Unterstützen des Fahrers eines Kraftfahrzeugs beim Rangieren des Kraftfahrzeugs mit einem Anhänger, Fahrerassistenzsystem sowie Gespann
DE102008035428B4 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE112021004648T5 (de) Anzeigesteuervorrichtung, Fahrzeug und Anzeigesteuerverfahren
EP3833576B1 (de) Kameraüberwachungssystem
WO2018188700A1 (de) Surround-view-system für ein fahrzeug
EP3421674A1 (de) Vorrichtung und verfahren zum abbilden von bereichen
DE102016226299B4 (de) Verfahren und Vorrichtung zum Darstellen einer Umgebung eines Fahrzeuges
DE102015208345A1 (de) Fortbewegungsmittel, Fahrerassistenzsystem und Verfahren zur Anzeige eines aus einem ersten und einem zweiten Sensorsignal eines Fahrerassistenzsystems gefügten Bildes
DE102023132641A1 (de) Verfahren und System zum Bereitstellen eines Umgebungsbildes für eine Teleoperation eines Kraftfahrzeugs
DE102014107235A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12794902

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012794902

Country of ref document: EP