DE102012203523A1

DE102012203523A1 - Method for processing image data of cameras mounted in vehicle, involves determining image data to be signaled from view of virtual camera on surface of three-dimensional environment model

Info

Publication number: DE102012203523A1
Application number: DE201210203523
Authority: DE
Inventors: Guenter Bauer; Thomas Reicher
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2012-03-06
Filing date: 2012-03-06
Publication date: 2013-09-12

Abstract

The method involves providing geometry of three-dimensional environment model comprising a planar bottom portion located in ground plane of vehicle (1), a bottom surface of bottom portion and an environment space including the vehicle. The image data of the cameras (4,5,7,9) is projected as environment model image data on the surface of the model. The image data to be signaled from the view of virtual camera (27) on the surface of the three-dimensional environment model is determined, based on the fulfillment of given condition in the sense of mirror-image representation. An independent claim is included for device for processing image data of images obtained from cameras.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bildverarbeitung von Bilddaten jeweiliger Bilder, die von mehreren Kameras erfasst werden, die an einem Fahrzeug angeordnet sind.The invention relates to a method and a device for image processing of image data of respective images, which are detected by a plurality of cameras, which are arranged on a vehicle.

Fahrzeuge werden zunehmend mit mehreren Kameras ausgestattet, die außen, also an der Peripherie des Fahrzeugs, angebracht sind. So kann eine derartige Kamera beispielsweise an einem Außenspiegel eines Fahrzeugs angeordnet sein. Derartige Kameras können den Fahrzeugführer unterstützen bei der Wahrnehmung des Außenbereichs des Fahrzeugs.Vehicles are increasingly being equipped with several cameras, which are mounted on the outside, ie at the periphery of the vehicle. For example, such a camera can be arranged on an exterior mirror of a vehicle. Such cameras may assist the driver in sensing the exterior of the vehicle.

Dadurch kann der Fahrzeugführer beispielsweise unterstützt werden bei Ein- und Ausparkvorgängen. Ferner kann er beispielsweise auch bei dem Passieren enger oder unübersichtlicher Passagen unterstützt werden.As a result, the driver can be assisted, for example, during entry and Ausparkvorgängen. Furthermore, it can also be supported, for example, when passing narrow or confusing passages.

Die Aufgabe, die der Erfindung zugrunde liegt, ist ein Verfahren und eine Vorrichtung zu schaffen, das beziehungsweise die dazu beiträgt, dass ein zu signalisierendes Bild eine eingängige Sicht repräsentiert für einen Fahrzeugführer eines Fahrzeugs.The object on which the invention is based is to provide a method and a device which contribute to a picture to be signaled representing a catchy view for a vehicle driver of a vehicle.

Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.The object is solved by the features of the independent claims. Advantageous embodiments are characterized in the subclaims.

Die Erfindung zeichnet sich aus durch ein Verfahren und eine korrespondierende Vorrichtung zur Bildverarbeitung von Bilddaten jeweiliger Bilder, die von mehreren Kameras erfasst werden, die an einem Fahrzeug angeordnet sind. Eine Geometrie eines dreidimensionalen Umgebungsmodells wird bereit gestellt, das einen ebenen Bodenbereich aufweist, der in einer Standebene des Fahrzeugs liegt und das eine Oberfläche aufweist, die eine Bodenoberfläche des ebenen Bodenbereichs aufweist und die einen Umgebungsraum eingrenzt, der auch das Fahrzeug umfasst. Die Oberfläche grenzt den Umgebungsraum so dreidimensional ein.The invention is characterized by a method and a corresponding device for image processing of image data of respective images captured by a plurality of cameras arranged on a vehicle. A geometry of a three-dimensional environment model is provided having a flat floor area lying in a standing plane of the vehicle and having a surface having a bottom surface of the flat floor area and defining an environment space that also includes the vehicle. The surface delimits the surrounding space in three dimensions.

Die Bilddaten der jeweiligen Bilder der verschiedenen Kameras werden auf die Oberfläche des dreidimensionalen Umgebungsmodells projiziert als Umgebungsmodell-Bilddaten. Insofern wird die durch die verschiedenen Kameras erfasste Umgebung des Fahrzeugs in Form der Umgebungsmodell-Bilddaten auf die Oberfläche des dreidimensionalen Umgebungsmodells projiziert.The image data of the respective images of the various cameras are projected on the surface of the three-dimensional environment model as environment model image data. In this respect, the surroundings of the vehicle captured by the various cameras are projected onto the surface of the three-dimensional environment model in the form of the environment model image data.

Zu signalisierende Bilddaten eines zu signalisierenden Bildes aus Sicht einer virtuellen Kamera auf die Oberfläche des dreidimensionalen Umgebungsmodells werden ermittelt abhängig von einer vorgegebenen Position der virtuellen Kamera und Umgebungsmodell-Bilddaten. Dies erfolgt bei Erfüllung einer vorgegebenen Bedingung im Sinne einer spiegelbildlichen Darstellung.Image data to be signaled of an image to be signaled from the point of view of a virtual camera on the surface of the three-dimensional environment model are determined as a function of a predetermined position of the virtual camera and environment model image data. This takes place when a given condition is fulfilled in the sense of a mirror-image representation.

Auf diese Weise kann einfach eine Zusatzfunktionalität eines virtuellen Spiegels realisiert werden. Beispielsweise kann die vorgegebene Bedingung bezüglich ihrer Erfüllung davon abhängen, ob ein Fahrzeugführer eine spiegelbildliche Darstellung auswählt.In this way, simply additional functionality of a virtual mirror can be realized. For example, the predetermined condition regarding their fulfillment may depend on whether a vehicle driver selects a mirror-image representation.

Bilddaten repräsentieren jeweils einen Bildpunkt, der auch als Pixel bezeichnet werden kann.Image data each represent a pixel, which may also be referred to as a pixel.

Gemäß einer vorteilhaften Ausgestaltung ist die vorgegebene Bedingung derart ausgestaltet, dass ihre Erfüllung abhängig ist von einer Position der virtuellen Kamera und einer Sichtrichtung der virtuellen Kamera bezüglich einer Mittelachse der Kameraoptik. Insofern werden die zu signalisierenden Bilddaten des zu signalisierenden Bildes gegebenenfalls derart ermittelt, dass eine spiegelbildliche Darstellung der Sicht der virtuellen Kamera auf die Oberfläche des dreidimensionalen Umgebungsmodells in dem zu signalisierenden Bild erfolgt.According to an advantageous embodiment, the predetermined condition is configured such that its fulfillment is dependent on a position of the virtual camera and a viewing direction of the virtual camera with respect to a central axis of the camera optics. In this respect, the image data to be signaled of the image to be signaled are optionally determined in such a way that a mirror-image representation of the view of the virtual camera on the surface of the three-dimensional environment model takes place in the image to be signaled.

Die Position der virtuellen Kamera repräsentiert ihre räumliche Anordnung in dem Umgebungsraum.The position of the virtual camera represents its spatial arrangement in the surrounding space.

Auf diese Weise kann ein Beitrag geleistet werden zu einer besonders eingängigen Darstellung des zu signalisierenden Bildes bezogen auf die jeweilige Position der virtuellen Kamera. Es wird in diesem Zusammenhang die Erkenntnis genutzt, dass ein Fahrzeugführer bei bestimmten Positionen der virtuellen Kamera eine spiegelbildliche Darstellung erwartet, wie bei einem entsprechend peripher zu dem Fahrzeug angeordneten Spiegel, und so eine leichtere und eingängigere räumliche Zuordnung der durch das signalisierte Bild dargestellten Umgebung machen kann. Dies trägt so maßgeblich zu einer wirkungsvollen Unterstützung des Fahrzeugführers in der Wahrnehmung des Außenbereichs des Fahrzeugs bei.In this way, a contribution can be made to a particularly catchy representation of the image to be signaled with respect to the respective position of the virtual camera. It is used in this context, the knowledge that a driver expects a mirror image at certain positions of the virtual camera, as in a corresponding peripheral to the vehicle arranged mirror, and thus make a lighter and more catchy spatial allocation of the environment represented by the signalized image can. This contributes significantly to an effective support of the driver in the perception of the exterior of the vehicle.

Gemäß einer vorteilhaften Ausgestaltung umfassen im Falle der spiegelbildlichen Darstellung zu signalisierende Bilddaten eine Spiegelkennung. Auf diese Weise kann der Fahrzeugführer einfach und zuverlässig und auch intuitiv erkennen, dass das zu signalisierende Bild eine spiegelbildliche Darstellung repräsentiert.According to an advantageous embodiment, image data to be signaled in the case of the mirror-image representation comprise a mirror identifier. In this way, the driver can easily and reliably and intuitively recognize that the image to be signaled represents a mirror image representation.

In diesem Zusammenhang ist es vorteilhaft, wenn die Spiegelkennung einen Spiegelrahmen in dem zu signalisierenden Bild umfasst.In this context, it is advantageous if the mirror identifier comprises a mirror frame in the image to be signaled.

Gemäß einer weiteren und vorteilhaften Ausgestaltung hängt die Erfüllung der vorgegebenen Bedingung davon ab, ob sich die Position der virtuellen Kamera bezogen auf eine Längsachse des Fahrzeugs vor einer regulären Gesichtsposition des Fahrzeugführers befindet in Richtung hin zu einer Fahrzeugfront und die Sichtrichtung der virtuellen Kamera bezüglich der Mittelachse der Kameraoptik hin zu einer Ebene der regulären Gesichtsposition gerichtet ist, deren Normalenvektor durch die Längsachse des Fahrzeugs gebildet wird. According to a further and advantageous embodiment, the fulfillment of the predetermined condition depends on whether the position of the virtual camera relative to a longitudinal axis of the vehicle in front of a regular face position of the driver is toward a vehicle front and the viewing direction of the virtual camera with respect to the central axis the camera optics is directed towards a plane of the regular face position whose normal vector is formed by the longitudinal axis of the vehicle.

Auf diese Weise wird die Erkenntnis genutzt, dass insbesondere bei derartigen Positionen der Fahrzeugführer eine spiegelbildliche Darstellung erwartet.In this way, the knowledge is used that especially in such positions, the driver expects a mirror image.

Gemäß einer weiteren vorteilhaften Ausgestaltung ist die Position der virtuellen Kamera in Bezug auf die Längsachse des Fahrzeugs in etwa in dem Bereich der Frontscheinwerfer und in Bezug auf eine Querachse des Fahrzeugs in Richtung weg von der Längsachse distal zu dem jeweiligen Frontscheinwerfer vorgegeben und die Sichtrichtung der virtuellen Kamera ist bezüglich der Mittelachse der Kameraoptik hin zu der Ebene der regulären Gesichtsposition gerichtet, deren Normalenvektor durch die Längsachse des Fahrzeugs gebildet wird.According to a further advantageous embodiment, the position of the virtual camera with respect to the longitudinal axis of the vehicle is approximately in the region of the headlights and with respect to a transverse axis of the vehicle in the direction away from the longitudinal axis distal to the respective front headlights predetermined and the viewing direction of the virtual Camera is directed with respect to the central axis of the camera optics towards the plane of the regular face position whose normal vector is formed by the longitudinal axis of the vehicle.

Auf diese Weise kann insbesondere ein virtueller seitlicher Außenspiegel realisiert werden, der eine für die jeweilige Fahrzeugsituation besonders günstige Position einnehmen kann und so den Fahrzeugführer wirkungsvoll unterstützen kann.In this way, in particular, a virtual side exterior mirror can be realized, which can take a position particularly favorable for the respective vehicle situation and thus can effectively support the driver.

In diesem Zusammenhang ist es vorteilhaft wenn die Position der virtuellen Kamera weniger als in etwa eine Fahrzeugbreite von der Längsachse des Fahrzeugs entfernt ist.In this context, it is advantageous if the position of the virtual camera is less than approximately one vehicle width away from the longitudinal axis of the vehicle.

Gemäß einer weiteren vorteilhaften Ausgestaltung ist die vorgegebene Bedingung derart ausgestaltet, dass ihre Erfüllung davon abhängt, ob die Position der virtuellen Kamera bezogen auf eine Hochachse des Fahrzeugs höher ist als eine Motorhaube des Fahrzeugs.According to a further advantageous embodiment, the predetermined condition is configured such that their fulfillment depends on whether the position of the virtual camera relative to a vertical axis of the vehicle is higher than a hood of the vehicle.

Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen:Embodiments of the invention are explained in more detail below with reference to the schematic drawings. Show it:

1 ein Fahrzeug mit einer Steuervorrichtung, 1 a vehicle with a control device,

2 ein Ablaufdiagramm eines Programms, das in der Steuervorrichtung abgearbeitet wird, und 2 a flowchart of a program that is executed in the control device, and

3 eine Darstellung des Fahrzeugs bezogen auf ein dreidimensionales Umgebungsmodell. 3 a representation of the vehicle with respect to a three-dimensional environment model.

Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen gekennzeichnet.Elements of the same construction or function are identified across the figures with the same reference numerals.

Ein Fahrzeug 1 (1) weist verschiedene Kameras auf. Die jeweilige Kamera ist dazu ausgebildet und angeordnet zumindest einen Teil einer Umgebung des Fahrzeugs zu erfassen. Die jeweilige Kamera kann beispielsweise in einem Außenspiegel 2, 3 des Fahrzeugs 1 als erste Kamera 4 oder dritte Kamera 7 angeordnet sein. Sie kann jedoch beispielsweise auch im Heckbereich des Fahrzeugs 1 als zweite Kamera 5 angeordnet sein oder beispielsweise in einem Frontbereich des Fahrzeugs 1, so zum Beispiel im Bereich des Kühlergrills, als vierte Kamera 9 angeordnet sein. Durch eine geeignete Anordnung der Kameras, also insbesondere der ersten bis vierten Kamera 4, 5, 7, 9 kann die gesamte Umgebung des Fahrzeugs 1, also insbesondere eine Rundumsicht, erfasst werden.A vehicle 1 ( 1 ) has different cameras. The respective camera is designed and arranged to detect at least part of an environment of the vehicle. The respective camera can, for example, in an exterior mirror 2 . 3 of the vehicle 1 as the first camera 4 or third camera 7 be arranged. It can, however, for example, in the rear of the vehicle 1 as a second camera 5 be arranged or for example in a front area of the vehicle 1 For example, in the area of the radiator grille, as the fourth camera 9 be arranged. By a suitable arrangement of the cameras, ie in particular the first to fourth camera 4 . 5 . 7 . 9 can the entire environment of the vehicle 1 , So in particular a panoramic view to be detected.

Das Fahrzeug 1 weist ferner eine Steuervorrichtung 11 auf, die mit den verschiedenen Kameras derart signaltechnisch gekoppelt ist, dass sie Bilddaten PIC_RAW von durch die jeweilige Kamera erfassten Bildern P_i empfangen kann. Darüber hinaus kann die Steuervorrichtung 11 auch noch mit weiteren Sensoren, die dem Fahrzeug 1 zugeordnet sind, signaltechnisch gekoppelt sein. Derartige Sensoren können beispielsweise ein Abstandssensor sein, der beispielsweise ultraschallbasiert ist.The vehicle 1 further comprises a control device 11 which is signal-technically coupled to the various cameras in such a way that it can receive image data PIC_RAW from images P_i acquired by the respective camera. In addition, the control device 11 even with other sensors that the vehicle 1 are assigned to be signal technically coupled. Such sensors may for example be a distance sensor, which is for example ultrasound-based.

Die Steuervorrichtung 11 weist einen Daten- und Programmspeicher auf und weist ferner eine Recheneinheit auf, in der Programme während des Betriebs des Fahrzeugs 1 abgearbeitet werden, die insbesondere in dem Daten- und Programmspeicher gespeichert sind. Darüber hinaus weist die Steuervorrichtung 11 bevorzugt eine Ausgabeschnittstelle auf, über die sie signaltechnisch gekoppelt ist, beispielsweise mit einer optischen Ausgabeeinheit. Auf diese Weise kann ein zu signalisierendes Bild mittels zu signalisierender Bilddaten PIC_SIG signalisiert werden und zwar insbesondere einem Fahrzeugführer.The control device 11 has a data and program memory and further comprises a computing unit, in the programs during operation of the vehicle 1 be processed, which are stored in particular in the data and program memory. In addition, the control device 11 preferably has an output interface via which it is signal-technically coupled, for example with an optical output unit. In this way, an image to be signaled can be signaled by means of image data PIC_SIG to be signaled, specifically to a vehicle driver.

Die Steuervorrichtung 11 kann auch als Vorrichtung zur Bildverarbeitung bezeichnet werden.The control device 11 may also be referred to as an image processing device.

Das Fahrzeug 1 weist ferner auf einen ersten und zweiten Frontscheinwerfer 13, 14, die an der Fahrzeugfront angeordnet sind. Darüber hinaus ist in der 4 ein Fahrersitz 17 hinsichtlich seiner Kontur skizziert und ebenso eine Kopfstütze 19. Darüber hinaus ist ein Kopf 21 des Fahrzeugführers dargestellt und eine reguläre Gesichtsposition 23 des Fahrzeugführers markiert. Eine Ebene 25 der regulären Gesichtsposition 23 ist mittels einer strichpunktierten Linie dargestellt und weist als Normalenvektor einen Vektor auf, dessen Ausrichtung entsprechend einer Längsachse Y des Fahrzeugs 1 ist. Darüber hinaus bezeichnet X eine Querachse des Fahrzeugs 1 und Z eine Hochachse des Fahrzeugs 1. Ferner ist in der 1 noch eine virtuelle Kamera 27 dargestellt, auf die näher weiter unten eingegangen wird.The vehicle 1 also has a first and second headlight 13 . 14 which are arranged on the vehicle front. In addition, in the 4 a driver's seat 17 outlined in terms of its contour and also a headrest 19 , In addition, a head 21 represented by the driver and a regular face position 23 marked by the driver. A level 25 the regular face position 23 is represented by a dot-dash line and has as a normal vector a vector whose orientation corresponds to a longitudinal axis Y of the vehicle 1 is. Furthermore X denotes a transverse axis of the vehicle 1 and Z is a vertical axis of the vehicle 1 , Furthermore, in the 1 another virtual camera 27 shown in detail below.

Ein Programm zur Bildverarbeitung, das in der Steuervorrichtung 11 abgearbeitet wird, wird in einem Schritt S1 (siehe 2) gestartet, in dem gegebenenfalls Variablen initialisiert werden können.A program for image processing, in the control device 11 is processed, is in a step S1 (see 2 ), in which variables can be initialized if necessary.

In einem Schritt S3 werden Bilddaten PIC_RAW der jeweiligen Bilder, die von den verschiedenen Kameras erfasst wurden, bereitgestellt. Es werden somit die Bilddaten PIC_RAW eines Bildes P_i, das von der ersten Kamera 4 erfasst wurde, eines Bildes P_i, das von der zweiten Kamera 5 erfasst wurde, eines Bildes P_i, das von der dritten Kamera 7 erfasst wurde und eines Bildes P_i, das von der vierten Kamera 9 erfasst wurde, zur weiteren Verarbeitung in den nachfolgenden Schritten bereitgestellt.In a step S3, image data PIC_RAW of the respective images acquired by the various cameras is provided. Thus, the image data PIC_RAW of an image P_i obtained from the first camera 4 was captured, an image P_i, that of the second camera 5 was captured, an image P_i, that of the third camera 7 was captured and an image P_i, that of the fourth camera 9 was provided for further processing in subsequent steps.

In einem Schritt S5 wird eine Geometrie eines dreidimensionalen Umgebungsmodells bereitgestellt, das einen ebenen Bodenbereich aufweist, der in einer Standebene des Fahrzeugs 1 liegt. Das Umgebungsmodell weist eine Oberfläche OF auf, die eine Bodenoberfläche BOF und eine gekrümmte Oberfläche KROF aufweist. Die Oberfläche OF grenzt einen Umgebungsraum UR ein. Die Platzierung des Umgebungsmodells erfolgt jeweils relativ zu einem Bezugskoordinatensystem des Fahrzeugs 1.In a step S5, a geometry of a three-dimensional environment model is provided, which has a flat floor area, which is in a standing plane of the vehicle 1 lies. The environment model has a surface OF having a bottom surface BOF and a curved surface KROF. The surface OF adjoins an environmental space UR. The placement of the environment model is in each case relative to a reference coordinate system of the vehicle 1 ,

In der 3 ist beispielhaft das Fahrzeug 1 und das dreidimensionale Umgebungsmodell in einer Schnittdarstellung dargestellt und zwar mit der Bodenoberfläche BOF und der gekrümmten Oberfläche KROF.In the 3 is exemplary the vehicle 1 and the three-dimensional environment model shown in a sectional view with the bottom surface BOF and the curved surface KROF.

In einem Schritt S7 (2) werden die Bilddaten PIC_RAW der jeweiligen Bilder P_i der verschiedenen Kameras auf die Oberfläche OF des dreidimensionalen Umgebungsmodells projiziert als Umgebungsmodell-Bilddaten PIC_UMG. Es werden somit die Bilddaten PIC_RAW jeweils eines Bildes P_i der ersten Kamera 4, der zweiten Kamera 5, der dritten Kamera 7 und der vierten Kamera 9 auf die Oberfläche OF projiziert. Auf diese Weise wird somit die mittels der Kameras des Fahrzeugs 1 erfasste Umgebung auf die Oberfläche OF des dreidimensionalen Umgebungsmodells abgebildet.In a step S7 ( 2 ) image data PIC_RAW of the respective images P_i of the various cameras are projected onto the surface OF of the three-dimensional environment model as environment model image data PIC_UMG. Thus, the image data PIC_RAW each become an image P_i of the first camera 4 , the second camera 5 , the third camera 7 and the fourth camera 9 projected onto the surface OF. In this way, thus, by means of the cameras of the vehicle 1 captured environment is mapped to the surface OF of the three-dimensional environment model.

In einem Schritt S9 wird eine Position POS der virtuellen Kamera 27 und eine Sichtrichtung der virtuellen Kamera 27 bezüglich einer Mittelachse der Kameraoptik bereitgestellt. Diese können beispielsweise durch den Fahrzeugführer vorgegeben werden und zwar auch im Sinne einer Auswahl verschiedener angebotener Positionen und/oder von einer anderen Einheit innerhalb der Steuervorrichtung 11 ermittelt werden.In a step S9, a position POS of the virtual camera 27 and a viewing direction of the virtual camera 27 provided with respect to a central axis of the camera optics. These can be predetermined, for example, by the vehicle driver and indeed also in the sense of a selection of various offered positions and / or of another unit within the control device 11 be determined.

In einem Schritt S11 wird ermittelt, ob ein Spiegelbildmodus MIR vorliegt. Dabei kann ein Vorliegen des Spiegelbildbildmodus MIR eine Erfüllung einer vorgegebenen Bedingung repräsentieren.In a step S11, it is determined whether there is a mirror image mode MIR. In this case, the presence of the mirror image mode MIR may represent a fulfillment of a predetermined condition.

So kann beispielsweise abhängig von einer mittels einer entsprechenden Benutzervorgabe vorgenommene Auswahl einer spiegelbildlichen Darstellung durch den Fahrzeugführer die vorgegebene Bedingung erfüllt sein und somit der Spiegelbildmodus MIR vorliegen.Thus, for example, depending on a selection made by means of a corresponding user specification of a mirror-image representation by the vehicle driver, the predetermined condition can be satisfied and thus the mirror image mode MIR is present.

Alternativ oder zusätzlich kann eine Erfüllung der vorgegebenen Bedingung auch davon abhängen, welche Position POS die virtuelle Kamera 27 einnimmt und welche Sichtrichtung sie hat. Die Position POS repräsentiert ihre Anordnung im Umgebungsraum UR bezogen auf ein Bezugskoordinatensystem, das bezogen ist auf das Fahrzeug.Alternatively or additionally, a fulfillment of the predetermined condition may also depend on which position POS the virtual camera 27 occupies and which sight line she has. The position POS represents its arrangement in the surrounding space UR with respect to a reference coordinate system related to the vehicle.

In einem Schritt S13 werden zu signalisierende Bilddaten PIC_SIG eines zu signalisierenden Bildes aus Sicht der virtuellen Kamera 27 auf die Oberfläche OF des dreidimensionalen Umgebungsmodells ermittelt und zwar abhängig von der vorgegebenen Position POS der virtuellen Kamera 27, Umgebungsmodell-Bilddaten PIC_UMG und abhängig von der Einnahme oder Nichteinnahme des Spiegelbildmodus MIR. Die zu signaliserenden Bilddaten werden insofern auch abhängig von der Sichtrichtung der virtuellen Kamera 27 ermittelt. Im Falle des Vorliegens des Spiegelbildmodus MIR werden die zu signalisierenden Bilddaten PIC_SIG des zu signalisierenden Bildes aus Sicht der virtuellen Kamera 27 im Sinne einer spiegelbildlichen Darstellung ermittelt.In a step S13, image data PIC_SIG to be signaled of an image to be signaled are viewed from the perspective of the virtual camera 27 determined on the surface OF the three-dimensional environment model, depending on the predetermined position POS of the virtual camera 27 , Environment model image data PIC_UMG and depending on the taking or not taking the mirror image mode MIR. The image data to be signaled also become dependent on the viewing direction of the virtual camera 27 determined. In the case of the presence of the mirror image mode MIR, the image data PIC_SIG to be signaled of the image to be signaled are from the perspective of the virtual camera 27 determined in the sense of a mirror image representation.

Bevorzugt erfolgt das Ermitteln der zu signalisierenden Bilddaten im Falle des Vorliegens des Spiegelbildmodus MIR derart, dass das zu signalisierende Bild eine Spiegelkennung umfasst, die beispielsweise einen Spiegelrahmen um das zu signalisierenden Bild umfasst. Auf diese Weise wird dem Fahrzeugführer eindeutig und intuitiv signalisiert, dass es sich bei dem zu signalisierenden Bild um eine spiegelbildliche Darstellung handelt.In the case of the presence of the mirror image mode MIR, the image data to be signaled is preferably determined in such a way that the image to be signaled comprises a mirror identifier which, for example, comprises a mirror frame around the image to be signaled. In this way, the driver is clearly and intuitively signaled that the signal to be signaled is a mirror image.

Im Anschluss an die Bearbeitung des Schrittes S13 wird die Bearbeitung erneut in dem Schritt S3 fortgesetzt.Following the processing of step S13, the processing is continued again in step S3.

Beispielsweise ist die vorgegebene Bedingung derart ausgestaltet, dass ihre Erfüllung davon abhängt, ob sich die Position POS der virtuellen Kamera 27 bezogen auf die Längsachse Y des Fahrzeugs 1 vor einer regulären Gesichtsposition eines Fahrzeugführers befindet in Richtung hin zu einer Fahrzeugfront und die Sichtrichtung der virtuellen Kamera 27 bezüglich der Mittelachse der Kameraoptik hin zu einer Ebene 25 der regulären Gesichtsposition 23 gerichtet ist.For example, the predetermined condition is designed such that its fulfillment depends on whether the position POS of the virtual camera 27 relative to the longitudinal axis Y of the vehicle 1 in front of a regular face position of a driver is toward a vehicle front and the viewing direction of the virtual camera 27 with respect to the central axis of the camera optics towards a plane 25 the regular face position 23 is directed.

Zum Realisieren eines virtuellen seitlichen Außenspiegels kann die Position POS der virtuellen Kamera 27 in Bezug auf die Längsachse Y des Fahrzeugs 1 in etwa in dem Bereich der ersten oder zweiten Frontscheinwerfer 13, 15 und in Bezug auf die Querachse X des Fahrzeugs 1 in Richtung weg von der Längsachse Y distal zu dem jeweiligen Frontscheinwerfer vorgegeben sein und die Sichtrichtung der virtuellen Kamera 27 bezüglich der Mittelachse der Kameraoptik hin zu einer Ebene 25 der regulären Gesichtsposition 23 gerichtet sein.To realize a virtual side mirror, the position POS of the virtual camera 27 with respect to the longitudinal axis Y of the vehicle 1 approximately in the area of the first or second headlights 13 . 15 and with respect to the transverse axis X of the vehicle 1 be predetermined in the direction away from the longitudinal axis Y distal to the respective headlight and the viewing direction of the virtual camera 27 with respect to the central axis of the camera optics towards a plane 25 the regular face position 23 be directed.

Die Position POS der virtuellen Kamera 27 ist in diesem Fall insbesondere weniger als in etwa eine Fahrzeugbreite von der Längsachse Y entfernt.The position POS of the virtual camera 27 In this case, in particular, it is less than approximately one vehicle width away from the longitudinal axis Y.

Die Position POS der virtuellen Kamera 27 kann beispielsweise auch bezogen auf die Hochachse Z des Fahrzeugs 1 höher sein als eine Motorhaube des Fahrzeugs 1.The position POS of the virtual camera 27 For example, based on the vertical axis Z of the vehicle 1 be higher than a hood of the vehicle 1 ,

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Fahrzeugvehicle
2, 32, 3: AußenspiegelMirrors
4, 5, 7, 94, 5, 7, 9: Kameracamera
1111: Steuervorrichtungcontrol device
13, 1513, 15: erster, zweiter Frontscheinwerferfirst, second headlight
1717: Fahrersitzdriver's seat
1919: Kopfstützeheadrest
2121: Kopf FahrzeugführerHead driver
2323: reguläre Gesichtsposition des Fahrzeugführersregular face position of the driver
2525: Ebene der regulären GesichtspositionLevel of the regular face position
2727: virtuelle Kameravirtual camera
XX: Querachse des FahrzeugsTransverse axis of the vehicle
YY: Längsachse des FahrzeugsLongitudinal axis of the vehicle
ZZ: Hochachse des FahrzeugsVertical axis of the vehicle
P_iPi: Bildimage
PIC_RAWPIC_RAW: Bilddatenimage data
PIC_SIGPIC_SIG: zu signalisierende Bilddatento be signaled image data
OFOF: Oberflächesurface
BOFBOF: Bodenoberflächeground surface
KROFKrof: gekrümmten Oberflächecurved surface
URUR: Umgebungsraumsurrounding space
OBIF: Objektobject
PIC_UMGPIC_UMG: Umgebungsmodell-BilddatenEnvironment model image data
POSPOS: Position der virtuellen KameraPosition of the virtual camera
MIRME: SpiegelbildmodusMirror image mode

Claims

Method for image processing of image data (PIC_RAW) of respective images (P_i) detected by a plurality of cameras mounted on a vehicle ( 1 ) are provided, in which - a geometry of a three-dimensional environment model is provided, which has a flat floor area, which in a standing plane of the vehicle ( 1 ), and having a surface (OF) having a bottom surface (BOF) of the flat bottom portion and defining an ambient space (UR) surrounding the vehicle (FIG. 1 ), the image data (PIC_RAW) of the respective images (P_i) of the various cameras are projected onto the surface (OF) of the three-dimensional environment model as environment model image data (PIC_UMG) and image data (PIC_SIG) to be signaled of an image to be signaled from view a virtual camera ( 27 ) are determined on the surface (OF) of the three-dimensional environment model, this being done by fulfilling a given condition in the sense of a mirror-image representation.

Method according to Claim 1, in which the predetermined condition is designed in such a way that its fulfillment is dependent on a position (POS) of the virtual camera ( 27 ) and a viewing direction of the virtual camera ( 27 ) with respect to a central axis of the camera optics.

Method according to one of the preceding claims, in which image data (PIC_SIG) to be signaled in the case of a mirror-image representation comprise a mirror identifier.

The method of claim 3, wherein the mirror identifier comprises a mirror frame in the image to be signaled.

Method according to one of the preceding claims, in which the fulfillment of the predetermined condition depends on whether the position (POS) of the virtual camera (FIG. 27 ) relative to a longitudinal axis (Y) of the vehicle ( 1 ) in front of a regular face position of a driver is toward a vehicle front and the viewing direction of the virtual camera ( 27 ) with respect to the central axis of the camera optics towards a plane ( 25 ) of the regular face position ( 23 ) whose normal vector through the longitudinal axis (Y) of the vehicle ( 1 ) is formed.

Method according to one of the preceding claims, in which the position (POS) of the virtual camera ( 27 ) with respect to the longitudinal axis (Y) of the vehicle ( 1 ) approximately in the area of the headlights and with respect to a transverse axis (X) of the vehicle ( 1 ) is predetermined in the direction away from the longitudinal axis (Y) distal to the respective front headlight and the viewing direction of the virtual camera ( 27 ) with respect to the central axis of the camera optics towards the plane ( 25 ) of the regular face position ( 23 ) whose normal vector through the longitudinal axis (Y) of the vehicle ( 1 ) is formed.

Method according to Claim 6, in which the position (POS) of the virtual camera ( 27 ) less than approximately one vehicle width from the longitudinal axis (Y) of the vehicle ( 1 ) is removed.

Method according to one of the preceding claims, wherein the fulfillment of the predetermined condition is dependent on whether the position (POS) of the virtual camera ( 27 ) relative to the vertical axis (Z) of the vehicle ( 1 ) is higher than a hood of the vehicle ( 1 ).

Device for image data processing (PIC_RAW) of respective images (P_i) detected by a plurality of cameras mounted on a vehicle ( 1 The device is configured to provide a geometry of a three-dimensional environment model that has a flat bottom area that is located in a standing plane of the vehicle. 1 ), and having a surface (OF) having a bottom surface (BOF) of the flat bottom portion and defining an ambient space (UR) surrounding the vehicle (FIG. 1 ) comprises projecting the image data (PIC_RAW) of the respective images (P_i) of the various cameras onto the surface (OF) of the three-dimensional environment model as environment model image data (PIC_UMG) and image data (PIC_SIG) to be signaled of an image to be signaled from view a virtual camera ( 27 ) to determine the surface (OF) of the three-dimensional environment model, this being done in fulfillment of a predetermined condition in the sense of a mirror image representation.