GEBIET DER ERFINDUNGFIELD OF THE INVENTION
Die vorliegende Erfindung betrifft ein Fahrzeugumgebung-Sichtunterstützungssystem, das auf ein Parkunterstützungssystem anwendbar ist, das einen Anwender zum Beispiel darin unterstützt, einzuschlagen und sein/ihr Fahrzeug zurückzusetzen, um es einzuparken.The present invention relates to a vehicle surroundings visual assistance system applicable to a parking assistance system that assists a user, for example, to hit and reset his / her vehicle to park it.
HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION
Die Anmelder dieser Anmeldung reichten eine Anmeldung für das Patent JP 2004-053805 A , als ein Parkunterstützungssystem ein, das einen Anwender zum Beispiel darin unterstützt, einzuschlagen und sein/ihr Fahrzeug zurückzusetzen, um es zu parken. Das in der JP 2004-053805 A, offenbarte Parkunterstützungssystem ist so ausgelegt, dass die folgende Operation ausgeführt wird: Wenn ein Anwender sein/ihr Fahrzeug vorwärts fährt und es in einer Parkstartposition stoppt, nimmt eine an dem hinteren Teil der Karosserie seines/ihres Fahrzeugs angebrachte Heckbild-Aufnahmekamera das Bild des Bereichs hinter dem Fahrzeug auf, das aufgenommene Heckbild wird in eine Vogelperspektive umgewandelt, um ein Vogelperspektiven-Heckbild zu erzeugen. Das erzeugte Vogelperspektiven-Heckbild wird als Anzeigebild auf einer Anzeigevorrichtung (Monitor) angezeigt. Dies ermöglicht es dem Anwender, leicht eine Zielparkposition innerhalb des Anzeigebildes einzustellen. Nachdem der Anwender die Parkposition eingestellt hat, wird das Fahrzeug automatisch von der Parkstartposition in die Parkposition gelenkt.The applicants of this application filed an application for the patent JP 2004-053805 A as a parking assist system that assists a user, for example, to hit and reset his / her vehicle to park it. The parking assist system disclosed in JP 2004-053805 A is designed to perform the following operation: When a user drives his / her vehicle forward and stops it at a parking start position, one takes in the rear part of the body of his / her vehicle mounted rear image capture camera the image of the area behind the vehicle, the captured rear image is converted into a bird's eye view to create a bird's-eye view rear view. The generated bird's-eye view rear image is displayed as a display image on a display (monitor). This allows the user to easily set a target parking position within the display image. After the user has set the parking position, the vehicle is automatically steered from the parking start position to the parking position.
Als Beispiel wird angenommen, dass ein Anwender sein/ihr Fahrzeug vorwärts fährt und vorübergehend neben einem schon geparkten Fahrzeug (geparktes Fahrzeug A in 15) stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem geparkten Fahrzeug zu parken, wie es in 15 gezeigt ist. (Der Fahrer parkt sein/ihr Fahrzeug durch sogenanntes Parallelparken.) Das oben erwähnte Parkunterstützungssystem, das in der JP 2004-053805 A , offenbart ist, ist so ausgelegt, dass die folgende Operation ausgeführt wird: Das maßgebliche Fahrzeug bewegt sich vorwärts und stoppt vorübergehend neben einem geparkten Fahrzeug. Anschließend, das heißt nachdem das maßgebliche Fahrzeug in einer Parkstartposition gestoppt hat, wird das Bild des Bereichs hinter dem Fahrzeug aufgenommen. Dieses aufgenommene Heckbild wird in eine Vogelperspektivenansicht umgewandelt, und das gewonnene Vogelperspektiven-Heckbild wird als ein Anzeigebild angezeigt. Daher gibt es Falle, in denen der hinter dem geparkten Fahrzeug verdeckte Bereich einen toten Winkel bildet und ein Teil des zum Parken zur Verfügung stehenden Raumes nicht einsehbar ist. Als Folge davon kann ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, nicht in geeigneter Weise angezeigt werden, was dahingehend zu einem Problem führt, dass der Anwender eine Zielparkposition innerhalb eines Anzeigebildes nicht in geeigneter Weise einstellen kann. Ähnliche Probleme treten zum Beispiel auch auf, wenn ein Anwender das maßgebliche Fahrzeug vorübergehend neben einem Gebäude (z. B. einem Wohngebäude oder einem Warenhaus) stoppt, und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem Gebäude zu parken.By way of example, it is assumed that a user drives his / her vehicle forward and temporarily next to an already parked vehicle (parked vehicle A in FIG 15 ) stops and then hits and the vehicle resets to park it behind the parked vehicle, as in 15 is shown. (The driver parks his / her vehicle by so-called parallel parking.) The above-mentioned parking assistance system, which is located in the JP 2004-053805 A is designed to perform the following operation: The authoritative vehicle is moving forward and temporarily stops next to a parked vehicle. Subsequently, that is, after the authoritative vehicle has stopped in a parking start position, the image of the area behind the vehicle is taken. This captured tail image is converted to a bird's eye view, and the obtained bird's-eye view rear image is displayed as a display image. Therefore, there are cases in which the hidden behind the parked vehicle area forms a blind spot and part of the space available for parking is not visible. As a result, an area where the user intends to set a target parking position can not be appropriately displayed, resulting in a problem that the user can not appropriately set a target parking position within a display image. For example, similar problems also occur when a user temporarily stops the relevant vehicle next to a building (eg, a residential building or a warehouse) and then strikes and resets the vehicle to park it behind the building.
Die DE 102 92 327 T5 offenbart ein Fahrzeugumgebung-Sichtunterstützungssystem zum Unterstützen eines Rückwärtseinparkens, mit einem Bildaufnahmemittel, das ein Bild von einem bestimmten, ein maßgebliches Fahrzeug umgebenden Bereich aufnimmt; einem Vogelperspektivenbild-Erzeugungsmittel, das ein von dem Bildaufnahmemittel aufgenommenes Aufnahmebild in eine Vogelperspektivenansicht umwandelt, um ein Vogelperspektivenbild zu erzeugen; einem Zusammenfügungsmittel zur Erzeugung eines zusammengefügten Vogelperspektivenbildes, das eine Mehrzahl von von dem Vogelperspektivenbild-Erzeugungsmittel erzeugten Vogelperspektivenbildern zusammenfügt, um so ein zusammengefügtes Vogelperspektivenbild zu erzeugen; und einem Steuerungsmittel, das bewirkt, dass das Vogelperspektivenbild-Erzeugungsmittel eine Mehrzahl von von dem Bildaufnahmemittel zu mehreren Zeitpunkten aufgenommener Aufnahmebilder in eine Vogelperspektivenansicht umwandelt, um eine Mehrzahl von Vogelperspektivenbildern zu erzeugen, bewirkt, dass das Zusammenfügungsmittel die Mehrzahl Von Vogelperspektivenbildern zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, und bewirkt, dass ein Anzeigemittel dieses zusammengefügte Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Fahrzeugs, das eine Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt. Es werden jedoch nur Bilder zusammengefügt, die während der Rückwärtsfahrt (des Rückwärtseinparkens) aufgenommen werden.The DE 102 92 327 T5 discloses a vehicle surroundings visual assistance system for assisting reverse parking, having an image pickup means that captures an image of a particular area surrounding a relevant vehicle; a bird's-eye view image generating means that converts a shot image picked up by the image pickup means into a bird's-eye view to produce a bird's-eye view image; a merging means for producing a merged bird's eye view image which merges a plurality of bird's eye view images generated by the bird's eye view image generating means so as to produce an assembled bird's-eye view image; and control means for causing the bird's-eye view image generating means to convert a plurality of shot images picked up by the image pickup means at a plurality of timepoints into a bird's-eye view to produce a plurality of bird's-eye view images, causing the joining means to stitch the plurality of bird's-eye view images together And to cause a display means to display that assembled bird's-eye view image as a display image together with a graphic of the authoritative vehicle indicating a position of the authoritative vehicle. However, only pictures are taken which are taken during the reverse drive (reverse parking).
Die DE 600 03 750 T2 offenbart eine Einparkhilfe-Assistenz-Vorrichtung mit einer Fahrzeugpositionsberechnungseinheit zur Berechnung der Position des Fahrzeugs in einer Draufsicht; einer Schätzortberechnungseinheit zur Berechnung eines Schätzbewegungsortes des Fahrzeugkörpers, wenn das Fahrzeug in einem festgelegten Lenkwinkel in Bezug auf die durch die Fahrzeugpositionsberechnungseinheit berechnete Fahrzeugposition bewegt wird; und einer Anzeigeeinheit zur Anzeige der durch die Fahrzeugpositionsberechnungseinheit berechneten Fahrzeugposition zusammen mit dem durch die Schätzortberechnungseinheit berechneten Schätzort des Fahrzeugkörpers.The DE 600 03 750 T2 discloses a parking assistance apparatus having a vehicle position calculating unit for calculating the position of the vehicle in a plan view; an estimated-location calculating unit for calculating an estimated moving location of the vehicle body when the vehicle is being moved at a predetermined steering angle with respect to the vehicle position calculated by the vehicle-position calculating unit; and a display unit for displaying the vehicle position calculated by the vehicle position calculating unit together with the estimated position of the vehicle body calculated by the estimated location calculating unit.
Die DE 201 05 340 U1 offenbart eine Vorrichtung zur dreidimensionalen Erfassung der Umgebung um ein Straßenfahrzeug zur Erfassung von Parklücken mit einem Entfernungssensor, welcher eine Abfolge von zweidimensionalen Entfernungsprofilen erzeugt, einer Datenverarbeitungseinheit und einer Speichereinheit, welche aufeinanderfolgende Entfernungsprofile verarbeitet, speichert und aus einer Aneinanderreihung einer aufeinanderfolgenden Menge von Entfernungsprofilen ein dreidimensionales Abbild der Umgebung erzeugt, und einem Mittel zur Bestimmung des zurückgelegten Weges des Straßenfahrzeugs zwischen jedem einzelnen erzeugtem Entfernungsprofil. The DE 201 05 340 U1 discloses a device for three-dimensionally detecting the surroundings around a road vehicle for detecting parking spaces with a distance sensor which generates a sequence of two-dimensional distance profiles, a data processing unit and a memory unit which processes successive distance profiles, stores a three-dimensional sequence from a sequence of a successive set of distance profiles Generated image of the environment, and a means for determining the distance traveled by the road vehicle between each individual generated distance profile.
KURZDARSTELLUNG DER ERFINDUNGBRIEF SUMMARY OF THE INVENTION
Die vorliegende Erfindung ist unter Berücksichtigung des oben Gesagten gemacht worden, und es ist ein Ziel der vorliegenden Erfindung, ein Fahrzeugumgebung-Sichtunterstützungssystem bereitzustellen, das dazu geeignet ist, den Bereich um das maßgebliche Fahrzeug als ein geeignetes Bild anzuzeigen, wobei selbst wenn ein Anwender das maßgebliche Fahrzeug vorwärts fährt und vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem geparkten Fahrzeug zu parken, der Anwender in geeigneter Weise eine Zielparkposition innerhalb eines Anzeigebildes einstellen kann.The present invention has been made in consideration of the above, and it is an object of the present invention to provide a vehicle surroundings visual assistance system capable of displaying the area around the authoritative vehicle as a suitable image, even if a user does so authoritative vehicle moves forward and temporarily stops next to an already parked vehicle and then hits and resets the vehicle to park it behind the parked vehicle, the user can set a target parking position within a display image appropriately.
Um das oben genannte Ziel zu erreichen, schafft die Erfindung ein Fahrzeugumgebung-Sichtunterstützungssystem gemäß Anspruch 1.In order to achieve the above object, the invention provides a vehicle surroundings visual assistance system according to claim 1.
Anders als ähnliche Systeme aus der Vergangenheit zeigt dieses Fahrzeugumgebung-Sichtunterstützungssystem als Anzeigebild kein Vogelperspektiven-Heckbild an, das durch Umwandlung eines aufgenommenen Heckbildes, das aufgenommen wurde, nachdem ein Anwender das maßgebliche Fahrzeug vorwärts gefahren und vorübergehend neben einem geparkten Fahrzeug gestoppt hat, in eine Vogelperspektivenansicht gewonnen wird. Statt dessen zeigt es als Anzeigebild ein zusammengefügtes Vogelperspektivenbild an, das durch Umwandlung von aufgenommenen Heckbildern, die aufgenommen wurden, bevor der Fahrer das maßgeblichen Fahrzeug fährt und es vorübergehend neben einem geparkten Fahrzeug stoppt, das heißt bevor es der Anwender in einer Parkstartposition parkt, in eine Vogelperspektivenansicht und Zusammenfügung von ihnen gewonnen wird. Daher ist das Nachfolgende implementiert, solange sich das maßgebliche Fahrzeug vorwärts bewegt und an einem Bereich vorbeifährt, in dem der Anwender, unmittelbar bevor es in einer Parkstartposition stoppt, eine Parkposition setzt (in diesem Fall hinter einem geparkten Fahrzeug): Der hinter dem geparkten Fahrzeug verdeckte Bereich bildet keinen toten Winkel, der gesamte zum Parken zur Verfügung stehende Platz ist einsehbar, und ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, kann in geeigneter Weise angezeigt werden.Unlike similar systems of the past, this vehicle surroundings visual assistance system displays a bird's-eye view rear image as a display image by converting a captured rear image taken after a user has driven the authoritative vehicle forward and temporarily stopped next to a parked vehicle Bird's eye view is gained. Instead, it displays, as a display image, an assembled bird's eye view image obtained by converting captured rear images taken before the driver drives the authoritative vehicle and temporarily stops it next to a parked vehicle, that is, before the user parked in a parking start position a bird's-eye view and assembly of them is gained. Therefore, the following is implemented as long as the authoritative vehicle moves forward and passes an area in which the user sets a parking position (in this case behind a parked vehicle) just before it stops in a parking start position: the vehicle behind the parked vehicle The hidden area does not form a blind spot, the entire space available for parking is visible, and an area where the user intends to set a target parking position can be appropriately displayed.
Somit kann der Bereich um das relevante Fahrzeug als ein geeignetes Anzeigebild angezeigt werden. Der Anwender kann zum Beispiel das Folgende tun, selbst wenn er/sie das maßgebliche Fahrzeug vorwärts fährt und es vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem geparkten Fahrzeug zu parken (wenn der Anwender das Fahrzeug durch sogenanntes Parallelparken parkt): Der Anwender kann eine Zielparkposition innerhalb eines Anzeigebildes in geeigneter Weise setzen.Thus, the area around the relevant vehicle can be displayed as a suitable display image. For example, the user can do the following even if he / she drives the relevant vehicle forward and temporarily stops it next to a parked vehicle and then hits and resets the vehicle to park it behind the parked vehicle (if the user is the vehicle parked by so-called parallel parking): The user can appropriately set a target parking position within a display image.
Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung führt ein Steuerungsmittel die folgende Operation aus: Es bewirkt, dass ein Vogelperspektivenbild-Erzeugungsmittel eine Mehrzahl von aufgenommenen Heckbildern, die von dem Bildaufnahmemittel zu mehreren Zeitpunkten, während sich das maßgebliche Fahrzeug vorwärts bewegt, aufgenommen wurden, jeweils in eine Vogelperspektivenansicht umgewandelt werden, um eine Mehrzahl von Vogelperspektiven-Heckbilder zu erzeugen, es bewirkt, dass das Zusammenfüfungsmittel die Mehrzahl von Vogelperspektiven-Heckbilder zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, und es bewirkt, dass das Anzeigemittel dieses zusammengefügte Vogelperspektivenbild, zusammen mit einer Grafik des maßgeblichen Fahrzeugs, das die Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt. Somit kann ein Bereich, in dem ein Anwender das Setzen einer Zielparkposition beabsichtigt, durch ein zusammengefügtes Vogelperspektivenbild angezeigt werden, das durch Umwandlung von aufgenommenen Heckbildern, die darstellen, wie sich die Situation hinter dem maßgeblichen Fahrzeug verhält, in eine Vogelperspektive und deren Zusammenzufügen gewonnen wird. Als Folge davon kann die Sicht nach hinten bezüglich des Fahrzeugs in geeigneter Weise gewährleistet werden.According to a preferred embodiment of the present invention, a control means performs the following operation: causing a bird's-eye view image generating means to take a plurality of captured rear images taken by the image pickup means at a plurality of times while the relevant vehicle is moving forward, respectively A bird's-eye view may be converted to produce a plurality of bird's-eye view rear images, causing the merging means to stitch together the plurality of bird's-eye view rear images to produce an assembled bird's-eye view image, and causing the display means to combine that merged bird's-eye view image Graph of the relevant vehicle indicating the position of the relevant vehicle displays as a display image. Thus, an area in which a user intends to set a target parking position may be displayed by a merged bird's eye view image obtained by converting captured rear images representing how the situation behind the relevant vehicle into a bird's eye view and their joining , As a result, the rearward visibility with respect to the vehicle can be properly ensured.
Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung führt ein Steuerungsmittel die folgende Operation aus: Es bewirkt, dass das Vogelperspektivenbild-Erzeugungsmittel eine Mehrzahl von aufgenommenen Heckbildern und eine Mehrzahl von aufgenommenen Seitenbildern, die zu mehreren Zeitpunkten, während sich das maßgebliche Fahrzeug vorwärts bewegt hat, von einem Bildaufnahmemittel aufgenommen wurden, in ein Vogelperspektivenbild umwandelt, um eine Mehrzahl von Vogelperspektiven-Heckbilder und eine Mehrzahl von Vogelperspektiven-Seitenbilder zu erzeugen; es bewirkt, dass das Zusammenfügungsmittel die Mehrzahl von Vogelperspektivenbilder und die Mehrzahl von Vogelperspektiven-Seitenbilder zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen; und es bewirkt, dass das Anzeigemittel dieses zusammengefügte Vogelperspektivenbild, zusammen mit einer Grafik des maßgeblichen Bildes, das die Position des relevanten Fahrzeugs anzeigt, als ein Anzeigebild anzeigt. Somit kann ein Bereich, in dem ein Anwender ein Setzen einer Zielparkposition beabsichtigt, durch ein zusammengefügtes Vogelperspektivenbild angezeigt werden, das durch Umwandeln von aufgenommenen Heckbildern, die darstellen, wie sich die Situation hinter dem maßgeblichen Fahrzeug verhält, und von aufgenommenen Seitenbildern, die darstellen, wie sich die Situation seitlich des maßgeblichen Fahrzeugs verhält, in eine Vogelperspektivenansicht und deren Zusammenfügung gewonnen wird. Als Folge davon kann die Sicht nach hinten bezüglich des maßgeblichen Fahrzeugs und zur Seite bezüglich des maßgeblichen Fahrzeugs in geeigneter Weise gewährleistet werden.According to a preferred embodiment of the present invention, a control means performs the following operation: the bird's-eye view image generating means causes a plurality of captured rear images and a plurality of captured side images that have been taken at multiple times while the relevant vehicle has moved forward an image pickup means is converted into a bird's eye view image to produce a plurality of bird's eye view rear images and a plurality of bird's eye view side images; it causes that Merging means assembling the plurality of bird's eye view images and the plurality of bird's-eye view side images to produce an assembled bird's-eye view image; and causes the display means to display that assembled bird's-eye view image as a display image along with a graphic of the authoritative image indicating the position of the relevant vehicle. Thus, an area where a user intends to set a target parking position may be displayed by a merged bird's eye view image, which is by converting captured rear images representing how the situation behaves behind the authoritative vehicle and captured side images that represent how the situation behaves laterally of the relevant vehicle, in a bird's-eye view and their assembly is obtained. As a result, the rearward view of the relevant vehicle and the side of the relevant vehicle can be properly ensured.
Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung analysiert ein Neigungserfassungsmittel die Mehrzahl von aufgenommenen Heckbilder und die Mehrzahl der aufgenommenen Seitenbilder, die zu mehreren Zeitpunkten von dem Bildaufnahmemittel aufgenommen wurden, und die Mehrzahl von Vogelperspektiven-Heckbilder und die Mehrzahl von Vogelperspektiven-Seitenbilder, die von einem Vogelperspektivenbild-Erzeugungsmittel erzeugt wurden. Es erfasst dann eine Neigung eines geparkten Fahrzeugs oder eines Parkrahmens relativ zu dem maßgeblichen Fahrzeug. Das Zusammenfügungsmittel fügt die Mehrzahl von von dem Vogelperspektivenbild-Erzeugungsmittel erzeugten Vogelperspektivenbildern zusammen, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen. Gleichzeitig fügt es die Vogelperspektiven-Seitenbilder in der zu der von dem Neigungserfassungsmittel erfassten Neigung des geparkten Fahrzeugs oder des Parkrahmens relativ zu dem maßgeblichen Fahrzeug im Wesentlichen parallelen Richtung zusammen.According to another preferred embodiment of the present invention, an inclination detecting means analyzes the plurality of captured rear images and the plurality of captured side images taken at multiple times by the image pickup means and the plurality of bird's eye view rear images and the plurality of bird's eye view side images taken from a bird's eye view image generating means were generated. It then detects an inclination of a parked vehicle or a parking frame relative to the relevant vehicle. The merging means merges the plurality of bird's eye view images generated by the bird's eye view image generating means to produce an assembled bird's eye view image. At the same time, it assembles the bird's-eye view side images in the tilt of the parked vehicle or the parking frame relative to the relevant vehicle in the direction substantially parallel to that detected by the inclination detecting means.
Dies ist vorteilhaft in anderen Fällen als Fällen, in denen ein Anwender das maßgebliche Fahrzeug durch sogenanntes Parallelparken parkt oder zum Beispiel ein Fahrer das maßgebliche Fahrzeug vorwärts fährt und es vorübergehend vor oder hinter einem schon geparkten Fahrzeug stoppt und dann in einem im Wesentlichen rechten Winkel einschlägt und das Fahrzeug zurücksetzt, um es seitlich des geparkten Fahrzeugs zu parken. Es ist zum Beispiel vorteilhaft, selbst wenn ein Anwender das maßgebliche Fahrzeug vorwärts fährt und es vorübergehend diagonal vor oder hinter einem schon geparkten Fahrzeug parkt und dann in einem stumpfen Winkel einschlägt und das Fahrzeug zu rücksetzt, um es seitlich des geparkten Fahrzeugs zu parken (der Anwender parkt das Fahrzeug durch sogenanntes Winkelparken). Die folgenden Vorteile ergeben sich durch Zusammenfügen der Mehrzahl von Vogelperspektiven-Seitenbildern in der zu der Neigung eines geparkten Fahrzeugs oder eines Parkrahmens relativ zu dem maßgeblichen Fahrzeug im Wesentlichen parallelen Richtung, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen: Der hinter einem geparkten Fahrzeug verborgene Bereich bildet keinen toten Winkel; der gesamte zum Parken zur Verfügung stehende Raum kann einsehbar gemacht werden; und ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, kann in geeigneter Weise angezeigt werden.This is advantageous in other cases than cases in which a user parks the relevant vehicle by so-called parallel parking or, for example, a driver drives the relevant vehicle forward and stops it temporarily in front of or behind a parked vehicle and then strikes at a substantially right angle and reset the vehicle to park it to the side of the parked vehicle. For example, it is advantageous even when a user forwards the authoritative vehicle and temporarily parks it diagonally in front of or behind a parked vehicle and then struck at an obtuse angle and resets the vehicle to park it to the side of the parked vehicle (the User parks the vehicle by so-called angle parking). The following advantages are provided by merging the plurality of bird's-eye view side images in the direction substantially parallel to the slope of a parked vehicle or park frame relative to the authoritative vehicle to produce an assembled bird's-eye view image: the area hidden behind a parked vehicle does not form blind spot; the entire space available for parking can be made visible; and an area in which the user intends to set a target parking position may be appropriately displayed.
Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung erzeugt das Zusammenfügungsmittel ein zusammengefügtes Vogelperspektivenbild derart, dass ein Punkt, wo ein Vogelperspektiven-Heckbild und ein Vogelperspektiven-Seitenbild einander überlappen, das Vogelperspektiven-Seitenbild sichtbar ist. Somit kann, wenn die Auflösung eines aufgenommenen Seitenbildes höher als die Auflösung eines aufgenommene Heckbildes ist, ein scharfes zusammengefügtes Vogelperspektivenbild als ein Anzeigebild angezeigt werden.According to another preferred embodiment of the present invention, the merging means generates an assembled bird's-eye view image such that a point where a bird's-eye view rear view and a bird's-eye view sideview overlap each other, the bird's-eye view sideview is visible. Thus, if the resolution of a captured page image is higher than the resolution of a captured rear image, a sharp merged bird's eye view image may be displayed as a display image.
Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung führt ein Steuerungsmittel die folgende Operation aus: Wenn sich das maßgebliche Fahrzeug vorwärts bewegt und in einer Parkstartposition stoppt, bewirkt es, dass das Anzeigemittel ein von dem Zusammenfügungsmittel erzeugtes zusammengefügtes Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Bildes, die die Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt. Somit kann ein Bereich, in dem ein Anwender das Setzen einer Zielparkposition beabsichtigt, unmittelbar nachdem sich das maßgebliche Fahrzeug vorwärts bewegt und in einer Parkstartposition gestoppt hat, d. h. wenn der Anwender versucht, eine Zielparkposition zu setzen, in geeigneter Weise angezeigt werden.According to another preferred embodiment of the present invention, a control means carries out the following operation: when the authoritative vehicle moves forward and stops at a parking start position, it causes the display means to generate an assembled bird's-eye view image generated by the merging means together with a graphic of the relevant image; indicating the position of the authoritative vehicle as displaying a display image. Thus, an area in which a user intends to set a target parking position immediately after the authoritative vehicle has moved forward and stopped at a parking start position, that is, a vehicle parking position may be set. H. when the user attempts to set a target parking position, they are appropriately displayed.
Gemäß einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung führt ein Steuerungsmittel die folgende Operation in einem Fall aus, in dem eine Zielparkposition durch einen Fahrer eingestellt wird, nachdem sich das maßgebliche Fahrzeug vorwärts bewegt und in einer Parkstartposition gestoppt hat: Es setzt einen Weg des maßgeblichen Fahrzeugs von der Parkstartposition zu der Parkposition auf der Grundlage eines von dem Zusammenfügungsmittel erzeugten zusammengefügten Vogelperspektivenbildes. Somit kann, wenn ein Anwender eine Parkposition einstellt, ein Weg des maßgeblichen Fahrzeugs von einer Parkstartposition zu der Parkposition in geeigneter Weise auf der Grundlage eines Anzeigebildes eingestellt werden, in dem ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, dargestellt wird.According to another preferred embodiment of the present invention, a control means performs the following operation in a case where a target parking position is set by a driver after the authoritative vehicle has moved forward and stopped at a parking start position: sets a travel of the authoritative vehicle from the parking start position to the parking position based on an assembled bird's-eye view image generated by the joining means. Thus, when a user sets a parking position, a path of the authoritative vehicle from a parking start position to the parking position can be appropriately set on the basis of a display image an area in which the user intends to set a target parking position is displayed.
KURZE BESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS
1 ist eine Zeichnung, die eine erste Ausführungsform der vorliegenden Erfindung zeigt und schematisch die Art und Weise veranschaulicht, in der ein Vogelperspektiven-Heckbild zusammengefügt wird; 1 Fig. 3 is a drawing showing a first embodiment of the present invention and schematically illustrating the manner in which a bird's-eye view rear view is assembled;
2 ist ein Funktionsblockdiagramm; 2 is a functional block diagram;
3 ist ein Flussdiagramm; 3 is a flowchart;
4 ist eine Zeichnung, die den Aufnahmebereich einer Heckbild-Aufnahmekamera zeigt, der definiert wird, wenn sich das maßgebliche Fahrzeug vorwärts bewegt; 4 Fig. 13 is a drawing showing the reception area of a rear-shot photographing camera defined when the relevant vehicle moves forward;
5 ist eine Zeichnung, die der 4 entspricht; 5 is a drawing that the 4 corresponds;
6 ist eine Zeichnung, die den Aufnahmebereich einer Heckbild-Aufnahmekamera zeigt, der definiert wird, wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt; 6 Fig. 13 is a drawing showing the reception area of a rear-shot photographing camera defined when the authoritative vehicle stops at a parking start position;
7 ist eine Zeichnung, die schematisch ein Anzeigebild darstellt; 7 Fig. 12 is a drawing schematically illustrating a display image;
8 ist eine Zeichnung, die schematisch die Art und Weise veranschaulicht, in der ein Vogelperspektiven-Heckbild zusammengefügt wird; 8th Fig. 12 is a drawing schematically illustrating the manner in which a bird's eye rear view is assembled;
9 ist ein Funktionsblockdiagramm, das eine zweite Ausführungsform der vorliegenden Erfindung zeigt; 9 Fig. 10 is a functional block diagram showing a second embodiment of the present invention;
10 ist eine Zeichnung, die die Aufnahmebereiche einer Heckbild-Aufnahmekamera, einer Beifahrerseitenbild-Aufnahmekamera und einer Fahrerseitenbild-Aufnahmekamera zeigen, die definiert werden, wenn sich das maßgebliche Fahrzeug vorwärtsbewegt; 10 Fig. 12 is a drawing showing the shooting areas of a rear-shot photographing camera, a passenger-side photographing camera, and a driver-side image photographing camera, which are defined as the relevant vehicle moves forward;
11 ist eine Zeichnung, die 7 entspricht; 11 is a drawing that 7 corresponds;
12 ist eine Zeichnung, die die Aufnahmebereiche einer Heckbild-Aufnahmekamera, einer Beifahrerseitenbild-Aufnahmekamera und einer Fahrerseitenbild-Aufnahmekamera zeigen, die definiert werden, wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt; 12 Fig. 12 is a drawing showing the shooting areas of a rear-shot photographing camera, a passenger-side photographing camera, and a driver-side image photographing camera, which are defined when the authoritative vehicle stops at a parking start position;
13 ist ein Funktionsblockdiagramm, das eine dritte Ausführungsform der vorliegenden Erfindung zeigt; 13 Fig. 10 is a functional block diagram showing a third embodiment of the present invention;
14 ist eine Zeichnung, die 7 entspricht; und 14 is a drawing that 7 corresponds; and
15 ist eine Zeichnung, die einem Beispiel des Standes der Technik entspricht. 15 is a drawing that corresponds to an example of the prior art.
AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMENDETAILED DESCRIPTION OF PREFERRED EMBODIMENTS
(Erste Ausführungsform)First Embodiment
Im Folgenden ist eine erste Ausführungsform der vorliegenden Erfindung mit Bezug auf die 1 bis 8 beschrieben. In dieser Ausführungsform ist ein Fahrzeugumgebungs-Sichtunterstützungssystem der vorliegenden Erfindung auf ein Parkunterstützungssystem angewendet, das einen Anwender dabei unterstützt, das maßgebliche Fahrzeug vorübergehend neben einem schon geparkten Fahrzeug zu stoppen und dann einzuschlagen bzw. zu lenken und das Fahrzeug zurückzusetzen, um es hinter dem geparkten Fahrzeug zu parken. (Der Anwender parkt durch sogenanntes Parallelparken).The following is a first embodiment of the present invention with reference to FIGS 1 to 8th described. In this embodiment, a vehicle surroundings visual assistance system of the present invention is applied to a parking assist system that assists a user to temporarily stop and then steer the relevant vehicle next to a parked vehicle and reset the vehicle to park it behind the parked vehicle Parking vehicle. (The user parks by so-called parallel parking).
2 zeigt die Gesamtkonfiguration eines Parkunterstützungssystems in Form eines Funktionsblockdiagramms. Das Parkunterstützungssystem 1 umfasst: Eine CPU 2 (Vogelperspektivenbild-Erzeugungsmittel, ein Zusammenfügungsmittel und Steuerungsmittel in der vorliegenden Erfindung), eine Heckbild-Aufnahmekamera 3 (Bildaufnahmemittel in der vorliegenden Erfindung), einen Rahmenspeicher 4 für aufgenommene Bilder, einen Arbeitsspeicher 5, einen Kartenspeicher 6, einen Speicher 7 für Zwischenbilder, einen Speicher 8 für Anzeigebilder, einen Tastfeldmonitor 9 (Anzeigemittel in der vorliegenden Erfindung), einen Fahrzeuggeschwindigkeitssensor 10, einen Lenksensor 11, einen Gierratensensor 12, einen Hinderniserfassungssensor 13 und eine Lenksteuerungsschaltung 14. 2 shows the overall configuration of a parking assistance system in the form of a functional block diagram. The parking assistance system 1 includes: A CPU 2 (Bird's eye view image generating means, joining means and control means in the present invention), a rear-shot photographing camera 3 (Image pickup means in the present invention), a frame memory 4 for captured images, a working memory 5 , a card store 6 , a store 7 for intermediate pictures, a memory 8th for display images, a touchpad monitor 9 (Display means in the present invention), a vehicle speed sensor 10 , a steering sensor 11 , a yaw rate sensor 12 , an obstacle detection sensor 13 and a steering control circuit 14 ,
Die CPU 2 führt ein Steuerungs- bzw. Regelungsprogramm aus, um den Gesamtbetrieb des Parkunterstützungssystems 1 zu steuern bzw. zu regeln. Die Heckbild-Aufnahmekamera 3 ist zum Beispiel an dem hinteren Teil der Karosserie des maßgeblichen Fahrzeugs angebracht und nimmt das Bild des Bereichs hinter dem maßgeblichen Fahrzeug auf. Der Rahmenspeicher 4 für aufgenommene Bilder speichert vorübergehend aufgenommene Heckbilder, die von der Heckbild-Aufnahmekamera 3 aufgenommen wurden. Der Arbeitsspeicher 5 fungiert als ein Speicherbereich zum Betrieb, und er speichert zum Beispiel vorübergehend verschiedene Daten, wenn die CPU 2 das Steuerungsprogramm ausführt.The CPU 2 Executes a control program to the overall operation of the parking assistance system 1 to control or regulate. The rear view capture camera 3 For example, it is attached to the rear of the body of the relevant vehicle and captures the image of the area behind the relevant vehicle. The frame memory 4 for captured images stores temporarily captured rear images taken by the rear-shot camera 3 were recorded. The working memory 5 acts as a storage area for operation, and temporarily stores various data, for example, when the CPU 2 executes the control program.
Der Kartenspeicher 6 speichert die folgenden Parameter: Parameter zur Aberrationskorrektur, die von der CPU 2 verwendet werden, um Verzerrungen/Aberrationen durch eine Linsenaberration in einem aufgenommenen Heckbild zu korrigieren, Parameter zur Umwandlung in eine Vogelperspektivenansicht, die von der CPU 2 verwendet werden, um ein aberrationskorrigiertes Bild in eine Vogelperspektivenansicht umzuwandeln, Parameter zum Zusammenfügen, die von der CPU 2 verwendet werden, um eine Mehrzahl von Vogelperspektiven-Heckbilder zusammenzufügen, und dergleichen. Der Speicher 7 für Zwischenbilder speichert vorübergehend das Folgende: von der CPU 2 unter Verwendung der Parameter zur Aberrationskorrektur erzeugte aberrationskorrigierte Bilder, von der CPU 2 unter Verwendung von Parametern zur Umwandlung in eine Vogelperspektivenansicht erzeugte Vogelperspektiven-Heckbilder, von der CPU 2 unter Verwendung von Parametern zum Zusammenfügen erzeugte zusammengefügte Vogelperspektivenbilder, und dergleichen.The card store 6 stores the following parameters: Parameters for aberration correction used by the CPU 2 used to distort / Aberrations through a lens aberration in a captured rear image to correct, parameters for conversion to a bird's-eye view taken from the CPU 2 used to convert an aberration-corrected image into a bird's-eye view, parameters to be joined by the CPU 2 used to assemble a plurality of bird's-eye view rear images, and the like. The memory 7 for intermediate images temporarily stores the following: from the CPU 2 aberration corrected images generated by the aberration correction parameters from the CPU 2 using bird's eye view conversion parameters, created bird's eye view tail images from the CPU 2 Assembled bird's eye view images generated using joining parameters, and the like.
Der Speicher 8 für Anzeigebilder speichert vorübergehend die von der CPU 2 erzeugten zusammengefügten Vogelperspektivenbilder. Der Tastfeldmonitor 9 umfasst eine Anzeigefunktion zur Anzeige der von der CPU 2 erzeugten zusammengefügten Vogelperspektivenbilder als ein Anzeigebild und eine Operationsannahmefunktion zur Annahme einer Operation eines Anwenders über das Tastenfeld. Wenn eine Anzeigeanweisung von der CPU 2 eingegeben wird, zeigt der Tastfeldmonitor 9 ein zusammengefügtes Vogelperspektivenbild als ein Anzeigebild an, das vorübergehend in dem Speicher 8 für Anzeigebilder abgelegt ist. Wenn von der CPU 2 eine Operationsannahmeanweisung eingegeben wird, nimmt sie eine Operation des Anwenders an und sendet an die CPU 2 eine Operationsinformation.The memory 8th for display images temporarily stores the from the CPU 2 created assembled bird's eye view images. The touchpad monitor 9 includes a display function for displaying the data from the CPU 2 generated merged bird's eye images as a display image and an operation accepting function for accepting an operation of a user via the keypad. When a display instruction from the CPU 2 is entered, the touchpad monitor shows 9 an assembled bird's-eye view image as a display image temporarily in the memory 8th is stored for display images. If from the CPU 2 an operation acceptance instruction is inputted, it accepts an operation of the user and sends to the CPU 2 an operation information.
Der Fahrzeuggeschwindigkeitssensor 10 erfasst die Fahrzeuggeschwindigkeit des maßgeblichen Fahrzeugs und gibt ein Fahrzeuggeschwindigkeit-Erfassungssignal (Fahrzeuggeschwindigkeitsimpuls) an die CPU 2 aus. Der Lenksensor 11 erfasst den Lenkwinkel des maßgeblichen Fahrzeugs und gibt ein Lenkwinkel-Erfassungssignal an die CPU 2 aus. Der Gierratensensor 12 erfasst eine Gierrate und gibt ein Gierraten-Erfassungssignal an die CPU 2 aus. Wenn das Fahrzeuggeschwindigkeit-Erfassungssignal von dem Fahrzeuggeschwindigkeitssensor 10 eingegeben wird, ein Lenkwinkel-Erfassungssignal von dem Lenkwinkelsensor 11 eingegeben wird oder ein Gierraten-Erfassungssignal von dem Gierratensensor 12 eingegeben wird, führt die CPU 2 die folgende Operation aus: Sie analysiert das eingegebene Fahrzeuggeschwindigkeits-Erfassungssignal, Lenkwinkel-Erfassungssignal oder Gierraten-Erfassungssignal. Dann berechnet sie die Fahrdistanz oder den Wenderadius des maßgeblichen Fahrzeugs (den Bewegungszustand des maßgeblichen Fahrzeugs) oder berechnet einen Weg des relevanten Fahrzeugs.The vehicle speed sensor 10 detects the vehicle speed of the relevant vehicle and outputs a vehicle speed detection signal (vehicle speed pulse) to the CPU 2 out. The steering sensor 11 detects the steering angle of the relevant vehicle and outputs a steering angle detection signal to the CPU 2 out. The yaw rate sensor 12 detects a yaw rate and outputs a yaw rate detection signal to the CPU 2 out. When the vehicle speed detection signal from the vehicle speed sensor 10 is input, a steering angle detection signal from the steering angle sensor 11 or a yaw rate detection signal from the yaw rate sensor 12 is entered, the CPU performs 2 the following operation: analyzes the input vehicle speed detection signal, steering angle detection signal or yaw rate detection signal. It then calculates the travel distance or the turning radius of the relevant vehicle (the state of movement of the relevant vehicle) or calculates a path of the relevant vehicle.
Der Hinderniserfassungssensor 13 umfasst zum Beispiel ein Sonar, ein Radar oder dergleichen und gibt ein Hindernis-Erfassungssignal an die CPU 2 aus, das dem Empfangszustand einer reflektierten Funkwelle entspricht. Wenn ein Hindernis-Erfassungssignal von dem Hinderniserfassungssensor 13 eingegeben wird, analysiert die CPU 2 das eingegebene Hindernis-Erfassungssignal und erfasst die Position des Hindernisses. Wenn ein Lenksteuerungssingal von der CPU 2 eingegeben wird, steuert die Lenksteuerungsschaltung 14 automatisch das Lenken des maßgeblichen Fahrzeugs auf der Grundlage des eingegebenen Lenksteuerungssignals. In dem wie oben aufgebauten Parkunterstützungssystem 1 kann ein Teil oder können alle seiner Funktionsblöcke aus einem öffentlich bekannten Navigationssystem, das in das maßgebliche Fahrzeug eingebaut werden kann, aufgebaut werden.The obstacle detection sensor 13 For example, it includes a sonar, a radar, or the like, and outputs an obstacle detection signal to the CPU 2 which corresponds to the reception state of a reflected radio wave. When an obstacle detection signal from the obstacle detection sensor 13 is entered, the CPU analyzes 2 the entered obstacle detection signal and detects the position of the obstacle. When a steering control signal from the CPU 2 is input, controls the steering control circuit 14 automatically steering the relevant vehicle based on the inputted steering control signal. In the parking assist system constructed as above 1 For example, a portion or all of its functional blocks may be constructed from a publicly known navigation system that may be incorporated into the authoritative vehicle.
Nachfolgend ist die Funktion bzw. der Betrieb der oben genannten Struktur mit Bezug auf die 1 und die 2 bis 8 beschrieben. 3 zeigt die von der CPU 2 ausgeführte Verarbeitung in Form eines Flussdiagramms.Hereinafter, the function of the above-mentioned structure with reference to FIGS 1 and the 2 to 8th described. 3 shows the from the CPU 2 executed processing in the form of a flow chart.
Als Beispiel sei angenommen, dass ein Anwender das maßgebliche Fahrzeug vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem geparkten Fahrzeug zu parken. In diesem Fall stoppt der Anwender vorübergehend das maßgebliche Fahrzeug neben dem schon geparkten Fahrzeug, das heißt, der Anwender stoppt vorübergehend das maßgebliche Fahrzeug in einer Parkstartposition. In dieser Ausführungsform führt ein Anwender eine vorbestimmte Operation aus, um das Parkunterstützungssystem zu starten, wenn er/sie das maßgebliche Fahrzeug vorwärts fährt. Bezüglich dieser Ausführungsform ist eine Beschreibung für einen Fall gegeben, in dem das Parkunterstützungssystem von einem Anwender gestartet wird, der eine vorbestimmte Operation ausführt. Statt dessen kann die vorliegende Erfindung so ausgebildet sein, dass das Parkunterstützungssystem von einem Anwender gestartet wird, der einen vorbestimmten Satz äußert, wobei er eine Spracherkennungstechnik verwendet. Oder sie kann so ausgebildet sein, dass, wenn das maßgebliche Fahrzeug verzögert wird und sich die Vorwärtsgeschwindigkeit des maßgeblichen Fahrzeugs auf eine vorbestimmte Geschwindigkeit oder weniger verringert, das Parkunterstützungssystem automatisch gestartet wird.For example, assume that a user temporarily stops the relevant vehicle next to a parked vehicle and then strikes and resets the vehicle to park it behind the parked vehicle. In this case, the user temporarily stops the relevant vehicle next to the already parked vehicle, that is, the user temporarily stops the relevant vehicle in a parking start position. In this embodiment, a user performs a predetermined operation to start the parking assist system as he / she drives the authoritative vehicle forward. Regarding this embodiment, a description will be made for a case where the parking assist system is started by a user performing a predetermined operation. Instead, the present invention may be configured such that the parking assist system is started by a user who uttered a predetermined sentence using a voice recognition technique. Or, it may be configured such that when the relevant vehicle is decelerated and the forward speed of the relevant vehicle decreases to a predetermined speed or less, the parking assist system is automatically started.
Wenn die CPU 2 erfasst, dass eine vorbestimmte Operation von dem Anwender ausgeführt wird, um das Parkunterstützungssystem zu starten (”JA” in Schritt S1), startet es einen Zeitgeber, der eine Bildaufnahmezeit zählt, die auf einen vorbestimmten Zyklus (z. B. einige zehn Millisekunden) voreingestellt ist. Somit bestimmt die CPU, ob eine Bildaufnahmezeit gekommen ist (Schritt S2). Wenn die CPU 2 erfasst, dass eine Bildaufnahmezeit gekommen ist (”JA” in Schritt S2), bewirkt sie, dass die Heckbild-Aufnahmekamera 3 das Bild des Bereichs hinter dem maßgeblichen Fahrzeug aufnimmt (Schritt S3). Die CPU 2 wandelt ein aufgenommenes Heckbild, das über den Rahmenspeicher 4 für aufgenommene Bilder von der Heckbild-Aufnahmekamera 3 eingegeben wurde, in eine Vogelperspektivenansicht um, um so ein Vogelperspektiven-Heckbild zu erzeugen (Schritt S4). Sie bewirkt, dass das erzeugte Vogelperspektiven-Heckbild als ein vorheriges Bild gespeichert wird (Schritt S5).If the CPU 2 detects that a predetermined operation is being executed by the user to start the parking assist system ("YES" in step S1), it starts a timer that counts an image capture time that is at a predetermined cycle (e.g., several tens of milliseconds). is preset. Thus, the CPU determines if a Image acquisition time has come (step S2). If the CPU 2 detects that an image capture time has come ("YES" in step S2), it causes the rear image capture camera 3 takes the image of the area behind the relevant vehicle (step S3). The CPU 2 converts a captured rear image that is above the frame store 4 for captured images from the rear image-taking camera 3 is entered into a bird's-eye view so as to produce a bird's-eye view rear view (step S4). It causes the generated bird's eye view rear image to be stored as a previous image (step S5).
Die CPU 2 bestimmt, ob die nächste Bildaufnahmezeit gekommen ist (Schritt S6) und bestimmt ferner, ob das maßgebliche Fahrzeug in einer Parkstartposition gestoppt ist (Schritt S7). Wenn die CPU 2 erfasst, dass die nächste Bildaufnahmezeit gekommen ist (”JA” in Schritt S6), führt sie die gleiche Verarbeitung wie oben beschrieben aus. Das heißt, sie bewirkt, dass die Heckbild-Aufnahmekamera 3 das Bild des Bereichs hinter dem maßgeblichen Fahrzeug aufnimmt (Schritt S8), und wandelt ein aufgenommenes Heckbild, das über den Rahmenspeicher 4 für aufgenommene Bilder von der Heckbild-Aufnahmekamera 3 eingegeben wurde, in eine Vogelperspektivenansicht um (Schritt S9). Dieses Mal fügt die CPU 2 das erzeugte Vogelperspektiven-Heckbild mit dem vorherigen Bild zusammen, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen (Schritt S10), und bewirkt, dass das erzeugte zusammengefügte Vogelperspektivenbild als ein vorheriges Bild gespeichert wird (Schritt S11). Anschließend führt die CPU 2 wiederholt die oben genannte Verarbeitung aus, bis sie erfasst, dass das maßgebliche Fahrzeug in einer Parkstartposition gestoppt hat.The CPU 2 determines whether the next image pickup time has come (step S6) and further determines whether the relevant vehicle is stopped in a parking start position (step S7). If the CPU 2 detects that the next image pickup time has come ("YES" in step S6), it performs the same processing as described above. That is, it causes the rear-shot camera 3 captures the image of the area behind the authoritative vehicle (step S8), and converts a captured tail image that passes over the frame memory 4 for captured images from the rear image-taking camera 3 is entered into a bird's-eye view (step S9). This time, the CPU adds 2 the generated bird's-eye view rear image is combined with the previous image to produce an assembled bird's-eye view image (step S10), and causes the generated composite bird's-eye view image to be stored as a previous image (step S11). Subsequently, the CPU performs 2 Repeats the above processing until it detects that the relevant vehicle has stopped in a parking start position.
Wenn die CPU 2 erfasst, dass das maßgebliche Fahrzeug in einer Parkstartposition gestoppt hat (”JA” in Schritt S7), bewirkt sie, dass der Tastfeldmonitor 9 das zusammengefügte Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Fahrzeugs, das die Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt (Schritt S12). Anschließend beendet die CPU den Ablauf der Verarbeitung und wartet, bis der Anwender eine Zielparkposition einstellt.If the CPU 2 detects that the authoritative vehicle has stopped in a parking start position ("YES" in step S7), it causes the touch panel monitor 9 the assembled bird's-eye view image is displayed as a display image together with a graphic of the authoritative vehicle indicating the position of the authoritative vehicle (step S12). Then the CPU stops processing and waits for the user to set a target parking position.
Durch die oben genannte Verarbeitung führt die CPU 2 nach Starten des Parkunterstützungssystems die folgende, in den 4 bis 6 dargestellte, Operation aus: Wenn sich das maßgebliche Fahrzeug vorwärts bewegt, bewirkt sie, dass die Heckbild-Aufnahmekamera 3 das Bild des Bereichs hinter dem maßgeblichen Fahrzeug in jeder Position aufnimmt, und wandelt ein aufgenommenes Heckbild in eine Vogelperspektivenansicht um, um ein Vogelperspektiven-Heckbild zu erzeugen, fügt sie das erzeugte Vogelperspektiven-Heckbild mit einem vorherigen Bild zusammen, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen. Wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt, bewirkt die CPU 2, dass der Tastfeldmonitor 9 das in 7 dargestellte Bild anzeigt. Das heißt, die CPU bewirkt, dass der Monitor ein durch Umwandeln einer Mehrzahl von Vogelperspektiven-Heckbildern, die aufgenommen wurden, als sich das maßgebliche Fahrzeug vorwärts bewegte, in eine Vogelperspektivenansicht und Zusammenfügen von diesen gewonnenes zusammengefügtes Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Fahrzeugs, die die Position des Fahrzeugs anzeigt, anzeigt. In dem Beispiel eines in 7 dargestellten Anzeigbildes, sind geparkte Fahrzeuge und Parkrahmen (z. B. weiße Linien und Seile) weggelassen.Through the above processing, the CPU performs 2 after starting the parking assistance system, the following, in the 4 to 6 Operation Off: When the relevant vehicle moves forward, it causes the rear-view capture camera 3 It captures the image of the area behind the relevant vehicle in each position, and converts a captured tail image to a bird's-eye view to create a bird's-eye view rear view, merges the created bird's-eye view rear view with a previous image to create a merged bird's-eye view image , When the relevant vehicle stops in a parking start position, the CPU causes 2 that the touchpad monitor 9 this in 7 displayed image displays. That is, the CPU causes the monitor to enter into a bird's-eye view and join together the assembled bird's eye view image obtained by converting a plurality of bird's-eye view rear images taken when the authoritative vehicle moved forward, together with a graphic of the authoritative vehicle, indicating the position of the vehicle indicates. In the example of an in 7 illustrated parking, parked vehicles and parking frames (eg, white lines and ropes) are omitted.
Wenn sich das maßgebliche Fahrzeug vorwärts bewegt, kann die CPU 2 bewirken, dass der Tastfeldmonitor 9 erzeugte zusammengefügte Vogelperspektivenbilder von Augenblick zu Augenblick anzeigt, wie es oben erwähnt ist. Oder sie kann bewirken, dass der Tastfeldmonitor 9 von der Heckbild-Aufnahmekamera 3 aufgenommene Heckbilder in Echtzeit anzeigt. Diese Ausführungsform ist so ausgelegt, dass durch Umwandeln von während des Bewegens des maßgelichen Fahrzeugs neu aufgenommenen Heckbildern in eine Vogelperspektivenansicht gewonnene Vogelperspektiven-Heckbilder ausgeschnitten und zusammengefügt werden, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen. Dieses Ausschneiden wird wie folgt ausgeführt: Ein zusammengefügtes Vogelperspektivenbild, das zuvor zusammengefügt wurde, wird auf der Grundlage der Fahrdistanz, des Wenderadius und des Einschlagwinkels des maßgeblichen Fahrzeugs verschoben und gedreht, und ein Vogelperspektiven-Heckbild, das dem frei gemachten bzw. entleerten Bereich entspricht, wird von einem neuen Vogelperspektiven-Heckbild ausgeschnitten und eingefügt, um ein zusammengefügtes Vogelperspektivenbild zusammenzufügen. Wenn sich das maßgebliche Fahrzeug geradlinig bewegt, wird ein Vogelperspektiven-Heckbild in Rechteckform ausgeschnitten, und wenn sich das maßgebliche Fahrzeug entlang einer Kurve bewegt (das maßgebliche Fahrzeug fährt einen Bogen), wird ein Vogelperspektiven-Heckbild in Bogenform ausgeschnitten.When the relevant vehicle moves forward, the CPU can 2 cause the touchpad monitor 9 generated assembled bird's eye view images from moment to moment as mentioned above. Or it can cause the touchpad monitor 9 from the rear view recording camera 3 shows recorded rear images in real time. This embodiment is designed to cut and assemble bird's eye view rear views obtained by converting rear images newly acquired during the movement of the custom vehicle to a bird's eye view to produce an assembled bird's-eye view image. This cut-out is performed as follows: An assembled bird's-eye view image previously assembled is shifted and rotated based on the travel distance, turning radius and turning angle of the relevant vehicle, and a bird's-eye view rear view corresponding to the vacant area is cut out from a new bird's eye view rear image and pasted to put together a bird's eye view composite image. When the relevant vehicle moves in a straight line, a bird's-eye view rear view is cut out in a rectangular shape, and when the relevant vehicle moves along a curve (the authoritative vehicle is turning an arc), a bird's-eye view rear view is cut out in an arc shape.
Das Vorhergehende ist eine Beschreibung eines Falls, in dem das Parkunterstützungssystem in einem ausreichenden zeitlichen Abstand vor dem Stoppen des maßgeblichen Fahrzeugs in der Parkstartposition gestartet wird und somit eine ausreichend Anzahl von vorherigen Bildern vorhanden ist. Zum Beispiel wird, wenn das Parkunterstützungssystem gestartet wird, unmittelbar bevor das maßgebliche Fahrzeug in einer Parkstartposition stoppt und somit keine ausreichend Anzahl von vorherigen Bildern vorhanden ist, ein Ablauf ausgeführt, wie er in 8 dargestellt ist. Wenn ein Bild angezeigt wird, wird der Bereich, der sich in großer Entfernung zu dem maßgeblichen Fahrzeug befindet, mit dem momentanen Vogelperspektiven-Heckbild ergänzt. Die Beschreibung dieser Ausführungsform ist für einen Fall gegeben worden, in dem ein zusammengefügtes Vogelperspektivenbild angezeigt wird, wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt. Statt dessen kann die vorliegende Erfindung so ausgebildet sein, dass ein zusammengefügtes Vogelperspektivenbild angezeigt wird, wenn der Schalthebel in die Rückwärtsposition gebracht wird oder wenn der Anwender einen vorbestimmten Satz ausspricht.The foregoing is a description of a case in which the parking assist system is started at a sufficient time interval before stopping the relevant vehicle in the parking start position and thus there is a sufficient number of previous images. For example, when the parking assist system is started immediately before the authoritative vehicle stops in a parking start position and thus there is not a sufficient number of previous images, a process is executed, as he in 8th is shown. When an image is displayed, the area that is far away from the relevant vehicle is supplemented with the current bird's-eye view rear image. The description of this embodiment has been given for a case where an assembled bird's-eye view image is displayed when the authoritative vehicle stops at a parking start position. Instead, the present invention may be configured to display an assembled bird's-eye view image when the shift lever is brought to the reverse position or when the user uttered a predetermined set.
Anschließend setzt der Anwender eine Zielparkposition, während er auf das auf dem Tastfeldmonitor 9 angezeigte zusammengefügte Vogelperspektivenbild schaut. Wenn die CPU 2 erfasst, dass eine Parkposition von dem Anwender gesetzt worden ist, gibt sie ein Lenksteuerungssignal an die Lenksteuerungsschaltung 14 aus, die das automatische Lenken des maßgeblichen Fahrzeugs von der Parkstartposition zu der Parkposition steuert.Then, the user sets a target parking position while clicking on the touch panel monitor 9 Displaying joined up bird's eye view image. If the CPU 2 detects that a parking position has been set by the user, it gives a steering control signal to the steering control circuit 14 which controls the automatic steering of the relevant vehicle from the parking start position to the parking position.
Wie es bisher beschrieben ist, ist die erste Ausführungsform so ausgelegt, dass die folgende Operation in dem Parkunterstützungssystem 1 ausgeführt wird: Wenn das maßgebliche Fahrzeug in der Parkstartposition stoppt, wird ein durch Umwandeln von einer Mehrzahl von durch die Heckbild-Aufnahmekamera 3 zu mehreren Zeitpunkten, während sich das maßgebliche Fahrzeug vorwärts bewegt, aufgenommener Heckbilder in eine Vogelperspektivenansicht und Zusammenzufügen von ihnen gewonnenes Vogelperspektivenbild zusammen mit einer Grafik des maßgelichen Fahrzeugs als Anzeigebild angezeigt. Somit wird ein durch Umwandeln von aufgenommenen Heckbildern, die aufgenommen wurden, bevor der Anwender das maßgebliche Fahrzeug vorwärts bewegt und es vorübergehend neben dem geparkten Fahrzeug stoppt, das heißt bevor es der Anwender in einer Parkstartposition stoppt, in eine Vogelperspektivenansicht und Zusammenzufügen von ihnen gewonnenes Vogelperspektivenbild als ein Anzeigebild angezeigt. Daher bildet der hinter einem geparkten Fahrzeug verborgener Bereich keinen toten Winkel, solange das maßgebliche Fahrzeug an einem Bereich vorbei fährt, wo eine Parkposition von dem Anwender eingestellt wird (hinter dem geparkten Fahrzeug in diesem Fall), unmittelbar bevor es sich vorwärts bewegt und in einer Parkstartposition stoppt. Als Folge davon kann erreicht werden, dass der gesamte zum Parken zur Verfügung stehende Platz eingesehen werden kann, und ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, kann in geeigneter Weise angezeigt werden, so dass der Bereich hinter dem maßgeblichen Fahrzeug als ein geeignetes Anzeigebild angezeigt werden kann. Zum Beispiel kann der Anwender, selbst wenn sich das maßgebliche Fahrzeug vorwärts bewegt und vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann eingeschlagen, zurückgesetzt und hinter dem geparkten Fahrzeug geparkt wird, in geeigneter Weise ein Zielparkposition innerhalb eines Anzeigebildes setzen bzw. einstellen.As described so far, the first embodiment is designed so that the following operation in the parking assist system 1 When the authoritative vehicle stops in the parking start position, turning on a plurality of vehicles by the rear image taking camera becomes 3 at multiple times while the authoritative vehicle is moving forward, taken rear images are displayed in a bird's-eye view and merging bird's eye view image obtained therefrom together with a graph of the custom vehicle as a display image. Thus, by converting captured rear images taken before the user advances the authoritative vehicle and temporarily stops it next to the parked vehicle, that is, before the user stops in a parking start position, a bird's-eye view image is added to and collected from them displayed as a display image. Therefore, the area hidden behind a parked vehicle does not form a blind spot as long as the authoritative vehicle passes an area where a parking position is set by the user (behind the parked vehicle in this case), immediately before moving forward and in one Park start position stops. As a result, it can be achieved that the entire space available for parking can be viewed, and an area where the user intends to set a target parking position can be appropriately displayed, so that the area behind the relevant vehicle as a suitable display image can be displayed. For example, even if the authoritative vehicle moves forward and temporarily stops next to an already-parked vehicle and is then hit, reset and parked behind the parked vehicle, the user can appropriately set a target parking position within a display image.
(Zweite Ausführungsform)Second Embodiment
Nachfolgend ist eine zweite Ausführungsform der vorliegenden Erfindung mit Bezug auf die 9 bis 12 beschrieben. Auf eine Beschreibung der gleichen Elemente wie in der oben genannten ersten Ausführungsform ist verzichtet, und wird von den Elementen gegeben, die von jenen in der ersten Ausführungsform verschieden sind. Die erste Ausführungsform ist so ausgelegt, dass eine Heckbild-Aufnahmekamera 3 zur Aufnahme des Bildes des Bereichs hinter dem maßgeblichen Fahrzeug als eine Bildaufnahmekamera zur Aufnahme des Bildes des Bereichs um das maßgebliche Fahrzeug vorgesehen ist. In der zweiten Ausführungsform sind die folgenden Kameras als Bildaufnahmekameras zur Aufnahme des Bildes des Bereichs um das maßgebliche Fahrzeug zusätzlich zu einer Heckbild-Aufnahmekamera 3 zur Aufnahme des Bildes des Bereichs hinter dem maßgeblichen Fahrzeug vorgesehen: eine Beifahrerseitenbild-Aufnahmekamera zur Aufnahme des Bildes des Bereichs auf der rechten Seite des maßgeblichen Fahrzeugs und eine Fahrerseitenbild-Aufnahmekamera zur Aufnahme des Bildes des Bereichs auf der linken Seite des maßgeblichen Fahrzeugs.Hereinafter, a second embodiment of the present invention will be described with reference to FIGS 9 to 12 described. A description of the same elements as in the above-mentioned first embodiment is omitted and given of the elements different from those in the first embodiment. The first embodiment is designed such that a rear-shot camera 3 for capturing the image of the area behind the authoritative vehicle as an imaging camera for capturing the image of the area around the authoritative vehicle. In the second embodiment, the following cameras are as image pickup cameras for picking up the image of the area around the authoritative vehicle in addition to a rear image pickup camera 3 for receiving the image of the area behind the relevant vehicle: a passenger side image taking camera for taking the image of the area on the right side of the relevant vehicle and a driver side image taking camera for taking the image of the area on the left side of the relevant vehicle.
Eine ausführlichere Beschreibung folgt. Ein Parkunterstützungssystem 21 umfasst: eine CPU 22 (ein Vogelperspektivenbild-Erzeugungsmittel, ein Mittel zur Erzeugung eines Vogelperspektivenbildes und ein Steuerungsmittel in der vorliegenden Erfindung), eine Heckbild-Aufnahmekamera 3, eine Beifahrerseitenbild-Aufnahmekamera 23 (Bildaufnahmemittel in der vorliegenden Erfindung), eine Fahrerseitenbild-Aufnahmekamera 24 (Bildaufnahmemittel in der vorliegenden Erfindung), einen Rahmenspeicher 4 für aufgenommene Bilder, einen Arbeitsspeicher 5, einen Kartenspeicher 6, einen Speicher 7 für Zwischenbilder, einen Speicher 8 für Anzeigebilder, einen Tastfeldmonitor 9, einen Fahrzeuggeschwindigkeitssensor 10, einen Lenksensor 11, einen Gierratensensor 12, einen Hinderniserfassungssensor 13 und eine Lenksteuerungsschaltung 14. Die Beifahrerseitenbild-Aufnahmekamera 23 ist zum Beispiel am rechten Spiegel des maßgeblichen Fahrzeugs angebracht und nimmt das Bild des Bereichs auf der rechten Seite des maßgeblichen Fahrzeugs auf. Die Fahrerseitenbild-Aufnahmekamera 23 ist zum Beispiel am linken Spiegel des maßgeblichen Fahrzeugs angebracht und nimmt das Bild des Bereichs auf der linken Seite des maßgeblichen Fahrzeugs auf.A more detailed description follows. A parking assistance system 21 includes: a CPU 22 (a bird's eye view image generating means, a bird's eye view image generating means, and a control means in the present invention), a rear-shot photographing camera 3 , a passenger side-image camera 23 (Image pickup means in the present invention), a driver side image taking camera 24 (Image pickup means in the present invention), a frame memory 4 for captured images, a working memory 5 , a card store 6 , a store 7 for intermediate pictures, a memory 8th for display images, a touchpad monitor 9 , a vehicle speed sensor 10 , a steering sensor 11 , a yaw rate sensor 12 , an obstacle detection sensor 13 and a steering control circuit 14 , The co-driver side-image recording camera 23 For example, it is attached to the right-hand mirror of the relevant vehicle and captures the image of the area on the right side of the relevant vehicle. The driver side-image recording camera 23 For example, it is attached to the left mirror of the relevant vehicle and captures the image of the area on the left side of the relevant vehicle.
Die CPU 22 führt die folgende, in 10 darstellte Operation nach Start des Parkunterstützungssystems aus: Wenn sich das maßgebliche Fahrzeug vorwärts bewegt, bewirkt sie, dass die Heckbild-Aufnahmekamera 3, die rechte Seitenbild-Aufnahmekamera 23 und die Fahrerseitenbild-Aufnahmekamera 24 das Bild des Bereichs hinter dem maßgeblichen Fahrzeug, auf der rechten Seite des maßgeblichen Fahrzeugs bzw. auf der linken Seite des maßgeblichen Fahrzeugs in jeder Position aufnimmt. Es wandelt ein aufgenommenes Heckbild, ein aufgenommenes Beifahrerseitenbild und ein aufgenommenes Fahrerseitenbild in eine Vogelperspektivenansicht um, um ein Vogelperspektiven-Heckbild, ein Vogelperspektiven-Beifahrerseitenbild und ein Vogelperspektiven-Fahrerseitenbild zu erzeugen. Anschließend fügt sie das Vogelperspektiven-Heckbild, das Vogelperspektiven-Beifahrerseitenbild und das Vogelperspektiven-Fahrerseitenbild mit einem vorherigen Bild zusammen, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen. The CPU 22 leads the following, in 10 pictured operation after starting the parking assist system: When the relevant vehicle moves forward, it causes the rear-view capture camera 3 , the right side image recording camera 23 and the driver side-image recording camera 24 pick up the image of the area behind the relevant vehicle, on the right side of the relevant vehicle or on the left side of the relevant vehicle in any position. It converts a captured rear image, a captured passenger side image, and a captured driver side image into a bird's eye view to produce a bird's eye view rear view, a bird's eye view front passenger side view, and a bird's eye view driver side view. It then merges the bird's-eye view rear view, the bird's-eye view front passenger side view, and the bird's-eye view driver sideview with a previous image to create a merged bird's-eye view image.
Wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt, bewirkt die CPU 22, dass der Tastfeldmonitor 9 das in 11 dargestellte Bild anzeigt. Das heißt, die CPU bewirkt, dass der Monitor das Nachfolgende zusammen mit einer Grafik des maßgeblichen Fahrzeugs, die die Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt: Ein zusammengefügtes Vogelperspektivenbild, das durch Zusammenfügen von einer Mehrzahl von Vogelperspektivenbildern gewonnen wird, eine Mehrzahl von rechten Vogelperspektiven-Seitenbildern und eine Mehrzahl von linken Vogelperspektiven-Seitenbildern, die aufgenommen wurden, während sich das maßgebliche Fahrzeug vorwärts bewegte. In diesem Fall erzeugt die CPU 22 ein zusammengefügtes Vogelperspektivenbild, so dass an einem Punkt, wo sich ein Vogelperspektiven-Heckbild und ein rechts Vogelperspektiven-Seitenbild oder ein Vogelperspektiven-Fahrerseitenbild einander überlappen, das Vogelperspektiven-Beifahrerseitenbild oder das Vogelperspektiven-Fahrerseitenbild sichtbar ist. Ferner sind in dem Beispiel eines in 11 dargestellten Anzeigebildes geparkte Fahrzeuge und Parkrahmen weggelassen.When the relevant vehicle stops in a parking start position, the CPU causes 22 that the touchpad monitor 9 this in 11 displayed image displays. That is, the CPU causes the monitor to display the following together with a graphic of the authoritative vehicle indicating the position of the authoritative vehicle as a display image: A merged bird's eye view image obtained by combining a plurality of bird's eye view images, a plurality right bird's eye view side images and a plurality of left bird's eye view side images taken while the authoritative vehicle was moving forward. In this case, the CPU generates 22 an assembled bird's-eye view image such that at a point where a bird's-eye view rear view and a right bird's-eye view page image or a bird's-eye view driver sideview overlap each other, the bird's-eye view front passenger side view or the bird's-eye view driver side view is visible. Furthermore, in the example of an in 11 omitted display image parked vehicles and parking frames omitted.
Einer der Vorteile einer Konstruktion, bei der die Beifahrerseitenbild-Aufnahmekamera 23 und die Fahrerseitenbild-Aufnahmekamera 24 zusätzlich zu der Heckbild-Aufnahmekamera 3 vorgesehen sind, ist folgender: Als Beispiel sei angenommen, dass das maßgebliche Fahrzeug in einer Parkstartposition stoppt, wo der gesamte zum Parken zur Verfügung stehende Platz nicht allein mit der Heckbild-Aufnahmekamera 3 aufgenommen werden kann, wie es in 12 dargestellt ist. Bei einer solchen Konstruktion, bei der nur die Heckbild-Aufnahmekamera 3 vorgesehen ist, muss der Anwender das maßgebliche Fahrzeug weiter von der Parkstartposition vorwärts fahren, so dass er/sie den gesamten zum Parken zur Verfügung stehenden Platz überprüfen kann. Mit einer Konstruktion, die zusätzlich zu der Heckbild-Aufnahmekamera 3 die Beifahrerseitenbild-Aufnahmekamera 23 und die Fahrerseitenbild-Aufnahmekamera 24 vorsieht, kann der Anwender in diesem Fall das Folgende tun: Er/sie kann mit der Beifahrerseitenbild-Aufnahmekamera 23 und der Fahrerseitenbild-Aufnahmekamera 24 den Bereich überprüfen, der allein mit der Heckbild-Aufnahmekamera 3 nicht überprüft werden kann. Daher muss der Fahrer das maßgebliche Fahrzeug von der Parkstartposition aus nicht weiter nach vorn fahren. Somit kann ein unnötiges Fahren des maßgeblichen Fahrzeugs in Vorwärtsrichtung zur Parkunterstützung vermieden werden.One of the advantages of a design where the front passenger side-scan camera 23 and the driver side-image recording camera 24 in addition to the rear-shot camera 3 As an example, suppose that the relevant vehicle stops in a parking start position where the entire space available for parking is not alone with the rear image taking camera 3 can be included as it is in 12 is shown. In such a construction, in which only the rear-image camera 3 is provided, the user must advance the relevant vehicle further from the park start position so that he / she can check the entire space available for parking. With a construction in addition to the rear-view camera 3 the passenger side-image camera 23 and the driver side-image recording camera 24 In this case, the user can do the following: he / she can with the front passenger side image-taking camera 23 and the driver side-image recording camera 24 Check the area alone with the rear-view camera 3 can not be verified. Therefore, the driver does not have to drive the relevant vehicle forward from the parking start position. Thus, unnecessary driving of the relevant vehicle in the forward direction for parking assistance can be avoided.
Wie es bisher beschrieben ist, ist die zweite Ausführungsform so ausgebildet, dass die folgende Operation in dem Parkunterstützungssystem 21 ausgeführt wird: Wenn das maßgebliche Fahrzeug in einer Parkstartposition stoppt, wird ein zusammengefügtes Vogelperspektivenbild zusammen mit einer Grafik des maßgeblichen Fahrzeugs als ein Anzeigebild angezeigt. Das zusammengefügte Vogelperspektivenbild wird durch Umwandeln von einer Mehrzahl von Heckbildern, einer Mehrzahl von rechten Seitenbildern und einer Mehrzahl von linken Seitenbildern, die von der Heckbild-Aufnahmekamera 3, der Beifahrerseitenbild-Aufnahmekamera 23 bzw. der Fahrerseitenbild-Aufnahmekamera 24 zu mehreren Zeitpunkten aufgenommen werden, wenn sich das Fahrzeug vorwärts bewegt, in eine Vogelperspektivenansicht und Zusammenzufügen davon gewonnen. Daher wird ein zusammengefügtes Vogelperspektivenbild, das durch die nachfolgende Operation gewonnen wird, als ein Anzeigebild angezeigt: Aufgenommene Heckbilder, aufgenommene Beifahrerseitenbilder und aufgenommene Fahrerseitenbilder, die aufgenommen werden, bevor der Fahrer das maßgebliche Fahrzeug vorwärts fährt und es vorübergehend neben einem geparkten Fahrzeug stoppt, das heißt, bevor der Anwender das Fahrzeug in einer Parkstartposition stoppt, werden in eine Vogelperspektivenansicht umgewandelt und zusammengefügt. Ferner wird in diesem Fall das Folgende implementiert, solange das maßgebliche Fahrzeug an einem Bereich vorbeifährt, in dem der Anwender eine Parkposition setzt, unmittelbar bevor es sich vorwärts bewegt und an einer Parkstartposition stoppt, ähnlich wie in der oben genannten ersten Ausführungsform: Der hinter dem geparkten Fahrzeug verborgene Bereich bildet keinen toten Winkel, der gesamte zum Parken zur Verfügung stehende Platz kann einsehbar gemacht werden, und ein Bereich, in dem der Anwender das Setzen eines Zielparkposition beabsichtigt, kann in geeigneter Weise angezeigt werden. Somit können die Bereiche hinter dem maßgeblichen Fahrzeug und auf den Seiten des maßgeblichen Fahrzeugs als ein geeignetes Anzeigebild angezeigt werden. Zum Beispiel kann der Anwender, selbst wenn sich das maßgebliche Fahrzeug vorwärts bewegt und vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann eingeschlagen und zurückgesetzt und hinter dem geparkten Fahrzeug geparkt wird, in geeigneter Weise eine Zielparkposition innerhalb eines Anzeigebildes setzen.As described so far, the second embodiment is configured such that the following operation in the parking assist system 21 When the authoritative vehicle stops at a parking start position, an assembled bird's eye view image together with a graphic of the authoritative vehicle is displayed as a display image. The assembled bird's-eye view image is obtained by converting a plurality of rear images, a plurality of right side images, and a plurality of left side images taken from the rear image-taking camera 3 , the passenger side-picture camera 23 or the driver side image taking camera 24 are acquired at a plurality of times as the vehicle moves forward into a bird's-eye view and merging thereof. Therefore, an assembled bird's eye view image obtained by the following operation is displayed as a display image: recorded rear images, recorded passenger side images, and recorded driver side images taken before the driver forwards the authoritative vehicle and temporarily stops it next to a parked vehicle That is, before the user stops the vehicle at a parking start position, a bird's-eye view is converted and merged. Further, in this case, the following is implemented as long as the authoritative vehicle passes an area where the user sets a parking position immediately before moving forward and stops at a parking start position, similar to the above-mentioned first embodiment parked vehicle hidden area does not form a blind spot, the entire space available for parking can be made visible, and an area in which the user intends to set a target parking position can be appropriately displayed. Thus, the areas behind the relevant vehicle and on the sides of the relevant vehicle may be considered appropriate Display image. For example, even if the authoritative vehicle moves forward and temporarily stops beside an already-parked vehicle and is then hit and reset and parked behind the parked vehicle, the user can appropriately set a target parking position within a display image.
Diese Ausführungsform ist so ausgebildet, dass das Folgende implementiert ist: An einem Punkt, an dem ein Vogelperspektiven-Heckbild und ein Vogelperspektiven-Beifahrerseitenbild oder ein Vogelperspektiven-Fahrerseitenbild einander überlappen, wird ein zusammengefügtes Vogelperspektivenbild so erzeugt, dass das Vogelperspektiven-Beifahrerseitenbild oder das Vogelperspektiven-Fahrerseitenbild sichtbar ist. Daher kann, wenn die Auflösung eines von der Beifahrerseitenbild-Aufnahmekamera 23 aufgenommenes Beifahrerseitenbild oder ein von der Fahrerseitenbild-Aufnahmekamera 24 aufgenommenes Fahrerseitenbild höher als die Auflösung eines von der Heckbild-Aufnahmekamera 3 aufgenommenen Bildes ist, ein scharfes zusammengefügtes Vogelperspektivenbild als ein Anzeigebild angezeigt werden.This embodiment is configured to implement the following: At a point where a bird's-eye view rear view and a bird's-eye view front passenger side view or a bird's-eye view driver sideview overlap, an assembled bird's-eye view image is created such that the bird's-eye view front passenger side view or bird's-eye view Driver page image is visible. Therefore, when the resolution of one of the passenger side image taking camera 23 taken passenger side image or one from the driver side image recording camera 24 recorded driver side image higher than the resolution of one of the rear image capture camera 3 is a recorded sharp bird's eye view image displayed as a display image.
(Dritte Ausführungsform)Third Embodiment
Nachfolgend ist eine dritte Ausführungsform der vorliegenden Erfindung mit Bezug auf 13 und 14 beschrieben. Auf eine Beschreibung der gleichen Elemente wie jene der zweiten Ausführungsform ist verzichtet, und nur von den Elementen gegeben, die von jenen der zweiten Ausführungsform verschieden sind. Die zweite Ausführungsform ist so ausgebildet, dass, wenn ein Vogelperspektiven-Heckbild, ein Vogelperspektiven-Beifahrerseitenbild, ein Vogelperspektiven-Fahrerseitenbild und ein vorheriges Bild zusammengefügt werden, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, das zusammengefügte Vogelperspektivenbild wie folgt erzeugt wird: Das Vogelperspektiven-Beifahrerseitenbild und das Vogelperspektiven-Fahrerseitenbild werden in der zu dem maßgeblichen Fahrzeug im Wesentlichen senkrechten Richtung ausgeschnitten. In der dritten Ausführungsform wird ein zusammengefügtes Vogelperspektivenbild durch das folgende Verfahren erzeugt: Die Neigung eines geparkten Fahrzeugs oder eines Parkrahmens zu dem maßgeblichen Fahrzeug wird erfasst, ein Vogelperspektiven-Beifahrerseitenbild und ein Vogelperspektiven-Fahrerseitenbild werden in der zu der Neigung des geparkten Fahrzeugs oder dem Parkrahmen relativ zu dem maßgeblichen Fahrzeug im Wesentlichen senkrechten Richtung ausgeschnitten.Hereinafter, a third embodiment of the present invention will be described with reference to FIG 13 and 14 described. A description of the same elements as those of the second embodiment is omitted and given only of the elements different from those of the second embodiment. The second embodiment is arranged such that when a bird's-eye view rear view, a bird's-eye view front passenger side view, a bird's-eye view driver side view, and a previous picture are combined to create a merged bird's-eye view image, the merged bird's-eye view image is generated as follows: the bird's-eye view front passenger side view and the bird's-eye view driver side image are cut out in the direction substantially perpendicular to the relevant vehicle. In the third embodiment, an assembled bird's-eye view image is generated by the following method: the inclination of a parked vehicle or a parking frame to the relevant vehicle is detected, a bird's-eye view passenger side image and a bird's-eye view driver side image are related to the inclination of the parked vehicle or the parking frame cut out in a direction substantially perpendicular to the relevant vehicle.
Das heißt, in einem Parkunterstützungssystem 31, ist eine CPU 32 (Vogelperspektivenbild-Erzeugungsmittel, Mittel zur Erzeugung eines zusammengefügten Vogelperspektivenbildes, Steuerungsmittel und Neigungserfassungsmittel in der vorliegenden Erfindung) so aufgebaut, dass sie eine Bildanalysefunktion besitzt. In diesem Fall führt die CPU 32 eine Bildanalyse bezüglich dem Folgenden aus: Einem von einer Heckbild-Aufnahmekamera 3 aufgenommenen Heckbild, einem von einer Beifahrerseitenbild-Aufnahmekamera 23 aufgenommenen rechten Seitenbild, einem von einer Fahrerseitenbild-Aufnahmekamera 24 aufgenommenen linken Seitenbild, einem durch Umwandeln eines Heckbildes in eine Vogelperspektivenansicht gewonnenen Vogelperspektiven-Heckbild, einem durch Umwandeln eines rechten Seitenbildes in eine Vogelperspektivenansicht gewonnenen rechten Vogelperspektivenbild und einem durch Umwandeln eines aufgenommenen linken Seitenbildes in eine Vogelperspektivenansicht gewonnenen linken Vogelperspektivenbild. Die CPU führt diese Bildanalyse entsprechend einem vorbestimmten Bildanalysealgorithmus aus und erfasst die Neigung eines geparkten Fahrzeugs oder eines Parkrahmens relativ zu dem maßgeblichen Fahrzeug. Wenn die CPU 32 anschließend das Vogelperspektiven-Heckbild, das Vogelperspektiven-Beifahrerseitenbild, das Vogelperspektiven-Fahrerseitenbild und ein vorheriges Bild zusammenfügt, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, führt sie die folgende Operation aus: Sie schneidet das Vogelperspektiven-Beifahrerseitenbild und das Vogelperspektiven-Fahrerseitenbild in der zu der Neigung des geparkten Fahrzeugs oder des Parkrahmens relativ zu dem maßgeblichen Fahrzeug im Wesentlichen senkrechten Richtung aus und erzeugt ein zusammengefügtes Vogelperspektivenbild.That is, in a parking assistance system 31 , is a CPU 32 (Bird's eye view image generating means, means for generating an assembled bird's eye view image, control means and slope detecting means in the present invention) is constructed to have an image analysis function. In this case, the CPU performs 32 an image analysis relating to the following: One of a rear-shot camera 3 Captured rear view, one from a passenger side image capture camera 23 taken right side image, one from a driver side image recording camera 24 a left bird's eye view image obtained by converting a rear image to a bird's eye view, a right bird's eye image obtained by converting a right side image into a bird's eye view, and a left bird's eye view image obtained by converting a captured left side image into a bird's-eye view. The CPU performs this image analysis according to a predetermined image analysis algorithm and detects the inclination of a parked vehicle or a parking frame relative to the relevant vehicle. If the CPU 32 She then performs the following operation: She intersects the bird's-eye view front passenger's side view and the bird's-eye view driver's side image in the to the bird's-eye view front image, the bird's-eye view passenger side image, the bird's-eye view driver side image, and a previous image together to create an assembled bird's eye view image Inclination of the parked vehicle or the parking frame relative to the relevant vehicle in the substantially vertical direction and produces an assembled bird's eye view image.
Wenn das maßgebliche Fahrzeug in der Parkposition stoppt, bewirkt die CPU 32, dass der Tastfeldmonitor 9 das in 14 dargestellte Bild anzeigt. Das heißt, die CPU bewirkt, dass der Monitor das Folgende, zusammen mit einer Grafik des maßgeblichen Fahrzeug, die die Position des maßgeblichen Fahrzeugs anzeigt, als ein Anzeigebild anzeigt: Ein zusammengefügtes Vogelperspektivenbild, das durch Zusammenfügen von einer Mehrzahl von Vogelperspektiven-Heckbildern, einer Mehrzahl von rechten Vogelperspektiven-Seitenbildern und einer Mehrzahl von linken Vogelperspektiven-Seitenbildern gewonnen wird, die aufgenommen wurden, während sich das Fahrzeug vorwärts bewegt hat. Ferner erzeugt die CPU 32 in diesem Fall ein zusammengefügtes Vogelperspektivenbild, so dass an einem Punkt, wo ein Vogelperspektiven-Heckbild und ein Vogelperspektiven-Beifahrerseitenbild oder ein Vogelperspektiven-Fahrerseitenbild einander überlappen, das Vogelperspektiven-Beifahrerseitenbild oder das Vogelperspektiven-Fahrerseitenbild sichtbar ist. In dem Beispiel eines in 14 dargestellten Anzeigebildes werden Parkrahmen erfasst und angezeigt.If the relevant vehicle stops in the park position, the CPU causes 32 that the touchpad monitor 9 this in 14 displayed image displays. That is, the CPU causes the monitor to display the following, together with a graphic of the authoritative vehicle indicating the position of the authoritative vehicle, as a display image: An assembled bird's-eye view image obtained by combining a plurality of bird's-eye view rear images A plurality of right bird's eye view side images and a plurality of left bird's eye view side images taken while the vehicle has moved forward. Furthermore, the CPU generates 32 in this case, a merged bird's eye view image such that at a point where a bird's eye view rear view and a bird's eye view passenger side view or bird's eye view driver side view overlap, the bird's eye view passenger side view or the bird's eye view driver side view is visible. In the example of an in 14 shown display image parking frames are detected and displayed.
Wie es bis zu diesem Punkt beschrieben ist, ist die dritte Ausführungsform so ausgebildet, dass die nachfolgende Operation in dem Parkunterstützungssystem 31 ausgeführt wird: Wenn die Neigung eines geparkten Fahrzeugs oder eines maßgeblichen Fahrzeugs relativ zu dem maßgeblichen Fahrzeug erfasst wird und ein Vogelperspektiven-Heckbild, ein Vogelperspektiven-Beifahrerseitenbild, ein Vogelperspektiven-Fahrerseitenbild und ein vorheriges Bild zusammenfügt werden, um ein zusammengefügtes Vogelperspektivenbild zu erzeugen, wird das zusammengefügte Vogelperspektivenbild wie folgt erzeugt: Das Vogelperspektiven-Beifahrerseitenbild und das Vogelperspektiven-Fahrerseitenbild werden in der zu der Neigung des geparkten Fahrzeugs oder des Parkrahmens zu dem maßgeblichen Fahrzeug im Wesentlichen senkrechten Richtung ausgeschnitten. Dies ist in anderen Fällen als in Fällen vorteilhaft, in denen ein Anwender das maßgebliche Fahrzeug durch so genanntes Parallelparken parkt, oder zum Beispiel ein Anwender das maßgebliche Fahrzeug vorwärts fährt und vorübergehend vor oder hinter einem schon geparkten Fahrzeug parkt und dann in einem im Wesentlichen rechten Winkel einschlägt und das Fahrzeug zurücksetzt, um es seitlich des geparkten Fahrzeugs zu parken. Es ist zum Beispiel vorteilhaft, selbst wenn ein Anwender das maßgebliche Fahrzeug vorwärts fährt und vorübergehend schräg vor oder hinter einem schon geparkten Fahrzeug stoppt und dann einen stumpfen Winkel einschlägt und das Fahrzeug zurücksetzt, um es seitlich des geparkten Fahrzeugs zu parken (der Anwender parkt das Fahrzeug durch so genanntes Winkelparken). Es bringt die folgenden Vorteile: Der hinter einem geparkten Fahrzeug verdeckte Bereich bildet keinen toten Winkel, der gesamte zum Parken zur Verfügung stehende Platz kann eingesehen werden, und ein Bereich, in dem der Anwender das Setzen einer Zielparkposition beabsichtigt, kann in geeigneter Weise angezeigt werden.As described up to this point, the third embodiment is configured such that the subsequent operation in the parking assist system 31 When the inclination of a parked vehicle or vehicle relative to the relevant vehicle is detected and a bird's-eye view rear view, a bird's-eye view passenger side view, a bird's-eye view driver side view, and a previous image are put together to create a merged bird's-eye view image The merged bird's eye view image is generated as follows: The bird's-eye view passenger side view and the bird's-eye view driver side image are cut out in the direction substantially perpendicular to the slope of the parked vehicle or the park frame toward the relevant vehicle. This is advantageous in other cases than in cases where a user parks the relevant vehicle by so-called parallel parking or, for example, a user drives the relevant vehicle forward and parks temporarily in front of or behind a parked vehicle and then in a substantially right Angle strikes and the vehicle resets to park it to the side of the parked vehicle. For example, it is advantageous even when a user drives forward the authoritative vehicle and temporarily stops obliquely in front of or behind a parked vehicle and then makes an obtuse angle and resets the vehicle to park it laterally of the parked vehicle (the user parks the vehicle Vehicle through so-called angle parking). It brings the following advantages: The area hidden behind a parked vehicle does not form a blind spot, the entire space available for parking can be seen, and an area where the user intends to set a target parking position can be appropriately displayed ,
(Weitere Ausführungsformen)(Further embodiments)
Die vorliegende Erfindung ist nicht auf die oben erwähnten Ausführungsformen begrenzt, und sie kann wie nachstehend beschrieben modifiziert und erweitert werden.The present invention is not limited to the above-mentioned embodiments, and may be modified and expanded as described below.
Bei der oben genannten Konstruktion wird die vorliegende Erfindung auf Fälle angewendet, wo ein Anwender das maßgebliche Fahrzeug vorwärts fährt und vorübergehend neben einem schon geparkten Fahrzeug stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem geparkten Fahrzeug zu parken (Parallelparken). Die vorliegende Erfindung kann so ausgelegt sein, dass sie auf Fälle angewendet wird, wo ein Anwender das maßgebliche Fahrzeug neben einem Gebäude (Wohnhaus, Kaufhaus oder dergleichen) stoppt und dann einschlägt und das Fahrzeug zurücksetzt, um es hinter dem Gebäude zu parken. Sie kann so ausgelegt sein, dass sie auf Fälle angewendet wird, wo kein geparktes Fahrzeug oder Gebäude vorhanden ist, das zu der Ausbildung eines toten Winkels führt, und ein Anwender einschlägt und zurücksetzt, um das maßgebliche Fahrzeug zu parken. Bei der oben erwähnten Auslegung wird die vorliegende Erfindung auf ein System angewendet, das das Einsehen des Bereichs hinter dem maßgeblichen Fahrzeug unterstützt. Sie kann so ausgelegt sein, dass sie auf ein System angewendet wird, die das Einsehen des Bereichs vor dem maßgeblichen Fahrzeug unterstützt.With the above construction, the present invention is applied to cases where a user drives the authoritative vehicle forward and temporarily stops beside an already-parked vehicle and then hits and resets the vehicle to park it behind the parked vehicle (parallel parking). The present invention may be adapted to be applied to cases where a user stops the relevant vehicle adjacent to a building (dwelling house, department store or the like) and then strikes and resets the vehicle to park it behind the building. It may be designed to be applied to cases where there is no parked vehicle or building resulting in the formation of a blind spot, and a user will strike and reset to park the relevant vehicle. In the above-mentioned construction, the present invention is applied to a system that promotes the visibility of the area behind the relevant vehicle. It can be designed to be applied to a system that helps to see the area ahead of the relevant vehicle.
Die Heckbild-Aufnahmekamera, die Beifahrerseitenbild-Aufnahmekamera und die Fahrerseitenbild-Aufnahmekamera können in anderen als den oben genannten Positionen eingebaut sein. Zum Beispiel können sie in der Umgebung des Stoßfängers eingebaut sein.The rear image taking camera, the front passenger side image taking camera and the driver side image taking camera may be installed in positions other than the above. For example, they may be installed in the vicinity of the bumper.