JP2007030630A - 駐車支援方法及び駐車支援装置 - Google Patents

Abstract

【課題】 記録した画像データと新たに取得した画像データとを用いた画面の更新頻度を向上することができる駐車支援方法及び駐車支援装置を提供する。
【解決手段】 ナビゲーション装置１は、車両位置を特定する制御部３及びＧＰＳ受信部７と、車両に設けられたカメラ２５から画像データを取得する画像データ取得部１０とを備える。さらに、画像データのうち、車両が合成用距離分移動した際に、カメラの死角となる領域のみを抽出し、抽出したデータを撮像位置と対応付けて記録画像データとして画像メモリ１５に格納する描画処理部１８を備える。描画処理部１８は、車両が画像更新距離分移動する度に、進行方向において合成用距離後方の撮像位置で撮像された前記記録データを読出し、記録画像データの合成領域に基づく過去画像と、現在画像データに基づく現在画像とを並べた駐車支援画像をディスプレイ６に出力する。
【選択図】 図１

Description

本発明は、駐車支援方法及び駐車支援装置に関する。

従来より、自動車を駐車させる際の運転操作を支援する装置として、車両後端に取り付けられた車載カメラから画像データを取得し、その画像データを運転席近傍に配設されたディスプレイに出力する駐車支援装置が知られている。この車載カメラは、通常、車両のリヤバンパー中央部と車両後方の背景とを撮像するものの、車両のフロア下方、リヤコーナー周辺等は、死角領域となっている。従って、画像データを出力した画面には、車両のフロア下方の画像、リヤコーナー周辺の画像は表示されないため、駐車目標領域に対する車両のずれ、リヤコーナー周辺と障害物との相対距離が確認しずらい問題がある。

この問題に対し、車載カメラから取得した画像データをメモリに蓄積し、蓄積した画像データを用いて、死角領域に車両の背景を合成した画像を表示する装置も提案されている（特許文献１参照）。この装置では、運転席よりも後方に設けられた車載カメラから、画像データを取得する。そして、車両が後退を始めた際に、蓄積した画像データの中から、現在の車両の運転席に相当する位置で撮像した画像データを読出す。さらに、現在の画像データを運転席の位置に視点変換し、その視点変換した画像データと、読出した画像データとを合成する。また、運転席から後方を見たときに、死角となる車両の後方ボデー、座席等にあたる領域にも、メモリに蓄積した画像データを合成し、その画像に車体の輪郭線を描画する。これにより、運転席の位置に視点を設定し、運転席から後方を視たときの後方ボデー等の死角領域に外部背景が表示された画像が、ディスプレイに表示される。
特開２００３−２４４６８８号公報

しかし、上記した装置では、車両の移動に伴って各地点で撮像した各画像データを、記憶部に蓄積する。そして、合成画像を出力する際に、蓄積された各画像データのうち、必要な画像データを画像を更新するタイミングで読込む。このため、合成画像の更新頻度を高める場合、処理性能の高いＣＰＵ、大容量のメモリ及びハードディスク等の高価なハードウェア構成が要求されてしまう。このため、安価なハードウェア構成でも、死角領域を表示した画面の更新頻度を向上させることができる方法及び装置が求められている。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、記録した画像データと新たに取得した画像データとを用いた画面の更新頻度を向上することができる駐車支援方法及び駐車支援装置を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、車両の位置を特定する位置特定手段と、前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを格納する画像データ記憶手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、前記画像データ取得手段が取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出し、抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして前記画像データ記憶手段に格納するとともに、前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記
車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを前記画像データ記憶手段から読み出し、読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を前記表示手段に出力することを要旨とする。

請求項２に記載の発明は、車両に設けられた駐車支援装置において、前記車両の位置を特定する位置特定手段と、前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出する抽出手段と、抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして格納する画像データ記憶手段と、前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを読み出す読出手段と、読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を表示手段に出力する画像出力手段とを備えることを要旨とする。

請求項３に記載の発明は、請求項２に記載の駐車支援装置において、前記画像出力手段は、前記過去画像に、前記車両の現在位置を示す指標を描画することを要旨とする。
請求項４に記載の発明は、請求項２又は３に記載の駐車支援装置において、前記抽出手段が前記画像データから抽出する領域は、その画像データの撮像位置から、進行方向において所定距離分進んだ位置で、少なくとも前記車両のフロア下方又はバンパー隅部が位置する背景を撮像した領域であることを要旨とする。

請求項５に記載の発明は、請求項２〜４のいずれか１項に記載の駐車支援装置において、前記抽出手段により抽出された前記画像データは、俯瞰画像データに変換されて、前記画像データ記憶手段に格納されることを要旨とする。

請求項６に記載の発明は、請求項２〜５のいずれか１項に記載の駐車支援装置において、前記画像データ記憶手段は、前記記録画像データに、その記録画像データの撮像位置での前記車両の舵角情報又は方位情報を対応付けて格納し、前記画像出力手段は、前記記録画像データに対応付けられた前記舵角情報又は方位情報に基づく舵角と、現在の前記車両の舵角との相対角度に基づいて、前記記録画像データの前記合成領域を変更することを要旨とする。

請求項１又は２に記載の発明によれば、画像データ取得手段が取得した画像データのうち、駐車支援画像を表示するために必要であって、所定距離進んだ位置で撮像装置の可視範囲外となる背景を撮像した領域を抽出し、その画像データの撮像位置と対応付けて記録画像データとして保存する。このため、記録画像データのデータ量が軽減化され、画像データ記憶手段の容量を縮小できる。また、記録画像データの保存処理、読出処理等を軽減化し、処理時間を短縮化することができる。

請求項３に記載の発明によれば、過去画像に、現在の車両の位置を示す指標が描画される。このため、過去画像上の車両の位置を確認することができるので、駐車目標領域と車両とのずれを把握できる。

請求項４に記載の発明によれば、抽出手段は、画像データの撮像位置から所定距離だけ進行した位置で、車両のフロア下方又はバンパー隅部に相当する領域を抽出する。従って、記録画像データのデータ量を軽減化しながら、車両フロア下方又はバンパー隅部にあた
る画像を擬似的に表示した駐車支援画像を出力することができる。

請求項５に記載の発明によれば、記録画像データは、俯瞰画像データに変換されたデータである。このため、車両の現在位置で撮像した画像データと並べて表示した際に、運転者に違和感を与えない画像にすることができる。また、画像データのうち、部分的に抽出された後の画像データを俯瞰画像データに変換するので、変換処理を軽減することができる。

請求項６に記載の発明によれば、記録画像データには、舵角情報又は方位情報が対応付けられる。そして、その舵角情報又は方位情報に基づく舵角と、現在の舵角とに基づいて、記録画像データの合成領域が変更される。このため、過去画像を現在画像と並べて表示した際に、過去画像及び現在画像の連続性を向上できる。

以下、本発明の駐車支援方法及び駐車支援装置を、車両（自動車）に実装されたナビゲーション装置に具体化した一実施形態を図１〜図１２に従って説明する。図１は、ナビゲーション装置１の構成を説明するブロック図である。

図１に示すように、ナビゲーション装置１は、制御装置２を備えている。制御装置２は、主制御を行う位置特定手段及び読出手段としての制御部３、メインメモリ４及びＲＯＭ５を備えている。制御部３は、ＣＰＵ等から構成され、ＲＯＭ５に格納された経路案内プログラム、駐車支援プログラム等、各種プログラムに従って各種処理を行う。メインメモリ４は、作業用のＲＡＭであって、駐車支援のための各種変数が格納されている。

また、ＲＯＭ５には、輪郭描画データ５ａが格納されている。輪郭描画データ５ａは、ナビゲーション装置１を実装した、図２に示す車両Ｃの輪郭を描画するためのデータである。輪郭描画データ５ａを、表示手段としてのディスプレイ６（図１参照）に出力すると、図８に示すような、指標としての補助線４７が描画される。補助線４７は、車体外郭を示す外郭描画線４５と、各後輪ＣＲ（図２参照）を示す後輪描画線４６とを有している。

また、図１に示すように、制御装置２は、位置特定手段を構成するＧＰＳ受信部７を備えている。ＧＰＳ受信部７は、ＧＰＳ衛星からの電波を受信する。制御部３は、ＧＰＳ受信部７から入力した位置検出信号に基づいて、緯度・経度・高度等の車両Ｃの絶対位置を定期的に算出する。

さらに、制御装置２は、車両側インターフェース部（車両側Ｉ／Ｆ部８）を備えている。制御部３は、この車両側Ｉ／Ｆ部８を介して、シフトポジション信号ＳＰ、舵角情報としての舵角センサ信号ＳＴ、車速信号ＶＳ及び方位検出信号ＤＳからなる車両データを入力する。

シフトポジション信号ＳＰは、例えばシフトポジションスイッチ２０から出力された信号であって、現在のシフトポジションを示す。舵角センサ信号ＳＴは、ステアリング舵角センサ２１から出力された信号であって、現在の車両Ｃの舵角を示す。車速信号ＶＳは、車輪の回転速度を検出する車速センサ２２から出力されたパルス信号であって、制御部３は、そのパルス信号に基づき、車両Ｃの速度とを算出するとともに、入力パルス数に基づき車両Ｃの移動距離を算出する。方位検出信号ＤＳは、車両Ｃの方位を示し、車両Ｃに設けられたジャイロセンサ２３から出力される。

制御部３は、これらの車速信号ＶＳ及び方位検出信号ＤＳに基づいて、自律航法データを生成し、ＧＰＳ受信部７に基づき算出した自車位置を補正する。本実施形態では、ナビ
ゲーション装置１の位置を、自車位置として算出する。

また、制御装置２は、地図データ記憶部９を備えている。地図データ記憶部９には、経路データ９ａ及び地図描画データ９ｂが格納されている。経路データ９ａは、ノードデータ及びリンクデータを有し、制御部３は、この経路データ９ａを用い、ＲＯＭ５に格納された経路案内プログラムに従って、経路探索及び経路案内を行う。また、制御部３は、上記したように算出した自車位置と、走行軌跡、経路データ９ａを照合して、自車位置を適切な道路上に位置決めすることにより、自車位置の精度を高めるようになっている。地図描画データ９ｂは、広範囲から狭範囲の地図を描画した地図画面６ａをディスプレイ６に表示するためのデータであって、経路データ９ａと対応付けられている。

さらに、ナビゲーション装置１は、ディスプレイ６及びスピーカ１１を備えている。ディスプレイ６は、タッチパネルであって、車両Ｃが前進する際には、制御部３による駆動制御により、地図画面６ａを表示する。また、車両Ｃが後退する際には、制御部３による駆動制御により、駐車補助モードに切り替えられる。駐車補助モードには、第１及び第２表示モードが設定され、第１表示モードでは、車両Ｃの後方を、撮像装置としてのバックモニタカメラ（以下、カメラ２５という）により撮像したバックモニタ画面（図示省略）を表示する。第２表示モードでは、異なる地点で撮像した複数の画像データを用いた駐車支援画面４１（図１２参照）を表示する。スピーカ１１は、制御装置２が備える音声出力部１２からの出力信号に基づき、案内経路等を案内する案内音又は案内音声を出力する。

また、制御装置２は、画像データ取得手段としての画像データ取得部１０を備えている。画像データ取得部１０は、制御部３の制御により、車両Ｃに設けられたカメラ２５を駆動制御して、車両Ｃの後退に従って、各地点における画像データＧ（図３参照）を取得する。また、車両Ｃが、路面上の位置を示すための図２に示す車両座標系（Ｘ，Ｙ）において予め定められた画像取得距離Ｄ１だけ移動する度に、画像データＧを逐次取得する。本実施形態では、画像取得距離Ｄ１は、２００ｍｍに設定されている。

図２に示すように、カメラ２５は、車両Ｃのうち、車幅方向（車両座標系のＹ軸方向）の略中央位置に、光軸を下方に向けて取り付けられている。このカメラ２５は、カラー画像を撮像し、アナログ／デジタル変換された画像データＧを生成するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子と（いずれも図示せず）を備えている。カメラ２５は、例えば左右１４０度の後方視野を有し、車両Ｃの後方路面の約数メートルを可視範囲Ｚとしている。また、カメラ２５の撮像範囲には、リヤバンパーＲＢのバンパー隅部（以下、隅部ＢＣという）を除く、中央部ＢＭが含まれている。

カメラ２５によって生成された画像データＧは、例えば、図５（ａ）に示すような画像３０を表示し、その画像３０には、リヤバンパーＲＢの中央部ＢＭを撮像した後端画像４２が下端に表示されている。また、画像３０は、カメラ２５が広角レンズを用いているため、周辺の画像が歪む、いわゆる歪曲収差が生じているが、運転者が見て直感的に理解できる程度の歪みになっている。さらに、画像３０は、車室内のバックミラーに映る像と同様になるように左右反転されて表示されている。

また、図１に示すように、制御装置２は、ユーザ入力Ｉ／Ｆ部１７を備えている。ユーザ入力Ｉ／Ｆ部１７は、タッチパネルや、ディスプレイ６に隣設された操作スイッチ１６がユーザにより入力操作されると、入力操作に応じた入力信号を制御部３に出力する。

さらに、制御装置２は、抽出手段、読出手段及び画像出力手段を構成する描画処理部１８を備えている。描画処理部１８は、画像処理を行う演算部や、ディスプレイ６に表示す
るための出力データを一時格納するＶＲＡＭ（いずれも図示省略）等を備えている。

描画処理部１８は、画像取得距離Ｄ１ごとに画像データ取得部１０が取得した画像データＧを入力する。そして、図５（ａ）に示す、画像データＧに基づく画像３０のうち、予め定められた保存領域Ｂ１のみを抽出し、図５（ｂ）に示すように、部分データＧ１を生成する。保存領域Ｂ１は、各画素座標を示す画像座標系（ｘ，ｙ）において、画像データＧと同じ幅（ｙ軸方向における長さ）であって、その高さ（ｘ軸方向の長さ）が短くなるように区画された矩形状の領域である。即ち、ディスプレイ６の画像表示領域６Ｚのうち車両Ｃ側であって、反進行方向側の領域を、保存領域Ｂ１としている。

さらに、描画処理部１８は、部分データＧ１を、記録画像データとしての俯瞰画像データＧ２に変換する。このとき、描画処理部１８は、ＲＯＭ５等に格納された図示しない座標変換テーブルを読込んで、部分データＧ１の各画素座標を、テーブルで紐付けられた変換先の画素座標に変換する。これにより、部分データＧ１は、現在のカメラ２５の光軸と路面との交点の鉛直方向上方であって、カメラ２５の高さ位置とほぼ同じ位置に設定された仮想視点に視点変換される。その結果、図５（ｂ）に示すような部分データＧ１に基づく画像３１が、図５（ｃ）に示すように、より高い位置から見下ろした俯瞰画像３２に変換される。

描画処理部１８により俯瞰画像データＧ２が生成されると、制御部３は、図３に模式的に示すように、画像データＧ（俯瞰画像データＧ２）を撮像した位置を、位置データとしての撮像位置データ１３として俯瞰画像データＧ２に添付する。また、舵角センサ信号ＳＴに基づく舵角を、舵角情報としての舵角データ１４として添付する。そして、撮像位置データ１３及び舵角データ１４が添付された俯瞰画像データＧ２を、記録データＧ３として、画像データ記憶手段としての画像メモリ１５（図１参照）に格納する。即ち、画像メモリ１５には、車両Ｃが画像取得距離Ｄ１を移動する度に生成された各記録データＧ３が蓄積される。また、添付される撮像位置データ１３は、絶対座標でもよいし、基準位置からの相対座標でもよい。また、舵角データ１４ではなく、方位検出信号ＤＳに基づく方位データ（方位情報）を俯瞰画像データＧ２に添付するようにしてもよい。

また、描画処理部１８は、車両Ｃが前進又は停車している際に、上記した地図画面６ａをディスプレイ６に出力する。さらに、車両Ｃが後退した際には、制御部３の制御に従って、上記した第１表示モードの処理を行う。描画処理部１８は、車両Ｃの現在位置で撮像した画像データＧを画像データ取得部１０から取得し、車両Ｃ後方を撮像したバックモニタ画面（図示省略）をディスプレイ６に表示する。そして、車両Ｃの移動に伴い画面を更新する。

第２表示モードの際は、描画処理部１８は、制御部３の制御により、図１２に示すような駐車支援画面４１を出力する。詳述すると、描画処理部１８は、図４（ａ）に示す、撮像位置としての初期位置Ａから、所定距離としての合成用距離Ｄ３分移動するまで、画像取得距離Ｄ１ごとに、記録データＧ３を画像メモリ１５に蓄積する。本実施形態では、合成用距離Ｄ３は、１ｍに設定されている。

車両Ｃが、初期位置Ａから合成用距離Ｄ３だけ後退し、図４（ｂ）に示すように位置Ｂに到達すると、描画処理部１８は、画像データ取得部１０から、車両Ｃの現在位置（位置Ｂ）で撮像された画像データＧを取得する。この現在の自車位置で撮像された画像データＧを、以下、現在画像データＧ４という。現在画像データＧ４は、図６（ｂ）に示す画像３３のように、リヤバンパーＲＢを撮像した後端画像４２の画像データを含んでいる。この現在画像データＧ４のうち、車両Ｃに近い領域を撮像した、所定領域としての合成領域Ｂ２が、俯瞰画像データＧ２と合成する領域となっている。尚、合成領域Ｂ２を区画する
座標は、一定となっている。

また、描画処理部１８は、画像メモリ１５内において、車両Ｃの現在位置から合成用距離Ｄ３後方の位置が対応付けられた記録データＧ３を検索する。そして、該当する記録データＧ３を読出すと、その記録データＧ３内の俯瞰画像データＧ２のうち、その時点の舵角に応じて、合成領域Ｂ３を決定する。即ち、車両Ｃが、後方（Ｘ軸方向）に直進している場合には、描画処理部１８は、俯瞰画像データＧ２のうち、図５（ｃ）に示す、合成領域Ｂ３の画像データを抽出する。直進の場合の合成領域Ｂ３は、矩形状であって、俯瞰画像データＧ２の上方及び下方と両側とに、マージンＢ４が確保されている。

そして、描画処理部１８は、現在画像データＧ４の合成領域Ｂ２と、俯瞰画像データＧ２の合成領域Ｂ３とを上下（画面座標系においてｘ軸方向）に並べて出力する。即ち、図６（ａ）に示す、俯瞰画像データＧ２に基づく過去画像３２ａが、図６（ｂ）に示す、現在画像データＧ４の現在画像３３ａと連続するように合成され、図６（ｃ）に示す合成画像３５がディスプレイ６に出力される。

一方、車両Ｃが旋回しながら後退している場合には、描画処理部１８は、そのときの舵角と、俯瞰画像データＧ２に添付された舵角データ１４に基づく過去舵角との相対角度に応じて、マージンＢ４を利用して合成領域Ｂ３を設定し、舵角に応じた画像データを抽出する。そして、このように抽出した画像データと、現在画像データＧ４の合成領域Ｂ２とを合成するので、俯瞰画像データＧ２に基づく画像と、現在画像データＧ４に基づく画像との連続性が良好になる。

また、描画処理部１８は、この合成画像３５のうち、過去画像３２ａに重畳するように、上記した補助線４７を描画する。これにより、図１２に示す駐車支援画面４１がディスプレイ６に出力される。駐車支援画面４１のうち、進行方向（画面座標系のｘ軸方向）と反対側（下方）には、過去画像３２ａが表示され、進行方向（上部）には、現在画像３３ａが表示されている。過去画像３２ａは、現在位置（位置Ｂ）での、車両Ｃのフロア下方に相当する領域の画像である。即ち、保存領域Ｂ１は、俯瞰画像データＧ２の撮像位置から合成用距離Ｄ３分移動した位置で、カメラ２５の死角（フロア下方及びその周辺）を撮像した領域に設定されている。従って、この過去画像３２ａに、車両Ｃの輪郭を示す補助線４７を表示することで、過去画像３２ａにおける車両Ｃの位置を示すことができる。

また、現在画像３３ａの下端には、リヤバンパーＲＢの位置を示す後端画像４２が表示されているので、車両Ｃの後端と、障害物、駐車枠を標示する白線、又は車輪止めとの相対距離がわかる。さらに、描画処理部１８は、現在画像３３ａには、車幅を延長した車幅延長線４８と、現在の舵角に基づいた進路を示す予想軌跡線４９とを描画する。尚、図１２では、車両Ｃが後方へ直進する場合を説明したため、車幅延長線４８は予想軌跡線４９に重ねられている。また、駐車支援画面４１には、第２表示モードから第１表示モードに切替える操作部４３、予想軌跡線４９等の消去を指示する操作部４４が表示されている。

次に、本実施形態の駐車支援処理の処理手順について、図９〜図１１に従って説明する。まず、ナビゲーション装置１の制御部３は、図９に示すように、ナビゲーション装置１の起動後、ＲＯＭ５に格納された駐車支援プログラムに従って、シフトポジションスイッチ２０から入力したシフトポジション信号ＳＰに基づき、車両Ｃの変速機がリバースレンジであるか否かの判断を繰り返す（ステップＳ１）。リバースレンジである場合には（ステップＳ１においてＹＥＳ）、その位置を初期位置として、ナビゲーション装置１の現在のモードが、駐車支援画面４１を表示する第２表示モードであるか否かを判断する（ステップＳ２）。この第２表示モードは、ディスプレイ６に表示された操作部４３、又はディスプレイ６に隣設された操作スイッチ１６によって選択可能になっている。第２表示モー
ドを起動する設定がなされると、メインメモリ４に格納されたモード起動フラグがオン状態に設定される。制御部３は、メインメモリ４に格納されたモード起動フラグがオフ状態であると判断すると（ステップＳ２においてＮＯ）、描画処理部１８を制御して、第１表示モードを行う（ステップＳ３）。モード起動フラグがオン状態であると判断すると（ステップＳ２においてＹＥＳ）、ステップＳ４に進む。

図１０に示すように、ステップＳ４では、制御部３が、各種パラメータを初期化する。このパラメータとしては、記録用カウンタＬｎ１、画像更新用カウンタＬｎ２がある。記録用カウンタＬｎ１は、画像データＧを取得する画像取得距離Ｄ１に到達したか否かを判断するためのカウンタであって、車速センサ２２からの入力パルス数をカウントする。画像更新用カウンタＬｎ２は、駐車支援画面４１を更新する画像更新距離Ｄ２に到達したか否かを判断するためのカウンタであって、同じく車速センサ２２からの入力パルス数をカウントする。尚、本実施形態では、画像更新距離Ｄ２は、２００ｍｍに設定され、画像取得距離Ｄ１と同じ距離となっている。

パラメータの初期化が行われると、制御部３は、画像データ取得部１０を介して、カメラ２５から画像データＧを取得する（ステップＳ５）。描画処理部１８は、画像データＧのうち、図５（ａ）に示す保存領域Ｂ１を抽出し、図５（ｂ）に示す画像３１のような部分データＧ１を生成する（ステップＳ６）。

さらに、描画処理部１８は、生成した部分データＧ１を、俯瞰画像データＧ２に座標変換する（ステップＳ７）。また、制御部３は、ほぼ同時に、車両側Ｉ／Ｆ部８を介して、シフトポジション信号ＳＰ、舵角センサ信号ＳＴ、車速信号ＶＳ、方位検出信号ＤＳ等の車両データを取得する（ステップＳ８）。さらに、ＧＰＳ受信部７と、車速信号ＶＳ、方位検出信号ＤＳとに基づき、自車位置を算出する。

そして、制御部３は、描画処理部１８を制御して、車両Ｃの現在位置を示す撮像位置データ１３と、舵角センサ信号ＳＴに基づく舵角データ１４とを俯瞰画像データＧ２に添付して、記録データＧ３として画像メモリ１５に格納する（Ｓ９）。これにより、初期位置Ａで撮像された俯瞰画像データＧ２が、初期位置Ａの撮像位置データ１３及び舵角データ１４と対応付けられて格納される。

初期位置Ａの記録データＧ３を格納すると、制御部３は、車速信号ＶＳに基づき、車両Ｃの後退を示すパルスが入力されたか否かを判断する（ステップＳ１０）。後退パルスを入力した場合には（ステップＳ１０においてＹＥＳ）、記録用カウンタＬｎ１に、「１」等の入力パルス数を加算する（ステップＳ１１）。また、画像更新用カウンタＬｎ２に、「１」等を加算して、画像更新用カウンタＬｎ２を更新する（ステップＳ１２）。

そして、制御部３は、記録用カウンタＬｎ１に基づき、カウント開始位置（ここでは、初期位置Ａ）からの移動距離を算出し、その移動距離が、画像取得距離Ｄ１（１００ｍｍ）以上であるか否かを判断する（ステップＳ１３）。車両Ｃが、初期位置Ａから１００ｍｍ以上の距離にあるとき、制御部３は、画像取得距離Ｄ１に到達したと判断して（Ｓ１３においてＹＥＳ）、ステップＳ５と同様に、画像データ取得部１０を介して、画像データＧを取得する（ステップＳ１４）。そして、ステップＳ６と同様に、取得した画像データＧのうち、保存領域Ｂ１を抽出し、部分データＧ１を生成する（Ｓ１５）。

さらに、描画処理部１８は、ステップＳ８と同様に、制御部３を介して車両データを取得し（ステップＳ１６）、部分データＧ１を俯瞰画像データＧ２に座標変換するとともに（Ｓ１７）、俯瞰画像データＧ２を、記録データＧ３として画像メモリ１５に格納する（ステップＳ１８）。

さらに、制御部３は、記録用カウンタＬｎ１を、初期値にリセットする（ステップＳ１９）。即ち、ステップＳ１３〜Ｓ１９では、車両Ｃが画像取得距離Ｄ１だけ移動するたびに取得された画像データＧのうち、保存領域Ｂ１を抽出して部分データＧ１を生成し、さらに座標変換した後、車両Ｃの撮像位置データ１３、及び舵角データ１４とともに画像メモリ１５に蓄積する。このとき、車両Ｃのフロア下方にあたる領域（カメラ２５の死角領域）とその周辺の領域が保存され、合成に不必要な領域は保存しないので、記録データＧ３のデータ量を軽減できる。また、画像データＧ全体を座標変換することなく、抽出された部分データＧ１を座標変換するので、変換処理を軽減化し、処理時間を短縮化できる。

ステップＳ２０では、制御部３は、画像更新用カウンタＬｎ２に相当する移動距離が、画像更新距離Ｄ２（１００ｍｍ）以上であるか否かを判断する。例えば、車両Ｃが、初期位置Ａから画像更新距離Ｄ２（１００ｍｍ）だけ後退した位置にあるとき、画像更新用カウンタＬｎ２に基づく移動距離が、画像更新距離Ｄ２以上であると判断し（ステップＳ２０においてＹＥＳ）、ステップＳ２１に進む。尚、画像更新用カウンタＬｎ２が、画像更新距離Ｄ２に満たない場合（ステップＳ２０においてＮＯ）には、ステップＳ１０に戻る。

図１１に示すように、ステップＳ２１では、描画処理部１８は、画像メモリ１５内を検索して、車両Ｃの現在位置から、合成用距離Ｄ３後方の位置で撮像された記録データＧ３が、画像メモリ１５に格納されているか判断する。具体的には、制御部３は、各記録データＧ３内の撮像位置データ１３に基づき移動軌跡を演算して、現在位置から進行方向において合成用距離Ｄ３後方の位置で撮像された記録データＧ３を検索する。例えば、車両Ｃが、初期位置Ａから図４（ｂ）に示す位置Ｂの間の位置にある場合には、現在位置から合成用距離Ｄ３（１ｍ）だけ後方の位置で撮像された記録データＧ３が記録されていないと判断して（ステップＳ２１においてＮＯ）、ステップＳ１０に戻る。

そして、ステップＳ１０〜ステップＳ２０を繰り返し、制御部３が、自車位置が、例えば図４（ｂ）に示す位置Ｂにあると判断した場合には、該当する記録データＧ３があると判断し（Ｓ２１においてＹＥＳ）、その記録データＧ３を読出す（Ｓ２２）。

さらに、描画処理部１８は、画像データ取得部１０を介して現在画像データＧ４を取得し（ステップＳ２３）、現在画像データＧ４の合成領域Ｂ３と、俯瞰画像データＧ２の合成領域Ｂ２とを上下に並べた、合成データを作成する（ステップＳ２４）。このとき、上記したように、車両Ｃが初期位置Ａから位置Ｂまで直進した場合には、図５（ｃ）に示す矩形状の合成領域Ｂ３のデータを抽出する。また、読出した記録データＧ３内の舵角データ１４に基づく過去舵角と現在の舵角とが異なる場合には、相対角度に応じて、俯瞰画像データＧ２の合成領域Ｂ３を相対角度に合わせて変更する。

そして、描画処理部１８は、その合成データを、ディスプレイ６の画像表示領域６Ｚに出力する（ステップＳ２５）。その結果、図６（ａ）に示す俯瞰画像データＧ２と、図６（ｂ）に示す現在画像データＧ４に基づき、（ｃ）に示す合成画像３５が表示される。

さらに、描画処理部１８は、合成画像３５に重畳して、補助線４７等を描画するとともに、操作部４３、車幅延長線４８及び予想軌跡線４９を描画して、図１２に示す駐車支援画面４１をディスプレイ６に表示する。

駐車支援画面４１をディスプレイ６に出力すると、制御部３は、画像更新用カウンタＬｎ２をリセットする（ステップＳ２６）。そして、駐車支援画面４１を出力する第２表示モードがオフ状態であるか否かを判断する（ステップＳ２７）。具体的には、タッチパネ
ル操作や、操作スイッチ１６が入力操作され、ユーザ入力Ｉ／Ｆ部１７にて、第２表示モードを終了するための入力信号を入力したか否かを判断する。

第２表示モードがオフ状態である場合（ステップＳ２７においてＹＥＳ）、駐車補助モードを終了させるトリガを入力したか否かを判断する（ステップＳ２８）。この終了トリガとしては、車両Ｃに設けられた図示しない電子制御装置（ＥＣＵ）等から出力された、イグニッションオフを示す信号等、シフトポジションの変更を示す信号等がある。

第２表示モードがオン状態である場合（ステップＳ２７においてＮＯ）、ステップＳ１０に戻り、ステップＳ１０〜Ｓ１３を繰り返す。そして、例えば、車両Ｃが、図４（ｂ）に示す位置Ｂから、さらに画像更新距離Ｄ２（画像取得距離Ｄ１）だけ後退し、図４（ｃ）に示す位置Ｃに位置するとき、制御部３は、記録用カウンタＬｎ１に相当する距離が、画像取得距離Ｄ１以上であると判断する（ステップＳ１３においてＹＥＳ）。そして、位置Ｃで、図５に示すような画像３６を表示する画像データＧを取得する（Ｓ１４）。そして、描画処理部１８は、位置Ｂで撮像した画像データＧに対する処理手順と同様に、画像データＧのうち、保存領域Ｂ１を抽出して、図５（ｅ）の画像３７のような部分データＧ１を生成する（Ｓ１５）。さらに、描画処理部１８は、生成した部分データＧ１を座標変換して、図５（ｆ）の俯瞰画像３８のような俯瞰画像データＧ２を生成する（Ｓ１７）。そして、俯瞰画像データＧ２に、撮像位置データ１３と舵角データ１４とを添付して、記録データＧ３として画像メモリ１５に格納する（Ｓ１８）。

そして、制御部３により、記録用カウンタＬｎ１をリセットした後（Ｓ１９）、描画処理部１８は、画像メモリ１５を検索して、初期位置Ａから合成用距離Ｄ３だけ後方の位置（図示省略）で撮像した記録データＧ３を読出す（Ｓ２２）。さらに、位置Ｃで撮像した現在画像データＧ４を取得し（Ｓ２３）、現在画像データＧ４の合成領域Ｂ２と、記録データＧ３内の俯瞰画像データＧ２の合成領域Ｂ３とを合成する（Ｓ２４）。即ち、図７（ａ）に示す、俯瞰画像３８の合成領域Ｂ３と、図７（ｂ）に示す、現在画像データＧ４に基づく現在画像３９の合成領域Ｂ２とを合成した後、（ｃ）に示す、合成画像４０をディスプレイ６に出力する（Ｓ２５）。

このように、車両Ｃが画像取得距離Ｄ１だけ移動する度に、記録データＧ３が生成され、画像更新距離Ｄ２だけ移動する度に、駐車支援画面４１が更新される。そして、駐車操作が完了し、イグニッションモジュールのオフ信号等、終了トリガを入力した場合（ステップＳＳ２８においてＹＥＳ）、制御部３は、駐車補助モードを終了する。

上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、ナビゲーション装置１の描画処理部１８は、車両Ｃが画像取得距離Ｄ１分移動する度に、画像データ取得部１０から画像データＧを取得するようにした。そして、画像データＧのうち、合成画像３５，４０を表示するために用いる保存領域Ｂ１のみを抽出するようにした。また、抽出した部分データＧ１を、撮像位置を示す撮像位置データ１３及び舵角データ１４と対応付けて、俯瞰画像データＧ２として画像メモリ１５に格納するようにした。そして、駐車支援画面４１を出力する際に、撮像位置データ１３に基づいて、現在位置から進行方向において合成用距離Ｄ３後方の撮像位置で撮像された俯瞰画像データＧ２を読み出し、読出した俯瞰画像データＧ２のうち合成領域Ｂ３と、現在画像データＧ４の合成領域Ｂ２とを並べて、ディスプレイ６に出力するようにした。従って、描画処理部１８は、取得した画像データＧのうち、合成に必要な部分のみ保存するので、記録データＧ３のデータ量を軽減することができる。このため、画像メモリ１５の必要容量を小さくすることができる。さらに、記録データＧ３のデータ量が小さくなることにより、記録データＧ３の検索、読出処理及び座標変換等の画像処理、出力処理等を軽減化し、処理時間を短縮化することができる。従って、画像更新頻度を高めることが
できる。

（２）上記実施形態では、俯瞰画像データＧ２の保存領域Ｂ１を、その俯瞰画像データＧ２の撮像位置から、進行方向において、合成用距離Ｄ３だけ離間した位置に車両Ｃがある場合に、カメラ２５の死角となる路面及び背景を撮像した領域とした。このため、車両Ｃが、俯瞰画像データＧ２の撮像位置から合成用距離Ｄ３だけ進んだ際に、その俯瞰画像データＧ２を読み出して、カメラ２５の死角であるフロア下方の画像を駐車支援画面４１に表示することができる。従って、駐車支援画面４１を視認することによって、車両Ｃと駐車目標領域との相対距離、後輪ＣＲと車輪止めとの相対距離等を把握することができる。

（３）上記実施形態では、描画処理部１８は、画像データＧから保存領域Ｂ１を抽出した後に、座標変換して、俯瞰画像データＧ２を生成するようにした。このため、画像データＧ全体を座標変換する必要がなく、座標変換処理を軽減することができる。また、現在画像データＧ４に基づく現在画像３３ａ，３９ａとの連続性を良好にすることができる。

（４）上記実施形態では、俯瞰画像データＧ２に、舵角データ１４を添付して画像メモリ１５に格納するようにした。また、描画処理部１８は、読出した記録データＧ３の舵角データ１４に基づく過去舵角と、現在舵角との相対角度に基づいて、俯瞰画像データＧ２の合成領域Ｂ３を変更するようにした。このため、過去画像３２ａ，３８ａを現在画像３３ａ，３９ａと並べて表示した際に、画像の連続性を良好にすることができる。

（５）上記実施形態では、描画処理部１８は、過去画像３２ａ，３８ａに、車両Ｃの現在位置を示す補助線４７を描画するようにした。このため、過去画像３２ａ，３８ａ上の車両Ｃの位置を把握し、駐車目標領域と車両Ｃとのずれを把握できる。

（６）上記実施形態では、駐車支援装置を、ＧＰＳ受信部７、ディスプレイ６及び車両側Ｉ／Ｆ部８を備えるナビゲーション装置１に具体化したので、ナビゲーション装置１が具備する各装置を有効利用し、俯瞰画像データＧ２に、比較的精度の高い撮像位置データ１３等を添付することができる。従って、描画処理部１８は、各地点で、的確な俯瞰画像データＧ２を読み出して、合成画像３５，４０を出力することができる。

尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、保存領域Ｂ１は、矩形状でなくてもよい。具体的には、例えば、図１３に示すように、保存領域Ｂ１を、ディスプレイ６の画像表示領域６Ｚのうち、上部の一部を除いたコの字状（「凹」状）の領域にしてもよい。この保存領域Ｂ１は、現在の車両Ｃのフロア下方と、リヤバンパーの角周辺を含む隅部にあたる死角領域を表示する領域である。描画処理部１８は、画像表示領域６Ｚの上部に現在画像５２を配置し、その現在画像５２の両側及び下方に過去画像５１を表示した駐車支援画面５０をディスプレイ６に出力する。現在画像５２は、現在画像データＧ４を縮小した画像であって、さらには俯瞰変換したものでもよい。このため、カメラ２５の画角内に含まれない隅部ＢＣも表示できる。また、その隅部ＢＣにあたる位置に、現在画像５２の後端画像４２と連続させて、隅部ＢＣを示す輪郭線５３を描画してもよい。このようにすると、隅部ＢＣと障害物との相対位置を把握できる。

・上記実施形態では、画像データＧを俯瞰画像データＧ２に変換するときの仮想視点を、光軸と路面との交点において鉛直方向上方であって、カメラ２５の高さ位置とほぼ同じ位置に設定したが、これ以外の高さに設定してもよい。

・上記実施形態では、車速センサ２２から入力したパルス数に基づき、移動量を算出し
、その移動量が画像取得距離Ｄ２以上であるか否かを判断するようにした。これ以外に、入力したパルス信号の立上がりエッジを、画像更新用のトリガとし、画像更新用カウンタＬｎ２に「１」を加算し、さらに、同じパルス信号の立ち下がりエッジもトリガとし、画像更新用カウンタＬｎ２を更新するようにしてもよい。

・上記実施形態では、ナビゲーション装置１の位置を、自車位置として検出したが、カメラ２５の位置でもよい。或いは、車両ＣのリヤバンパーＲＢの位置等、その他の位置にしても良い。

・上記各実施形態では、画像取得距離Ｄ１と画像更新距離Ｄ２とを同じ距離にしたが、異なる距離でもよい。また、画像取得距離Ｄ１及び画像更新距離Ｄ２を、１００ｍｍとしたが、その他の距離でもよい。また、合成用距離Ｄ３は１ｍとしたが、その他の値でもよい。

・上記実施形態では、ナビゲーション装置１が車両Ｃの方位を検出するジャイロセンサを具備していてもよい。
・上記実施形態では、車両Ｃが旋回しながら後退する際に、俯瞰画像データＧ２の合成領域Ｂ３を変更するようにしたが、変更しなくてもよい。

・上記実施形態では、部分データＧ１から、俯瞰画像データＧ２を生成したが、部分データＧ１を記録データＧ３として格納してもよい。そして、過去画像を表示するために用いる場合に、現在のカメラ２５の視点に視点変換するようにしてもよい。

・カメラ２５は、車両Ｃの後方でなく、車両Ｃの前方に取り付けられてもよい。また、車両Ｃが駐車目標領域に前進しながら進入するときに、駐車支援処理を行ってもよい。この場合には、このカメラによって生成された画像データＧのうち、車体前方のフロア下方、又はフロントバンパーの隅部に相当する保存領域Ｂ１を設定する。

・上記各実施形態では、車両Ｃが並列駐車する場合についてのみ説明したが、縦列駐車する場合に、現在画像データＧ４と、俯瞰画像データＧ２とをディスプレイ６に表示してもよい。

・上記実施形態では、駐車支援装置を、ナビゲーション装置１に具体化したが、その他の車載装置に具体化してもよい。この場合、ＧＰＳ受信部７や、地図データ記憶部９等が省略される。

本実施形態のナビゲーション装置の構成を説明するブロック図。 カメラの取付位置を説明する説明図。 画像メモリに格納された記録データの説明図。 画像取得、画像更新のタイミングを説明するための説明図であって、（ａ）は初期位置、（ｂ）は位置Ｂ、（ｃ）は位置Ｃを示す。 俯瞰画像データを生成する手順の説明図であって、（ａ）及び（ｄ）は画像データの説明図、（ｂ）及び（ｅ）は部分データの説明図、（ｃ）及び（ｆ）は俯瞰画像データの説明図。 合成処理の説明図であって、（ａ）は俯瞰画像データの説明図、（ｂ）は現在画像データの説明図、（ｃ）は合成画像の説明図。 合成処理の説明図であって、（ａ）は、位置Ｃでの俯瞰画像データの説明図、（ｂ）は現在画像データの説明図、（ｃ）は合成画像の説明図。 補助線の説明図。 本実施形態の処理手順の説明図。 本実施形態の処理手順の説明図。 本実施形態の処理手順の説明図。 駐車支援画面の説明図。 別例の駐車支援画面の説明図。

符号の説明

１…駐車支援装置としてのナビゲーション装置、３…位置特定手段を構成する制御部、６…表示手段としてのディスプレイ、７…位置特定手段を構成するＧＰＳ受信部、１０…画像データ取得手段としての画像データ取得部、１３…位置データとしての撮像位置データ、１４…舵角情報としての舵角データ、１５…画像データ記憶手段としての画像メモリ、１８…画像処理手段、抽出手段、読出手段及び画像出力手段としての描画処理部、２５…撮像装置としてのカメラ、３２ａ，３８ａ，５１…過去画像、３３ａ，３９ａ，５２…現在画像、４１…駐車支援画像としての駐車支援画面、４７…指標としての補助線、Ｂ２…所定領域としての合成領域、Ｂ３…合成領域、ＢＣ…隅部、Ｃ…車両、Ｄ１…画像取得距離、Ｄ２…画像更新距離、Ｄ３…所定距離としての合成用距離、Ｇ…画像データ、Ｇ１…部分データ、Ｇ２…記録データとしての俯瞰画像データ、Ｇ３…記録画像データ、Ｇ４…現在画像データ、Ｚ…可視範囲。

Claims (6)

1. 車両の位置を特定する位置特定手段と、前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、前記画像データを格納する画像データ記憶手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、
   前記画像データ取得手段が取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出し、
   抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして前記画像データ記憶手段に格納するとともに、
   前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを前記画像データ記憶手段から読み出し、
   読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を前記表示手段に出力することを特徴とする駐車支援方法。
2. 車両に設けられた駐車支援装置において、
   前記車両の位置を特定する位置特定手段と、
   前記車両に設けられた撮像装置から、画像データを取得する画像データ取得手段と、
   取得した前記画像データのうち、前記車両が、その画像データの撮像位置から所定距離分進んだ際に、少なくとも前記撮像装置の死角となる背景を撮像した所定領域を抽出する抽出手段と、
   抽出した前記画像データを、前記画像データを撮像した前記車両の撮像位置と対応付けて記録画像データとして格納する画像データ記憶手段と、
   前記各記録画像データにそれぞれ対応付けられた位置データに基づいて、進行方向において、前記車両の現在位置から所定距離後方の撮像位置で撮像された前記記録画像データを読み出す読出手段と、
   読出した前記記録画像データの合成領域に基づく過去画像と、新たに取得した現在画像データの予め定められた領域の現在画像とを並べた駐車支援画像を表示手段に出力する画像出力手段と
   を備えることを特徴とする駐車支援装置。
3. 請求項２に記載の駐車支援装置において、
   前記画像出力手段は、前記過去画像に、前記車両の現在位置を示す指標を描画することを特徴とする駐車支援装置。
4. 請求項２又は３に記載の駐車支援装置において、
   前記抽出手段が前記画像データから抽出する領域は、その画像データの撮像位置から、進行方向において所定距離分進んだ位置で、少なくとも前記車両のフロア下方又はバンパー隅部が位置する背景を撮像した領域であることを特徴とする駐車支援装置。
5. 請求項２〜４のいずれか１項に記載の駐車支援装置において、
   前記抽出手段により抽出された前記画像データは、俯瞰画像データに変換されて、前記画像データ記憶手段に格納されることを特徴とする駐車支援装置。
6. 請求項２〜５のいずれか１項に記載の駐車支援装置において、
   前記画像データ記憶手段は、前記記録画像データに、その記録画像データの撮像位置での前記車両の舵角情報又は方位情報を対応付けて格納し、
   前記画像出力手段は、
   前記記録画像データに対応付けられた前記舵角情報又は方位情報に基づく舵角と、現在の前記車両の舵角との相対角度に基づいて、前記記録画像データの前記合成領域を変更することを特徴とする駐車支援装置。

Images