JP2013001366A - 駐車支援装置および駐車支援方法 - Google Patents

Abstract

【課題】自車両を駐車可能な駐車枠をユーザに適切に提示できる駐車支援装置を提供すること。
【解決手段】自車両周囲の画像から変換した俯瞰画像内に含まれる、路面上に描画された線状のロードマークを検出し、前記線状のロードマークが複数検出された場合に、複数の前記線状のロードマークのそれぞれについて、検出された他の線状のロードマークに対する平行度を算出し、前記平行度算出手段により算出された平行度が所定の閾値以上である場合に、前記俯瞰画像中に、自車両が駐車可能な駐車枠が存在していると判断する際において、前記線状のロードマークの前記俯瞰画像中における存在位置に応じて、前記閾値を変更する駐車支援装置。
【選択図】 図１１

Description

本発明は、駐車支援装置および駐車支援方法に関するものである。

従来、撮像手段で撮像された自車両周囲の画像を、自車両上方から見下ろした俯瞰画像に変換し、変換した俯瞰画像から道路上に描画された白線などのロードマークを抽出し、抽出した白線に基づいて、自車両を駐車可能な駐車枠を検出して、検出した駐車枠をユーザに提示する技術が知られている（特許文献１参照）。

特開２００９−１０１９８４号公報

しかしながら、従来技術は、抽出した一対の白線などのロードマークが所定の平行状態にあるか否かに基づいて、自車両を駐車可能な駐車枠を検出するものであったため、実際の路面上では平行であるものの、俯瞰画像中では平行となっていない場合には、自車両を駐車可能な駐車枠として検出することができず、そのため、駐車枠を適切に提示できない場合があった。

本発明が解決しようとする課題は、自車両を駐車可能な駐車枠をユーザに適切に提示できる駐車支援装置および駐車支援方法を提供することにある。

本発明は、自車両周囲の画像から変換した俯瞰画像内に含まれる、路面上に描画された線状のロードマークを検出し、前記線状のロードマークが複数検出された場合に、複数の前記線状のロードマークのそれぞれについて、検出された他の線状のロードマークに対する平行度を算出し、前記平行度算出手段により算出された平行度が所定の閾値以上である場合に、前記俯瞰画像中に、自車両が駐車可能な駐車枠が存在していると判断する際において、前記線状のロードマークの前記俯瞰画像中における存在位置に応じて、前記閾値を変更することで、上記課題を解決する。

本発明によれば、線状のロードマークの存在位置に応じて、駐車枠が存在しているか否かを判断する際の閾値を変更することにより、実際の路面上では平行であるものの、俯瞰画像中では平行となっていないような一対の線状のロードマークについても、自車両が駐車可能な駐車枠を構成するものと判断することができ、これにより、自車両を駐車可能な駐車枠をユーザに適切に提示することができる。

図１は、本実施形態に係る駐車支援システムの構成図である。 図２は、本実施形態の車載カメラの設置位置および撮像エリアの一例を示す図である。 図３は、合成俯瞰画像の一例を示す図である。 図４（ａ）は、車載カメラの位置、仮想視点の位置及び撮像エリアを示す図、図４（ｂ）は、視点変換前の撮像画像を示す図、図４（ｃ）は、視点変換された合成俯瞰画像を示す図である。 図５（ａ）は、車載カメラによって撮影される実際の路面が基準面と同じ面上にある場合における、側面図、図５（ｂ）は、自車両の上方から見た平面図、図５（ｃ）は、画像変換によって得られる俯瞰画像である。 図６（ａ）は、車載カメラによって撮影される実際の路面が、自車両が置かれている路面である基準面と所定の角度θをなす面上にある場合における、側面図、図６（ｂ）は、自車両の上方から見た平面図、図６（ｃ）は、画像変換によって得られる俯瞰画像である。 図７は、合成俯瞰画像に重畳する境界領域画像の一例を示す図である。 図８は、合成俯瞰画像に境界領域画像を重畳して得られる周囲画像の一例を示す図である。 図９（ａ）は、車載カメラによって撮影される実際の路面が、自車両が置かれている路面である基準面と所定の角度θをなす面上にある場合における、側面図で、図９（ｂ）は、自車両の上方から見た平面図、図９（ｃ）は、画像変換によって得られる俯瞰画像である。 図１０は、合成俯瞰画像に境界領域画像を重畳して得られる周囲画像の一例を示す図である。 図１１は、自車両が置かれている路面である基準面と所定の角度θをなす面上に白線が存在する場合における、実際の白線の位置と、俯瞰画像中における白線の位置との関係を示す図である。 図１２は、図１１に示す場面をＺ軸方向から見た図である。 図１３は、Ｘ軸方向からみて、カメラの両側に白線が存在する場面を示す図である。 図１４は、本実施形態に係る駐車支援動作を示すフローチャートである。

以下、図面に基づいて、本発明の実施形態について説明する。

図１は、本実施形態に係る駐車支援システム１００のブロック構成図である。図１に示すように、本実施形態に係る駐車支援システム１００は、制御装置１０、自車両の外部に固定された４つの車載カメラ１ａ〜１ｄ、車速センサ２、操舵角センサ３、シフト位置センサ４、ディスプレイ５、および駐車ボタン６を備えている。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。

車載カメラ１ａ〜１ｄは、車両の外部の異なる位置に各々設置され、車両周囲の４方向の画像をそれぞれ撮像する。図２に、車載カメラ１ａ〜１ｄの配置例を示す。たとえば、図２に示すように、フロントグリル近傍などの車両前方の所定位置に設置された車載カメラ１ａは、車両前方の所定撮像エリアＳＰ１の画像（以下、フロントビュー画像という）を撮像する。左サイドミラーなどの車両左側方の所定位置に設置され車載カメラ１ｂは、車両左側方の所定撮像エリアＳＰ２の画像（以下、左サイドビュー画像という）を撮像する。ルーフスポイラーなどの車両後方の所定位置に設置された車載カメラ１ｃは、車両後方の所定撮像エリアＳＰ３の画像（以下、リアビュー画像という）を撮像する。右サイドミラーなどの車両右側方の所定位置に設置された車載カメラ１ｄは、車両右側方の所定撮像エリアＳＰ４の画像（以下、右サイドビュー画像という）を撮像する。これら４台の車載カメラ１ａ〜１ｄは所定周期で撮像画像を制御装置１０へ送出する。制御装置１０は、車載カメラ１ａ〜１ｄから撮像画像をそれぞれ取得する。カメラ１ａ〜１ｄは、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラで構成されている。これらカメラ１ａ〜１ｄは、車両周辺を所定の周期で撮像し、得られた撮像画像を制御装置１０に出力する。

車速センサ２、操舵角センサ３およびシフト位置センサ４は、自車両の挙動を検出する。具体的には、車速センサ２は、自車両の車速を検出する。また、操舵角センサ３は、自車両のハンドル操舵角を検出する。さらに、シフト位置センサ４は、自車両のシフト位置（ギヤポジションの位置）を検出する。なお、車速センサ２、操舵角センサ３およびシフト位置センサ４による、車速の検出、操舵角の検出、およびシフト位置の検出は所定の周期で繰り返し実行される。そして、車速センサ２、操舵角センサ３およびシフト位置センサ４は、車速信号、操舵角信号、およびシフト位置信号を制御装置１０に出力する。

また、本実施形態の駐車支援システム１００は、運転操作を支援する各種情報を運転者に提示するディスプレイ５を備える。ディスプレイ５は、自車両周囲の画像である周囲画像を表示画面上に表示させる。

さらに、本実施形態の駐車支援システム１００は、駐車ボタン６を備えている。駐車ボタン６は、たとえば、車室内インストメントパネルに設置されている。駐車ボタン６は、ユーザに押圧操作されることによって、制御装置１０に対して駐車支援動作の開始を指示する起動信号を出力する。

また、制御装置１０は、図１に示すように、各種プログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。

そして、制御装置１０は、駐車支援を行なうための周囲画像を生成し、生成した周囲画像および周囲画像中で検出された目標駐車枠をディスプレイ６に表示させるために、撮像画像取得機能と、画像変換機能と、周囲画像生成機能と、白線検出機能と、白線平行度算出機能と、駐車枠判定機能と、表示制御機能とを備えている。制御装置１０は、上記各機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。

以下に、駐車支援システム１００の制御装置１０が実現する各機能についてそれぞれ説明する。

まず、制御装置１０の撮像画像取得機能について説明する。本実施形態の制御装置１０は、イグニッションスイッチ（不図示）に入力操作がされると、車載カメラ１ａ〜１ｄに所定周期で車両周囲を撮像させる。そして、制御装置１０は、車載カメラ１ａ〜１ｄにより所定周期で撮像された撮像画像を取得する。

次に、制御装置１０の画像変換機能について説明する。本実施形態の制御装置１０は、取得した各車載カメラ１ａ〜１ｄの撮像画像に基づいて、自車両上方の仮想視点から自車両および自車両周囲を見下ろした俯瞰画像に変換するとともに、これらを繋ぎ合わせて、一つの合成俯瞰画像を生成する。具体的には、制御装置１０は、異なる位置の車載カメラ１ａ〜１ｄによって取得された各撮像画像を、各撮像画像の画素アドレスと合成俯瞰画像におけるアドレスとの対応関係を示す変換テーブルを参照して、合成俯瞰画像の座標へ変換する。そして、制御装置１０は、座標変換された各撮像画像を繋ぎ合せ、自車両周囲の様子を示す一つの合成俯瞰画像を生成する。

図３は合成俯瞰画像Ｋの一例を示す図である。図３に示す合成俯瞰画像Ｋは、図２に示す車載カメラ１ａ〜１ｄによって撮像されたフロントビュー画像、左サイドビュー画像、リアビュー画像、右サイドビュー画像を視点変換して得た俯瞰画像Ａ１、Ａ２、Ａ３およびＡ４を繋ぎ合せたものである。また、図３に示す合成俯瞰画像Ｋに示す斜線部分は自車両が存在する部分である。この部分には、上空の仮想視点から見た車両の画像を重畳することにより、あたかも上方の仮想視点から自車両および自車両周囲を見下ろした合成俯瞰画像Ｋを生成することができる。

本実施形態において、この合成俯瞰画像Ｋを生成する具体的な手法としては、図４（ａ）の車載カメラ１ｃの設置位置を視点としてエリアＳＰ３を撮像した撮像画像（図４（ｂ））を、図４（ａ）に示す上空の仮想視点Ｑで撮像した俯瞰画像（図４（ｃ））に変換する方法が挙げられる。ここにおいては、車載カメラ１ｃおよび車載カメラ１ｃにより撮像されるエリアＳＰ３を例示して説明するが、車載カメラ１ｃ以外の車載カメラ１ａ，１ｂ，１ｄ、およびこれらにより撮像されるエリアＳＰ１，ＳＰ２，ＳＰ４についても同様である。このようにして得られる俯瞰画像は、エリアＳＰ３を車両中央の真上の仮想視点Ｑから自車両および自車両周囲を見下ろした画像である。ちなみに、変換前後の撮像画像(図４（ｂ)）の座標値と俯瞰画像（図４（ｃ））の座標値の対応関係は、車載カメラ１ｃのレンズの特性および取り付け角度により一意に変換テーブルにおいて定義することができる。

ここで、図４（ｃ）に示す俯瞰画像は、自車両が置かれている路面と水平な面を基準面とし、車載カメラ１ｃによって得られた車両周辺画像を仮想視点Ｑを視点とした基準面上における俯瞰画像として変換されたものである。すなわち、図４（ｃ）に示す俯瞰画像は、車載カメラ１ｃによって撮影された撮影画像中の全ての被写体が、自車両が置かれている路面上に存在するものとして、画像変換されたものとされる。

そのため、たとえば、図５（ａ）に示すように、車載カメラ１ｃによって撮影される実際の路面が、自車両が置かれている路面である基準面と同じ面上にある場合には、路面上の対象物Ｏの俯瞰画像中の位置は、自車両の上方から見た平面図である図５（ｂ）、および画像変換によって得られる俯瞰画像である図５（ｃ）に示すように、実際の位置とほぼ等しい位置となる。すなわち、図５（ｂ）と図５（ｃ）とで対象物Ｏの位置がほぼ等しい位置となる。ここで、図５（ａ）は、車載カメラ１ｃによって撮影される実際の路面が基準面と同じ面上にある場合における、側面図であり、図５（ｂ）は、自車両の上方から見た平面図、図５（ｃ）は、画像変換によって得られる俯瞰画像である。

その一方で、図６（ａ）に示すように、車載カメラ１ｃによって撮影される実際の路面が、自車両が置かれている路面である基準面と所定の角度θをなす面上にある場合には、路面上の対象物Ｏの俯瞰画像中の位置は、自車両の上方から見た平面図である図６（ｂ）、および画像変換によって得られる俯瞰画像である図６（ｃ）に示すように、実際の位置からずれた位置となってしまう。すなわち、対象物Ｏの位置は、図６（ｂ）と図６（ｃ）とで異なる位置となってしまう。なお、この理由としては、上述したように俯瞰画像を得る際には、車載カメラ１ｃによって撮影される対象物Ｏが実際の路面ではなく、自車両が置かれている路面と水平な面である基準面上に存在するものとして、俯瞰画像への変換が行なわれるからである。ここで、図６（ａ）は、車載カメラ１ｃによって撮影される実際の路面が、自車両が置かれている路面である基準面と所定の角度θをなす面上にある場合における、側面図であり、図６（ｂ）は、自車両の上方から見た平面図、図６（ｃ）は、画像変換によって得られる俯瞰画像である。

続いて、制御装置１０の周囲画像生成機能について説明する。本実施形態の制御装置１０は、上述した合成俯瞰画像Ｋ（図３参照）を構成する、各俯瞰画像Ａ１、Ａ２、Ａ３およびＡ４の境界領域Ｒを示す境界領域画像Ｌを合成俯瞰画像Ｋに重畳した周囲画像Ｓを生成する。

図７は、合成俯瞰画像Ｋに重畳する境界領域画像Ｌの一例を示す図である。境界領域画像Ｌは、合成俯瞰画像Ｋを構成する複数の撮像画像の各境界領域Ｒを含む。制御装置１０は、車載カメラ１ａ〜１ｄの位置、各車載カメラ１ａ〜１ｄの撮像範囲、仮想視点の位置、合成俯瞰画像Ｋの表示範囲に応じて、１または２以上の境界領域画像Ｌを予め記憶している。この境界領域画像Ｌを複数記憶している理由は、たとえば車両が壁などに接触してしまって、車載カメラ１の取付位置が出荷時より、ずれてしまった場合に、監視画像における境界領域画像Ｌの位置がずれて表示されてしまうことを防止するために、境界領域画像Ｌを変更することで、ずれを防止する、いわゆるキャリブレーションを実行できるようにするためである。

また、図７に示す車両画像Ｖは、監視画像における自車両の位置を車両乗員に認識させるため、仮想視点から見下ろした車両の平面図であるＣＧ（コンピュータグラフィックス）画像である。この車両画像Ｖは、境界領域画像Ｌの一部として記憶してもよいし、境界領域画像Ｌとは別個の画像データとして記憶することもできる。

本実施形態の制御装置１０は、異なる位置で撮像された撮像画像を座標変換し、これらを繋ぎ合せて一つの合成俯瞰画像Ｋを生成するため、異なる撮像画像から合成された領域同士の境界（図３に示す俯瞰画像Ａ１、Ａ２、Ａ３、Ａ４の各領域の境界）では映像の歪みの程度が大きくなり、映像の連続性が損なわれるという問題がある。特に、各合成俯瞰画像Ｋを構成する各俯瞰画像Ａ１，Ａ２，Ａ３，Ａ４の繋ぎ目に路上の立体物が映るような場合には、画像の不連続性から立体物の認識が難しくなる。

この点を解決するために、本実施形態の制御装置１０は、撮像画像から合成された俯瞰画像Ａ１，Ａ２，Ａ３，Ａ４の境界領域Ｒを示す境界領域画像Ｌを合成俯瞰画像Ｋに重畳し、周囲画像Ｓとして表示する。このように、境界領域画像Ｌを合成俯瞰画像Ｋに重畳させて示すことにより、合成俯瞰画像Ｋが複数の撮像画像から構成されていること、および、境界領域Ｒ付近において画像として正確性に欠けることとを乗員に認識させることができる。ここで、図８に、合成俯瞰画像Ｋに境界領域画像Ｌを重畳して得られる周囲画像Ｓの一例を示す。なお、図８においては、車両の側面方向に駐車枠を表す複数の白線Ｗ１〜Ｗ５が存在する場面における周囲画像を例示して示している。

次に、制御装置１０の白線検出機能について説明する。本実施形態の制御装置１０は、上記にて得られた合成俯瞰画像Ｋ中に存在する白線を検出する。すなわち、制御装置１０は、上記にて得られた合成俯瞰画像Ｋ（図３参照）全体についての色情報を取得し、取得した色情報から、白色部分を抽出し、抽出した白色部分が所定の線幅で一方向に連続している部分が存在する場合には、当該部分を白線として検出する。たとえば、図８に示す場面例においては、合計５本の白線Ｗ１〜Ｗ５が検出される。

続いて、制御装置１０の白線平行度算出機能について説明する。本実施形態の制御装置１０は、上記にて検出した複数の白線について、検出した複数の白線が駐車枠を構成するものか否かの判定を行なうために平行度の算出を行なう。平行度は、たとえば、検出した複数の白線のうちの一対の白線について、白線間の相対角度を演算することにより算出することができる。あるいは、平行度は、たとえば、白線間の距離を演算し、長さ方向の距離の変化を演算することにより算出することもできる。なお、本実施形態において、一対の白線の相対角度が小さいほど、すなわち０°に近いほど、平行度は高いものとし、逆に、一対の白線の相対角度が大きいほど、平行度は低いものとする。また、平行度の演算は、検出された複数の白線の全ての組み合わせについて行ってもよいが、たとえば、隣り合う白線同士のみ平行度を演算するような構成としてもよいし、あるいは、所定の距離範囲（車両を駐車することを考慮した距離範囲）内にある白線同士のみ平行度を演算するような構成としてもよい。たとえば、隣り合う白線同士のみ平行度を演算するような構成とする場合を図８の場面例について説明すると、隣り合う白線Ｗ１，Ｗ２の平行度、隣り合う白線Ｗ２，Ｗ３の平行度、隣り合う白線Ｗ３，Ｗ４の平行度、および隣り合う白線Ｗ４，Ｗ５の平行度のみを算出するような構成とすることができる。

次に、制御装置１０の駐車枠判定機能について説明する。本実施形態の制御装置１０は、上記にて算出した白線間の平行度に基づいて、一対の白線が駐車枠を構成する白線であるか否かの判断を行なう。具体的には、制御装置１０は、上記にて算出した白線間の平行度が、所定の平行度閾値Ｔ以上であるか否かの判断を行ない、白線間の平行度が、所定の閾値以上である場合には、当該一対の白線が駐車枠を構成する白線であると判断する。

ここで、上述したように、本実施形態で得られる俯瞰画像は、自車両が置かれている路面と水平な面を基準面とし、車載カメラ１ａ〜１ｄによって得られた車両周辺画像を、仮想視点Ｑを視点とした基準面上における俯瞰画像として変換されたものである。すなわち、本実施形態で得られる俯瞰画像は、車載カメラ１ａ〜１ｄによって撮影された撮影画像中の全ての被写体が、自車両が置かれている路面上に存在するものとして、画像変換されたものである。そのため、上述したように、図６（ａ）〜図６（ｃ）に示すように、車載カメラ１ｃによって撮影される実際の路面が、自車両が置かれている路面である基準面と所定の角度θをなす面上にある場合には、路面上の対象物Ｏの俯瞰画像中の位置は、実際の位置からずれた位置となってしまう。

そして、たとえば、複数の白線が車載カメラで撮像されている場合において、図９（ａ）に示すように、車載カメラによって撮影される実際の路面が、自車両が置かれている路面である基準面と所定の角度θをなす面上にある場合には、路面上の白線Ｗ６〜Ｗ８の俯瞰画像中の位置は、自車両の上方から見た平面図である図９（ｂ）、および画像変換によって得られる俯瞰画像である図９（ｃ）に示すように、所定の傾きを有し、互いに平行ではないものとなってしまう。すなわち、白線Ｗ６〜Ｗ８は、図９（ｂ）に示すように、実際に平行であるにも拘わらず、図９（ｃ）に示すように、俯瞰画像中では、互いに平行ではないものとして検出されてしまう。ここで、図９（ａ）は、車載カメラ１ｃによって撮影される実際の路面が、自車両が置かれている路面である基準面と所定の角度θをなす面上にある場合における、側面図であり、図９（ｂ）は、自車両の上方から見た平面図、図９（ｃ）は、画像変換によって得られる俯瞰画像である。

そのため、図８に示す場面例と同様の場面例において、白線Ｗ１〜Ｗ５が存在する路面が、自車両が置かれている路面である基準面と所定の角度θをなす面上にある場合には、図１０に示すように、白線Ｗ１’〜Ｗ５’は、俯瞰画像に基づいて得られる周囲画像Ｓ中では、所定の傾きを有し、互いに平行ではないものとなってしまう。なお、後述するように白線Ｗ１’〜Ｗ５’の傾き度合いは、車載カメラからの位置によって変化するものであるため、図１０中においては、俯瞰画像に基づいて得られる周囲画像Ｓに、車載カメラ１ａ〜１ｄの設置位置を重畳して示した。ここで、図１０に示す例においては、白線Ｗ１’は、車載カメラ１ａにより撮像されたフロントビュー画像を視点変換して得た俯瞰画像Ａ１中に含まれるものであり、また、白線Ｗ２’〜Ｗ４’は、車載カメラ１ｄにより撮像された右サイドビュー画像を視点変換して得た俯瞰画像Ａ４中に含まれるものであり、さらに、白線Ｗ５’は、車載カメラ１ｃにより撮像されたリアビュー画像を視点変換して得た俯瞰画像Ａ３中に含まれるものである。そして、右サイドビュー画像を視点変換して得た俯瞰画像Ａ４中に含まれる白線Ｗ２’〜Ｗ４’においては、車載カメラ１ｄから相対的に遠い白線Ｗ４’は、白線Ｗ２’，Ｗ３’と比較して、相対的に傾きが大きい状態で表示されることとなる。

これに対し、本実施形態では、このような俯瞰画像に視点変換した際における白線の傾きを考慮して、一対の白線が駐車枠を構成する白線であるか否かを判断するものである。以下、白線の傾きを考慮して、一対の白線が駐車枠を構成する白線であるか否かを判断する方法について、詳細に説明する。

まず、自車両が置かれている路面である基準面と所定の角度θをなす面上に白線が存在する場合における、実際の白線の位置と、俯瞰画像中における白線の位置との関係について、図１１を参照して説明する。図１１中においては、実際の路面および実際の路面上に描画された白線Ｗ９，Ｗ１０を実線で、俯瞰画像の投影面（すなわち、基準面に投影される路面）および俯瞰画像中の白線Ｗ９’，Ｗ１０’を破線でそれぞれ示している。また、図１１に示すように、俯瞰画像の投影面（すなわち、基準面）が、Ｚ＝０であるＸＹ平面と等しくなるように、Ｘ軸、Ｙ軸、およびＺ軸を設定し、かつ、車載カメラが、Ｚ軸上の高さｈの位置（すなわち、Ｘ＝０，Ｙ＝０，Ｚ＝ｈの位置）にある場合を例示して説明する。まず、実際の路面上に描画された白線Ｗ９上の任意の点Ａについて注目すると、白線Ｗ９上の点Ａは、図１１に示すように、俯瞰画像の投影面上では、点Ａ’の位置に投影されることとなる。ここで、点Ａの座標を（Ａｘ，Ａｙ，Ａｚ）とし、点Ａ’の座標を（Ａ’ｘ，Ａ’ｙ，０）とすると、下記式（１）〜（３）の関係を満足することとなる。なお、点Ａ’は、俯瞰画像の投影面上に存在するため、Ｚ＝０となる。
Ａｚ＝Ａｙ×ｃｏｓθ ・・・（１）
Ａ’ｘ＝Ａｘ×ｈ／（ｈ−Ａｚ） ・・・（２）
Ａ’ｙ＝Ａｙ×ｈ／（ｈ−Ａｚ） ・・・（３）

そして、同様に、図１１に示す白線Ｗ９上の点Ｂ（Ｂｘ，Ｂｙ，Ｂｚ）と、その投影面上の点Ｂ’（Ｂ’ｘ，Ｂ’ｙ，０）との関係、さらに、白線Ｗ１０上の点Ｃ（Ｃｘ，Ｃｙ，Ｃｚ）と、その投影面上の点Ｃ’（Ｃ’ｘ，Ｃ’ｙ，０）との関係、白線Ｗ１０上の点Ｄ（Ｄｘ，Ｄｙ，Ｄｚ）と、その投影面上の点Ｄ’（Ｄ’ｘ，Ｄ’ｙ，０）との関係も上記式（１）〜（３）に準じたものとなる。

すなわち、白線上の任意の点の座標を（Ｘ_ｒ，Ｙ_ｒ，Ｚ_ｒ）と、その投影面上の点の座標を（Ｘ_ｒ’，Ｙ_ｒ’，０）とすると、これらは下記式（４）〜（６）の関係を満足することとなる。
Ｚ_ｒ＝Ｙ_ｒ×ｃｏｓθ ・・・（４）
Ｘ_ｒ’＝Ｘ_ｒ×ｈ／（ｈ−Ｚ_ｒ） ・・・（５）
Ｙ_ｒ’＝Ｙ_ｒ×ｈ／（ｈ−Ｚ_ｒ） ・・・（６）

そして、上記式（４）〜（６）式より得られた関係から、白線上の任意の点（たとえば、点Ａ）と、その投影面上の点（たとえば、点Ａ’）とのＸ軸方向における差（Ｘ_ｒ−Ｘ_ｒ’）およびＹ軸方向における差（Ｙ_ｒ−Ｙ_ｒ’）は、以下の通りとなる。
Ｘ軸方向における差：Ｘ_ｒ×Ｚ_ｒ／（ｈ−Ｚ_ｒ）
Ｙ軸方向における差：Ｙ_ｒ×Ｚ_ｒ／（ｈ−Ｚ_ｒ）

すなわち、Ｘ軸の座標であるＸ_ｒの絶対値が大きくなるほど（すなわち、Ｘ軸方向における、車載カメラからの位置が遠くなるほど）、Ｘ軸方向における、実際の路面上における位置と、投影面上の位置との差が大きくなる。同様に、Ｙ軸の座標であるＹ_ｒの絶対値が大きくなるほど（すなわち、Ｙ軸方向における、車載カメラからの位置が遠くなるほど）、Ｙ軸方向における、実際の路面上における位置と、投影面上の位置との差が大きくなる。

さらに、車載カメラの高さｈは、通常、Ｚ軸の座標であるＺ_ｒの絶対値よりも十分に大きな値であるため、Ｚ軸の座標であるＺ_ｒの絶対値が大きいほど、Ｘ軸方向およびＹ軸方向における、実際の路面上における位置と、投影面上の位置との差が大きくなる。加えて、車載カメラの高さｈが低いほど、Ｘ軸方向およびＹ軸方向における、実際の路面上における位置と、投影面上の位置との差が大きくなる。

ここで、図１２に示すように、白線Ｗ９，Ｗ１０が、ＸＹ平面上においてＹ軸と水平である（車載カメラの撮像方向と水平である）とし、また、点Ａおよび点ＣのＹ軸の座標であるＹ_ｒの値、点Ｂおよび点ＤのＹ軸の座標であるＹ_ｒの値はそれぞれ同じであるとする。なお、図１２は、図１１に示す場面をＺ軸方向から見た図であり、実際の路面上に描画された白線Ｗ９，Ｗ１０を実線で、俯瞰画像中の白線Ｗ９’，Ｗ１０’を破線でそれぞれ示している。ここで、図１１、図１２に示す白線Ｗ９上に位置する点Ａと点Ｂとに注目すると、点Ａ、点Ｂともに、実際の路面上におけるＸ軸の座標であるＸ_ｒの値が同じである一方で、Ｙ軸の座標であるＹ_ｒ、およびＺ軸の座標であるＺ_ｒの値は、点Ａよりも点Ｂの方が大きな値となる。なお、Ｚ軸の座標であるＺ_ｒの値が点Ａよりも点Ｂの方が大きくなるのは、実際の路面が、Ｙ軸方向に沿って、投影面となる基準面より角度θだけ傾斜していることによる。そのため、図１１、図１２に示すように、点Ｂと点Ｂ’とのＸ軸方向における位置の差は、点Ａと点Ａ’とのＸ軸方向における位置の差よりも大きくなり、その結果として、俯瞰画像中の白線Ｗ９’は車載カメラ（自車両）から離れるにしたがって、傾いていくような態様となる。

同様に、図１１、図１２に示す白線Ｗ１０上に位置する点Ｃと点Ｄとに注目すると、点Ｃ、点Ｄともに、実際の路面上におけるＸ軸の座標であるＸ_ｒの値が同じである一方で、Ｙ軸の座標であるＹ_ｒ、およびＺ軸の座標であるＺ_ｒの値は、点Ｃよりも点Ｄの方が大きな値となる。そのため、図１１、図１２に示すように、点Ｄと点Ｄ’とのＸ軸方向における位置の差は、点Ｃと点Ｃ’とのＸ軸方向における位置の差よりも大きくなり、その結果として、俯瞰画像中の白線Ｗ９’は車載カメラ（自車両）から離れるにしたがって、傾いていくような態様となる。

さらに、図１１、図１２に示す点Ａと点Ｃに注目すると、これら点Ａ、点Ｃともに、Ｙ軸の座標であるＹ_ｒの値およびＺ軸の座標であるＺ_ｒの値は同じである一方で、Ｘ軸の座標であるＸ_ｒの値は、点Ａよりも点Ｄの方が大きな値となる。なお、Ｚ軸の座標であるＺ_ｒの値が点Ａ、点Ｃともに同じとなるのは、実際の路面が、Ｙ軸方向に沿って、投影面となる基準面より角度θだけ傾斜していることによる。そのため、図１１、図１２に示すように、点Ｃと点Ｃ’とのＸ軸方向における位置の差は、点Ａと点Ａ’とのＸ軸方向における位置の差よりも大きくなる。同様に、点Ｂと点Ｄに注目すると、点Ｄと点Ｄ’とのＸ軸方向における位置の差は、点Ｂと点Ｂ’とのＸ軸方向における位置の差よりも大きくなる。すなわち、車載カメラの設置位置から相対的に近い位置に存在する白線Ｗ９と、相対的に遠い位置に存在する白線Ｗ１０とを比較すると、相対的に遠い位置に存在する白線Ｗ１０の方が、投影面に投影した際における、Ｘ軸方向における位置の差が大きくなり、そのため、傾斜角度も大きくなることとなる。

なお、上述した例は、白線Ｗ９，Ｗ１０が、ＸＹ平面上においてＹ軸と水平である場合を例示したが、Ｙ軸と水平でない場合（車載カメラの撮像方向に対して所定の角度を有している場合）も同様の傾向となる。さらに、図１３に示すように、Ｘ軸方向において、車載カメラの設置位置に対して反対側に存在する白線Ｗ１１については、投影面に投影される白線Ｗ１１’の傾きは反対方向となる。

このように、自車両が置かれている路面である基準面と所定の角度θをなす面上に白線が存在する場合には、白線は所定の角度を持った傾き、すなわち、所定の角度ズレαを有するような態様で、俯瞰画像中に含まれることとなる。そのため、本実施形態では、上述した方法にしたがって算出される白線の角度ズレαを考慮して、一対の白線が駐車枠を構成する白線であるか否かを判断する。具体的には、俯瞰画像中において検出された各白線について、車載カメラの高さの基準面からの高さｈ、白線の描画されている路面の基準面からの高さＨ、俯瞰して見た場合における車載カメラから白線までの距離Ｄ、および白線の描画されている路面の基準面に対する角度θに基づいて、角度ズレαを、α＝ｆ（ｈ，Ｈ，Ｄ，θ）にしたがって演算する。

そして、一対の白線間の平行度に基づいて、該一対の白線が駐車枠を構成する白線であるか否かを判定する際における平行度閾値Ｔを、演算した角度ズレαに基づいて設定（変更）し、角度ズレαに基づいて設定した平行度閾値Ｔを用いて、一対の白線が駐車枠を構成する白線であるか否かを判定する。たとえば、図１１、図１２に示す一対の白線Ｗ９’、Ｗ１０’が駐車枠を構成するか否かを判定する際には、白線Ｗ９’の角度ズレα_Ｗ９’と、白線Ｗ１０’の角度ズレα_Ｗ１０’とを算出し、これらの差α_Ｗ９’−α_Ｗ１０’を算出し、得られた角度ズレ差α_Ｗ９’−α_Ｗ１０’の大きさに基づいて平行度閾値Ｔを設定する。具体的には、角度ズレ差α_Ｗ９’−α_Ｗ１０’が大きいほど、角度ズレ差α_Ｗ９’−α_Ｗ１０’に応じて、平行度閾値Ｔを低く設定し、平行度が比較的低い場合でも、当該一対の白線が駐車枠を構成する白線であると判断できるようにする。なお、角度ズレαと、ｈ，Ｈ，Ｄ，θとの関係や、角度ズレ差Δαと平行度閾値Ｔとの関係は、たとえば、予めテーブルとして記憶しているような構成とすることができる。

また、本実施形態では、一対の白線の平行度が、所定の平行度閾値Ｔ以上であることに加え、一対の白線間の距離が所定の駐車幅閾値（駐車枠であると判断できるような距離に基づいて設定される閾値）以内である場合に、該一対の白線が駐車枠を構成する白線であると判断するような構成としてもよい。

次に、制御装置１０の表示制御機能について説明する。本実施形態の制御装置１０は、上記方法により生成した周囲画像Ｓを、ディスプレイ５の表示画面上に表示させる。また、制御装置１０は、駐車枠を構成する白線であると判定された一対の白線が存在する場合、すなわち、合成俯瞰画像Ｋ中に駐車枠が存在する場合には、合成俯瞰画像Ｋ中の一つの駐車枠を目標駐車枠に設定し、周囲画像Ｓをディスプレイ５の表示画面上に表示する際に、周囲画像Ｓ中における、目標駐車枠を構成する一対の白線に挟まれた領域を、たとえば、ハイライト表示することで、ユーザに目標駐車枠領域を提示する。

次いで、本実施形態における駐車支援動作について説明する。図１４は、本実施形態に係る駐車支援動作を示すフローチャートである。なお、以下に説明する動作は、ユーザにより駐車ボタン６の押圧操作が行なわれることによって開始される。また、以下の動作は、制御装置１０により実行される。

まず、ステップＳ１では、車載カメラ１ａ〜１ｄにより撮像された撮像画像の取得が行なわれる。

ステップＳ２では、ステップＳ１で取得した撮影画像を、俯瞰画像に変換し、変換した俯瞰画像に基づいて、合成俯瞰画像Ｋ（図３参照）を生成する処理が行なわれる。

次いで、ステップＳ３では、ステップＳ２で生成した合成俯瞰画像Ｋ中に存在する白線を検出する処理が行われる。具体的には、制御装置１０は、合成俯瞰画像Ｋ全体についての色情報を取得し、取得した色情報から、白色部分を抽出し、抽出した白色部分が所定の線幅で一方向に連続している部分を検出し、当該部分を白線として検出する。

ステップＳ４では、ステップＳ３において、白線が２本以上検出できたか否かの判定が行なわれる。白線が２本以上検出できた場合には、ステップＳ５に進み、一方、白線が１本しか検出できなかった場合、あるいは、白線が全く検出できなかった場合には、ステップＳ１４に進み、駐車枠は存在しないと判定して、本処理を終了する。

ステップＳ５では、ステップＳ３において検出された２本以上の白線について、２本ずつペアリングする処理が行われる。なお、白線をペアリングする際の組み合わせは、特に限定されないが、たとえば、検出された白線全てをそれぞれ組み合わせてペアリングする方法が挙げられる。あるいは、隣り合う白線同士をそれぞれペアリングする方法や、あるいは、所定の距離範囲（車両を駐車することを考慮した距離範囲）内にある白線同士をそれぞれペアリングする方法などを採用してもよい。

ステップＳ６では、ステップＳ５においてペアリングした一対の白線のうち一つを選択する処理が行なわれる。

ステップＳ７では、ステップＳ６において選択した一対の白線の平行度を算出し、算出した平行度が、所定の平行度閾値Ｔ以上であるか否かの判定が行なわれる。なお、この際において、本実施形態では、上述した方法にしたがい、一対の白線のそれぞれについて角度ズレαを算出し、その差分を算出することで角度ズレ差Δαを演算する。そして、得られた角度ズレ差Δαに基づいて、所定の平行度閾値Ｔを設定し、一対の白線の平行度が、角度ズレ差Δαに基づいて設定された平行度閾値Ｔ以上であるか否かを判定する。そして、一対の白線の平行度が、角度ズレ差Δαに基づいて設定された平行度閾値Ｔ以上である場合には、ステップＳ８に進み、一方、一対の白線の平行度が、角度ズレ差Δαに基づいて設定された平行度閾値Ｔ以上である場合には、ステップＳ１０に進む。

ステップＳ８において、選択された一対の白線の平行度が、角度ズレ差Δαに基づいて設定された平行度閾値Ｔ以上であると判断された場合にはステップＳ９に進み、ステップＳ９では、選択された一対の白線間の距離が、所定の駐車幅閾値の範囲内にあるか否かの判定が行なわれる。選択された一対の白線間の距離が、所定の駐車幅閾値の範囲内にある場合には、ステップＳ９に進み、一方、所定の駐車幅閾値の範囲内にない場合には、ステップＳ１０に進む。

選択された一対の白線の平行度が、角度ズレ差Δαに基づいて設定された平行度閾値Ｔ以上であり、かつ、選択された一対の白線間の距離が、所定の駐車幅閾値の範囲内にある場合には、ステップＳ９に進み、選択された一対の白線が駐車枠を構成すると判定され、ステップＳ１１に進む。

一方、選択された一対の白線の平行度が、角度ズレ差Δαに基づいて設定された平行度閾値Ｔ未満である場合、あるいは、選択された一対の白線間の距離が、所定の駐車幅閾値の範囲内にない場合には、ステップＳ１０に進み、選択された一対の白線が駐車枠を構成しないと判定され、ステップＳ１１に進む。

ステップＳ１１では、ペアリングした一対の白線の全てについて、上述したステップＳ７〜Ｓ１０の判定を行なったか否かの判断が行なわれる。ペアリングした一対の白線の全てについて、上述したステップＳ７〜Ｓ１０の判定を行なった場合には、ステップＳ１２に進み、一方、上述したステップＳ７〜Ｓ１０の判定を行なっていない一対の白線が存在する場合には、ステップＳ６に戻り、上述したステップＳ７〜Ｓ１０の判定を行なっていない一対の白線のうち、一つのペアが選択され、再度、選択された一対の白線について、上述したステップＳ７〜Ｓ１０の判定が行なわれる。

ペアリングした一対の白線の全てについて、上述したステップＳ７〜Ｓ１０の判定を行なった場合には、ステップＳ１２に進み、ペアリングされた一対の白線のうち、駐車枠を構成すると判断されたものが存在するか否か、すなわち、合成俯瞰画像Ｋ中に駐車枠が存在するか否かの判定が行なわれる。合成俯瞰画像Ｋ中に駐車枠が存在する場合には、ステップＳ１３に進み、一方、合成俯瞰画像Ｋ中に駐車枠が存在しない場合には、ステップＳ１４に進む。

ステップＳ１３では、合成俯瞰画像Ｋ中に検出された駐車枠のうち、一つを目標駐車枠に設定し、周囲画像Ｓをディスプレイ５の表示画面上に表示する際に、周囲画像Ｓ中における、目標駐車枠を構成する一対の白線に挟まれた領域を、たとえば、ハイライト表示することで、ユーザに目標駐車枠領域を提示する。なお、合成俯瞰画像Ｋ中に検出された駐車枠のうち、一つを目標駐車枠に設定する方法としては、特に限定されないが、検出された駐車枠のうち、他の車が駐車されていない駐車枠であり、かつ、自車両位置から最も駐車し易い駐車枠を目標駐車枠に設定する方法が挙げられる。また、合成俯瞰画像Ｋ中に検出された駐車枠が一つの場合には、検出された駐車枠を、目標駐車枠に設定する。

一方、ステップＳ４において、合成俯瞰画像Ｋ中に白線が２本以上検出されなかったと判断された場合、およびステップＳ１２において、駐車枠が検出されなかったと判断された場合には、ステップＳ１４に進み、合成俯瞰画像Ｋ中には、駐車枠が存在しないと判断し、ユーザに対して目標駐車枠を提示することなく、本処理を終了する。

以上のようにして、本実施形態における駐車支援動作は実行される。

本実施形態においては、合成俯瞰画像Ｋ中に存在する白線を検出し、検出した各白線について、検出された各白線を２本ずつペアリングして、ペアリングされた一対の白線について平行度を算出し、算出した平行度が平行度閾値Ｔ以上であるか否かに基づいて、当該一対の白線が駐車枠を構成する白線であるか否かを判定する際に、各白線の角度ズレαに基づいて、平行度閾値Ｔを設定（変更）し、角度ズレαに基づいて設定した平行度閾値Ｔを用いて、当該一対の白線が駐車枠を構成する白線であるか否かを判定する。なお、本意実施形態においては、各白線の角度ズレαを、車載カメラの高さの基準面からの高さｈ、白線の描画されている路面の基準面からの高さＨ、俯瞰して見た場合における車載カメラから白線までの距離Ｄ、および白線の描画されている路面の基準面に対する角度θに基づき、α＝ｆ（ｈ，Ｈ，Ｄ，θ）にしたがって演算する。そのため、本実施形態によれば、角度ズレαを考慮して、平行度閾値Ｔを設定することにより、実際の路面上では平行であるものの、俯瞰画像中では平行となっていないような一対の白線について、自車両が駐車可能な駐車枠を構成するものと判断することができ、これにより、自車両が駐車可能な駐車枠をユーザに適切に提示することができる。特に、本実施形態によれば、一対の白線が、自車両が置かれている路面と水平な面である基準面に対して、所定角度θを有しているような路面上に存在し、俯瞰画像中では平行となっていないような一対の白線についても、駐車枠として検出することができるため、ユーザに対して駐車枠を提示できる機会を適切に増やすことができる。

加えて、本実施形態では、角度ズレαを算出する際に、車載カメラの高さの基準面からの高さｈ、白線の描画されている路面の基準面からの高さＨ、俯瞰して見た場合における車載カメラから白線までの距離Ｄ、および白線の描画されている路面の基準面に対する角度θに基づき、α＝ｆ（ｈ，Ｈ，Ｄ，θ）にしたがって演算することにより、俯瞰画像中における、白線の角度ズレ（傾き度合い）を適切に検出することができ、これにより、俯瞰画像中では平行となっていないような一対の白線について、自車両が駐車可能な駐車枠であるか否かの判断を適切に行なうことができる。

なお、上述した実施形態において、車載カメラ１ａ〜１ｄは本発明の撮像手段に、制御装置１０の画像変換機能は本発明の画像変換手段に、制御装置１０の白線検出機能は本発明の線状ロードマーク検出手段に、制御装置１０の白線平行度算出機能は本発明の平行度算出手段に、制御装置１０の駐車枠判定機能は本発明の判断手段に、制御装置１０の表示制御機能は本発明の提示手段に、それぞれ相当する。

以上、本発明の実施形態について説明したが、これらの実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

たとえば、上述した実施形態では、合成俯瞰画像Ｋ中の白線を検出し、検出した白線が駐車枠を構成するか否かを判断するような態様を例示したが、白線に加えて、白線以外の色の線（以下、「他の色の線」とする。）についても併せて検出し、検出した白線および他の色の線が駐車枠を構成するか否かを判断するような構成としてもよい。なお、この場合には、駐車枠を構成するか否かを判断するために、白線および他の色の線をペアリングする際には、同じ色の線同士（たとえば、白線同士や黄線同士）をペアリングして、駐車枠を構成するか否かを判断することが望ましい。

１００…駐車支援システム
１ａ〜１ｄ…車載カメラ
１０…制御装置
２…車速センサ
３…操舵角センサ
４…シフト位置センサ
５…ディスプレイ
６…駐車ボタン

Claims (7)

1. 自車両の周囲を撮像する撮像手段と、
   前記撮像手段で撮像された自車両周囲の画像を、自車両上方から見下ろした俯瞰画像に変換する画像変換手段と、
   前記俯瞰画像に含まれる、路面上に描画された線状のロードマークを検出する線状ロードマーク検出手段と、
   前記線状ロードマーク検出手段により、前記線状のロードマークが複数検出された場合に、複数の前記線状のロードマークのそれぞれについて、検出された他の線状のロードマークに対する平行度を算出する平行度算出手段と、
   前記平行度算出手段により算出された平行度が所定の閾値以上であるか否かに基づいて、前記俯瞰画像中に、自車両が駐車可能な駐車枠が存在しているか否かを判断する判断手段と、
   前記判断手段により前記駐車枠が存在していると判断された場合に、前記駐車枠をユーザに提示する提示手段と、を備え、
   前記判断手段は、前記俯瞰画像中における、前記線状のロードマークの前記俯瞰画像中における存在位置に応じて、前記駐車枠が存在しているか否かを判断する際の前記閾値を変更することを特徴とする駐車支援装置。
2. 請求項１に記載の駐車支援装置において、
   前記判断手段は、前記平行度が前記閾値以上である場合に、前記平行度の算出に係る一対の線状のロードマークが駐車枠を構成するロードマークであると判断することを特徴とすることを特徴とする駐車支援装置。
3. 請求項１または２に記載の駐車支援装置において、
   前記判断手段は、前記撮像手段と、前記線状のロードマークとの相対位置に応じて、前記駐車枠が存在しているか否かを判断する際の前記閾値を変更することを特徴とする駐車支援装置。
4. 請求項１〜３のいずれかに記載の駐車支援装置において、
   前記平行度算出手段は、前記線状のロードマーク間の相対角度または前記線状のロードマーク間の距離に基づいて、前記平行度を算出することを特徴とする駐車支援装置。
5. 請求項１〜４のいずれかに記載の駐車支援装置において、
   前記判断手段は、さらに前記撮像手段の設置高さに応じて、前記駐車枠が存在しているか否かを判断する際の前記閾値を変更することを特徴とする駐車支援装置。
6. 請求項５に記載の駐車支援装置において、
   前記判断手段は、前記撮像手段と前記線状のロードマークとの相対位置、および
   前記撮像手段の設置高さに応じて、前記駐車枠が存在しているか否かを判断する際の前記閾値を変更することを特徴とする駐車支援装置。
7. 自車両周囲の画像から変換した俯瞰画像内に含まれる、路面上に描画された線状のロードマークを検出し、
   前記線状のロードマークが複数検出された場合に、複数の前記線状のロードマークのそれぞれについて、検出された他の線状のロードマークに対する平行度を算出し、
   前記平行度算出手段により算出された平行度が所定の閾値以上である場合に、前記俯瞰画像中に、自車両が駐車可能な駐車枠が存在していると判断する駐車支援方法において、
   前記線状のロードマークの前記俯瞰画像中における存在位置に応じて、前記閾値を変更することを特徴とする駐車支援方法。

Images