JP2011006005A - 駐車時における運転支援装置及び方法 - Google Patents

Abstract

【課題】簡単な演算処理及び装置構成により駐車枠線に対する自車両の姿勢を検出可能とした駐車時における運転支援装置及び方法を提供することが課題である。
【解決手段】車両１００に搭載された撮像装置１により撮像された車両後方の広角撮像画像を用いて、駐車スペース３０の左右駐車枠線Ｌ１、Ｌ２に対する自車両姿勢を検出する駐車時における運転支援装置であって、前記撮像画像から前記左右駐車枠線Ｌ１、Ｌ２に該当する２本の線形画像を抽出する駐車枠線検出手段と、前記撮像画像の水平方向若しくは垂直方向に対する前記２本の線形画像の傾きθ１とθ２を算出し、該傾きθ１とθ２の相対関係に基づいて前記左右駐車枠線Ｌ１、Ｌ２に対する車体平行度を検出する車体平行度検出手段と、を備える。
【選択図】図３

Description

本発明は、車両に搭載された撮像装置により撮像された車両後方の撮像画像に基づいて、駐車スペースの左右駐車枠線に対する自車両の姿勢を検出可能とした駐車時における運転支援装置及び方法に関するものである。

車両の運転を支援する技術の一つとして、車載カメラにより車両外部を撮像して撮像画像を車内のモニタに表示したり、画像処理して必要な情報を運転者に提示するようにした技術が知られている。特に駐車時において、車両後方は視認し難いため、例えば駐車スペースに並列駐車する場合など、運転者が左右の駐車枠線を認識することは困難であり、またこの駐車枠線に平行に車両をバックさせることは非常に難しかった。

そこで、車両後方に車載カメラを設置し、車載カメラで撮像した画像を車内のモニタ上に表示することで、ミラーを見ることなく車両後方の様子を運転者に知らせるようにした運転支援装置が普及し始めている。
さらに近年は、これに加えて車載カメラで撮像された画像に所定の画像処理を行って必要な情報を運転者にわかり易く表示するようにした運転支援装置も提案されている。
例えば特許文献１（特開平１０−８３５００号公報）には、車体底面に複数の画像センサを取り付けて路面を撮影し、白線と自車との相対位置関係を計算して車内のディスプレイ上に表示する技術が開示されている。
また、特許文献２（特開平１１−３３４４７０号公報）には、車載カメラで撮像した画像に、ハンドル舵角に応じたタイヤの予測軌跡を重ねて表示し、車両の進む先を運転者に知らせることを可能とした運転支援装置が開示されている。

特開平１０−８３５００号公報 特開平１１−３３４４７０号公報

しかしながら従来技術では、後方の駐車枠線を認識するために車体底面に新たに車載カメラを設置したり車載カメラの台数を増加する必要があり、コストが増大してしまうという問題があった。また、車体底面にカメラを設置した場合、車体底面から路面までの距離が近いことから撮影範囲が狭くなり車両直下の白線しか認識されないという問題があった。さらに、車載カメラの取り付け位置に関しても、車体底部に泥はね等で撮像装置の受光窓が汚されて画質を低下させる惧れがある。さらにまた、従来技術では白線と自車両との相対位置関係を計算して求めるようにしているが、演算処理が複雑化するという問題があった。
また、ハンドル舵角の変化に基づいて自車両の姿勢を検知する技術においては、舵角センサが高価であり、舵角センサのセンサ情報を用いてタイヤの進行方向の予測軌跡を計算する処理ユニットも必要となり、コスト増大を招くという問題があった。
そのため本発明においては、簡単な演算処理及び装置構成により駐車枠線に対する自車両の姿勢を検出可能とした駐車時における運転支援装置及び方法を提供することが課題である。

上記課題を解決するため、車両に搭載された撮像装置により撮像された車両後方の広角撮像画像を用いて、駐車スペースの左右駐車枠線に対する自車両姿勢を検出する駐車時における運転支援装置であって、
前記撮像画像から前記左右駐車枠線に該当する２本の線形画像を抽出する駐車枠線検出手段と、
前記撮像画像の水平方向若しくは垂直方向に対する前記２本の線形画像の傾きθ１とθ２を算出し、該傾きθ１とθ２の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出する車体平行度検出手段と、を備えることを特徴とする。

本発明によれば、左右駐車枠線と自車両との相対位置関係を直接検出することを行なわずに、左右２本の駐車枠線の傾きθ１、θ２の相対関係に基づいて車両の駐車枠線に対する車体平行度を検出するようにしているため、簡単に且つ精度良く車両の姿勢を検出することが可能となる。尚、車体平行度とは、左右駐車枠線と車両の向き（車軸に垂直な向き）との平行の度合いをいう。また、傾きθ１とθ２の相対関係は、例えば、傾きθ１とθ２がプラスマイナスをもつ数値で表される場合、傾きθ１＋θ２の値で表される。この場合、θ１＋θ２が０に近づくほど車体平行度は平行に近づくものである。しかしながら、傾きθ１とθ２の相対関係は上記に限定されるものではない。他の例として、傾きθ１とθ２の絶対値の差分で表すようにしても良い。この場合、傾きθ１とθ２の絶対値の差分が０に近づくほど車体平行度は平行に近づくこととなる。尚、水平方向若しくは垂直方向に対する２本の線形画像の傾きθ１、θ２は、水平方向若しくは垂直方向に対する２本の線形画像の垂線の傾きとしてもよい。
また、車両後方に一台の撮像装置を設置するのみで車体平行度を検出できるため、新たに複数の撮像装置を設置する必要がなく画像処理部の追加のみで実施が可能であり、安価な装置とすることができる。さらにまた、既存のバックカメラ（リアビューカメラ）を用いることもでき、より一層コスト低減が図れる。

また、前記撮像装置の光軸と前記車両の向きが角度θ３を有する時に、前記車体平行度検出手段に予め角度θ３を設定しておき、前記傾きθ１とθ２の相対関係と前記角度θ３とに基づいて前記左右駐車枠線に対する車体平行度を検出することを特徴とする。
このように、撮像装置の光軸と車両の向きの角度θ３を予め設定しておくことで、光軸が車両の向きに対して傾いている場合でも、精度良く車体平行度を検出可能である。

また、前記撮像画像から前記車両の写り込み部分を含む駐車スペース以外の部分を除外し、垂直方向に対して下方側は左右幅が広く上方側に向けて左右幅が狭くなる形状の処理対象エリアを取得するエリア部読出し手段を備え、該エリア部読出し手段で取得した処理対象エリア内で前記車体平行度検出手段により車体平行度を検出することを特徴とする。
このように、広角撮像画像に映し出された駐車スペースに応じて処理対象エリアを設定し、この処理対象エリア内のみで車体平行度を検出することで、必要なエリアのみを画像処理することとなり処理時間が短縮化される。

さらに、前記駐車枠線検出手段は、前記撮像画像を垂直方向に圧縮して前記線形画像の角度を増幅するようにしたことを特徴とする。
車両と左右駐車枠線が平行に近づいてくると駐車枠線の傾きθ１、θ２が近い値となってしまうため、撮像画像を垂直方向に圧縮して線形画像の角度を増幅することにより高感度で車体平行度を検出することが可能となる。

さらにまた、前記駐車枠線検出手段は、前記抽出された２本の線形画像を垂直方向の上下端より所定の画素分だけ削除して、垂直方向に伸びる線形画像のみを残すようにしたことを特徴とする。
このように、抽出された２本の線形画像を垂直方向の上下端より所定の画素分だけ削除することにより、略垂直方向に伸びる左右駐車枠線のみを残すことができ、水平方向の駐車枠線との区別ができ誤認識を防止できる。

また、前記駐車枠線検出手段は、前記撮像画像から３本以上の複数の線形画像が抽出された時に、該撮像画像の中央からの距離が近い２本の線形画像を選択するようにしたことを特徴とする。
このように、複数の駐車枠線が検出された時に、撮像画像の中央からの距離が近い２本の線形画像を選択することにより、駐車しようとする駐車スペースの左右駐車枠線を確実に検出することが可能となる。尚、複数の駐車枠線が検出された場合に左右駐車枠線に該当する線形画像を選択する手段は上記した手段に限定されるものではない。他の手段としては、例えば抽出された複数の線形画像の面積に基づいて左右駐車枠線を選択する手段、傾きθ１、θ２にしきい値を設けて、θ１、θ２が夫々しきい値から外れるものについては除外し、残った線形画像を左右駐車枠線として選択する手段、などが挙げられる。

また、前記車体平行度検出手段は、前記駐車枠線検出手段で抽出された２本の線形画像の平均直線からなる第１の仮想線と、前記車両の中心線の延長線となる第２の仮想線とのズレを検出し、前記駐車スペースに対する前記車両の車幅方向のズレを検出することを特徴とする。
これにより、車体平行度のみではなく駐車スペースに対する車両の車幅方向のズレを検出することができ、適切な位置に車両を駐車することが可能となる。

さらに、前記車体平行度検出手段で検出された車体平行度に基づいて、前記車両のハンドル操作を促す信号を出力することを特徴とする。
これにより、車両の運転者がリアルタイムで自車両の姿勢を把握することができ、適正な運転操作を行なうことが可能となる。前記信号とは、例えば車内モニタ上に表示するマークや文字、又は車内スピーカから出力する音声等が挙げられる。

また、車両に搭載された撮像装置により撮像された車両後方の広角撮像画像を用いて、駐車スペースの左右駐車枠線に対する自車両姿勢を検出する駐車時における運転支援方法であって、
前記撮像画像を画像処理部に入力し、
前記画像処理部にて、前記撮像画像に２値化処理を含む画像処理を行った後、前記左右駐車枠線に該当する２本の線形画像を抽出し、前記撮像画像の水平方向若しくは垂直方向に対する前記２本の線形画像の傾きθ１とθ２を算出し、該傾きθ１とθ２の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出するようにしたことを特徴とする。

以上記載のごとく本発明によれば、左右駐車枠線と自車両との相対位置関係を直接検出することを行なわずに、左右２本の駐車枠線の傾きθ１、θ２の相対関係に基づいて車両の駐車枠線に対する車体平行度を検出するようにしているため、簡単に且つ精度良く車両の姿勢を検出することが可能となる。
また、車両後方に一台の撮像装置を設置するのみで車体平行度を検出できるため、新たに複数の撮像装置を設置する必要がなく安価な装置とすることができる。さらにまた、既存のバックカメラを用いることもでき、より一層コスト低減が図れる。

また、撮像装置の光軸と車両の向きの角度θ３を予め設定しておくことで、光軸が車両の向きに対して傾いている場合でも、精度良く車体平行度を検出可能である。
また、広角撮像画像に映し出された駐車スペースに応じて処理対象エリアを設定し、この処理対象エリア内のみで車体平行度を検出することで、必要なエリアのみを画像処理することとなり処理時間が短縮化される。
さらに、撮像画像を垂直方向に圧縮して線形画像の角度を増幅することにより高感度で車体平行度を検出することが可能となる。
さらにまた、抽出された２本の線形画像を垂直方向の上下端より所定の画素分だけ削除することにより、略垂直方向に伸びる左右駐車枠線のみを残すことができ、水平方向の駐車枠線との区別ができ誤認識を防止できる。

また、２本の線形画像の平均直線からなる第１の仮想線と、車両の中心線の延長線となる第２の仮想線とのズレを検出することで、車体平行度のみではなく駐車スペースに対する車両の車幅方向のズレを検出することができ、適切な位置に車両を駐車することが可能となる。
さらに、車体平行度に基づいて車両のハンドル操作を促す信号を出力することにより、車両の運転者がリアルタイムで自車両の姿勢を把握することができ、適正な運転操作を行なうことが可能となる。

本発明の実施形態に係る運転支援装置のブロック構成図である。 撮像画像における処理対象エリアを示す図である。 車体平行度の検出を説明する図で、（ａ）は駐車枠線と車両の位置関係を示す図、（ｂ）は（ａ）の状態における撮像装置の撮像画像を示す図である。 光軸と車両が平行でない場合の車体平行度の検出を説明する図で、（ａ）は駐車枠線と車両の位置関係を示す図、（ｂ）は（ａ）の状態における撮像装置の撮像画像を示す図である。 圧縮処理を説明する図で、（ａ）は圧縮前の画像を示す図、（ｂ）は圧縮後の画像を示す図である。 図５とは別の圧縮処理を説明する図で、（ａ）は圧縮前の画像を示す図、（ｂ）は圧縮後の画像を示す図である。 図６の圧縮処理を説明する図で、（ａ）は圧縮前の画素イメージ図、（ｂ）は圧縮後の画素イメージ図である。 図６の圧縮処理を説明するフロー図である。 表示マークを合成した撮像画像を示す図である。 車両と駐車スペースのズレ検出を説明する図で、（ａ）は駐車枠線と車両の位置関係を示す図、（ｂ）は（ａ）の状態における撮像装置の撮像画像を示す図である。 車両と駐車スペースのズレ検出の処理を説明するフロー図である。 本発明の実施形態に係る運転支援方法の処理を示すフロー図である。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の形状等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
本発明の実施形態に係る運転支援装置は、路面に描かれた駐車枠線（例えば白線）に対する自車両の姿勢を検知するもので、具体的には、駐車スペースの左右の駐車枠線に対する自車両の角度（車軸に垂直な車体角度）を検知するものである。

図１は本発明の実施形態に係る運転支援装置のブロック構成図である。
撮像装置１は、車両の外部後方の画像を撮像する装置である。該撮像装置１は、レンズ１ａ、又はレンズとプリズムやミラーとの組み合わせからなる光学素子と、ＣＣＤ１ｂやＣＭＯＳ等の固体撮像素子とを備えており、レンズ１ａ等に入った入射光が、離れた位置にある撮像素子に伝達されるように構成してもよい。また、該撮像装置１はカラー又はモノクロのデジタルカメラ（車載カメラ）であり、例えば車両後部に設置されたリアビューカメラが用いられる。好適には、撮像装置１は広角レンズを備えて広角視野を有するものとする。撮像装置１は一台または複数台設置されるが、好適には一台の装置を用いる。また、該撮像素子１は不図示のＣＰＵ、フレームメモリを備えており、撮像画像をメモリに蓄積して適宜画像処理部１０に送信するようになっている。
ＡＦＥ（アナログ・フロントエンド）部２は、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路３、ＡＤ変換手段４等を備える。撮像装置１の固体撮像素子から出力された画像信号は、ＣＤＳ回路３にてノイズの一部を除去した後、ＡＤ変換手段４でＡ／Ｄ変換され、これらを含む一連の処理によりデジタル信号である画像データに変換される。

画像処理部１０は、輝度信号処理手段１１と、色信号処理手段１２と、画像保存手段（メモリ）１３と、遅延回路１４と、画像合成手段１５と、エリア部読出し手段１６と、駐車枠線検出手段１７と、車体平行度検出手段１８と、表示マーク選択手段１９と、表示マーク読出し手段（メモリ）２０と、を備える。
輝度信号処理手段１１は、色信号と輝度信号を分離した画像データのうち輝度信号を用いてオフセットやゲインの調整、ガンマ変換、鮮鋭化処理等の輝度信号処理を行い、輝度信号の高域成分を抽出して画像の輪郭を強調するものである。
色信号処理手段１２は、色信号と輝度信号を分離した画像データのうち色信号を用いてオフセットやゲインの調整、ガンマ変換、ホワイトバランス処理（ＡＷＢ処理等）等の色信号処理を行うものである。

画像保存手段１３は、輝度信号処理手段１１で処理された輝度信号と、色信号処理手段１２で処理された色信号とが合成された画像データを保存する手段である。
遅延回路１４は、エリア部読出し手段１６から表示マーク読出し手段２０までの処理時間に対応する時間分、前記画像保存手段１３からの画像データを遅延させる手段である。
画像合成手段１５は、前記画像保存手段１３に保存された画像データと、エリア部読出し手段１６から表示マーク読出し手段２０までの処理を行って得られた表示マークとを合成する手段である。

エリア部読出し手段１６は、前記画像保存手段１３に保存された画像データから、バンパー３８が映し出されたエリアや空又は遠方等の駐車枠線とは関係のないエリアを除外して、駐車スペース３０に該当する処理対象エリアＡ（図２参照）のみを読み出す手段である。図２に示すように、処理対象エリアＡは、垂直方向に対して下方側は左右幅が広く上方側に向けて左右幅が狭くなる形状を有することが好ましい。
駐車枠線検出手段１７は、前記画像保存手段１３に保存された画像データ、又は前記エリア部読出し手段１６にて処理対象エリアＡのみを読み出した画像データに対して、２値化処理、フィルタ処理、ラベリング処理、ハフ変換処理、圧縮処理等を適宜選択して行い、駐車枠線に該当する２本の線形画像を検出する手段である。
車体平行度検出手段１８は、前記駐車枠線検出手段１７にて検出された２本の線形画像の傾きの相対関係を算出して、この相対関係に基づいて、車両（車軸に垂直な向き）と左右駐車枠線の平行度を検出する手段である。

表示マーク選択手段１９は、前記車体平行度検出手段１８にて検出された車両と左右駐車枠線の平行度に基づいて、運転者に対して提示する表示マークを選択する手段である。
表示マーク読出し手段（メモリ）２０は、複数の表示マーク（文字を含む）が保存されており、適宜読み出すようにした手段である。
モニタ２１は、車内の運転者が視認できる位置に設置され、例えば液晶画面が用いられるが、プラズマ画面等の他の表示デバイスを用いることもできる。モニタ２１上には、画像保存手段１３に保存された撮像画像や、画像合成手段１５により該画像に表示マークを合成した画像などが表示される。該モニタ２１は新規に取り付けたものであってもよいが、好適には既存の車両搭載型のＧＰＳ用モニタ等を共用してもよい。

図３は本発明の実施形態に係る運転支援方法を説明する図である。図３（ａ）に示されるように、例えば道路４０に対して垂直方向に駐車スペース３０が配置されており、並列駐車を行なう場合、ハンドルを操作して車両１００の向きを変化させながら、車体角度が左右の駐車枠線Ｌ１、Ｌ２に平行になるように運転して駐車スペース３０に駐車する。その際に、車両１００の前部１０１は駐車スペース３０に向いていず、後部１０２が駐車スペース３０に向くこととなる。車両１００の後部１０２には、撮像装置１が設置されている。

図３（ａ）は、車両１００を駐車スペース３０に駐車する途中の状態である。左右の駐車枠線Ｌ１、Ｌ２に対する車体角度は斜めになっており、このとき撮像装置１により図３（ｂ）に示されるような撮像画像が得られる。
撮像装置１により得られた図３（ｂ）の撮像画像は、ＡＦＥ部２を介して画像処理部１０に入力される。画像処理部１０では、輝度信号処理部１１、色信号処理部１２にて所定の処理を行って画像保存手段１３に保存された撮像画像から、駐車枠線検出手段１７にて駐車枠線に該当する２本の線形画像Ｌ１、Ｌ２を認識する。そして、車体平行度検出手段１８では、撮像画像に任意の点を設定しておき、該任意の点から前記認識した２本の線形画像Ｌ１、Ｌ２に下ろした垂線と、撮像画像の水平方向若しくは垂直方向との傾きθ１、θ２を検出し、これらの傾きθ１、θ２の相対関係に基づいて車両１００の駐車枠線Ｌ１、Ｌ２に対する姿勢を検知する。

図３に示す本実施形態において、傾きθ１、θ２の相対関係とは、傾きθ１とθ２がプラスマイナスをもつ数値で表された時、傾きθ１＋θ２の式で表される。この場合、θ１＋θ２の値が０に近づくほど車体平行度は平行に近づき、θ１＋θ２の値が大きくなるほど車体平行度は角度が大きくなる。
即ち、この２つの傾きがθ１＋θ２＝０となっている場合に、車両１００が駐車枠線Ｌ１、Ｌ２に対して平行になっていると判定する。前記任意の点は、例えば図示されるように画面隅部とする。θ１は左の駐車枠線Ｌ１の垂線と画面端の角度（傾き）であり、θ２は右の駐車枠線Ｌ２の垂線と画面端の角度（傾き）である。前記画面端とは画面上枠の水平方向線である。θ１とθ２はプラスマイナスをもった値としているため、θ１＋θ２の式により駐車枠線Ｌ１、Ｌ２の傾きθ１、θ２の相対関係が得られるものである。また、θ１＋θ２＝０とならない場合は、車両１００と駐車枠線Ｌ１、Ｌ２が角度を持っていると判定し、そのθ１＋θ２の値によって駐車枠線Ｌ１、Ｌ２に対する車両１００の角度を検知する。
尚、傾きθ１とθ２の相対関係は上記に限定されるものではない。他の例として、傾きθ１とθ２の相対関係を、傾きθ１とθ２の絶対値の差分で表すようにしても良い。この場合、傾きθ１とθ２の絶対値の差分が０に近づくほど車体平行度は平行に近づくこととなる。また、傾きθ１とθ２は、水平方向若しくは垂直方向に対する駐車枠線Ｌ１、Ｌ２の傾きとしてもよいし、水平方向若しくは垂直方向に対する駐車枠線Ｌ１、Ｌ２の垂線の傾きとしてもよい。

尚、上記した処理は、撮像装置１の光軸と車両１００の向きが平行であることを前提としている。
図４（ａ）に示すように、撮像装置１の光軸Ｌ３と車両１００の向きＬ６が平行でない場合は、図４（ｂ）に示されるように、予め撮像装置１の光軸Ｌ３と車両１００の向きの角度θ３を画像処理部１０に登録しておき、左の駐車枠線Ｌ１の傾きθ１と、右の駐車枠線Ｌ２の傾きθ２の差が、撮像装置１の光軸Ｌ３と車両１００の角度θ３となる時に車両１００が駐車枠線Ｌ１、Ｌ２に対して平行になっていると判定する。即ちθ１＋θ２＝θ３となる場合に車両１００が駐車枠線Ｌ１、Ｌ２に対して平行になっているものとする。従って、θ１＋θ２＝θ３とならない場合は、車両１００が駐車枠線Ｌ１、Ｌ２に対して平行ではなく、そのθ１＋θ２の値と、θ３の値がどのくらい離れているかによって駐車枠線Ｌ１、Ｌ２に対する車両１００の姿勢（傾き）を検知する。
また、別の方法として、撮像装置１の光軸Ｌ３と車両１００の向きが平行でない場合、予め左右の駐車枠線Ｌ１、Ｌ２と車両１００を平行に設置し、撮像装置１により左右の駐車枠線Ｌ１、Ｌ２を撮像することで撮像装置１の光軸傾きを判別するようにしてもよい。

図５は、駐車枠線検出手段１８における圧縮処理を説明する図である。
図５（ａ）に示すように、車両１００と駐車枠線Ｌ１、Ｌ２が平行に近づいてくると、撮像画像水平方向若しくは垂直方向に対する駐車枠線Ｌ１、Ｌ２の垂線傾きθ１、θ２が近い値となり、車両１００と駐車枠線Ｌ１、Ｌ２の角度検出の難易度が高くなってくる。そこで、図５（ｂ）に示すように、左右の駐車枠線Ｌ１、Ｌ２を検出する際に垂直方向に圧縮処理した画像をもとに左右の駐車枠線Ｌ１’、Ｌ２’を検出する。この圧縮処理は、画像保存手段１３に保存された画像をそのまま圧縮処理してもよいし、駐車枠線検出手段１７にて２値化処理した後に圧縮処理してもよい。また、圧縮処理する際に、取り込んだ画像に対して１／Ｎに縦方向圧縮する場合は、Ｎライン毎にメモリに書き込みを行なうようにする。
図５（ａ）に示すように画像を垂直方向に圧縮していない場合と、図５（ｂ）に示すように画像を垂直方向に圧縮した場合を比べると明らかなように、圧縮した画像は、撮像画像水平方向若しくは垂直方向に対する駐車枠線Ｌ１、Ｌ２の垂線傾きθ１’、θ２’が増幅されて大きな値として算出される。このように、撮像画像を垂直方向に圧縮処理することでより精度良く駐車枠線Ｌ１、Ｌ２と車両１００の平行度を検出することが可能となる。

図６乃至図８は、駐車枠線検出手段１８における別の圧縮処理を説明する図である。
エリア部読出し手段１６にて処理対象エリアＡのみを抽出し、駐車枠線検出手段１８にて２値化処理した２値化画像は図６（ａ）に示すようになる。この画像では、水平方向の駐車枠線Ｌ４と、左右の垂直方向の駐車枠線Ｌ１、Ｌ２とが存在する場合がある。そこで、水平方向の駐車枠線Ｌ４と左右の駐車枠線Ｌ１、Ｌ２の区別や誤認識防止のために、駐車枠線の画面縦方向のみを垂直方向から圧縮することで、垂直方向の距離が短い略水平方向の駐車枠線Ｌ４は消えることとなり、図６（ｂ）に示されるように略垂直方向に伸びる駐車枠線Ｌ１、Ｌ２のみを残すことが可能となる。ここでいう圧縮とは、駐車枠線Ｌ１、Ｌ２、Ｌ４を垂直方向の上下端から所定の画素分を削除することをいう。

図８に示す圧縮処理のフローを参照して、具体的な処理を説明する。
まず、撮像装置１で撮像された撮像画像を駐車枠線検出手段１８にて２値化処理する（Ｓ１１）。このとき、撮像装置１で撮像され画像処理部１０の画像保存手段１３に保存された画像をそのまま２値化処理してもよいし、エリア部読出し手段１６にて処理対象エリアＡのみを抽出された画像を２値化処理してもよい。
２値化処理した画像を図７（ａ）に示す。この画像において、画素１列毎に縦方向に走査し（Ｓ１２）、白から黒又は黒から白に変化する白画素を検出する（Ｓ１３）。そして、検出された白画素を黒画素に変化させる処理を行なう（Ｓ１４）。このとき、白画素から黒画素に変化させる画素数は適宜決められるが、予め水平方向の駐車枠線Ｌ４の縦方向距離に対応する画素数を取得しておき、この画素数分だけ白画素から黒画素に変化させる処理を行なうことが好ましい。圧縮処理後の画像を図７（ｂ）に示す。

図９は、モニタ２１上に表示マーク５１、５２を表示したモニタ画面を示す。
上記した駐車枠線検出手段１８、車体平行度検出手段１９によって車両１００の左右駐車枠線Ｌ１、Ｌ２に対する姿勢が検出されたら、該検出された姿勢に応じて運転者に注意喚起を行なう表示マークをモニタ２１上に表示する。これは、車両１００の姿勢に対応して表示マーク読出し手段２０に予め複数の表示マークが登録されており、表示マーク選択手段１９にて前記検出された姿勢に基づいて対応する表示マークを表示マーク読出し手段２０から選択し、該選択された表示マークを画像合成手段１５に送る。画像合成手段１５では、画像保存手段１３に保存された画像と前記表示マークとを合成して、モニタ２１に表示する。例えば、図９（ａ）に示すようにハンドルを右に回すように促すマーク５１と、「ハンドル右へ」という文字とを撮像画像上に表示したり、（ｂ）に示すように、ハンドルをそのままの状態にしておくように促すマーク５２と、「ハンドルそのまま」という文字とを撮像画像上に表示する。これは、表示マーク又は文字の何れか一方であってもよいし、モニタ２１ではなく車内スピーカを用いて音声により出力する構成としてもよい。

図１１は、左右駐車枠線Ｌ１、Ｌ２に対する車両の車幅方向の相対位置（ズレ）を検出する処理を説明するフロー図である。図１１を参照して、以下にフローを説明する。
図１０（ａ）に示すように車両１００と駐車枠線Ｌ１、Ｌ２が平行であることが検知されても、車両１００の中心線（光軸）Ｌ３と駐車スペース３０の中心線３５との間にズレがあると、車両１００が駐車スペース３０の端に駐車されることとなってしまう。
そこで、まず車両１００の光軸（第２の仮想線）Ｌ３の任意の測定ポイントＰ１を算出し（Ｓ２１）、次いで左右の駐車枠線Ｌ１、Ｌ２の平均直線（第１の仮想線）Ｌ５を求め、該平均直線Ｌ５の任意の測定ポイントＰ２を算出し（Ｓ２２）、各測定ポイントＰ１、Ｐ２の距離を算出することによって駐車スペース３０に対する車両１００の車幅方向の相対位置を検出する（Ｓ２３）。該検出された相対位置は、表示マーク選択手段１９、表示マーク読出し手段２０によりズレの有無、ズレの大きさ等を示す表示マークや文字をモニタ２１上に表示して運転者に通知することが好ましい。尚、上記した処理においては、撮像装置１の光軸Ｌ３が車両１００の中心に合致していることを前提としているが、光軸Ｌ３が車両１００の中心からずれている場合には、予めそのずれ量を取得して登録しておき、このずれ量を考慮に入れて各測定ポイントＰ１、Ｐ２の距離を算出するとよい。

次に、図１２を参照して、本発明の実施形態に係る運転支援方法のフローを説明する。
まず、撮像装置１により車両１００の外部後方の画像を撮像し、撮像画像を取り込む（Ｓ１）。取り込んだ撮像画像は、ＡＦＥ部２にてノイズの一部を除去した後、Ａ／Ｄ変換され、これらを含む一連の処理によりデジタル信号の画像データ（以下、画像と称する）に変換される。
この画像は画像処理部１０に入力され、該画像は輝度信号と色信号に分離されて輝度信号処理手段１１と色信号処理手段１２にて夫々処理された後、輝度信号と色信号が合成されて画像保存手段１３に保存される。

画像保存手段１３に保存された画像は、エリア部読出し手段１６にて、図２に示すようにバンパー３８を除外し、車両１００の進行方向手前（画面下）側は左右幅が広く、進行方向奥（画面上）側に向けて左右幅が狭くなる形状のエリアのみを処理対象エリアＡとして取得する（Ｓ２）。尚、このエリア部読出し手段１６は必須の構成ではなく、全画像を用いて以下の処理を行うようにしてもよい。
処理対象エリアＡに対して、駐車枠線検出手段１７にて、２値化処理や各種フィルタ処理を実施し、左右の駐車枠線Ｌ１、Ｌ２のみを抽出する（Ｓ３）。ここで２値化処理とは、予め設定された所定の輝度閾値に基づいて濃淡のある画像を白と黒の２階調に変換する周知の処理であり、これにより図６（ａ）に示すような画像が得られる。また、各種フィルタ処理は、図５に示す圧縮処理や、図６乃至図８に示す圧縮処理等である。

２値化処理、圧縮処理を実施した画像に対してラベリング処理を行い、左の駐車枠線Ｌ１と右の駐車枠線Ｌ２の分類をする（Ｓ４）。
ここで、駐車枠線が２本以上検出されたか否かを判断し（Ｓ５）、駐車枠線が１本しか検出されない場合又は全く検出されない場合には、画像取り込み（Ｓ１）に戻る。駐車枠線が２本以上検出された場合には、ハフ変換を行なって左右の駐車枠線Ｌ１、Ｌ２に各々近似直線を算出する（Ｓ６）。
尚、複数の駐車枠線が検出された時には、撮像画像の中央からの距離が近い２本の線形画像を選択するとよい。複数の駐車枠線が検出された場合に左右駐車枠線に該当する線形画像を選択する方法は上記した方法に限定されるものではなく、他にも、抽出された複数の線形画像の面積に基づいて左右駐車枠線Ｌ１、Ｌ２を選択する方法、左右駐車枠線Ｌ１、Ｌ２の傾きθ１、θ２にしきい値を設けて、θ１、θ２が夫々しきい値から外れるものについては除外し、残った線形画像を左右駐車枠線Ｌ１、Ｌ２として選択する方法、などが用いられる。

そして、車体平行度検出手段１８にて、左右の駐車枠線Ｌ１、Ｌ２における各近似直線の垂線と、画像水平方向との傾きθ１、θ２を算出する。左右の駐車枠線Ｌ１、Ｌ２の傾きθ１、θ２の相対関係を算出し、この相対関係に基づいて車両１００と駐車枠線Ｌ１、Ｌ２との平行度を検出する（Ｓ７）。
このとき、車両１００に対して撮像装置１の光軸Ｌ３が平行である場合には、傾きθ１、θ２の相対関係にのみ基づいて車両１００の平行度を検出し、車両１００に対して撮像装置１の光軸Ｌ３が傾いている場合には、予め光軸Ｌ３と車両１００の向きの角度θ３を画像処理部１０に登録しておき、角度θ３を考慮して車体平行度を検出する。

車体平行度検出手段１８には、予め平行度しきい値が設定されており、検出された平行度と平行度しきい値とを比較し（Ｓ８）、検出された平行度が平行度しきい値以下である場合には、車両１００が駐車スペース３０に略平行であると判断し、表示マーク選択手段１９にてハンドル操作完了表示を選択し、表示マーク読出し手段２０にて該当する表示マーク（文字を含む）を読出し、画像合成手段１５にて画像保存手段１３に保存されていた撮像画像と、前記表示マークとを合成してモニタ２１に表示する（Ｓ１０）。
一方、検出された平行度が平行度しきい値より大である場合には（Ｓ８）、車両１００が駐車スペース３０に対して傾いていると判断し、表示マーク選択手段１９にてハンドル方向表示を選択し、表示マーク読出し手段２０にて該当する表示マーク（文字を含む）を読出し、画像合成手段１５にて画像保存手段１３に保存されていた撮像画像と、前記表示マークとを合成してモニタ２１に表示して、運転者にハンドル操作を喚起する。

本発明の実施形態によれば、左右の駐車枠線Ｌ１、Ｌ２と自車両１００との相対位置関係を直接検出することを行なわずに、左右２本の駐車枠線Ｌ１、Ｌ２の画面水平方向又は垂直方向に対する傾きθ１、θ２の相対関係に基づいて車両１００の駐車枠線Ｌ１、Ｌ２に対する車体平行度を検出するようにしているため、簡単に且つ精度良く車両の姿勢を検出することが可能となる。
また、車両後方に一台の撮像装置１を設置するのみで車体平行度を検出できるため、新たに複数の撮像装置を設置する必要がなく画像処理部１０の追加のみで実施が可能であり、安価な装置とすることができる。さらにまた、既存のバックカメラ（リアビューカメラ）を用いることもでき、より一層コスト低減が図れる。

また、撮像装置１の光軸Ｌ３と車両１００の向きの角度θ３を予め設定しておくことで、光軸Ｌ３が車両１００の向きに対して傾いている場合でも、精度良く車体平行度を検出可能である。
また、広角撮像画像に映し出された駐車スペース３０に応じて処理対象エリアＡを設定し、この処理対象エリアＡ内のみで車体平行度を検出することで、必要なエリアのみを画像処理することとなり処理時間が短縮化される。

さらに、車両１００と左右の駐車枠線Ｌ１、Ｌ２が平行に近づいてくると傾きθ１、θ２が近い値となってしまうため、撮像画像を垂直方向に圧縮して線形画像の角度を増幅することにより高感度で車体平行度を検出することが可能となる。
さらにまた、抽出された２本の駐車枠線Ｌ１、Ｌ２を垂直方向の上下端より所定の画素分だけ削除することにより、略垂直方向に伸びる左右の駐車枠線Ｌ１、Ｌ２のみを残すことができ、水平方向の駐車枠線Ｌ４との区別ができ誤認識を防止できる。

また、駐車枠線Ｌ１、Ｌ２の平均直線からなる第１の仮想線Ｌ５と、車両の中心線の延長線となる第２の仮想線（光軸）Ｌ３とのズレを検出することで、車体平行度のみではなく駐車スペース３０に対する車両１００の車幅方向のズレを検出することができ、適切な位置に車両１００を駐車することが可能となる。
さらに、車体平行度に基づいて車両１００のハンドル操作を促す信号５１、５２を出力することにより、車両１００の運転者がリアルタイムで自車両の姿勢を把握することができ、適正な運転操作を行なうことが可能となる。

本発明は、簡単な演算処理及び装置構成により駐車枠線に対する自車両の姿勢を検出可能としたため、車両後部に車載カメラが設置された車両全般に好適に適用可能である。

１ 撮像装置
２ ＡＦＥ部
１０ 画像処理部
１１ 輝度信号処理手段
１２ 色信号処理手段
１３ 画像保存手段
１４ 遅延回路
１５ 画像合成手段
１６ エリア部読出し手段
１７ 駐車枠線検出手段
１８ 車体平行度検出手段
１９ 表示マーク選択手段
２０ 表示マーク読出し手段
２１ モニタ
３０ 駐車スペース
１００ 車両
Ｌ１ 左駐車枠線
Ｌ２ 右駐車枠線
Ｌ３ 光軸

Claims (9)

1. 車両に搭載された撮像装置により撮像された車両後方の広角撮像画像を用いて、駐車スペースの左右駐車枠線に対する自車両姿勢を検出する駐車時における運転支援装置であって、
   前記撮像画像から前記左右駐車枠線に該当する２本の線形画像を抽出する駐車枠線検出手段と、
   前記撮像画像の水平方向若しくは垂直方向に対する前記２本の線形画像の傾きθ１とθ２を算出し、該傾きθ１とθ２の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出する車体平行度検出手段と、を備えることを特徴とする駐車時における運転支援装置。
2. 前記撮像装置の光軸と前記車両の向きが角度θ３を有する時に、前記車体平行度検出手段に予め角度θ３を設定しておき、前記傾きθ１とθ２の相対関係と前記角度θ３とに基づいて前記左右駐車枠線に対する車体平行度を検出することを特徴とする請求項１記載の駐車時における運転支援装置。
3. 前記撮像画像から前記車両の写り込み部分を含む駐車スペース以外の部分を除外し、垂直方向に対して下方側は左右幅が広く上方側に向けて左右幅が狭くなる形状の処理対象エリアを取得するエリア部読出し手段を備え、該エリア部読出し手段で取得した処理対象エリア内で前記車体平行度検出手段により車体平行度を検出することを特徴とする請求項１若しくは２記載の駐車時における運転支援装置。
4. 前記駐車枠線検出手段は、前記撮像画像を垂直方向に圧縮して前記線形画像の角度を増幅するようにしたことを特徴とする請求項１乃至３の何れかに記載の駐車時における運転支援装置。
5. 前記駐車枠線検出手段は、前記抽出された２本の線形画像を垂直方向の上下端より所定の画素分だけ削除して、垂直方向に伸びる線形画像のみを残すようにしたことを特徴とする請求項１乃至４の何れかに記載の駐車時における運転支援装置。
6. 前記駐車枠線検出手段は、前記撮像画像から３本以上の複数の線形画像が抽出された時に、該撮像画像の中央からの距離が近い２本の線形画像を選択するようにしたことを特徴とする請求項１乃至５の何れかに記載の駐車時における運転支援装置。
7. 前記車体平行度検出手段は、前記駐車枠線検出手段で抽出された２本の線形画像の平均直線からなる第１の仮想線と、前記車両の中心線の延長線となる第２の仮想線とのズレを検出し、前記駐車スペースに対する前記車両の車幅方向のズレを検出することを特徴とする請求項１乃至６の何れかに記載の駐車時における運転支援装置。
8. 前記車体平行度検出手段で検出された車体平行度に基づいて、前記車両のハンドル操作を促す信号を出力することを特徴とする請求項１乃至７の何れかに記載の駐車時における運転支援装置。
9. 車両に搭載された撮像装置により撮像された車両後方の広角撮像画像を用いて、駐車スペースの左右駐車枠線に対する自車両姿勢を検出する駐車時における運転支援方法であって、
   前記撮像画像を画像処理部に入力し、
   前記画像処理部にて、前記撮像画像に２値化処理を含む画像処理を行った後、前記左右駐車枠線に該当する２本の線形画像を抽出し、前記撮像画像の水平方向若しくは垂直方向に対する前記２本の線形画像の傾きθ１とθ２を算出し、該傾きθ１とθ２の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出するようにしたことを特徴とする駐車時における運転支援方法。

Images