JP3951465B2

JP3951465B2 - 駐車補助装置

Info

Publication number: JP3951465B2
Application number: JP21621998A
Authority: JP
Inventors: 俊明柿並; 亮井上
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 1998-06-26
Filing date: 1998-07-30
Publication date: 2007-08-01
Anticipated expiration: 2018-07-30
Also published as: JP2000079860A

Description

【０００１】
【発明の属する技術分野】
本発明は車両の縦列駐車や車庫入れ等の駐車を補助する駐車補助装置に関するものであり、特に、後方画像をカメラにより撮影し、駐車区画を認識して車内のモニタディスプレィに後方画像と共に走行予想軌跡（誘導路ともいう）を表示させたり、音声出力により駐車時の操作を補助する駐車補助装置に係わる。
【０００２】
【従来の技術】
従来、縦列駐車や車庫入れ等の駐車に不慣れなドライバーを対象として、駐車操作時に駐車を補助する方法が知られている。例えば、特開平７−１７３２８号公報では車体の周囲にＣＣＤカメラや距離測定を行う距離センサを設け、車両の周辺の様子を探知し、車両の室内に設けられたディスプレィ上に車両周辺の周辺画像を鳥瞰図的に表示してドライバーに周囲の状況を提供している。
【０００３】
また、特開昭５９−２０１０８２号公報においては、ステアリング舵角をステアリングセンサにより検出し、検出した自車の位置と予め入力された駐車に関する所定のデータに基づき、駐車操作時のステアリング操舵角を計算して簡易なディスプレィに操舵角と操舵に必要な指示角を表示するものや、特開平８−２３５７号公報に示されるものでは車両の後方に設けられた物体検知用の測距センサにより、障害物（特に、駐車しようとする駐車スペースの隣りに駐車している車等）との距離をはかり、その距離に応じて最大舵角による転舵開始位置を検出し、転舵開始位置をドライバーに報知する方法、および、特開平６−２３４３４１号公報においてはＣＣＤエリアセンサやステアリングセンサを用いて自車を誘導する誘導路を算出し、求められた誘導路と現在位置に基づき、ドライバーに舵角指示を音声メッセージにより与えるものが知られている。
【０００４】
更に、駐車場において車両を的確に駐車区画に誘導する場合、車両と駐車区画との相対的な位置関係を認識する必要があり、駐車区画の認識のために画像認識装置を使う方法がある。従来では車両側に設けられたＣＣＤカメラで後方画像を撮像し、得られた画像を処理してて駐車区画を検出し、車両と駐車区画の相対的位置関係を計測してバック開始位置と適性ステア量を演算する方法が取られている。
【０００５】
例えば、特開平６−１１１１９８号公報においては、車両に搭載されたＣＣＤカメラを使って、車両周囲の駐車空間を含む所定領域を撮影し、方位ごとに物体までの距離データを算出し、その中で最もカメラに近い距離データを有する成分を駐車場入り口と判断する。
【０００６】
また、特開平６−１８７５９７号公報においては、駐車空間（駐車場入り口）が複数存在する時、接触の可能性と操舵回数をシミュレートして接触がなく、最も操舵回数が少ない駐車空間を選択してドライバーに教示している。
【０００７】
【本発明が解決しようとする課題】
しかしながら、特開平６−１１１１９８号公報に示されるものでは、カメラの視野に存在する全ての駐車区画を検出し、その中から、駐車に最適な駐車区画を選択する方法を取ると、画像処理の負担が増大するため、高速に処理しようとすると構成が大掛かりとなってしまう。
【０００８】
また、特開平６−１８７５９７号公報に示されるものでは、シーンの中に複数の駐車区画があるとき、どの駐車区画を特定して駐車の可能／不可能の判断をすればよいのか、また、どの駐車区画に駐車したいのかはドライバーがなんらかの意図をもって判断することであり（例えば、建物の入り口に近い方を選ぶ、隣の車との間隔が広いなど）、ドライバーの意図する駐車区画を一義的に決定できない。また、あるひとつの駐車区画が写っていてもドライバーはその駐車区画に駐車する意図があるのかわからないという問題が残ってしまう。
【０００９】
そこで、本発明は上記の問題点に鑑みてなされたものであり、ドライバーの駐車する意図を的確に読み取り、画像処理の負担を小さくし、簡単な構成によりドライバーの駐車補助を適切に行うことを技術的課題とする。
【００１０】
【課題を解決するための手段】
上記の課題を解決するために講じた技術的手段は、車両の後方を撮像するカメラと、車内に設けられ前記カメラからの映像を表示する表示器と、ステアリングホイールの操舵状態を検出する操舵状態検出手段と、前記カメラからの映像を基に画像認識により駐車区画を識別する駐車区画検出手段と、前記操舵状態検出手段により検出された前記ステアリングホイールの操舵状態から車両の駐車操作時の走行予想軌跡を算出する走行予想軌跡算出手段と、該走行予想軌跡と前記駐車区画からの情報により駐車を補助する情報をドライバーに提供する報知手段とを備えた駐車補助装置において、前記走行予想軌跡を前記カメラからの映像とともに前記表示器に表示させ、前記走行予想軌跡の表示位置を基準として、前記カメラからの映像上の前記走行予想軌跡周辺に所定領域のウインドウを設定するウインドウ手段と、該ウインドウ領域内に区画線が存在する場合に該区画線の位置と方向を検出する区画線検出手段と、該区画線検出手段の検出結果より検出された区画線の幅や区画線同士の間隔によって該区画線が駐車区画を構成するかどうかを検証する駐車区画検証手段とを備えたものとした。
【００１１】
上記の構成により、カメラで車両後方を撮像し、ステアリングホイールの操舵状態を検出し、検出されたステアリングホイールの操舵状態から駐車操作時の走行予想軌跡を算出し、算出された走行予想軌跡をカメラからの映像とともに表示器に表示させ、走行予想軌跡の表示位置を基準として、カメラからの映像上の走行予想軌跡周辺に所定領域のウインドウを設定し、ウインドウ領域内に区画線が存在する場合に区画線の位置と方向を検出して、その検出結果より、検出された区画線同士の間隔によって該区画線が駐車区画を構成するかどうかを検証するため、従来のようにカメラ視野の全領域に対して区画線を検出しなくてもよくなるため、画像処理の負担が大きく低減される。このため、画像認識装置の処理能力は従来に比べ高性能なものは必要なく、画像処理におけるコストを低減することが可能となる。
【００１２】
また、駐車操作時の走行予想軌跡に近い駐車区画の区画線を認識するため、ドライバーがどこの駐車区画に駐車しようとしているかの意図を反映した駐車区画の検出を行い、ドライバーに対して適切な駐車補助が行える。
【００１３】
ウインドウは走行予想軌跡の左右に設けられ、左右一定間隔になるよう設けられるようにすれば、ドライバーがどこの駐車区画に駐車したいかといったドライバーの意志が反映され、走行予想軌跡に対応した領域でウインドウの設定が可能となる。
【００１４】
尚、ウインドウは走行予想軌跡の左右のみならず、走行予想軌跡の先端、左右上下方向に設けることもできる。
【００１５】
また、走行予想軌跡が湾曲し、予想軌跡の端線上に設定したウインドウが区画線から外れた場合に一部の区画線が検出できると、検出された区画線の延長線上にウインドウを設けるようにすれば、駐車区画の区画線が存在する位置に確実にウインドウを設けることが可能となり、画像処理の負担をより低減することが可能となる。
【００１６】
一旦、駐車区画が検出された場合には、駐車区画の区画線を包含する追跡ウインドウを設定し、追跡ウインドウ内において走査することにより区画線の検出を行うようにすれば、駐車時の運転操作により駐車区画の区画線からずれた場合でも追跡ウインドウにより区画線を検出し続けることが可能となる。
【００１７】
この場合、追跡ウインドウは区画線の位置に追従させるようにすれば、区画線を確実にとらえて検出することが可能となる。
【００１８】
更に、報知手段は表示器および特に音声により操舵タイミング、操舵方向、操舵量の少なくとも１つが報知されるようにすれば、ドライバーに対して駐車に関する情報を、後方を目視確認しながらでも提供することが可能になる。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
【００２０】
図１は、駐車補助装置１のシステム構成図である。この図において駐車補助装置１を制御するコントローラ１６には車両の後方を撮影するＣＣＤカメラ（以下、カメラと称す）１７、ステアリングホイール（以下、ステアリングと称す）２１の操舵角を検出するステアリングセンサ２、トランスミッションのシフトレバーのリバース（後退）状態を検出するシフトレバーリバーススイッチ３、駐車操作時に駐車アシスト機能を動作させる駐車スイッチ４、および、従動輪の左右の車輪速度を検出する車輪速センサ５，６からの信号が入力され、これらの信号を基にコントローラ１６はディスプレィ１３上に車両の後方画像と後述する走行予想軌跡２０を重ねて表示できるようになっている。また、この装置１では音声合成回路７により音声合成出力がスピーカ８からドライバーに対して、音声が発せられ駐車操作時の補助を行えるようになっている。
【００２１】
コントローラ１６の内部には制御を司るＣＰＵ１１、ディスプレィ１３にグラフィックスを描画するグラフィックス描画回路１２、グラフィックス信号とカメラ１７からの後方画像を重ね合わせるスーパーインポーズ回路９、カメラ画像から同期信号を抽出してグラフィックス描画回路１２へ供給する同期分離回路１０、カメラ１７からの画像信号を受けて駐車区画３０（特に、白線３１）の画像認識を行う駐車区画検出用画像認識装置１５等が具備されている。
【００２２】
ディスプレィ１３上にはステアリング２１の舵角状態により点灯状態が変化する舵角状態表示（表示マーカー）１４が左右対称に設けられ、ステアリング舵角が大きいときに表示マーカー１４は転舵している方向に多く点灯したり、中立点では中央のマーカー１４のみが点灯するようになっており、ステアリング２１がどれだけ転舵されているかが後方画像と共ににわかるようになっている。つまり、表示マーカー１４は駐車操作時の操舵タイミング、操舵方向、操舵量が表示され、ドライバーに対して知らせることができる。
【００２３】
図２は、駐車補助装置１を車両に取り付けた場合の取付図を示す。後方を撮像するカメラ１７は車両後方のナンバープレートの上中央付近に取り付けられ、光軸を下方に向けて設置される。具体的には、図３および図１４に示されるように、車両後方の中央に下方（約３０度）に向けて取り付けられ、カメラ自体は広角レンズにより左右１４０度の視野を確保し、後方８ｍ程度までの領域を撮影できるようになっている。
【００２４】
また、車両の室内のセンターコンソールにはパネル面にディスプレィ１３が備え付けられ、グローブボックス上方にはコントローラ１６が内部に取り付けられている。更に、駐車を補助する要求を出す駐車スイッチ４は、ドライバーが操作し易いセンターコンソール近傍に設けられる。
【００２５】
ここで、ステアリングセンサ２について図４を参照して説明する。ステアリングセンサ２はステアリング２１を転舵した場合の舵角（ステアリング舵角）を検出するものである。これはステアリングコラムシャフト２３と一体回転するようにスリット板２ａが取付けられており、９０°の位相差がついた２組のフォトインタラプタ２ｃ，２ｂが取付けられている。この構成において、ディスク板２ａに円周状に設けられた複数のスリットの回転により、光を通過または遮断してフォトトランジスタをオン／オフさせることにより、Ａ相、Ｂ相の２つの信号パルス（図４の（ｃ）参照）を出力している。これは、ステアリング２１の回転方向によりＡ相に対し、Ｂ相は９０°位相が遅れるか、または、進んで出力されるようになっており、ここでは、ステアリング角度が１°／パルスのものを用いている。
【００２６】
次に、図５を参照してコントローラ１６の処理について説明する。コントローラ１６は電源オン（アクセサリスイッチがオン）により図５に示すプログラムはスタートする。
【００２７】
ステップＳ１０１ではこの処理に必要なメモリに各種初期値を設定する。その後、ステップＳ１０２でシフトリバーススイッチ３の状態をチャックし、リバースでないならば、ディスプレィ１３の表示をステップＳ１１５でやめ、ステップＳ１０２に戻る。一方、シフトリバーススイッチ３がオン（リバースレバーの状態）になるとステップＳ１０３を行う。ステップＳ１０３ではディスプレィ１３をカメラ画像モードに切り換えて、車両後方の画像を生画像で表示できるモードにする。つまり、後方の状態を生画像により正確に表示できるため、後方を横切る人や物等を確認できる。
【００２８】
次に、ステップＳ１０４において駐車操作時に駐車を補助する駐車スイッチ４をチェックする。ここで、駐車スイッチ４の状態がオフ（駐車補助要求がない状態）であれば、ディスプレィ１３のグラフィック画面をステップＳ１１２でクリヤしてディスプレィ１３には後方の生画像表示のみ（図１において後述する走行予想軌跡２０が表示されない状態）とし、ステップＳ１０２に戻る。
【００２９】
一方、ステップＳ１０４において駐車スイッチ４がオン（駐車補助要求がある状態）であるならば、ステップＳ１０５に進み、ステップＳ１０５では音声合成回路７に予め決められた音声信号出力をし、スピーカ８より音声出力を行う。即ち、駐車操作を開始したことを状況に応じて、「駐車アシストします。軌跡を希望の位置に合わせて、周囲に注意しながらバックして下さい。」、「ただいまより、駐車ガイドを開始いたします。画面の緑（走行予想軌跡）の表示の先端が、駐車区画に向かうように、ハンドルを回して下さい。」、「右（左）にご注意下さい。」等の予め決められた音声メッセージで、ドライバーに対して音声合成により案内を行う。この音声メッセージを聞いて、ドライバーは駐車操作時の補助が開始されたことを知ることができる。
【００３０】
次に、ステップＳ１０６においてステアリングセンサ２からステアリングセンサ値Ｎを読み込み、その値を基に駐車操作時の旋回半径Ｒの算出を行う。具体的には、ステアリングセンサ２の読み込みをＡ相信号の立ち上がりエッジ検出時にメインプログラムに割り込みを発生させ、図６に示す割り込み処理を実行する。つまり、図６のステップＳ２０１においてＢ相信号の状態をチェックし、Ｂ相信号がハイ（Ｈ：高電位）なら、ステップＳ２０２においてステアリングカウント値Ｎをインクリメントし、ロー（Ｌ：低電位）ならデクリメントしてその値をメモリに記憶する。この場合、ステアリングカウント値Ｎは、１パルスが１°のため、θ＝Ｎとなる。しかし、上記に示すステアリング値Ｎのカウントのみではステアリング２１の絶対舵角が不定となってしまうため、図７に示す方法によりステアリング舵角の中立点を検出し、Ｎ＝０として中立点を決める。
【００３１】
そこで、図７を参照して中立点決定について説明する。この処理では１秒周期のタイマ割り込みで実行される。ここでは、通常、車輪に備えつけられている公知の左右の車輪速センサ５，６からの信号により車体速度も算出する。ステップＳ３０１，ステップＳ３０２では左右の車輪速センサ５，６からの信号（パルス）はコントローラ内部のＣＰＵ１１に内蔵されたハードウェアカウンタによりカウントされ、このタイマ割り込みルーチンで左右の車輪速が読み出され、車輪速センサ値が記憶されるメモリのＮR，ＮLに記憶される。読み出しの後、カウンタ自体はクリアされ、ＮR，ＮLは１秒毎のパルス数を示すものとなる。
【００３２】
次のステップＳ３０３においてＮR，ＮLからその平均値（ＮR＋ＮL）／２を演算し、この値にタイヤの周長を乗算し、公知の方法により容易に車速Ｖが求められる。次に、ステアリングセンサ２の基準設定であるが、ステップＳ３０４からステップＳ３０６では車速Ｖ、所定速度（１０Ｋｍ／ｈ）以上の時に左右の車輪速センサ５，６のパルス差がほとんどない状態をもって車両が直進状態であるとみなし、ステップＳ３０６でステアリングカウンタＮを零にしてリセットすることで、ステアリング舵角の中立点が求められる。
【００３３】
ステアリング処理が終了すると、図５のメインルーチンに戻り、ステップＳ１０７において走行予想軌跡２０のパラメータ演算を行う。走行軌跡パラメータ演算は図１１に示される幾何学的な関係から旋回半径Ｒをステアリング角度θとホイールベースＬとから求めるものである。
【００３４】
その後、ステップＳ１０８においてカメラ１７の画像を画像認識装置１５に取り込み、ステップＳ１０９において区画線検出処理を行う。
【００３５】
この区画線検出処理は図８に示される方法によりなされる。カメラ１７より入力された画像は、例えば、白黒画像（６４０×４８０ドットサイズ）であり、各点は０〜２５５のグレースケールをもつものとする。
【００３６】
ステップＳ４０１において公知の技術より駐車区画３０の特徴点となる白線３１のエッジ検出を行う。具体的には公知のソーベルフィルタにより白線３１のエッジを検出し、適当なしきい値を上回っている部分のピークを検出して境界を構成するエッジ点を抽出する方法をとる。この場合、白線の認識が画像認識により駐車区画の特徴点を容易に検出できる。次に、ステップＳ４０２においては、これらエッジ点に対し図１５に示される路面座標への変換を行なう。この座標系にてステップＳ４０３で直線検出を行っている。この直線を求める方法には、公知のＨｏｕｇｈ変換を用いれば検出が可能となる。
【００３７】
このＨｏｕｇｈ変換による直線検出は、カメラ１７により撮像された駐車区画３０の白線３１のエッジを検出した後、（Ｘ，Ｚ）平面に逆変換されたエッジ点の集合から直線を検出する場合に使用する。つまり、これは公知の技術であり、簡単に説明するとその変換は、各エッジ点を（ｘ，ｙ）とすると、次のようになる。
【００３８】
Ｘ＝ｘ・Ｈｃ／（ｆｓｉｎθ−ｙｃｏｓθ）・・・（１）
Ｚ＝Ｈｃ・（ｙｃｏｓθ＋ｆｃｏｓθ）／（ｆｓｉｎθ−ｙｃｏｓθ）・・・（２）
ｕ＝Ｘ・・・（３）
ｖ＝−Ｚ・・・（４）
ｐ＝ｕｃｏｓθ＋ｖｓｉｎθ・・・（５）
による。即ち、この変換を行うために、先ず各エッジ点を（Ｘ，Ｚ）座標で記述するために（１），（２）式の変換を行う。
【００３９】
次に、Ｈｏｕｇｈ空間として、（ρ，θ）を使用し、各エッジ（Ｘ，Ｚ）に対して（３）〜（５）式を使用してρを計算する。この時、（ρ，θ）空間上にθ＝−π／２〜π／２の間でＨｏｕｇｈ曲線データを投票する。これは実際にはρ，θ空間を格子状に分割し、２次元マトリックスに対応付けて、θを変化させて対応する各マトリックス値ρをインクリメントする操作に対応する。
【００４０】
このようにして、全ての候補エッジ点に対して、マトリックスへの投票を行わせると候補となる線分に対しては曲線の交点が集中する結果、マトリックス値が大きな値をもつようになり、あるしきい値等により適当なマトリックス位置（ρ，θ）が選定され、これに対応して各々１本の直線を抽出することができる。
【００４１】
そこで、直線検出後、図８に戻りステップＳ４０４においてＨｏｕｇｈ変換により検出された直線から駐車区画３０を構成する候補となる線分を抽出する。具体的には図１７に示されるように、Ｌｍ：車体長さ、Ｗｍ：車幅、ｌｍ：後輪車軸とカメラとの距離、Ｒmin：車両の最小回転半径とした場合、図１０に示されるように車両後端部中心（カメラ位置）から駐車区画３０の入口までの距離Ｄ、車両後端部中心（カメラ位置）の駐車場中心に対する横ずれ距離（センターずれ）Ｌ、車両と駐車区画との角度（車体角度）θｍを幾何学的な関係から求めることができる。
【００４２】
ここでは、図１７のＣ，Ｄ、Ｅ、Ｆの線分を角度および並びの順序、そして駐車区画幅Ｗ１と白線幅Ｗ２との比較で、許容範囲内のものを抽出する。
【００４３】
次に、ステップＳ４０５においては、側線候補（白線）が見つかったか否かをチェックし、側線候補がない場合にはこの処理を終了するが、側線候補有りの場合にはステップＳ４０６において、側線に直交する直交成分の検出処理を行う。つまり、これは図１７においては、Ａ，Ｂの仮想線分の探索に対応する。
【００４４】
次にステップＳ４０７において直交線分候補がない場合には、この処理を終了するが、直交成分候補が有りの場合は、ステップＳ４０８においてＬ，θｍ，Ｄを計算して求める。尚、このＬ，θｍ，Ｄを求める具体的な計算方法は図１７から幾何学的な関係により算出することができるため、その求め方は省略する。
【００４５】
この場合、図８に示されるＨｏｕｇｈ変換を用いて駐車区画３０の区画線を検出する以外に、以下に示すように画像処理の負担を減らした方法によっても、駐車区画線の検出が可能である。
【００４６】
そこで、画像処理の負担を減らした別の区画線検出処理について説明する。
【００４７】
図２１において、まず最初にステップＳ６０１で駐車区画３０が検出されたかが判定される。ここで、駐車区画３０が未検出の場合には、ステップＳ６０２の駐車区画探索処理を行って駐車区画３０の検出を試みるが、既に駐車区画３０が検出されている場合には、ステップＳ６０３において検出された駐車区画３０から、駐車区画追跡処理を実行する。
【００４８】
そこで、図２４を参照しながら、駐車区画探索処理について説明する。ステップＳ７０１では走行予想軌跡パラメータの設定を行う。このパラメータ設定においては、駐車操作時にステアリング舵角を用いて算出を行う走行予想軌跡２０は、旋回半径Ｒを中心として一定の幅を持たせたものであり、駐車区画３０の白線３１の間隔が通常では２．２ｍ〜２．４ｍ程度であることから、走行予想軌跡２０の幅は２．０ｍ〜２．２ｍに設定する。
【００４９】
ステップＳ７０２では既に走行予想軌跡２０の座標系がわかっていることから走行予想軌跡２０の側線座標の演算を行う。次のステップＳ７０３では、駐車区画３０の白線を検出するウインドウ（探索ウインドウともいう）２６の位置と方向を設定し、設定された条件の基でウインドウ２６をディスプレィ１３の画面上に設定する。尚、ウインドウ２６はスイッチ等の外部操作により、ディスプレィ上に直接表示されても、画像処理の中の検出枠のためにディスプレィ上に表示されなくても良い。具体的に、駐車区画３０の白線３１を検出するウインドウ２６の設定は、図２２に示される。
【００５０】
ウインドウの数は走行予想軌跡２０の左右の線２０ａ，２０ｂの上で、２次元または3次元路面上で一定距離間隔となるように左右にウインドウ（右ウインドウ群、左ウインドウ群）２６を配置する。ここでは、３次元的にウインドウ２６の設定を行っている。
【００５１】
また、左右のウインドウ２６の長さは３次元路面で走行予想軌跡２０の端面から駐車区画３０の白線３１までの距離（ここでは、５０ｃｍ）に相当する長さのウインドウ３０を画面内に設定する。更に、ウインドウ２６の幅はウインドウ２６の数にも依存するが、所定以上のサンプル数（例えば、左右それぞれ３０個）が確保できる幅とする。
【００５２】
次にステップＳ７０４では走行予想軌跡２０の側線２０ａ，２０ｂの側線勾配が所定角度（例えば、４５°）と比較がなされる。ここで、走査方向は走行予想軌跡２０の境界線の傾きに応じて決まるものであり、側線勾配の傾きが４５°よりも小さければ、ステップＳ４０５ａにおいて走査方向を垂直方向とし、傾きが４５°以上であればステップＳ７０６において水平方向に走査する。またこの場合、境界線の傾きに係わりなく、水平／垂直走査の両方を行ない、それぞれの結果を加算してもよい。
【００５３】
ステップＳ７０９ではエッジ検出、ステップＳ７１０では白線検出がなされ、ステップＳ７１１において白線を検出した後、ステップＳ７１２ではウインドウ２６から白線３１が外れてしまったかが判定される。つまり、ここでの処理は走行予想軌跡２０が湾曲し、走行予想軌跡２０の端線上に設定したウインドウ２６が白線３１から外れてしまった場合、一部の白線３１が検出できると、図２２の（ｃ）に示めされるように、ステップＳ７１３において白線３１の延長線上にウインドウ２６を設け、ステップＳ７０９からの同じ処理で、この新たに設定されたウインドウ内で白線エッジを検出する方法をとる。
【００５４】
これは、ウインドウ群（ウインドウＡ）Wn, Wn-1, Wn-2, Wn-3, ・・・, Wn-iで、白線エッジが検出でき、ウインドウ群Wn-j、・・・・・Wn-kの範囲では白線エッジが検出できなかったことを検出し、ウインドウ群Wn, Wn-1, Wn-2, Wn-3, ・・・Wn-iで検出した白線エッジ点列に直線を当てはめて、直線の方程式を求める。
【００５５】
ここで、ウインドウ位置での走行予想軌跡２０と、当てはめた直線までの間隔ｄがWn-j、・・・,Wn-kに向かうほど大きくなっていくときは、走行予想軌跡２０の曲率半径が小さいために、ウインドウ２６が白線３１の存在する位置から外れてしまったと判断し、当てはめた直線上に新たなる Sm、・・・・・Sm-iなるウインドウ２６を設定する。ただし、Sm-iは、Wnからの相対距離が最大検出距離（例えば、駐車区画３０の白線３１の長さ５ｍ）を超えない範囲とする。
【００５６】
つまり、画像処理の技術を用いて最初に白線３１のエッジ検出を行うのであるが、このエッジ検出は、左ウインドウ群の中の１つのウインドウ内で後述するエッジ検出オペレータを走査させ、プラスとマイナスのエッジペアを検出する。その後、１つのウインドウ内で走査を繰返し、複数のエッジペアを検出し（ウインドウが幅を持っている場合、幅に比例した回数だけ走査する）、左ウインドウ群の他のウインドウにおいても同様に走査し複数のエッジペアを検出し、右ウインドウ群についても同様の走査を行う。この場合、エッジ検出オペレータは、図２３の（ａ）に示されるような１次元のエッジ検出オペレータ、あるいは、（ｂ）に示されるような2次元のエッジ検出オペレータ（プレビッツオペレータ）を用いて検出することが可能である。このエッジオペレータは画像処理の分野においては公知のもので、近傍領域内の濃度の和を求めるため、上下左右の画素に対角線上のものより大きな重みを与えている。また、最適あてはめによるエッジ検出があり、これは検出したエッジの理想的なモデルを想定し、与えられた画像の局所領域内の濃度変化パターンに最もよく合致するようなエッジモデルのパラメータを求め、出力の値は最適なエッジモデルにおける濃度差から計算する方法もある。
【００５７】
その後、ステップＳ７１２においてウインドウ２６から白線３１は外れていない場合にはステップＳ７１４において駐車区画３０の検証を行う。ここでの駐車区画３０の検証は、例えば、ウインドウ群で取得したエッジペア群の中で、プラスエッジ群とマイナスエッジ群に対してそれぞれ直線を当てはめる直線あてはめを左右のウインドウ群に対して行う方法をとっており、幾何学的な形状認識も同時に行う。これは、検出された直線を３次元路面上の直線として逆投影変換し、プラスエッジ群に当てはめた直線とマイナスエッジ群に当てはめた直線の間隔を測定する。通常、駐車区画３０の白線３１は白線間の幅が１０ｃｍ、または１５ｃｍで描かれているため、測定した結果がこの値に一致していれば、白線３１であると認める。更に、ここでは、左ウインドウ群から検出した白線３１と右ウインドウ群から検出した白線３１との間隔が２．２ｍ〜２．４ｍであれば、それらの２つの白線３１が駐車区画３０を構成する左右の白線３１であると認めるものである
その後、ステップＳ７１４では駐車区画３０が検出された場合には、ステップＳ７１６において、図８のステップＳ４０８に示したのと同様の演算を行って、Ｌ，θｍ，Ｄの算出を行い、駐車区画３０に対する車両の位置と姿勢を求める。
【００５８】
このように、走行予想軌跡２０の表示位置を基準として走行予想軌跡周辺の駐車区画３０の白線３１を所定領域のウインドウ２６で検出する方法をとれば、従来のようにカメラ視野の全領域に対して白線を検出しなくてもよくなるため、画像処理の負担が大きく低減でき、画像認識装置の処理能力は従来に比べ高性能なものは必要なく、画像処理におけるコストを低減できる。また、駐車操作時の走行予想軌跡２０に近い駐車区画３０の白線３１を認識するため、ドライバーがどこの駐車区画３０に駐車したかの意図を反映した駐車区画３０の検出が行えるものとなる。
【００５９】
しかしながら、上記の方法による駐車区画３０の白線検出のみでは、駐車操作時のステアリング操作により予想軌跡２０を駐車区画３０に合わせたときには白線３１を検出できるが、予想軌跡２０が駐車区画３０から外れるようなステアリング操作をした場合には、駐車区画３０の白線３１が検出途中で急に検出できなくなってしまうことから、図２５に示す駐車区画線追跡処理を行う。
【００６０】
そこで、次に駐車区画追跡処理について説明する。ここでは、駐車区画３０の白線の直線パラメータに基づく追跡ウインドウ２７の設定を行うものである。駐車区画探索処理の段階で、既に白線３１に対して直線を当てはめており、画面上での直線のパラメータ（位置と勾配）がわかっている。
【００６１】
この駐車区画線追跡処理で白線３１を検出するために、駐車区画３０の１つの白線全体を包含する大きさの追跡ウインドウ２７を図２６の（ａ）に示すように設け、この追跡ウインドウ２７内で走査することにより白線エッジを検出する方法をとる。この場合、追跡ウインドウ２７の勾配と当てはめた直線の勾配とは基本的に一致し、エッジ検出のための走査線の走査方向は、直線勾配が４５度以上の場合は水平走査、４５度よりも小さい場合は垂直走査とする。
【００６２】
追跡ウインドウ２７の設定は、具体的には以下の手順で実行するが、ここでは例えば、直線勾配が４５度以上の水平走査を行う場合について説明する。
【００６３】
図２６において前回のサンプリングで測定した白線の始点座標を（Ｘｓ,Ｙｓ）、終点座標を（Ｘｅ,Ｙｅ）とすると、追跡ウインドウ２７のｙ方向の上端ＹｗｕはＹｓ−α、下端ＹｗｌはＹｅ＋αとして表わせる。この場合、αは、例えばディスプレィの画面座標値で１０〜５０の範囲内の固定値、若しくは、３次元路面上で５０ｃｍ相当等に設定することができ、白線３１に対して画面上のどれくらいの範囲で追跡ウインドウ２７を表示させたいかは、パラメータにより任意に設定できる。ここでは白線３１の長さに着目し、例えば、α＝（Ｙｅ−Ｙｓ）／１０とする。一方、追跡ウインドウ２７の幅は３次元路面上で所定値（約５０ｃｍ）、若しくは、２次元画面上で所定値（画面上の白線の幅以上の値）とし、走査線の中央が白線の中央位置にくるように設定する。
【００６４】
追跡ウインドウ２７が設定されたら、画面上の上から下に向かって順に走査して白線３１を検出するのであるが、この場合には、図２６の（ａ）に示すように、追跡ウインドウ内で白線３１の両端（白線３１の長手方向の端）を始点・終点として検出し、駐車操作時には常に新しい始点・終点を更新し、始点・終点間で検出したエッジ点列に直線を当てはめ、直線パラメータも更新する。
【００６５】
得られた新しい始点・終点と直線パラメータ（直線の方程式）は、次の画面でのウインドウ設定時に用いられるが、この操作を繰り返して処理を行なうことにより、追跡ウインドウ２７を白線３１の位置に常に合わせて移動させ、駐車操作状態に応じて、追跡しながら白線３１を検出するため、途中で白線検出が急に途切れることが防止される。
【００６６】
尚、この処理において直線の勾配が４５度より小さく、垂直走査する場合には、縦横の走査関係を変えれば、同様な処理が可能であることは言うまでもない。また、上記の如く駐車区画３０の１本の白線全体を包含する追跡ウインドウ２７を設定する。この場合、左右両側に白線３１が見えているときには、両側の白線３１に追跡ウインドウ２７を設定する。追跡ウインドウ内を走査して白線エッジを検出するものに限定されず、図２６の（ｂ）に示す如く駐車区画３０の１本の白線３１に対して探索時に設定するウインドウ２６の如く、複数の追跡ウインドウ２７を設定して、各追跡ウインドウ２７毎に白線エッジの有無を検出する様にしても、図２６の（ａ）と同様の効果を奏する。
【００６７】
次に、白線３１の端点検出方法を簡単に説明する。白線３１のエッジ検出は図２７の（ａ）に示すように、前回の画面で白線３１に当てはめた直線を交差する方向（縦方向）に走査し、その直線の両側で白線のエッジ点が検出されたときは、その位置は白線上にある。具体的には、白線が存在しない位置から白線上の位置まで走査線が移動する場合、現走査線位置が白線上になく、順次、走査位置をずらしていったときに白線エッジが検出されたとき、その位置を白線の端点（始点）とみなし、白線上の位置から白線３１が存在しない位置まで走査線が移動する場合、現走査線の位置が白線上にあって、順次、走査位置をずらしていったときに白線エッジが検出できなくなったとき、その直前に白線エッジが検出できた位置を白線の端点（終点）とみなす。
【００６８】
ここで、白線エッジとは３次元的な換算を行ったときに、実際の白線幅が１０ｃｍ、または１５ｃｍであることから、エッジ間隔が１０ｃｍ、または１５ｃｍであるエッジの組をいう。また、走査して得られた濃度信号の微分により、エッジペアの一方がプラス（＋）エッジ、他方がマイナス（−）エッジである組合せから白線を検出しても良い。更に、白線３１の検出精度を増すために、白線３１の端点（始点／終点）を検出すると、今度がその直交方向に走査して、直行方向の線分を検出し、白線３１の端点の境界を検出して、その境界が端点であることを検証する方法も取られる。
【００６９】
また、図６の（ｂ）に示すように、それぞれのエッジ点列に当てはめた直線Ａ〜Ｃの３次元的な配置を測定した後、直線Ｃが３次元座標において、直線Ａおよび直線Ｂと直交することを検証すれば、より白線認識の精度が向上する。更には、図７の（ｃ）に示すように濃度パターンによる検出方法もとることができる。この方法は、白線３１が存在しない場所における走査線１では濃度があまり変化せず、白線３１が走査途中に存在する（白線３１にかかる）走査線２の位置では、路面（白線に対して暗い）−白線（明るい）−路面（白線に対して暗い）に対応した濃度パターンの変化が表れることで、白線検出をことが可能となる。この場合において、画面の左から右へ走査する場合、まず、白線の左端に差し掛かるまで（＋エッジが出現するまで）のａ領域の濃度aを測定し、＋エッジが出現して次に−エッジが出現するまでのｂ領域の濃度bを測定する。また、−エッジ以降のｃ領域の濃度cも測定する。そこで、｜濃度a−濃度c｜＜設定値であり、濃度a＜濃度bかつ濃度c＜濃度bであることが検証できれば、その濃度分布が生じた走査線上には白線が存在しているとみなすことができる。
【００７０】
以上、説明したことをフローチャートに基づいて説明すると、駐車区画線追跡処理のフローチャートは図２５のようになる。
【００７１】
このフローチャートにおいてステップＳ８０１では、直線パラメータに基づく追跡ウインドウ２７の設定がなされ、白線３１を包含する追跡ウインドウ２７が図２６に示すような形で設定される。この追跡ウインドウ２７はディスプレィ面上にスイッチ操作により表示したり、表示を消したりするように切り替えられるようになっている。次のステップＳ８０２において走査線番号にｙ方向の走査を開始する先頭座標を設定することで、走査開始位置の設定がなされる。その後、ステップＳ８０３において走査線番号をインクリメントしてゆき、ｙ方向において上から下への走査がなされる。ステップＳ８０４において図２７に示す方法により駐車区画３０の追跡ウインドウ内における白線エッジの検出がなされ、ステップＳ８０５において始点が検出されたかが判定される。この始点検出は、走査線を順に走査してゆき、濃度信号を微分して＋エッジおよび−エッジが初めて検出された点を始点Ｙｓとしている。ここで、始点がまだ検出されない場合にはステップＳ８０３に戻り、始点Ｙｓが検出されるまでステップＳ８０３からの処理を繰り返す。一方、ステップＳ８０５において白線３１の始点Ｙｓが検出された場合には、ステップＳ８０６において新始点位置として白線３１の始点位置の走査線番号を設定し、始点位置がメモリに記憶される。この新始点位置の設定により、走査時における白線３１の始点位置の設定がなされる。
【００７２】
その後、ステップＳ８０７において走査線番号をインクリメントし、白線３１が存在する位置で走査線を順にｙ方向に走査してゆき、ステップＳ８０８においてステップＳ８０４と同様の白線エッジの検出を行う。次に、ステップＳ８０９において始点Ｙｓから走査し続けた後、白線３１の終点Ｙｅが検出されたかが判定される。ここで、白線３１の終点がまだ検出されない場合（白線３１を検出し続けている場合）にはステップＳ８０７に戻り、白線３１の終わりを継続して検出し、終点Ｙｅが検出されるまで白線エッジの検出を行う。一方、終点Ｙｅが検出された場合には、ステップＳ８１０において今度は新終点位置として白線３１の終点の走査線番号が設定され、終点位置がメモリに記憶される。
【００７３】
その後、ステップＳ８１１において走査により検出された走査線毎にエッジ点列に対して直線を当てはめ、＋エッジから求めた直線と−エッジから求めた直線を算出し、その中間線を求めそれを駐車区画３０の白線３１の中心線とする。この中心線を駐車操作時において駐車補助を行う場合の基準線とするが、−エッジからの直線を白線３１の基準線とすることも可能である。
【００７４】
その後、ステップＳ８１２において常に最新の追跡ウインドウ２７の設定を行うために、直線パラメータの位置方向、長さ、端点位置の更新がなされ、ステップＳ８１３においてＬ，θｍ，Ｄが算出され、駐車区画３０に対する車両の位置と姿勢を求める。
【００７５】
次に、図９を参照して車両の状態判断について説明する。
【００７６】
ステップＳ５０１において、駐車区画が検出されたか否かをチェックし、区画検出がされていない場合にはステップＳ５１２において不明と判断し、不明フラグをセットする。一方、区画検出がされた場合にはステップＳ５０２に進み、センターずれＬ，車体角度θｍから、基準となる旋回半径Ｒ０を求める。これは図１７に示した（条件１）式で示されるもので、駐車区画３０の中心軸と車両中心軸とに共に接する円の半径を求めることになる。この場合には、車両の進行方向に向かって右側に旋回中心がある場合には、半径Ｒ０は正となる。
【００７７】
次に、ステップＳ５０３において旋回半径Ｒ０を車両の最小回転半径であるＲminと比較し、これより小さければ車両は駐車区画３０に進入不能となるため、ステップＳ５１１において不能と判断し、駐車不能フラグをセットする。ここで、旋回半径Ｒ０がＲmin以上で駐車可能であれば、ステップＳ５０４に進み、図１７に図示したｄを（条件２）式により計算する。これは旋回のための半径Ｒ０の軌跡より駐車区画３０内の適切な位置で車両が平行になれるかを判断するものであり、ステップＳ５０５においてｄ＜Ｌｍ−ｌｍの条件下において駐車が可能であるかを判断する。尚、このステップＳ５０５に示す条件が成立しない場合には、車両は駐車区画３０に入っても平行にはならないものとなる。
【００７８】
次に、ステップＳ５０６に進み、条件３をチェックする。つまり、図１７の条件３に示す関係式でＲｘを求める。これは車両が駐車区画３０に進入する際に旋回の内側が駐車区画コーナー部と干渉しないかをチェックするものであり、ステップＳ５０７においてＲｘ＜｜Ｒ０｜−Ｗｍ／２の条件が成立すれば、車両の旋回の内側が隣りの車両等と接触する可能性が少なくなるとみなすことができる。しかし、これはあくまで計算上の基準であり、実際には隣接車両のはみ出し等も考えられ、目視での確認が必要となる。よって、以上の条件式（条件１から条件３）が成立すれば、ステップＳ５０８に進む。
【００７９】
ステップＳ５０８においては現在のステアリング舵角に基づく旋回半径Ｒと基準半径Ｒ０とを比較して略一致していれば、ステップＳ５０９においてこのままのステアリング舵角で駐車可能とし、駐車可能フラグをセットする。一方、旋回半径Ｒと基準半径Ｒ０が略一致しない場合には、ステップＳ５１０においてステアリング修正は必要とみなし、ステアリング修正フラグをセットとする。但し、図２０に示すようにＲ０＞Ｒminの場合には自由度があり、状況によってはステアリング修正は不要となる。
【００８０】
この結果を基に、図５のステップＳ１１１では音声出力２を行う。ここでの音声出力２は、ステップＳ１１０の状態判断によりセットされたフラグにより、予め定められた文章を発してドライバーに対して報知するものである。具体的には、図１９に示されるように状態判断により「不明」の場合には、「駐車区画を検出していません」、「不能」の場合には「前に進んでもう一度やり直して下さい」、このままの舵角で駐車が可能な場合には「周囲に注意してそのままバックして下さい」等の音声メッセージを、音声合成回路７からスピーカ８に対して出力する。この場合、走行予想軌跡２０をディスプレィ１３に表示する場合の場合の色の指定も図１９に示される表示色に設定される。
【００８１】
次に、ステップＳ１１２においてグラフィックス再描画処理を行う。ここでの処理は後方画像に走行予想軌跡２０をディスプレィ上に重ねて表示させるものであり、この表示を行うためには路面座標をカメラ座標に変換しなければならないことから、以下に示す座標変換を行う。
【００８２】
そこで、この座標変換は図１６に示すように、（Ｘ，Ｙ，Ｚ）：路面座標、（ｘ，ｙ）：カメラ座標（ＣＣＤ素子面）、ｆ：レンズ焦点距離、（ｘ’，ｙ’，ｚ’）：レンズ座標（ｚ’は光軸に一致）、θｃ：カメラ取り付け角度、Ｈｃ：路面からの取り付け高さとすると、以下のような関係式が成立する。つまり、
ｘ＝ｆ・ｘ’／ｚ’・・・（１’）
ｙ＝ｆ・ｙ’／ｚ’・・・（２’）
ｘ’＝Ｘ・・・（３’）
ｙ’＝Ｚｓｉｎθｃ＋（Ｙ−Ｈｃ）ｃｏｓθｃ・・・（４’）
ｚ’＝Ｚｃｏｓθｃ−（Ｙ−Ｈｃ）ｓｉｎθｃ・・・（５’）
より、路面上の座標のみに限定すればＹ＝０となり、ｘ，ｙを求めれば、
ｘ＝ｆ・Ｘ／（Ｚｃｏｓθｃ＋Ｈｃｓｉｎθｃ）・・（６’）
ｙ＝ｆ・（Ｚｓｉｎθｃ−Ｈｃｃｏｓθｃ）／（Ｚｃｏｓθｃ＋Ｈｃｓｉｎθｃ）
・・・（７’）
となる。よって、路面座標上の点（Ｘ，Ｚ）をカメラで撮影した場合、グラフィックス画面上（カメラ座標）での座標（ｘ，ｙ）を（６’），（７’）式より求め、後方画像に重ね合せることができる。
【００８３】
この場合、上記の方法により求めたｘ，ｙの走行予想軌跡２０をディスプレィ上に表示するのであるが、その表示方法は図１２に示されるように各種の方法が考えられる。つまり、図１２の（ａ）では車両の左右輪が通過する予想轍による表示する方法、（ｂ）では駐車時に車両が走行する走行エリアをベクトル表示する方法、（３）は一定距離間隔（はしご間隔：５０ｃｍ）がわかるようにしたはしご状に表示する方法等があり、ここでは（ｃ）を用いて、駐車操作時に距離感や各位置での車体の角度が分かり易い方法を採用している。尚、この場合、車両予想軌跡２０の長さｌは固定長（例えば、３ｍ）にしたり、一定の角度分とし、旋回状態（緑色とする）と直進状態（青色とする）で色を変化させたり、更には、予想軌跡先端部のみを区別し易い表示にしたりする方法をとることもできる。
【００８４】
図１８はディスプレィ１３上での走行予想軌跡２０とステアリング舵角の状態を示した表示画面の一例であり、ステアリング舵角に応答して走行予想軌跡２０が変化する状態を示したものである。これは車両の後方の生画像をモニタし、駐車スイッチ４がオンしている（駐車補助要求ありの状態）場合にのみ、ステアリング舵角に応じてはしご状になった走行予定軌跡２０を重なり合って表示させるようにしている。この場合、後方画像に走行予想軌跡２０を表示させることで、ステアリング２１をどれだけ転舵しているかわかるようにディスプレィ１３の一部に舵角状態を表示する表示マーカー１４を一緒に表示させているので、実際にどれだけ転舵しているかがわかる。
【００８５】
次のステップＳ１１３においては駐車スイッチ４がオン（駐車補助要求あり）されているかが判断される。ここで、駐車スイッチ４がオンされていない（駐車補助要求がない）場合にはステップＳ１０２に戻り、ステップＳ１０２からの処理を繰り返す。一方、駐車補助要求がありの場合には、ステップＳ１１４においてリバース状態であるかをシフトレバーリバーススイッチ３をチェックする。ここでリバース状態でない場合にはステップＳ１０２に戻るが、リバース状態の場合にはステップＳ１０６からステップＳ１１４までの同じ処理を繰り返す。
【００８６】
つまり、リバース状態で駐車補助要求がある場合にはディスプレィ上に後方画像と一緒に走行予想軌跡も一緒に表示されるようになるため、ドライバーはこれを見てステアリング２１を回し、適切な位置に保持しバックすれば良い。駐車区画内に水平に入った段階でステアリングをまっすぐにし、最終端までバックすれば正しく駐車区画３０に入ることができる。これらは音声により指示されるため、後方を見て安全確認しながらの操作が可能となる。
【００８７】
【効果】
本発明によれば、車両の後方を撮像するカメラと、車内に設けられカメラからの映像を表示する表示器と、車両の操舵状態を検出する操舵状態検出手段と、カメラからの映像を基に画像認識により駐車区画を識別する駐車区画検出手段と、操舵状態検出手段からの情報により車両の走行予想軌跡を算出する走行予想軌跡算出手段と、走行予想軌跡と駐車区画からの情報により駐車を補助する情報をドライバーに提供する報知手段とを備えた駐車補助装置において、
走行予想軌跡を表示器に表示させ、走行予想軌跡の表示位置を基準として走行予想軌跡周辺の駐車区画白線を所定領域のウインドウで検出するウインドウ手段と、ウインドウ領域内に白線が存在する場合に白線の位置と方向を検出する白線検出手段、白線検出手段の検出結果より白線の特徴や幾何学的配置によって駐車区画を検証する駐車区画検証手段とを備えたものとしたことにより、走行予想軌跡を表示器に表示させ、走行予想軌跡の表示位置を基準として走行予想軌跡周辺の駐車区画白線を所定領域のウインドウで検出し、ウインドウ領域内に白線が存在する場合に白線の位置と方向を検出して、その検出結果より白線の特徴や幾何学的配置によって駐車区画を検証するため、従来のようにカメラ視野の全領域に対して白線を検出しなくてもよくなるため、画像処理の負担が大きく低減できる。このため、画像認識装置の処理能力は従来に比べ高性能なものは必要なく、画像処理におけるコストを低減できる。
【００８８】
また、駐車操作時の走行予想軌跡に近い駐車区画の白線を認識するため、ドライバーがどこの駐車区画に駐車したかの意図を反映した駐車区画の検出を行い、ドライバーに対して適切な駐車補助が行える。
【００８９】
ウインドウは走行予想軌跡の左右に設けられ、左右一定間隔になるよう設けられるようにすれば、ドライバーがどこの駐車区画に駐車したいかといったドライバーの意志が反映され、走行予想軌跡に対応した領域でウインドウの設定ができる。
【００９０】
また、走行予想軌跡が湾曲し、予想軌跡の端線上に設定したウインドウが白線から外れた場合に一部の白線が検出できると、検出された白線の延長線上にウインドウを設けるようにすれば、駐車区画の白線が存在する位置に確実にウインドウを設けることが可能となり、画像処理の負担をより低減することができる。
【００９１】
一旦、駐車区画が検出された場合には、駐車区画の白線を包含する追跡ウインドウを設定し、追跡ウインドウ内を走査することにより白線検出を行うようにすれば、駐車時の運転操作により駐車区画の白線からずれた場合でも追跡ウインドウにより白線を検出し続けることができ、白線を急に検出できなくなることが防止できる。
【００９２】
この場合、追跡ウインドウは白線の位置に追従させるようにすれば、白線を確実にとらえて検出することができる。
【００９３】
更に、報知手段は表示器および特に音声により操舵タイミング、操舵方向、操舵量の少なくとも１つが報知されるようにすれば、ドライバーに対して駐車に関する情報を、後方を目視確認しながらでも提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態における駐車補助装置のシステム構成図である。
【図２】本発明の一実施形態における駐車補助装置を車両へ取付けた場合の取付図である。
【図３】本発明の一実施形態における駐車補助装置のカメラの検出範囲を示した図である。
【図４】本発明の一実施形態におけるステアリングセンサを示し、（ａ）はステアリングコラムシャフトへ取り付けた場合のステアリングセンサの平面図、（ｂ）はステアリングセンサのスリット板とフォトインタラプタの概要を示した斜視図、（ｃ）はステアリングセンサのＡ相とＢ相の出力を示す図である。
【図５】本発明の一実施形態におけるコントローラの処理を示すフローチャートである。
【図６】本発明の一実施形態におけるコントローラのステアリングセンサ信号処理を示すフローチャートである。
【図７】本発明の一実施形態におけるコントローラのステアリングセンサの中立点処理を示すフローチャートである。
【図８】図５に示す区画線検出処理のフローチャートである。
【図９】図５に示す状態判断のフローチャートである。
【図１０】本発明の一実施形態における駐車区画と車両との位置関係を示す説明図である。
【図１１】本発明の一実施形態における走行予想軌跡の算出に用いる説明図である。
【図１２】本発明の一実施形態における走行予想軌跡の表示例を示した図であり、（ａ）は予想轍による表示、（ｂ）は車幅分の走行エリアベルト表示、（ｃ）ははしご状表示を示す図である。
【図１３】本発明の一実施形態におけるカメラおよびディスプレィのグラフィックス表示座標である。
【図１４】本発明の一実施形態における駐車補助装置のカメラを車両へ取り付けた場合の取り付け状態を示した図である。
【図１５】本発明の一実施形態におけるＨｏｕｇｈ変換による直線検出法を示す説明図である。
【図１６】本発明の一実施形態における駐車補助装置の座標変換方法を説明する説明図である。
【図１７】本発明の一実施形態における駐車補助装置の駐車区画の検出と車両位置の関係を示す説明図である。
【図１８】本発明の一実施形態における駐車補助装置のディスプレィ上での表示画面である。
【図１９】本発明の一実施形態における駐車補助装置の音声出力における案内メッセージおよびディスプレィ上での走行予想軌跡の表示色を示す図である。
【図２０】本発明の一実施形態における駐車補助装置の駐車区画への入り方を示した図である。
【図２１】図５に示す区画線検出処理の別のフローチャートである。
【図２２】本発明の一実施形態における駐車補助装置の走行予想軌跡に対してウインドウ群が設けられた状態を示しており、（ａ）は車両がまっすぐバックしている状態、（ｂ）はステアリングを切りながらバックしている状態、（ｃ）はウインドウ内に白線が存在しなくなった場合にウインドウが設定される状態を示した図である。
【図２３】本発明の一実施形態における駐車補助装置の画像処理におけるエッジ検出オペレータを示し、（ａ）は１次元、（ｂ）は２次元のエッジオペレータを示す説明図である。
【図２４】図２１に示す駐車区画線探索処理のフローチャートである。
【図２５】図２１に示す駐車区画線追跡処理のフローチャートである。
【図２６】図２５に示す追跡ウインドウの白線に対する設定状態を示し、（ａ）は１本の白線全体を包含する追跡ウインドウ、（ｂ）は１本に白線に対し複数の追跡ウインドウを設定した図である。
【図２７】本発明の一実施形態における白線認識の認識方法であり、（ａ）は水平走査を行った後の垂直走査による端点検出、（ｂ）は直線からの角度検出、（ｃ）は白線に対しての走査線の濃度変化に基づく認識方法を示した図である。
【符号の説明】
１駐車補助装置
２ステアリングセンサ（操舵状態検出手段）
３シフトレバーリバーススイッチ
４駐車スイッチ
５右車輪速センサ
６左車輪速センサ
８スピーカ（報知手段）
１１ＣＰＵ（走行予想算出手段）
１３ディスプレィ（表示器）
１４舵角状態表示（マーカー表示）
１５駐車区画検出用画像認識装置（駐車区画検出手段，白線検出手段，駐車区画検証手段）
１７ＣＣＤカメラ（カメラ）
２０走行予想軌跡
２６ウインドウ（探索ウインドウ）
２７追跡ウインドウ
３０駐車区画
３１白線

Claims

車両の後方を撮像するカメラと、
車内に設けられ前記カメラからの映像を表示する表示器と、ドライバーが操作するステアリングホイールの操舵状態を検出する操舵状態検出手段と、前記カメラからの映像を基に画像認識により駐車区画を識別する駐車区画検出手段と、
前記操舵状態検出手段により検出された前記ステアリングホイールの操舵状態から車両の駐車操作時の走行予想軌跡を算出する走行予想軌跡算出手段と、該走行予想軌跡と前記駐車区画からの情報により駐車を補助する情報をドライバーに提供する報知手段とを備えた駐車補助装置において、
前記走行予想軌跡を前記カメラからの映像とともに前記表示器に表示させ、前記走行予想軌跡の表示位置を基準として、前記カメラからの映像上の前記走行予想軌跡周辺に所定領域のウインドウを設定するウインドウ手段と、該ウインドウ領域内に区画線が存在する場合に該区画線の位置と方向を検出する区画線検出手段と、該区画線検出手段の検出結果より検出された区画線の幅や区画線同士の間隔によって該区画線が駐車区画を構成するかどうかを検証する駐車区画検証手段とを備えたことを特徴とする駐車補助装置。
前記ウインドウは、前記走行予想軌跡の左右に設けられ、左右一定間隔になるよう設けられる請求項１に記載の駐車補助装置。
前記走行予想軌跡が湾曲し、予想軌跡の端線上に設定した前記ウインドウが区画線から外れた場合に一部の区画線が検出できると、検出された区画線の延長線上に前記ウインドウを設ける請求項２に記載の駐車補助装置。
前記駐車区画が検出された場合には、前記駐車区画の区画線を包含する追跡ウインドウを設定し、該追跡ウインドウ内を走査することにより区画線の検出を行う請求項１に記載の駐車補助装置。
前記追跡ウインドウは区画線の位置に追従させる請求項４に記載の駐車補助装置。
前記報知手段は表示器および音声により操舵タイミング、操舵方向、操舵量の少なくとも１つが報知される請求項１に記載の駐車補助装置。