JP4218441B2

JP4218441B2 - 車載用移動体検出装置

Info

Publication number: JP4218441B2
Application number: JP2003184774A
Authority: JP
Inventors: 清貴田口
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2003-06-27
Filing date: 2003-06-27
Publication date: 2009-02-04
Anticipated expiration: 2023-06-27
Also published as: JP2005018573A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理技術を用いて車両の例えば前方を横切る歩行者などを検出する車載用移動体検出装置に関する。
【０００２】
【従来の技術】
交通事故防止対策の一つとして、車両に前方障害物検出センサを搭載し、危険な時には非常ブレーキをかけるシステムが研究されている。その一例として、車両の前方を撮影するカメラを車両に搭載し、このカメラから得られた画像を順次記憶し、最新画像を以前の画像と比較して差分をとることにより、撮影エリアを画素毎に物体なし、物体あり、物体退却、物体進入の４値に４値化し、画像中の物体あり、物体退却、物体進入に夫々対応する画素の分布により物体の移動ベクトルを算定し、該移動ベクトルの方向と道路を横断する方向との比較により横断歩道上の歩行者を識別するというものがある（例えば、特許文献１）。
【０００３】
【特許文献１】
特開平７−２００９８６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の特許文献１に記載の装置では、カメラによる撮影画像の全体の広い範囲を対象にして画像処理しなければならないため、移動体の検出処理のために多くの処理時間を必要とし、認識度が悪いという問題があった。
【０００５】
本発明は上記事情に鑑みてなされたものであり、その目的は、撮影手段による撮影画像に基づいて移動体の存否を検出する車載用移動体検出装置において、撮影画像の処理時間を短縮することが可能な車載用移動体検出装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、地図データ取得手段が取得した地図データから、撮影手段による撮影方向の道路の形態を検出し、移動体の存否を検出するための撮影画像の処理を、当該撮影画像の縦、横、斜めの各方向のうちの一方向に対して、道路の形態に応じた範囲に狭めると共に、撮影手段の撮影方向に応じて撮影画像の斜め方向に対して、車速に応じた範囲に狭めて実行する。
このため、本発明によれば、撮影画像の全体を対象にして処理しなくとも済み、処理時間を短縮することができる。
【０００７】
この場合、本発明では、画像処理手段が移動体を検出したとき、移動体の存在を報知する報知手段や運転支援手段を設けることができる。
【０００８】
【発明の実施の形態】
以下、本発明の一実施例を図面に基づいて説明する。
図２に示すように、車両１のルーフ１ａの前側部分には、撮影手段としてのビデオカメラ２が設けられている。このビデオカメラ２は、例えばＣＣＤ素子を用いたもので、車両１の周囲のうちの一方向である前方向を車両１の上部から撮影する。
【０００９】
このビデオカメラ２により撮影された画像は、図１に示すように、画像処理手段としての画像処理装置３に送られる。この画像処理装置３は、図示はしないがマイクロコンピュータ、メモリなどを備えており、ビデオカメラ２から送られてくる画像を、道路輝度パターンと歩行者や車両などの移動体輝度パターンのパターン相関により２値化してこの画像２値化データを順次メモリに記憶するようになっている。そして、画像処理装置３は、最新フレームの画像２値化データと既に記憶されている画像２値化データとの差分をとることにより、撮像エリアを物体なし、物体あり、物体退却、物体進入の４値に画素毎に４値化し、画像中の物体あり、物体退却、物体進入に夫々対応する画素の分布から物体の移動ベクトルを算定し、該移動ベクトルの方向と横断方向の比較に基づいて車両１の前方を横切る人や他車両を識別（移動体検出処理）するようになっている。
【００１０】
画像処理装置３は、上記のようにして車両の前方を移動体が横切ることを検出すると、車両１との距離が短い場合、運転支援手段としての車両制御装置４に危険信号を出力する。そして、車両制御装置４は、危険信号を受信することによって、例えば運転者がブレーキペダルを踏んだとき、これをアシストして急ブレーキが掛かるようにブレーキ装置を制御する。なお、画像処理装置３は、撮影画像について、基準位置からの画素数をカウントすることによって車両１から移動体までの距離を演算する（距離演算手段）ようになっている。なお、上記基準位置は、図７に示す撮影画像において、その下端に定められている。但し、基準位置は撮影画像の下端に限られない。
【００１１】
この画像処理装置３には、車両１の速度検出手段としての車速計測装置５により計測された車速信号が入力される。車速計測装置５は、例えば図示しない車軸の回転検出装置から当該車軸の回転に伴って出力される単位時間当たりのパルス信号をカウントすることによって車速を演算するようになっている。また、画像処理装置４には、ナビゲーション装置６から自車両１の前方の地図データが入力されるようになっている。
【００１２】
ここで、ナビゲーション装置６は、ナビゲーション制御装置７、地図データ記憶装置８、位置検出手段としてのＧＰＳ受信機９、スピーカ１０、表示装置１１、入力装置１２などを備えている。ＧＰＳ受信機９は、ＧＰＳ衛星からの測位信号を受信して車両１の位置を演算する。制御装置７は、マイクロコンピュータを主体とするもので、ＧＰＳ受信機９により取得した位置情報に基づいて車両１の周辺の地図データを地図データ記憶装置８から取得して表示装置１１に表示する。
【００１３】
前記地図データ記憶装置８はＤＶＤ及びその読取装置からなり、ＤＶＤに記憶された地図データには、道路の種別、横断歩道の位置などの情報が含まれている。
また、ナビゲーション装置６は、ＧＰＳ受信機９から受信した位置情報を前回受信した位置情報と比較することにより、自車両１の進行方向を検出する（車両進行方向検出手段）。そして、ナビゲーション装置６は、地図データ記憶装置８から取得した自車両１の周辺の地図データより、自車両から進行方向に少なくともビデオカメラ２の撮影範囲までの地図データを選択して画像処理装置３に送信する。なお、この自車両１の進行方向の地図データの選択は、画像処理装置３が行うように構成しても良い。
【００１４】
制御装置７は、目的地が入力装置１２の操作によって入力されると、現在位置から目的地に至るまでの案内経路を演算し、表示装置１１に表示された地図に当該案内経路を色分け表示すると共に、交差点などで右左折方向をスピーカ１０から音声にて出力する。また、このスピーカ１０は、後述のようにして自車両の前方に歩行者や他車両などの移動体が存在することが検出されたとき、運転者に音声などによって警報を発する。なお、表示装置１１は、地図表示手段としてばかりでなく、画像処理装置３の報知手段としても機能し、画像処理装置３が移動体を検出した場合に、画像処理装置３からの信号によって移動体の位置を例えば点滅表示（警告表示）によって報知するようになっている。
【００１５】
さて、画像処理装置３は、上記の移動体検出処理時、車速計測装置８の検出速度及びナビゲーション制御装置７からの地図データに基づいて、処理対象とする撮影画像の範囲を狭めるようになっている。この移動体検出処理の内容を図３乃至図５に示すフローチャートをも参照しながら説明する。
【００１６】
画像処理装置３が図３に示す運転支援プログラムの実行を開始すると、移動体検出処理ルーチン（ステップＳ１）に入る。この移動体検出処理ルーチンは
図４に示されている。このルーチンに入ると、画像処理装置３は、まず、ビデオカメラ２の撮影画像を取得する（ステップＡ１）。次に、画像処理装置３は、車速計測装置５から車速を取得し（ステップＡ２）、この車速から画像認識縦幅を演算する（ステップＡ３）。この画像認識縦幅が設定されると、後述のように、画像処理装置３による移動体検出処理は、ビデオカメラ２の撮影画像の全域を対象とすることなく、縦、横、斜めの各方向のうちの縦方向（図７で上下方向；本発明にいう一方向と交差する他方向）については、その画像認識縦幅の範囲に狭めて実行されるようになる。
【００１７】
この実施例では、認識縦幅は、撮影画像の基準位置である下端（車両１の直前）から上方（車両１の前方）への幅（画素数）で定められている。この認識縦幅は、本実施例の場合、移動体を発見してからブレーキを操作して車両が止るまでの車両走行距離に定められ、ステップＡ３では、実際には車速を基にしてその車両停止距離の演算を行うものである。例えば、図７（ａ）及び（ｂ）は車速の高低の相違による認識縦幅Ｗの相違を示すもので、同図（ａ）は車速が遅い場合、同図（ｂ）は車速が早い場合を示している。
【００１８】
画像処理装置３が上記の認識縦幅の演算処理を行うと、ナビゲーション制御装置７は、自車両１の位置を取得する（ステップＡ４）と共に、自車両１の前方の地図データを取得して画像処理装置３に送る（ステップＡ５）。そして、画像処理装置３は、ナビゲーション制御装置７から送られた自車両１の位置と地図データとから、ビデオカメラ２の撮影画像中に、自車両１の前方に図８（ａ）、（ｂ）、（ｃ）のような交差点が存在しているか（ステップＡ６）、同図（ｄ）、（ｅ）、（ｆ）のような分合流点が存在しているか（ステップＡ７）、同図（ｇ）のような横断歩道が存在しているか（ステップＡ８，Ａ９）を判断し、その後に横方向認識位置決定処理を実行する（ステップＡ１０〜Ａ１３）。
【００１９】
このステップＡ１０〜Ａ１３の横方向認識位置決定処理は、移動体の存否を検出するための撮影画像の処理対象範囲を横方向（他方向）について設定するためのもので、その処理内容は図５に示されている。即ち、横方向認識位置決定処理のルーチンに入ると、画像処理装置３は、地図データから得られる交差点、分合流点、横断歩道などの特別道路形態が自車両１から何メートル先にあって、それは撮影画像中のどこに相当するかを演算する（ステップＢ１）。そして、その特別道路形態が撮影画像にないか、または認識縦幅内に入っているか否かを判断し、入っていなければ（ステップＢ２で「ＮＯ」）、画像処理装置３は、移動体検出処理を行わずに図４のルーチンを終了し、図３のステップＳ２へ移行する。
【００２０】
特別道路形態が撮影画像中の認識縦幅内にあるとき（ステップＢ２で「ＹＥＳ」）、画像処理装置３は、撮影画像の特別道路形態の位置を確定し、画像横方向認識位置設定処理を行う（ステップＢ３）。この認識位置は、例えば図６に示すように交差点Ａが存在していた場合、縦幅Ｗ内における縦方向中央の道路の側端Ｅを中心に左右に等幅Ｄとなるような範囲に設定される。この場合、幅Ｄは道路の幅などの道路形態によって適宜定められる。また、走行道路の中央部は幅Ｆだけ除かれる。走行道路の中央部を幅Ｆだけ画像処理の対象から外す理由は、運転者が注意を集中する範囲であるからであるが、特に外さなくとも良い。
【００２１】
このようにステップＡ１０〜１３の画像横方向認識位置決定処理では、夫々の道路形態に応じて横方向認識位置（幅）を決定するものである。なお、図８（ａ）〜（ｇ）に示した破線は、各道路形態での画像横方向認識位置（範囲）を示す。また、図５のステップＢ２で「ＮＯ」となった場合、横方向認識位置は０（ゼロ）で、画像処理は行わないことを意味する。
【００２２】
ステップＡ１０〜１３の画像横方向認識位置決定処理を終了すると、その後、画像処理装置３は、前述の移動体検出処理を実行し（ステップＢ１４）、図３のステップＳ２に移行する。そして、画像処理装置３は、移動体が存在していなかった場合（ステップＳ２で「ＮＯ」）には、元のステップＳ１に戻る。また、移動体が存在していた場合（ステップＳ２で「ＹＥＳ」）には、画像処理装置３は、報知処理及び運転支援処理動作を行い、ステップＳ１に戻る。ここで、報知処理は表示装置１１の地図中に移動体の存在位置を表示すると共に、スピーカ１０から音声などを発することによって行われる。また、運転支援処理は、車両制御装置４に危険信号を出力し、ブレーキ操作が行われた場合に、車両制御装置４がブレーキ装置を制御して急ブレーキが掛かるようにする
なお、報知処理はブザーを鳴らすことであってよい。
【００２３】
このように本実施例によれば、移動体の存否を検出するための横方向（本発明にいう一方向）の画像処理範囲を道路の形態に応じて狭めるようにしてので、移動体の存否を検出するための認識処理を迅速に行うことができる。
特に本実施例では、縦方向についても、車速に応じて画像処理範囲を狭めるので、より一層認識処理を迅速に行うことができる。
【００２４】
なお、本発明は上記し且つ図面に示す実施例に限定されるものではなく、以下のような拡張或は変更が可能である。
本発明は、車両前方の安全性確保のためにビデオカメラで前方を撮影するだけでなく、車両の周囲のうちの一方向を撮影する場合に広く適用できる。例えば、バックミラーやフェンダーミラーの死角となる車両の斜め後方を撮影するようにしても良い。この場合には、画像処理を、撮影画像の横方向の幅を車速に応じて狭めて実行する。また、撮影方向によっては、撮影画像の対角線方向（斜め方向）の幅を車速に応じて狭めて画像処理するようにしても良い。
自車両の周辺の地図データは無線通信手段により地図データベースサーバ（地図センタ）に接続して無線通信網を介して取得する構成としても良い。
自車両の位置は、ＧＰＳ受信機に限られず、地磁気方位センサ、車両の走行距離センサなどの組み合わせにより取得するものであっても良い。
警報に対する応答動作をしたとき、これを画像処理装置３に伝える手段を設けても良い。例えばアクセルペダルを緩めて車速を落としたとき、これを画像処理装置３が検出して警報を停止するようにしても良い。
自車両の幅から走行道路の幅を予想し、それに合わせて画像処理範囲を変えるようにしても良い。
車速に応じてビデオカメラ２の上下方向の傾きを変えて撮影範囲を変化するようにしても良い。
地図データから住宅地域では、家からの人の飛び出しが多いので、画像処理範囲を家の玄関部分に絞るようにしても良い。
車両の進行方向はジャイロスコープで検出するようにしても良い。
【図面の簡単な説明】
【図１】本発明の一実施例を示すブロック図
【図２】車両のビデオカメラの撮影範囲を示す図
【図３】運転支援のためのフローチャート
【図４】移動体検出のためのフローチャート
【図５】撮影画像の横方向の処理範囲を設定するためのフローチャート
【図６】表示装置に表示された地図の一例を示す図
【図７】ビデオカメラによる撮影画像の一例を示す図
【図８】各種の道路形態を示す図
【符号の説明】
１は車両、２はビデオカメラ（撮影手段）、３は画像処理装置（画像処理手段）、４は車両制御装置（運転支援手段）、５は車速計測装置（車速検出手段）、７はナビゲーション制御装置（地図データ取得手段）、９はＧＰＳ受信機（位置取得手段）、１０はスピーカ（報知手段）、１１は表示装置（報知手段）を示す。

Claims

車両に搭載され、自車両の周囲のうち設定された一方向を撮影する撮影手段と、
この撮影手段による撮影画像を処理して移動体の存否を検出する画像処理手段と、
自車両の位置を取得するための位置取得手段と、
この位置取得手段による検出位置周辺のうち少なくとも前記撮影手段の撮影方向の地図データを取得する地図データ取得手段と、
自車両の速度を検出する速度検出手段とを備え、
前記画像処理手段は、前記地図データ取得手段が取得した地図データから、前記撮影手段による撮影方向の道路の形態を検出し、移動体の存否を検出するための前記撮影画像の処理を、当該撮影画像の縦、横、斜めの各方向のうちの一方向に対して、前記道路の形態に応じた範囲に狭めると共に、前記撮影手段の撮影方向に応じて前記撮影画像の斜め方向に対して、前記速度検出手段により検出された車速に応じた範囲に狭めて実行することを特徴とする車載用移動体検出装置。
前記画像処理手段が移動体を検出したとき、移動体の存在を報知する報知手段を備えていることを特徴とする請求項１記載の車載用移動体検出装置。
前記画像処理手段が移動体の存在を検出したとき、自車両の運転を支援するための運転支援手段を備えていることを特徴とする請求項１または２に記載の車載用移動体検出装置。