JP2003281700A - 割り込み車両検出装置及びその方法 - Google Patents
割り込み車両検出装置及びその方法Info
- Publication number
- JP2003281700A JP2003281700A JP2002084599A JP2002084599A JP2003281700A JP 2003281700 A JP2003281700 A JP 2003281700A JP 2002084599 A JP2002084599 A JP 2002084599A JP 2002084599 A JP2002084599 A JP 2002084599A JP 2003281700 A JP2003281700 A JP 2003281700A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- area
- boundary line
- reference boundary
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 車両に搭載された画像入力装置により取得さ
れる時系列画像から、自車両の走行、停止しているレー
ン、または自車両の走行が予測される領域に割り込んで
くる他車両の走行軌跡を、車両候補領域を追跡すること
により求め、その走行軌跡から割り込み車両を検出する
割り込み車両車両検出装置を提供する。 【構成】 車両に搭載された画像入力装置により単眼で
取得される時系列画像を取り込む画像入力部１と、前記
時系列画像から割り込み判定を行うための基準境界線を
設定する処理領域設定部２と、前記基準境界線に対して
外側に車両候補領域を設定する候補領域設定部３と、前
記基準境界線を基準として所定の割り込み特有の運動方
向を持つ車両候補領域を追跡して、他車両の走行軌跡を
推定する走行軌跡推定部４と、前記他車両の走行軌跡が
所定の割り込み特有の特徴を持つとき、割り込み車両と
判定する割り込み判定部５からなり、割り込み車両を検
出する。
れる時系列画像から、自車両の走行、停止しているレー
ン、または自車両の走行が予測される領域に割り込んで
くる他車両の走行軌跡を、車両候補領域を追跡すること
により求め、その走行軌跡から割り込み車両を検出する
割り込み車両車両検出装置を提供する。 【構成】 車両に搭載された画像入力装置により単眼で
取得される時系列画像を取り込む画像入力部１と、前記
時系列画像から割り込み判定を行うための基準境界線を
設定する処理領域設定部２と、前記基準境界線に対して
外側に車両候補領域を設定する候補領域設定部３と、前
記基準境界線を基準として所定の割り込み特有の運動方
向を持つ車両候補領域を追跡して、他車両の走行軌跡を
推定する走行軌跡推定部４と、前記他車両の走行軌跡が
所定の割り込み特有の特徴を持つとき、割り込み車両と
判定する割り込み判定部５からなり、割り込み車両を検
出する。
Description
【０００１】
【発明の属する技術分野】本発明は、自動車などの車両
に代表される移動体に取り付けられたＴＶカメラから得
られる画像を用いて、自車両の走行しているレーン、ま
たは、自車両の走行が予測される領域に割り込んでくる
車両を検出する画像処理装置及びその方法に関するもの
である。
に代表される移動体に取り付けられたＴＶカメラから得
られる画像を用いて、自車両の走行しているレーン、ま
たは、自車両の走行が予測される領域に割り込んでくる
車両を検出する画像処理装置及びその方法に関するもの
である。
【０００２】
【従来の技術】「割り込み車両」とは、自車両の走行、
または、停止しているレーン、または、自車両の走行が
予測される領域に侵入してくる車両である。自車と近い
距離で突発的に発生する現象であるため、非常に危険で
あり、迅速に検出する必要がある。
または、停止しているレーン、または、自車両の走行が
予測される領域に侵入してくる車両である。自車と近い
距離で突発的に発生する現象であるため、非常に危険で
あり、迅速に検出する必要がある。
【０００３】自車両の走行しているレーン、または、自
車両の走行が予測される領域に割り込んでくる車両を検
出する手段として、大きく分けてレーダを用いる方式
と、画像を用いる方式が提案されている。
車両の走行が予測される領域に割り込んでくる車両を検
出する手段として、大きく分けてレーダを用いる方式
と、画像を用いる方式が提案されている。
【０００４】レーダを用いる方式として、特開平７−８
９３６７号公報において、レーザレーダを用いて検出す
る方法が提案されている。レーザレーダを用いる方式は
雨など悪天候に弱いという問題がある。また、割り込み
車両の場合、レーザレーダが斜めに照射されるため、反
射波を受光できないという問題や、指向性が強く、曲が
った道路での利用などは困難であるということや、他車
両から発せられるレーザと干渉するという問題がある。
９３６７号公報において、レーザレーダを用いて検出す
る方法が提案されている。レーザレーダを用いる方式は
雨など悪天候に弱いという問題がある。また、割り込み
車両の場合、レーザレーダが斜めに照射されるため、反
射波を受光できないという問題や、指向性が強く、曲が
った道路での利用などは困難であるということや、他車
両から発せられるレーザと干渉するという問題がある。
【０００５】これに対して、画像を用いる方式では、例
えば自車両の走行レーンを検出することができるため、
自車両の走行に対して危険となる領域を限定することが
できる。このように様々の情報を、画像から取得するこ
とができる。また、装置を安価に構成することもでき
る。したがって、センサとしてレーダを用いるのではな
く画像を用いる。
えば自車両の走行レーンを検出することができるため、
自車両の走行に対して危険となる領域を限定することが
できる。このように様々の情報を、画像から取得するこ
とができる。また、装置を安価に構成することもでき
る。したがって、センサとしてレーダを用いるのではな
く画像を用いる。
【０００６】この画像を用いる方式には、複数のＴＶカ
メラを用いる方式と、単一のＴＶカメラによって単眼で
撮影した画像を用いる方式とがある。
メラを用いる方式と、単一のＴＶカメラによって単眼で
撮影した画像を用いる方式とがある。
【０００７】複数のＴＶカメラを用いる方式として、特
開平１１−２１３２９５号公報において、ステレオ視に
より車両までの距離を計測して、３次元シーンにおける
他車両の移動ベクトルを求め、その延長線と走行レーン
が交わったとき割り込み車両と検出する手法が提案され
ている。このステレオ視による手法は割り込み車両が、
二台のＴＶカメラの共通視野領域に入ってくるまで検出
できないため、検出が遅くなるという問題がある。ま
た、左右の画像間から互いの点の応対付けにより視差を
求めるので、計算量が大きくなるという問題もある。し
たがって、カメラとしては、複数のカメラを用いるので
はなく、単一のカメラを用いるのが好ましい。
開平１１−２１３２９５号公報において、ステレオ視に
より車両までの距離を計測して、３次元シーンにおける
他車両の移動ベクトルを求め、その延長線と走行レーン
が交わったとき割り込み車両と検出する手法が提案され
ている。このステレオ視による手法は割り込み車両が、
二台のＴＶカメラの共通視野領域に入ってくるまで検出
できないため、検出が遅くなるという問題がある。ま
た、左右の画像間から互いの点の応対付けにより視差を
求めるので、計算量が大きくなるという問題もある。し
たがって、カメラとしては、複数のカメラを用いるので
はなく、単一のカメラを用いるのが好ましい。
【０００８】単一のＴＶカメラによって単眼で撮影した
画像を用いる方式として、下記の二つの方式が知られて
いる。
画像を用いる方式として、下記の二つの方式が知られて
いる。
【０００９】第１の方式としては、特開平８−２４９５
９７号公報において、道路面のエッジ点数の変化に注目
して割り込み車両を検出する方法が提案されている。こ
の手法は、予め設定したある領域内部のエッジ点数の最
大値が、ある閾値以上になったときに、割り込み車両が
存在したとする。この手法では、エッジ点数から検出し
ているため、道路面に模様があると車両が存在しなくて
もエッジ点数が増大することから誤検出する可能性があ
る。
９７号公報において、道路面のエッジ点数の変化に注目
して割り込み車両を検出する方法が提案されている。こ
の手法は、予め設定したある領域内部のエッジ点数の最
大値が、ある閾値以上になったときに、割り込み車両が
存在したとする。この手法では、エッジ点数から検出し
ているため、道路面に模様があると車両が存在しなくて
もエッジ点数が増大することから誤検出する可能性があ
る。
【００１０】第２の方式としては、特許第３０７５０６
４号公報において、まず車両を検出し、検出した車両が
走行レーン領域に十分に重なったら割り込み車両である
と判断する手法が提案されている。この手法では、正確
な車両検出が必要となるが、精度の良い車両検出自体困
難である。
４号公報において、まず車両を検出し、検出した車両が
走行レーン領域に十分に重なったら割り込み車両である
と判断する手法が提案されている。この手法では、正確
な車両検出が必要となるが、精度の良い車両検出自体困
難である。
【００１１】
【発明が解決しようとする課題】前述のように、単一の
ＴＶカメラを用いる第２の方式においては、割り込み車
両の検出のために車両の正確な検出が必要である。
ＴＶカメラを用いる第２の方式においては、割り込み車
両の検出のために車両の正確な検出が必要である。
【００１２】しかし、この車両の正確な検出は、非常に
困難である。
困難である。
【００１３】そこで本発明では、以上のような点を考慮
して、車両を正確に検出するのでなく、自車両の走行し
ているレーン、または、自車両の走行が予測される領域
に割り込んでくる他車両の走行軌跡を、車両候補領域を
追跡することにより求め、その走行軌跡から割り込み車
両を検出する画像処理装置及びその方法を提供すること
を目的とする。
して、車両を正確に検出するのでなく、自車両の走行し
ているレーン、または、自車両の走行が予測される領域
に割り込んでくる他車両の走行軌跡を、車両候補領域を
追跡することにより求め、その走行軌跡から割り込み車
両を検出する画像処理装置及びその方法を提供すること
を目的とする。
【００１４】
【課題を解決するための手段】請求項１の発明は、自車
両に搭載された画像入力装置により例えば、単眼で撮影
されて取得される時系列画像を取り込む画像取得手段
と、前記自車両の走行する範囲であって、かつ、他車両
が割り込んでくると前記自車両が危険である範囲を危険
領域として、前記時系列画像に対して前記危険領域の範
囲の基準境界線を設定する基準境界線設定手段と、他車
両と推定される全部、または、一部の領域である車両候
補領域を、前記基準境界線を境界にして前記危険領域の
外側の領域である車両追跡開始領域に設定する候補領域
設定手段と、前記車両候補領域の走行軌跡を前記時系列
画像に基づいて推定する走行軌跡推定手段と、前記推定
した車両候補領域の走行軌跡が前記基準境界線に対して
所定の割り込み条件を持つとき、前記車両候補領域を割
り込み車両として判定する割り込み車両判定手段と、を
具備することを特徴とする割り込み車両検出装置であ
る。
両に搭載された画像入力装置により例えば、単眼で撮影
されて取得される時系列画像を取り込む画像取得手段
と、前記自車両の走行する範囲であって、かつ、他車両
が割り込んでくると前記自車両が危険である範囲を危険
領域として、前記時系列画像に対して前記危険領域の範
囲の基準境界線を設定する基準境界線設定手段と、他車
両と推定される全部、または、一部の領域である車両候
補領域を、前記基準境界線を境界にして前記危険領域の
外側の領域である車両追跡開始領域に設定する候補領域
設定手段と、前記車両候補領域の走行軌跡を前記時系列
画像に基づいて推定する走行軌跡推定手段と、前記推定
した車両候補領域の走行軌跡が前記基準境界線に対して
所定の割り込み条件を持つとき、前記車両候補領域を割
り込み車両として判定する割り込み車両判定手段と、を
具備することを特徴とする割り込み車両検出装置であ
る。
【００１５】請求項２の発明は、前記割り込み車両判定
手段は、前記車両候補領域の走行軌跡と前記基準境界線
が交わるという割り込み条件、または、前記車両候補領
域の走行軌跡の延長線が前記基準境界線と所定の角度範
囲を持って交わるという割り込み条件の少なくともどち
らか一方の割り込み条件が具備されたときに、前記車両
候補領域を割り込み車両と判定することを特徴とする請
求項１記載の割り込み車両検出装置である。
手段は、前記車両候補領域の走行軌跡と前記基準境界線
が交わるという割り込み条件、または、前記車両候補領
域の走行軌跡の延長線が前記基準境界線と所定の角度範
囲を持って交わるという割り込み条件の少なくともどち
らか一方の割り込み条件が具備されたときに、前記車両
候補領域を割り込み車両と判定することを特徴とする請
求項１記載の割り込み車両検出装置である。
【００１６】請求項３の発明は、前記候補領域設定手段
は、前記車両追跡開始領域にエッジ検出フィルタを配置
することにより特定方向のエッジ強度分布を求め、その
求めたエッジ強度分布のピーク位置を前記特定方向のエ
ッジ位置とするものであり、かつ、前記エッジ検出フィ
ルタを前記車両追跡開始領域に配置するときに、画像上
の無限遠点である消失点からの距離が大きい程に前記エ
ッジ検出フィルタの適用領域を大きくするエッジ検出手
段と、前記エッジ位置に前記車両候補領域を設定すると
共に、その車両候補領域の大きさを前記消失点からの距
離や前記基準境界線間の距離に応じた大きさに設定する
車両候補領域設定手段と、を具備することを特徴とする
請求項１または２記載の割り込み車両検出装置である。
は、前記車両追跡開始領域にエッジ検出フィルタを配置
することにより特定方向のエッジ強度分布を求め、その
求めたエッジ強度分布のピーク位置を前記特定方向のエ
ッジ位置とするものであり、かつ、前記エッジ検出フィ
ルタを前記車両追跡開始領域に配置するときに、画像上
の無限遠点である消失点からの距離が大きい程に前記エ
ッジ検出フィルタの適用領域を大きくするエッジ検出手
段と、前記エッジ位置に前記車両候補領域を設定すると
共に、その車両候補領域の大きさを前記消失点からの距
離や前記基準境界線間の距離に応じた大きさに設定する
車両候補領域設定手段と、を具備することを特徴とする
請求項１または２記載の割り込み車両検出装置である。
【００１７】請求項４の発明は、前記走行軌跡追跡手段
は、前記基準境界線に対して所定の割り込み特有の運動
方向を持つ車両候補領域に限定して走行軌跡を推定する
ことを特徴とする請求項１から３のうちいずれか一項に
記載の割り込み車両検出装置である。
は、前記基準境界線に対して所定の割り込み特有の運動
方向を持つ車両候補領域に限定して走行軌跡を推定する
ことを特徴とする請求項１から３のうちいずれか一項に
記載の割り込み車両検出装置である。
【００１８】請求項５の発明は、自車両に搭載された画
像入力装置により例えば、単眼で撮影されて取得される
時系列画像を取り込む画像取得ステップと、前記自車両
の走行する範囲であって、かつ、他車両が割り込んでく
ると前記自車両が危険である範囲を危険領域として、前
記時系列画像に対して前記危険領域の範囲の基準境界線
を設定する基準境界線設定ステップと、他車両と推定さ
れる全部、または、一部の領域である車両候補領域を、
前記基準境界線を境界にして前記危険領域の外側の領域
である車両追跡開始領域に設定する候補領域設定ステッ
プと、前記車両候補領域の走行軌跡を前記時系列画像に
基づいて推定する走行軌跡推定ステップと、前記推定し
た車両候補領域の走行軌跡が前記基準境界線に対して所
定の割り込み条件を持つとき、前記車両候補領域を割り
込み車両として判定する割り込み車両判定ステップと、
を具備することを特徴とする割り込み車両検出方法であ
る。
像入力装置により例えば、単眼で撮影されて取得される
時系列画像を取り込む画像取得ステップと、前記自車両
の走行する範囲であって、かつ、他車両が割り込んでく
ると前記自車両が危険である範囲を危険領域として、前
記時系列画像に対して前記危険領域の範囲の基準境界線
を設定する基準境界線設定ステップと、他車両と推定さ
れる全部、または、一部の領域である車両候補領域を、
前記基準境界線を境界にして前記危険領域の外側の領域
である車両追跡開始領域に設定する候補領域設定ステッ
プと、前記車両候補領域の走行軌跡を前記時系列画像に
基づいて推定する走行軌跡推定ステップと、前記推定し
た車両候補領域の走行軌跡が前記基準境界線に対して所
定の割り込み条件を持つとき、前記車両候補領域を割り
込み車両として判定する割り込み車両判定ステップと、
を具備することを特徴とする割り込み車両検出方法であ
る。
【００１９】請求項６の発明は、自車両に搭載された画
像入力装置により例えば、単眼で撮影されて取得される
時系列画像を取り込む画像取得機能と、前記自車両の走
行する範囲であって、かつ、他車両が割り込んでくると
前記自車両が危険である範囲を危険領域として、前記時
系列画像に対して前記危険領域の範囲の基準境界線を設
定する基準境界線設定機能と、他車両と推定される全
部、または、一部の領域である車両候補領域を、前記基
準境界線を境界にして前記危険領域の外側の領域である
車両追跡開始領域に設定する候補領域設定機能と、前記
車両候補領域の走行軌跡を前記時系列画像に基づいて推
定する走行軌跡推定機能と、前記推定した車両候補領域
の走行軌跡が前記基準境界線に対して所定の割り込み条
件を持つとき、前記車両候補領域を割り込み車両として
判定する割り込み車両判定機能と、をコンピュータによ
って実現することを特徴とする割り込み車両検出方法の
プログラムである。
像入力装置により例えば、単眼で撮影されて取得される
時系列画像を取り込む画像取得機能と、前記自車両の走
行する範囲であって、かつ、他車両が割り込んでくると
前記自車両が危険である範囲を危険領域として、前記時
系列画像に対して前記危険領域の範囲の基準境界線を設
定する基準境界線設定機能と、他車両と推定される全
部、または、一部の領域である車両候補領域を、前記基
準境界線を境界にして前記危険領域の外側の領域である
車両追跡開始領域に設定する候補領域設定機能と、前記
車両候補領域の走行軌跡を前記時系列画像に基づいて推
定する走行軌跡推定機能と、前記推定した車両候補領域
の走行軌跡が前記基準境界線に対して所定の割り込み条
件を持つとき、前記車両候補領域を割り込み車両として
判定する割り込み車両判定機能と、をコンピュータによ
って実現することを特徴とする割り込み車両検出方法の
プログラムである。
【００２０】本発明は、車両に搭載された画像入力装置
により例えば、単眼で取得される時系列画像から、車両
領域候補を設定して、その車両領域候補を追跡すること
により車両の移動軌跡を計算して、割り込み車両である
かどうかを判定する。
により例えば、単眼で取得される時系列画像から、車両
領域候補を設定して、その車両領域候補を追跡すること
により車両の移動軌跡を計算して、割り込み車両である
かどうかを判定する。
【００２１】追跡するときに割り込み車両特有の割り込
み条件を用いることにより、安定な追跡を実現すること
ができて、処理時間を小さくすることができる。
み条件を用いることにより、安定な追跡を実現すること
ができて、処理時間を小さくすることができる。
【００２２】また、車両を認識することなく、割り込み
車両特有の特徴を用いて追跡することによって、割り込
み車両を検出することができる。
車両特有の特徴を用いて追跡することによって、割り込
み車両を検出することができる。
【００２３】
【発明の実施の形態】本実施形態では、他車両が、自車
両の走行している領域、または自車両の走行が予測され
る領域に進入する動きを持っていることに着目する。す
なわち、割り込んでくる車両が、自車両の走行している
領域、自車両の停止している領域、または、自車両の走
行が予定される領域の境界線に対して、画像上における
車両の走行軌跡が交わっている状態であることや、交わ
るような動きを持っている場合、割り込み車両の存在及
び画像上の位置を検出する。画像上における車両の走行
軌跡は、車両候補領域を追跡することにより計算され
る。
両の走行している領域、または自車両の走行が予測され
る領域に進入する動きを持っていることに着目する。す
なわち、割り込んでくる車両が、自車両の走行している
領域、自車両の停止している領域、または、自車両の走
行が予定される領域の境界線に対して、画像上における
車両の走行軌跡が交わっている状態であることや、交わ
るような動きを持っている場合、割り込み車両の存在及
び画像上の位置を検出する。画像上における車両の走行
軌跡は、車両候補領域を追跡することにより計算され
る。
【００２４】
【実施例】以下、図１から図１５を参照して本発明の実
施形態を具体的に実現する一実施例を説明する。
施形態を具体的に実現する一実施例を説明する。
【００２５】図１に本実施例の割り込み車両検出装置の
基本的な構成例を示す。
基本的な構成例を示す。
【００２６】図１に示すように、割り込み車両検出装置
は、画像入力部１、処理領域設定部２、候補領域設定部
３、走行軌跡推定部４、割り込み判定部５とより構成さ
れ、これら各部１〜５の機能は、コンピュータに記憶さ
れたプログラムによって実現される。
は、画像入力部１、処理領域設定部２、候補領域設定部
３、走行軌跡推定部４、割り込み判定部５とより構成さ
れ、これら各部１〜５の機能は、コンピュータに記憶さ
れたプログラムによって実現される。
【００２７】自車両に取り付けられた車両周辺の画像を
取得可能な装置（例えば、１台のＴＶカメラ）である画
像入力部１によって、単眼で撮影された時系列画像を取
得する。
取得可能な装置（例えば、１台のＴＶカメラ）である画
像入力部１によって、単眼で撮影された時系列画像を取
得する。
【００２８】この単眼で撮影された時系列画像から、他
車両が割り込みであるかどうか判定するために、自車両
の走行に危険である領域（以下、危険領域という）を画
像内に処理領域設定部２により領域を設定する。
車両が割り込みであるかどうか判定するために、自車両
の走行に危険である領域（以下、危険領域という）を画
像内に処理領域設定部２により領域を設定する。
【００２９】また、割り込み車両の候補を検出するため
に追跡開始領域を画像内に領域を設定する。
に追跡開始領域を画像内に領域を設定する。
【００３０】なお、「割り込み車両」とは、自車両が走
行している領域、前記自車両が停止している領域、また
は、前記自車両の走行が予測される領域に侵入してくる
車両をいう。
行している領域、前記自車両が停止している領域、また
は、前記自車両の走行が予測される領域に侵入してくる
車両をいう。
【００３１】（ａ）処理領域設定部２
図２に示すように、処理領域設定部２は、走行レーン検
出部２１、基準境界線設定部２２からなる。
出部２１、基準境界線設定部２２からなる。
【００３２】（ａ−１）走行レーン検出部２１
割り込み車両が走行レーンの境界線と交わるときを割り
込みであると判断するため、自車両が現在、走行してい
るレーンを検出する。すなわち、自車両は道路を走行し
ているので、白線検出の結果を用いて、白線を走行レー
ンの境界線とする。なお、自車両は停止してもよい。
込みであると判断するため、自車両が現在、走行してい
るレーンを検出する。すなわち、自車両は道路を走行し
ているので、白線検出の結果を用いて、白線を走行レー
ンの境界線とする。なお、自車両は停止してもよい。
【００３３】また、検出された２本の白線の交点を消失
点とする。
点とする。
【００３４】この「消失点」とは、画像上における無限
遠点のことである。白線検出としては、特開平７−８９
３６７による方法など様々な手法が提案されていて、ど
のような手法を用いても良い。
遠点のことである。白線検出としては、特開平７−８９
３６７による方法など様々な手法が提案されていて、ど
のような手法を用いても良い。
【００３５】（ａ−２）基準境界線設定部２２
割り込み車両は、自車両前方の近い距離において走行レ
ーンの外側から進入してくるものである。
ーンの外側から進入してくるものである。
【００３６】そこで、図６に示すように、自車両からあ
る距離までの走行レーンに挟まれた領域を、危険領域と
設定する。
る距離までの走行レーンに挟まれた領域を、危険領域と
設定する。
【００３７】また、危険領域の外側の領域を「車両追跡
開始領域」として設定する。
開始領域」として設定する。
【００３８】さらに、危険領域の左右の境界線を「基準
境界線」として設定する。
境界線」として設定する。
【００３９】このときの車両追跡開始領域の幅は、消失
点に近づくにつれて幅が小さくなるように設定される。
点に近づくにつれて幅が小さくなるように設定される。
【００４０】（ｂ）候補領域設定部３
図３に示すように、候補領域設定部３は、エッジ検出部
３１、車両候補領域設定部３２からなる。
３１、車両候補領域設定部３２からなる。
【００４１】ところで、車両は、垂直・水平の線分が多
い。したがって、垂直・水平方向を持つエッジが多い領
域が車両領域である可能性が高い。そこで、垂直方向ま
たは、水平方向のエッジに注目して、エッジ検出し、そ
の密度が高い領域を「車両候補領域」として設定する。
い。したがって、垂直・水平方向を持つエッジが多い領
域が車両領域である可能性が高い。そこで、垂直方向ま
たは、水平方向のエッジに注目して、エッジ検出し、そ
の密度が高い領域を「車両候補領域」として設定する。
【００４２】（ｂ−１）エッジ検出部３１
車両候補領域を設定するために水平・垂直エッジ成分が
必要となるので、エッジ検出部３１によりエッジ検出を
行う。
必要となるので、エッジ検出部３１によりエッジ検出を
行う。
【００４３】車両が走行している環境では、雨、影、照
明変動など環境変化が激しいことがあるので、従来のＳ
ｏｂｅｌフィルタのような画像の局所情報を用いたエッ
ジ検出ではノイズの影響を受けやすく、望ましい結果が
得られないことが多い。
明変動など環境変化が激しいことがあるので、従来のＳ
ｏｂｅｌフィルタのような画像の局所情報を用いたエッ
ジ検出ではノイズの影響を受けやすく、望ましい結果が
得られないことが多い。
【００４４】そこで、“Ｅｄｇｅ Ｅｘｔｒａｃｔｉｏ
ｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ｓｅｐａｒａｂ
ｉｌｉｔｙ ｏｆ ＩｍａｇｅＦｅａｔｕｒｅｓ，ＩＥ
ＩＣＥ ＴＲＡＮＳ．ＩＮＦ．＆ ＳＹＳＴ．，ＶＯ
Ｌ．Ｅ７８−Ｄ，ＮＯ．１２ＤＥＣＥＭＢＥＲ １９９
５”において提案されている、分離度フィルタを用いた
エッジ検出を用いる。
ｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ｓｅｐａｒａｂ
ｉｌｉｔｙ ｏｆ ＩｍａｇｅＦｅａｔｕｒｅｓ，ＩＥ
ＩＣＥ ＴＲＡＮＳ．ＩＮＦ．＆ ＳＹＳＴ．，ＶＯ
Ｌ．Ｅ７８−Ｄ，ＮＯ．１２ＤＥＣＥＭＢＥＲ １９９
５”において提案されている、分離度フィルタを用いた
エッジ検出を用いる。
【００４５】このエッジ検出手法は、ノイズの影響を受
けにくく特徴点の輝度差に依存しないで求まる。図７に
おいて、分離度ηとは、判別分析により領域１と２にお
ける内部情報（例えば輝度）の差を表す量で、この分離
度を用いたエッジ検出とは、以下のような式を用いて処
理する。
けにくく特徴点の輝度差に依存しないで求まる。図７に
おいて、分離度ηとは、判別分析により領域１と２にお
ける内部情報（例えば輝度）の差を表す量で、この分離
度を用いたエッジ検出とは、以下のような式を用いて処
理する。
【００４６】
【数１】
【数２】
【数３】
ここで、但し、η１ は領域１内の画像数、η２ は領
域２内の画像数、σＴ は領域全体の分散値、Ｐ１ は
領域１の平均輝度値、Ｐ２ は領域２の平均輝度値、Ｐ
ｍ は領域全体の平均輝度値、Ｐｉ は画像における位
置ｉの輝度値。分離度ηは０から１の範囲の値を取る。
域２内の画像数、σＴ は領域全体の分散値、Ｐ１ は
領域１の平均輝度値、Ｐ２ は領域２の平均輝度値、Ｐ
ｍ は領域全体の平均輝度値、Ｐｉ は画像における位
置ｉの輝度値。分離度ηは０から１の範囲の値を取る。
【００４７】この分離度ηを領域１と２の境界線のエッ
ジ強度とする。また、領域１と２を合わせて、分離度フ
ィルタの適用領域とする。
ジ強度とする。また、領域１と２を合わせて、分離度フ
ィルタの適用領域とする。
【００４８】なお、エッジ検出に関しては、様々な手法
が提案されており、分離度フィルタによるエッジ検出手
法に限定されず、任意のエッジ検出手法を用いることが
できる。
が提案されており、分離度フィルタによるエッジ検出手
法に限定されず、任意のエッジ検出手法を用いることが
できる。
【００４９】処理領域設定部２で設定した車両追跡開始
領域に対して、図８（ａ）に示すように分離度フィルタ
を配置して分離度を求め、そのフィルタにおける中央の
位置を求めるエッジ強度とした。
領域に対して、図８（ａ）に示すように分離度フィルタ
を配置して分離度を求め、そのフィルタにおける中央の
位置を求めるエッジ強度とした。
【００５０】分離度フィルタの大きさは、幅に関して
は、消失点に近づくにつれて幅が小さくなるように設定
される。
は、消失点に近づくにつれて幅が小さくなるように設定
される。
【００５１】水平エッジの場合は、図９のような型の分
離度フィルタを消失点に向かって密に配置して、水平エ
ッジを求める。さらに、消失点に向かってエッジ強度の
ピーク検出を行い、ピーク位置をエッジの位置とした。
例えば、図８（ｂ）のような、横軸が水平エッジ強度、
縦軸が位置を表すグラフがある場合、位置方向にある閾
値以上のピーク値をもつ場所を検出して、その位置を水
平エッジが存在する位置とする。
離度フィルタを消失点に向かって密に配置して、水平エ
ッジを求める。さらに、消失点に向かってエッジ強度の
ピーク検出を行い、ピーク位置をエッジの位置とした。
例えば、図８（ｂ）のような、横軸が水平エッジ強度、
縦軸が位置を表すグラフがある場合、位置方向にある閾
値以上のピーク値をもつ場所を検出して、その位置を水
平エッジが存在する位置とする。
【００５２】垂直エッジの場合は、図１０のような型の
分離度フィルタを用いて、水平エッジの場合と同様に行
う。
分離度フィルタを用いて、水平エッジの場合と同様に行
う。
【００５３】（ｂ−２）車両候補領域設定部３２
車両は、縦方向、横方向の線分を多く含むので、エッジ
検出部３１で検出されたエッジ位置周辺に車両候補領域
を設定する。
検出部３１で検出されたエッジ位置周辺に車両候補領域
を設定する。
【００５４】図１１に示すように、車両追跡開始領域内
において、太線の位置にエッジが検出されたとする。す
なわち、水平エッジの場合は、エッジ位置より画像上で
上の領域に、垂直エッジの場合は、エッジ位置を横方向
の中心とした領域を、車両候補領域と設定する。
において、太線の位置にエッジが検出されたとする。す
なわち、水平エッジの場合は、エッジ位置より画像上で
上の領域に、垂直エッジの場合は、エッジ位置を横方向
の中心とした領域を、車両候補領域と設定する。
【００５５】このときの車両候補領域は、一台の車両に
一個とは限らず、複数個設定することが可能である。
一個とは限らず、複数個設定することが可能である。
【００５６】ここで、車両候補領域の大きさは、幅に関
しては、消失点に近づくにつれて幅が小さくなるように
設定される。
しては、消失点に近づくにつれて幅が小さくなるように
設定される。
【００５７】（ｃ）走行軌跡推定部４
図４に示すように、走行軌跡推定部４は、候補領域追跡
部４１、走行軌跡計算部４２からなる。
部４１、走行軌跡計算部４２からなる。
【００５８】（ｃ−１）候補領域追跡部４１
図５に示すように、候補領域追跡部４１は、マッチング
部４１１、割り込み運動追跡部４１２よりなる。
部４１１、割り込み運動追跡部４１２よりなる。
【００５９】（ｃ−１−１）マッチング部４１１
マッチング部４１１で、フレーム間の画像で車両候補領
域に対してテンプレートマッチングを行う。テンプレー
トマッチングは、２つの画像が与えられるとき、両者を
重ね合わせてその違いを見れば、両者が同じものか否か
を判断することができるというような考えに基づく処理
である。
域に対してテンプレートマッチングを行う。テンプレー
トマッチングは、２つの画像が与えられるとき、両者を
重ね合わせてその違いを見れば、両者が同じものか否か
を判断することができるというような考えに基づく処理
である。
【００６０】このとき、２つの画像間における違いを様
々な尺度で表すことができる。よく使われる尺度として
は、輝度値の残差絶対値和（ＳＡＤ）や画像間の正規化
相関係数（ＣＣ）や“Ｏｂｊｅｃｔ Ｓｅａｒｃｈ Ｕ
ｓｉｎｇ Ｏｒｉｅｎｔａｔｉｏｎ Ｃｏｄｅ Ｍａｔ
ｃｈｉｎｇ，ＩＡＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａ
ｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎ
（ＭＶＡ２０００），ＮＯＶ．２８−３０，２０００”
で提案されている方向符号法（ＯＣＭ）などがある。
々な尺度で表すことができる。よく使われる尺度として
は、輝度値の残差絶対値和（ＳＡＤ）や画像間の正規化
相関係数（ＣＣ）や“Ｏｂｊｅｃｔ Ｓｅａｒｃｈ Ｕ
ｓｉｎｇ Ｏｒｉｅｎｔａｔｉｏｎ Ｃｏｄｅ Ｍａｔ
ｃｈｉｎｇ，ＩＡＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａ
ｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎ
（ＭＶＡ２０００），ＮＯＶ．２８−３０，２０００”
で提案されている方向符号法（ＯＣＭ）などがある。
【００６１】なお、マッチングの手法として、この手法
に限定されるわけではなく、装置や必要とされる精度に
応じて、どのようなマッチング手法を用いてもよい。
に限定されるわけではなく、装置や必要とされる精度に
応じて、どのようなマッチング手法を用いてもよい。
【００６２】このマッチング部４１１により、車両候補
領域がどこに動いたかが、画像上の座標値で出力され
る。
領域がどこに動いたかが、画像上の座標値で出力され
る。
【００６３】（ｃ−１−２）割り込み運動検出部４１２
割り込み運動検出部４１２では、割り込み運動を持って
いる車両候補領域のみを追跡して、それ以外の場合、つ
まり下記の（ｉ）マッチングが失敗している場合、（ｉ
ｉ）、（ｉｉｉ）所定の割り込み特有の方向を持ってい
ない場合は、追跡を止めて車両候補領域を破棄する。こ
のように、不要な車両候補領域を破棄するのは、追跡す
る車両候補領域の数を減らして、計算の負担を軽くする
ためである。
いる車両候補領域のみを追跡して、それ以外の場合、つ
まり下記の（ｉ）マッチングが失敗している場合、（ｉ
ｉ）、（ｉｉｉ）所定の割り込み特有の方向を持ってい
ない場合は、追跡を止めて車両候補領域を破棄する。こ
のように、不要な車両候補領域を破棄するのは、追跡す
る車両候補領域の数を減らして、計算の負担を軽くする
ためである。
【００６４】まず、他車両が右側から割り込んでくるこ
とを想定する。
とを想定する。
【００６５】（ｉ）マッチングが失敗している場合
マッチング部４１１における車両候補領域の対応付け
は、必ずしも正しいとは限らない。そこで、マッチング
部４１１の処理から求まる、車両候補領域内における残
差絶対値和の値を用いて、マッチングの信頼性を評価す
る。
は、必ずしも正しいとは限らない。そこで、マッチング
部４１１の処理から求まる、車両候補領域内における残
差絶対値和の値を用いて、マッチングの信頼性を評価す
る。
【００６６】つまり、残差絶対値和の値がある値より小
さいときは、そのマッチングは成功している、大きいと
きは、マッチングが失敗しているとする。
さいときは、そのマッチングは成功している、大きいと
きは、マッチングが失敗しているとする。
【００６７】マッチングが失敗している場合は、追跡を
打ち切り、車両候補領域を破棄する。
打ち切り、車両候補領域を破棄する。
【００６８】（ｉｉ）短いフレーム間において、所定の
割り込み特有の方向を持っていない場合 マッチング部４１１における車両候補領域の対応付けが
成功しているとき、画像上の車両候補領域の運動方向を
求める。
割り込み特有の方向を持っていない場合 マッチング部４１１における車両候補領域の対応付けが
成功しているとき、画像上の車両候補領域の運動方向を
求める。
【００６９】図１２に示すように、画像の垂直の上方向
を０度とすると、短いフレーム間（例えば、１フレーム
間）の車両候補領域の運動方向θが、次の式を満たすと
き、割り込み特有の方向を持っているとし、追跡が成功
しているとする。それ以外のときは、追跡が失敗してい
るとする。
を０度とすると、短いフレーム間（例えば、１フレーム
間）の車両候補領域の運動方向θが、次の式を満たすと
き、割り込み特有の方向を持っているとし、追跡が成功
しているとする。それ以外のときは、追跡が失敗してい
るとする。
【００７０】θ１＝＜θ＝＜θ２
但し、θ１ は画像における垂直の上方向の角度であ
り、θ２ は基準境界線と平行をなす角度である。
り、θ２ は基準境界線と平行をなす角度である。
【００７１】追跡が失敗しているときは、追跡を打ち切
り、車両候補領域を破棄する。追跡方向を限定すること
によって、より安定した追跡結果を得ることができる。
り、車両候補領域を破棄する。追跡方向を限定すること
によって、より安定した追跡結果を得ることができる。
【００７２】このような処理を毎フレームごとに行え
ば、車両候補領域の移動履歴がわかる。
ば、車両候補領域の移動履歴がわかる。
【００７３】（ｉｉｉ）長いフレーム間において所定の
割り込み特有の方向を持っていない場合 短いフレーム間だけではなく、長いフレーム間において
も追跡方向を限定する。
割り込み特有の方向を持っていない場合 短いフレーム間だけではなく、長いフレーム間において
も追跡方向を限定する。
【００７４】車両候補領域の移動距離が短いと、ピクセ
ル量子化のために、追跡方向の分解能は小さいが、長い
フレーム間追跡して移動距離が長くなると分解能が大き
くなる。そこで、ある車両候補領域に対して、ある長さ
のフレーム間の情報が蓄えられると、追跡を開始した点
の座標と現在の位置座標から追跡方向ベクトルを計算し
て、図１３に示すように、画像の垂直の上方向を０度と
すると、追跡方向ベクトルの角度θが、下記の式を満た
すとき、割り込み特有の方向を持っているとし、追跡が
成功しているとする。それ以外のときは、追跡が失敗し
ているとする。そして、追跡が失敗しているときは、追
跡を打ち切り、車両候補領域を破棄する。長いフレーム
間の追跡方向を限定することによって、より安定した追
跡結果を得ることができる。
ル量子化のために、追跡方向の分解能は小さいが、長い
フレーム間追跡して移動距離が長くなると分解能が大き
くなる。そこで、ある車両候補領域に対して、ある長さ
のフレーム間の情報が蓄えられると、追跡を開始した点
の座標と現在の位置座標から追跡方向ベクトルを計算し
て、図１３に示すように、画像の垂直の上方向を０度と
すると、追跡方向ベクトルの角度θが、下記の式を満た
すとき、割り込み特有の方向を持っているとし、追跡が
成功しているとする。それ以外のときは、追跡が失敗し
ているとする。そして、追跡が失敗しているときは、追
跡を打ち切り、車両候補領域を破棄する。長いフレーム
間の追跡方向を限定することによって、より安定した追
跡結果を得ることができる。
【００７５】θ１＝＜θ＝＜θ２
但し、画像における垂直の上方向の角度を０度とする
と、θ１ は基準境界線と平行をなす角度であり、消失
点方向に向かっている方である。θ２ は、基準境界線
と平行をなす角度であり、θ１ とは逆側である。この
角度の範囲は、追跡方向ベクトルの正確さにより変化
し、正確である場合は、さらに角度範囲を限定しても良
い。また、他車両が左側から割り込んでくる場合も同様
に処理する。
と、θ１ は基準境界線と平行をなす角度であり、消失
点方向に向かっている方である。θ２ は、基準境界線
と平行をなす角度であり、θ１ とは逆側である。この
角度の範囲は、追跡方向ベクトルの正確さにより変化
し、正確である場合は、さらに角度範囲を限定しても良
い。また、他車両が左側から割り込んでくる場合も同様
に処理する。
【００７６】このように処理することにより、長いフレ
ーム間において所定の割り込み車両特有の運動方向を持
つ追跡方向ベクトルが、安定して求まる。また、毎フレ
ームごとに候補領域設定部３から出力される車両候補領
域は、増加していくが、追跡が失敗している車両候補領
域を破棄することにより増加が抑えられることになり、
処理量を小さくすることができる。
ーム間において所定の割り込み車両特有の運動方向を持
つ追跡方向ベクトルが、安定して求まる。また、毎フレ
ームごとに候補領域設定部３から出力される車両候補領
域は、増加していくが、追跡が失敗している車両候補領
域を破棄することにより増加が抑えられることになり、
処理量を小さくすることができる。
【００７７】（ｃ−２）走行軌跡計算部４２
走行軌跡計算部４２は、割り込み運動検出部４１２によ
り求まる車両候補領域の追跡方向ベクトルの履歴から走
行軌跡を計算する。
り求まる車両候補領域の追跡方向ベクトルの履歴から走
行軌跡を計算する。
【００７８】具体的には、図１４に示すように、１フレ
ーム目の画像上の追跡を開始した位置座標と、Ｎフレー
ム目の画像上の車両候補領域の位置座標の２点から走行
軌跡を計算する。
ーム目の画像上の追跡を開始した位置座標と、Ｎフレー
ム目の画像上の車両候補領域の位置座標の２点から走行
軌跡を計算する。
【００７９】また、フレーム間全ての履歴から多くの点
を用いて、最小２乗法などにより走行軌跡を計算しても
良い。
を用いて、最小２乗法などにより走行軌跡を計算しても
良い。
【００８０】（ｄ）割り込み判定部５
上記したように、走行軌跡計算部４２で走行軌跡が計算
された車両候補領域は、割り込み車両の確率が高いもの
が残っている。そのため、割り込み判定部５では、走行
軌跡計算部４２で計算された車両候補領域の走行軌跡と
基準境界線設定部２２で設定された基準境界線を用い
て、割り込みであるかどうかをさらに確実に判定する。
判定条件として２種類を用いる。
された車両候補領域は、割り込み車両の確率が高いもの
が残っている。そのため、割り込み判定部５では、走行
軌跡計算部４２で計算された車両候補領域の走行軌跡と
基準境界線設定部２２で設定された基準境界線を用い
て、割り込みであるかどうかをさらに確実に判定する。
判定条件として２種類を用いる。
【００８１】（ｉ） 入力された時系列画像上において
車両の走行軌跡が基準境界線に交わっている場合 （ｉｉ） 入力された時系列画像上において車両の走行
軌跡の延長線が基準境界線に対して、所定の角度範囲を
持って交わる場合 のどちらか一方の条件を用いて割り込み車両を検出でき
る。
車両の走行軌跡が基準境界線に交わっている場合 （ｉｉ） 入力された時系列画像上において車両の走行
軌跡の延長線が基準境界線に対して、所定の角度範囲を
持って交わる場合 のどちらか一方の条件を用いて割り込み車両を検出でき
る。
【００８２】まず、他車両が右側から割り込んでくるこ
とを想定する。
とを想定する。
【００８３】（ｉｉ）の所定の角度範囲とは、図１５に
示すように、基準境界線と走行軌跡の延長線のなす角度
θが、割り込みであると判定する角度θＣ と次式の条
件を満たしていることである。
示すように、基準境界線と走行軌跡の延長線のなす角度
θが、割り込みであると判定する角度θＣ と次式の条
件を満たしていることである。
【００８４】θ＞＝θｃ
このθＣ は、カメラの設置位置などにより変化するの
で、適宜に決定する必要がある。
で、適宜に決定する必要がある。
【００８５】また、他車両が左側から割り込んでくる場
合も同様に処理する。
合も同様に処理する。
【００８６】（１）の場合は、交わっている状態である
から、車両が基準領域に対して進入を開始するときから
割り込みであると判定される。
から、車両が基準領域に対して進入を開始するときから
割り込みであると判定される。
【００８７】（ｉｉ）の場合は、自車両の危険領域に侵
入する前の、早い段階で判定することができる。
入する前の、早い段階で判定することができる。
【００８８】また、割り込みであると判定する角度は、
カメラの設置位置などにより変化するので、適宜に決定
する必要がある。この２つの判定条件のどちらかを満た
していれば割り込み車両と判定する。また、画像上にお
ける割り込み車両の位置は、他車両の走行軌跡または延
長線と基準境界線との交点である。
カメラの設置位置などにより変化するので、適宜に決定
する必要がある。この２つの判定条件のどちらかを満た
していれば割り込み車両と判定する。また、画像上にお
ける割り込み車両の位置は、他車両の走行軌跡または延
長線と基準境界線との交点である。
【００８９】＜変更例１＞本発明は、前記実施例で記載
した内容に限定されるものではない。
した内容に限定されるものではない。
【００９０】例えば、走行レーン検出部２１において、
自車が走行しているレーンの境界線を検出する手法以外
の、他の手法を用いても良い。
自車が走行しているレーンの境界線を検出する手法以外
の、他の手法を用いても良い。
【００９１】例えば、自車両の速度、ハンドル舵角から
自車両の走行が予測される領域の境界線を求めて、それ
を走行レーンとみなして用い、同様の処理をしても良
い。
自車両の走行が予測される領域の境界線を求めて、それ
を走行レーンとみなして用い、同様の処理をしても良
い。
【００９２】＜変更例２＞割り込み判定部５において、
割り込みであるかどうか判定する条件は、入力された時
系列画像上における手法と限られず、他の手法を用いて
も良い。
割り込みであるかどうか判定する条件は、入力された時
系列画像上における手法と限られず、他の手法を用いて
も良い。
【００９３】例えば、画像を道路の真上から見た視点の
画像である逆投影画像に変換してから、（ｉ） 逆投影
画像上において車両の走行軌跡が逆投影画像上に設定し
た基準 境界線に交わっている場合 （ｉｉ） 逆投影画像上において車両の走行軌跡の延長
線が逆投影画像上に設定した基準境界線に対して、所定
の角度範囲を持って交わる場合 を判定条件としても良い。
画像である逆投影画像に変換してから、（ｉ） 逆投影
画像上において車両の走行軌跡が逆投影画像上に設定し
た基準 境界線に交わっている場合 （ｉｉ） 逆投影画像上において車両の走行軌跡の延長
線が逆投影画像上に設定した基準境界線に対して、所定
の角度範囲を持って交わる場合 を判定条件としても良い。
【００９４】このように、本発明は部分的な要素処理の
置き換えなどにより様々な拡張が可能である。
置き換えなどにより様々な拡張が可能である。
【００９５】
【発明の効果】本発明によれば、車両に搭載された画像
入力装置により取得される時系列画像から割り込み車両
を安定に検出することができ、画像情報に基づく機器制
御などの技術の実現に大きく貢献する。
入力装置により取得される時系列画像から割り込み車両
を安定に検出することができ、画像情報に基づく機器制
御などの技術の実現に大きく貢献する。
【図１】本発明の一実施形態の構成を示すブロック図で
ある。
ある。
【図２】図１の処理領域設定部の一実施形態を示すブロ
ック図である。
ック図である。
【図３】図１の候補領域設定部の一実施形態を示すブロ
ック図である。
ック図である。
【図４】図１の走行軌跡推定部の一実施形態を示すブロ
ック図である。
ック図である。
【図５】図４の候補領域追跡部の一実施形態を示すブロ
ック図である。
ック図である。
【図６】処理領域を設定する手法の説明図である。
【図７】分離度フィルタの説明図である。
【図８】分離度フィルタによるエッジ検出を行う手法の
説明図である。
説明図である。
【図９】エッジ検出におけるフィルタの説明図である。
【図１０】エッジ検出におけるフィルタの説明図であ
る。
る。
【図１１】候補領域を設定する手法の説明図である。
【図１２】追跡方向を限定する手法の説明図である。
【図１３】追跡方向を限定する手法の説明図である。
【図１４】走行軌跡を計算する手法の説明図である。
【図１５】割り込み判定条件の説明図である。
１ 画像入力部
２ 処理領域設定部
３ 候補領域設定部
４ 走行軌跡推定部
５ 割り込み判定部
２１ 走行レーン検出部
２２ 基準境界線設定部
３１ エッジ検出部
３２ 車両候補領域設定部
４１ 候補領域追跡部
４２ 走行軌跡計算部
４１１ マッチング部
４１２ 割り込み運動検出部
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5B057 AA16 AA19 BA02 BA24 DA07
DA15 DB02 DC16 DC19 DC36
5H180 AA01 CC04 CC24 LL01 LL02
LL04
5L096 BA02 BA04 CA04 CA24 DA03
FA06 FA69 HA04
Claims (6)
- 【請求項１】自車両に搭載された画像入力装置により撮
影されて取得される時系列画像を取り込む画像取得手段
と、 前記自車両の走行する範囲であって、かつ、他車両が割
り込んでくると前記自車両が危険である範囲を危険領域
として、前記時系列画像に対して前記危険領域の範囲の
基準境界線を設定する基準境界線設定手段と、 他車両と推定される全部、または、一部の領域である車
両候補領域を、前記基準境界線を境界にして前記危険領
域の外側の領域である車両追跡開始領域に設定する候補
領域設定手段と、 前記車両候補領域の走行軌跡を前記時系列画像に基づい
て推定する走行軌跡推定手段と、 前記推定した車両候補領域の走行軌跡が前記基準境界線
に対して所定の割り込み条件を持つとき、前記車両候補
領域を割り込み車両として判定する割り込み車両判定手
段と、 を具備することを特徴とする割り込み車両検出装置。 - 【請求項２】前記割り込み車両判定手段は、 前記車両候補領域の走行軌跡と前記基準境界線が交わる
という割り込み条件、または、前記車両候補領域の走行
軌跡の延長線が前記基準境界線と所定の角度範囲を持っ
て交わるという割り込み条件の少なくともどちらか一方
の割り込み条件が具備されたときに、前記車両候補領域
を割り込み車両と判定することを特徴とする請求項１記
載の割り込み車両検出装置。 - 【請求項３】前記候補領域設定手段は、 前記車両追跡開始領域にエッジ検出フィルタを配置する
ことにより特定方向のエッジ強度分布を求め、その求め
たエッジ強度分布のピーク位置を前記特定方向のエッジ
位置とするものであり、かつ、前記エッジ検出フィルタ
を前記車両追跡開始領域に配置するときに、画像上の無
限遠点である消失点からの距離が大きい程に前記エッジ
検出フィルタの適用領域を大きくするエッジ検出手段
と、 前記エッジ位置に前記車両候補領域を設定すると共に、
その車両候補領域の大きさを前記消失点からの距離や前
記基準境界線間の距離に応じた大きさに設定する車両候
補領域設定手段と、 を具備することを特徴とする請求項１または２記載の割
り込み車両検出装置。 - 【請求項４】前記走行軌跡追跡手段は、 前記基準境界線に対して所定の割り込み特有の運動方向
を持つ車両候補領域に限定して走行軌跡を推定すること
を特徴とする請求項１から３のうちいずれか一項に記載
の割り込み車両検出装置。 - 【請求項５】自車両が走行している領域、前記自車両が
停止している領域、または、前記自車両の走行が予測さ
れる領域に侵入してくる割り込み車両を検出する割り込
み車両検出方法において、 前記自車両に搭載された画像入力装置により単眼で撮影
されて取得される時系列画像を取り込む画像取得ステッ
プと、 前記自車両の走行する範囲であって、かつ、他車両が割
り込んでくると前記自車両が危険である範囲を危険領域
として、前記時系列画像上において前記危険領域の範囲
を示す基準境界線を設定する基準境界線設定ステップ
と、 他車両と推定される全部、または、一部の領域である車
両候補領域を、前記基準境界線を境界にして前記危険領
域の外側の領域である車両追跡開始領域に設定する候補
領域設定ステップと、 前記車両候補領域の走行軌跡を前記時系列画像に基づい
て推定する走行軌跡推定ステップと、 前記推定した車両候補領域の走行軌跡が前記基準境界線
に対して所定の割り込み条件を持つとき、前記車両候補
領域を割り込み車両として判定する割り込み車両判定ス
テップと、 を具備することを特徴とする割り込み車両検出方法。 - 【請求項６】自車両が走行している領域、前記自車両が
停止している領域、または、前記自車両の走行が予測さ
れる領域に侵入してくる割り込み車両を検出する割り込
み車両検出方法をコンピュータによって実現するプログ
ラムにおいて、 前記自車両に搭載された画像入力装置により単眼で撮影
されて取得される時系列画像を取り込む画像取得機能
と、 前記自車両の走行する範囲であって、かつ、他車両が割
り込んでくると前記自車両が危険である範囲を危険領域
として、前記時系列画像上において前記危険領域の範囲
を示す基準境界線を設定する基準境界線設定機能と、 他車両と推定される全部、または、一部の領域である車
両候補領域を、前記基準境界線を境界にして前記危険領
域の外側の領域である車両追跡開始領域に設定する候補
領域設定機能と、 前記車両候補領域の走行軌跡を前記時系列画像に基づい
て推定する走行軌跡推定機能と、 前記推定した車両候補領域の走行軌跡が前記基準境界線
に対して所定の割り込み条件を持つとき、前記車両候補
領域を割り込み車両として判定する割り込み車両判定機
能と、 を実現することを特徴とする割り込み車両検出方法のプ
ログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002084599A JP3656056B2 (ja) | 2002-03-25 | 2002-03-25 | 割り込み車両検出装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002084599A JP3656056B2 (ja) | 2002-03-25 | 2002-03-25 | 割り込み車両検出装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003281700A true JP2003281700A (ja) | 2003-10-03 |
| JP3656056B2 JP3656056B2 (ja) | 2005-06-02 |
Family
ID=29231859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002084599A Expired - Fee Related JP3656056B2 (ja) | 2002-03-25 | 2002-03-25 | 割り込み車両検出装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3656056B2 (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006018751A (ja) * | 2004-07-05 | 2006-01-19 | Nissan Motor Co Ltd | 車両用画像処理装置 |
| JP2006048338A (ja) * | 2004-08-04 | 2006-02-16 | Nissan Motor Co Ltd | 移動体検出装置 |
| JP2006072638A (ja) * | 2004-09-01 | 2006-03-16 | Nissan Motor Co Ltd | 移動物体検出装置 |
| JP2008117073A (ja) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | 割り込み車両検出装置 |
| US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
| US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
| CN104350510A (zh) * | 2012-06-14 | 2015-02-11 | 国际商业机器公司 | 多线索对象检测和分析 |
| JP2015046132A (ja) * | 2013-08-29 | 2015-03-12 | 株式会社デンソー | 衝突可能性判定装置およびプログラム |
| US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
| US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
| JP2015225546A (ja) * | 2014-05-28 | 2015-12-14 | 本田技研工業株式会社 | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム |
| KR101593484B1 (ko) * | 2014-07-10 | 2016-02-15 | 경북대학교 산학협력단 | 동등-높이 주변영역 정합 영상을 이용하여 측면에서 접근하는 일부분만 보이는 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템 |
| US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| WO2024009583A1 (ja) * | 2022-07-06 | 2024-01-11 | 日立Astemo株式会社 | 車両制御装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05151341A (ja) * | 1991-11-28 | 1993-06-18 | Nissan Motor Co Ltd | 車両用走行路検出装置 |
| JPH09223235A (ja) * | 1996-02-19 | 1997-08-26 | Fujitsu Ten Ltd | 車両認識装置 |
| JPH11232465A (ja) * | 1998-02-13 | 1999-08-27 | Fujitsu Ltd | 移動物体検出装置及びプログラム記録媒体 |
| JP2000242900A (ja) * | 1999-02-24 | 2000-09-08 | Mitsubishi Motors Corp | 割り込み車両検出装置 |
| JP2001023092A (ja) * | 1999-07-08 | 2001-01-26 | Mitsubishi Motors Corp | 車両周辺領域監視装置 |
| JP2001199260A (ja) * | 2000-01-20 | 2001-07-24 | Matsushita Electric Ind Co Ltd | 車間距離制御装置、車両走行状況表示装置、車速制御解除装置、及び車両急制動警告装置 |
| JP2001216520A (ja) * | 2000-01-31 | 2001-08-10 | Yazaki Corp | 車両用周辺監視装置 |
-
2002
- 2002-03-25 JP JP2002084599A patent/JP3656056B2/ja not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05151341A (ja) * | 1991-11-28 | 1993-06-18 | Nissan Motor Co Ltd | 車両用走行路検出装置 |
| JPH09223235A (ja) * | 1996-02-19 | 1997-08-26 | Fujitsu Ten Ltd | 車両認識装置 |
| JPH11232465A (ja) * | 1998-02-13 | 1999-08-27 | Fujitsu Ltd | 移動物体検出装置及びプログラム記録媒体 |
| JP2000242900A (ja) * | 1999-02-24 | 2000-09-08 | Mitsubishi Motors Corp | 割り込み車両検出装置 |
| JP2001023092A (ja) * | 1999-07-08 | 2001-01-26 | Mitsubishi Motors Corp | 車両周辺領域監視装置 |
| JP2001199260A (ja) * | 2000-01-20 | 2001-07-24 | Matsushita Electric Ind Co Ltd | 車間距離制御装置、車両走行状況表示装置、車速制御解除装置、及び車両急制動警告装置 |
| JP2001216520A (ja) * | 2000-01-31 | 2001-08-10 | Yazaki Corp | 車両用周辺監視装置 |
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
| US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
| US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
| US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
| US10683008B2 (en) | 2002-05-03 | 2020-06-16 | Magna Electronics Inc. | Vehicular driving assist system using forward-viewing camera |
| US9834216B2 (en) | 2002-05-03 | 2017-12-05 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US10118618B2 (en) | 2002-05-03 | 2018-11-06 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US10351135B2 (en) | 2002-05-03 | 2019-07-16 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US11203340B2 (en) | 2002-05-03 | 2021-12-21 | Magna Electronics Inc. | Vehicular vision system using side-viewing camera |
| US9643605B2 (en) | 2002-05-03 | 2017-05-09 | Magna Electronics Inc. | Vision system for vehicle |
| US9555803B2 (en) | 2002-05-03 | 2017-01-31 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
| US9609289B2 (en) | 2004-04-15 | 2017-03-28 | Magna Electronics Inc. | Vision system for vehicle |
| US10015452B1 (en) | 2004-04-15 | 2018-07-03 | Magna Electronics Inc. | Vehicular control system |
| US10735695B2 (en) | 2004-04-15 | 2020-08-04 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US10187615B1 (en) | 2004-04-15 | 2019-01-22 | Magna Electronics Inc. | Vehicular control system |
| US9428192B2 (en) | 2004-04-15 | 2016-08-30 | Magna Electronics Inc. | Vision system for vehicle |
| US11847836B2 (en) | 2004-04-15 | 2023-12-19 | Magna Electronics Inc. | Vehicular control system with road curvature determination |
| US9008369B2 (en) | 2004-04-15 | 2015-04-14 | Magna Electronics Inc. | Vision system for vehicle |
| US10462426B2 (en) | 2004-04-15 | 2019-10-29 | Magna Electronics Inc. | Vehicular control system |
| US9948904B2 (en) | 2004-04-15 | 2018-04-17 | Magna Electronics Inc. | Vision system for vehicle |
| US9736435B2 (en) | 2004-04-15 | 2017-08-15 | Magna Electronics Inc. | Vision system for vehicle |
| US10110860B1 (en) | 2004-04-15 | 2018-10-23 | Magna Electronics Inc. | Vehicular control system |
| US10306190B1 (en) | 2004-04-15 | 2019-05-28 | Magna Electronics Inc. | Vehicular control system |
| US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US9191634B2 (en) | 2004-04-15 | 2015-11-17 | Magna Electronics Inc. | Vision system for vehicle |
| US11503253B2 (en) | 2004-04-15 | 2022-11-15 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| JP2006018751A (ja) * | 2004-07-05 | 2006-01-19 | Nissan Motor Co Ltd | 車両用画像処理装置 |
| JP2006048338A (ja) * | 2004-08-04 | 2006-02-16 | Nissan Motor Co Ltd | 移動体検出装置 |
| JP2006072638A (ja) * | 2004-09-01 | 2006-03-16 | Nissan Motor Co Ltd | 移動物体検出装置 |
| US10787116B2 (en) | 2006-08-11 | 2020-09-29 | Magna Electronics Inc. | Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera |
| US11951900B2 (en) | 2006-08-11 | 2024-04-09 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| US11623559B2 (en) | 2006-08-11 | 2023-04-11 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11148583B2 (en) | 2006-08-11 | 2021-10-19 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11396257B2 (en) | 2006-08-11 | 2022-07-26 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| JP2008117073A (ja) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | 割り込み車両検出装置 |
| CN104350510A (zh) * | 2012-06-14 | 2015-02-11 | 国际商业机器公司 | 多线索对象检测和分析 |
| JP2016027490A (ja) * | 2012-06-14 | 2016-02-18 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム（マルチキュー・オブジェクトの検出および分析） |
| JP2015046132A (ja) * | 2013-08-29 | 2015-03-12 | 株式会社デンソー | 衝突可能性判定装置およびプログラム |
| JP2015225546A (ja) * | 2014-05-28 | 2015-12-14 | 本田技研工業株式会社 | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム |
| KR101593484B1 (ko) * | 2014-07-10 | 2016-02-15 | 경북대학교 산학협력단 | 동등-높이 주변영역 정합 영상을 이용하여 측면에서 접근하는 일부분만 보이는 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템 |
| US9569685B2 (en) | 2014-07-10 | 2017-02-14 | Kyungpook National University Industry-Academic Cooperation Foundation | Image processing apparatus and method for detecting partially visible object approaching from side using equi-height peripheral mosaicking image, and driving assistance system employing the same |
| WO2024009583A1 (ja) * | 2022-07-06 | 2024-01-11 | 日立Astemo株式会社 | 車両制御装置 |
| JP2024007597A (ja) * | 2022-07-06 | 2024-01-19 | 日立Astemo株式会社 | 車両制御装置 |
| JP7784963B2 (ja) | 2022-07-06 | 2025-12-12 | Ａｓｔｅｍｏ株式会社 | 車両制御装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3656056B2 (ja) | 2005-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3630100B2 (ja) | 車線検出装置 | |
| JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
| US6670912B2 (en) | Method for detecting stationary object located above road | |
| JP3822515B2 (ja) | 障害物検知装置及びその方法 | |
| JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
| US20040057599A1 (en) | Image processing apparatus and method | |
| US20120257056A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| KR101264282B1 (ko) | 관심영역 설정을 이용한 도로상 차량의 검출방법 | |
| JPH08329393A (ja) | 先行車検出装置 | |
| JP2003084064A (ja) | 前方車両の認識装置及び認識方法 | |
| JP2003099762A (ja) | 前方車両認識装置及び認識方法 | |
| JP4052291B2 (ja) | 車両用画像処理装置 | |
| JP3868915B2 (ja) | 前方監視装置及びその方法 | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| JPH0935198A (ja) | 車両用走行路検出装置 | |
| JPH11345392A (ja) | 障害物検出装置及び障害物検出方法 | |
| JP4462533B2 (ja) | 路面走行レーン検出装置 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JP4015036B2 (ja) | 障害物検出装置および障害物検出方法 | |
| JP4762830B2 (ja) | 周辺監視システム | |
| JP2000259997A (ja) | 先行車の高さおよび車間距離計測装置 | |
| WO2023068034A1 (ja) | 画像処理装置 | |
| JP3196559B2 (ja) | ライン認識方法 | |
| JP3029360B2 (ja) | 自動車用白線検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050307 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080311 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |