JP2004013592A - Vehicle detection device and method - Google Patents
Vehicle detection device and method Download PDFInfo
- Publication number
- JP2004013592A JP2004013592A JP2002167220A JP2002167220A JP2004013592A JP 2004013592 A JP2004013592 A JP 2004013592A JP 2002167220 A JP2002167220 A JP 2002167220A JP 2002167220 A JP2002167220 A JP 2002167220A JP 2004013592 A JP2004013592 A JP 2004013592A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image
- brightness
- vehicle
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】自車両周囲の照度が低い場合であって検出対象の他車両が移動する場合であっても、他車両を確実に検出する。
【解決手段】自車両周囲の他車両などの物体を検出するに際して、先ず、自車両周囲を複数フレームに亘って連続して撮像した輝度画像11,12,13内に含まれる高輝度領域11A,12A,13Aを抽出する。そして、この車両検出装置では、高輝度領域11A,12A,13Aを抽出した時間的に前後する複数フレーム間の輝度画像内の高輝度領域の同定をし、高輝度領域11A,12A,13Aのフレーム間における位置情報を用い、複数フレーム間にて同定した高輝度領域11A,12A,13Aを重ねるように輝度画像の輝度値を積分して積分画像21を作成し、作成した積分画像21から他車両を検出する。
【選択図】 図2An object of the present invention is to reliably detect another vehicle even when the illuminance around the own vehicle is low and the other vehicle to be detected moves.
When detecting an object such as another vehicle around a host vehicle, first, a high brightness area included in a brightness image, which is obtained by continuously imaging the host vehicle over a plurality of frames, is provided. Extract 12A and 13A. In this vehicle detection device, the high-brightness areas 11A, 12A, and 13A are extracted, and the high-brightness areas in the brightness image between a plurality of temporally preceding and succeeding frames are identified, and the frames of the high-brightness areas 11A, 12A, and 13A are identified. The integrated image 21 is created by integrating the brightness values of the brightness images so as to overlap the high brightness regions 11A, 12A, and 13A identified over a plurality of frames using the positional information between the frames, and an integrated vehicle 21 is created from the created integrated image 21. Is detected.
[Selection] Fig. 2
Description
【0001】
【発明の属する技術分野】
本発明は、車両前方や車両後方の画像を撮像して画像処理をして自車両周囲の他車両を検出する車両検出装置及び方法に関し、特に、夜間など車両周囲の明度が低い場合に他車両を検出する車両検出装置及び方法に関する。
【0002】
【従来の技術】
従来より、自車両周囲を車載カメラにて撮像して、撮像した画像を用いて近傍の他車両を検出する車両検出装置が知られている。このような車両検出装置では、特に、カメラを使用した場合に、周囲の照度が低くカメラの感度が低いような環境下においても確実に他車両を検出できることが重要となる。
【0003】
自車両周囲の照度が低い場合でも確実に車両を検出する手法は多く知られているが、その一手法として、カメラから連続的に入力される画像を重ね合せて画像感度を向上させる画像積分処理を行うものがある。この画像積分処理では、カメラの入射光量を増加させる露光制御と比べ、処理の多様性、コスト面など多くの利点がある。
【0004】
このように画像積分処理を使用し、自車両周囲の照度が低い場合でも確実に車両を検出する従来の技術としては、特開平11−96367号公報に記載のものがある。この従来の技術では、自車両周囲の照度が低い場合でも確実に車両を検出する方法として有効ではあるが、連続的に入力される画像を単純に積分すると、自車両に対して他車両が移動した場合に、他車両画像の輪郭部分が尾を引くようになり、輪郭部分が明確でない画像となってしまって他車両の検出が困難になるという問題がある。
【0005】
これに対し、従来の技術では、移動物検出などに用いられる差分画像処理を用い、時間経過に対する画像輝度値の差分変化が少なく自車両に対して他車両が静止している点の重みを大きくして画像積分し、時間経過に対する画像輝度値の差分変化が多く自車両に対して他車両が移動している点の重みを小さくして画像積分していた。これにより、画像感度を向上すると共に、移動物体などが尾を引いて画像ぼけを起こすことがほとんどない積分画像を算出できるため、自車両周囲の照度が低い場合でも確実に他車両を検出していた。
【0006】
【発明が解決しようとする課題】
しかしながら、上述の従来の技術では、撮像画像上の他車両の動きに応じて積分の重みを変えているため、自車両に対する他車両の動きの大きい点は画像積分による感度向上が望めない。すなわち、従来の技術では、検出対象とする他車両が移動している画像領域を積分するに際して、輝度値の重みを小さくしているので、画像積分による感度向上処理が行なわれないことになってしまう。したがって、従来の技術では、移動する他車両の感度を向上することができないため、周囲の照度が低い状況では検出することが困難となっていた。
【0007】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、自車両周囲の照度が低い場合であって検出対象の他車両が移動する場合であっても、他車両を確実に検出することができる車両検出装置及び方法を提供するものである。
【0008】
【課題を解決するための手段】
本発明は、自車両周囲の他車両などの物体を検出するに際して、先ず、自車両周囲を複数フレームに亘って連続して撮像した輝度画像内に含まれる高輝度領域を抽出する。そして、この車両検出装置では、高輝度領域を抽出した時間的に前後する複数フレーム間の輝度画像内の高輝度領域の同定をし、高輝度領域のフレーム間における位置情報を用い、複数フレーム間にて同定した高輝度領域を重ねるように輝度画像の輝度値を積分して積分画像を作成し、作成した積分画像から他車両を検出することにより、上述の課題を解決する。
【0009】
【発明の効果】
本発明によれば、高輝度領域を抽出した時間的に前後する複数フレーム間の輝度画像内の高輝度領域の同定をし、高輝度領域のフレーム間における位置情報を用い、複数フレーム間にて同定した高輝度領域を重ねるように輝度画像の輝度値を積分して積分画像を作成するので、他車両が移動して輝度画像内の位置が変化する場合であっても、他車両の画像領域にて十分な輝度階調を得ることができる。
【0010】
また、この車両検出装置によれば、自車両周囲の照度が低い場合に他車両が移動する場合であっても、他車両の画像領域にて十分な輝度階調を得ることができる。
【0011】
【発明の実施の形態】
以下、本発明の第1実施形態及び第2実施形態について図面を参照して説明する。
【0012】
[第1実施形態]
本発明は、例えば図1に示すように構成された第1実施形態に係る車両検出装置に適用される。
【0013】
[第1実施形態に係る車両検出装置の構成]
第1実施形態に係る車両検出装置は、図1に示すように、例えば車両前方が撮像方向とされて自車両周囲からの光を入射するように設けられたカメラ1、自車両の内部に設けられた入力画像メモリ2、制御演算部3、積分画像メモリ4、車両運転者から視認可能な位置に設けられたディスプレイ5、例えば車両運転者に対する放音機構などで構成された警報装置6を有する。
【0014】
カメラ1は、本例において車両前部に設けられ、車両前方を撮像して撮像画像を生成する。このカメラ1にて生成された撮像画像は、例えば所定時間ごとに連続して入力画像メモリ2に入力され、入力画像メモリ2にてディジタル値に変換され、時間的に連続した複数フレームの輝度画像として保持される。
【0015】
制御演算部3は、入力画像メモリ2に保持された複数フレームに亘る輝度画像を用いて他車両検出処理をして、その検出結果をディスプレイ5に表示したり、自車両と他車両との距離が所定距離よりも近い場合などに警報装置6を駆動して警告を促したりする。
【0016】
この制御演算部3は、他車両検出処理を行うに際して、入力画像メモリ2から輝度画像を読み出して輝度画像内の高輝度点を抽出し、抽出した各高輝度点のフレーム間の対応付けを行って、対応付けの結果からフレーム間の高輝度点が重なるように各フレームの輝度画像を積分して、積分画像を積分画像メモリ4に記憶する。このとき、制御演算部3は、各高輝度点毎の積分画像を積分画像メモリ4に保持させる。そして、制御演算部3は、積分画像メモリ4から積分画像を読出して他車両検出を実施する。この制御演算部3は、処理の結果から他車両が検出された場合は、車両位置、車両サイズなどの車両情報を算出し、ディスプレイ5及び警報装置6の動作を制御する。
【0017】
図2に、制御演算部3により抽出した高輝度点毎に積分処理をして積分画像を作成する処理について示す。図2に示した一例では、他車両が先行車両であって、夜間走行をしているときの左側テールランプを高輝度点として抽出した場合を示す。
【0018】
車両検出装置では、カメラ1によりフレームF1,F2,F3の順に連続して輝度画像11,12,13を入力した場合、制御演算部3により各輝度画像11〜13を入力するごとに左テールランプを高輝度点11A,12A,13Aとして抽出する。このとき、制御演算部3では、輝度画像11〜13にて他車両の左テールランプの画像内位置が異なる場合であっても、前後するフレーム間で例えばマッチング処理などをして対応付けして、高輝度点11A,12A,13Aを抽出する。
【0019】
そして、各高輝度点11A〜13Aを重ねるように輝度画像を積分することにより、積分画像21を得る。これにより、他車両の検出部位として左テールランプを高輝度点として一致させて、検出対象とした左テールランプを構造に含む他車両を明瞭にした積分画像21を取得する。すなわち、制御演算部3では、高輝度な点に着目して、各輝度画像11〜13における同じ高輝度点を重なるように積分することで、十分な階調を有する積分画像21が算出できるため、確実な車両検出が可能となる。
【0020】
図3に、上述の高輝度点を含む高輝度領域を抽出する手法を説明する図を示す。図3も、図2に示した場合と同様に検出対象を他車両の左テールランプとした場合を示している。
【0021】
制御演算部3は、例えばフレームF1において高輝度点を検出したときに、図3(a)に示すように高輝度領域(初期高輝度領域)31を設定する。この初期高輝度領域31は、輝度画像内にて最も高輝度の点を中心とした予め設定された画像サイズの画像領域を設定する。
【0022】
そして、連続して輝度画像12,13が入力されると、輝度画像12,13の輝度値変化(輝度分布)を観測する。ここで、図3(b)に示すように、対象物(他車両の左テールランプ)の存在する画像領域の輝度分布は不変であり(図3(b)の網掛け部分)、対象物外の画像領域の輝度分布は変化が発生することを利用して(図3(b)の白抜き部分)、制御演算部3は、輝度分布の変化が発生しない画像領域方向に高輝度領域を変更する。すなわち、図3(b)中の初期高輝度領域31を矢印の方向に変更することで、他車両方向において高輝度領域を拡大する。
【0023】
この結果、図3(c)に示すように、初期高輝度領域31を他車両全体を含む高輝度領域32を制御演算部3により設定することができる。
【0024】
[第1実施形態に係る車両検出装置による他車両検出処理]
つぎに、上述した車両検出装置において、前方の他車両を検出する他車両検出処理の処理手順について図4のフローチャートを参照して説明する。
【0025】
例えば車両が走行し始めると車両検出装置が起動し、先ず、カメラ1にて撮像方向を撮像して入力画像メモリ2に輝度画像を連続的に保持する処理を開始する。
【0026】
そして、ステップS1において、制御演算部3により入力画像メモリ2に保持されている輝度画像を取り込んでステップS2に処理を進める。
【0027】
ステップS2において、制御演算部3により、ステップS1で取り込まれた輝度画像の輝度情報を参照して、予め設定した所定の閾値と輝度値とを比較して二値化することで、高輝度点候補となる画素を抽出してステップS3に処理を進める。
【0028】
ステップS3において、制御演算部3により、ステップS2にて抽出した高輝度点候補のうち、隣接する高輝度点候補の画素を同一の高輝度点であるとしてグルーピング(グループ化)することにより、高輝度領域を抽出してステップS4に処理を進める。
【0029】
このとき、制御演算部3では、連続する複数のフレームにおける輝度画像についてステップS2の処理をして高輝度点を抽出して、更にステップS3にて高輝度領域を抽出する。
【0030】
ステップS4において、制御演算部3により、連続して入力した各輝度画像の高輝度領域について画像内位置の分散値を算出することで、各画素の輝度値変化の分散値を算出して、ステップS5に処理を進める。ここで、輝度画像を構成する画素ごとの輝度値がフレーム間において変化が大きい場合には分散値を大きくし、変化が小さい場合には分散値を小さくする。
【0031】
ステップS5において、制御演算部3により、ステップS4にて算出された各画素の分散値を参照して、分散値の小さい画素を含めるように高輝度領域の境界を拡大し、分散値の大きい画素を除くように高輝度領域の境界を縮小することで高輝度領域の画像サイズを初期高輝度領域31から変更するように設定してステップS6に処理を進める。
【0032】
ステップS6において、制御演算部3により、ステップS5にて画像サイズが設定された高輝度領域内の二値化画素の重心位置を算出してステップS7に処理を進める。このとき、制御演算部3は、高輝度領域を構成する画素の輝度値を参照して高輝度領域内の重心位置を算出する。
【0033】
ステップS7において、制御演算部3により、複数フレーム間に亘って抽出した各高輝度領域の形状及び位置情報を求め、複数フレーム間に亘る高輝度領域の同定を行ってステップS8に処理を進める。
【0034】
ステップS8において、制御演算部3により、ステップS7にて行った各高輝度領域のフレーム間同定回数が、予め設定した指定値以上か否かを判定する。制御演算部3によりステップS7の同定処理の結果、フレーム間同定回数が指定値に達したと判定したときにはステップS9に処理を進め、指定値に達していないと判定した場合にはステップS1に処理を戻す。すなわち、制御演算部3により、複数フレーム間にてステップS1〜ステップS7の処理を繰り返して行うことで、各高輝度領域ごとのフレーム間同定回数が指定値に達したらステップS9に処理を進める。
【0035】
ステップS9において、制御演算部3により、ステップS1〜ステップS8で算出した高輝度領域の重心位置情報をもとに、各フレームにおける高輝度領域の重心位置が重なるようにステップS5で算出した高輝度領域サイズで画像積分を実施してステップS10に処理を進める。
【0036】
ステップS10において、ステップS9にて算出した積分画像のエッジ検出処理を行い、このエッジ検出処理の結果、エッジとして検出され、処理対象とした高輝度点を含む対象物(他車両)の形状を抽出してステップS11に処理を進める。
【0037】
ステップS11において、制御演算部3により、ステップS10にて抽出した対象物の形状と、予め用意して記憶された車両モデルとのパターンマッチングを行い、検出車両とのマッチング度合い(以下、相関度と呼ぶ。)を算出してステップS12に処理を進める。
【0038】
ステップS12において、制御演算部3により、ステップS11にて算出した相関度が予め設定した指定値以上か否かを判定し、指定値以上である場合にはステップS13に処理を進め、前方に他車両が存在すると判定して処理を終了する。ここで、予め設定した指定値とは、ステップS10にて抽出した対象物形状を車両と認めるしきい値である。一方、ステップS12にて相関度が指定値以上でないと判定した場合は、前方に存在する対象物が車両ではないと判定して処理を終了する。
【0039】
[第1実施形態の効果]
以上詳細に説明したように、第1実施形態に係る車両検出装置によれば、各フレームにて抽出した高輝度領域の重心位置を重ねて積分画像を作成して他車両を検出するので、他車両が移動して輝度画像内の位置が変化する場合や、自車両のピッチングなどによりカメラ1の位置が移動した場合であっても、他車両の画像領域にて十分な輝度階調を得ることができる。また、この車両検出装置によれば、例えば夜間走行などをしていて自車両周囲の照度が低い場合に他車両が移動する場合であっても、他車両の画像領域にて十分な輝度階調を得ることができる。
【0040】
また、この車両検出装置によれば、高輝度点を抽出して高輝度点の分布の時間的な変化の発生の有無に応じて、高輝度領域の画像サイズを変更するようにしたので、その構造が不変である他車両の全領域を高輝度領域とすることができる。したがって、この車両検出装置によれば、周囲の照度が低い場合であって他車両のライト部分のみならず他車両全体を用いてパターンマッチングなどを行うことができ、確実に他車両を検出することができる。
【0041】
[第2実施形態]
つぎに、第2実施形態に係る車両検出装置について説明する。なお、以下の説明では、上述の第1実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【0042】
[第2実施形態に係る車両検出装置の動作]
図5に、制御演算部3により高輝度点をグループ化するときの処理について説明する図を示す。
【0043】
この例では、自車両の前方に第1車両41、第2車両42の2台の他車両が存在する場合、各第1車両41及び第2車両42がテールランプを2つ有するので、制御演算部3では、第1車両41による第1高輝度領域51及び第2高輝度領域52、第2車両42による第3高輝度領域53及び第4高輝度領域54を抽出する。
【0044】
ここで、第1高輝度領域51と第2高輝度領域52とは第1車両41のテールランプによるものであり、第3高輝度領域53と第4高輝度領域54とは第2車両42のテールランプによるものであるので、自車両から撮像した場合には左右対称となっている。また、第1高輝度領域51及び第2高輝度領域52と第3高輝度領域53及び第4高輝度領域54とは、異なる車両のテールランプによるものであるので、形状における関連性はない。
【0045】
このような各高輝度領域の性質から、複数の他車両が自車両の前方に存在する場合には、制御演算部3は、各高輝度領域51〜54の左右対称であることを条件として車両ライトのグルーピングを行い、第1車両41と第2車両42とを区分してグルーピングをして高輝度領域を設定することができる。
【0046】
図6に、自車両と他車両との距離に応じて、カメラ1により撮像した輝度画像のサイズを変更して積分画像を作成する処理を説明する図を示す。
【0047】
制御演算部3は、フレームF1、F2にて輝度画像61,62をそれぞれ撮像して他車両の高輝度領域を抽出して左右対称のテールランプの間隔W1,W2を求める。ここで、フレームF1からフレームF2となったときに自車両と他車両との距離が異なる場合には、他車両の画像サイズが異なり、テールランプ間隔W1とテールランプ間隔W2とが異なる。
【0048】
この場合、制御演算部3は、同一対象物の高輝度点(テールランプ)間のサイズW1、W2より画像サイズの変化率(W2/W1)を算出し、フレームF1の輝度画像61を拡大する。これにより、制御演算部3は、拡大したフレームF1の輝度画像61’の他車両の画像サイズと、フレームF2の輝度画像62の他車両の画像サイズとを同じにし、輝度画像61’と輝度画像62とを用いて積分画像を作成する。
【0049】
図7に、車両挙動(ロール)による画像回転が発生した場合に積分画像を作成する処理を説明する図を示す。
【0050】
制御演算部3は、フレームF1、F2にて輝度画像61,62をそれぞれ撮像して他車両の高輝度領域を抽出したときに、左右対称のテールランプを結ぶ線71と画像水平線72とがなす傾き角θを求める。ここで、フレームF1にて傾き角θ1からフレームF2にて傾き角θ2となった場合には、各傾き角θ1、θ2から回転変化による差分角度(θ2−θ1)を算出し、差分角だけ輝度画像61を回転させてテールランプを結ぶ線71と画像水平線72との傾き角をθ2とする。そして、制御演算部3は、回転させた輝度画像61’と輝度画像62とを用いて画像積分を行う。
【0051】
[第2実施形態に係る車両検出装置による他車両検出処理]
つぎに、上述した第2実施形態に係る車両検出装置において、前方の他車両を検出する他車両検出処理の処理手順について図8のフローチャートを参照して説明する。なお、第1実施形態における他車両検出処理と同じ処理について同一のステップ番号を付することによりその詳細な説明を省略する。
【0052】
第2実施形態に係る車両検出装置による他車両検出処理では、ステップS2の次に、上述のステップS3と同様の処理ではあるが、ステップS21において、第1段階のグルーピングとして1次グルーピングをしてステップS4及びステップS5の処理をしてステップS22の2次グルーピングを行う。
【0053】
この2次グルーピングにおいては、制御演算部3により、ステップS4にて抽出した高輝度領域のうち、左右対称な高輝度領域を検出する。制御演算部3では、二値化画像内にて左右対称な高輝度領域を検出した場合には、同一車両の高輝度領域としてグループ化してステップS6に処理を進める。このとき、制御演算部3では、異なる複数の他車両が二値化画像内に存在する場合には、高輝度領域の形状を比較して、異なる車両による高輝度領域を識別してグループ化する。すなわち、制御演算部3では、例えば図5に示すように、左右対称のテールランプをグループ化する。
【0054】
ステップS6にて重心点を検出した後のステップS23において、制御演算部3により、ステップS22にてグループ化した高輝度領域の高輝度点間の画像距離を算出してステップS24に処理を進める。
【0055】
ステップS24において、制御演算部3により、ステップS22にてグループ化された高輝度領域の高輝度点を結ぶ線分(線71)の路面(画像水平線72)に対する傾き角θを算出してステップS7に処理を進め、ステップS7における同定回数が指定値以上となったらステップS9に処理を進める。
【0056】
このステップS9にて積分画像を作成するに際して、制御演算部3では、ステップS23にて算出した画像サイズに基づいて、前後するフレームの二値化画像内の高輝度領域が同じになるように画像サイズの変更をし、更に、ステップS24にて算出した傾き角に基づいて、前後するフレームの二値化画像内の高輝度領域が同じ傾き角となるように画像を回転させる。これにより、図6及び図7に示したように積分画像を作成してステップS10以降の処理を行う。
【0057】
[第2実施形態の効果]
以上詳細に説明したように、第2実施形態に係る車両検出装置によれば、図5及びステップS22にて説明したように、近傍の高輝度領域の形状比較をし、左右対称の高輝度領域をグループ化するようにしたので、周囲の照度が低い状況において、複数の高輝度点が観測されても、その高輝度点を持つ物体(車両)毎にグルーピングして他車両を確実に検出することができる。
【0058】
また、この車両検出装置によれば、グループ化した複数の高輝度領域の間隔を検出して、連続的に入力したフレーム間の間隔変化に応じて画像サイズを拡大(または縮小)して画像積分をするので、他車両の距離が異なる場合であっても十分な階調の積分画像を得ることができる。したがって、この車両検出装置によれば、周囲の照度が低い状況において、他車両が近づいたり離れたりしても、確実に他車両を検出することができる。
【0059】
更に、この車両検出装置によれば、グループ化した複数の高輝度領域の画像水平線に対する傾き角を検出して、連続的に入力したフレーム間の傾き角変化に応じて二値化画像を回転させて画像積分をするので、他車両がロールした場合やカメラ1が傾いた場合であっても、十分な階調の画像を得ることができる。したがって、この車両検出装置によれば、周囲の照度が低い状況において、他車両がロールしても確実に検出することができる。
【0060】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図1】本発明を適用した第1実施形態に係る車両検出装置の構成を示すブロック図である。
【図2】制御演算部により、抽出した高輝度点毎に積分処理をして積分画像を作成する処理を説明するための図である。
【図3】高輝度点を含む高輝度領域を抽出する手法を説明する図であって、(a)は初期高輝度領域を設定した場合を示し、(b)は初期高輝度領域の画像サイズを変更する場合を示し、(c)は他車両全体の高輝度領域を設定した場合を示す。
【図4】本発明を適用した第1実施形態に係る車両検出装置において、前方の他車両を検出する他車両検出処理の処理手順を示すフローチャートである。
【図5】本発明を適用した第2実施形態に係る車両検出装置において、制御演算部により高輝度点をグループ化するときの処理について説明する図である。
【図6】自車両と他車両との距離に応じて、カメラにより撮像した輝度画像のサイズを変更して積分画像を作成する処理を説明する図である。
【図7】車両挙動(ロール)による画像回転が発生した場合に積分画像を作成する処理を説明する図である。
【図8】本発明を適用した第2実施形態に係る車両検出装置において、前方の他車両を検出する他車両検出処理の処理手順を示すフローチャートである。
【符号の説明】
1 カメラ
2 入力画像メモリ
3 制御演算部
4 積分画像メモリ
5 ディスプレイ
6 警報装置
21 積分画像
31 初期高輝度領域
32 高輝度領域
41 第1車両
42 第2車両
51 第1高輝度領域
52 第2高輝度領域
53 第3高輝度領域
54 第4高輝度領域
61,62 輝度画像
71 線
72 画像水平線[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicle detection device and method for capturing an image in front of a vehicle or behind a vehicle and performing image processing to detect other vehicles around the own vehicle, and particularly to other vehicles when the brightness around the vehicle is low such as at night. The present invention relates to a device and a method for detecting a vehicle.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been known a vehicle detection device that captures an image of the surroundings of a host vehicle using an in-vehicle camera and detects a nearby other vehicle using the captured image. In such a vehicle detection device, particularly when a camera is used, it is important to be able to reliably detect another vehicle even in an environment where ambient illuminance is low and the sensitivity of the camera is low.
[0003]
There are many known methods for reliably detecting a vehicle even when the illuminance around the own vehicle is low. As one of the methods, image integration processing for improving image sensitivity by superimposing images continuously input from a camera is proposed. There is something to do. This image integration process has many advantages, such as versatility and cost, as compared to exposure control that increases the amount of incident light on the camera.
[0004]
As a conventional technique for reliably detecting a vehicle even when the illuminance around the own vehicle is low by using the image integration processing as described above, there is a technique disclosed in Japanese Patent Application Laid-Open No. H11-96367. This conventional technique is effective as a method for reliably detecting a vehicle even when the illuminance around the own vehicle is low. However, simply integrating a continuously input image allows another vehicle to move with respect to the own vehicle. In such a case, there is a problem that the contour portion of the other vehicle image becomes trailing, and the contour portion becomes an unclear image, making it difficult to detect the other vehicle.
[0005]
On the other hand, in the related art, the difference image processing used for moving object detection and the like is used, and the difference in the image luminance value over time is small, and the weight of the point at which the other vehicle is stationary with respect to the own vehicle is increased. Then, image integration is performed, and the weight of the point at which the other vehicle is moving relative to the own vehicle is small, since the difference in the image luminance value changes with time, and the image integration is performed. As a result, the image sensitivity can be improved, and an integrated image can be calculated in which the moving object or the like hardly causes a blur due to trailing of the moving object. Therefore, even when the illuminance around the own vehicle is low, the other vehicle can be reliably detected. Was.
[0006]
[Problems to be solved by the invention]
However, in the above-described related art, since the weight of integration is changed according to the movement of the other vehicle on the captured image, the sensitivity of the point at which the movement of the other vehicle relative to the own vehicle is large cannot be improved by image integration. That is, in the related art, when integrating the image area in which another vehicle to be detected is moving, the weight of the luminance value is reduced, so that the sensitivity improvement processing by the image integration is not performed. I will. Therefore, in the related art, since the sensitivity of another moving vehicle cannot be improved, it has been difficult to detect in a situation where the surrounding illuminance is low.
[0007]
Therefore, the present invention has been proposed in view of the above-described circumstances, and reliably detects another vehicle even when the illuminance around the own vehicle is low and the other vehicle to be detected moves. The present invention provides a vehicle detection device and a vehicle detection method capable of detecting a vehicle.
[0008]
[Means for Solving the Problems]
According to the present invention, when detecting an object such as another vehicle around the own vehicle, first, a high-brightness area included in a brightness image continuously imaged over a plurality of frames around the own vehicle is extracted. The vehicle detection device identifies a high-luminance area in a luminance image between a plurality of temporally preceding and succeeding frames from which the high-luminance area is extracted, and uses the position information between the frames of the high-luminance area to determine a high-luminance area. In order to solve the above-described problem, the integrated image is created by integrating the brightness values of the brightness image so as to overlap the high brightness region identified in the above, and another vehicle is detected from the created integrated image.
[0009]
【The invention's effect】
According to the present invention, a high-luminance area is identified in a luminance image between a plurality of temporally preceding and succeeding frames from which a high-luminance area is extracted, and position information between frames of the high-luminance area is used to identify the high-luminance area. Since the integrated image is created by integrating the luminance values of the luminance image so as to overlap the identified high-luminance area, even when another vehicle moves and the position in the luminance image changes, the image area of the other vehicle is changed. , A sufficient luminance gradation can be obtained.
[0010]
Further, according to the vehicle detection device, even when another vehicle moves when the illuminance around the own vehicle is low, a sufficient luminance gradation can be obtained in the image area of the other vehicle.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a first embodiment and a second embodiment of the present invention will be described with reference to the drawings.
[0012]
[First Embodiment]
The present invention is applied to, for example, a vehicle detection device according to the first embodiment configured as shown in FIG.
[0013]
[Configuration of the vehicle detection device according to the first embodiment]
As shown in FIG. 1, a vehicle detection device according to the first embodiment is provided with a
[0014]
The
[0015]
The
[0016]
When performing the other vehicle detection process, the
[0017]
FIG. 2 shows a process of creating an integrated image by performing an integration process for each high-luminance point extracted by the
[0018]
In the vehicle detection device, when the
[0019]
Then, the
[0020]
FIG. 3 is a diagram illustrating a method for extracting a high-luminance area including the above-described high-luminance points. FIG. 3 also shows a case where the detection target is the left tail lamp of another vehicle, as in the case shown in FIG.
[0021]
For example, when detecting a high luminance point in the frame F1, the
[0022]
Then, when the
[0023]
As a result, as shown in FIG. 3 (c), the control
[0024]
[Other vehicle detection processing by the vehicle detection device according to the first embodiment]
Next, a processing procedure of another vehicle detection processing for detecting another vehicle ahead in the above-described vehicle detection device will be described with reference to a flowchart of FIG.
[0025]
For example, when the vehicle starts to run, the vehicle detection device is activated, and firstly, the
[0026]
Then, in step S1, the control
[0027]
In step S2, the
[0028]
In step S3, the control
[0029]
At this time, the
[0030]
In step S4, the
[0031]
In step S5, the
[0032]
In step S6, the
[0033]
In step S7, the
[0034]
In step S8, the
[0035]
In step S9, based on the center-of-gravity position information of the high-brightness area calculated in steps S1 to S8, the high-brightness calculated in step S5 by the
[0036]
In step S10, edge detection processing of the integrated image calculated in step S9 is performed, and as a result of the edge detection processing, the shape of an object (other vehicle) that is detected as an edge and includes a high luminance point to be processed is extracted. Then, the process proceeds to step S11.
[0037]
In step S11, the
[0038]
In step S12, the
[0039]
[Effects of First Embodiment]
As described in detail above, according to the vehicle detection device according to the first embodiment, since another vehicle is detected by creating an integral image by superimposing the center of gravity of the high-luminance area extracted in each frame, Even if the position in the luminance image changes due to the movement of the vehicle, or if the position of the
[0040]
Further, according to this vehicle detection device, the high-luminance points are extracted, and the image size of the high-luminance area is changed according to the presence or absence of a temporal change in the distribution of the high-luminance points. The entire area of the other vehicle whose structure is invariable can be a high brightness area. Therefore, according to this vehicle detection device, even when the surrounding illuminance is low, pattern matching can be performed using not only the light portion of the other vehicle but also the entire other vehicle, and the other vehicle can be reliably detected. Can be.
[0041]
[Second embodiment]
Next, a vehicle detection device according to a second embodiment will be described. In the following description, the same parts as those in the above-described first embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0042]
[Operation of Vehicle Detecting Device According to Second Embodiment]
FIG. 5 is a diagram illustrating a process when the
[0043]
In this example, when two other vehicles, a first vehicle 41 and a
[0044]
Here, the first
[0045]
Due to the nature of each of the high-brightness areas, when a plurality of other vehicles are present in front of the host vehicle, the
[0046]
FIG. 6 is a diagram illustrating a process of changing the size of the luminance image captured by the
[0047]
The
[0048]
In this case, the
[0049]
FIG. 7 is a diagram illustrating a process of creating an integral image when image rotation due to vehicle behavior (roll) occurs.
[0050]
When the
[0051]
[Other vehicle detection processing by the vehicle detection device according to the second embodiment]
Next, in the vehicle detection device according to the second embodiment described above, a processing procedure of another vehicle detection processing for detecting another vehicle in front will be described with reference to a flowchart of FIG. Note that the same processes as those of the other vehicle detection process in the first embodiment are denoted by the same step numbers, and detailed description thereof is omitted.
[0052]
In the other vehicle detection process by the vehicle detection device according to the second embodiment, after step S2, the process is the same as step S3 described above, but in step S21, primary grouping is performed as the first-stage grouping. After performing the processing of steps S4 and S5, the secondary grouping of step S22 is performed.
[0053]
In the secondary grouping, the
[0054]
In step S23 after detecting the center of gravity in step S6, the
[0055]
In step S24, the
[0056]
When creating the integral image in step S9, the
[0057]
[Effect of Second Embodiment]
As described in detail above, according to the vehicle detection device according to the second embodiment, as described in FIG. 5 and step S22, the shapes of the nearby high-luminance regions are compared, and the left-right symmetric high-luminance regions are compared. Are grouped, so that even when a plurality of high-luminance points are observed in a situation where the surrounding illuminance is low, the other vehicles are reliably detected by grouping for each object (vehicle) having the high-luminance points. be able to.
[0058]
Further, according to the vehicle detection device, an interval between a plurality of grouped high-brightness areas is detected, and the image size is enlarged (or reduced) according to a change in the interval between successively input frames. Therefore, an integrated image with a sufficient gradation can be obtained even when the distance between other vehicles is different. Therefore, according to the vehicle detection device, in a situation where the surrounding illuminance is low, the other vehicle can be reliably detected even when the other vehicle approaches or separates.
[0059]
Further, according to this vehicle detection device, the inclination angle with respect to the image horizontal line of the plurality of grouped high-luminance areas is detected, and the binarized image is rotated according to the inclination angle change between the continuously input frames. Therefore, even when another vehicle rolls or the
[0060]
Note that the above embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and other than the present embodiment, various modifications may be made according to the design and the like within a range not departing from the technical idea according to the present invention. Can be changed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a vehicle detection device according to a first embodiment to which the present invention has been applied.
FIG. 2 is a diagram for explaining a process in which a control operation unit performs an integration process for each extracted high-luminance point to create an integrated image.
3A and 3B are diagrams illustrating a method of extracting a high-brightness area including a high-brightness point, wherein FIG. 3A illustrates a case where an initial high-brightness area is set, and FIG. Is changed, and (c) shows a case where a high-luminance area of the entire other vehicle is set.
FIG. 4 is a flowchart illustrating a processing procedure of another vehicle detection processing for detecting another vehicle in front in the vehicle detection device according to the first embodiment to which the present invention is applied.
FIG. 5 is a diagram illustrating a process when a high-intensity point is grouped by a control calculation unit in a vehicle detection device according to a second embodiment to which the present invention is applied.
FIG. 6 is a diagram illustrating a process of changing the size of a luminance image captured by a camera and generating an integrated image according to the distance between the host vehicle and another vehicle.
FIG. 7 is a diagram illustrating a process of creating an integral image when image rotation due to vehicle behavior (roll) occurs.
FIG. 8 is a flowchart showing a procedure of another vehicle detection processing for detecting another vehicle ahead in the vehicle detection device according to the second embodiment to which the present invention is applied.
[Explanation of symbols]
DESCRIPTION OF
Claims (14)
上記撮像手段にて撮像した輝度画像内に含まれる高輝度領域を抽出する高輝度領域抽出手段と、
上記高輝度抽出手段にて高輝度領域が抽出された複数の輝度画像内の高輝度領域の同定をする領域同定手段と、
上記高輝度領域抽出手段にて抽出された高輝度領域のフレーム間における位置情報を用い、上記領域同定手段にて複数フレーム間にて同定された高輝度領域を重ねるように上記撮像手段によって連続的に入力される輝度画像の輝度値を積分する画像積分手段と、
上記画像積分手段によって作成された積分画像から他車両を検出する車両検出手段と
を備えることを特徴とする車両検出装置。Imaging means for imaging the surroundings of the vehicle,
A high-luminance area extraction unit that extracts a high-luminance region included in the luminance image captured by the imaging unit,
Region identification means for identifying a high-luminance area in a plurality of luminance images from which the high-luminance area has been extracted by the high-luminance extraction means,
Using the position information between the frames of the high-luminance area extracted by the high-luminance area extraction means, the image-capturing means continuously overlaps the high-luminance areas identified between a plurality of frames by the area identification means. Image integration means for integrating the luminance value of the luminance image input to
A vehicle detection device comprising: a vehicle detection unit that detects another vehicle from the integrated image created by the image integration unit.
上記高輝度領域を抽出した時間的に前後する複数フレーム間の輝度画像内の高輝度領域の同定をし、
上記高輝度領域のフレーム間における位置情報を用い、複数フレーム間にて同定した高輝度領域を重ねるように輝度画像の輝度値を積分して積分画像を作成し、
作成した上記積分画像から他車両を検出すること
を特徴とする車両検出方法。A high-luminance area included in a luminance image obtained by continuously capturing the surroundings of the vehicle over a plurality of frames is extracted,
The high-luminance area is extracted and the high-luminance area in the luminance image between a plurality of temporally preceding and succeeding frames is identified,
Using the position information between the frames of the high-luminance area, to create an integrated image by integrating the luminance value of the luminance image so as to overlap the high-luminance area identified between a plurality of frames,
A vehicle detection method for detecting another vehicle from the created integral image.
各フレームにおける輝度画像内の高輝度領域の重心位置を求め、
各高輝度領域の重心位置を重ねて積分画像を作成することを特徴とする請求項8に記載の車両検出方法。When creating the integral image,
Find the center of gravity of the high-luminance area in the luminance image in each frame,
9. The vehicle detecting method according to claim 8, wherein an integral image is created by superimposing the center of gravity of each high-luminance area.
上記輝度画像のうち高い輝度値の領域を予め設定した画像サイズにて高輝度領域として抽出し、
輝度画像の輝度値の時間的変化に基づいて上記予め設定した高輝度領域の画像サイズを変更することを特徴とする請求項8に記載の車両検出方法。When extracting the high brightness area,
In the luminance image, a region having a high luminance value is extracted as a high luminance region with a preset image size,
9. The vehicle detection method according to claim 8, wherein an image size of the preset high luminance area is changed based on a temporal change of a luminance value of the luminance image.
複数の高輝度領域の位置関係を検出し、
2つの高輝度領域が左右対称である場合に、2つの高輝度領域を同一の他車両による高輝度領域としてグループ化することを特徴とする請求項8に記載の車両検出方法。When extracting the high brightness area,
Detects the positional relationship between multiple high-luminance areas,
9. The vehicle detection method according to claim 8, wherein when the two high-luminance regions are symmetric, the two high-luminance regions are grouped as high-luminance regions of the same other vehicle.
複数の高輝度領域の形状を比較し、
形状比較の結果に基づいて複数の高輝度領域を同一の他車両による高輝度領域としてグループ化することを特徴とする請求項8に記載の車両検出方法。When extracting the high brightness area,
Compare the shapes of multiple high brightness areas,
9. The vehicle detection method according to claim 8, wherein a plurality of high-luminance areas are grouped as high-luminance areas by the same other vehicle based on a result of the shape comparison.
複数の高輝度領域の画像内距離を検出し、
上記画像内距離の時間的変化に基づいて時間的に前後する輝度画像内の高輝度領域の画像サイズを同じにするように輝度画像の画像サイズを変更することを特徴とする請求項8に記載の車両検出方法。When extracting the high brightness area,
Detect distances in the image of multiple high brightness areas,
The image size of a brightness image is changed so that the image size of a high brightness area in a brightness image which temporally changes before and after may be the same based on a temporal change of the intra-image distance. Vehicle detection method.
複数の高輝度領域をグループ化した場合に、
複数の高輝度領域の画像内傾きを検出し、
上記画像内傾きの時間的変化に基づいて時間的に前後する輝度画像内の高輝度領域の画像内傾きを同じにするように輝度画像を回転させることを特徴とする請求項8に記載の車両検出方法。When extracting the high brightness area,
When multiple high brightness areas are grouped,
Detects tilt in the image of multiple high brightness areas,
The vehicle according to claim 8, wherein the brightness image is rotated based on the temporal change of the tilt in the image such that the tilt in the image of the high brightness area in the brightness image that precedes and succeeds in time is the same. Detection method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002167220A JP2004013592A (en) | 2002-06-07 | 2002-06-07 | Vehicle detection device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002167220A JP2004013592A (en) | 2002-06-07 | 2002-06-07 | Vehicle detection device and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004013592A true JP2004013592A (en) | 2004-01-15 |
Family
ID=30434537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002167220A Pending JP2004013592A (en) | 2002-06-07 | 2002-06-07 | Vehicle detection device and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004013592A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008186344A (en) * | 2007-01-31 | 2008-08-14 | Fuji Heavy Ind Ltd | Leading vehicle detection device |
| KR101624426B1 (en) | 2014-12-18 | 2016-05-25 | 주식회사 만도 | Vehicle detection system |
| US20210089797A1 (en) * | 2018-06-12 | 2021-03-25 | Conti Temic Microelectronic Gmbh | Method for Detecting Beacons |
| JP2022068569A (en) * | 2020-10-22 | 2022-05-10 | アルプスアルパイン株式会社 | Succeeding vehicle detection system |
-
2002
- 2002-06-07 JP JP2002167220A patent/JP2004013592A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008186344A (en) * | 2007-01-31 | 2008-08-14 | Fuji Heavy Ind Ltd | Leading vehicle detection device |
| DE102008006951B4 (en) | 2007-01-31 | 2019-05-29 | Subaru Corporation | Detection system for vehicles in front |
| KR101624426B1 (en) | 2014-12-18 | 2016-05-25 | 주식회사 만도 | Vehicle detection system |
| US20210089797A1 (en) * | 2018-06-12 | 2021-03-25 | Conti Temic Microelectronic Gmbh | Method for Detecting Beacons |
| US12014632B2 (en) * | 2018-06-12 | 2024-06-18 | Conti Temic Microelectronic Gmbh | Method for detecting beacons |
| JP2022068569A (en) * | 2020-10-22 | 2022-05-10 | アルプスアルパイン株式会社 | Succeeding vehicle detection system |
| JP7592360B2 (en) | 2020-10-22 | 2024-12-02 | アルプスアルパイン株式会社 | Rear Vehicle Detection System |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4622001B2 (en) | Road lane marking detection apparatus and road lane marking detection method | |
| EP2639742A2 (en) | Vehicle periphery monitoring apparatus | |
| JP6569385B2 (en) | Vehicle detection device, vehicle detection system, vehicle detection method, and vehicle detection program | |
| JP5774770B2 (en) | Vehicle periphery monitoring device | |
| JP5127182B2 (en) | Object detection device | |
| JP2008242571A (en) | Object detection device | |
| JP2000030197A (en) | Hot body detector | |
| US20150054955A1 (en) | Image processing method of vehicle camera and image processing apparatus using the same | |
| JP5065172B2 (en) | Vehicle lighting determination device and program | |
| JP2009265722A (en) | Face direction sensing device | |
| JP6543050B2 (en) | Obstacle detection device and obstacle detection method | |
| JP6701327B2 (en) | Glare detection method and device | |
| JP7201706B2 (en) | Image processing device | |
| JP5353531B2 (en) | Vehicle light recognition device and program | |
| JP6949090B2 (en) | Obstacle detection device and obstacle detection method | |
| Soga et al. | Pedestrian detection for a near infrared imaging system | |
| JP2006048238A (en) | Image processing apparatus and image processing program | |
| JP2004013592A (en) | Vehicle detection device and method | |
| CN113632450B (en) | Imaging system and image processing apparatus | |
| JP2006339960A (en) | Object detection apparatus and object detection method | |
| JP2012103748A (en) | Road section line recognition device | |
| US20240312223A1 (en) | Image processing apparatus | |
| JP3787783B2 (en) | Object traveling direction detection method | |
| JP5907405B2 (en) | Image analysis apparatus and object detection apparatus using the same | |
| JP2008257399A (en) | Image processing device |