[go: up one dir, main page]

JP2004013592A - Vehicle detection device and method - Google Patents

Vehicle detection device and method Download PDF

Info

Publication number
JP2004013592A
JP2004013592A JP2002167220A JP2002167220A JP2004013592A JP 2004013592 A JP2004013592 A JP 2004013592A JP 2002167220 A JP2002167220 A JP 2002167220A JP 2002167220 A JP2002167220 A JP 2002167220A JP 2004013592 A JP2004013592 A JP 2004013592A
Authority
JP
Japan
Prior art keywords
luminance
image
brightness
vehicle
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002167220A
Other languages
Japanese (ja)
Inventor
Hidekazu Nishiuchi
西内 秀和
Hiroshi Takahashi
高橋 宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2002167220A priority Critical patent/JP2004013592A/en
Publication of JP2004013592A publication Critical patent/JP2004013592A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】自車両周囲の照度が低い場合であって検出対象の他車両が移動する場合であっても、他車両を確実に検出する。
【解決手段】自車両周囲の他車両などの物体を検出するに際して、先ず、自車両周囲を複数フレームに亘って連続して撮像した輝度画像11,12,13内に含まれる高輝度領域11A,12A,13Aを抽出する。そして、この車両検出装置では、高輝度領域11A,12A,13Aを抽出した時間的に前後する複数フレーム間の輝度画像内の高輝度領域の同定をし、高輝度領域11A,12A,13Aのフレーム間における位置情報を用い、複数フレーム間にて同定した高輝度領域11A,12A,13Aを重ねるように輝度画像の輝度値を積分して積分画像21を作成し、作成した積分画像21から他車両を検出する。
【選択図】   図2
An object of the present invention is to reliably detect another vehicle even when the illuminance around the own vehicle is low and the other vehicle to be detected moves.
When detecting an object such as another vehicle around a host vehicle, first, a high brightness area included in a brightness image, which is obtained by continuously imaging the host vehicle over a plurality of frames, is provided. Extract 12A and 13A. In this vehicle detection device, the high-brightness areas 11A, 12A, and 13A are extracted, and the high-brightness areas in the brightness image between a plurality of temporally preceding and succeeding frames are identified, and the frames of the high-brightness areas 11A, 12A, and 13A are identified. The integrated image 21 is created by integrating the brightness values of the brightness images so as to overlap the high brightness regions 11A, 12A, and 13A identified over a plurality of frames using the positional information between the frames, and an integrated vehicle 21 is created from the created integrated image 21. Is detected.
[Selection] Fig. 2

Description

【0001】
【発明の属する技術分野】
本発明は、車両前方や車両後方の画像を撮像して画像処理をして自車両周囲の他車両を検出する車両検出装置及び方法に関し、特に、夜間など車両周囲の明度が低い場合に他車両を検出する車両検出装置及び方法に関する。
【0002】
【従来の技術】
従来より、自車両周囲を車載カメラにて撮像して、撮像した画像を用いて近傍の他車両を検出する車両検出装置が知られている。このような車両検出装置では、特に、カメラを使用した場合に、周囲の照度が低くカメラの感度が低いような環境下においても確実に他車両を検出できることが重要となる。
【0003】
自車両周囲の照度が低い場合でも確実に車両を検出する手法は多く知られているが、その一手法として、カメラから連続的に入力される画像を重ね合せて画像感度を向上させる画像積分処理を行うものがある。この画像積分処理では、カメラの入射光量を増加させる露光制御と比べ、処理の多様性、コスト面など多くの利点がある。
【0004】
このように画像積分処理を使用し、自車両周囲の照度が低い場合でも確実に車両を検出する従来の技術としては、特開平11−96367号公報に記載のものがある。この従来の技術では、自車両周囲の照度が低い場合でも確実に車両を検出する方法として有効ではあるが、連続的に入力される画像を単純に積分すると、自車両に対して他車両が移動した場合に、他車両画像の輪郭部分が尾を引くようになり、輪郭部分が明確でない画像となってしまって他車両の検出が困難になるという問題がある。
【0005】
これに対し、従来の技術では、移動物検出などに用いられる差分画像処理を用い、時間経過に対する画像輝度値の差分変化が少なく自車両に対して他車両が静止している点の重みを大きくして画像積分し、時間経過に対する画像輝度値の差分変化が多く自車両に対して他車両が移動している点の重みを小さくして画像積分していた。これにより、画像感度を向上すると共に、移動物体などが尾を引いて画像ぼけを起こすことがほとんどない積分画像を算出できるため、自車両周囲の照度が低い場合でも確実に他車両を検出していた。
【0006】
【発明が解決しようとする課題】
しかしながら、上述の従来の技術では、撮像画像上の他車両の動きに応じて積分の重みを変えているため、自車両に対する他車両の動きの大きい点は画像積分による感度向上が望めない。すなわち、従来の技術では、検出対象とする他車両が移動している画像領域を積分するに際して、輝度値の重みを小さくしているので、画像積分による感度向上処理が行なわれないことになってしまう。したがって、従来の技術では、移動する他車両の感度を向上することができないため、周囲の照度が低い状況では検出することが困難となっていた。
【0007】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、自車両周囲の照度が低い場合であって検出対象の他車両が移動する場合であっても、他車両を確実に検出することができる車両検出装置及び方法を提供するものである。
【0008】
【課題を解決するための手段】
本発明は、自車両周囲の他車両などの物体を検出するに際して、先ず、自車両周囲を複数フレームに亘って連続して撮像した輝度画像内に含まれる高輝度領域を抽出する。そして、この車両検出装置では、高輝度領域を抽出した時間的に前後する複数フレーム間の輝度画像内の高輝度領域の同定をし、高輝度領域のフレーム間における位置情報を用い、複数フレーム間にて同定した高輝度領域を重ねるように輝度画像の輝度値を積分して積分画像を作成し、作成した積分画像から他車両を検出することにより、上述の課題を解決する。
【0009】
【発明の効果】
本発明によれば、高輝度領域を抽出した時間的に前後する複数フレーム間の輝度画像内の高輝度領域の同定をし、高輝度領域のフレーム間における位置情報を用い、複数フレーム間にて同定した高輝度領域を重ねるように輝度画像の輝度値を積分して積分画像を作成するので、他車両が移動して輝度画像内の位置が変化する場合であっても、他車両の画像領域にて十分な輝度階調を得ることができる。
【0010】
また、この車両検出装置によれば、自車両周囲の照度が低い場合に他車両が移動する場合であっても、他車両の画像領域にて十分な輝度階調を得ることができる。
【0011】
【発明の実施の形態】
以下、本発明の第1実施形態及び第2実施形態について図面を参照して説明する。
【0012】
[第1実施形態]
本発明は、例えば図1に示すように構成された第1実施形態に係る車両検出装置に適用される。
【0013】
[第1実施形態に係る車両検出装置の構成]
第1実施形態に係る車両検出装置は、図1に示すように、例えば車両前方が撮像方向とされて自車両周囲からの光を入射するように設けられたカメラ1、自車両の内部に設けられた入力画像メモリ2、制御演算部3、積分画像メモリ4、車両運転者から視認可能な位置に設けられたディスプレイ5、例えば車両運転者に対する放音機構などで構成された警報装置6を有する。
【0014】
カメラ1は、本例において車両前部に設けられ、車両前方を撮像して撮像画像を生成する。このカメラ1にて生成された撮像画像は、例えば所定時間ごとに連続して入力画像メモリ2に入力され、入力画像メモリ2にてディジタル値に変換され、時間的に連続した複数フレームの輝度画像として保持される。
【0015】
制御演算部3は、入力画像メモリ2に保持された複数フレームに亘る輝度画像を用いて他車両検出処理をして、その検出結果をディスプレイ5に表示したり、自車両と他車両との距離が所定距離よりも近い場合などに警報装置6を駆動して警告を促したりする。
【0016】
この制御演算部3は、他車両検出処理を行うに際して、入力画像メモリ2から輝度画像を読み出して輝度画像内の高輝度点を抽出し、抽出した各高輝度点のフレーム間の対応付けを行って、対応付けの結果からフレーム間の高輝度点が重なるように各フレームの輝度画像を積分して、積分画像を積分画像メモリ4に記憶する。このとき、制御演算部3は、各高輝度点毎の積分画像を積分画像メモリ4に保持させる。そして、制御演算部3は、積分画像メモリ4から積分画像を読出して他車両検出を実施する。この制御演算部3は、処理の結果から他車両が検出された場合は、車両位置、車両サイズなどの車両情報を算出し、ディスプレイ5及び警報装置6の動作を制御する。
【0017】
図2に、制御演算部3により抽出した高輝度点毎に積分処理をして積分画像を作成する処理について示す。図2に示した一例では、他車両が先行車両であって、夜間走行をしているときの左側テールランプを高輝度点として抽出した場合を示す。
【0018】
車両検出装置では、カメラ1によりフレームF1,F2,F3の順に連続して輝度画像11,12,13を入力した場合、制御演算部3により各輝度画像11〜13を入力するごとに左テールランプを高輝度点11A,12A,13Aとして抽出する。このとき、制御演算部3では、輝度画像11〜13にて他車両の左テールランプの画像内位置が異なる場合であっても、前後するフレーム間で例えばマッチング処理などをして対応付けして、高輝度点11A,12A,13Aを抽出する。
【0019】
そして、各高輝度点11A〜13Aを重ねるように輝度画像を積分することにより、積分画像21を得る。これにより、他車両の検出部位として左テールランプを高輝度点として一致させて、検出対象とした左テールランプを構造に含む他車両を明瞭にした積分画像21を取得する。すなわち、制御演算部3では、高輝度な点に着目して、各輝度画像11〜13における同じ高輝度点を重なるように積分することで、十分な階調を有する積分画像21が算出できるため、確実な車両検出が可能となる。
【0020】
図3に、上述の高輝度点を含む高輝度領域を抽出する手法を説明する図を示す。図3も、図2に示した場合と同様に検出対象を他車両の左テールランプとした場合を示している。
【0021】
制御演算部3は、例えばフレームF1において高輝度点を検出したときに、図3(a)に示すように高輝度領域(初期高輝度領域)31を設定する。この初期高輝度領域31は、輝度画像内にて最も高輝度の点を中心とした予め設定された画像サイズの画像領域を設定する。
【0022】
そして、連続して輝度画像12,13が入力されると、輝度画像12,13の輝度値変化(輝度分布)を観測する。ここで、図3(b)に示すように、対象物(他車両の左テールランプ)の存在する画像領域の輝度分布は不変であり(図3(b)の網掛け部分)、対象物外の画像領域の輝度分布は変化が発生することを利用して(図3(b)の白抜き部分)、制御演算部3は、輝度分布の変化が発生しない画像領域方向に高輝度領域を変更する。すなわち、図3(b)中の初期高輝度領域31を矢印の方向に変更することで、他車両方向において高輝度領域を拡大する。
【0023】
この結果、図3(c)に示すように、初期高輝度領域31を他車両全体を含む高輝度領域32を制御演算部3により設定することができる。
【0024】
[第1実施形態に係る車両検出装置による他車両検出処理]
つぎに、上述した車両検出装置において、前方の他車両を検出する他車両検出処理の処理手順について図4のフローチャートを参照して説明する。
【0025】
例えば車両が走行し始めると車両検出装置が起動し、先ず、カメラ1にて撮像方向を撮像して入力画像メモリ2に輝度画像を連続的に保持する処理を開始する。
【0026】
そして、ステップS1において、制御演算部3により入力画像メモリ2に保持されている輝度画像を取り込んでステップS2に処理を進める。
【0027】
ステップS2において、制御演算部3により、ステップS1で取り込まれた輝度画像の輝度情報を参照して、予め設定した所定の閾値と輝度値とを比較して二値化することで、高輝度点候補となる画素を抽出してステップS3に処理を進める。
【0028】
ステップS3において、制御演算部3により、ステップS2にて抽出した高輝度点候補のうち、隣接する高輝度点候補の画素を同一の高輝度点であるとしてグルーピング(グループ化)することにより、高輝度領域を抽出してステップS4に処理を進める。
【0029】
このとき、制御演算部3では、連続する複数のフレームにおける輝度画像についてステップS2の処理をして高輝度点を抽出して、更にステップS3にて高輝度領域を抽出する。
【0030】
ステップS4において、制御演算部3により、連続して入力した各輝度画像の高輝度領域について画像内位置の分散値を算出することで、各画素の輝度値変化の分散値を算出して、ステップS5に処理を進める。ここで、輝度画像を構成する画素ごとの輝度値がフレーム間において変化が大きい場合には分散値を大きくし、変化が小さい場合には分散値を小さくする。
【0031】
ステップS5において、制御演算部3により、ステップS4にて算出された各画素の分散値を参照して、分散値の小さい画素を含めるように高輝度領域の境界を拡大し、分散値の大きい画素を除くように高輝度領域の境界を縮小することで高輝度領域の画像サイズを初期高輝度領域31から変更するように設定してステップS6に処理を進める。
【0032】
ステップS6において、制御演算部3により、ステップS5にて画像サイズが設定された高輝度領域内の二値化画素の重心位置を算出してステップS7に処理を進める。このとき、制御演算部3は、高輝度領域を構成する画素の輝度値を参照して高輝度領域内の重心位置を算出する。
【0033】
ステップS7において、制御演算部3により、複数フレーム間に亘って抽出した各高輝度領域の形状及び位置情報を求め、複数フレーム間に亘る高輝度領域の同定を行ってステップS8に処理を進める。
【0034】
ステップS8において、制御演算部3により、ステップS7にて行った各高輝度領域のフレーム間同定回数が、予め設定した指定値以上か否かを判定する。制御演算部3によりステップS7の同定処理の結果、フレーム間同定回数が指定値に達したと判定したときにはステップS9に処理を進め、指定値に達していないと判定した場合にはステップS1に処理を戻す。すなわち、制御演算部3により、複数フレーム間にてステップS1〜ステップS7の処理を繰り返して行うことで、各高輝度領域ごとのフレーム間同定回数が指定値に達したらステップS9に処理を進める。
【0035】
ステップS9において、制御演算部3により、ステップS1〜ステップS8で算出した高輝度領域の重心位置情報をもとに、各フレームにおける高輝度領域の重心位置が重なるようにステップS5で算出した高輝度領域サイズで画像積分を実施してステップS10に処理を進める。
【0036】
ステップS10において、ステップS9にて算出した積分画像のエッジ検出処理を行い、このエッジ検出処理の結果、エッジとして検出され、処理対象とした高輝度点を含む対象物(他車両)の形状を抽出してステップS11に処理を進める。
【0037】
ステップS11において、制御演算部3により、ステップS10にて抽出した対象物の形状と、予め用意して記憶された車両モデルとのパターンマッチングを行い、検出車両とのマッチング度合い(以下、相関度と呼ぶ。)を算出してステップS12に処理を進める。
【0038】
ステップS12において、制御演算部3により、ステップS11にて算出した相関度が予め設定した指定値以上か否かを判定し、指定値以上である場合にはステップS13に処理を進め、前方に他車両が存在すると判定して処理を終了する。ここで、予め設定した指定値とは、ステップS10にて抽出した対象物形状を車両と認めるしきい値である。一方、ステップS12にて相関度が指定値以上でないと判定した場合は、前方に存在する対象物が車両ではないと判定して処理を終了する。
【0039】
[第1実施形態の効果]
以上詳細に説明したように、第1実施形態に係る車両検出装置によれば、各フレームにて抽出した高輝度領域の重心位置を重ねて積分画像を作成して他車両を検出するので、他車両が移動して輝度画像内の位置が変化する場合や、自車両のピッチングなどによりカメラ1の位置が移動した場合であっても、他車両の画像領域にて十分な輝度階調を得ることができる。また、この車両検出装置によれば、例えば夜間走行などをしていて自車両周囲の照度が低い場合に他車両が移動する場合であっても、他車両の画像領域にて十分な輝度階調を得ることができる。
【0040】
また、この車両検出装置によれば、高輝度点を抽出して高輝度点の分布の時間的な変化の発生の有無に応じて、高輝度領域の画像サイズを変更するようにしたので、その構造が不変である他車両の全領域を高輝度領域とすることができる。したがって、この車両検出装置によれば、周囲の照度が低い場合であって他車両のライト部分のみならず他車両全体を用いてパターンマッチングなどを行うことができ、確実に他車両を検出することができる。
【0041】
[第2実施形態]
つぎに、第2実施形態に係る車両検出装置について説明する。なお、以下の説明では、上述の第1実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【0042】
[第2実施形態に係る車両検出装置の動作]
図5に、制御演算部3により高輝度点をグループ化するときの処理について説明する図を示す。
【0043】
この例では、自車両の前方に第1車両41、第2車両42の2台の他車両が存在する場合、各第1車両41及び第2車両42がテールランプを2つ有するので、制御演算部3では、第1車両41による第1高輝度領域51及び第2高輝度領域52、第2車両42による第3高輝度領域53及び第4高輝度領域54を抽出する。
【0044】
ここで、第1高輝度領域51と第2高輝度領域52とは第1車両41のテールランプによるものであり、第3高輝度領域53と第4高輝度領域54とは第2車両42のテールランプによるものであるので、自車両から撮像した場合には左右対称となっている。また、第1高輝度領域51及び第2高輝度領域52と第3高輝度領域53及び第4高輝度領域54とは、異なる車両のテールランプによるものであるので、形状における関連性はない。
【0045】
このような各高輝度領域の性質から、複数の他車両が自車両の前方に存在する場合には、制御演算部3は、各高輝度領域51〜54の左右対称であることを条件として車両ライトのグルーピングを行い、第1車両41と第2車両42とを区分してグルーピングをして高輝度領域を設定することができる。
【0046】
図6に、自車両と他車両との距離に応じて、カメラ1により撮像した輝度画像のサイズを変更して積分画像を作成する処理を説明する図を示す。
【0047】
制御演算部3は、フレームF1、F2にて輝度画像61,62をそれぞれ撮像して他車両の高輝度領域を抽出して左右対称のテールランプの間隔W1,W2を求める。ここで、フレームF1からフレームF2となったときに自車両と他車両との距離が異なる場合には、他車両の画像サイズが異なり、テールランプ間隔W1とテールランプ間隔W2とが異なる。
【0048】
この場合、制御演算部3は、同一対象物の高輝度点(テールランプ)間のサイズW1、W2より画像サイズの変化率(W2/W1)を算出し、フレームF1の輝度画像61を拡大する。これにより、制御演算部3は、拡大したフレームF1の輝度画像61’の他車両の画像サイズと、フレームF2の輝度画像62の他車両の画像サイズとを同じにし、輝度画像61’と輝度画像62とを用いて積分画像を作成する。
【0049】
図7に、車両挙動(ロール)による画像回転が発生した場合に積分画像を作成する処理を説明する図を示す。
【0050】
制御演算部3は、フレームF1、F2にて輝度画像61,62をそれぞれ撮像して他車両の高輝度領域を抽出したときに、左右対称のテールランプを結ぶ線71と画像水平線72とがなす傾き角θを求める。ここで、フレームF1にて傾き角θ1からフレームF2にて傾き角θ2となった場合には、各傾き角θ1、θ2から回転変化による差分角度(θ2−θ1)を算出し、差分角だけ輝度画像61を回転させてテールランプを結ぶ線71と画像水平線72との傾き角をθ2とする。そして、制御演算部3は、回転させた輝度画像61’と輝度画像62とを用いて画像積分を行う。
【0051】
[第2実施形態に係る車両検出装置による他車両検出処理]
つぎに、上述した第2実施形態に係る車両検出装置において、前方の他車両を検出する他車両検出処理の処理手順について図8のフローチャートを参照して説明する。なお、第1実施形態における他車両検出処理と同じ処理について同一のステップ番号を付することによりその詳細な説明を省略する。
【0052】
第2実施形態に係る車両検出装置による他車両検出処理では、ステップS2の次に、上述のステップS3と同様の処理ではあるが、ステップS21において、第1段階のグルーピングとして1次グルーピングをしてステップS4及びステップS5の処理をしてステップS22の2次グルーピングを行う。
【0053】
この2次グルーピングにおいては、制御演算部3により、ステップS4にて抽出した高輝度領域のうち、左右対称な高輝度領域を検出する。制御演算部3では、二値化画像内にて左右対称な高輝度領域を検出した場合には、同一車両の高輝度領域としてグループ化してステップS6に処理を進める。このとき、制御演算部3では、異なる複数の他車両が二値化画像内に存在する場合には、高輝度領域の形状を比較して、異なる車両による高輝度領域を識別してグループ化する。すなわち、制御演算部3では、例えば図5に示すように、左右対称のテールランプをグループ化する。
【0054】
ステップS6にて重心点を検出した後のステップS23において、制御演算部3により、ステップS22にてグループ化した高輝度領域の高輝度点間の画像距離を算出してステップS24に処理を進める。
【0055】
ステップS24において、制御演算部3により、ステップS22にてグループ化された高輝度領域の高輝度点を結ぶ線分(線71)の路面(画像水平線72)に対する傾き角θを算出してステップS7に処理を進め、ステップS7における同定回数が指定値以上となったらステップS9に処理を進める。
【0056】
このステップS9にて積分画像を作成するに際して、制御演算部3では、ステップS23にて算出した画像サイズに基づいて、前後するフレームの二値化画像内の高輝度領域が同じになるように画像サイズの変更をし、更に、ステップS24にて算出した傾き角に基づいて、前後するフレームの二値化画像内の高輝度領域が同じ傾き角となるように画像を回転させる。これにより、図6及び図7に示したように積分画像を作成してステップS10以降の処理を行う。
【0057】
[第2実施形態の効果]
以上詳細に説明したように、第2実施形態に係る車両検出装置によれば、図5及びステップS22にて説明したように、近傍の高輝度領域の形状比較をし、左右対称の高輝度領域をグループ化するようにしたので、周囲の照度が低い状況において、複数の高輝度点が観測されても、その高輝度点を持つ物体(車両)毎にグルーピングして他車両を確実に検出することができる。
【0058】
また、この車両検出装置によれば、グループ化した複数の高輝度領域の間隔を検出して、連続的に入力したフレーム間の間隔変化に応じて画像サイズを拡大(または縮小)して画像積分をするので、他車両の距離が異なる場合であっても十分な階調の積分画像を得ることができる。したがって、この車両検出装置によれば、周囲の照度が低い状況において、他車両が近づいたり離れたりしても、確実に他車両を検出することができる。
【0059】
更に、この車両検出装置によれば、グループ化した複数の高輝度領域の画像水平線に対する傾き角を検出して、連続的に入力したフレーム間の傾き角変化に応じて二値化画像を回転させて画像積分をするので、他車両がロールした場合やカメラ1が傾いた場合であっても、十分な階調の画像を得ることができる。したがって、この車両検出装置によれば、周囲の照度が低い状況において、他車両がロールしても確実に検出することができる。
【0060】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図1】本発明を適用した第1実施形態に係る車両検出装置の構成を示すブロック図である。
【図2】制御演算部により、抽出した高輝度点毎に積分処理をして積分画像を作成する処理を説明するための図である。
【図3】高輝度点を含む高輝度領域を抽出する手法を説明する図であって、(a)は初期高輝度領域を設定した場合を示し、(b)は初期高輝度領域の画像サイズを変更する場合を示し、(c)は他車両全体の高輝度領域を設定した場合を示す。
【図4】本発明を適用した第1実施形態に係る車両検出装置において、前方の他車両を検出する他車両検出処理の処理手順を示すフローチャートである。
【図5】本発明を適用した第2実施形態に係る車両検出装置において、制御演算部により高輝度点をグループ化するときの処理について説明する図である。
【図6】自車両と他車両との距離に応じて、カメラにより撮像した輝度画像のサイズを変更して積分画像を作成する処理を説明する図である。
【図7】車両挙動(ロール)による画像回転が発生した場合に積分画像を作成する処理を説明する図である。
【図8】本発明を適用した第2実施形態に係る車両検出装置において、前方の他車両を検出する他車両検出処理の処理手順を示すフローチャートである。
【符号の説明】
1 カメラ
2 入力画像メモリ
3 制御演算部
4 積分画像メモリ
5 ディスプレイ
6 警報装置
21 積分画像
31 初期高輝度領域
32 高輝度領域
41 第1車両
42 第2車両
51 第1高輝度領域
52 第2高輝度領域
53 第3高輝度領域
54 第4高輝度領域
61,62 輝度画像
71 線
72 画像水平線
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicle detection device and method for capturing an image in front of a vehicle or behind a vehicle and performing image processing to detect other vehicles around the own vehicle, and particularly to other vehicles when the brightness around the vehicle is low such as at night. The present invention relates to a device and a method for detecting a vehicle.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been known a vehicle detection device that captures an image of the surroundings of a host vehicle using an in-vehicle camera and detects a nearby other vehicle using the captured image. In such a vehicle detection device, particularly when a camera is used, it is important to be able to reliably detect another vehicle even in an environment where ambient illuminance is low and the sensitivity of the camera is low.
[0003]
There are many known methods for reliably detecting a vehicle even when the illuminance around the own vehicle is low. As one of the methods, image integration processing for improving image sensitivity by superimposing images continuously input from a camera is proposed. There is something to do. This image integration process has many advantages, such as versatility and cost, as compared to exposure control that increases the amount of incident light on the camera.
[0004]
As a conventional technique for reliably detecting a vehicle even when the illuminance around the own vehicle is low by using the image integration processing as described above, there is a technique disclosed in Japanese Patent Application Laid-Open No. H11-96367. This conventional technique is effective as a method for reliably detecting a vehicle even when the illuminance around the own vehicle is low. However, simply integrating a continuously input image allows another vehicle to move with respect to the own vehicle. In such a case, there is a problem that the contour portion of the other vehicle image becomes trailing, and the contour portion becomes an unclear image, making it difficult to detect the other vehicle.
[0005]
On the other hand, in the related art, the difference image processing used for moving object detection and the like is used, and the difference in the image luminance value over time is small, and the weight of the point at which the other vehicle is stationary with respect to the own vehicle is increased. Then, image integration is performed, and the weight of the point at which the other vehicle is moving relative to the own vehicle is small, since the difference in the image luminance value changes with time, and the image integration is performed. As a result, the image sensitivity can be improved, and an integrated image can be calculated in which the moving object or the like hardly causes a blur due to trailing of the moving object. Therefore, even when the illuminance around the own vehicle is low, the other vehicle can be reliably detected. Was.
[0006]
[Problems to be solved by the invention]
However, in the above-described related art, since the weight of integration is changed according to the movement of the other vehicle on the captured image, the sensitivity of the point at which the movement of the other vehicle relative to the own vehicle is large cannot be improved by image integration. That is, in the related art, when integrating the image area in which another vehicle to be detected is moving, the weight of the luminance value is reduced, so that the sensitivity improvement processing by the image integration is not performed. I will. Therefore, in the related art, since the sensitivity of another moving vehicle cannot be improved, it has been difficult to detect in a situation where the surrounding illuminance is low.
[0007]
Therefore, the present invention has been proposed in view of the above-described circumstances, and reliably detects another vehicle even when the illuminance around the own vehicle is low and the other vehicle to be detected moves. The present invention provides a vehicle detection device and a vehicle detection method capable of detecting a vehicle.
[0008]
[Means for Solving the Problems]
According to the present invention, when detecting an object such as another vehicle around the own vehicle, first, a high-brightness area included in a brightness image continuously imaged over a plurality of frames around the own vehicle is extracted. The vehicle detection device identifies a high-luminance area in a luminance image between a plurality of temporally preceding and succeeding frames from which the high-luminance area is extracted, and uses the position information between the frames of the high-luminance area to determine a high-luminance area. In order to solve the above-described problem, the integrated image is created by integrating the brightness values of the brightness image so as to overlap the high brightness region identified in the above, and another vehicle is detected from the created integrated image.
[0009]
【The invention's effect】
According to the present invention, a high-luminance area is identified in a luminance image between a plurality of temporally preceding and succeeding frames from which a high-luminance area is extracted, and position information between frames of the high-luminance area is used to identify the high-luminance area. Since the integrated image is created by integrating the luminance values of the luminance image so as to overlap the identified high-luminance area, even when another vehicle moves and the position in the luminance image changes, the image area of the other vehicle is changed. , A sufficient luminance gradation can be obtained.
[0010]
Further, according to the vehicle detection device, even when another vehicle moves when the illuminance around the own vehicle is low, a sufficient luminance gradation can be obtained in the image area of the other vehicle.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a first embodiment and a second embodiment of the present invention will be described with reference to the drawings.
[0012]
[First Embodiment]
The present invention is applied to, for example, a vehicle detection device according to the first embodiment configured as shown in FIG.
[0013]
[Configuration of the vehicle detection device according to the first embodiment]
As shown in FIG. 1, a vehicle detection device according to the first embodiment is provided with a camera 1 provided so that light from the surroundings of the own vehicle is incident with the front of the vehicle as an imaging direction, and provided inside the own vehicle. Input image memory 2, control operation unit 3, integral image memory 4, display 5 provided at a position visible to the vehicle driver, and alarm device 6 including, for example, a sound emission mechanism for the vehicle driver. .
[0014]
The camera 1 is provided in the front part of the vehicle in the present example, and captures an image in front of the vehicle to generate a captured image. A captured image generated by the camera 1 is continuously input to the input image memory 2 at predetermined time intervals, converted into a digital value by the input image memory 2, and a luminance image of a plurality of temporally continuous frames, for example. Is held as
[0015]
The control calculation unit 3 performs other vehicle detection processing using the luminance images over a plurality of frames held in the input image memory 2, displays the detection result on the display 5, and displays the distance between the own vehicle and the other vehicle. When the distance is shorter than a predetermined distance, the warning device 6 is driven to issue a warning.
[0016]
When performing the other vehicle detection process, the control operation unit 3 reads out the luminance image from the input image memory 2, extracts the high luminance points in the luminance image, and associates the extracted high luminance points between the frames. Then, the luminance images of each frame are integrated so that the high luminance points between the frames overlap from the result of the association, and the integrated images are stored in the integrated image memory 4. At this time, the control calculation unit 3 causes the integrated image memory 4 to store the integrated image for each high luminance point. Then, the control calculation unit 3 reads out the integral image from the integral image memory 4 and performs other vehicle detection. When another vehicle is detected from the processing result, the control calculation unit 3 calculates vehicle information such as a vehicle position and a vehicle size, and controls operations of the display 5 and the alarm device 6.
[0017]
FIG. 2 shows a process of creating an integrated image by performing an integration process for each high-luminance point extracted by the control calculation unit 3. In the example shown in FIG. 2, a case is shown in which the other vehicle is a preceding vehicle and the left tail lamp when the vehicle is running at night is extracted as a high luminance point.
[0018]
In the vehicle detection device, when the luminance images 11, 12, and 13 are successively input by the camera 1 in the order of frames F1, F2, and F3, the control arithmetic unit 3 turns on the left tail lamp each time the luminance images 11 to 13 are input. It is extracted as high brightness points 11A, 12A, and 13A. At this time, even when the positions of the left tail lamps of the other vehicles in the images are different in the luminance images 11 to 13, the control calculation unit 3 associates the preceding and succeeding frames by performing, for example, a matching process or the like. High brightness points 11A, 12A and 13A are extracted.
[0019]
Then, the integral image 21 is obtained by integrating the luminance images such that the high luminance points 11A to 13A overlap. As a result, the left tail lamp is matched as a high brightness point as a detection portion of another vehicle, and an integrated image 21 in which the other vehicle including the left tail lamp to be detected is included in the structure is obtained. That is, since the control calculation unit 3 focuses on the high-brightness points and integrates the same high-brightness points in each of the brightness images 11 to 13 so as to overlap, the integrated image 21 having a sufficient gradation can be calculated. Thus, the vehicle can be reliably detected.
[0020]
FIG. 3 is a diagram illustrating a method for extracting a high-luminance area including the above-described high-luminance points. FIG. 3 also shows a case where the detection target is the left tail lamp of another vehicle, as in the case shown in FIG.
[0021]
For example, when detecting a high luminance point in the frame F1, the control calculation unit 3 sets a high luminance area (initial high luminance area) 31 as shown in FIG. The initial high luminance area 31 sets an image area of a preset image size centered on the point of the highest luminance in the luminance image.
[0022]
Then, when the luminance images 12 and 13 are continuously input, a change in luminance value (luminance distribution) of the luminance images 12 and 13 is observed. Here, as shown in FIG. 3B, the luminance distribution of the image area where the object (the left tail lamp of another vehicle) exists is unchanged (the shaded portion in FIG. 3B), and Utilizing the fact that the luminance distribution of the image area changes (open portion in FIG. 3B), the control calculation unit 3 changes the high luminance area in the image area direction where the luminance distribution does not change. . That is, by changing the initial high-brightness area 31 in FIG. 3B in the direction of the arrow, the high-brightness area is enlarged in the other vehicle direction.
[0023]
As a result, as shown in FIG. 3 (c), the control arithmetic unit 3 can set the initial high-luminance area 31 and the high-luminance area 32 including the entire other vehicle.
[0024]
[Other vehicle detection processing by the vehicle detection device according to the first embodiment]
Next, a processing procedure of another vehicle detection processing for detecting another vehicle ahead in the above-described vehicle detection device will be described with reference to a flowchart of FIG.
[0025]
For example, when the vehicle starts to run, the vehicle detection device is activated, and firstly, the camera 1 starts capturing an image in an image capturing direction and continuously stores a luminance image in the input image memory 2.
[0026]
Then, in step S1, the control arithmetic unit 3 captures the luminance image held in the input image memory 2, and proceeds to step S2.
[0027]
In step S2, the control calculation unit 3 refers to the luminance information of the luminance image captured in step S1, compares the luminance value with a predetermined threshold value set in advance, and binarizes the luminance value. A candidate pixel is extracted, and the process proceeds to step S3.
[0028]
In step S3, the control arithmetic unit 3 groups adjacent pixels of the high-brightness point candidates among the high-brightness point candidates extracted in step S2 as being the same high-brightness point, thereby obtaining a high-brightness point. The luminance region is extracted, and the process proceeds to step S4.
[0029]
At this time, the control calculation unit 3 performs the processing of step S2 on the luminance images in a plurality of continuous frames to extract a high luminance point, and further extracts a high luminance area in step S3.
[0030]
In step S4, the control operation unit 3 calculates a variance value of a change in the brightness value of each pixel by calculating a variance value of a position in the image with respect to a high brightness area of each brightness image that is continuously input. The process proceeds to S5. Here, the variance value is increased when the luminance value of each pixel constituting the luminance image changes greatly between frames, and the variance value is decreased when the change is small.
[0031]
In step S5, the control operation unit 3 refers to the variance value of each pixel calculated in step S4, expands the boundary of the high-luminance region to include the pixel with the small variance value, and increases the pixel with the large variance value. Is set so that the image size of the high-brightness area is changed from the initial high-brightness area 31 by reducing the boundary of the high-brightness area, and the process proceeds to step S6.
[0032]
In step S6, the control calculation unit 3 calculates the barycentric position of the binarized pixel in the high-luminance area for which the image size has been set in step S5, and proceeds to step S7. At this time, the control calculation unit 3 calculates the position of the center of gravity in the high-luminance area with reference to the luminance values of the pixels constituting the high-luminance area.
[0033]
In step S7, the control calculation unit 3 obtains the shape and position information of each high-luminance region extracted over a plurality of frames, identifies the high-luminance region over a plurality of frames, and proceeds to step S8.
[0034]
In step S8, the control calculation unit 3 determines whether or not the number of times of inter-frame identification of each high-luminance area performed in step S7 is equal to or greater than a specified value set in advance. As a result of the identification processing in step S7 by the control operation unit 3, when it is determined that the number of times of inter-frame identification has reached the specified value, the process proceeds to step S9, and when it is determined that the number of times of inter-frame identification has not reached the specified value, the process proceeds to step S1. Back. That is, the processing of steps S1 to S7 is repeatedly performed for a plurality of frames by the control calculation unit 3, and the process proceeds to step S9 when the number of times of inter-frame identification for each high-luminance area reaches the specified value.
[0035]
In step S9, based on the center-of-gravity position information of the high-brightness area calculated in steps S1 to S8, the high-brightness calculated in step S5 by the control calculation unit 3 so that the center of gravity of the high-brightness area in each frame overlaps. Image integration is performed on the area size, and the process proceeds to step S10.
[0036]
In step S10, edge detection processing of the integrated image calculated in step S9 is performed, and as a result of the edge detection processing, the shape of an object (other vehicle) that is detected as an edge and includes a high luminance point to be processed is extracted. Then, the process proceeds to step S11.
[0037]
In step S11, the control calculation unit 3 performs pattern matching between the shape of the target object extracted in step S10 and a vehicle model prepared and stored in advance, and a matching degree with a detected vehicle (hereinafter, referred to as a correlation degree). Is calculated, and the process proceeds to step S12.
[0038]
In step S12, the control calculation unit 3 determines whether the degree of correlation calculated in step S11 is equal to or greater than a specified value set in advance, and if it is equal to or greater than the specified value, the process proceeds to step S13. It is determined that the vehicle exists, and the process ends. Here, the preset designated value is a threshold value at which the object shape extracted in step S10 is recognized as a vehicle. On the other hand, if it is determined in step S12 that the degree of correlation is not equal to or greater than the specified value, it is determined that the object existing ahead is not a vehicle, and the process ends.
[0039]
[Effects of First Embodiment]
As described in detail above, according to the vehicle detection device according to the first embodiment, since another vehicle is detected by creating an integral image by superimposing the center of gravity of the high-luminance area extracted in each frame, Even if the position in the luminance image changes due to the movement of the vehicle, or if the position of the camera 1 moves due to pitching of the own vehicle, etc., a sufficient luminance gradation is obtained in the image area of another vehicle. Can be. Further, according to the vehicle detection device, even if the other vehicle moves when the illuminance around the own vehicle is low, for example, when the vehicle is running at night, sufficient luminance gradation can be obtained in the image area of the other vehicle. Can be obtained.
[0040]
Further, according to this vehicle detection device, the high-luminance points are extracted, and the image size of the high-luminance area is changed according to the presence or absence of a temporal change in the distribution of the high-luminance points. The entire area of the other vehicle whose structure is invariable can be a high brightness area. Therefore, according to this vehicle detection device, even when the surrounding illuminance is low, pattern matching can be performed using not only the light portion of the other vehicle but also the entire other vehicle, and the other vehicle can be reliably detected. Can be.
[0041]
[Second embodiment]
Next, a vehicle detection device according to a second embodiment will be described. In the following description, the same parts as those in the above-described first embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0042]
[Operation of Vehicle Detecting Device According to Second Embodiment]
FIG. 5 is a diagram illustrating a process when the control calculation unit 3 groups high-luminance points.
[0043]
In this example, when two other vehicles, a first vehicle 41 and a second vehicle 42, are present in front of the host vehicle, each of the first vehicle 41 and the second vehicle 42 has two tail lamps. In step 3, a first high-luminance area 51 and a second high-luminance area 52 of the first vehicle 41 and a third high-luminance area 53 and a fourth high-luminance area 54 of the second vehicle 42 are extracted.
[0044]
Here, the first high brightness area 51 and the second high brightness area 52 are based on the tail lamp of the first vehicle 41, and the third high brightness area 53 and the fourth high brightness area 54 are based on the tail lamp of the second vehicle 42. Therefore, when an image is taken from the own vehicle, the image is left-right symmetric. In addition, the first high-luminance area 51 and the second high-luminance area 52 and the third high-luminance area 53 and the fourth high-luminance area 54 are formed by tail lamps of different vehicles, and thus have no relationship in shape.
[0045]
Due to the nature of each of the high-brightness areas, when a plurality of other vehicles are present in front of the host vehicle, the control calculation unit 3 sets the vehicle assuming that the high-brightness areas 51 to 54 are bilaterally symmetric. By grouping the lights, the first vehicle 41 and the second vehicle 42 can be divided and grouped to set a high luminance area.
[0046]
FIG. 6 is a diagram illustrating a process of changing the size of the luminance image captured by the camera 1 and generating an integrated image according to the distance between the own vehicle and another vehicle.
[0047]
The control calculation unit 3 captures the luminance images 61 and 62 in the frames F1 and F2, respectively, extracts a high luminance region of another vehicle, and obtains the symmetric tail lamp intervals W1 and W2. Here, when the distance between the host vehicle and the other vehicle is different from the frame F1 to the frame F2, the image size of the other vehicle is different, and the tail lamp interval W1 and the tail lamp interval W2 are different.
[0048]
In this case, the control calculation unit 3 calculates the change rate (W2 / W1) of the image size from the sizes W1 and W2 between the high brightness points (tail lamps) of the same object, and enlarges the brightness image 61 of the frame F1. Thereby, the control calculation unit 3 makes the image size of the other vehicle of the enlarged luminance image 61 ′ of the frame F1 equal to the image size of the other vehicle of the luminance image 62 of the frame F2, and makes the luminance image 61 ′ and the luminance image 62 to create an integral image.
[0049]
FIG. 7 is a diagram illustrating a process of creating an integral image when image rotation due to vehicle behavior (roll) occurs.
[0050]
When the luminance images 61 and 62 are captured in the frames F1 and F2, respectively, and the high luminance area of the other vehicle is extracted, the control calculation unit 3 tilts the line 71 connecting the symmetric tail lamps and the image horizontal line 72. Obtain the angle θ. Here, when the inclination angle θ1 is changed from the inclination angle θ1 in the frame F2 to the inclination angle θ2 in the frame F2, a difference angle (θ2−θ1) due to a rotation change is calculated from each of the inclination angles θ1 and θ2, and the luminance is calculated by the difference angle. The inclination angle between a line 71 connecting the tail lamps by rotating the image 61 and the image horizontal line 72 is defined as θ2. Then, the control calculation unit 3 performs image integration using the rotated luminance image 61 ′ and the luminance image 62.
[0051]
[Other vehicle detection processing by the vehicle detection device according to the second embodiment]
Next, in the vehicle detection device according to the second embodiment described above, a processing procedure of another vehicle detection processing for detecting another vehicle in front will be described with reference to a flowchart of FIG. Note that the same processes as those of the other vehicle detection process in the first embodiment are denoted by the same step numbers, and detailed description thereof is omitted.
[0052]
In the other vehicle detection process by the vehicle detection device according to the second embodiment, after step S2, the process is the same as step S3 described above, but in step S21, primary grouping is performed as the first-stage grouping. After performing the processing of steps S4 and S5, the secondary grouping of step S22 is performed.
[0053]
In the secondary grouping, the control calculation unit 3 detects a symmetric high luminance area from the high luminance areas extracted in step S4. If the control calculation unit 3 detects a symmetric high-luminance area in the binarized image, the control operation unit 3 groups the high-luminance areas as high-luminance areas of the same vehicle and proceeds to step S6. At this time, when a plurality of different vehicles exist in the binarized image, the control calculation unit 3 compares the shapes of the high-brightness areas to identify and group the high-brightness areas by different vehicles. . That is, the control calculation unit 3 groups the left and right symmetric tail lamps as shown in FIG. 5, for example.
[0054]
In step S23 after detecting the center of gravity in step S6, the control calculation unit 3 calculates the image distance between the high-brightness points of the high-brightness areas grouped in step S22, and proceeds to step S24.
[0055]
In step S24, the control calculation unit 3 calculates the inclination angle θ of the line (line 71) connecting the high luminance points of the high luminance areas grouped in step S22 with respect to the road surface (image horizontal line 72), and then proceeds to step S7. When the number of times of identification in step S7 is equal to or more than the specified value, the process proceeds to step S9.
[0056]
When creating the integral image in step S9, the control calculation unit 3 sets the image based on the image size calculated in step S23 such that the high-luminance areas in the binary images of the preceding and succeeding frames are the same. The size is changed, and based on the tilt angle calculated in step S24, the image is rotated so that the high-luminance areas in the binarized images of the preceding and succeeding frames have the same tilt angle. As a result, an integrated image is created as shown in FIGS. 6 and 7, and the processing after step S10 is performed.
[0057]
[Effect of Second Embodiment]
As described in detail above, according to the vehicle detection device according to the second embodiment, as described in FIG. 5 and step S22, the shapes of the nearby high-luminance regions are compared, and the left-right symmetric high-luminance regions are compared. Are grouped, so that even when a plurality of high-luminance points are observed in a situation where the surrounding illuminance is low, the other vehicles are reliably detected by grouping for each object (vehicle) having the high-luminance points. be able to.
[0058]
Further, according to the vehicle detection device, an interval between a plurality of grouped high-brightness areas is detected, and the image size is enlarged (or reduced) according to a change in the interval between successively input frames. Therefore, an integrated image with a sufficient gradation can be obtained even when the distance between other vehicles is different. Therefore, according to the vehicle detection device, in a situation where the surrounding illuminance is low, the other vehicle can be reliably detected even when the other vehicle approaches or separates.
[0059]
Further, according to this vehicle detection device, the inclination angle with respect to the image horizontal line of the plurality of grouped high-luminance areas is detected, and the binarized image is rotated according to the inclination angle change between the continuously input frames. Therefore, even when another vehicle rolls or the camera 1 is tilted, an image having a sufficient gradation can be obtained. Therefore, according to the vehicle detection device, even when another vehicle rolls in a situation where the surrounding illuminance is low, it can be reliably detected.
[0060]
Note that the above embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and other than the present embodiment, various modifications may be made according to the design and the like within a range not departing from the technical idea according to the present invention. Can be changed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a vehicle detection device according to a first embodiment to which the present invention has been applied.
FIG. 2 is a diagram for explaining a process in which a control operation unit performs an integration process for each extracted high-luminance point to create an integrated image.
3A and 3B are diagrams illustrating a method of extracting a high-brightness area including a high-brightness point, wherein FIG. 3A illustrates a case where an initial high-brightness area is set, and FIG. Is changed, and (c) shows a case where a high-luminance area of the entire other vehicle is set.
FIG. 4 is a flowchart illustrating a processing procedure of another vehicle detection processing for detecting another vehicle in front in the vehicle detection device according to the first embodiment to which the present invention is applied.
FIG. 5 is a diagram illustrating a process when a high-intensity point is grouped by a control calculation unit in a vehicle detection device according to a second embodiment to which the present invention is applied.
FIG. 6 is a diagram illustrating a process of changing the size of a luminance image captured by a camera and generating an integrated image according to the distance between the host vehicle and another vehicle.
FIG. 7 is a diagram illustrating a process of creating an integral image when image rotation due to vehicle behavior (roll) occurs.
FIG. 8 is a flowchart showing a procedure of another vehicle detection processing for detecting another vehicle ahead in the vehicle detection device according to the second embodiment to which the present invention is applied.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Camera 2 Input image memory 3 Control operation part 4 Integral image memory 5 Display 6 Alarm device 21 Integral image 31 Initial high luminance area 32 High luminance area 41 First vehicle 42 Second vehicle 51 First high luminance area 52 Second high luminance Area 53 Third high brightness area 54 Fourth high brightness area 61, 62 Brightness image 71 Line 72 Image horizontal line

Claims (14)

自車両周囲を撮像する撮像手段と、
上記撮像手段にて撮像した輝度画像内に含まれる高輝度領域を抽出する高輝度領域抽出手段と、
上記高輝度抽出手段にて高輝度領域が抽出された複数の輝度画像内の高輝度領域の同定をする領域同定手段と、
上記高輝度領域抽出手段にて抽出された高輝度領域のフレーム間における位置情報を用い、上記領域同定手段にて複数フレーム間にて同定された高輝度領域を重ねるように上記撮像手段によって連続的に入力される輝度画像の輝度値を積分する画像積分手段と、
上記画像積分手段によって作成された積分画像から他車両を検出する車両検出手段と
を備えることを特徴とする車両検出装置。
Imaging means for imaging the surroundings of the vehicle,
A high-luminance area extraction unit that extracts a high-luminance region included in the luminance image captured by the imaging unit,
Region identification means for identifying a high-luminance area in a plurality of luminance images from which the high-luminance area has been extracted by the high-luminance extraction means,
Using the position information between the frames of the high-luminance area extracted by the high-luminance area extraction means, the image-capturing means continuously overlaps the high-luminance areas identified between a plurality of frames by the area identification means. Image integration means for integrating the luminance value of the luminance image input to
A vehicle detection device comprising: a vehicle detection unit that detects another vehicle from the integrated image created by the image integration unit.
上記画像積分手段は、各フレームにおける輝度画像内の高輝度領域の重心位置を求め、各高輝度領域の重心位置を重ねるように積分画像を作成することを特徴とする請求項1に記載の車両検出装置。2. The vehicle according to claim 1, wherein the image integration means obtains a center of gravity of a high-brightness area in the brightness image in each frame, and creates an integrated image so as to overlap the center of gravity of each high-brightness area. Detection device. 上記高輝度領域抽出手段は、輝度画像のうち高い輝度値の領域を予め設定した画像サイズにて高輝度領域として抽出し、輝度画像の輝度値の時間的変化に基づいて高輝度領域として抽出する画像サイズを変更することを特徴とする請求項1に記載の車両検出装置。The high-luminance area extracting means extracts a high-luminance area of the luminance image as a high-luminance area with a preset image size, and extracts the high-luminance area based on a temporal change in the luminance value of the luminance image. The vehicle detection device according to claim 1, wherein an image size is changed. 上記高輝度領域抽出手段は、複数の高輝度領域の位置関係を検出して、2つの高輝度領域が左右対称である場合に、2つの高輝度領域を同一の他車両による高輝度領域としてグループ化することを特徴とする請求項1に記載の車両検出装置。The high-brightness area extracting means detects a positional relationship between the plurality of high-brightness areas, and, when the two high-brightness areas are symmetric, the two high-brightness areas are grouped as a high-brightness area by the same other vehicle. The vehicle detection device according to claim 1, wherein the vehicle detection device is used. 上記高輝度領域抽出手段は、複数の高輝度領域の形状を比較して、この比較の結果に基づいて複数の高輝度領域を同一の他車両による高輝度領域としてグループ化することを特徴とする請求項1に記載の車両検出装置。The high-brightness area extracting means compares the shapes of the plurality of high-brightness areas, and groups the plurality of high-brightness areas as high-brightness areas by the same other vehicle based on a result of the comparison. The vehicle detection device according to claim 1. 上記高輝度領域抽出手段は、複数の高輝度領域の画像内距離を検出して、この画像内距離の時間的変化に基づいて時間的に前後する輝度画像内の高輝度領域の画像サイズを同じにするように輝度画像の画像サイズを変更することを特徴とする請求項1に記載の車両検出装置。The high-brightness region extracting means detects distances in the image of the plurality of high-brightness regions, and sets the image sizes of the high-brightness regions in the luminance images that are temporally different from each other based on the temporal change of the distances in the image. The vehicle detection device according to claim 1, wherein the image size of the luminance image is changed so as to satisfy the following condition. 上記高輝度領域抽出手段は、複数の高輝度領域をグループ化した場合、複数の高輝度領域の画像内傾きを検出して、この画像内傾きの時間的変化に基づいて時間的に前後する輝度画像内の高輝度領域の画像内傾きを同じにするように輝度画像を回転させることを特徴とする請求項1に記載の車両検出装置。When the plurality of high-luminance regions are grouped, the high-luminance region extracting means detects a tilt in the image of the plurality of high-luminance regions, and determines a luminance which changes in time based on a temporal change of the tilt in the image. The vehicle detection device according to claim 1, wherein the luminance image is rotated such that a high luminance area in the image has the same inclination in the image. 自車両周囲を複数フレームに亘って連続して撮像した輝度画像内に含まれる高輝度領域を抽出し、
上記高輝度領域を抽出した時間的に前後する複数フレーム間の輝度画像内の高輝度領域の同定をし、
上記高輝度領域のフレーム間における位置情報を用い、複数フレーム間にて同定した高輝度領域を重ねるように輝度画像の輝度値を積分して積分画像を作成し、
作成した上記積分画像から他車両を検出すること
を特徴とする車両検出方法。
A high-luminance area included in a luminance image obtained by continuously capturing the surroundings of the vehicle over a plurality of frames is extracted,
The high-luminance area is extracted and the high-luminance area in the luminance image between a plurality of temporally preceding and succeeding frames is identified,
Using the position information between the frames of the high-luminance area, to create an integrated image by integrating the luminance value of the luminance image so as to overlap the high-luminance area identified between a plurality of frames,
A vehicle detection method for detecting another vehicle from the created integral image.
上記積分画像を作成するに際して、
各フレームにおける輝度画像内の高輝度領域の重心位置を求め、
各高輝度領域の重心位置を重ねて積分画像を作成することを特徴とする請求項8に記載の車両検出方法。
When creating the integral image,
Find the center of gravity of the high-luminance area in the luminance image in each frame,
9. The vehicle detecting method according to claim 8, wherein an integral image is created by superimposing the center of gravity of each high-luminance area.
上記高輝度領域を抽出するに際して、
上記輝度画像のうち高い輝度値の領域を予め設定した画像サイズにて高輝度領域として抽出し、
輝度画像の輝度値の時間的変化に基づいて上記予め設定した高輝度領域の画像サイズを変更することを特徴とする請求項8に記載の車両検出方法。
When extracting the high brightness area,
In the luminance image, a region having a high luminance value is extracted as a high luminance region with a preset image size,
9. The vehicle detection method according to claim 8, wherein an image size of the preset high luminance area is changed based on a temporal change of a luminance value of the luminance image.
上記高輝度領域を抽出するに際して、
複数の高輝度領域の位置関係を検出し、
2つの高輝度領域が左右対称である場合に、2つの高輝度領域を同一の他車両による高輝度領域としてグループ化することを特徴とする請求項8に記載の車両検出方法。
When extracting the high brightness area,
Detects the positional relationship between multiple high-luminance areas,
9. The vehicle detection method according to claim 8, wherein when the two high-luminance regions are symmetric, the two high-luminance regions are grouped as high-luminance regions of the same other vehicle.
上記高輝度領域を抽出するに際して、
複数の高輝度領域の形状を比較し、
形状比較の結果に基づいて複数の高輝度領域を同一の他車両による高輝度領域としてグループ化することを特徴とする請求項8に記載の車両検出方法。
When extracting the high brightness area,
Compare the shapes of multiple high brightness areas,
9. The vehicle detection method according to claim 8, wherein a plurality of high-luminance areas are grouped as high-luminance areas by the same other vehicle based on a result of the shape comparison.
上記高輝度領域を抽出するに際して、
複数の高輝度領域の画像内距離を検出し、
上記画像内距離の時間的変化に基づいて時間的に前後する輝度画像内の高輝度領域の画像サイズを同じにするように輝度画像の画像サイズを変更することを特徴とする請求項8に記載の車両検出方法。
When extracting the high brightness area,
Detect distances in the image of multiple high brightness areas,
The image size of a brightness image is changed so that the image size of a high brightness area in a brightness image which temporally changes before and after may be the same based on a temporal change of the intra-image distance. Vehicle detection method.
上記高輝度領域を抽出するに際して、
複数の高輝度領域をグループ化した場合に、
複数の高輝度領域の画像内傾きを検出し、
上記画像内傾きの時間的変化に基づいて時間的に前後する輝度画像内の高輝度領域の画像内傾きを同じにするように輝度画像を回転させることを特徴とする請求項8に記載の車両検出方法。
When extracting the high brightness area,
When multiple high brightness areas are grouped,
Detects tilt in the image of multiple high brightness areas,
The vehicle according to claim 8, wherein the brightness image is rotated based on the temporal change of the tilt in the image such that the tilt in the image of the high brightness area in the brightness image that precedes and succeeds in time is the same. Detection method.
JP2002167220A 2002-06-07 2002-06-07 Vehicle detection device and method Pending JP2004013592A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002167220A JP2004013592A (en) 2002-06-07 2002-06-07 Vehicle detection device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002167220A JP2004013592A (en) 2002-06-07 2002-06-07 Vehicle detection device and method

Publications (1)

Publication Number Publication Date
JP2004013592A true JP2004013592A (en) 2004-01-15

Family

ID=30434537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002167220A Pending JP2004013592A (en) 2002-06-07 2002-06-07 Vehicle detection device and method

Country Status (1)

Country Link
JP (1) JP2004013592A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186344A (en) * 2007-01-31 2008-08-14 Fuji Heavy Ind Ltd Leading vehicle detection device
KR101624426B1 (en) 2014-12-18 2016-05-25 주식회사 만도 Vehicle detection system
US20210089797A1 (en) * 2018-06-12 2021-03-25 Conti Temic Microelectronic Gmbh Method for Detecting Beacons
JP2022068569A (en) * 2020-10-22 2022-05-10 アルプスアルパイン株式会社 Succeeding vehicle detection system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186344A (en) * 2007-01-31 2008-08-14 Fuji Heavy Ind Ltd Leading vehicle detection device
DE102008006951B4 (en) 2007-01-31 2019-05-29 Subaru Corporation Detection system for vehicles in front
KR101624426B1 (en) 2014-12-18 2016-05-25 주식회사 만도 Vehicle detection system
US20210089797A1 (en) * 2018-06-12 2021-03-25 Conti Temic Microelectronic Gmbh Method for Detecting Beacons
US12014632B2 (en) * 2018-06-12 2024-06-18 Conti Temic Microelectronic Gmbh Method for detecting beacons
JP2022068569A (en) * 2020-10-22 2022-05-10 アルプスアルパイン株式会社 Succeeding vehicle detection system
JP7592360B2 (en) 2020-10-22 2024-12-02 アルプスアルパイン株式会社 Rear Vehicle Detection System

Similar Documents

Publication Publication Date Title
JP4622001B2 (en) Road lane marking detection apparatus and road lane marking detection method
EP2639742A2 (en) Vehicle periphery monitoring apparatus
JP6569385B2 (en) Vehicle detection device, vehicle detection system, vehicle detection method, and vehicle detection program
JP5774770B2 (en) Vehicle periphery monitoring device
JP5127182B2 (en) Object detection device
JP2008242571A (en) Object detection device
JP2000030197A (en) Hot body detector
US20150054955A1 (en) Image processing method of vehicle camera and image processing apparatus using the same
JP5065172B2 (en) Vehicle lighting determination device and program
JP2009265722A (en) Face direction sensing device
JP6543050B2 (en) Obstacle detection device and obstacle detection method
JP6701327B2 (en) Glare detection method and device
JP7201706B2 (en) Image processing device
JP5353531B2 (en) Vehicle light recognition device and program
JP6949090B2 (en) Obstacle detection device and obstacle detection method
Soga et al. Pedestrian detection for a near infrared imaging system
JP2006048238A (en) Image processing apparatus and image processing program
JP2004013592A (en) Vehicle detection device and method
CN113632450B (en) Imaging system and image processing apparatus
JP2006339960A (en) Object detection apparatus and object detection method
JP2012103748A (en) Road section line recognition device
US20240312223A1 (en) Image processing apparatus
JP3787783B2 (en) Object traveling direction detection method
JP5907405B2 (en) Image analysis apparatus and object detection apparatus using the same
JP2008257399A (en) Image processing device