[go: up one dir, main page]

JP2003172780A - Recognition device and recognition method of preceding vehicle - Google Patents

Recognition device and recognition method of preceding vehicle

Info

Publication number
JP2003172780A
JP2003172780A JP2001372196A JP2001372196A JP2003172780A JP 2003172780 A JP2003172780 A JP 2003172780A JP 2001372196 A JP2001372196 A JP 2001372196A JP 2001372196 A JP2001372196 A JP 2001372196A JP 2003172780 A JP2003172780 A JP 2003172780A
Authority
JP
Japan
Prior art keywords
vehicle
reflection
rectangular area
height
recognizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001372196A
Other languages
Japanese (ja)
Inventor
Kenichi Yamada
憲一 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihatsu Motor Co Ltd
Original Assignee
Daihatsu Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihatsu Motor Co Ltd filed Critical Daihatsu Motor Co Ltd
Priority to JP2001372196A priority Critical patent/JP2003172780A/en
Publication of JP2003172780A publication Critical patent/JP2003172780A/en
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a recognition device and a recognition method capable of recognizing accurately a preceding vehicle, even when the preceding vehicle shows up on only a part of a detection range of a laser radar. <P>SOLUTION: Reflection lines RL are formed by elongating and projecting each reflecting point by a laser radar module two-dimensionally in the height direction equivalently to the vehicle height, and the dispersion of the lengths on the positions corresponding to a rectangular region S acquired by an image processing of each formed reflection line RL and the heights of the rectangular region S on the positions of the reflection lines RL is evaluated. The reflection lines RL by which the dispersion becomes below a prescribed value determined beforehand are selected as a vehicle candidate group, and the reflection lines RL of the selected vehicle candidate group are collated with the rectangular region S, to thereby acquire a recognition result having higher accuracy. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】この発明は、自車の前方を走
行する車両を認識する前方車両の認識装置及び認識方法
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a front vehicle recognizing device and a recognizing method for recognizing a vehicle traveling in front of an own vehicle.

【0002】[0002]

【従来の技術】近年、例えば高速道路における追従走行
機能や操舵アシスト機能といった、より高度でより快適
な運転支援システムを搭載した車両が提案され、そのひ
とつにスキャンレーザレーダを用いて自車前方の車両を
認識する認識装置がある。
2. Description of the Related Art In recent years, a vehicle equipped with a more advanced and more comfortable driving support system, such as a follow-up running function and a steering assist function on a highway, has been proposed. There is a recognition device that recognizes the vehicle.

【0003】この種スキャンレーザレーダを用いた従来
の認識装置では、レーザ光を照射してから反射光を観測
するまでの時間を計測することで、反射点までの距離を
検出でき、スキャニング機構を設けることにより、10
数゜の水平視野を確保し、遠距離の車両であれば、図6
に示すように車両後端面の両端に装備されているリフレ
クタ(反射板)からの反射が2点観測され、中近距離で
あれば車両のボディからの反射も多数観測できるため、
反射点の数は3点以上の多数に及ぶ。図6(a)は自車
に搭載したレーザレーダからレーザ光を照射する様子を
表わし、同図(b)中の●は反射点を示しており、図中
のZR は自車の進行方向、XR はこれに直交する方向で
ある。
In a conventional recognition device using this kind of scan laser radar, the distance to the reflection point can be detected by measuring the time from the irradiation of the laser beam to the observation of the reflected light, and the scanning mechanism is provided. By providing 10
If the vehicle has a horizontal field of view of several degrees and is a long-distance vehicle,
As shown in Figure 2, two reflections from reflectors (reflectors) installed at both ends of the vehicle rear end face can be observed, and many reflections from the vehicle body can be observed at medium and short distances.
The number of reflection points is as large as three or more. FIG. 6 (a) shows how laser light is emitted from the laser radar mounted on the vehicle, and ● in FIG. 6 (b) indicates a reflection point, and ZR in the figure indicates the traveling direction of the vehicle. XR is the direction orthogonal to this.

【0004】ところが、この場合、車体の同じ部位から
一定して反射があるわけではなく、車両の向き、形状、
位置関係等で時々刻々反射位置が変化し、分布も一様で
はない。
However, in this case, there is no constant reflection from the same part of the vehicle body, and the direction, shape,
The reflection position changes every moment due to the positional relationship and the distribution is not uniform.

【0005】そこで、得られた反射点群に対してファジ
ィ手法等によるクラスタリングをすることで先行車両を
認識する手法が提案されている。その具体例として、自
動車技術会学術講演会前刷集931,No.93017
19,pp53−56(1993−5)(「レーザレー
ダによる先行車認識アルゴリズム開発」)に記載の手
法、或いは、本件出願人の出願にかかる特開平6−30
9600号公報に記載の手法等がある。
Therefore, there has been proposed a method of recognizing a preceding vehicle by clustering the obtained reflection point group by a fuzzy method or the like. As a specific example thereof, Preprints 931 No. 93017
19, pp53-56 (1993-5) ("Development of preceding vehicle recognition algorithm by laser radar"), or Japanese Patent Application Laid-Open No. 6-30
There is a method described in Japanese Patent No. 9600.

【0006】[0006]

【発明が解決しようとする課題】しかし、これら従来の
手法は、高速道路のように車両どうしの間隔や車両と路
側構造物との間隔が広い場合にはほとんど問題はない
が、これを一般道路に拡張しようとすると次のような課
題が生じる。つまり、第1の課題として、前方車両の近
傍の走行車両または駐停車車両からの反射を、前方車両
からの反射に含めて処理してしまい、前方車両の距離計
測値に誤差が生じる、第2の課題として、路側物からの
反射を、前方車両からの反射に含めて処理してしまい、
前方車両の距離計測値に誤差が生じる、第3の課題とし
て、一般的にレーダの水平視野は狭いため、近距離での
割り込み車両等の検出が遅れる、という課題がある。
However, these conventional methods have almost no problem when the distance between vehicles or the distance between vehicles and a roadside structure is wide like an expressway. If you try to expand to, the following problems will occur. That is, as the first problem, the reflection from the traveling vehicle or the parked vehicle in the vicinity of the front vehicle is included in the reflection from the front vehicle and processed, and an error occurs in the distance measurement value of the front vehicle. The problem is that the reflection from the roadside object is included in the reflection from the vehicle in front and processed.
As a third problem that an error occurs in the distance measurement value of the vehicle ahead, there is a problem that detection of an interrupting vehicle or the like at a short distance is delayed because the horizontal field of view of the radar is generally narrow.

【0007】また、レーザレーダの場合、車両が存在し
ないときに、ガードレールの反射板や看板等の路側構造
物からの反射も観測され、これらを駐停車車両や前方車
両として誤認識したり、隣接車線を走行する前方車両を
観測車と同じ車線を走行する車両と判定したり、路面の
水を前方車両がはね上げることでレーザ光が減衰し、前
方車両を認識できなくなったりするが、これらはレーザ
レーダ特有の課題や、その他の非常に高度な認識処理を
要する課題であって、今回、本発明が解決しようとする
課題ではない。
Further, in the case of a laser radar, when no vehicle is present, reflection from a roadside structure such as a reflector of a guardrail or a signboard is also observed, and these are erroneously recognized as a parked vehicle or a forward vehicle, or they are adjacent to each other. It may be determined that the vehicle in front of the lane is a vehicle traveling in the same lane as the observation vehicle, or the laser light may be attenuated by the water in front of the road splashing by the vehicle in front, making it impossible to recognize the vehicle in front. Is a problem peculiar to a laser radar or another problem requiring a very high level of recognition processing, and is not a problem to be solved by the present invention this time.

【0008】そこで、上記した第1ないし第3の課題を
解決するために、自動車技術会学術講演会前刷集95
2,pp239−242(1995)(「画像処理とレ
ーザレーダの融合による走行環境認識方法の検討」)に
記載のように、レーザレーダを用いて車両認識を行う場
合に、撮像手段による画像を処理した結果を融合するこ
とで、前方車両以外の車両や路側物等からの反射を排除
して前方車両の認識精度の向上を図れるようにすること
が従来から考えられている。
[0008] Therefore, in order to solve the above-mentioned first to third problems, a preprint 95 of an academic conference of the Society of Automotive Engineers of Japan
2, pp239-242 (1995) ("Examination of a traveling environment recognition method by fusion of image processing and laser radar"), when the vehicle recognition is performed using the laser radar, the image is processed by the image pickup means. It has been conventionally considered that by combining the results, it is possible to improve the recognition accuracy of the front vehicle by eliminating reflections from vehicles other than the front vehicle, roadside objects, and the like.

【0009】ところが、このような融合の場合、特に図
7に示すように、レーザレーダの検知範囲Lの一部にし
か前方車両が入っていない状況では、撮像手段による撮
像画像から前方車両の後端面画像を含む所定の矩形領域
を抽出したときに、その矩形領域の中心と、レーザレー
ダの検知範囲Lの中心とが一致せず、レーザレーダが検
知している領域は車両ではないと判断され、撮像手段の
画像から得られる矩形領域は車両と認識されないことが
あり、このような状況では、レーザレーダと撮像手段を
照合しても前方車両を精度よく検出することができない
という問題点があった。
However, in the case of such fusion, in particular, as shown in FIG. 7, in the situation where the front vehicle is included in only a part of the detection range L of the laser radar, the image captured by the image pickup means is used to detect the rear vehicle. When a predetermined rectangular area including the end face image is extracted, the center of the rectangular area does not coincide with the center of the detection range L of the laser radar, and it is determined that the area detected by the laser radar is not a vehicle. However, the rectangular area obtained from the image of the image pickup means may not be recognized as a vehicle, and in such a situation, there is a problem that even if the laser radar and the image pickup means are collated, the forward vehicle cannot be accurately detected. It was

【0010】本発明が解決しようとする課題は、レーザ
レーダの検知範囲の一部にしか入っていない前方車両で
あっても、精度よくこれを認識することが可能な認識装
置及び認識方法を提供することを目的とする。
The problem to be solved by the present invention is to provide a recognition device and a recognition method capable of accurately recognizing a front vehicle that is only within a part of the detection range of a laser radar. The purpose is to do.

【0011】[0011]

【課題を解決するための手段】上記した目的を達成する
ために、請求項1に記載の発明にかかる前方車両の認識
装置は、自車の前方を走行する車両を認識する前方車両
の認識装置において、自車前方にレーザ光を水平方向に
スキャンしつつ照射すると共に反射点からの反射光を受
光し複数個の前記反射点の位置を特定するレーザレーダ
と、自車前方を撮像する撮像部と、前記撮像部による撮
像画像から前方車両の後端面画像を含む所定の矩形領域
を抽出する画像処理部と、前記レーザレーダにより特定
された前記各反射点を車高相当分だけの高さ方向に2次
元的に伸張、投影して前記各反射点それぞれに対応する
反射線を形成する形成部と、前記形成部より形成される
前記各反射線の前記矩形領域に対応する位置での長さと
前記矩形領域の高さとに基づき前方車両を認識する認識
部とを備えていることを特徴としている。
In order to achieve the above object, a front vehicle recognition device according to a first aspect of the invention is a front vehicle recognition device for recognizing a vehicle traveling in front of the own vehicle. In the above, a laser radar that irradiates the front of the own vehicle while scanning the laser beam in the horizontal direction and receives the reflected light from the reflection point to identify the positions of the plurality of reflection points, and an imaging unit that images the front of the own vehicle An image processing unit for extracting a predetermined rectangular area including a rear end face image of a front vehicle from an image picked up by the image pickup unit, and the respective reflection points specified by the laser radar in a height direction corresponding to a vehicle height. Forming portions for two-dimensionally stretching and projecting to form reflection lines corresponding to the respective reflection points, and lengths of the respective reflection lines formed by the forming portions at positions corresponding to the rectangular regions. The height of the rectangular area It is characterized in that it comprises a recognition unit for recognizing a vehicle ahead based on and.

【0012】このような構成によれば、レーザレーダに
より特定された各反射点を車高相当分だけの高さ方向に
2次元的に伸張、投影して前記各反射点それぞれに対応
する反射線が形成され、これら各反射線の画像処理によ
って得られる矩形領域に対応する位置での長さと、矩形
領域の高さとに基づき前方車両かどうかの判断が行われ
る。
According to this structure, each reflection point specified by the laser radar is two-dimensionally extended and projected in the height direction corresponding to the vehicle height, and the reflection line corresponding to each reflection point is formed. Is formed, and whether or not the vehicle is a front vehicle is determined based on the length at the position corresponding to the rectangular area obtained by the image processing of these reflection lines and the height of the rectangular area.

【0013】このとき、各反射点を車高相当分だけ高さ
方向に2次元的に伸張、投影して反射線を形成したとき
に、画像処理によって得られる矩形領域に対応する位置
での各反射線の長さが各々の反射点までの距離に比例す
ることから、矩形領域に対応する位置での各反射線の長
さが、矩形領域の高さから大きくずれている反射線は前
方車両からの反射点に対応するものではなく、矩形領域
の高さと近似する反射線は前方車両からの反射点に対応
するものと判断することができる。
At this time, when each reflection point is two-dimensionally expanded in the height direction by the amount corresponding to the vehicle height and projected to form a reflection line, each reflection point is formed at a position corresponding to a rectangular area obtained by image processing. Since the length of each reflection line is proportional to the distance to each reflection point, the length of each reflection line at the position corresponding to the rectangular area deviates significantly from the height of the rectangular area. It is possible to determine that the reflection line that does not correspond to the reflection point from the vehicle and that approximates the height of the rectangular region corresponds to the reflection point from the vehicle in front.

【0014】従って、矩形領域に対応する位置での各反
射線の長さが矩形領域の高さと近似する反射線に対応す
る反射点のみを選択し、これら選択した反射点による反
射点群は車両候補群と判断できるため、レーザレーダを
用いた車両認識に、撮像部による画像処理の結果を融合
する場合に、レーザレーダの検知範囲の一部にしか入っ
ていない前方車両を精度よく認識することができる。
Therefore, only the reflection points corresponding to the reflection lines in which the length of each reflection line at the position corresponding to the rectangular area approximates the height of the rectangular area are selected, and the reflection point group by these selected reflection points is the vehicle. Since it can be judged as a candidate group, when merging the result of image processing by the imaging unit with the vehicle recognition using the laser radar, it is possible to accurately recognize the preceding vehicle that is only within the detection range of the laser radar. You can

【0015】また、請求項2に記載の発明にかかる前方
車両の認識装置は、前記認識部が、前記各反射線の前記
矩形領域に対応する位置での長さ、及び、その反射線の
位置での前記矩形領域の高さを照合してそのばらつきを
評価し、前記ばらつきが所定値以下であるときに前記矩
形領域が前方車両であると判断することを特徴としてい
る。
Further, in the recognizing device for a front vehicle according to a second aspect of the present invention, the recognizing unit has a length of the reflecting line at a position corresponding to the rectangular area and a position of the reflecting line. The height of the rectangular area is compared to evaluate the variation, and when the variation is less than or equal to a predetermined value, it is determined that the rectangular area is a forward vehicle.

【0016】このような構成によれば、各反射点を車高
相当分だけ高さ方向に2次元的に伸張、投影して反射線
を形成したときに、画像処理によって得られる矩形領域
に対応する位置での各反射線の長さが各々の反射点まで
の距離に比例するため、矩形領域に対応する位置での各
反射線の長さが、矩形領域の高さから大きくずれている
反射線は前方車両からの反射点に対応するものではな
く、矩形領域の高さと近似する反射線は前方車両からの
反射点に対応するものと判断することができる。
According to this structure, when each reflection point is two-dimensionally expanded and projected in the height direction by an amount corresponding to the vehicle height to form a reflection line, it corresponds to a rectangular area obtained by image processing. The length of each reflection line at the position corresponding to the rectangular area is greatly deviated from the height of the rectangular area because the length of each reflection line at the position It can be determined that the line does not correspond to the reflection point from the front vehicle, and the reflection line that approximates the height of the rectangular area corresponds to the reflection point from the front vehicle.

【0017】そのため、各反射線の矩形領域に対応する
位置での長さ、及び、その反射線の位置での矩形領域の
高さのばらつきを評価し、そのばらつきが予め定めた所
定値以下となる反射線を選択することにより、前方車両
がレーザレーダの検知範囲の一部にしか入っていない場
合であっても、前方車両からの反射点に対応する反射線
のみを車両候補として選択することができる。
Therefore, the variation of the length of each reflection line at the position corresponding to the rectangular area and the height of the rectangular area at the position of the reflection line are evaluated, and the variation is equal to or less than a predetermined value. Even if the vehicle ahead is only part of the detection range of the laser radar, the reflected line corresponding to the reflection point from the vehicle ahead can be selected as a vehicle candidate by selecting You can

【0018】また、請求項3に記載の発明にかかる前方
車両の認識装置は、前記認識部が、前記各反射線の前記
矩形領域に対応する位置での長さ、及び、その反射線の
位置での前記矩形領域の高さのばらつきが規定値以下と
なる前記反射線を車両候補群とし、この車両候補群を画
像処理の座標系に座標変換して前記矩形領域と照合する
照合部と、座標変換後の前記車両候補群が前記矩形領域
の少なくとも一部とほぼ一致するときにその車両候補群
及び前記矩形領域を前方車両と判断する判断部とを備え
ていることを特徴としている。
Further, in the recognizing device for a front vehicle according to a third aspect of the present invention, the recognizing unit has a length of the reflecting line at a position corresponding to the rectangular area and a position of the reflecting line. In the above, the reflection line in which the variation in height of the rectangular area is less than or equal to a specified value is a vehicle candidate group, and the vehicle candidate group is subjected to coordinate conversion into a coordinate system for image processing and a collating unit that collates with the rectangular area. When the vehicle candidate group after the coordinate conversion substantially coincides with at least a part of the rectangular area, the vehicle candidate group and the rectangular area are determined to be forward vehicles.

【0019】このような構成によれば、照合部により、
各反射線の矩形領域に対応する位置での長さ、及び、そ
の反射線の位置での矩形領域の高さのばらつきが所定値
以下となる反射線が車両候補群として選択されるため、
前方車両がレーザレーダの検知範囲の一部にしか入って
いない場合であっても、前方車両からの反射点に対応す
る反射線のみを車両候補群として選択することができ
る。
According to this structure, the collation unit
The length at the position corresponding to the rectangular area of each reflection line, and the reflection line in which the variation in the height of the rectangular area at the position of the reflection line is a predetermined value or less is selected as the vehicle candidate group,
Even when the front vehicle is only within a part of the detection range of the laser radar, only the reflection line corresponding to the reflection point from the front vehicle can be selected as the vehicle candidate group.

【0020】更に、照合部により、この車両候補群が画
像センサの座標系に座標変換されて矩形領域と照合さ
れ、判断部により、座標変換後の車両候補点群が矩形領
域の少なくとも一部とほぼ一致すれば、その車両候補群
及び矩形領域が前方車両と判断されるため、どのような
状況下でも前方車両を精度よく検出することができる。
Further, the collating unit transforms the vehicle candidate group into the coordinate system of the image sensor and collates it with the rectangular area, and the judging section transforms the coordinate-converted vehicle candidate point group into at least a part of the rectangular area. If they substantially match, the vehicle candidate group and the rectangular area are determined to be the front vehicle, so that the front vehicle can be accurately detected under any circumstances.

【0021】また、請求項4に記載の発明にかかる前方
車両の認識装置は、前記画像処理部が、前記画像センサ
による撮像画像に対して所定の注視領域を設定しその注
視領域における各画素の濃淡からX方向へのエッジヒス
トグラム、これに直交するY方向へのエッジヒストグラ
ム、及び両方向へのエッジヒストグラムの積を演算して
その極大点を導出することで車両候補としての前記矩形
領域を抽出することを特徴としている。
Further, in the front vehicle recognition device according to the invention described in claim 4, the image processing unit sets a predetermined gazing area for an image picked up by the image sensor, and determines each pixel in the gazing area. The rectangular area as a vehicle candidate is extracted by computing the product of the edge histogram in the X direction from the grayscale, the edge histogram in the Y direction orthogonal to this, and the edge histogram in both directions to derive the maximum point. It is characterized by that.

【0022】このような構成によれば、エッジヒストグ
ラムから車両候補としての矩形領域を抽出するときに、
車両以外を排除することができ、車両候補としての矩形
領域を精度よく抽出することができる。
With such a configuration, when a rectangular area as a vehicle candidate is extracted from the edge histogram,
Other than the vehicle can be excluded, and the rectangular area as a vehicle candidate can be accurately extracted.

【0023】また、請求項5に記載の発明にかかる前方
車両の認識方法は、レーザレーダにより、自車前方にレ
ーザ光を水平方向にスキャンしつつ照射すると共に反射
点からの反射光を受光し複数個の前記反射点までの距離
を検出して前記各反射点の位置を特定する測距工程と、
撮像部により自車前方を撮像する撮像工程と、前記撮像
工程による撮像画像を画像処理して前方車両の後端面画
像を含む所定の矩形領域を抽出する抽出工程と、前記レ
ーザレーダにより特定された前記各反射点を車高相当分
だけの高さ方向に2次元的に投影して前記各反射点それ
ぞれに対応する反射線を形成する形成工程と、前記形成
工程により形成された前記各反射線の前記矩形領域に対
応する位置での長さと前記矩形領域の高さとに基づき前
方車両を認識する認識工程とを備えていることを特徴と
している。
According to a fifth aspect of the present invention, there is provided a method for recognizing a front vehicle, in which a laser radar irradiates a front side of the vehicle with laser light while scanning the same in a horizontal direction and receives reflected light from a reflection point. A distance measuring step of detecting the distance to a plurality of the reflection points and specifying the position of each of the reflection points;
An image pickup step of picking up an image of the front of the vehicle by the image pickup section, an extraction step of image-processing the image picked up by the image pickup step to extract a predetermined rectangular area including the rear end face image of the front vehicle, and the laser radar. A forming step of two-dimensionally projecting each of the reflection points in a height direction corresponding to a vehicle height to form a reflection line corresponding to each of the reflection points, and each of the reflection lines formed by the forming step. The recognition step of recognizing the preceding vehicle based on the length at the position corresponding to the rectangular area and the height of the rectangular area.

【0024】このような構成によれば、各反射点を車高
相当分だけ高さ方向に2次元的に伸張、投影して反射線
を形成したときに、画像処理によって得られる矩形領域
に対応する位置での各反射線の長さが各々の反射点まで
の距離に比例することから、矩形領域に対応する位置で
の各反射線の長さが、矩形領域の高さから大きくずれて
いる反射線は前方車両からの反射点に対応するものでは
なく、矩形領域の高さと近似する反射線は前方車両から
の反射点に対応するものと判断することができる。
According to this structure, when each reflection point is two-dimensionally expanded in the height direction by the amount corresponding to the vehicle height and projected to form a reflection line, it corresponds to a rectangular area obtained by image processing. The length of each reflection line at the position corresponding to the rectangular area is largely deviated from the height of the rectangular area because the length of each reflection line at the position corresponding to the rectangular area is proportional to the distance to each reflection point. It can be determined that the reflection line does not correspond to the reflection point from the front vehicle, and the reflection line approximate to the height of the rectangular area corresponds to the reflection point from the front vehicle.

【0025】従って、レーザレーダにより特定された各
反射点を車高相当分だけの高さ方向に2次元的に伸張、
投影して前記各反射点それぞれに対応する反射線を形成
し、これら各反射線の画像処理によって得られる矩形領
域に対応する位置での長さと、矩形領域の高さとに基づ
き、矩形領域に対応する位置での各反射線の長さが矩形
領域の高さと近似する反射線に対応する反射点のみを選
択し、これら選択した反射点は車両候補群と判断できる
ため、レーザレーダを用いた車両認識に、撮像部による
画像処理の結果を融合する場合に、前方車両がレーザレ
ーダの検知範囲の一部にしか入っていない状況下でも、
精度よく前方車両を認識することができる。
Therefore, each reflection point specified by the laser radar is two-dimensionally extended in the height direction corresponding to the vehicle height,
Corresponding to a rectangular area based on the height of the rectangular area and the length at a position corresponding to the rectangular area obtained by image processing of each of these reflective lines The length of each reflection line at the position to be selected is only the reflection points corresponding to the reflection line that approximates the height of the rectangular area, and these selected reflection points can be judged as a vehicle candidate group. When merging the results of image processing by the imaging unit with recognition, even in the situation where the vehicle in front is only within the detection range of the laser radar,
The vehicle in front can be recognized accurately.

【0026】また、請求項6に記載の発明にかかる前方
車両の認識方法は、前記認識工程が、前記各反射線の前
記矩形領域に対応する位置での長さ、及び、その反射線
の位置での前記矩形領域の高さを照合してそのばらつき
を評価し、前記ばらつきが所定値以下であるときに前記
矩形領域が前方車両であると判断する工程を含むことを
特徴としている。
Further, in the method for recognizing a front vehicle according to a sixth aspect of the present invention, in the recognizing step, the length of each of the reflection lines at a position corresponding to the rectangular area and the position of the reflection line. In the above step, the height of the rectangular area is collated, the variation is evaluated, and when the variation is equal to or less than a predetermined value, it is determined that the rectangular area is a forward vehicle.

【0027】このような構成によれば、各反射点を車高
相当分だけ高さ方向に2次元的に伸張、投影して反射線
を形成したときに、画像処理によって得られる矩形領域
に対応する位置での各反射線の長さが各々の反射点まで
の距離に比例するため、矩形領域に対応する位置での各
反射線の長さが、矩形領域の高さから大きくずれている
反射線は前方車両からの反射点に対応するものではな
く、矩形領域の高さと近似する反射線は前方車両からの
反射点に対応するものと判断することができる。
According to such a configuration, when each reflection point is two-dimensionally expanded in the height direction by an amount corresponding to the vehicle height and projected to form a reflection line, it corresponds to a rectangular area obtained by image processing. The length of each reflection line at the position corresponding to the rectangular area is greatly deviated from the height of the rectangular area because the length of each reflection line at the position It can be determined that the line does not correspond to the reflection point from the front vehicle, and the reflection line that approximates the height of the rectangular area corresponds to the reflection point from the front vehicle.

【0028】そのため、各反射線の矩形領域に対応する
位置での長さ、及び、その反射線の位置での矩形領域の
高さのばらつきを評価し、そのばらつきが予め定めた所
定値以下となる反射線を選択することにより、前方車両
がレーザレーダの検知範囲の一部にしか入っていない場
合であっても、前方車両からの反射点に対応する反射線
のみを車両候補群として選択することができる。
Therefore, the variation in the length of each reflection line at the position corresponding to the rectangular region and the height of the rectangular region at the position of the reflection line is evaluated, and the variation is determined to be a predetermined value or less. By selecting such a reflection line, even if the front vehicle is only within a part of the detection range of the laser radar, only the reflection line corresponding to the reflection point from the front vehicle is selected as the vehicle candidate group. be able to.

【0029】また、請求項7に記載の発明にかかる前方
車両の認識方法は、前記認識工程が、前記各反射線の前
記矩形領域に対応する位置での長さ、及び、その反射線
の位置での前記矩形領域の高さのばらつきが規定値以下
となる前記反射線を車両候補群とし、この車両候補群を
画像処理の座標系に座標変換して前記矩形領域と照合す
る照合工程と、座標変換後の前記車両候補群が前記矩形
領域の少なくとも一部とほぼ一致するときにその車両候
補群及び前記矩形領域を前方車両と判断する判断工程と
を含むことを特徴としている。
According to a seventh aspect of the present invention, in the method for recognizing a front vehicle, the recognizing step includes the length of each of the reflection lines at a position corresponding to the rectangular area, and the position of the reflection line. In the collation step, in which the reflection line in which the variation in the height of the rectangular area is equal to or less than a specified value is a vehicle candidate group, and the vehicle candidate group is coordinate-converted into a coordinate system of image processing to collate with the rectangular area, When the vehicle candidate group after the coordinate conversion substantially matches at least a part of the rectangular area, the vehicle candidate group and the rectangular area are judged to be forward vehicles.

【0030】このような構成によれば、各反射線の矩形
領域に対応する位置での長さ、及び、その反射線の位置
での矩形領域の高さのばらつきが所定値以下となる反射
線に対応する反射点を車両候補点群として選択すること
で、前方車両がレーザレーダの検知範囲の一部にしか入
っていない場合であっても、前方車両からの反射点に対
応する反射線のみを車両候補群として選択でき、この選
択した車両候補群を画像処理の座標系に座標変換して矩
形領域と照合することにより、座標変換後の車両候補群
が矩形領域の少なくとも一部とほぼ一致するときに、そ
の車両候補群及び矩形領域を前方車両と判断できるた
め、どのような状況下でも前方車両を精度よく検出する
ことができる。
With such a configuration, the length of each reflection line at the position corresponding to the rectangular area and the variation in the height of the rectangular area at the position of the reflection line are less than a predetermined value. By selecting the reflection point corresponding to the vehicle candidate point group as a vehicle candidate point group, only the reflection line corresponding to the reflection point from the front vehicle is detected even if the front vehicle is only within a part of the detection range of the laser radar. Can be selected as a vehicle candidate group, and the selected vehicle candidate group is coordinate-converted into the coordinate system for image processing and collated with a rectangular area, so that the vehicle candidate group after coordinate conversion substantially matches at least a part of the rectangular area. At this time, the vehicle candidate group and the rectangular area can be determined to be the forward vehicle, so that the forward vehicle can be accurately detected under any circumstances.

【0031】[0031]

【発明の実施の形態】この発明の一実施形態について図
1ないし図5を参照して説明する。但し、図1はブロッ
ク図、図2ないし図5は動作説明図である。
BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described with reference to FIGS. However, FIG. 1 is a block diagram, and FIGS. 2 to 5 are operation explanatory diagrams.

【0032】図1に示すように、スキャンレーザレー
ダ、そのスキャニング機構及び受光器から成るレーザレ
ーダモジュール1、及び、撮像部である単眼CCDカメ
ラから成る画像処理部としてのCCDカメラモジュール
2が自車に搭載され、レーザレーダモジュール1によ
り、自車前方にレーザ光が水平方向にスキャンされつつ
照射され、反射点からの反射光が受光されて複数個の反
射点までの距離が測定されて各々の位置が特定され、カ
メラモジュール2により自車の前方が撮像され、レーザ
レーダモジュール1により特定された反射点データ、及
び、カメラモジュール2により得られた撮像画像がCP
U3によりRAM等から成るメモリ4に保存される。
尚、他のメモリを設けておき、レーザレーダモジュール
1によるデータと、カメラモジュール2によるデータを
各々異なるメモリに保存してもよい。
As shown in FIG. 1, a laser radar module 1 composed of a scan laser radar, its scanning mechanism and a light receiver, and a CCD camera module 2 as an image processing unit composed of a monocular CCD camera as an image pickup unit are provided in a vehicle. The laser radar module 1 irradiates the front of the vehicle with laser light while scanning the same in the horizontal direction, receives reflected light from a reflection point, and measures the distances to a plurality of reflection points. The position is identified, the front of the vehicle is imaged by the camera module 2, the reflection point data identified by the laser radar module 1, and the captured image obtained by the camera module 2 are CP.
It is stored in the memory 4 composed of RAM or the like by U3.
Note that another memory may be provided, and the data from the laser radar module 1 and the data from the camera module 2 may be stored in different memories.

【0033】このとき、レーザレーダモジュール1及び
カメラモジュール2の座標系の関係は、例えば図2に示
すように設定する。つまり、図2に示すように、カメラ
座標系は、レンズ中心を原点としてカメラ光軸をZ軸に
とり、画像面上でのx軸、y軸に平行にX軸、Y軸をと
る。ここで、焦点距離fは既知である。
At this time, the relationship between the coordinate systems of the laser radar module 1 and the camera module 2 is set as shown in FIG. 2, for example. That is, as shown in FIG. 2, the camera coordinate system takes the camera optical axis as the Z axis with the lens center as the origin, and takes the X axis and the Y axis parallel to the x axis and the y axis on the image plane. Here, the focal length f is known.

【0034】また、レーザレーダ座標系は、受光器を原
点、レーザ光軸をZR 軸にとり、鉛直方向にYR 軸、水
平方向にXR 軸を設定する。XR YR ZR 座標系からX
YZ座標系へは、回転ベクトルR、並進ベクトルTの合
成行列RTによって変換可能であり、後述するように、
本発明ではレーザレーダモジュール1により特定される
反射点の座標をカメラ座標に変換して照合する。但し、
合成行列RTは予めキャリブレーションを行っており、
既知である。
In the laser radar coordinate system, the light receiver is the origin, the laser optical axis is the ZR axis, and the YR axis is set in the vertical direction and the XR axis is set in the horizontal direction. XR YR ZR X from coordinate system
A YZ coordinate system can be converted by a composite matrix RT of a rotation vector R and a translation vector T, and as described later,
In the present invention, the coordinates of the reflection point specified by the laser radar module 1 are converted into camera coordinates for verification. However,
The composite matrix RT has been calibrated in advance,
It is known.

【0035】ところで、レーザレーダモジュール1は、
自車の前方にレーザ光を照射し、その際スキャニング機
構により所定角度(例えば0.1゜)ずつレーザ光が水
平方向にスキャンされ、自車前方の対象物からの反射光
が受光器により受光されてレーザ光の照射から反射光の
受光までの時間から、自車と同一車線を走行する先行車
との車間距離が検出されるようになっている。このよう
な1回の車間距離の検出処理に要する時間は、約100
ms程度の短い時間であり、この検出動作が一定時間毎
に繰り返される。
By the way, the laser radar module 1 is
Laser light is emitted in front of the vehicle, and the scanning mechanism scans the laser light horizontally at a predetermined angle (for example, 0.1 °), and the reflected light from the object in front of the vehicle is received by the light receiver. The distance between the irradiation of the laser light and the reception of the reflected light is detected from the distance between the vehicle and the preceding vehicle traveling in the same lane. The time required for such a single inter-vehicle distance detection process is about 100.
This is a short time of about ms, and this detection operation is repeated at regular intervals.

【0036】そして、このような動作によりレーザレー
ダモジュール1により検出対象上の複数の反射点が特定
されると、CPU3により、各反射点を車高相当(約2
m)分だけ高さ方向に2次元的に伸張、投影されて反射
線が形成される。このようなCPU3による形成処理が
形成部に相当する。
When a plurality of reflection points on the detection target are specified by the laser radar module 1 by such an operation, the CPU 3 determines each reflection point to be equivalent to the vehicle height (about 2).
The reflection line is formed by two-dimensionally extending and projecting in the height direction by m). Such a forming process by the CPU 3 corresponds to a forming unit.

【0037】一方、カメラモジュール2により撮像され
た自車前方の画像がCPU3により処理され、図3に示
すように、撮像画像に対して水平方向に長い矩形の垂直
注視領域Vが設定され、垂直注視領域Vの濃度が垂直方
向に投影されて垂直線分が抽出され、その中で対称性を
示す極大点の組が選ばれ、それが車両の両端候補とされ
る。更に、極大点の組の中央に位置する座標に水平注視
領域Hが設定され、同様にして水平線分が抽出され、多
数観測されればそれが車両候補としての矩形領域とされ
る。
On the other hand, the image of the front of the vehicle captured by the camera module 2 is processed by the CPU 3, and as shown in FIG. The density of the gazing area V is projected in the vertical direction to extract a vertical line segment, and a set of maximum points showing symmetry is selected from the vertical line segments, which are set as both end candidates of the vehicle. Further, a horizontal gazing area H is set at the coordinate located at the center of the set of local maximum points, a horizontal line segment is extracted in the same manner, and if a large number of observations are made, it becomes a rectangular area as a vehicle candidate.

【0038】そして、CPU3により、上記したように
して形成された各反射線の画像処理による矩形領域に対
応する位置での長さ、及び、それら反射線の位置での矩
形領域の高さのばらつきが評価され、そのばらつきが予
め定めた所定値以下となる反射線が車両候補群として選
択される。
Then, the CPU 3 varies the lengths of the respective reflection lines formed as described above at the positions corresponding to the rectangular regions by the image processing and the heights of the rectangular regions at the positions of the reflection lines. Is evaluated, and a reflection line whose variation is equal to or less than a predetermined value is selected as a vehicle candidate group.

【0039】このとき、各反射点を車高相当分だけ高さ
方向に2次元的に伸張、投影して反射線を形成したとき
に、画像処理によって得られる矩形領域に対応する位置
での各反射線の長さが各々の反射点までの距離に比例す
るため、矩形領域に対応する位置での各反射線の長さ
が、矩形領域の高さから大きくずれている反射線は前方
車両からの反射点に対応するものではなく、矩形領域の
高さと近似する反射線は前方車両からの反射点に対応す
るものと判断することができ、選択された車両候補群の
反射線と矩形領域とを照合することにより、より精度の
高い認識結果を得ることができるのである。このような
CPU3による認識処理が認識部に相当する。
At this time, when each reflection point is two-dimensionally expanded in the height direction by an amount corresponding to the vehicle height and projected to form a reflection line, each reflection point is formed at a position corresponding to a rectangular area obtained by image processing. Since the length of the reflection line is proportional to the distance to each reflection point, the length of each reflection line at the position corresponding to the rectangular area greatly deviates from the height of the rectangular area. It is possible to judge that the reflection line that does not correspond to the reflection point of the vehicle and that approximates the height of the rectangular area corresponds to the reflection point from the vehicle in front, and the reflection line and the rectangular area of the selected vehicle candidate group. By collating with, it is possible to obtain a more accurate recognition result. Such recognition processing by the CPU 3 corresponds to a recognition unit.

【0040】具体的には、図4(a)に示すように、画
像処理による矩形領域Sを得ると、この矩形領域Sの高
さと近似する同図(b)に示すような反射線RLのみ
が、前方車両からの反射点に対応する車両候補群として
選択される。そして、図5に示すように、矩形領域Sと
選択された車両候補群としての反射線RLとが照合され
る。ここで、矩形領域Sの高さをHi、車両候補群の反
射線RLの長さをHl、nをデータ数として、Val=
Σ{min(Hi,Hl)/max(Hi,Hl)}/n
…(1)と表わされる評価関数Valにより融合結果を
評価することができ、この評価関数の値が所定値である
1に近いほど、矩形領域Sと選択された各反射線RLの
両者の一致度が高く、前方車両である確度が高くなる。
ここで、(1)式の評価関数Valは、HiとHlのう
ち小さい方(min)と大きい方(max)の比を累積
したものの平均値を表わしている。
Specifically, when a rectangular area S is obtained by image processing as shown in FIG. 4A, only the reflection line RL shown in FIG. 4B, which approximates the height of the rectangular area S, is obtained. Is selected as the vehicle candidate group corresponding to the reflection point from the vehicle ahead. Then, as shown in FIG. 5, the rectangular region S is collated with the reflection line RL as the selected vehicle candidate group. Here, the height of the rectangular area S is Hi, the length of the reflection line RL of the vehicle candidate group is Hl, and n is the number of data, and Val =
Σ {min (Hi, Hl) / max (Hi, Hl)} / n
The fusion result can be evaluated by the evaluation function Val expressed as (1), and the closer the value of this evaluation function is to the predetermined value 1, the more coincident the rectangular area S and each selected reflection line RL are. The degree of accuracy is high and the probability of being a vehicle ahead is high.
Here, the evaluation function Val of the expression (1) represents an average value of cumulative values of the ratio of the smaller one (min) and the larger one (max) of Hi and Hl.

【0041】そのため、図7に示すように、レーザレー
ダモジュール1の検知範囲Lの一部にした前方車両が入
っていないときであっても、前方車両からの反射点に対
応する反射線RLを選択し、選択した反射線RLと画像
処理による矩形領域Sとの照合を行うことにより、前方
車両かどうか判断することができるのである。
Therefore, as shown in FIG. 7, the reflection line RL corresponding to the reflection point from the front vehicle is set even when there is no front vehicle in the detection range L of the laser radar module 1. By selecting and matching the selected reflection line RL with the rectangular area S by image processing, it is possible to determine whether the vehicle is a front vehicle.

【0042】従って、上記した実施形態によれば、レー
ザレーダモジュール1により特定された各反射点を車高
相当分だけの高さ方向に2次元的に伸張、投影して各反
射点それぞれに対応する反射線を形成し、これら各反射
線の画像処理によって得られる矩形領域に対応する位置
での長さと、矩形領域の高さとに基づき、矩形領域に対
応する位置での各反射線の長さが矩形領域の高さと近似
する反射線のみを選択すると、これら選択した反射線は
車両候補群であると判断できるため、レーザレーダモジ
ュール1を用いた車両認識に、CCDカメラモジュール
2による画像処理の結果を融合して照合する場合に、レ
ーザレーダモジュール1の検知範囲の一部にしか入って
いない前方車両であっても、精度よくこれを認識するこ
とができる。
Therefore, according to the above-described embodiment, each reflection point specified by the laser radar module 1 is two-dimensionally extended and projected in the height direction corresponding to the vehicle height to correspond to each reflection point. The length of each reflection line at the position corresponding to the rectangular area is formed based on the length at the position corresponding to the rectangular area obtained by image processing of these reflection lines and the height of the rectangular area. If only the reflection lines that are close to the height of the rectangular area are selected, it is possible to judge that the selected reflection lines are the vehicle candidate group. Therefore, in the vehicle recognition using the laser radar module 1, the image processing by the CCD camera module 2 is performed. When the results are combined and collated, even a forward vehicle that is only within a part of the detection range of the laser radar module 1 can be accurately recognized.

【0043】また、レーザレーダモジュール1は距離測
定に優れ、CCDカメラモジュール2は車両とそれ以外
を精度よく識別できるため、CCDカメラモジュール2
による車両認識を、レーザレーダモジュール1による車
両認識に融合することにより、従来のように前方車両以
外の車両や路側物等からの反射を前方車両からの反射に
含めてしまうことを防止できるのは勿論である。
Further, the laser radar module 1 is excellent in distance measurement, and the CCD camera module 2 can accurately distinguish the vehicle from the others, so that the CCD camera module 2
By combining the vehicle recognition by the laser radar module 1 with the vehicle recognition by the laser radar module 1, it is possible to prevent the reflection from the vehicle other than the front vehicle or the roadside object from being included in the reflection from the front vehicle as in the conventional case. Of course.

【0044】なお、上記した実施形態では、評価関数V
alを用いて融合結果を評価するようにした場合につい
て説明したが、融合結果の評価手法はこのような評価関
数に限定されるものではない。例えば、CPU3によ
り、選択した車両候補群の反射線(或いはこれらに対応
する反射点)をCCDカメラモジュール2の画像処理に
おける座標系に座標変換して、CCDカメラモジュール
2による撮像画像を処理して得られる矩形領域と照合
し、座標変換後の車両候補群が前記矩形領域の少なくと
も一部とほぼ一致するときにその車両候補群及び矩形領
域を前方車両と判断するようにしても構わない。この場
合、CPU3による照合処理が照合部に相当し、判断処
理が判断部に相当する。
In the above embodiment, the evaluation function V
The case where the fusion result is evaluated by using al has been described, but the fusion result evaluation method is not limited to such an evaluation function. For example, the CPU 3 performs coordinate conversion of the reflection lines (or the reflection points corresponding to these) of the selected vehicle candidate group into the coordinate system in the image processing of the CCD camera module 2 and processes the imaged image by the CCD camera module 2. The obtained rectangular area may be collated, and when the coordinate-converted vehicle candidate group substantially coincides with at least a part of the rectangular area, the vehicle candidate group and the rectangular area may be determined as a forward vehicle. In this case, the matching process by the CPU 3 corresponds to the matching unit, and the determination process corresponds to the determination unit.

【0045】更に、上記した実施形態では、撮像手段と
して単眼CCDカメラを用いた場合について説明した
が、撮像手段は上記した単眼CCDカメラに限定される
ものでないのはいうまでもない。
Further, in the above-mentioned embodiment, the case where the monocular CCD camera is used as the imaging means has been described, but it goes without saying that the imaging means is not limited to the monocular CCD camera described above.

【0046】また、本発明は上記した実施形態に限定さ
れるものではなく、その趣旨を逸脱しない限りにおいて
上述したもの以外に種々の変更を行うことが可能であ
る。
Further, the present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention.

【0047】[0047]

【発明の効果】以上のように、請求項1、5に記載の発
明によれば、レーザレーダは距離測定に優れ、画像セン
サは車両とそれ以外を精度よく識別できるため、画像セ
ンサによる車両認識を、レーザレーダによる車両認識に
融合することにより、従来のように前方車両以外の車両
や路側物等からの反射を前方車両からの反射に含めてし
まうことを防止できる。
As described above, according to the first and fifth aspects of the invention, the laser radar is excellent in distance measurement, and the image sensor can accurately distinguish between the vehicle and the other parts. Can be prevented from being included in the reflection from the front vehicle, which is the reflection from a vehicle other than the front vehicle, a roadside object, etc., as in the related art.

【0048】更に、レーザレーダにより特定された各反
射点を車高相当分だけの高さ方向に2次元的に伸張、投
影して前記各反射点それぞれに対応する反射線を形成
し、これら各反射線の画像処理によって得られる矩形領
域に対応する位置での長さと、矩形領域の高さとに基づ
き、矩形領域に対応する位置での各反射線の長さが矩形
領域の高さと近似する反射線のみを選択し、これら選択
した反射線は車両候補群であると判断できるため、レー
ザレーダを用いた車両認識に、撮像部による画像処理の
結果を融合する場合に、レーザレーダの検知範囲の一部
にしか入っていない前方車両を精度よく認識することが
でき、より高度でより快適な運転支援システムの提供が
可能になる。
Further, each reflection point specified by the laser radar is two-dimensionally extended and projected in the height direction corresponding to the vehicle height to form a reflection line corresponding to each reflection point, and each of these reflection points is formed. Reflection in which the length of each reflection line at the position corresponding to the rectangular area approximates the height of the rectangular area based on the length of the reflection area at the position corresponding to the rectangular area and the height of the rectangular area. Since only the lines are selected and it is possible to determine that the selected reflected lines are the vehicle candidate group, when merging the results of the image processing by the imaging unit with the vehicle recognition using the laser radar, the detection range of the laser radar is It is possible to accurately recognize a vehicle ahead that is only part of it, and to provide a more advanced and more comfortable driving support system.

【0049】また、請求項2、6に記載の発明によれ
ば、各反射点を車高相当分だけ高さ方向に2次元的に伸
張、投影して反射線を形成したときに、画像処理によっ
て得られる矩形領域に対応する位置での各反射線の長さ
が各々の反射点までの距離に比例するため、矩形領域に
対応する位置での各反射線の長さが、矩形領域の高さか
ら大きくずれている反射線は前方車両からの反射点に対
応するものではなく、矩形領域の高さと近似する反射線
は前方車両からの反射点に対応するものと判断すること
ができる。
According to the second and sixth aspects of the present invention, when the reflection points are formed by two-dimensionally extending and projecting each reflection point in the height direction by an amount corresponding to the vehicle height, image processing is performed. Since the length of each reflection line at the position corresponding to the rectangular area obtained by is proportional to the distance to each reflection point, the length of each reflection line at the position corresponding to the rectangular area is It can be determined that the reflection line that largely deviates from the above does not correspond to the reflection point from the front vehicle, and the reflection line that approximates the height of the rectangular area corresponds to the reflection point from the front vehicle.

【0050】そのため、各反射線の矩形領域に対応する
位置での長さ、及び、その反射線の位置での矩形領域の
高さのばらつきを評価し、そのばらつきが予め定めた所
定値以下となる反射線に対応する反射点を選択すること
により、前方車両がレーザレーダの検知範囲の一部にし
か入っていない場合であっても、前方車両からの反射点
のみを車両候補として選択することが可能になる。
Therefore, the variation in the length of each reflection line at the position corresponding to the rectangular region and the height of the rectangular region at the position of the reflection line are evaluated, and the variation is equal to or less than a predetermined value. By selecting the reflection point corresponding to the reflection line, even if the front vehicle is only within the detection range of the laser radar, only the reflection point from the front vehicle is selected as a vehicle candidate. Will be possible.

【0051】また、請求項3、7に記載の発明によれ
ば、各反射線の矩形領域に対応する位置での長さ、及
び、その反射線の位置での矩形領域の高さのばらつきが
規定値以下となる反射線を車両候補群として選択するこ
とで、前方車両がレーザレーダの検知範囲の一部にしか
入っていない場合であっても、前方車両からの反射点に
対応する反射線のみを車両候補群として選択でき、この
選択した車両候補群を画像処理の座標系に座標変換して
矩形領域と照合することにより、座標変換後の車両候補
群が矩形領域の少なくとも一部とほぼ一致するときに、
その車両候補群及び矩形領域を前方車両と判断できるた
め、どのような状況下でも前方車両を精度よく検出する
ことが可能になる。
According to the third and seventh aspects of the present invention, there are variations in the length of each reflection line at the position corresponding to the rectangular area and in the height of the rectangular area at the position of the reflection line. By selecting a reflection line that is less than the specified value as a vehicle candidate group, even if the front vehicle is only within a part of the detection range of the laser radar, the reflection line corresponding to the reflection point from the front vehicle Only the vehicle candidate group can be selected as the vehicle candidate group, and the selected vehicle candidate group is coordinate-converted into the coordinate system for image processing and collated with the rectangular area. When they match,
Since the vehicle candidate group and the rectangular area can be determined as the front vehicle, the front vehicle can be accurately detected under any circumstances.

【0052】また、請求項4に記載の発明によれば、エ
ッジヒストグラムから車両候補としての矩形領域を抽出
するときに、車両以外を排除することができ、車両候補
としての矩形領域を精度よく抽出することが可能にな
る。
According to the fourth aspect of the present invention, when extracting the rectangular area as the vehicle candidate from the edge histogram, it is possible to exclude other than the vehicle, and the rectangular area as the vehicle candidate is accurately extracted. It becomes possible to do.

【図面の簡単な説明】[Brief description of drawings]

【図1】この発明の一実施形態のブロック図である。FIG. 1 is a block diagram of an embodiment of the present invention.

【図2】この発明の一実施形態の動作説明図である。FIG. 2 is an operation explanatory diagram of the embodiment of the present invention.

【図3】この発明の一実施形態の動作説明図である。FIG. 3 is an operation explanatory diagram of the embodiment of the present invention.

【図4】この発明の一実施形態の動作説明図である。FIG. 4 is an operation explanatory diagram of the embodiment of the present invention.

【図5】この発明の一実施形態の動作説明図である。FIG. 5 is an operation explanatory diagram of the embodiment of the present invention.

【図6】この発明の背景となるスキャンレーザレーダに
よる車両認識の動作説明図である。
FIG. 6 is an operation explanatory diagram of vehicle recognition by the scan laser radar which is the background of the present invention.

【図7】この発明の背景となるスキャンレーザレーダに
よる車両認識の動作説明図である。
FIG. 7 is an operation explanatory diagram of vehicle recognition by the scan laser radar which is the background of the present invention.

【符号の説明】[Explanation of symbols]

1 レーザレーダモジュール 2 CCDカメラモジュール(画像処理部) 3 CPU(形成部、認識部、照合部、判断部) 1 Laser radar module 2 CCD camera module (image processing unit) 3 CPU (former, recognizer, collator, judger)

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G01B 11/00 G06T 1/00 330B G06T 1/00 330 5/40 5/40 7/00 150 7/00 150 300F 300 300G G08G 1/16 C G08G 1/16 G01S 17/88 A Fターム(参考) 2F065 AA06 AA22 AA24 BB05 BB15 CC11 FF04 FF11 GG04 JJ03 JJ26 MM13 MM23 MM28 PP22 QQ31 5B057 AA16 BA24 CA08 CA12 CB08 CB12 DA08 DB02 DB09 DC16 DC19 DC32 5H180 AA01 CC03 CC04 CC14 LL01 LL04 LL11 5J084 AA05 AB01 AC02 AD01 BA03 CA32 DA01 EA07 5L096 AA06 BA04 CA02 FA06 FA35 FA66 FA69 JA20 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) G01B 11/00 G06T 1/00 330B G06T 1/00 330 5/40 5/40 7/00 150 7/00 150 300F 300 300G G08G 1/16 C G08G 1/16 G01S 17/88 A F Term (reference) 2F065 AA06 AA22 AA24 BB05 BB15 CC11 FF04 FF11 GG04 JJ03 JJ26 CB13 CA08DB12CAQ12 5B08CA1212B24CA0812B24CA0812B24CA08A12B24CA1212B24CA0812122424 DC16 DC19 DC32 5H180 AA01 CC03 CC04 CC14 LL01 LL04 LL11 5J084 AA05 AB01 AC02 AD01 BA03 CA32 DA01 EA07 5L096 AA06 BA04 CA02 FA06 FA35 FA66 FA69 JA20

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 自車の前方を走行する車両を認識する前
方車両の認識装置において、 自車前方にレーザ光を水平方向にスキャンしつつ照射す
ると共に反射点からの反射光を受光し複数個の前記反射
点の位置を特定するレーザレーダと、 自車前方を撮像する撮像部と、 前記撮像部による撮像画像から前方車両の後端面画像を
含む所定の矩形領域を抽出する画像処理部と、 前記レーザレーダにより特定された前記各反射点を車高
相当分だけの高さ方向に2次元的に伸張、投影して前記
各反射点それぞれに対応する反射線を形成する形成部
と、 前記形成部より形成される前記各反射線の前記矩形領域
に対応する位置での長さと前記矩形領域の高さとに基づ
き前方車両を認識する認識部とを備えていることを特徴
とする前方車両の認識装置。
1. A front vehicle recognizing device for recognizing a vehicle traveling in front of the host vehicle, wherein a plurality of laser beams are emitted in front of the host vehicle while being horizontally scanned and reflected light is received from a reflection point. A laser radar that identifies the position of the reflection point, an image capturing unit that captures an image of the front of the vehicle, and an image processing unit that extracts a predetermined rectangular area including the rear end face image of the vehicle ahead from the image captured by the image capturing unit, A forming unit that two-dimensionally extends and projects each of the reflection points specified by the laser radar in a height direction corresponding to a vehicle height, and forms a reflection line corresponding to each of the reflection points; Recognition of a front vehicle, characterized by comprising a recognition unit for recognizing a front vehicle based on a length of each of the reflection lines formed by a portion at a position corresponding to the rectangular area and a height of the rectangular area. apparatus.
【請求項2】 前記認識部が、前記各反射線の前記矩形
領域に対応する位置での長さ、及び、その反射線の位置
での前記矩形領域の高さを照合してそのばらつきを評価
し、前記ばらつきが所定値以下であるときに前記矩形領
域が前方車両であると判断することを特徴とする請求項
1に記載の前方車両の認識装置。
2. The recognizing unit collates the length of each of the reflection lines at a position corresponding to the rectangular region and the height of the rectangular region at the position of the reflection line to evaluate the variation. The front vehicle recognition device according to claim 1, wherein the rectangular area is determined to be a front vehicle when the variation is less than or equal to a predetermined value.
【請求項3】 前記認識部が、前記各反射線の前記矩形
領域に対応する位置での長さ、及び、その反射線の位置
での前記矩形領域の高さのばらつきが規定値以下となる
前記反射線を車両候補群とし、この車両候補群を画像処
理の座標系に座標変換して前記矩形領域と照合する照合
部と、座標変換後の前記車両候補群が前記矩形領域の少
なくとも一部とほぼ一致するときにその車両候補群及び
前記矩形領域を前方車両と判断する判断部とを備えてい
ることを特徴とする請求項2に記載の前方車両の認識装
置。
3. The recognizing unit has variations in the length of each of the reflection lines at a position corresponding to the rectangular region and the height variation of the rectangular region at the position of the reflection line is equal to or less than a specified value. The reflection line is used as a vehicle candidate group, the vehicle candidate group is coordinate-converted into a coordinate system for image processing and collated with the rectangular area, and the vehicle candidate group after coordinate conversion is at least a part of the rectangular area. The vehicle front recognition device according to claim 2, further comprising: a vehicle candidate group and a determination unit that determines the rectangular area as a vehicle ahead when the vehicle candidate group and the rectangular area substantially match.
【請求項4】 前記画像処理部が、前記画像センサによ
る撮像画像に対して所定の注視領域を設定しその注視領
域における各画素の濃淡からX方向へのエッジヒストグ
ラム、これに直交するY方向へのエッジヒストグラム、
及び両方向へのエッジヒストグラムの積を演算してその
極大点を導出することで車両候補としての前記矩形領域
を抽出することを特徴とする請求項1ないし3のいずれ
かに記載の前方車両の認識装置。
4. The image processing unit sets a predetermined gaze area for an image picked up by the image sensor, and an edge histogram in the X direction from the grayscale of each pixel in the gaze area, in the Y direction orthogonal thereto. Edge histogram of,
4. The front vehicle recognition according to claim 1, wherein the rectangular area as a vehicle candidate is extracted by calculating a product of edge histograms in both directions and deriving a maximum point thereof. apparatus.
【請求項5】 自車の前方を走行する車両を認識する前
方車両の認識方法において、 レーザレーダにより、自車前方にレーザ光を水平方向に
スキャンしつつ照射すると共に反射点からの反射光を受
光し複数個の前記反射点までの距離を検出して前記各反
射点の位置を特定する測距工程と、 撮像部により自車前方を撮像する撮像工程と、 前記撮像工程による撮像画像を画像処理して前方車両の
後端面画像を含む所定の矩形領域を抽出する抽出工程
と、 前記レーザレーダにより特定された前記各反射点を車高
相当分だけの高さ方向に2次元的に伸張、投影して前記
各反射点それぞれに対応する反射線を形成する形成工程
と、 前記形成工程により形成された前記各反射線の前記矩形
領域に対応する位置での長さと前記矩形領域の高さとに
基づき前方車両を認識する認識工程とを備えていること
を特徴とする前方車両の認識方法。
5. A front vehicle recognizing method for recognizing a vehicle traveling ahead of the own vehicle, wherein a laser radar irradiates the front of the own vehicle with laser light while scanning the same in a horizontal direction and reflects light from a reflection point. A distance measurement step of receiving light and detecting the distance to a plurality of the reflection points to specify the position of each reflection point, an imaging step of imaging the front of the vehicle by an imaging unit, and an image captured by the imaging step An extraction step of processing to extract a predetermined rectangular area including the rear end face image of the front vehicle, and two-dimensionally extending each of the reflection points specified by the laser radar in the height direction corresponding to the vehicle height, A forming step of forming a reflection line corresponding to each of the reflection points by projecting, and a length at a position corresponding to the rectangular area of each reflection line formed by the forming step and a height of the rectangular area. Based on Recognition method of the forward vehicle, characterized in that it comprises a recognizing step the vehicle.
【請求項6】 前記認識工程が、前記各反射線の前記矩
形領域に対応する位置での長さ、及び、その反射線の位
置での前記矩形領域の高さを照合してそのばらつきを評
価し、前記ばらつきが所定値以下であるときに前記矩形
領域が前方車両であると判断する工程を含むことを特徴
とする請求項5に記載の前方車両の認識方法。
6. The recognizing step collates the length of each of the reflection lines at a position corresponding to the rectangular region and the height of the rectangular region at the position of the reflection line to evaluate the variation. The method for recognizing a front vehicle according to claim 5, further comprising the step of determining that the rectangular area is a front vehicle when the variation is equal to or less than a predetermined value.
【請求項7】 前記認識工程が、前記各反射線の前記矩
形領域に対応する位置での長さ、及び、その反射線の位
置での前記矩形領域の高さのばらつきが規定値以下とな
る前記反射線を車両候補群とし、この車両候補群を画像
処理の座標系に座標変換して前記矩形領域と照合する照
合工程と、座標変換後の前記車両候補群が前記矩形領域
の少なくとも一部とほぼ一致するときにその車両候補群
及び前記矩形領域を前方車両と判断する判断工程とを含
むことを特徴とする請求項6に記載の前方車両の認識方
法。
7. In the recognition step, the variation in the length of each of the reflection lines at a position corresponding to the rectangular area and the height of the rectangular area at the position of the reflection line is equal to or less than a specified value. A matching step of converting the reflection line into a vehicle candidate group, converting the vehicle candidate group into a coordinate system for image processing and matching the rectangular area, and the vehicle candidate group after the coordinate conversion is at least a part of the rectangular area. 7. The method for recognizing a front vehicle according to claim 6, further comprising a determination step of determining the vehicle candidate group and the rectangular area as a front vehicle when they substantially match.
JP2001372196A 2001-12-06 2001-12-06 Recognition device and recognition method of preceding vehicle Pending JP2003172780A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001372196A JP2003172780A (en) 2001-12-06 2001-12-06 Recognition device and recognition method of preceding vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001372196A JP2003172780A (en) 2001-12-06 2001-12-06 Recognition device and recognition method of preceding vehicle

Publications (1)

Publication Number Publication Date
JP2003172780A true JP2003172780A (en) 2003-06-20

Family

ID=19181128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001372196A Pending JP2003172780A (en) 2001-12-06 2001-12-06 Recognition device and recognition method of preceding vehicle

Country Status (1)

Country Link
JP (1) JP2003172780A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003315458A (en) * 2002-04-23 2003-11-06 Daihatsu Motor Co Ltd Recognition apparatus and method for forward vehicle
JP2005291805A (en) * 2004-03-31 2005-10-20 Daihatsu Motor Co Ltd Obstacle detection method and obstacle detection system
JP2008298543A (en) * 2007-05-30 2008-12-11 Toyota Motor Corp Object detection device and vehicle control device
US7542825B2 (en) 2003-11-28 2009-06-02 Denso Corporation Sensor fusion system and vehicle control system therewith
JP2013117475A (en) * 2011-12-05 2013-06-13 Toyota Motor Corp Obstacle detector
WO2014051362A1 (en) * 2012-09-26 2014-04-03 삼성전자주식회사 Proximity sensor and proximity sensing method using event-based vision sensor
JP2014150583A (en) * 2014-04-28 2014-08-21 Rohm Co Ltd Vehicle monitoring apparatus
WO2015174178A1 (en) * 2014-05-15 2015-11-19 本田技研工業株式会社 Movement-assisting device
US9751528B2 (en) 2013-08-26 2017-09-05 Toyota Jidosha Kabushiki Kaisha In-vehicle control device
KR20200040141A (en) * 2018-10-08 2020-04-17 주식회사 만도 Method for processing data, apparatus thereof and vehicle control system
CN113544538A (en) * 2019-02-28 2021-10-22 祖克斯有限公司 Identifying radar reflections using velocity and position information

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08156723A (en) * 1994-12-06 1996-06-18 Nissan Motor Co Ltd Vehicle obstacle detection device
JPH08329393A (en) * 1995-05-29 1996-12-13 Daihatsu Motor Co Ltd Preceding vehicle detector
JPH0991595A (en) * 1995-09-25 1997-04-04 Mitsubishi Motors Corp Obstacle recognition device
JPH09145833A (en) * 1995-11-24 1997-06-06 Toyota Motor Corp In-vehicle scanning radar device
JPH09264954A (en) * 1996-03-29 1997-10-07 Fujitsu Ten Ltd Image processing system using radar
JP2002116255A (en) * 2000-10-06 2002-04-19 Nissan Motor Co Ltd Inter-vehicle distance setting device
JP2003084064A (en) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd Device and method for recognizing vehicle in front side
JP2003099762A (en) * 2001-09-25 2003-04-04 Daihatsu Motor Co Ltd Precedent vehicle recognition device and recognition method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08156723A (en) * 1994-12-06 1996-06-18 Nissan Motor Co Ltd Vehicle obstacle detection device
JPH08329393A (en) * 1995-05-29 1996-12-13 Daihatsu Motor Co Ltd Preceding vehicle detector
JPH0991595A (en) * 1995-09-25 1997-04-04 Mitsubishi Motors Corp Obstacle recognition device
JPH09145833A (en) * 1995-11-24 1997-06-06 Toyota Motor Corp In-vehicle scanning radar device
JPH09264954A (en) * 1996-03-29 1997-10-07 Fujitsu Ten Ltd Image processing system using radar
JP2002116255A (en) * 2000-10-06 2002-04-19 Nissan Motor Co Ltd Inter-vehicle distance setting device
JP2003084064A (en) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd Device and method for recognizing vehicle in front side
JP2003099762A (en) * 2001-09-25 2003-04-04 Daihatsu Motor Co Ltd Precedent vehicle recognition device and recognition method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003315458A (en) * 2002-04-23 2003-11-06 Daihatsu Motor Co Ltd Recognition apparatus and method for forward vehicle
US7542825B2 (en) 2003-11-28 2009-06-02 Denso Corporation Sensor fusion system and vehicle control system therewith
JP2005291805A (en) * 2004-03-31 2005-10-20 Daihatsu Motor Co Ltd Obstacle detection method and obstacle detection system
JP2008298543A (en) * 2007-05-30 2008-12-11 Toyota Motor Corp Object detection device and vehicle control device
JP2013117475A (en) * 2011-12-05 2013-06-13 Toyota Motor Corp Obstacle detector
WO2014051362A1 (en) * 2012-09-26 2014-04-03 삼성전자주식회사 Proximity sensor and proximity sensing method using event-based vision sensor
US9921310B2 (en) 2012-09-26 2018-03-20 Samsung Electronics Co., Ltd. Proximity sensor and proximity sensing method using event-based vision sensor
US9751528B2 (en) 2013-08-26 2017-09-05 Toyota Jidosha Kabushiki Kaisha In-vehicle control device
JP2014150583A (en) * 2014-04-28 2014-08-21 Rohm Co Ltd Vehicle monitoring apparatus
JPWO2015174178A1 (en) * 2014-05-15 2017-04-20 本田技研工業株式会社 Mobility support device
WO2015174178A1 (en) * 2014-05-15 2015-11-19 本田技研工業株式会社 Movement-assisting device
KR20200040141A (en) * 2018-10-08 2020-04-17 주식회사 만도 Method for processing data, apparatus thereof and vehicle control system
KR102206223B1 (en) * 2018-10-08 2021-01-22 주식회사 만도 Method for processing data, apparatus thereof and vehicle control system
CN113544538A (en) * 2019-02-28 2021-10-22 祖克斯有限公司 Identifying radar reflections using velocity and position information

Similar Documents

Publication Publication Date Title
JP2003084064A (en) Device and method for recognizing vehicle in front side
US7376247B2 (en) Target detection system using radar and image processing
US6670912B2 (en) Method for detecting stationary object located above road
US6956469B2 (en) Method and apparatus for pedestrian detection
JP3367170B2 (en) Obstacle detection device
US11110923B2 (en) Adaptive cruise control device
JP4070437B2 (en) Forward vehicle recognition device and recognition method
US7321669B2 (en) Method and apparatus for refining target position and size estimates using image and depth data
CN110889974B (en) A kind of intelligent parking space identification method and device, automobile
JP2003172780A (en) Recognition device and recognition method of preceding vehicle
JP5098563B2 (en) Object detection device
US7466860B2 (en) Method and apparatus for classifying an object
JPH08156723A (en) Vehicle obstacle detection device
JP2002303671A (en) Object type discriminator
JP2002334330A (en) Vehicle recognition device
WO2019149213A1 (en) Image-based road cone recognition method and apparatus, storage medium, and vehicle
JP4102885B2 (en) Parked vehicle detection method and parked vehicle detection system
JP3319401B2 (en) Roadway recognition device
JP3740531B2 (en) Parked vehicle detection method, detection system, and parked vehicle detection device
JP2002183737A (en) Object recognition device
JP2003044995A (en) Object type determining device and object type determining method
JP3969984B2 (en) Recognition method for moving objects
JPH11259792A (en) Vehicle recognition method and device
JPH10232936A (en) Object recognition method and apparatus
JP3043227B2 (en) Inter-vehicle distance measurement device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060502

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060905