JP2018018215A - Object feature point detector - Google Patents
Object feature point detector Download PDFInfo
- Publication number
- JP2018018215A JP2018018215A JP2016146658A JP2016146658A JP2018018215A JP 2018018215 A JP2018018215 A JP 2018018215A JP 2016146658 A JP2016146658 A JP 2016146658A JP 2016146658 A JP2016146658 A JP 2016146658A JP 2018018215 A JP2018018215 A JP 2018018215A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- lane
- point
- vehicle
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
【課題】この発明は、物体特徴点検知装置に関し、検出すべき対象物体が他物体と重なってしまう状況下でも、その対象物体上の点を正しく特徴点として検知することを目的とする。【解決手段】車両10の走路情報を検出する。走路情報に基づいて走路上のレーンを認識する。車両10の周辺に存在する物体(先行車両32、走路脇の壁84など)を検出する。その検出結果に基づいて、対象物体(先行車両32)の輪郭上の点を検出する。認識したレーンに対象物体(先行車両32)を当て嵌めて、その輪郭上の点が、他物体(壁84、周辺車両)と結合して検出される結合条件が対象物体の一方の側で成立しているか否かを判定する。結合条件が一方の側(例えば左側)で成立している場合に、対象物体の他方の側(例えば右側)に属する点を特徴点106とする。【選択図】図13The present invention relates to an object feature point detection device, and an object thereof is to correctly detect a point on a target object as a feature point even when a target object to be detected overlaps another object. SOLUTION: The travel route information of a vehicle 10 is detected. Recognize lanes on the track based on track information. Objects existing in the vicinity of the vehicle 10 (the preceding vehicle 32, the roadside wall 84, etc.) are detected. Based on the detection result, a point on the contour of the target object (the preceding vehicle 32) is detected. The target object (the preceding vehicle 32) is fitted to the recognized lane, and the point on the contour is connected to another object (the wall 84, the surrounding vehicles), and the detection condition is detected on one side of the target object. It is determined whether or not. When the joining condition is satisfied on one side (for example, the left side), a point belonging to the other side (for example, the right side) of the target object is set as the characteristic point 106. [Selection diagram] Fig. 13
Description
この発明は、物体特徴点検知装置に係り、特に、周囲に存在する対象物体の特徴点を検出するために車両に搭載される装置として好適な物体特徴点検知装置に関する。 The present invention relates to an object feature point detection apparatus, and more particularly to an object feature point detection apparatus suitable as an apparatus mounted on a vehicle in order to detect a feature point of a target object existing in the vicinity.
特許文献1には、レーザレーダを用いた車両用物体検知装置が開示されている。この装置は、車両前方を検出領域とするレーザレーダを備えている。レーザレーダによれば、検出領域に存在する物体の形状を検知することができる。上記従来の装置は、自車両の進路に横方向から物体が侵入してくる場合に、下記のルールに従ってその物体の検出点を選択する。
1.検出領域に物体の先端だけが入っている場合:その先端の側の検出点を選択する。
2.検出領域に物体の後端だけが入っている場合:その後端の側の検出点を選択する。
3.物体の全てが検出領域に収まっている場合:複数の検出点のうち中央の検出点を選択する。
1. When only the tip of the object is in the detection area: Select the detection point on the tip side.
2. When only the rear end of the object is in the detection area: The detection point on the rear end side is selected.
3. When all of the objects are within the detection area: The center detection point is selected from the plurality of detection points.
上記のルールによれば、夫々の条件下で物体の速度を最も正しく表す点を検出点として選択することができる。このため、上記従来の装置によれば、レーザレーダの検出領域に物体が入り始めてから、その検出領域から物体が脱出するまでの間、精度良くその物体の移動速度を推定することができる。 According to the above rule, a point that most accurately represents the velocity of the object under each condition can be selected as a detection point. For this reason, according to the above-described conventional apparatus, the moving speed of the object can be accurately estimated from when the object starts to enter the detection area of the laser radar until the object escapes from the detection area.
尚、出願人は、上記の特許文献1の他に本願発明に関連する文献として下記特許文献2を認識している。
In addition to the
ところで、レーザレーダは、自車両の進路に進入してくる対象物体の他にも、路上の白線や、隣のレーン上の先行車両など、様々な他物体を検知することができる。そして、検出すべき対象物体が他物体と近接しているような場合には、両者の輪郭が重なって、両者が結合した状態でレーザレーダに検知されてしまうことがある。 Incidentally, the laser radar can detect various other objects such as a white line on the road and a preceding vehicle on the adjacent lane, in addition to the target object entering the course of the host vehicle. When the target object to be detected is close to another object, the contours of both may overlap and may be detected by the laser radar in a state where both are combined.
このため、特許文献1の装置によれば、対象物体の先端が路上の白線等と重なる等、近接する状況下では、物体の先端位置が誤って検出されることがある。同様に、この装置によれば、物体の後端が白線等と重なる場合には、その後端位置が誤検出される事態が生じ得る。そして、先端位置又は後端位置が誤検出されれば、中央の検出点も必然的に正しいものではなくなる。このように、特許文献1に記載の装置では、対象物体が他物体と重なる等、近接する状況下では、所望の検出点が正しく得られない事態が生ずることがある。
For this reason, according to the apparatus of
この発明は、上述のような課題を解決するためになされたもので、検出すべき対象物体が他物体と近接し正しい物体上の点が検知できなくなる状況下でも、その対象物体上の点を正しく特徴点として検知することのできる物体特徴点検知装置を提供することを目的とする。 The present invention has been made to solve the above-described problems. Even when a target object to be detected is close to another object and a point on the correct object cannot be detected, the point on the target object is not detected. An object of the present invention is to provide an object feature point detection device capable of correctly detecting a feature point.
本発明は、上記の目的を達成するため、物体特徴点検知装置であって、
自車両の走路情報を検出する処理と、
前記走路情報に基づいて走路上のレーンを認識するレーン認識処理と、
自車両の周辺に存在する物体を検出する物体検出処理と、
前記物体検出処理の結果に基づいて、対象物体の輪郭上の点を検出する対象物体検出処理と、
前記レーンに前記対象物体を当て嵌めて、前記輪郭上の点が、前記対象物体とは異なる他物体と結合して検出される結合条件が前記対象物体の一方の側で成立しているか否かを判定する結合判定処理と、
前記結合条件が一方の側で成立している場合に、前記対象物体の他方の側に属する前記輪郭上の点を、当該対象物体の特徴点とする特徴点選択処理と、
を実行することを特徴とする。
In order to achieve the above object, the present invention is an object feature point detection apparatus,
A process for detecting the running path information of the own vehicle;
Lane recognition processing for recognizing a lane on the road based on the road information,
An object detection process for detecting objects existing around the host vehicle;
A target object detection process for detecting a point on the contour of the target object based on the result of the object detection process;
Whether or not a connection condition is established on one side of the target object by fitting the target object to the lane and detecting a point on the contour combined with another object different from the target object A join determination process for determining
A feature point selection process in which a point on the contour belonging to the other side of the target object is a feature point of the target object when the combining condition is satisfied on one side;
It is characterized by performing.
また、本発明の好ましい態様によれば、前記結合判定処理は、前記対象物体が走行中のレーンが走路の端のレーンである場合に、当該端の側で前記結合条件が成立していると判断する処理を含む。 Further, according to a preferred aspect of the present invention, when the lane in which the target object is traveling is the lane at the end of the runway, the combination determination process is performed when the combination condition is satisfied on the end side. Includes processing to determine.
また、本発明の他の好ましい態様によれば、
前記対象物体検出処理は、前記物体検出処理の結果に基づいて前記対象物体の位置を検出する処理を含み、
前記物体特徴点検知装置は、前記物体検出処理の結果に基づいて、前記他物体の輪郭上の点と当該他物体の位置とを検出する他物体検出処理を更に実行し、
前記結合判定処理は、前記他物体が前記対象物体の一方の側に存在し、かつ、両者の距離が判定閾値以下である場合に、当該他物体が存在する側で前記結合条件が成立していると判定する処理を含む。
According to another preferred embodiment of the present invention,
The target object detection process includes a process of detecting a position of the target object based on a result of the object detection process,
The object feature point detection device further executes another object detection processing for detecting a point on the contour of the other object and a position of the other object based on the result of the object detection processing,
In the combination determination process, when the other object exists on one side of the target object and the distance between them is equal to or less than a determination threshold, the combination condition is satisfied on the side where the other object exists. Including the process of determining that the
また、本発明の別の好ましい態様によれば、
前記対象物体検出処理は、サンプリング周期毎に、前記対象物体の一方の側及び他方の側の双方において前記輪郭上の点を検出し、
前記物体特徴点検知装置は、
前記サンプリング周期毎に、一周期前に決定された前記輪郭上の点の位置、前記対象物体の移動速度、及び当該サンプリング周期に基づいて、当該点の推定位置を算出する処理と、
前記サンプリング周期毎に、前記一方の側の輪郭上の点と当該点の推定位置との差、並びに、前記他方の側の輪郭上の点と当該点の推定位置との差を算出する処理と、
前記結合条件が前記対象物体の両方の側で成立しているか否かを判定する処理と、を実行し、
前記特徴点選択処理は、前記結合条件が前記対象物体の両方の側で成立している場合に、前記差が小さい方の輪郭上の点を前記対象物体の特徴点とする処理を含む。
According to another preferred embodiment of the present invention,
The target object detection process detects points on the contour on both one side and the other side of the target object for each sampling period,
The object feature point detection device includes:
A process of calculating an estimated position of the point based on the position of the point on the contour determined one cycle before, the moving speed of the target object, and the sampling period for each sampling period;
A process for calculating the difference between the point on the contour on the one side and the estimated position of the point and the difference between the point on the contour on the other side and the estimated position of the point for each sampling period; ,
Performing the process of determining whether or not the combination condition is satisfied on both sides of the target object,
The feature point selection process includes a process in which a point on the contour having the smaller difference is used as a feature point of the target object when the combination condition is satisfied on both sides of the target object.
本発明によれば、走路情報に基づいて認識したレーンに対象物体を当てはめることにより、その対象物体が置かれている状況を推定することができる。そして、その状況に基づいて、対象物体の一方の側で結合条件が成立しているか否かを判定することができる。更に、結合条件が一方の側で成立している場合には、対象物体の他方の側に属する点が特徴点とされる。この特徴点は、他物体と結合していない対象物体上の点である。このため、本発明によれば、対象物体が他物体と重なってしまう状況下でも、その対象物体の輪郭上の点を正しく特徴点として検知することができる。 According to the present invention, it is possible to estimate a situation where a target object is placed by applying the target object to a lane recognized based on the road information. Based on the situation, it can be determined whether or not the coupling condition is established on one side of the target object. Furthermore, when the joining condition is established on one side, a point belonging to the other side of the target object is set as a feature point. This feature point is a point on the target object that is not combined with another object. Therefore, according to the present invention, a point on the contour of the target object can be correctly detected as a feature point even in a situation where the target object overlaps with another object.
[実施の形態1のハードウェア構成]
図1は本発明の実施の形態1の物体特徴点検知装置のハードウェア構成を示す図である。図1に示すように、車両10には、ステレオカメラ12が搭載されている。ステレオカメラ12は、車両10の前方を所定の視野角でステレオ撮像することができる。尚、ステレオカメラ12は、単眼カメラに置き換えることも可能である。
[Hardware Configuration of Embodiment 1]
FIG. 1 is a diagram showing a hardware configuration of the object feature point detection apparatus according to the first embodiment of the present invention. As shown in FIG. 1, a
車両10には、また、車両を取り巻くように複数のLIDAR(Laser Imaging Detection and Ranging)ユニット14が搭載されている。LIDARユニット14によれば、夫々の検出領域内に存在する物体の輪郭とその物体までの距離とを検知することができる。
A plurality of LIDAR (Laser Imaging Detection and Ranging)
車両10には、車両を取り巻くように複数のミリ波レーダユニット16が搭載されている。ミリ波レーダは、カメラによる撮像やLIDARに比して雨滴やガスの影響を受け難い。ミリ波レーダユニット16によれば、夫々の検出領域内に存在する物体までの距離、並びにその物体と車両10との相対速度を検知することができる。
A plurality of millimeter
以下、上述したステレオカメラ12、LIDARユニット14及びミリ波レーダユニット16を総称して「物体センサ」と称する。尚、車両10には、「物体センサ」として、ソナーセンサを搭載してもよい。ソナーセンサによれば、超音波を利用することで車両10の周囲に存在する物体を検知することができる。
Hereinafter, the
車両10には、更に、GPS(Global Positioning System)ユニット18が搭載されている。GPSユニット18によれば、GPSを利用して車両10の現在位置・方位を検知することができる。
The
車両10には、ECU(Electronic Control Unit)20が搭載されている。上述した「物体センサ」及びGPSユニット18の検出信号は、ECU20に供給される。ECU20は、それらの信号に基づいて、車両10の周辺に存在する各種の物体、具体的には、白線やガードレールのような路上構成物、並びに先行車両などを検知することができる。
The
[実施の形態1の基本的機能]
図2は、本実施形態の装置の基本動作に伴う課題を説明するための図である。図2に示す4つの図形は、夫々車両10における物体検出の結果を示している。夫々の図形において、符号22は車両10の走路を示す。走路22には、左右の端部に夫々白線24,26が描かれている。また、白線24,26の間には、レーンを仕切る破線の白線28が描かれている。また、右側の白線26の更に右側には壁30が描かれている。
[Basic Functions of Embodiment 1]
FIG. 2 is a diagram for explaining a problem associated with the basic operation of the apparatus according to the present embodiment. Each of the four figures shown in FIG. 2 shows the result of object detection in the
図2の左端の図形は、時刻t-1における物体検出の結果を示す。車両10では、この結果を得る前提として、先ずLIDARユニット14による検出結果を取得する。LIDARユニット14の検出結果によれば、車両10の周辺に存在する物体の輪郭と位置を検知することができる。車両10は、LIDARユニット14以外にも、ミリ波レーダユニット16やステレオカメラ12により物体を検知し、それらを統合することで、物体の誤検出・未検出の低減を図り、位置・速度の推定精度を向上させる。左端の図形中に符号34を付して示す長方形は、その統合の結果得られた先行車両32の「追跡結果」を示す。
The leftmost figure in FIG. 2 shows the result of object detection at time t-1. In the
先行車両32の状態(位置や速度)を把握するうえでは、先行車両32上で、移動以外で位置の変化が発生しない点を捕らえておく必要がある。このため、車両10は、LIDARユニット14により先行車両32の輪郭が検知された段階で、その輪郭上の一点を「特徴点」として認識する。本実施形態では、原則として、得られた輪郭上の点のうち最も車両10に近い点(以下、「以下、最近傍点」とする)が特徴点として認識される。図2の左端図形は、このルールに従って先行車両32の右後端角に当たる点が特徴点36として認識された状態を示している。
In order to grasp the state (position and speed) of the preceding
図2の左から2番目に示す図形は、時刻tにおけるLIDARユニット14の検出結果38と最近傍点40を示す。LIDARユニット14は、先行車両32の他にも、白線24,26,28や壁30も物体として検出する。そして、先行車両32が壁30に近接しており、先行車両32と壁30とが車両10から見て重なってしまうような状況下では、両者の計測点が結合してしまうことがある。この場合、検出結果38の最近傍点40は、先行車両32の右後端角ではなく壁30上の点となる。
2 shows the detection result 38 and the nearest point 40 of the
図2の右から2番目に示す図形は、時刻tの検出結果38に基づいて生成された追跡結果34を示す。追跡結果34は、最近傍点40に、ステレオカメラ12やミリ波レーダユニット16で得た情報(距離、速度、車幅など)を反映させることで生成される。この段階で車両10は、先行車両32の位置を誤認している。
2 shows the tracking
図2の右端の図形は、誤検出された追跡結果34に基づいて、時刻t+1において先行車両32の状態が推定されている様子を示している。この図形に示すように、追跡結果34が誤認識されていれば、車両10は、以後先行車両32の状態を誤って認識することになる。
The rightmost figure in FIG. 2 shows a state in which the state of the preceding
図3は、図2に示す結合が発生し得る状況と、追跡結果の実例とを対比して表している。ここでは、先行車両であるトラックの特徴点が、ガードレールと結合して検出されている。 FIG. 3 shows a situation where the coupling shown in FIG. 2 may occur and an example of the tracking result. Here, the characteristic points of the truck that is the preceding vehicle are detected in combination with the guardrail.
[実施の形態1の特徴]
図4は、上述した誤認識を防ぐために本実施形態においてECU20が実行する処理の内容を説明するためのブロック図である。ECU20は、プロセッサ、メモリ及び各種のインターフェースを備えており、メモリ内に格納されているプログラムに従って処理を行うことにより図4に示す各種ブロックの機能を実現する。
[Features of Embodiment 1]
FIG. 4 is a block diagram for explaining the contents of processing executed by the
(レーン認識部)
図4に示す構成は、レーン認識部50を備えている。レーン認識部50は、ECU20が、車両10の周辺に設けられているレーンの状況を認識するためのレーン認識処理を実行することにより実現される。
(Lane recognition part)
The configuration shown in FIG. 4 includes a
図5は、本実施形態においてレーン認識部50で実行されるレーン認識処理を説明するための図である。図5に示すように、レーン認識部50には、走路情報52が提供される。走路情報52には、物体センサから提供される路上構成物に関する情報、GPSユニット18から提供される車両10の位置・方位情報、及び予めECU20に記憶されている地図情報が含まれているものとする。
FIG. 5 is a diagram for explaining lane recognition processing executed by the
レーン認識部50は、具体的には、ECU20が走路情報52に基づいて下記の処理を行うことにより実現される。
(1)物体センサが検出した路上構成物の情報及びGPSからの位置・方位情報を地図情報に当てはめて、車両10の地図上での現在位置を特定、
(2)地図情報に含まれるレーン情報から車両10の現在位置周辺のレーン境界線54を推定。
Specifically, the
(1) The current position of the
(2) The
尚、上述したレーン認識処理は、レーン認識部50を実現するための処理の一例である。以下、図6から図8までを参照して、レーン認識処理の他の例について説明する。
The lane recognition process described above is an example of a process for realizing the
図6は、本実施形態において用い得るレーン認識処理の第2例を説明するための図である。図6に示す例は、ECU20が、走路情報52に基づいて下記の処理を行うことにより実現される。
(1)ステレオカメラ12及びLIDARユニット14の少なくとも一方により、自車周辺の白線位置を検出、
(2)物体に対して検知距離が短い場合、推定した形状より必要な距離まで外挿しレーン境界線を推定。
FIG. 6 is a diagram for explaining a second example of lane recognition processing that can be used in the present embodiment. The example illustrated in FIG. 6 is realized by the
(1) The white line position around the vehicle is detected by at least one of the
(2) When the detection distance is short with respect to the object, extrapolate to the necessary distance from the estimated shape and estimate the lane boundary line.
図7は、本実施形態において用い得るレーン認識処理の第3例を説明するための図である。図7に示す例は、ECU20が、走路情報52に基づいて下記の処理を行うことにより実現される。
(1)図5の場合と同様に車両10の現在位置を特定、
(2)車両10を含む周辺領域にグリッドマップ58を設定、
(3)物体センサの計測結果に基づいてグリッドマップ58中の、物体が同じ位置に静止物として何度も観測されたグリッドに、静止物グリッド60を設定、
(4)地図情報から現在位置における車線幅62を読み出し、
(5)静止物グリッド60の配置と車線幅62とに基づいてレーン境界線64を推定。
FIG. 7 is a diagram for explaining a third example of lane recognition processing that can be used in the present embodiment. The example illustrated in FIG. 7 is realized by the
(1) Specify the current position of the
(2) A
(3) A
(4) Read the
(5) The
図8は、本実施形態において用い得るレーン認識処理の第4例を説明するための図である。図8に示す例は、ECU20が、走路情報52に基づいて下記の処理を行うことにより実現される。
(1)図5の場合と同様に車両10の現在位置を特定、
(2)物体センサの計測結果に基づいて壁やガードレール等の路上構造物66を検出、
(3)路上構造物66に対して曲線マッチングを施して道路境界68を算出、
(4)地図情報から現在位置における車線幅70を読み出し、
(5)道路境界68と車線幅70とに基づいてレーン境界線72を推定。
FIG. 8 is a diagram for explaining a fourth example of lane recognition processing that can be used in the present embodiment. The example illustrated in FIG. 8 is realized by the
(1) Specify the current position of the
(2) Detecting
(3) A
(4) Read the
(5) The
尚、以上の段落[0031]〜[0036]に記載のレーン認識処理は、並列、又は逐次的に実行してもよい。その際、その結果を重み付け統合することや検出状態により切り替えることにより、ロバスト性を向上させてもよい。 Note that the lane recognition processes described in the above paragraphs [0031] to [0036] may be executed in parallel or sequentially. At that time, robustness may be improved by weighted integration of the results or switching according to the detection state.
(レーン配置判断部)
上述したレーン認識部50の処理結果は、図4に示すように、レーン配置判断部74に提供される。レーン配置判断部74は、ECU20が、「対象物体」及び「他物体」の夫々について、走行レーンを判断するためのレーン配置判断処理を実行することにより実現される。ここで、「対象物体」とは、ECU20が当該処理サイクルにおいて検出の対象としている物体を意味し、「他物体」とは、物体センサによって検出された全ての物体から「対象物体」を除いた物体を意味するものとする。
(Lane placement determination unit)
The processing result of the
図4に示すように、レーン配置判断部74には対象物体検出結果76及び他物体検出結果78が提供されている。対象物体検出結果76には「対象物体」の位置及び形状等の情報が含まれている。また、他物体検出結果78には「他物体」の位置及び形状等の情報が含まれている。
As shown in FIG. 4, the lane
レーン配置判断部74では、対象物体検出結果76に基づくレーン配置判断処理と、他物体検出結果78に基づくレーン配置判断処理とが実行される。両者の処理は実質的に同じであるため、ここでは、対象物体検出結果76に基づく処理をそれらの代表例として説明する。
In the lane
対象物体検出結果76に基づくレーン配置判断処理では、ECU20により下記の処理が順次実行される。
(1)対象物体の位置の読み出し、
(2)各レーンの中心線の情報の読み出し、
(3)対象物体の代表位置(例えば中心位置)と各レーンの中心線との距離を算出、
(4)上記距離が最短となるレーンを、対象物体の走行レーンと判断。
In the lane arrangement determination process based on the target
(1) Reading the position of the target object,
(2) Reading the information of the center line of each lane,
(3) calculating the distance between the representative position (for example, the center position) of the target object and the center line of each lane;
(4) The lane with the shortest distance is determined as the traveling lane of the target object.
尚、上述したレーン配置判断処理は、レーン配置判断部74を実現するための処理の一例である。他にも、「左右のレーン境界線の内側か否かで判定する」「境界線の外側への距離より確率値を計算し、その確率値より判定する」「物体の走行軌跡とレーンの形状の一致度より判定する」方法がある。以下、本実施形態において用いることのできるレーン配置判断処理の他の例について説明する。
The lane arrangement determination process described above is an example of a process for realizing the lane
レーン配置判断処理の第2例は、ECU20が下記の処理を順次実行することで実現される。
(1)対象物体の位置の読み出し、
(2)各レーンの左右の境界線の情報の読み出し、
(3)対象物体の代表位置(例えば中心位置)と各レーンの左右の境界線との距離を算出、
(4)左側境界線の右方と右側境界線の左方の双方に上記距離が認められるレーンを対象物体の走行レーンとして判断。
The second example of the lane arrangement determination process is realized by the
(1) Reading the position of the target object,
(2) Reading information on the left and right borders of each lane,
(3) calculating the distance between the representative position (for example, the center position) of the target object and the left and right boundary lines of each lane;
(4) A lane in which the distance is recognized on both the right side of the left boundary line and the left side of the right boundary line is determined as the traveling lane of the target object.
レーン配置判断処理の第3例は、ECU20が下記の処理を順次実行することで実現される。
(1)対象物体の位置の読み出し、
(2)レーン毎に対象物体の走行確率が割り当てられたマップを読み出し、
(3)上記マップに対象物体の位置を当て嵌めて対象物体の走行レーンを判断。
The third example of the lane arrangement determination process is realized by the
(1) Reading the position of the target object,
(2) Read out a map to which the driving probability of the target object is assigned for each lane,
(3) Determine the travel lane of the target object by fitting the position of the target object to the map.
レーン配置判断処理の第4例は、ECU20が下記の処理を順次実行することで実現される。
(1)対象物体の走行軌跡を読み出し、
(2)各レーンと上記走行軌跡の形状(例えば曲率)を照合し、残差を計算、
(3)上記照合の結果、残差が最も小さい対象物体の走行レーンを判断。
The fourth example of the lane arrangement determination process is realized by the
(1) Read the travel locus of the target object,
(2) Collate each lane with the shape of the above-mentioned traveling locus (for example, curvature) and calculate the residual,
(3) As a result of the above collation, the traveling lane of the target object having the smallest residual is determined.
尚、以上の段落[0040]〜[0044]に記載のレーン配置判断処理は、並列又は逐次的に実行してもよい。その際、その結果を重み付け統合することや検出状態により切り替えることにより、ロバスト性を向上させてもよい。 Note that the lane arrangement determination processes described in the above paragraphs [0040] to [0044] may be executed in parallel or sequentially. At that time, robustness may be improved by weighted integration of the results or switching according to the detection state.
(結合判定部)
図4に示すように、レーン配置判断部74の処理結果は、結合判定部80に提供される。結合判定部80は、ECU20が、後述する結合判定処理を実行することにより実現される。結合判定処理では、対象物体が他物体と結合して検出される条件(「結合条件」と称す)が、対象物体の左右何れかの側、或いは双方において存在しているか否かが判断される。
(Join determination part)
As shown in FIG. 4, the processing result of the lane
以下、図9から図11までを参照して、結合判定処理の詳細について説明する。
図9は、結合判定処理が結合条件の成立を判定する第1例を示す。図9において、車両10は、先行車両32を対象物体82として認識し、走路左側の壁84を他物体として認識している。図中に符号86を付して示す破線の長方形は今回の処理サイクルにおけるLIDARユニット14の検出結果である。検出結果86は、先行車両32の左側が壁84と結合して誤検出された結果である。
Hereinafter, the details of the combination determination process will be described with reference to FIGS. 9 to 11.
FIG. 9 shows a first example in which the join determination process determines whether the join condition is satisfied. In FIG. 9, the
図9に示す誤検出は、対象物体82が走路の左端レーンを走行している場合に発生する。このため、結合判定部80は、レーン配置判断部74の処理結果に基づいて、対象物体82が走路の左端レーンを走行していると判断できる場合は、「対象物体82の左側に結合条件が存在する」と判断する。同様の理由により、対象物体82が走路の右端レーンを走行していると判断される場合は、「対象物体82の右側に結合条件が存在する」との判断がなされる。
The erroneous detection shown in FIG. 9 occurs when the
図10は、結合判定処理が結合条件の成立を判定する第2例を示す。図10において、車両10は、先行車両32を対象物体82として認識している。また、車両10は、左端レーン及び右端レーンの周辺車両を他物体88,90として認識している。図中に符号92を付して示す長方形は、左端レーンの他物体88の追跡結果を示す。また、破線で示す長方形94は今回の処理サイクルにおけるLIDARユニット14の検出結果である。検出結果94は、対象物体82が他物体90と結合して誤検出された結果である。
FIG. 10 shows a second example in which the combination determination process determines whether the combination condition is satisfied. In FIG. 10, the
図10に示す誤検出は、対象物体82の左側レーンに、近接して追跡結果92が認められていた場合に発生する。このため、結合判定部80は、レーン配置判断部74の処理結果に基づいて、対象物体82の左側レーンに閾値以下の距離で追跡結果が認められていたと判断される場合は、「対象物体82の左側に結合条件が存在する」と判断する。同様の理由により、対象物体82の右側レーンに閾値以下の距離で追跡結果が認められていたと判断される場合は、「対象物体82の右側に結合条件が存在する」との判断がなされる。
The erroneous detection shown in FIG. 10 occurs when the tracking
図11は、結合判定処理が結合条件の成立を判定する第3例を示す。図11において、車両10は、先行車両32を対象物体82として認識していると共に、先行する二台の二輪車を他物体96,98として認識している。ここで、二台の他物体96,98は、何れも、対象物体82と同じレーンを走行している。図中に符号100を付して示す長方形は、先行する他物体96の追跡結果を示す。また、破線で示す長方形102は今回の処理サイクルにおけるLIDARユニット14の検出結果である。検出結果102は、対象物体82が他物体96と結合して誤検出された結果である。
FIG. 11 shows a third example in which the combination determination process determines whether the combination condition is satisfied. In FIG. 11, the
図11に示す誤検出は、対象物体82の走行レーン内左側に近接して追跡結果100が認められていた場合に発生する。このため、結合判定部80は、レーン配置判断部74の処理結果に基づいて、対象物体82の走行レーン内左側に閾値以下の距離で追跡結果が認められていたと判断される場合は、「対象物体82の左側に結合条件が存在する」と判断する。同様の理由により、対象物体82の走行レーン内右側に閾値以下の距離で追跡結果が認められていたと判断される場合は、「対象物体82の右側に結合条件が存在する」との判断がなされる。
The erroneous detection shown in FIG. 11 occurs when the
以上の判断機能は、ECU20が、対象物体及び他物体のレーン配置に基づいて、下記の処理を行うことにより実現される。
(1)対象物体の走行レーンを読み出し、
(2)走行レーンが走路の左端なら「左側に結合条件有り」と判断、
(3)走行レーンが走路の右端なら「右側に結合条件有り」と判断、
(4)対象物体の左側レーンに存在する他物体の位置を読み出し、
(5)左側レーンの他物体との距離が閾値以下なら「左側に結合条件有り」と判断、
(6)対象物体の右側レーンに存在する他物体の位置を読み出し、
(7)右側レーンの他物体との距離が閾値以下なら「右側に結合条件有り」と判断、
(8)対象物体の走行レーンと同じレーンに存在する他物体の位置を読み出し、
(9)同一レーンの他物体と対象物体の左側との距離が閾値以下なら「左側に結合条件有り」と判断、
(10)同一レーンの他物体と対象物体の右側との距離が閾値以下なら「右側に結合条件有り」と判断。
但し、上記(2)の処理は、走路の左側に壁がある場合にのみ「結合条件有り」を判断するものであってもよい。同様に、上記(3)の処理は、走路の右側に壁がある場合にのみ「結合条件有り」を判断するものであってもよい。
The above determination function is realized by the
(1) Read the traveling lane of the target object,
(2) If the driving lane is at the left end of the road, it is judged that “There is a coupling condition on the left side”.
(3) If the driving lane is at the right end of the track, it is determined that “There is a coupling condition on the right side”.
(4) Read the position of another object in the left lane of the target object,
(5) If the distance from the other object on the left lane is equal to or less than the threshold, it is determined that “the left side has a coupling condition”.
(6) Read the position of another object in the right lane of the target object,
(7) If the distance from the other object on the right lane is equal to or less than the threshold, it is determined that “the right side has a coupling condition”.
(8) Read out the position of another object that exists in the same lane as the traveling lane of the target object,
(9) If the distance between the other object in the same lane and the left side of the target object is less than the threshold, it is determined that “the left side has a coupling condition”.
(10) If the distance between the other object in the same lane and the right side of the target object is equal to or smaller than the threshold, it is determined that “the right side has a coupling condition”.
However, the process (2) may determine “there is a coupling condition” only when there is a wall on the left side of the runway. Similarly, the process (3) may determine “There is a coupling condition” only when there is a wall on the right side of the runway.
(特徴点選択部)
図4に示すように、結合判定部80の判断結果は、特徴点選択部104に提供される。特徴点選択部104は、ECU20が、特徴点選択処理を実行することにより実現される。特徴点選択処理では、対象物体の結合条件に基づいて他物体との結合が生じていない対象物体上の点を特徴点とする処理が行われる。
(Feature point selection part)
As illustrated in FIG. 4, the determination result of the
以下、図12から図15までを参照して、特徴点選択処理の詳細について説明する。
特徴点選択処理では、具体的には、先ず、結合条件の成立状況について以下の4つの場合分けが行われる。
1.対象物体の左右何れの側にも結合条件なし
2.対象物体の左側だけに結合条件有り、
3.対象物体の右側だけに結合条件有り、
4.対象物体の左右双方に結合条件有り。
Hereinafter, details of the feature point selection process will be described with reference to FIGS.
Specifically, in the feature point selection process, first, the following four cases are classified as to whether the joining condition is satisfied.
1. 1. There is no coupling condition on either side of the target object. There is a binding condition only on the left side of the target object,
3. There is a binding condition only on the right side of the target object,
4). There are coupling conditions on both the left and right sides of the target object.
図12は、上記1の結果が得られた場合に実行される処理を説明するための図である。左右何れの側にも結合条件がない場合は、原則に従い先行車両32の輪郭上の点の最近傍点が特徴点とされる。図12に示す場合、先行車両32の右後端角が特徴点106として選択される。
FIG. 12 is a diagram for explaining a process executed when the
図13は、上記2の結果の下で実行される処理を説明するための図である。先行車両32の左側だけに結合条件があると判別された場合は、LIDARユニット14による検出結果108のうち、結合条件が有る側の反対側の点、即ち右側の点が特徴点とされる。図13は、上記の規則に従って先行車両32の右後端角が特徴点106として選択された様子を示している。
FIG. 13 is a diagram for explaining the processing executed under the result 2 described above. When it is determined that there is a combination condition only on the left side of the preceding
図14は、上記3の結果の下で実行される処理を説明するための図である。先行車両32の右側だけに結合条件があると判別された場合は、LIDARユニット14による検出結果108のうち、左側の点が特徴点とされる。図14は、その規則に従って先行車両32の左後端角が特徴点106として選択された様子を表している。
FIG. 14 is a diagram for explaining the processing executed under the result 3 above. When it is determined that there is a coupling condition only on the right side of the preceding
図15は、上記4の場合、即ち、先行車両32の双方の側に結合条件が有る場合に実行される処理を説明するための図である。図15は、先行車両32の右後端角が走路右側の壁110と結合して検出されている様子を表している。しかしながら、図15に示す状況下では、先行車両32の左後端角が左側の壁112と結合して検出されることも想定しなければならない。このため、このような状況下では、先ず、前回の処理サイクルで検知された対象物体82の追跡結果に基づいて、現在の対象物体82の左右後端角の位置を予測する。次いで、今回の処理サイクルで得られた検出結果108における左右後端角と対応する予測位置との差を夫々算出する。そして、予測位置との差が小さい側の後端角を特徴点とする。
FIG. 15 is a diagram for explaining processing that is executed in the case of 4 above, that is, when there is a coupling condition on both sides of the preceding
図15に示す状況下では、検出結果108の右後端角の位置は、壁110との結合に起因して、対象物体82の右後端角の本来の位置から離れている。検出結果108の左後端角の位置は、対象物体82の左後端角の位置を正しく表している。この場合、予測値と検出結果108との差は、左側が小さく、右側が大きなものとなる。このため、上記の規則によれば、図15に示すように対象物体82の左後端角が特徴点106として選択される。このように、上記の処理によれば、対象物体82の左右双方に結合条件が有る場合にも、高い確率で対象物体82の輪郭上の点を正しく特徴点として選択することができる。
In the situation shown in FIG. 15, the position of the right rear end corner of the
以上の特徴点選択機能は、ECU20が、対象物体82に関する結合条件に基づいて下記の処理を行うことにより実現される。
(1)結合条件に関する場合分けを実行、
(2)左右何れの側にも結合条件がない場合は最近傍点を特徴点として選択、
(3)左側だけに結合条件が有る場合は、LIDARユニット14による検出結果の右側の点を特徴点として選択、
(4)右側だけに結合条件が有る場合は、LIDARユニット14による検出結果の左側の点を特徴点として選択、
(5)左右双方に結合条件がある場合は、
(5−1)前回処理サイクル時の追跡結果を読み出し、
(5−2)対象物体82の移動速度を読み出し、
(5−3)読み出した追跡結果及び移動速度、並びにECU20の処理サイクル周期から対象車両の現在位置を推定、
(5−4)今回の処理サイクル時におけるLIDARユニット14の検出結果108が示す対象物体82の左後端角位置と、その点の推定位置との差を算出、
(5−5)今回の処理サイクル時におけるLIDARユニット14の検出結果108が示す対象物体82の右後端角位置と、その点の推定位置との差を算出、
(5−6)上記(5−4)で算出した差と上記(5−5)で算出した差を比較し、差の小さい側の後端角位置を特徴点として選択。
The feature point selection function described above is realized by the
(1) Execute case classification related to join conditions,
(2) If there is no join condition on either side, select the nearest point as a feature point.
(3) When there is a join condition only on the left side, the right point of the detection result by the
(4) If there is a join condition only on the right side, the left point of the detection result by the
(5) If there are joint conditions on both the left and right sides,
(5-1) Read the tracking result at the previous processing cycle,
(5-2) Read the moving speed of the
(5-3) Estimating the current position of the target vehicle from the read tracking result and moving speed, and the processing cycle period of the
(5-4) calculating the difference between the left rear end corner position of the
(5-5) calculating the difference between the right rear end corner position of the
(5-6) The difference calculated in the above (5-4) is compared with the difference calculated in the above (5-5), and the rear end corner position on the side where the difference is small is selected as the feature point.
図4に示すように、特徴点選択部104によって選択された特徴点の位置は、今回の処理サイクルにおける特徴点の位置として決定される。以上説明した通り、本実施形態の物体特徴点検知装置によれば、車両10が検出の対象としている対象物体が、対象物体以外の他物体と重なって見えるような状況下でも、対象物体の輪郭上の点を正しく特徴点として捉えることができる。このため、この装置を用いれば、対象物体を正確に捕獲し続けることができる。
As shown in FIG. 4, the position of the feature point selected by the feature
尚、上記の段落[0022]〜[0063]に記載の実施形態の説明では、LIDARを例に挙げているが、本発明には、輪郭上の「特徴点」が検知できるセンサであれば適用が可能である。すなわち、ステレオカメラやミリ波レーダであっても、物体の形状を推定できる形態であれば、同様の実施形態にて同様の効果を得ることができる。 In the description of the embodiments described in the above paragraphs [0022] to [0063], LIDAR is taken as an example, but the present invention is applicable to any sensor that can detect a “feature point” on the contour. Is possible. That is, even with a stereo camera or a millimeter wave radar, the same effect can be obtained in the same embodiment as long as the shape of the object can be estimated.
10 車両
12 ステレオカメラ
14 LIDARユニット
16 ミリ波レーダ
18 GPSユニット
20 ECU
22 走路
24、26、54 白線
30、84,110、112 壁
32 先行車両
34、92,100 追跡結果
36、40、106 特徴点
38、86、94、102,108 検出結果
50 レーン認識部
74 レーン配置判断部
80 結合判定部
82 対象物体
88、90、96、98 他物体
DESCRIPTION OF
22
Claims (1)
前記走路情報に基づいて走路上のレーンを認識するレーン認識処理と、
自車両の周辺に存在する物体を検出する物体検出処理と、
前記物体検出処理の結果に基づいて、対象物体の輪郭上の点を検出する対象物体検出処理と、
前記レーンに前記対象物体を当て嵌めて、前記輪郭上の点が、前記対象物体とは異なる他物体と結合して検出される結合条件が前記対象物体の一方の側で成立しているか否かを判定する結合判定処理と、
前記結合条件が一方の側で成立している場合に、前記対象物体の他方の側に属する前記輪郭上の点を、当該対象物体の特徴点とする特徴点選択処理と、
を実行することを特徴とする物体特徴点検知装置。 A process for detecting the running path information of the own vehicle;
Lane recognition processing for recognizing a lane on the road based on the road information,
An object detection process for detecting objects existing around the host vehicle;
A target object detection process for detecting a point on the contour of the target object based on the result of the object detection process;
Whether or not a connection condition is established on one side of the target object by fitting the target object to the lane and detecting a point on the contour combined with another object different from the target object A join determination process for determining
A feature point selection process in which a point on the contour belonging to the other side of the target object is a feature point of the target object when the combining condition is satisfied on one side;
An object feature point detection apparatus characterized by executing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016146658A JP2018018215A (en) | 2016-07-26 | 2016-07-26 | Object feature point detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016146658A JP2018018215A (en) | 2016-07-26 | 2016-07-26 | Object feature point detector |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018018215A true JP2018018215A (en) | 2018-02-01 |
Family
ID=61076777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016146658A Pending JP2018018215A (en) | 2016-07-26 | 2016-07-26 | Object feature point detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018018215A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022060074A (en) * | 2020-10-02 | 2022-04-14 | 株式会社Subaru | Vehicle driving support device |
| US11745767B2 (en) * | 2018-03-30 | 2023-09-05 | Komatsu Ltd. | Work machine control system, work machine, and work machine control method |
| KR20250065358A (en) | 2022-09-08 | 2025-05-12 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Photodetectors and electronic devices |
-
2016
- 2016-07-26 JP JP2016146658A patent/JP2018018215A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11745767B2 (en) * | 2018-03-30 | 2023-09-05 | Komatsu Ltd. | Work machine control system, work machine, and work machine control method |
| JP2022060074A (en) * | 2020-10-02 | 2022-04-14 | 株式会社Subaru | Vehicle driving support device |
| JP7614774B2 (en) | 2020-10-02 | 2025-01-16 | 株式会社Subaru | Vehicle driving support device |
| KR20250065358A (en) | 2022-09-08 | 2025-05-12 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Photodetectors and electronic devices |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6747269B2 (en) | Object recognition device | |
| JP5407898B2 (en) | Object detection apparatus and program | |
| CN107209998B (en) | Lane line recognition device and lane line recognition method | |
| KR102569900B1 (en) | Apparatus and method for performing omnidirectional sensor-fusion and vehicle including the same | |
| JP6450294B2 (en) | Object detection apparatus, object detection method, and program | |
| JP6318999B2 (en) | Parking space recognition device, parking space recognition system | |
| JP5968064B2 (en) | Traveling lane recognition device and traveling lane recognition method | |
| CN106574961B (en) | Object recognition device using multiple object detection units | |
| JP6520740B2 (en) | Object detection method, object detection device, and program | |
| JP6815963B2 (en) | External recognition device for vehicles | |
| CN111937036A (en) | Method, apparatus, and computer-readable storage medium with instructions for processing sensor data | |
| JP2008168811A (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
| JP2012089114A (en) | Obstacle recognition device | |
| JP2017207973A (en) | Detector and detection method | |
| JP4940177B2 (en) | Traffic flow measuring device | |
| US10970870B2 (en) | Object detection apparatus | |
| JP6717240B2 (en) | Target detection device | |
| JP2011039833A (en) | Vehicle detector, vehicle detection program, and vehicle detection method | |
| CN108027237B (en) | Peripheral identification device | |
| JP4074577B2 (en) | Vehicle detection method and vehicle detection device | |
| JP2018018215A (en) | Object feature point detector | |
| CN109427212B (en) | Vehicle running detection method and vehicle running detection system | |
| JP5682302B2 (en) | Traveling road estimation device, method and program | |
| JP4899899B2 (en) | Obstacle recognition apparatus and method | |
| JP7140577B2 (en) | Intersecting road estimator |