JP2000315255A - Rear side monitoring device for vehicle and rear side monitoring alarm device for vehicle - Google Patents
Rear side monitoring device for vehicle and rear side monitoring alarm device for vehicleInfo
- Publication number
- JP2000315255A JP2000315255A JP2000055461A JP2000055461A JP2000315255A JP 2000315255 A JP2000315255 A JP 2000315255A JP 2000055461 A JP2000055461 A JP 2000055461A JP 2000055461 A JP2000055461 A JP 2000055461A JP 2000315255 A JP2000315255 A JP 2000315255A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- road
- steering angle
- monitoring area
- rear side
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 190
- 238000012806 monitoring device Methods 0.000 title claims description 50
- 230000003287 optical effect Effects 0.000 claims abstract description 94
- 238000003384 imaging method Methods 0.000 claims abstract description 62
- 238000001514 detection method Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】 道路画像から検出した白線を用いることな
く、道路画像の道路の車線に対応して監視領域を設定で
きるようにした車両用後側方監視装置及び車両用後側方
監視警報装置を提供する。
【解決手段】 撮像手段10が車両の後側方の道路を一
定時間毎に撮像して得た道路画像の車線に対応して監視
領域設定手段31−1が監視領域を設定する。オプティ
カルフロー検出手段31−2が相前後する2つの道路画
像に基づいて監視領域内にある他車両から発生するオプ
ティカルフローを検出し、オプティカルフロー検出手段
によって検出したオプティカルフローを用いて自車両と
後続の他車両との相対関係を監視する。監視領域設定手
段は、自車線の両側の白線が撮像手段によって得た道路
画像の外縁と交わる2つの白線位置と、舵角検知手段5
1の検知した車両の舵角により定まる道路画像内の無限
遠点とを結ぶ線によって囲まれる領域の内又は外に監視
領域を設定する。
(57) [Summary] [Problem] A vehicle rear side monitoring apparatus and a vehicle rear side capable of setting a monitoring area corresponding to a lane of a road in a road image without using a white line detected from the road image. Provide a monitoring and warning device. SOLUTION: A monitoring area setting means 31-1 sets a monitoring area corresponding to a lane of a road image obtained by an imaging means 10 imaging a road on the rear side of a vehicle at regular intervals. The optical flow detecting means 31-2 detects an optical flow generated from another vehicle in the monitoring area based on two successive road images, and uses the optical flow detected by the optical flow detecting means to connect the own vehicle and the following vehicle. Monitor the relative relationship with other vehicles. The monitoring area setting means includes two white line positions where the white lines on both sides of the own lane intersect with the outer edge of the road image obtained by the imaging means;
A monitoring area is set in or outside of an area surrounded by a line connecting an infinite point in a road image determined by the detected steering angle of the vehicle.
Description
【0001】[0001]
【発明の属する技術分野】本発明は車両用後側方監視装
置及び車両用後側方監視警報装置に係り、より詳細に
は、自動車などの車両等に設置されたビデオカメラ等の
撮像手段によって車両の後側方の道路を撮像し、撮像さ
れた道路画像を用いて走行している自車両の後側方より
接近してくる他車両を検知して運転者に警報を与えるた
め車両の後側方を監視する車両用後側方監視装置、及
び、後側方監視の結果、危険を検出したとき運転者に警
報を与える車両用後側方監視警報装置に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle rear side monitoring device and a vehicle rear side monitoring and warning device, and more particularly, to an image pickup means such as a video camera installed in a vehicle such as an automobile. An image of the road on the rear side of the vehicle is taken, and using the captured road image, the other vehicle approaching from the rear side of the own vehicle traveling is detected, and a warning is issued to the driver to alert the driver. The present invention relates to a rear side monitoring device for a vehicle that monitors a side, and a rear side monitoring and warning device for a vehicle that alerts a driver when a danger is detected as a result of the rear side monitoring.
【0002】[0002]
【従来の技術】従来、自車両が走行している自車線に隣
接する左右の隣接車線上の後続車を正確に認識し、車両
が進路変更を行おうとする際に、その方向の隣接車線を
後続車が走行中であれば衝突の危険性があるとしてドラ
イバーに警報を与えることにより、進路変更時における
後続車との衝突を未然に防ぐため車両の後側方の道路を
監視する後側方監視警報装置が、例えば特許第2641
562号、特開平6−107096号公報及び特開平7
−50769号公報などにおいて提案されている。2. Description of the Related Art Conventionally, following vehicles on left and right adjacent lanes adjacent to the own lane in which the own vehicle is traveling are accurately recognized, and when the vehicle attempts to change course, the adjacent lane in that direction is changed. If the following vehicle is running, the driver is warned that there is a risk of collision, and the rear side of the vehicle is monitored to prevent a collision with the following vehicle when changing course. The monitoring alarm device is disclosed in, for example, Japanese Patent No. 2641.
562, JP-A-6-107096 and JP-A-7
It has been proposed in, for example, JP-A-50769.
【0003】これらの提案の装置では、隣接車線内の後
続車両を余計な画像処理を行うことなく、より早くかつ
確実に検出することができるように、ビデオカメラによ
って撮像された道路画像を用いて車線区画ラインである
白線を認識して道路上の車線を識別し、この識別によっ
て隣接車線に監視領域を設定し、ビデオカメラによって
撮像された道路画像に設定された監視領域内、すなわち
隣接車線内に存在する接近中の後続車両の検出のための
画像処理量を低減するようにしている。[0003] These proposed devices use a road image taken by a video camera so that a following vehicle in an adjacent lane can be detected faster and more reliably without performing extra image processing. The lane on the road is recognized by recognizing the white line which is the lane division line, and the monitoring area is set in the adjacent lane by this identification. In the monitoring area set in the road image captured by the video camera, that is, in the adjacent lane The amount of image processing for detecting the approaching following vehicle existing in the vehicle is reduced.
【0004】上記特開平6−107096号公報及び特
開平7−50769号公報にはオプティカルフローの検
出を応用したものが開示されており、その主要点を図1
3及び図14を参照して説明する。The above-mentioned Japanese Patent Application Laid-Open Nos. 6-107096 and 7-50769 disclose an application to which the detection of an optical flow is applied.
3 and FIG.
【0005】図13は、従来装置の構成を示すブロック
図である。同図において、10は撮像手段としての撮像
部で、例えばビデオカメラ11を有している。また、3
0は演算処理装置としてのデータ処理部であり、42は
警報手段としてのスピーカである。FIG. 13 is a block diagram showing a configuration of a conventional apparatus. In FIG. 1, reference numeral 10 denotes an image pickup unit as an image pickup means, which has, for example, a video camera 11. Also, 3
Reference numeral 0 denotes a data processing unit as an arithmetic processing unit, and reference numeral 42 denotes a speaker as alarm means.
【0006】撮像部10は、車両後方の所定位置例えば
トランクの上部位置に車両後側方の道路を撮像するよう
に正面に向けて配設されている。データ処理部30は、
動作プログラムに従って動作する中央制御装置としての
CPU31、このCPU31の動作プログラム及び予め
与えられる設定値などを保持するROM32、CPU3
1の演算実行時に必要なデータを一時的に保持するRA
M33を有している。スピーカ42は、車両内部に配設
され、データ処理部30のCPU31からの駆動信号に
必要に応じて音声や警報音を発生することにより運転者
などに危険を知らせる。[0006] The image pickup unit 10 is disposed at a predetermined position behind the vehicle, for example, at an upper position of a trunk, so as to face the front of the vehicle so as to image a road behind the vehicle. The data processing unit 30
CPU 31 as a central control device that operates in accordance with the operation program; ROM 32 that stores the operation program of CPU 31 and preset values and the like;
RA that temporarily holds necessary data when executing the operation 1
M33. The speaker 42 is disposed inside the vehicle, and notifies a driver or the like of danger by generating a voice or an alarm sound as needed in accordance with a drive signal from the CPU 31 of the data processing unit 30.
【0007】図14は、上述したように、自車両の後方
部に搭載された撮像部10による撮像画像の変化を説明
する図であり、図14(a)は時刻tにおける撮像画
像、図14(b)は時刻t+△tにおける撮像画像を示
している。そして、これらの各図において、200は自
車両の後側方を走行する後続車両、300は道路500
に隣接して配設された道路標識、400は同じく道路5
00に隣接して配設された建物である。FIG. 14 is a view for explaining changes in the image picked up by the image pick-up unit 10 mounted on the rear part of the host vehicle as described above. FIG. 14A shows the image picked up at time t. (B) shows a captured image at time t + Δt. In each of these figures, reference numeral 200 denotes a following vehicle traveling behind the host vehicle, and 300 denotes a road 500.
The road sign placed adjacent to the road, 400 is also the road 5
The building is located adjacent to 00.
【0008】今、自車両が平坦な道を直進しているとす
ると、時刻の経過すなわち自車両の走行に伴い、道路標
識300や建物400は自車両との相対距離が離れ小さ
く撮像される。図においては、図14(a)すなわち時
刻tの撮像画像における道路標識300及び建物400
と、図14(b)すなわち時刻t+△tの撮像画像にお
ける道路標識300及び建物400に関し、図14
(b)の道路標識300及び建物400の方が小さく撮
像されている。以下、これらの図を参照して、オプティ
カルフローについて説明する。Now, assuming that the own vehicle is traveling straight on a flat road, the road sign 300 and the building 400 are imaged at a small distance from the own vehicle as the time elapses, that is, as the own vehicle travels. In the figure, the road sign 300 and the building 400 in the captured image at the time t in FIG.
14B, that is, the road sign 300 and the building 400 in the captured image at the time t + Δt.
The road sign 300 and the building 400 in (b) are imaged smaller. Hereinafter, the optical flow will be described with reference to these drawings.
【0009】これらの図において、撮像画像内に設定さ
れた複数の対応点、例えば他車両200における着目
点、道路標識300における着目点、建物400におけ
る着目点に関し、各時間毎の着目点すなわち時刻t〔図
14(a)〕における各着目点201a、202a、3
01a、302a、303a、401a及び402a
と、時刻t+△t〔図14(b)〕における各着目点2
01b、202b、301b、302b、303b、4
01b及び402bについて、互いに対応する着目点同
士を結合することにより、図14(c)に示す速度ベク
トルすなわち201F、202F、301F、302
F、303F、401F及び402Fが得られる。この
得られた速度ベクトルがオプティカルフローである。In these figures, regarding a plurality of corresponding points set in a captured image, for example, a point of interest in another vehicle 200, a point of interest in a road sign 300, and a point of interest in a building 400, a point of interest for each time, that is, a time point Each point of interest 201a, 202a, 3a at t [FIG. 14 (a)]
01a, 302a, 303a, 401a and 402a
And each point of interest 2 at time t + Δt [FIG. 14 (b)].
01b, 202b, 301b, 302b, 303b, 4
By combining the corresponding points of interest for 01b and 402b, the velocity vectors 201F, 202F, 301F, and 302 shown in FIG.
F, 303F, 401F and 402F are obtained. The obtained velocity vector is an optical flow.
【0010】ここで、このオプティカルフローは、画面
内の無限遠点あるいは消失点として定義されるFOE(F
ocus of Expansion)から放射状に現れていることが判
る。このFOEは、車両が直進している場合の画像上に
おいて、自車両の進行方向の正反対方向を示す1点に対
応する。そして、自車両の走行状態において、自車両か
ら遠ざかる物体のオプティカルフローは上記FOEに向
かう収束方向のベクトルとなり、自車両に近づいてくる
物体のオプティカルフローは上記FOEから離れる発散
方向のベクトルとなる。従って、同図に201F及び2
02Fで示す後続の他車両200のオプティカルフロー
は発散方向のベクトルであるので、この他車両は自車両
に近づいてきていること、換言すれば自車両よりも高速
で走行している車両であることが分かる。Here, this optical flow is defined as an FOE (FOE) defined as a point at infinity or a vanishing point on the screen.
ocus of Expansion). This FOE corresponds to one point indicating the direction directly opposite to the traveling direction of the own vehicle on the image when the vehicle is traveling straight. Then, in the traveling state of the own vehicle, the optical flow of the object moving away from the own vehicle is a vector in the convergence direction toward the FOE, and the optical flow of the object approaching the own vehicle is a vector in the diverging direction moving away from the FOE. Accordingly, FIG.
Since the optical flow of the subsequent other vehicle 200 indicated by 02F is a vector in the direction of divergence, the other vehicle is approaching the own vehicle, in other words, it is a vehicle running at a higher speed than the own vehicle. I understand.
【0011】また、このオプティカルフローの大きさに
関し、このオプティカルフローの大きさは、単位時間に
おける自車両と対象物体との距離の差すなわち速度差が
大きい程大きくなり、自車両と対象物体との相対距離が
近い程大きくなる。このことを図面を参照して説明す
る。Further, regarding the magnitude of the optical flow, the magnitude of the optical flow increases as the difference in the distance between the host vehicle and the target object per unit time, that is, the speed difference, increases, and the distance between the host vehicle and the target object increases. It becomes larger as the relative distance is shorter. This will be described with reference to the drawings.
【0012】図15は、撮像部10の光学的配置を示し
た図である。同図において、11aは撮像部10のビデ
オカメラが有するレンズ、11bは同じくビデオカメラ
が有するイメージプレーン、fはレンズ11aからイメ
ージプレーン11bまでの距離、P(Xa ,Ya ,
Za )は後続する他車両上の任意の1点、p(xa ,y
a)はイメージプレーン11b上における上記点Pに対
応する点である。FIG. 15 is a diagram showing an optical arrangement of the image pickup unit 10. As shown in FIG. In the figure, 11a is a lens included in the video camera of the imaging unit 10, 11b is an image plane also included in the video camera, f is a distance from the lens 11a to the image plane 11b, and P (X a , Y a ,
Z a ) is an arbitrary point on another following vehicle, p (x a , y)
a ) is a point corresponding to the point P on the image plane 11b.
【0013】この場合、3角形の相似の比から、次式
(1)の関係が得られる。 xa =f・Xa /Za ・・・ (1) この式(1)を変形して時間微分すると、次式(2)が
得られる。 Xa ’=(Δxa /Δt・Za +xa ・Za ’)/f ・・・ (2) また、オプティカルフローのx方向成分uは、次式
(3)で表せる。 u=Δxa /Δt ・・・ (3) 従って、この式(3)により次式(4)を得ることがで
きる。 Za =(f・Xa ’−xa ・Za ’)/u ・・・ (4)In this case, the relationship of the following equation (1) is obtained from the similarity ratio of the triangles. x a = f · X a / Z a (1) The following equation (2) is obtained by modifying this equation (1) and performing time differentiation. X a '= (Δx a / Δt · Z a + x a · Z a') / f ··· (2) Further, x-direction component u of the optical flow is expressed by the following equation (3). u = Δx a / Δt (3) Accordingly, the following equation (4) can be obtained from the equation (3). Z a = (f · X a '-x a · Z a') / u ··· (4)
【0014】ここで、上式(4)のZa ’は、同一車線
あるいは隣接車線を走行する他車両(図14に符号20
0で示す)と撮像部10が搭載された自車両との速度差
すなわち相対速度を示している。この相対速度を−αと
すると上式(4)は次式(5)となる。 Za =(f・Xa ’+xa α)/u ・・・ (5) よって、オプティカルフローのx方向成分uは、次式
(6)のように表すことができる。 u=(f・Xa ’+xa α)/Za ・・・ (6) なお、点PのY座標Ya についても同様にして求めるこ
とができる。Here, Z a ′ in the above equation (4) represents another vehicle traveling in the same lane or an adjacent lane (reference numeral 20 in FIG. 14).
0) and the own vehicle on which the imaging unit 10 is mounted, that is, the relative speed. If this relative speed is -α, the above equation (4) becomes the following equation (5). Z a = (f · X a ′ + x a α) / u (5) Therefore, the x-direction component u of the optical flow can be expressed as the following equation (6). u = (f · X a ' + x a α) / Z a ··· (6) In addition, it can be obtained in the same manner for the Y-coordinate Y a of the point P.
【0015】よって上式(6)より、Zが小すなわち後
続車両又は隣接車線を走行中の他車両200までの距離
が小である程、あるいは、αが大すなわち他車両200
との速度差が大である程、オプティカルフローのx成分
は大きくなる。これはY方向についても同様である。従
って、オプティカルフローは後続する他車両200との
距離が小な程、更に互いの速度差が大な程長くなり、こ
れよりオプティカルフローの方向がFOEに対して発散
し、その長さが短いときより長いときの方が相対的に後
続車両又は隣接車両に対する危険度が大きことが判る。Therefore, from the above equation (6), as Z is smaller, that is, as the distance to the following vehicle or another vehicle 200 traveling in the adjacent lane is smaller, or α is larger, that is, as other vehicle 200
The larger the speed difference between the two, the larger the x component of the optical flow. This is the same for the Y direction. Therefore, the optical flow becomes longer as the distance to the following other vehicle 200 becomes smaller, and further, as the speed difference between them becomes larger, the direction of the optical flow diverges from the FOE and the length of the optical flow becomes shorter. It can be seen that the longer the danger, the greater the danger to the following vehicle or the adjacent vehicle.
【0016】従って、データ処理部30は、このオプテ
ィカルフローが上述した発散方向のベクトルであり且つ
その大きさが大きい場合には、対象物体は自車両に対
し、接近した位置に存在するか、自車両よりも高速で接
近しているかの少なくとも一方の状態にあると考えら
れ、危険度が高いと判断する。そして、危険度が高いと
判断した場合には、スピーカ42により運転者にその旨
を知らせる。Therefore, when the optical flow is the vector in the divergence direction described above and its magnitude is large, the data processing unit 30 determines whether the target object exists at a position close to the own vehicle or not. It is considered that the vehicle is approaching at a speed higher than that of the vehicle, and it is determined that the risk is high. When it is determined that the risk is high, the driver is notified by the speaker 42 to that effect.
【0017】以上のような処理を、時間tの画像の全て
の点において繰り返し行うことにより、画像全体のオプ
ティカルフローを求めることができ、各対象物における
危険度が求められる。そして、求められた危険度の大き
さに従って警報を鳴らすこと等によって運転者に対し注
意を促し、これにより、人間の有する有限な認識力を補
完することができ、上述の大事故に発展しかねない危険
な状態や、実際の大事故の発生を未然に防止している。By repeating the above-described processing at all points of the image at the time t, the optical flow of the entire image can be obtained, and the risk of each object can be obtained. Then, the driver is warned by sounding an alarm according to the magnitude of the required degree of danger, thereby supplementing the finite cognitive ability possessed by humans, which may lead to the above-mentioned large accident. No dangerous situations or actual major accidents are prevented.
【0018】また、従来の技術では、図16に示す如く
に、片側3車線の直線高速道路にて自車両が走行してい
る車線の白線を検出することで、自車両の走行車線とそ
の横の隣接車線領域とを識別し、監視領域を決定するこ
とで監視不要なものについての処理時間を省いて処理の
高速化を図っている。そして、検出された白線の延長か
らFOE点を求め、自車線領域及び隣接車線領域につい
てそれぞれ前記FOE点から放射状にオプティカルフロ
ーを求めることで自車両に対する接近車両200の検出
を行っており、このオプティカルフローの大きさに基づ
き認識を行うよう構成されているので、後方や隣接車線
を走行している他車両200に関し、その危険度を自動
的に判断でき、且つ、特別な距離計を必要としない利点
があり有効である。In the prior art, as shown in FIG. 16, by detecting the white lane of the lane on which the vehicle is traveling on a three-lane straight highway, the traveling lane of the vehicle and the lateral lane thereof are detected. By determining the monitoring area by identifying the adjacent lane area, the processing time for those that do not need to be monitored is reduced, and the processing speed is increased. Then, the FOE point is obtained from the extension of the detected white line, and the optical flow is obtained radially from the FOE point in each of the own lane area and the adjacent lane area, thereby detecting the approaching vehicle 200 to the own vehicle. Since the recognition is performed based on the size of the flow, the danger degree of the other vehicle 200 traveling in the rear or adjacent lane can be automatically determined, and no special distance meter is required. It has advantages and is effective.
【0019】現在提案されているオプティカルフロー検
出方法の中で、実用化に近いレベルまで達しているもの
は、相関法である。相関法は、設定した窓の対応点を周
辺の領域全方向に関して探索し、相関値の計算を行う必
要があるため、計算量が膨大になってしまうという問題
点があるが、本発明が対象としているような複雑な画像
に関しても、比較的正確にオプティカルフローを求める
ことが可能であるという利点もある。Among the currently proposed optical flow detection methods, those which have reached a level close to practical use are correlation methods. The correlation method needs to search for the corresponding point of the set window in all directions in the surrounding area and calculate the correlation value. There is also an advantage that an optical flow can be obtained relatively accurately even for a complicated image as described above.
【0020】上述したように、一般的な相関法において
は、ある時刻t=Tの画像に関してオプティカルフロー
を求める際には、時刻t=Tの画像の全画素について、
それぞれの画素が、時刻t=T−ΔTの画像において、
どの画素に対応しているかを全方向にわたって探索する
必要があるため、計算量が膨大になると同時に誤対応が
生じるという問題点がある。即ち、対応点探索の際に、
全画素に関して全方向に探索していることにより、計算
量が膨大となり誤対応が多くなる原因になっているとい
える。そこで、監視領域を設定することにより、処理時
間および検出精度の面で問題を解消することが考えられ
ている。As described above, in the general correlation method, when obtaining an optical flow for an image at a certain time t = T, all the pixels of the image at a time t = T are calculated as follows.
In the image at time t = T−ΔT, each pixel is
Since it is necessary to search which pixel corresponds to all directions, there is a problem that the amount of calculation becomes enormous and an erroneous correspondence occurs. That is, when searching for corresponding points,
It can be said that the search in all directions with respect to all the pixels causes a huge amount of calculation and a large number of erroneous responses. Therefore, it is considered to set a monitoring area to solve the problems in processing time and detection accuracy.
【0021】[0021]
【発明が解決しようとする課題】しかし、特許第264
1562号に示されるように、監視領域を設定するため
に、ビデオカメラによって撮像された道路画像を用いて
車線区画ラインである白線を検出あるいは認識するよう
にしたものでは、この白線を認識するための処理に比較
的長い時間を要し、全体の処理時間を短くするのに限界
があった。特に、カーブした道路を走行中には、白線を
認識することが極めて難しくなる。また、夜間や雨天な
どのように、白線を認識することができないときには、
監視領域を設定することが不可能になるという問題もあ
った。However, Japanese Patent No. 264
As shown in No. 1562, in order to set a monitoring area, a white line which is a lane division line is detected or recognized by using a road image captured by a video camera. Requires a relatively long time, and there is a limit in shortening the entire processing time. In particular, it is extremely difficult to recognize a white line while traveling on a curved road. Also, when the white line cannot be recognized, such as at night or in rainy weather,
There is also a problem that it becomes impossible to set a monitoring area.
【0022】よって本発明は、上記問題に鑑みてなされ
たもので、道路画像から検出した白線を用いることな
く、道路画像の道路の車線に対応して監視領域を設定で
きるようにした車両用後側方監視装置及び後側方監視の
結果、危険を検出したとき運転者に警報を与える車両用
後側方監視警報装置を提供することを課題としている。Accordingly, the present invention has been made in view of the above-mentioned problems, and has been made in consideration of the above problem, and has been made in consideration of the following. It is an object of the present invention to provide a vehicular rear side monitoring / warning device that warns a driver when a danger is detected as a result of the side monitoring device and the rear side monitoring.
【0023】[0023]
【課題を解決するための手段】上記課題を解決するため
なされた請求項1記載の発明は、図1(a)の基本構成
図から明らかなように、車両に装着され車両の後側方の
道路を撮像して一定時間毎に道路画像を得る撮像手段1
0と、該撮像手段によって得た道路画像の道路の車線に
対応して監視領域を設定する監視領域設定手段31−1
と、前記撮像手段によって一定時間毎に得た相前後する
2つの道路画像に基づいて前記設定された監視領域内に
ある他車両から発生するオプティカルフローを検出する
オプティカルフロー検出手段31−2とを備え、該オプ
ティカルフロー検出手段によって検出したオプティカル
フローを用いて自車両と後続の他車両との相対関係を監
視する車両用後側方監視装置において、車両の舵角を検
知する舵角検知手段51を備え、前記監視領域設定手段
は、前記撮像手段の撮像した道路画像中の自車線の両側
の白線が前記道路画像の外縁と交わる既知の2つの白線
位置と、前記舵角検知手段の検知した車両の舵角により
定まる前記撮像手段によって得た道路画像内の無限遠点
とを結ぶ線によって囲まれる領域の内又は外に前記監視
領域を設定することを特徴とする車両用後側方監視装置
に存する。Means for Solving the Problems The invention according to claim 1 which has been made to solve the above-mentioned problems is, as is apparent from the basic configuration diagram of FIG. Image capturing means 1 for capturing roads and obtaining road images at regular intervals
0 and a monitoring area setting means 31-1 for setting a monitoring area corresponding to the lane of the road in the road image obtained by the imaging means.
And an optical flow detecting unit 31-2 for detecting an optical flow generated from another vehicle within the set monitoring area based on two consecutive road images obtained at regular intervals by the imaging unit. A rear-side monitoring device for a vehicle for monitoring a relative relationship between a host vehicle and another succeeding vehicle using an optical flow detected by the optical flow detection unit, a steering angle detection unit 51 for detecting a steering angle of the vehicle Wherein the monitoring area setting means detects two known white line positions where white lines on both sides of the own lane in the road image captured by the imaging means intersect with the outer edge of the road image, and detects the steering angle detection means. The monitoring area may be set within or outside an area surrounded by a line connecting an infinity point in a road image obtained by the imaging unit and determined by the steering angle of the vehicle. Lies in the vehicular rear side monitoring system according to claim.
【0024】上記請求項1に記載の発明である車両用後
側方監視装置においては、撮像手段10が、車両に装着
され車両の後側方の道路を撮像して一定時間毎に道路画
像を得た道路画像の道路の車線に対応して監視領域設定
手段31−1が監視領域を設定する。オプティカルフロ
ー検出手段31−2が、撮像手段によって一定時間毎に
得た相前後する2つの道路画像に基づいて設定された監
視領域内にある他車両から発生するオプティカルフロー
を検出し、オプティカルフロー検出手段によって検出し
たオプティカルフローを用いて自車両と後続の他車両と
の相対関係を監視する。監視領域設定手段は、撮像手段
の撮像した自車線の両側の白線が撮像手段によって得た
道路画像の外縁と交わる2つの白線位置と、舵角検知手
段51の検知した車両の舵角により定まる撮像手段によ
って得た道路画像内の無限遠点とを結ぶ線によって囲ま
れる領域の内又は外に監視領域を設定する。自車線の両
側の白線が撮像手段によって得た道路画像の外縁と交わ
る2つの白線位置が予め分かり、道路画像内の無限遠点
も舵角検知手段51の検知した車両の舵角により定ま
り、しかもこれらを結ぶ線の囲む領域の内又は外を監視
領域としているので、監視領域を区画するため白線自身
を検出することが必要なく、しかも車両の舵角によって
移動する無限遠点も舵角に対応して簡単に定めることが
できるので、無限遠点の近傍に設定される監視領域もあ
る程度の正確なものとなる。In the vehicle rear side monitoring apparatus according to the first aspect of the present invention, the image pickup means 10 picks up an image of a road on the rear side of the vehicle mounted on the vehicle and generates a road image at regular time intervals. The monitoring area setting means 31-1 sets a monitoring area corresponding to the lane of the road in the obtained road image. Optical flow detecting means 31-2 detects an optical flow generated from another vehicle within a monitoring area set based on two consecutive road images obtained at predetermined time intervals by the imaging means, and detects optical flow. The relative relationship between the own vehicle and the following other vehicle is monitored using the optical flow detected by the means. The monitoring area setting unit is configured to capture an image determined by two white line positions where the white lines on both sides of the own lane captured by the imaging unit intersect with the outer edge of the road image obtained by the imaging unit and the steering angle of the vehicle detected by the steering angle detection unit 51. A monitoring area is set within or outside of an area surrounded by a line connecting an infinite point in the road image obtained by the means. The positions of two white lines where the white lines on both sides of the own lane intersect with the outer edge of the road image obtained by the imaging means are known in advance, and the point at infinity in the road image is also determined by the steering angle of the vehicle detected by the steering angle detection means 51. Since the inside or outside of the area surrounded by the line connecting them is set as the monitoring area, it is not necessary to detect the white line itself to divide the monitoring area, and the infinity point that moves according to the steering angle of the vehicle also corresponds to the steering angle Therefore, the monitoring area set near the point at infinity is also somewhat accurate.
【0025】請求項2記載の発明は、請求項1記載の車
両用後側方監視装置おいて、前記監視領域設定手段は、
前記無限遠点を車両の舵角に対応して予め記憶した舵角
−無限遠点記憶手段32−1を有し、前記無限遠点を、
前記舵角−無限遠点記憶手段から前記舵角検知手段の検
知した舵角に対応するものを読み出して決定することを
特徴とする車両用後側方監視装置に存する。According to a second aspect of the present invention, in the vehicle rear side monitoring device according to the first aspect, the monitoring area setting means includes:
The infinity point includes a steering angle-infinity point storage means 32-1 in which the infinity point is stored in advance corresponding to a steering angle of the vehicle, and the infinity point is
A vehicle rear side monitoring apparatus characterized in that a value corresponding to the steering angle detected by the steering angle detection means is read from the steering angle-infinity point storage means and determined.
【0026】上記請求項2に記載の発明である車両用後
側方監視装置においては、舵角−無限遠点記憶手段32
−1が無限遠点を車両の舵角に対応して予め記憶し、舵
角−無限遠点記憶手段から舵角検知手段の検知した舵角
に対応するものを読み出して決定した無限遠点を利用し
て監視領域を設定しているので、舵角を検出するだけで
面倒な演算などの処理作業なしに、監視領域を定めるこ
とができる。In the vehicle rear side monitoring apparatus according to the second aspect of the present invention, the steering angle-infinity point storage means 32 is provided.
-1 stores the point at infinity in advance corresponding to the steering angle of the vehicle, and reads out the point corresponding to the steering angle detected by the steering angle detection means from the steering angle-infinity point storage means to determine the infinity point. Since the monitoring area is set using the monitoring area, the monitoring area can be determined only by detecting the steering angle without any troublesome operation such as computation.
【0027】請求項3記載の発明は、請求項1又は2記
載の車両用後側方監視装置において、前記監視領域設定
手段は、前記2つの白線位置を車両の舵角に対応して予
め記憶した舵角−白線位置記憶手段32−2を有し、前
記2つの白線位置を、前記舵角−白線位置記憶手段から
前記舵角検知手段の検知した舵角に対応するものを読み
出して決定することを特徴とする車両用後側方監視装置
に存する。According to a third aspect of the present invention, in the vehicle rear side monitoring device according to the first or second aspect, the monitoring area setting means stores the positions of the two white lines in advance corresponding to the steering angle of the vehicle. And the two white line positions are determined by reading from the steering angle-white line position storage means the one corresponding to the steering angle detected by the steering angle detection means. A rear side monitoring device for a vehicle characterized by the above.
【0028】上記請求項3記載の発明である車両用後側
方監視装置においては、舵角−白線位置記憶手段32−
2が2つの白線位置を車両の舵角に対応して予め記憶
し、舵角−白線位置記憶手段から舵角検知手段の検知し
た舵角に対応するものを読み出して決定した2つの白線
位置を利用して監視領域を設定しているので、舵角を検
出するだけで面倒な演算などの処理作業なしに、監視領
域を定めることができる。In the vehicle rear side monitoring device according to the third aspect of the present invention, the steering angle-white line position storage means 32-
2 stores two white line positions in advance corresponding to the steering angle of the vehicle, and reads out the position corresponding to the steering angle detected by the steering angle detecting means from the steering angle-white line position storage means to determine the two white line positions determined. Since the monitoring area is set using the monitoring area, the monitoring area can be determined only by detecting the steering angle without any troublesome operation such as computation.
【0029】請求項4記載の発明は、請求項1又は2記
載の車両用後側方監視装置において、前記監視領域設定
手段は、前記2つの白線位置を、前記撮像手段によって
得た道路画像の外縁部を画像処理して決定することを特
徴とする車両用後側方監視装置に存する。According to a fourth aspect of the present invention, in the vehicle rear side monitoring device according to the first or second aspect, the monitoring area setting means sets the two white line positions in a road image obtained by the imaging means. A rear side monitoring device for a vehicle, characterized in that the outer edge is determined by image processing.
【0030】請求項4に記載の発明である車両用後側方
監視装置においては、撮像手段によって得た道路画像の
外縁部を画像処理して決定した2つの白線位置を利用し
て監視領域を設定しているので、小さな僅かの領域の画
像処理を行うだけで面倒な演算などの処理作業なしに、
監視領域を定めることができる。In the vehicle rear side monitoring apparatus according to the fourth aspect of the present invention, the monitoring area is determined by using two white line positions determined by performing image processing on the outer edge of the road image obtained by the imaging means. Since it has been set, it is possible to perform image processing on only a small area,
A monitoring area can be defined.
【0031】また、上記課題を解決するためなされた請
求項5記載の発明は、図1(b)の基本構成図から明ら
かなように、車両に装着され車両の後側方の道路を撮像
して一定時間毎に道路画像を得る撮像手段10と、該撮
像手段によって得た道路画像の道路の車線に対応して監
視領域を設定する監視領域設定手段31−1と、前記撮
像手段によって一定時間毎に得た相前後する2つの道路
画像に基づいて前記設定された監視領域内にある他車両
から発生するオプティカルフローを検出するオプティカ
ルフロー検出手段31−2とを備え、該オプティカルフ
ロー検出手段によって検出したオプティカルフローを用
いて自車両と後続の他車両との相対関係を監視する車両
用後側方監視装置において、前記監視領域設定手段は、
前記撮像手段によって得た道路画像をエッジ処理して無
限遠点の存在する位置に達する複数の直線を検出する直
線検出手段31−3と、該直線検出手段によって検出し
た複数の直線の交点を前記道路画像内の無限遠点として
決定する無限遠点決定手段31−4とを有し、前記撮像
手段の撮像した自車線の両側の白線が前記撮像手段によ
って得た道路画像の外縁と交わる2つの白線位置と、前
記無限遠点決定手段によって決定した道路画像内の無限
遠点とを結ぶ線によって囲まれる領域の内又は外に前記
監視領域を設定することを特徴とする車両用後側方監視
装置に存する。According to a fifth aspect of the present invention for solving the above-mentioned problem, as is apparent from the basic configuration diagram of FIG. 1B, an image of a road mounted on a vehicle and located on the rear side of the vehicle is taken. Imaging means 10 for obtaining a road image at predetermined time intervals, a monitoring area setting means 31-1 for setting a monitoring area corresponding to the lane of the road in the road image obtained by the imaging means, Optical flow detecting means 31-2 for detecting an optical flow generated from another vehicle in the set monitoring area based on two successive road images obtained every time, and the optical flow detecting means In the vehicle rear side monitoring device that monitors the relative relationship between the host vehicle and the following other vehicle using the detected optical flow, the monitoring area setting unit includes:
A straight line detecting means 31-3 for performing edge processing on the road image obtained by the imaging means to detect a plurality of straight lines reaching a position where an infinite point exists; and an intersection of the plurality of straight lines detected by the straight line detecting means. And infinity point determination means 31-4 for determining as an infinity point in the road image, wherein two white lines on both sides of the own lane taken by the imaging means intersect with the outer edge of the road image obtained by the imaging means. Rear side monitoring for a vehicle, wherein the monitoring area is set within or outside an area surrounded by a line connecting a white line position and an infinity point in the road image determined by the infinity point determination means. Exists in the device.
【0032】請求項5記載の発明である車両用後側方監
視装置においては、監視領域設定手段は、直線検出手段
31−3が撮像手段によって得た道路画像をエッジ処理
して無限遠点の存在する位置に達する複数の直線を検出
すると、無限遠点決定手段31−4が検出した複数の直
線の交点を道路画像内の無限遠点として決定して利用
し、2つの白線位置と、無限遠点決定手段によって決定
した道路画像内の無限遠点とを結ぶ線によって囲まれる
領域の内又は外に監視領域を設定する。自車線の両側の
白線が撮像手段によって得た道路画像の外縁と交わる2
つの白線位置が予め分かり、道路画像内の無限遠点も画
像処理により検出した複数の直線の交点により定まり、
しかもこれらを結ぶ線の囲む領域の内又は外を監視領域
とし、監視領域を区画するため白線自身を検出すること
が必要なく、しかも無限遠点も簡単に且つ正確に定める
ことができるので、無限遠点の近傍に設定される監視領
域もある程度の正確なものとなる。According to a fifth aspect of the present invention, in the vehicle rear side monitoring device, the monitoring area setting means performs edge processing on the road image obtained by the straight line detecting means 31-3 by the imaging means to determine an infinity point. When a plurality of straight lines reaching the existing position are detected, the intersection of the plurality of straight lines detected by the infinity point determination means 31-4 is determined and used as an infinity point in the road image, and two white line positions and infinity points are determined. A monitoring area is set inside or outside of an area surrounded by a line connecting an infinite point in the road image determined by the far point determining means. The white lines on both sides of the own lane intersect with the outer edge of the road image obtained by the imaging means 2
The positions of two white lines are known in advance, and the point at infinity in the road image is determined by the intersection of a plurality of straight lines detected by image processing.
Moreover, the inside or outside of the area surrounding the line connecting them is defined as the monitoring area, and it is not necessary to detect the white line itself to divide the monitoring area, and the point at infinity can be easily and accurately determined. The monitoring area set near the distant point is also somewhat accurate.
【0033】上記課題を解決するためなされた請求項6
記載の発明は、図1(c)の基本構成図から明らかなよ
うに、車両に装着され車両の後側方の道路を撮像して一
定時間毎に道路画像を得る撮像手段10と、該撮像手段
によって得た道路画像の道路の車線に対応して監視領域
を設定する監視領域設定手段31−1と、前記撮像手段
によって一定時間毎に得た相前後する2つの道路画像に
基づいて前記設定された監視領域内にある他車両から発
生するオプティカルフローを検出するオプティカルフロ
ー検出手段31−2とを備え、該オプティカルフロー検
出手段によって検出したオプティカルフローを用いて自
車両と後続の他車両との相対関係を監視する車両用後側
方監視装置において、前記監視領域設定手段は、前記撮
像手段によって得た一定時間毎に相前後する2つの道路
画像中の静止物から発生する複数のオプティカルフロー
を検出する静止物オプティカルフロー検出手段31−5
と、該静止物オプティカルフロー検出手段により検出し
たオプティカルフローの収束点を前記道路画像内の無限
遠点として決定する無限遠点決定手段31−6とを有
し、前記撮像手段の撮像した自車線の両側の白線が前記
撮像手段によって得た道路画像の外縁と交わる2つの白
線位置と、前記舵角検知手段の検知した車両の舵角によ
り定まる前記無限遠点決定手段によって決定した道路画
像内の無限遠点とを結ぶ線によって囲まれる領域の内又
は外に前記監視領域を設定することを特徴とする車両用
後側方監視装置に存する。Claim 6 has been made to solve the above problem.
The disclosed invention is, as is apparent from the basic configuration diagram of FIG. 1 (c), an image pickup means 10 mounted on a vehicle to image a road on the rear side of the vehicle and obtains a road image at regular time intervals, and Monitoring area setting means 31-1 for setting a monitoring area corresponding to the lane of the road in the road image obtained by the means, and the setting based on two successive road images obtained at predetermined time intervals by the imaging means. Optical flow detection means 31-2 for detecting an optical flow generated from another vehicle within the monitored area, and using the optical flow detected by the optical flow detection means to communicate between the host vehicle and another subsequent vehicle. In the rear side monitoring device for a vehicle that monitors a relative relationship, the monitoring area setting unit may determine whether a stationary object in two road images that are consecutive with each other at regular time intervals obtained by the imaging unit. Stationary optical flow detecting means for detecting a plurality of optical flow that occurs 31-5
And an infinity point determining means 31-6 for determining a convergence point of the optical flow detected by the stationary object optical flow detecting means as an infinity point in the road image. Of the road image determined by the infinity point determining means determined by the two white line positions where the white lines on both sides of the road intersect the outer edge of the road image obtained by the imaging means and the steering angle of the vehicle detected by the steering angle detecting means. The present invention resides in a rear side monitoring device for a vehicle, wherein the monitoring region is set inside or outside a region surrounded by a line connecting the point at infinity.
【0034】請求項6記載の発明である車両用後側方監
視装置においては、監視領域設定手段は、静止物オプテ
ィカルフロー検出手段31−5が撮像手段によって得た
一定時間毎に相前後する2つの道路画像中の静止物から
発生する複数のオプティカルフローを検出すると、無限
遠点決定手段31−6が検出したオプティカルフローの
収束点を道路画像内の無限遠点として決定して利用し、
2つの白線位置と、無限遠点決定手段によって決定した
道路画像内の無限遠点とを結ぶ線によって囲まれる領域
の内又は外に監視領域を設定する。自車線の両側の白線
が撮像手段によって得た道路画像の外縁と交わる2つの
白線位置が予め分かり、道路画像内の無限遠点も画像処
理により検出したオプティカルフローの収束点により定
まり、しかもこれらを結ぶ線の囲む領域の内又は外を監
視領域とし、監視領域を区画するため白線自身を検出す
ることが必要なく、しかも無限遠点も簡単に且つ正確に
定めることができるので、無限遠点の近傍に設定される
監視領域もある程度の正確なものとなる。In the rear side monitoring apparatus for a vehicle according to the present invention, the monitoring area setting means may be arranged so that the stationary object optical flow detecting means 31-5 comes and goes at regular intervals obtained by the imaging means. When a plurality of optical flows generated from a stationary object in one road image are detected, the convergence point of the optical flow detected by the infinity point determination means 31-6 is determined and used as an infinity point in the road image,
A monitoring area is set inside or outside of an area surrounded by a line connecting two white line positions and an infinity point in the road image determined by the infinity point determination means. The positions of two white lines where the white lines on both sides of the own lane intersect the outer edge of the road image obtained by the imaging means are known in advance, and the point at infinity in the road image is determined by the convergence point of the optical flow detected by the image processing. The inside or outside of the area surrounded by the connecting line is set as the monitoring area, and it is not necessary to detect the white line itself to divide the monitoring area, and the point at infinity can be easily and accurately determined. The monitoring area set in the vicinity is also somewhat accurate.
【0035】上記課題を解決するためなされた請求項7
記載の発明は、図1(d)の基本構成図から明らかなよ
うに、車両に装着され車両の後側方の道路を撮像して一
定時間毎に道路画像を得る撮像手段10と、該撮像手段
によって得た道路画像の道路の車線に対応して監視領域
を設定する監視領域設定手段31−1と、前記撮像手段
によって一定時間毎に得た相前後する2つの道路画像に
基づいて前記設定された監視領域内にある他車両から発
生するオプティカルフローを検出するオプティカルフロ
ー検出手段31−2とを備え、該オプティカルフロー検
出手段によって検出したオプティカルフローを用いて自
車両と後続の他車両との相対関係を監視する車両用後側
方監視装置において、車両の速度を検知する車速検知手
段53と、車両の舵角を検知する舵角検知手段51とを
備え、前記監視領域設定手段は、前記舵角検知手段によ
って検知した過去の舵角と前記車速検知手段によって検
知した過去の車速とによって、走行済みの道路形状を推
測する道路形状推測手段31−7を有し、前記撮像手段
の撮像した自車線の両側の白線が前記撮像手段によって
得た道路画像の外縁と交わる2つの白線位置と前記推測
した道路形状とにより囲まれる領域の内又は外に前記監
視領域を設定することを特徴とする車両用後側方監視装
置に存する。Claim 7 has been made to solve the above problem.
The disclosed invention is, as is apparent from the basic configuration diagram of FIG. 1 (d), an image pickup means 10 mounted on a vehicle to image a road on the rear side of the vehicle and obtains a road image at regular intervals, and Monitoring area setting means 31-1 for setting a monitoring area corresponding to the lane of the road in the road image obtained by the means, and the setting based on two successive road images obtained at predetermined time intervals by the imaging means. Optical flow detection means 31-2 for detecting an optical flow generated from another vehicle within the monitored area, and using the optical flow detected by the optical flow detection means to communicate between the host vehicle and another subsequent vehicle. The rear side monitoring device for a vehicle for monitoring the relative relationship includes a vehicle speed detecting means 53 for detecting a speed of the vehicle, and a steering angle detecting means 51 for detecting a steering angle of the vehicle. The setting means has a road shape estimating means 31-7 for estimating a traveled road shape based on a past steering angle detected by the steering angle detecting means and a past vehicle speed detected by the vehicle speed detecting means, The monitoring area is set within or outside a region surrounded by two white line positions where white lines on both sides of the own lane imaged by the imaging unit intersect the outer edge of the road image obtained by the imaging unit and the estimated road shape. A rear side monitoring device for a vehicle characterized by the above.
【0036】請求項7記載の発明である車両用後側方監
視装置においては、監視領域設定手段は、舵角検知手段
51によって検知した過去の舵角と車速検知手段53に
よって検知した過去の車速とによって、道路形状推測手
段31−7が無限遠点までの道路形状を推測し、2つの
白線位置と推測した道路形状とにより囲まれる領域の内
又は外に監視領域を設定する。自車線の両側の白線が撮
像手段によって得た道路画像の外縁と交わる2つの白線
位置が予め分かり、道路画像内の走行済みの道路形状も
検出により定まり、しかも2つの白線位置から道路形状
に沿って囲む領域の内又は外を監視領域とし、監視領域
を区画するため白線自身を検出することが必要なく、し
かも簡単に且つ正確に監視領域を定めることができるの
で、設定される監視領域もある程度の正確なものとな
る。In the vehicle rear side monitoring apparatus according to the present invention, the monitoring area setting means includes a past steering angle detected by the steering angle detecting means 51 and a past vehicle speed detected by the vehicle speed detecting means 53. Thus, the road shape estimating means 31-7 estimates the road shape up to the point at infinity, and sets a monitoring area inside or outside the area surrounded by the two white line positions and the estimated road shape. The positions of two white lines where the white lines on both sides of the own lane intersect the outer edge of the road image obtained by the imaging means are known in advance, and the shape of the road that has been traveled in the road image is determined by detection. The inside or outside of the surrounding area is defined as the monitoring area, and it is not necessary to detect the white line itself to divide the monitoring area, and the monitoring area can be easily and accurately determined. Will be accurate.
【0037】請求項8記載の発明は、請求項1又は7記
載の車両用後側方監視装置において、前記監視領域設定
手段は、前記2つの白線位置を前記舵角検知手段の検知
した車両の舵角により選択することを特徴とする車両用
後側方監視装置に存する。According to an eighth aspect of the present invention, in the vehicle rear side monitoring device according to the first or seventh aspect, the monitoring area setting means is configured to detect the position of the two white lines by the steering angle detecting means. The present invention resides in a rear side monitoring device for a vehicle, which is selected by a steering angle.
【0038】請求項8記載の発明である車両用後側方監
視装置においては、監視領域設定手段は2つの白線位置
を舵角検知手段の検知した車両の舵角により選択して監
視領域を設定しているので、自車両に近い部分の監視領
域も正確なものとなっている。In the vehicle rear side monitoring apparatus according to the present invention, the monitoring area setting means sets the monitoring area by selecting two white line positions based on the steering angle of the vehicle detected by the steering angle detecting means. As a result, the monitoring area near the own vehicle is also accurate.
【0039】請求項9記載の発明は、請求項7記載の車
両用後側方監視装置において、前記監視領域設定手段
は、前記2つの白線位置を車両の舵角に対応して予め記
憶した舵角−白線位置記憶手段32−2を有し、前記2
つの白線位置を、前記舵角−白線位置記憶手段から前記
舵角検知手段の検知した舵角に対応するものを読み出し
て決定することを特徴とする車両用後側方監視装置に存
する。According to a ninth aspect of the present invention, in the vehicle rear side monitoring device according to the seventh aspect, the monitoring area setting means stores the two white line positions in advance in correspondence with the steering angle of the vehicle. A corner-white line position storage means 32-2;
The position of one white line is determined by reading out the position corresponding to the steering angle detected by the steering angle detection means from the steering angle-white line position storage means.
【0040】請求項9記載の発明である車両用後側方監
視装置においては、監視領域設定手段は、舵角−白線位
置記憶手段32−2が2つの白線位置を車両の舵角に対
応して予め記憶し、舵角−白線位置記憶手段から舵角検
知手段の検知した舵角に対応するものを読み出して決定
した2つの白線位置を利用して監視領域を設定している
ので、舵角を検出するだけで面倒な演算などの処理作業
なしに、自車両に近い部分の監視領域を正確に定めるこ
とができる。In the vehicle rear side monitoring apparatus according to the ninth aspect of the invention, the monitoring area setting means includes a steering angle-white line position storage means 32-2 which stores two white line positions in correspondence with the steering angle of the vehicle. Since the monitoring area is set using the two white line positions determined by reading out the data corresponding to the steering angle detected by the steering angle detection means from the steering angle-white line position storage means, the monitoring area is set in advance. The monitoring area of the portion close to the host vehicle can be accurately determined without the need for a complicated operation or other processing work only by detecting the monitoring area.
【0041】請求項10記載の発明は、請求項5、6又
は7記載の車両用後側方監視装置において、前記監視領
域設定手段は、前記2つの白線位置を、前記撮像手段に
よって得た道路画像の外縁部を画像処理して決定するこ
とを特徴とする車両用後側方監視装置に存する。According to a tenth aspect of the present invention, in the vehicle rear side monitoring device according to the fifth, sixth or seventh aspect, the monitoring area setting means sets the two white line positions on the road obtained by the imaging means. A rear-side monitoring device for a vehicle is characterized in that an outer edge of an image is determined by image processing.
【0042】請求項10記載の発明である車両用後側方
監視装置においては、撮像手段によって得た道路画像の
外縁部を画像処理して決定した2つの白線位置を利用し
て監視領域を設定しているので、小さな僅かの領域の画
像処理を行うだけで面倒な演算などの処理作業なしに自
車両に近い部分の監視領域を正確に定めることができ
る。According to the tenth aspect of the present invention, the monitoring area is set by using two white line positions determined by performing image processing on the outer edge of the road image obtained by the imaging means. Therefore, it is possible to accurately determine a monitoring area close to the host vehicle by performing image processing on a small and small area without performing a complicated operation or other processing operation.
【0043】上記課題を解決するためなされた請求項1
1記載の発明は、図1(e)の基本構成図に示すよう
に、前記監視領域を前記囲まれた領域の外に設定した請
求項1〜10のいずれかに記載の車両用後側方監視装置
と、ウインカの動作とその操作方向を検出するウインカ
検出手段52と、前記車両用後側方監視装置による監視
の結果、前記ウインカ検出手段の検出した操作方向の前
記監視領域内に自車両の後側方より接近してくる他車両
が存在するとき運転者に警報を与える警報手段40とを
備えることを特徴とする車両用後側方監視警報装置に存
する。Claim 1 has been made to solve the above problem.
The invention according to claim 1, wherein the monitoring area is set outside the enclosed area as shown in the basic configuration diagram of FIG. 1 (e). A monitoring device, a turn signal detecting means 52 for detecting an operation of the turn signal and an operation direction thereof, and a result of monitoring by the rear side monitoring device for a vehicle, the own vehicle is located within the monitoring area in the operation direction detected by the turn signal detecting means. And a warning means 40 for giving a warning to the driver when there is another vehicle approaching from the rear side of the vehicle.
【0044】請求項11記載の発明である車両用後側方
監視警報装置においては、囲まれた領域の外、すなわ
ち、自車線に隣接する隣接車線を含む領域が監視領域と
なっていて、ウインカ検出手段52の検出した車線変更
方向の監視領域内に自車両の後側方より接近してくる他
車両が存在するとき警報手段40が運転者に警報を与え
るようになっているので、監視領域を区画するため白線
自身を検出することが必要なく、短い処理時間で必要な
警報を与えることができる。In the vehicle rear side monitoring / warning apparatus according to the eleventh aspect, the outside of the enclosed area, that is, an area including an adjacent lane adjacent to the own lane is a monitoring area, and When there is another vehicle approaching from the rear side of the own vehicle within the monitoring area in the lane change direction detected by the detecting means 52, the warning means 40 gives a warning to the driver. Therefore, it is not necessary to detect the white line itself, and a necessary alarm can be given in a short processing time.
【0045】[0045]
【発明の実施の形態】以下、本発明の実施の形態の具体
例を図面を参照して説明する。図2は、本発明が適用さ
れる装置の構成を示すブロック図で、同図において、1
0は撮像手段としての撮像部、20は撮像部10からの
画像データなどを保持する記憶部、30は撮像部10か
らの画像情報に基づき画像処理及び他車両との相対関係
を監視する処理などを実行するデータ処理部、40は警
報を発生する警報手段としての警報部、50は自車両の
走行方向を変更する際の操作情報を示す信号の入力を行
う信号入力部である。Embodiments of the present invention will be described below with reference to the drawings. FIG. 2 is a block diagram showing the configuration of an apparatus to which the present invention is applied.
Reference numeral 0 denotes an imaging unit as an imaging unit, 20 denotes a storage unit that holds image data from the imaging unit 10, 30 denotes image processing based on image information from the imaging unit 10, and processing for monitoring a relative relationship with another vehicle. , A warning unit as warning means for generating a warning, and a signal input unit 50 for inputting a signal indicating operation information when changing the traveling direction of the vehicle.
【0046】撮像部10は、ビデオカメラ11から構成
されている。そして、このビデオカメラ11は、図13
にて説明したように、レンズ(図13にて符号11aに
て示す)とイメージプレーン(同11b)とを有してい
る。そして、撮像部10のビデオカメラ11は、車両の
後部のトランク部の上部或いは後端部に、車両の後方に
向けて取り付けられる。そして、このビデオカメラ11
は、車両の後側方の道路画像を撮像するように構成され
ている。そして、このビデオカメラ11は、データ処理
部30のCPU31(後述)に対し、車両後側方の道路
画像情報を出力する。The image pickup section 10 comprises a video camera 11. Then, this video camera 11
As described above, it has a lens (indicated by reference numeral 11a in FIG. 13) and an image plane (indicated by 11b). The video camera 11 of the imaging unit 10 is attached to the upper part or the rear end of the trunk at the rear of the vehicle, facing the rear of the vehicle. And this video camera 11
Is configured to capture a road image on the rear side of the vehicle. Then, the video camera 11 outputs road image information on the rear side of the vehicle to a CPU 31 (described later) of the data processing unit 30.
【0047】記憶部20は、前記撮像部10からの道路
画像情報を保持する第1フレームメモリ21及び第2フ
レームメモリ22と、発散方向のオプティカルフローを
保持する発散オプティカルフローメモリ23とを有して
いる。The storage unit 20 has a first frame memory 21 and a second frame memory 22 for holding the road image information from the image pickup unit 10, and a divergent optical flow memory 23 for holding the optical flow in the divergent direction. ing.
【0048】そして、この記憶部20を構成する第1フ
レームメモリ21及び第2フレームメモリ22は、例え
ば512画素×512画素といったm行n列からなるマ
トリクス状のメモリとして構成されている。また、各メ
モリ21〜23は、データ処理部30のCPU31に対
し、読み書き可能に接続されている。The first frame memory 21 and the second frame memory 22 constituting the storage section 20 are configured as a matrix-like memory having m rows and n columns, for example, 512 pixels × 512 pixels. Each of the memories 21 to 23 is connected to the CPU 31 of the data processing unit 30 in a readable and writable manner.
【0049】データ処理部30は、動作プログラムに従
って動作する中央制御装置としてのCPU31、このC
PU31の動作プログラム及び予め与えられる設定値な
どを保持するROM32及びCPU31の演算実行時に
必要なデータを一時的に保持するRAM33を有してい
る。The data processing unit 30 includes a CPU 31 serving as a central control device that operates according to an operation program.
It has a ROM 32 for storing an operation program of the PU 31 and a set value given in advance, and a RAM 33 for temporarily storing data required when the CPU 31 executes an operation.
【0050】警報部40は、表示器41とスピーカ42
とを有している。表示器41は、LCDなどで構成さ
れ、ビデオカメラ11が撮像した撮像画像を表示した
り、あるいは、データ処理部30(CPU31)が他車
両との接触危険性有りと判定した際に、メッセージなど
を表示して運転者に対して危険を映像で知らせる。スピ
ーカ42は、データ処理部30からの音声信号に基づ
き、音声ガイダンスあるいは警報音といった音声を発生
する。そして、データ処理部30が他車両との接触危険
性有りと判定した場合には、この音声により運転者に対
して危険を音声で知らせる。The alarm section 40 includes a display 41 and a speaker 42.
And The display 41 is configured by an LCD or the like, and displays an image captured by the video camera 11, or displays a message when the data processing unit 30 (CPU 31) determines that there is a risk of contact with another vehicle. Is displayed to inform the driver of the danger. The speaker 42 generates a voice such as voice guidance or a warning sound based on a voice signal from the data processing unit 30. When the data processing unit 30 determines that there is a risk of contact with another vehicle, the driver is informed of the danger by voice using this voice.
【0051】信号入力部50は、ハンドル舵角あるいは
車両の操舵輪(一般には前輪)の操舵角を検出する舵角
検知手段としての舵角センサ51と、運転者によるウイ
ンカ機構の操作状態とその操作方向を検出するウインカ
検出手段としてのウインカ(ターンシグナル)検出スイ
ッチ52とを有しており、舵角センサ51により車両の
転回情報を検出し、ウインカ検出スイッチ52により運
転者が車両を左右側に転回させる際に操作するウインカ
機構からの転回指示情報を検出する。The signal input section 50 includes a steering angle sensor 51 as a steering angle detecting means for detecting a steering angle of a steering wheel or a steering wheel (generally, a front wheel) of the vehicle, a state of operation of the turn signal mechanism by the driver, and a state of the operation of the turn signal mechanism. A turn signal (turn signal) detection switch 52 serving as a turn signal detection means for detecting an operation direction is provided. The turning information of the vehicle is detected by the steering angle sensor 51, and the driver turns the vehicle to the left or right by the turn signal detection switch 52. Turn instruction information from the turn signal mechanism operated when turning is detected.
【0052】以上の構成を有する具体例の動作、すなわ
ちデータ処理部30による制御動作について、フローチ
ャートを参照して説明する。この具体例においては、ま
ず図3のフローチャートすなわち具体例における主フロ
ーチャートのステップS110にて、画像取得処理を行
い、データ処理部30のCPU31は監視領域設定手段
31−1として機能する。The operation of the specific example having the above configuration, that is, the control operation by the data processing unit 30 will be described with reference to a flowchart. In this specific example, first, in step S110 of the flowchart in FIG. 3, that is, the main flowchart in the specific example, an image acquisition process is performed, and the CPU 31 of the data processing unit 30 functions as a monitoring area setting unit 31-1.
【0053】このステップS110における画像取得処
理は、最初の処理を行う際に、監視領域を設定するため
の画像情報を取得するためのもので、このステップS1
10の処理により、例えば図4に示す後側方の道路画像
が得られる。The image acquisition processing in step S110 is for acquiring image information for setting a monitoring area when performing the first processing.
By the processing of 10, for example, a road image on the rear side shown in FIG. 4 is obtained.
【0054】この道路画像は、高速道路といった自動車
専用道路上を走行中の自車両からの画像を例示してお
り、ビデオカメラ11が車両の後部に後側方に向けて取
り付けられているので、車両の後側方を直視した画像と
なっている。同図に示すように、道路500、道路50
0上に描かれ自車線と隣接車線を区画する破線からなり
車線変更を可能とする白線510及び520と側路を区
画する連続直線からなり車線変更を禁止する白線530
及び540、並びに道路500の両脇に立設された壁6
00が、画像上における水平方向中心位置でかつ垂直方
向1/3位置にて消失する画像となってり、この消失点
がFOEとなっている。そして、この取得した道路画像
の情報については、記憶部20の第1フレームメモリ2
1に格納される。This road image exemplifies an image from the own vehicle traveling on a motorway such as an expressway. Since the video camera 11 is attached to the rear part of the vehicle toward the rear side, The image is a direct view of the rear side of the vehicle. As shown in FIG.
White lines 510 and 520, which are drawn on zero and are composed of dashed lines dividing the own lane and the adjacent lane, and which allow lane change, and white lines 530 which are made up of continuous straight lines which delimit the side road and which prohibit lane change
And 540, and the wall 6 standing on both sides of the road 500
00 is an image that disappears at the center position in the horizontal direction and 1/3 position in the vertical direction on the image, and this vanishing point is the FOE. The information of the acquired road image is stored in the first frame memory 2 of the storage unit 20.
1 is stored.
【0055】また、この道路画像は、上述したように、
車両の後側方に向けて取り付けられているので、道路画
像における右側が進行方向を基準とした場合の左側に相
当し、道路画像における左側が進行方向を基準とした場
合の右側に相当する。以後、この道路画像を基準とした
左右方向で説明を行うことにする。Further, as described above, this road image
Since the vehicle is attached to the rear side of the vehicle, the right side in the road image corresponds to the left side based on the traveling direction, and the left side in the road image corresponds to the right side based on the traveling direction. Hereinafter, description will be made in the left-right direction based on the road image.
【0056】上述したFOEの垂直方向位置を示すFO
EラインLは、車両の後部に後側方に向けて取り付けら
れているビデオカメラ11の画角、レンズ収差、カメラ
の設置パラメータ(高さ、俯角)などによって定まり、
例えば100m後方位置に定められる。また、道路50
0上に描かれ自車線と隣接車線を区画する破線からなり
車線変更を可能とする白線510及び520が画像の外
縁と交わる白線位置W1及びW2も、ビデオカメラ11
の画角、レンズ収差、カメラの設置パラメータ(高さ、
俯角)などによって定まる。従って、画像の外縁と交わ
る白線位置W1及びW2と無限遠点FOEを結ぶ線によ
って囲まれる領域の内側に自車線の監視領域を、外側の
特にFOEラインLによって囲まれる領域に隣接車線の
監視領域をそれぞれ設定することができる。FO indicating the vertical position of the above-mentioned FOE
The E-line L is determined by the angle of view, lens aberration, camera installation parameters (height, depression angle) of the video camera 11 attached to the rear part of the vehicle toward the rear side,
For example, it is set at a position 100 m behind. In addition, road 50
Also, the white lines 510 and 520, which are composed of broken lines dividing the own lane and the adjacent lane, which are drawn on the zero and cross lanes, intersect the outer edges of the image.
Angle of view, lens aberration, camera installation parameters (height,
Angle of depression). Therefore, the monitoring area of the own lane is set inside the area surrounded by the line connecting the white line positions W1 and W2 intersecting with the outer edge of the image and the point at infinity FOE, and the monitoring area of the adjacent lane is set outside the area particularly surrounded by the FOE line L Can be set respectively.
【0057】なお、FOEラインLとライン上のFOE
は、一定時間毎に相前後して取得した2つの道路画像の
各々において車両の進行方向が変化しても変わることは
ないが、一定時間毎に相前後して取得した道路画像のう
ちの先の画像でのFOEの位置は、車両の進行方向が変
わると移動し、後の画像上でのFOEと一致しなくな
る。車両が例えば右転回すると、これに伴って先の画像
上での無限遠点FOEの位置が図5に簡略図で示すよう
にFOE′の位置に移動することになる。また、道路5
00上に描かれ自車線と隣接車線を区画する破線からな
り車線変更を可能とする白線510及び520が画像の
外縁と交わる白線位置W1及びW2も、直線状の自車線
の真ん中を走行している限り変化しないが、車両の進行
方向が変わると、図5に簡略図で示すように、W1及び
W2からW1′及びW2′に移動する。The FOE line L and the FOE on the line
Does not change even if the traveling direction of the vehicle changes in each of the two road images acquired one after another at regular time intervals. The position of the FOE in the image moves when the traveling direction of the vehicle changes, and does not match the FOE in the subsequent image. When the vehicle turns to the right, for example, the position of the point FOE at infinity on the previous image moves to the position of FOE 'as shown in a simplified diagram in FIG. Road 5
The white lines 510 and 520 that are drawn on 00 and are composed of dashed lines that separate the own lane and the adjacent lane, and that allow lane change, intersect with the outer edge of the image. The white line positions W1 and W2 also run in the middle of the linear own lane. As long as the direction of travel of the vehicle changes, it moves from W1 and W2 to W1 'and W2' as shown in a simplified diagram in FIG.
【0058】従って、車両の進行方向が変わっているに
もかかわらず、監視領域を白線位置W1及びW2と無限
遠点FOEとによって固定的に設定すると、無限遠点F
OEに近い所、すなわち、100m程後方に存在する他
車両については、得られる他車両の画像が極めて小さい
ため、実際には隣接車線に存在するにもかかわらず、自
車線内に存在すると誤判断したり、逆に自車線内に存在
する他車両を隣接車線に存在すると誤判断するようにな
る。この点、自車両に近い他車両については、得られる
画像が比較的大きいので、実際にはW1′及びW2′に
移動していても固定のW1及びW2を使用しても、他車
両の存在する領域を誤判断することはほとんどない。Therefore, when the monitoring area is fixedly set by the white line positions W1 and W2 and the infinity point FOE despite the change of the traveling direction of the vehicle, the infinity point F
Regarding the other vehicle located near the OE, that is, about 100 m behind, the obtained image of the other vehicle is extremely small. Therefore, it is erroneously determined that the vehicle exists in the own lane even though the vehicle actually exists in the adjacent lane. Or, conversely, another vehicle existing in the own lane is erroneously determined to be present in the adjacent lane. In this regard, the obtained image is relatively large for the other vehicle close to the own vehicle. Therefore, even if the vehicle is actually moving to W1 'and W2' or using the fixed W1 and W2, the presence of the other vehicle is There is almost no misjudgment of the region to be performed.
【0059】よって、車両の進行方向が変わっている場
合、簡略的には、移動したFOE′と画像の外縁と交わ
る白線位置W1及びW2とを結ぶ線によって囲まれた領
域の内外に自車線の監視領域と隣接車線の監視領域とを
設定することによって、誤判断することなく、自車線内
と隣接車線内の他車両を監視することができる。勿論、
厳密には、移動したFOE′とW1′及びW2′とを結
ぶ線によって囲まれた領域の内外に自車線の監視領域と
隣接車線の監視領域とを設定することがよい。Therefore, when the traveling direction of the vehicle is changed, in a simplified manner, the own lane is located inside and outside the area surrounded by the line connecting the moved FOE 'and the white line positions W1 and W2 intersecting the outer edge of the image. By setting the monitoring area and the monitoring area of the adjacent lane, other vehicles in the own lane and the adjacent lane can be monitored without erroneous determination. Of course,
Strictly, it is preferable to set the monitoring area of the own lane and the monitoring area of the adjacent lane inside and outside the area surrounded by the line connecting the moved FOE 'and W1' and W2 '.
【0060】ところで、無限遠点FOEの移動量ΔFO
Eは、車両の進行方向の変化量に比例し、予め設定した
比例定数に進行方向の変化量を決定する舵角を乗じるこ
とによって計算によって求めることができるが、図6に
示すような予め舵角とFOEの移動量とのテーブルをR
OM32中の所定エリアに舵角−無限遠点記憶手段32
−1として用意しておき、舵角をアドレスとして移動量
を読み出すことによって定めることもできる。前者はR
OMの記憶容量を必要としないが、後者の方は計算が不
要な分高速処理に適する。Incidentally, the moving amount ΔFO of the point FOE at infinity
E is proportional to the amount of change in the traveling direction of the vehicle, and can be obtained by calculation by multiplying a preset proportionality constant by a steering angle that determines the amount of change in the traveling direction. R is the table of the angle and the amount of FOE movement
The steering angle-infinity point storage means 32 is stored in a predetermined area in the OM 32.
It can also be determined by preparing the value as −1 and reading the movement amount using the steering angle as an address. The former is R
Although the storage capacity of the OM is not required, the latter is suitable for high-speed processing because the calculation is unnecessary.
【0061】一方、白線位置W1及びW2の移動量も車
両の進行方向の変化量に比例し、予め設定した比例定数
に進行方向の変化量を決定する舵角を乗じることによっ
て計算によって求めることができるが、予め求めた移動
量を加算した新しい白線位置W1及びW2の座標を、図
7に示すように、舵角とFOEの移動量と共にテーブル
にしてROM32中の所定エリアに舵角−白線位置記憶
手段32−2として予め用意しておき、舵角をアドレス
として白線位置を読み出すことによって定めることもで
きるOn the other hand, the amount of movement of the white line positions W1 and W2 is also proportional to the amount of change in the traveling direction of the vehicle, and can be obtained by calculation by multiplying a preset proportional constant by the steering angle for determining the amount of change in the traveling direction. As shown in FIG. 7, the coordinates of the new white line positions W1 and W2 obtained by adding the movement amounts obtained in advance are stored in a table together with the steering angle and the movement amount of the FOE. It can be prepared in advance as the storage means 32-2, and can be determined by reading the white line position using the steering angle as an address.
【0062】引き続くステップS120では、監視領域
設定処理を行う。この監視領域設定処理は、具体的な1
例としては、図8のフローチャートによりなされる。以
下、この図8のフローチャートを参照して説明する。こ
の監視領域設定処理では、まずステップS210aに
て、センサ51からの舵角信号をアナログ/デジタル変
換して舵角データとして読み込み、ハンドル舵角あるい
は車両の操舵輪(一般には前輪)の舵角を検出する。次
に、ステップS220aにおいてステップS210aで
検出した舵角をアドレスとして図6のテーブルより無限
遠点FOEの移動量ΔFOEを読み出し、この読み出し
た移動量ΔFOEだけ移動した無限遠点FOE′を決定
する。次に、ステップS230aにおいて、図9に示す
ように、白線が道路画像の外縁と交わる既知の2つの白
線位置W1及びW2とステップS220aにおいて決定
した無限遠点FOE′とを結ぶ線によって囲われた領域
の内又は外に監視領域を設定して元のフローチャートに
戻る。In the following step S120, a monitoring area setting process is performed. This monitoring area setting processing is performed by
As an example, this is performed according to the flowchart of FIG. Hereinafter, description will be made with reference to the flowchart of FIG. In the monitoring area setting process, first, in step S210a, the steering angle signal from the sensor 51 is converted from analog to digital and read as steering angle data, and the steering angle of the steering wheel or the steering wheel of the vehicle (generally, the front wheel) is calculated. To detect. Next, in step S220a, using the steering angle detected in step S210a as an address, the movement amount .DELTA.FOE of the infinite point FOE is read from the table of FIG. 6, and the infinity point FOE 'moved by the read movement amount .DELTA.FOE is determined. Next, in step S230a, as shown in FIG. 9, the white line was surrounded by a line connecting the two known white line positions W1 and W2 intersecting the outer edge of the road image and the infinity point FOE 'determined in step S220a. The monitoring area is set inside or outside the area, and the process returns to the original flowchart.
【0063】図8のフローチャートでは、白線が道路画
像の外縁と交わる2つの白線位置として舵角によって移
動しない既知の2つの位置W1及びW2を用いている
が、舵角によって移動する白線位置W1′及びW2′を
用いるときには、上述のステップS230aにおいて図
7に示すテーブルから舵角に応じたx、y座標で表され
る白線位置W1′及びW2′を読み出し、この白線位置
とステップS220aにおいて決定した無限遠点FO
E′とを結んだ線で囲まれた領域の内又は外に監視領域
を設定するようにすればよい。In the flowchart of FIG. 8, two known white line positions W1 and W2 that do not move with the steering angle are used as the two white line positions where the white line intersects the outer edge of the road image. However, the white line position W1 'that moves with the steering angle is used. When W2 'and W2' are used, white line positions W1 'and W2' represented by x and y coordinates corresponding to the steering angle are read from the table shown in FIG. 7 in the above-described step S230a, and the white line positions are determined in step S220a. Infinity point FO
The monitoring area may be set within or outside the area surrounded by the line connecting E '.
【0064】なお、舵角に応じて移動した無限遠点FO
E′と白線位置W1′及びW2′を決定するのにテーブ
ルを使用しているが、舵角に定数を乗じて計算によって
求めるようにしてもよいが、図10に示すように、舵角
に応じて移動する白線位置の範囲に相当する道路画像の
外縁部に最小限の画像処理領域を設定し、白線が道路画
像の外縁と交わる2つの白線位置が他の部分より輝度が
大きくなることに着目して、この画像処理領域の画像処
理によって白線位置W1′及びW2′を検出して決定す
るようにしてもよい。The infinity point FO moved according to the steering angle
Although a table is used to determine E ′ and white line positions W1 ′ and W2 ′, the table may be obtained by calculation by multiplying the steering angle by a constant, but as shown in FIG. The minimum image processing area is set at the outer edge of the road image corresponding to the range of the white line position that moves accordingly, and the two white line positions where the white line intersects the outer edge of the road image have higher luminance than the other portions. Paying attention, the white line positions W1 'and W2' may be detected and determined by the image processing of this image processing area.
【0065】無限遠点FOEの決定の仕方としては、道
路画像をエッジ処理した後ハフ変換して道路上の白線5
30及び540、並びに道路500の両脇に立設された
壁600など、無限遠点の存在する位置に達する任意の
複数の直線を検出し、この複数の直線の交点を無限遠点
ととして決定する方法と、一定時間毎に相前後する2つ
の道路画像中の静止物から発生する複数のオプティカル
フローを検出し、このオプティカルフローの収束点を無
限遠点として決定する方法がある。As a method of determining the infinite point FOE, a road image is edge-processed, Hough-transformed, and a white line 5 on the road is obtained.
Any arbitrary straight lines reaching the position where the infinity point exists, such as 30 and 540 and the wall 600 standing on both sides of the road 500, are detected, and the intersection of the plurality of straight lines is determined as the infinity point. And a method of detecting a plurality of optical flows generated from stationary objects in two road images that are successively arranged at predetermined time intervals, and determining a convergence point of the optical flows as a point at infinity.
【0066】前者の方法を実施するため、データ処理部
30のCPU31は、予め定めたプログラムによって動
作してビデオカメラ11によって得た道路画像をエッジ
処理して無限遠点の存在する位置に達する複数の直線を
検出する直線検出手段31−3と、検出した複数の直線
の交点を道路画像内の無限遠点として決定する無限遠点
決定手段31−4として機能する。なお、直線検出のた
めの処理自体は、具体的な例を示すまでもなく周知であ
る。また、後者の方法を実施するため、CPU31は、
予め定めたプログラムによって動作してビデオカメラ1
1によって得た一定時間毎に相前後する2つの道路画像
中の静止物から発生する複数のオプティカルフローを検
出する静止物オプティカルフロー検出手段31−5と、
検出したオプティカルフローの収束点を道路画像内の無
限遠点として決定する無限遠点決定手段31−6として
機能する。なお、オプティカルフロー検出のための処理
も周知である。In order to carry out the former method, the CPU 31 of the data processing unit 30 operates according to a predetermined program to perform edge processing on the road image obtained by the video camera 11 so as to reach a position where an infinite point exists. And an infinity point determination unit 31-4 that determines an intersection of a plurality of detected straight lines as an infinity point in the road image. The processing itself for detecting a straight line is well known without showing a specific example. Further, in order to carry out the latter method, the CPU 31
Video camera 1 operated by a predetermined program
A stationary object optical flow detection means 31-5 for detecting a plurality of optical flows generated from stationary objects in two road images which are successively arranged at regular time intervals obtained by step 1;
It functions as an infinity point determination unit 31-6 that determines a convergence point of the detected optical flow as an infinity point in the road image. Note that a process for detecting an optical flow is also well known.
【0067】図5を参照して上述したように、車両の進
行方向が変わると一定時間毎に相前後して取得した道路
画像において、先に取得した道路画像上のFOEは後に
取得した道路画像上で順次移動する。カーブした道路を
走行ているときには、舵角は継続的に一定角度あるいは
微調整されて保持されるようになるため、先に取得した
道路画像上のFOEの移動に伴って、自車両の走行する
自車線と隣接車線とは現時点のFOE点から大きくはず
れた位置をとることになる。このような場合、上述した
ように、道路画像の外縁と交わる2つの白線位置と、道
路画像内の無限遠点とを単純に線で結んだだけでは、1
00m後方の他車両が自車線内にあるのか隣接車線内に
あるのか判断することができなくなる。As described above with reference to FIG. 5, when the traveling direction of the vehicle changes, the FOE on the previously acquired road image is the same as the FOE on the previously acquired road image. Move up sequentially. When the vehicle is traveling on a curved road, the steering angle is continuously maintained at a constant angle or finely adjusted, so that the own vehicle travels along with the movement of the FOE on the previously acquired road image. The own lane and the adjacent lane are located far from the current FOE point. In such a case, as described above, simply connecting the two white line positions intersecting with the outer edge of the road image and the point at infinity in the road image by a line results in 1
It becomes impossible to determine whether the other vehicle behind the vehicle is within the own lane or the adjacent lane.
【0068】そこで、100m走行する間の過去の舵角
と車速とによって、自車両が走行してきた道路形状を推
測し、道路画像の外縁と交わる2つの白線位置と推測し
た道路形状とにより、監視領域を設定するようにする。Therefore, the shape of the road on which the host vehicle has traveled is estimated based on the past steering angle and the vehicle speed during the traveling of 100 m, and monitoring is performed based on the estimated two white line positions intersecting the outer edges of the road image and the estimated road shape. Set an area.
【0069】道路形状を推測するため、図11に示すよ
うに、一定時間毎に道路画像を取得する毎に、信号入力
部50の舵角検知手段としての舵角センサ51からの舵
角信号によって舵角θを得ると共に、信号入力部50の
有する図示しない車速検知手段としての速度センサから
の速度信号によって車速vを検知し、道路画像上での自
車両のx、y座標位置を順次取得し、現在のFOE位置
と100m後方の自車線位置とのずれ量ΔFOEとその
軌跡情報を得ておく。そして、図12に示すように、2
つの白線位置W1及びW2とFOE′とを座標点で示す
道路形状に沿った曲線にて結ぶことによって、曲線によ
って囲まれた領域の内外に自車線と隣接車線の各監視領
域が設定される。よって、CPU31は、予め定めたプ
ログラムによって動作して舵角センサ51によって検知
した過去の舵角と車速センサによって検知した過去の車
速とによって、走行済みの道路形状を推測する道路形状
推測手段31−7として機能する。In order to estimate the road shape, as shown in FIG. 11, every time a road image is acquired at regular time intervals, a signal from a steering angle sensor 51 as a steering angle detecting means of the signal input unit 50 is used. While obtaining the steering angle θ, the vehicle speed v is detected by a speed signal from a speed sensor (not shown) as a vehicle speed detecting means of the signal input unit 50, and the x, y coordinate positions of the own vehicle on the road image are sequentially acquired. In addition, the deviation amount ΔFOE between the current FOE position and the own lane position 100 m behind and the trajectory information are obtained. Then, as shown in FIG.
By connecting the two white line positions W1 and W2 and FOE 'with a curve along the road shape indicated by the coordinate points, respective monitoring areas of the own lane and the adjacent lane are set inside and outside the area surrounded by the curve. Therefore, the CPU 31 operates according to a predetermined program, and estimates a road shape that has been traveled based on the past steering angle detected by the steering angle sensor 51 and the past vehicle speed detected by the vehicle speed sensor. Function as 7.
【0070】上述した種々の方法によって監視領域を設
定した後は、図3のフローチャートにおけるステップS
130に進む。ステップS130では、オプティカルフ
ロー検出処理を行う。よって、CPU31は、予め定め
たプログラムによって動作してビデオカメラ10によっ
て一定時間毎に得た相前後する2つの道路画像に基づい
て設定された監視領域内にある他車両から発生するオプ
ティカルフローを検出するオプティカルフロー検出手段
31−2として機能する。このオプティカルフロー検出
処理は、上記ステップS120で設定された監視領域に
ついてなされ、自車線の両側の隣接車線に監視領域が設
定された場合には、第1フレームメモリ21に格納され
た道路画像より所定時間△tだけ遅延して撮像され、第
2フレームメモリ22に格納された撮像画像に対しても
同じ監視領域が設定される。 そして、このステップS
130では、時刻tにおける道路画像中の画像構成点
と、時刻t+△tの撮像画像中の画像構成点において、
互いに対応する各点間の移動方向並びに移動量をオプテ
ィカルフローとして検出する。After setting the monitoring area by the various methods described above, step S in the flowchart of FIG.
Proceed to 130. In step S130, an optical flow detection process is performed. Therefore, the CPU 31 operates according to a predetermined program and detects an optical flow generated from another vehicle within a set monitoring area based on two successive road images obtained at regular intervals by the video camera 10. Function as optical flow detecting means 31-2. This optical flow detection processing is performed on the monitoring area set in step S120. When the monitoring area is set in the adjacent lane on both sides of the own lane, a predetermined value is obtained from the road image stored in the first frame memory 21. The same monitoring area is set for the captured image captured with a delay of time Δt and stored in the second frame memory 22. And this step S
At 130, at an image composing point in the road image at time t and an image composing point in the captured image at time t + Δt,
The moving direction and the moving amount between the corresponding points are detected as optical flows.
【0071】そして、ステップS140では、危険度の
算出処理を行う。すなわち、このステップS140で
は、上記ステップS130にて取得したオプティカルフ
ローの内、上述したオプティカルフロー201F及び2
02Fのように発散方向のオプティカルフローに対し、
その大きさ(長さ)に重み付けをし数値化する。なお、
この算出処理において、しきい値を数レベル設定してお
き、危険度のレベルを算出するようにしてもよい。Then, in step S140, a risk calculation process is performed. That is, in this step S140, of the optical flows acquired in step S130, the optical flows 201F and 201F described above are used.
For the optical flow in the divergent direction like 02F,
The size (length) is weighted and digitized. In addition,
In this calculation process, the threshold may be set at several levels, and the risk level may be calculated.
【0072】引き続くステップS150では、上記ステ
ップS140で算出された危険度に基づき、この危険度
が或るしきい値を越えたら危険と判断する。また、危険
度のレベルが与えられた場合には、このレベルが規定値
以上となった場合に危険と判断する。そして、この判定
処理で危険と判断された場合には、ステップS160に
て警報処理を実行し、一方、危険でないと判断された場
合には、一連の処理を終了して再度上述したステップS
110からの処理を実行する(RTS)。In the following step S150, based on the risk calculated in step S140, if this risk exceeds a certain threshold, it is determined that there is danger. If a risk level is given, it is determined to be dangerous if this level exceeds a specified value. Then, if it is determined in this determination process that there is danger, an alarm process is executed in step S160. On the other hand, if it is determined that there is no danger, a series of processes is terminated and the above-described step S160 is repeated.
The process from 110 is executed (RTS).
【0073】このステップS160の警報処理では、表
示警報部40のスピーカ42に対し音声信号を送出し、
このスピーカ42から音声ガイダンスあるいは警報音を
発生させることにより運転者に対して注意を促し、表示
器41によりメッセージなどを表示して運転者に対して
危険を映像で知らせる。また、危険度のレベルが非常に
高い場合には、制動機構(図示せず)を作動させ、車両
を制動させる動作を行う。そして、このステップS16
0の警報処理が終了すると、一連の処理を終了して再度
上述したステップS110からの処理を実行する(RT
S)。In the alarm process of step S160, an audio signal is sent to the speaker 42 of the display / alarm unit 40,
By generating voice guidance or an alarm sound from the speaker 42, the driver is warned, a message or the like is displayed on the display 41, and the danger is notified to the driver with an image. When the level of the danger is very high, a braking mechanism (not shown) is operated to perform an operation of braking the vehicle. Then, this step S16
When the alarm process of “0” ends, a series of processes ends, and the processes from step S110 described above are executed again (RT
S).
【0074】[0074]
【発明の効果】以上説明したように、上記請求項1記載
の発明によれば、自車線の両側の白線が撮像手段によっ
て得た道路画像の外縁と交わる2つの白線位置が予め分
かり、道路画像内の無限遠点も車両の舵角により定ま
り、しかもこれらを結ぶ線の囲む領域の内又は外を監視
領域とし、監視領域を区画するため白線自身を検出する
ことが必要なく、しかも車両の舵角によって移動する無
限遠点も舵角に対応して簡単に定めることができるの
で、無限遠点の近傍に設定される監視領域もある程度の
正確なものとなる車両用後側方監視装置が得られる。As described above, according to the first aspect of the present invention, the positions of two white lines where the white lines on both sides of the own lane intersect with the outer edge of the road image obtained by the imaging means are known in advance, The point at infinity is also determined by the steering angle of the vehicle, and the inside or outside of the area surrounded by these connecting lines is defined as the monitoring area, and it is not necessary to detect the white line itself to divide the monitoring area. Since the infinity point moving by the angle can be easily determined in accordance with the rudder angle, the monitoring area set near the infinity point has a certain degree of accuracy in the rear side monitoring device for a vehicle. Can be
【0075】請求項2記載の発明によれば、無限遠点を
車両の舵角に対応して予め記憶し、検知した舵角に対応
するものを読み出して決定した無限遠点を利用して監視
領域を設定しているので、舵角を検出するだけで面倒な
演算などの処理作業なしに、監視領域を定めることがで
きる車両用後側方監視装置が得られる。According to the second aspect of the present invention, the point at infinity is stored in advance corresponding to the steering angle of the vehicle, and the point corresponding to the detected steering angle is read out and monitored using the point at infinity determined. Since the area is set, a rear side monitoring device for a vehicle can be obtained in which the monitoring area can be determined only by detecting the steering angle and without any processing work such as complicated calculation.
【0076】請求項3記載の発明によれば、2つの白線
位置を車両の舵角に対応して予め記憶し、検知した舵角
に対応するものを読み出して決定した2つの白線位置を
利用して監視領域を設定しているので、舵角を検出する
だけで面倒な演算などの処理作業なしに、監視領域を定
めることができる車両用後側方監視装置が得られる。According to the third aspect of the invention, two white line positions are stored in advance corresponding to the steering angle of the vehicle, and the two white line positions determined by reading out the one corresponding to the detected steering angle are used. Since the monitoring area is set by the vehicle, a rear side monitoring apparatus for a vehicle can be obtained in which the monitoring area can be determined only by detecting the steering angle and without performing a complicated operation such as computation.
【0077】請求項4記載の発明によれば、撮像手段に
よって得た道路画像の外縁部を画像処理して決定した2
つの白線位置を利用して監視領域を設定しているので、
小さな僅かの領域の画像処理を行うだけで面倒な演算な
どの処理作業なしに、監視領域を定めることができる車
両用後側方監視装置が得られる。According to the fourth aspect of the present invention, the outer edge of the road image obtained by the imaging means is determined by image processing.
Since the monitoring area is set using two white line positions,
A rear-side monitoring device for a vehicle can be obtained in which a monitoring area can be determined by performing image processing on a small and small area and without performing a processing operation such as a complicated calculation.
【0078】請求項5記載の発明によれば、自車線の両
側の白線が撮像手段によって得た道路画像の外縁と交わ
る2つの白線位置が予め分かり、道路画像内の無限遠点
も画像処理により検出した複数の直線の交点により定ま
り、しかもこれらを結ぶ線の囲む領域の内又は外を監視
領域とし、監視領域を区画するため白線自身を検出する
ことが必要なく、しかも無限遠点も簡単に且つ正確に定
めることができるので、無限遠点の近傍に設定される監
視領域もある程度の正確なものとなる車両用後側方監視
装置が得られる。According to the fifth aspect of the present invention, two white line positions where the white lines on both sides of the own lane intersect with the outer edge of the road image obtained by the imaging means are known in advance, and the infinite point in the road image is also processed by image processing. It is determined by the intersection of the detected straight lines, and the inside or outside of the area surrounding the line connecting them is set as the monitoring area, and it is not necessary to detect the white line itself to divide the monitoring area, and the point at infinity is also easy. In addition, since it can be accurately determined, a rear side monitoring device for a vehicle can be obtained in which the monitoring area set near the point at infinity is also somewhat accurate.
【0079】請求項6記載の発明によれば、自車線の両
側の白線が撮像手段によって得た道路画像の外縁と交わ
る2つの白線位置が予め分かり、道路画像内の無限遠点
も画像処理により検出したオプティカルフローの収束点
により定まり、しかもこれらを結ぶ線の囲む領域の内又
は外を監視領域とし、監視領域を区画するため白線自身
を検出することが必要なく、しかも無限遠点も簡単に且
つ正確に定めることができるので、無限遠点の近傍に設
定される監視領域もある程度の正確なものとなる車両用
後側方監視装置が得られる。According to the sixth aspect of the present invention, two white line positions where the white lines on both sides of the own lane intersect with the outer edge of the road image obtained by the imaging means are known in advance, and the point at infinity in the road image is also processed by image processing. It is determined by the convergence point of the detected optical flow, and the inside or outside of the area surrounding the line connecting them is set as the monitoring area, and it is not necessary to detect the white line itself to divide the monitoring area, and the point at infinity is also easy. In addition, since it can be accurately determined, a rear side monitoring device for a vehicle can be obtained in which the monitoring area set near the point at infinity is also somewhat accurate.
【0080】請求項7記載の発明によれば、自車線の両
側の白線が撮像手段によって得た道路画像の外縁と交わ
る2つの白線位置が予め分かり、道路画像内の走行済み
の道路形状も検出により定まり、しかも2つの白線位置
から道路形状に沿って囲む領域の内又は外を監視領域と
し、監視領域を区画するため白線自身を検出することが
必要なく、しかも簡単に且つ正確に監視領域を定めるこ
とができるので、設定される監視領域もある程度の正確
なものとなる車両用後側方監視装置が得られる。According to the seventh aspect of the present invention, two white line positions where the white lines on both sides of the own lane intersect with the outer edge of the road image obtained by the imaging means can be known in advance, and the traveled road shape in the road image is also detected. The monitoring area is defined as the monitoring area inside or outside the area surrounding the road shape from the two white line positions, and it is not necessary to detect the white line itself to divide the monitoring area, and the monitoring area can be easily and accurately determined. Since it can be determined, a rear-side monitoring device for a vehicle can be obtained in which the set monitoring area is also somewhat accurate.
【0081】請求項8記載の発明によれば、2つの白線
位置を検知した車両の舵角により選択して監視領域を設
定しているので、自車両に近い部分の監視領域も正確な
ものとなっている車両用後側方監視装置が得られる。According to the eighth aspect of the present invention, since the monitoring area is set by selecting the two white line positions based on the detected steering angle of the vehicle, the monitoring area close to the own vehicle is also accurate. The rear side monitoring device for a vehicle is obtained.
【0082】請求項9記載の発明によれば、2つの白線
位置を車両の舵角に対応して予め記憶し、検知した舵角
に対応するものを読み出して決定した2つの白線位置を
利用して監視領域を設定しているので、舵角を検出する
だけで面倒な演算などの処理作業なしに、自車両に近い
部分の監視領域を正確に定めることができる車両用後側
方監視装置が得られる。According to the ninth aspect of the present invention, two white line positions are stored in advance corresponding to the steering angle of the vehicle, and the two white line positions determined by reading out the position corresponding to the detected steering angle are used. The rear-side monitoring device for the vehicle that can accurately determine the monitoring area near the host vehicle only by detecting the steering angle without the need for complicated processing operations such as complicated calculations. can get.
【0083】請求項10記載の発明によれば、撮像手段
によって得た道路画像の外縁部を画像処理して決定した
2つの白線位置を利用して監視領域を設定しているの
で、小さな僅かの領域の画像処理を行うだけで面倒な演
算などの処理作業なしに自車両に近い部分の監視領域を
正確に定めることができる車両用後側方監視装置が得ら
れる。According to the tenth aspect of the present invention, the monitoring area is set using two white line positions determined by performing image processing on the outer edge of the road image obtained by the imaging means. A rear side monitoring device for a vehicle can be obtained which can accurately determine a monitoring region close to the host vehicle only by performing image processing on the region and without processing work such as complicated calculations.
【0084】請求項11記載の発明によれば、2つの白
線位置を結ぶ線によって囲まれる領域の外、すなわち、
自車線に隣接する隣接車線を含む領域が監視領域となっ
ていて、検出した車線変更方向の監視領域内に自車両の
後側方より接近してくる他車両が存在するとき運転者に
警報を与え、監視領域を区画するため白線自身を検出す
ることが必要なく、短い処理時間で必要な警報を与える
ことができるので、後側方監視の結果、危険を検出した
とき運転者に警報を与える車両用後側方監視警報装置が
得られる。According to the eleventh aspect of the present invention, outside the area surrounded by the line connecting the two white line positions, that is,
The area including the adjacent lane adjacent to the own lane is the monitoring area, and the driver is warned when there is another vehicle approaching from the rear side of the own vehicle within the monitoring area in the detected lane change direction. It is not necessary to detect the white line itself to divide the monitoring area, and it is possible to give the necessary warning in a short processing time, so that the warning is given to the driver when the danger is detected as a result of rear side monitoring A rear side monitoring alarm device for a vehicle is obtained.
【図1】本発明の車両用後側方監視装置及び車両用後側
方監視警報装置の基本構成図である。FIG. 1 is a basic configuration diagram of a vehicle rear side monitoring device and a vehicle rear side monitoring alarm device of the present invention.
【図2】本発明の車両用後側方監視警報装置の構成を示
したブロック図である。FIG. 2 is a block diagram showing a configuration of a rear side monitoring and warning device for a vehicle according to the present invention.
【図3】本発明の車両用後側方監視警報装置における動
作の概要を示したフローチャートである。FIG. 3 is a flowchart showing an outline of an operation of the vehicle rear side monitoring and alarming device of the present invention.
【図4】本発明の車両用後側方監視警報装置におけるビ
デオカメラによって撮像した道路画像の一例を示した図
である。FIG. 4 is a diagram showing an example of a road image captured by a video camera in the vehicular rear side monitoring and warning device of the present invention.
【図5】舵角を変えたとき移動するFOEと白線が道路
画像の外縁と交わる2つの白線位置とを簡略化して示し
た図である。FIG. 5 is a diagram schematically illustrating an FOE that moves when a steering angle is changed and two white line positions where a white line intersects an outer edge of a road image.
【図6】RAMのメモリエリアに格納した舵角−無限遠
点データのテーブルを示した図である。FIG. 6 is a diagram showing a table of steering angle-infinity point data stored in a memory area of a RAM.
【図7】RAMのメモリエリアに格納した舵角−無限遠
点−白線位置データのテーブルを示した図である。FIG. 7 is a diagram showing a table of steering angle-infinity point-white line position data stored in a memory area of a RAM.
【図8】監視領域設定処理の一例のフローチャートを示
した図である。FIG. 8 is a diagram illustrating a flowchart of an example of a monitoring area setting process.
【図9】監視領域の設定の仕方の一例を示した図であ
る。FIG. 9 is a diagram illustrating an example of a method of setting a monitoring area.
【図10】白線位置の決定の仕方の一例を示した図であ
る。FIG. 10 is a diagram showing an example of a method of determining a white line position.
【図11】走行済みの道路形状の推測の仕方の一例を示
した図である。FIG. 11 is a diagram showing an example of a method of estimating a road shape after traveling.
【図12】図11の仕方で推測した道路形状によって設
定される監視領域を示した図である。FIG. 12 is a diagram showing a monitoring area set based on a road shape estimated in the manner of FIG. 11;
【図13】従来の車両用後側方監視警報装置の構成を示
したブロック図である。FIG. 13 is a block diagram showing a configuration of a conventional rear side monitoring and warning device for a vehicle.
【図14】ビデオカメラ1によって得られる後側方の道
路画像の変化を説明するための図である。FIG. 14 is a diagram for explaining changes in a rear side road image obtained by the video camera 1;
【図15】光学配置を示す図である。FIG. 15 is a diagram showing an optical arrangement.
【図16】片側3車線の高速専用道路の道路画像を示し
た概念図である。FIG. 16 is a conceptual diagram showing a road image of an expressway with three lanes on each side.
10 撮像手段(ビデオカメラ) 31−1 監視領域設定手段(CPU) 31−2 オプティカルフロー検出手段(C
PU) 31−3 直線検出手段(CPU) 31−4 無限遠点決定手段(CPU) 31−5 静止物オプティカルフロー検出手
段(CPU) 31−6 無限遠点決定手段(CPU) 31−7 道路形状推測手段(CPU) 32−1 舵角−無限遠点記憶手段(RO
M) 32−2 舵角−白線位置記憶手段(RO
M) 40 警報手段(警報部) 51 舵角検知手段(舵角センサ) 52 ウインカ検出手段(ウインカ検出
スイッチ) 53 車速検知手段10 imaging means (video camera) 31-1 monitoring area setting means (CPU) 31-2 optical flow detecting means (C
PU) 31-3 Line detection means (CPU) 31-4 Infinity point determination means (CPU) 31-5 Still object optical flow detection means (CPU) 31-6 Infinity point determination means (CPU) 31-7 Road shape Estimating means (CPU) 32-1 Rudder angle-infinity point storage means (RO
M) 32-2 Rudder angle-white line position storage means (RO
M) 40 warning means (warning unit) 51 steering angle detecting means (steering angle sensor) 52 turn signal detecting means (turn signal detecting switch) 53 vehicle speed detecting means
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G08G 1/16 H04N 7/18 J H04N 7/18 G06F 15/70 410 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G08G 1/16 H04N 7/18 J H04N 7/18 G06F 15/70 410
Claims (11)
像して一定時間毎に道路画像を得る撮像手段と、該撮像
手段によって得た道路画像の道路の車線に対応して監視
領域を設定する監視領域設定手段と、前記撮像手段によ
って一定時間毎に得た相前後する2つの道路画像に基づ
いて前記設定された監視領域内にある他車両から発生す
るオプティカルフローを検出するオプティカルフロー検
出手段とを備え、該オプティカルフロー検出手段によっ
て検出したオプティカルフローを用いて自車両と後続の
他車両との相対関係を監視する車両用後側方監視装置に
おいて、 車両の舵角を検知する舵角検知手段を備え、 前記監視領域設定手段は、 前記撮像手段の撮像した道路画像中の自車線の両側の白
線が前記撮像手段によって得た道路画像の外縁と交わる
2つの白線位置と、前記舵角検知手段の検知した車両の
舵角により定まる前記撮像手段によって得た道路画像内
の無限遠点とを結ぶ線によって囲まれる領域の内又は外
に前記監視領域を設定することを特徴とする車両用後側
方監視装置。1. An image pickup means mounted on a vehicle to obtain a road image at predetermined time intervals by imaging a road on a rear side of the vehicle, and a monitoring area corresponding to a lane of the road in the road image obtained by the image pickup means. And an optical flow for detecting an optical flow generated from another vehicle within the set monitoring area based on two consecutive road images obtained at regular intervals by the imaging means. A vehicle rear side monitoring device for monitoring a relative relationship between a host vehicle and a subsequent vehicle using the optical flow detected by the optical flow detecting unit, wherein the rudder detects a steering angle of the vehicle. The monitoring area setting means, wherein the white lines on both sides of the own lane in the road image captured by the imaging means are the outer edges of the road image obtained by the imaging means. The monitoring area is set inside or outside a region surrounded by a line connecting two intersecting white line positions and a point at infinity in a road image obtained by the imaging unit, which is determined by the steering angle of the vehicle detected by the steering angle detection unit. A rear side monitoring device for a vehicle, characterized in that:
−無限遠点記憶手段を有し、 前記無限遠点を、前記舵角−無限遠点記憶手段から前記
舵角検知手段の検知した舵角に対応するものを読み出し
て決定することを特徴とする請求項1記載の車両用後側
方監視装置。2. The surveillance area setting means includes a steering angle-infinity point storage means which stores the infinity point in advance corresponding to a steering angle of a vehicle, and stores the infinity point in the steering angle- 2. The rear side monitoring device for a vehicle according to claim 1, wherein a value corresponding to the steering angle detected by the steering angle detection means is read from an infinity point storage means and determined.
た舵角−白線位置記憶手段を有し、 前記2つの白線位置を、前記舵角−白線位置記憶手段か
ら前記舵角検知手段の検知した舵角に対応するものを読
み出して決定することを特徴とする請求項1又は2記載
の車両用後側方監視装置。3. The monitoring area setting unit includes a steering angle-white line position storage unit that stores the two white line positions in advance corresponding to a steering angle of a vehicle, and stores the two white line positions in the steering angle. 3. The rear side monitoring device for a vehicle according to claim 1, wherein a value corresponding to the steering angle detected by the steering angle detection means is read from a white line position storage means and determined.
画像の外縁部を画像処理して決定することを特徴とする
請求項1又は2記載の車両用後側方監視装置。4. The vehicle according to claim 1, wherein the monitoring area setting unit determines the positions of the two white lines by performing image processing on an outer edge of a road image obtained by the imaging unit. For rear side monitoring device.
像して一定時間毎に道路画像を得る撮像手段と、該撮像
手段によって得た道路画像の道路の車線に対応して監視
領域を設定する監視領域設定手段と、前記撮像手段によ
って一定時間毎に得た相前後する2つの道路画像に基づ
いて前記設定された監視領域内にある他車両から発生す
るオプティカルフローを検出するオプティカルフロー検
出手段とを備え、該オプティカルフロー検出手段によっ
て検出したオプティカルフローを用いて自車両と後続の
他車両との相対関係を監視する車両用後側方監視装置に
おいて、 前記監視領域設定手段は、 前記撮像手段によって得た道路画像をエッジ処理して複
数の直線を検出する直線検出手段と、 該直線検出手段によって検出した複数の直線の交点を前
記道路画像内の無限遠点として決定する無限遠点決定手
段とを有し、 前記撮像手段の撮像した自車線の両側の白線が前記撮像
手段によって得た道路画像の外縁と交わる2つの白線位
置と、前記無限遠点決定手段によって決定した道路画像
内の無限遠点とを結ぶ線によって囲まれる領域の内又は
外に前記監視領域を設定することを特徴とする車両用後
側方監視装置。5. An image pickup means mounted on a vehicle and picking up an image of a road on the rear side of the vehicle to obtain a road image at regular intervals, and a monitoring area corresponding to the lane of the road in the road image obtained by the image pickup means. And an optical flow for detecting an optical flow generated from another vehicle within the set monitoring area based on two consecutive road images obtained at regular intervals by the imaging means. A vehicle rear-side monitoring device that monitors the relative relationship between the host vehicle and another following vehicle using the optical flow detected by the optical flow detecting unit, wherein the monitoring area setting unit includes: Straight line detecting means for detecting a plurality of straight lines by performing edge processing on a road image obtained by the image pickup means; and detecting an intersection of the plurality of straight lines detected by the straight line detecting means in advance. And infinity point determination means for determining as an infinity point in the road image, wherein two white line positions where the white lines on both sides of the own lane imaged by the imaging means intersect with the outer edge of the road image obtained by the imaging means A rear side monitoring device for a vehicle, wherein the monitoring region is set within or outside a region surrounded by a line connecting the infinity point in the road image determined by the infinity point determination means.
像して一定時間毎に道路画像を得る撮像手段と、該撮像
手段によって得た道路画像の道路の車線に対応して監視
領域を設定する監視領域設定手段と、前記撮像手段によ
って一定時間毎に得た相前後する2つの道路画像に基づ
いて前記設定された監視領域内にある他車両から発生す
るオプティカルフローを検出するオプティカルフロー検
出手段とを備え、該オプティカルフロー検出手段によっ
て検出したオプティカルフローを用いて自車両と後続の
他車両との相対関係を監視する車両用後側方監視装置に
おいて、 前記監視領域設定手段は、 前記撮像手段によって得た一定時間毎に相前後する2つ
の道路画像中の静止物から発生する複数のオプティカル
フローを検出する静止物オプティカルフロー検出手段
と、 該静止物オプティカルフロー検出手段により検出したオ
プティカルフローの収束点を前記道路画像内の無限遠点
として決定する無限遠点決定手段とを有し、 前記撮像手段の撮像した自車線の両側の白線が前記撮像
手段によって得た道路画像の外縁と交わる2つの白線位
置と、前記無限遠点決定手段によって決定した道路画像
内の無限遠点とを結ぶ線によって囲まれる領域の内又は
外に前記監視領域を設定することを特徴とする車両用後
側方監視装置。6. An image pickup means mounted on a vehicle for picking up an image of a road on the rear side of the vehicle to obtain a road image at regular intervals, and a monitoring area corresponding to the lane of the road in the road image obtained by the image pickup means. And an optical flow for detecting an optical flow generated from another vehicle within the set monitoring area based on two consecutive road images obtained at regular intervals by the imaging means. A vehicle rear-side monitoring device that monitors the relative relationship between the host vehicle and another following vehicle using the optical flow detected by the optical flow detecting unit, wherein the monitoring area setting unit includes: A stationary object optical for detecting a plurality of optical flows generated from a stationary object in two road images that come and go at regular intervals obtained by the imaging unit A row detecting unit, and an infinity point determining unit that determines a convergence point of the optical flow detected by the stationary object optical flow detecting unit as an infinity point in the road image. Or within an area surrounded by a line connecting two white line positions where the white lines on both sides intersect with the outer edge of the road image obtained by the imaging means and the infinity point in the road image determined by the infinity point determination means or A rear side monitoring device for a vehicle, wherein the monitoring area is set outside.
像して一定時間毎に道路画像を得る撮像手段と、該撮像
手段によって得た道路画像の道路の車線に対応して監視
領域を設定する監視領域設定手段と、前記撮像手段によ
って一定時間毎に得た相前後する2つの道路画像に基づ
いて前記設定された監視領域内にある他車両から発生す
るオプティカルフローを検出するオプティカルフロー検
出手段とを備え、該オプティカルフロー検出手段によっ
て検出したオプティカルフローを用いて自車両と後続の
他車両との相対関係を監視する車両用後側方監視装置に
おいて、 車両の速度を検知する車検知手段と、 車両の舵角を検知する舵角検知手段とを備え、 前記監視領域設定手段は、 前記舵角検知手段によって検知した過去の舵角と前記車
速検知手段によって検知した過去の車速とによって、走
行済みの道路形状を推測する道路形状推測手段を有し、 前記撮像手段の撮像した自車線の両側の白線が前記撮像
手段によって得た道路画像の外縁と交わる2つの白線位
置と前記推測した道路形状とにより囲まれる領域の内又
は外に前記監視領域を設定することを特徴とする車両用
後側方監視装置。7. An image pickup means mounted on a vehicle and imaging a road on a rear side of the vehicle to obtain a road image at regular intervals, and a monitoring area corresponding to a lane of the road in the road image obtained by the image pickup means. And an optical flow for detecting an optical flow generated from another vehicle within the set monitoring area based on two consecutive road images obtained at regular intervals by the imaging means. A vehicle rear side monitoring device for monitoring the relative relationship between the host vehicle and another following vehicle using the optical flow detected by the optical flow detecting unit; And a steering angle detecting means for detecting a steering angle of the vehicle, wherein the monitoring area setting means includes a past steering angle detected by the steering angle detecting means and the vehicle speed detection. With the past vehicle speed detected by the step, has a road shape estimating means for estimating the road shape that has been traveled, white lines on both sides of the own lane imaged by the imaging means and the outer edge of the road image obtained by the imaging means A rear side monitoring device for a vehicle, wherein the monitoring area is set within or outside an area surrounded by two intersecting white line positions and the estimated road shape.
の舵角により選択することを特徴とする請求項1又は7
記載の車両用後側方監視装置。8. The monitoring area setting unit, wherein the two white line positions are selected based on a steering angle of the vehicle detected by the steering angle detection unit.
The rear side monitoring device for a vehicle according to the above.
た舵角−白線位置記憶手段を有し、 前記2つの白線位置を、前記舵角−白線位置記憶手段か
ら前記舵角検知手段の検知した舵角に対応するものを読
み出して決定することを特徴とする請求項7記載の車両
用後側方監視装置。9. The monitoring area setting unit includes a steering angle-white line position storage unit that stores the two white line positions in advance corresponding to a steering angle of a vehicle, and stores the two white line positions in the steering angle. 8. The rear side monitoring device for a vehicle according to claim 7, wherein a value corresponding to the steering angle detected by the steering angle detection means is read from a white line position storage means and determined.
画像の外縁部を画像処理して決定することを特徴とする
請求項5、6又は7記載の車両用後側方監視装置。10. The monitoring area setting unit, wherein the two white line positions are determined by performing image processing on an outer edge of a road image obtained by the imaging unit. Rear side monitoring device for vehicles.
に設定した請求項1〜10のいずれかに記載の車両用後
側方監視装置と、 ウインカの動作とその操作方向を検出するウインカ検出
手段と、 前記車両用後側方監視装置による監視の結果、前記ウイ
ンカ検出手段の検出した操作方向の前記監視領域内に自
車両の後側方より接近してくる他車両が存在するとき運
転者に警報を与える警報手段とを備えることを特徴とす
る車両用後側方監視警報装置。11. A rear side monitoring device for a vehicle according to claim 1, wherein said monitoring area is set outside said enclosed area, and a blinker for detecting an operation of said blinker and an operation direction thereof. Detecting means for driving when there is another vehicle approaching from the rear side of the own vehicle within the monitoring area in the operation direction detected by the turn signal detecting means as a result of monitoring by the vehicle rear side monitoring device; And a warning means for giving a warning to an occupant.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000055461A JP2000315255A (en) | 1999-03-01 | 2000-03-01 | Rear side monitoring device for vehicle and rear side monitoring alarm device for vehicle |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5243599 | 1999-03-01 | ||
JP11-52435 | 1999-03-01 | ||
JP2000055461A JP2000315255A (en) | 1999-03-01 | 2000-03-01 | Rear side monitoring device for vehicle and rear side monitoring alarm device for vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000315255A true JP2000315255A (en) | 2000-11-14 |
Family
ID=26393045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000055461A Withdrawn JP2000315255A (en) | 1999-03-01 | 2000-03-01 | Rear side monitoring device for vehicle and rear side monitoring alarm device for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000315255A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004078334A (en) * | 2002-08-12 | 2004-03-11 | Nissan Motor Co Ltd | Travel route generation device |
JP2006072480A (en) * | 2004-08-31 | 2006-03-16 | Fuji Heavy Ind Ltd | Image processing apparatus and image processing method |
JP2007188349A (en) * | 2006-01-13 | 2007-07-26 | Toyota Motor Corp | Rear vehicle analysis device and collision prediction device |
WO2013191078A1 (en) * | 2012-06-19 | 2013-12-27 | 市光工業株式会社 | Object detection device for area around vehicle |
US9454704B2 (en) | 2012-08-31 | 2016-09-27 | Fujitsu Limited | Apparatus and method for determining monitoring object region in image |
WO2020170462A1 (en) * | 2019-02-22 | 2020-08-27 | 公立大学法人会津大学 | Moving image distance calculation device, and computer-readable recording medium whereon moving image distance calculation program is recorded |
JP2020139934A (en) * | 2019-02-22 | 2020-09-03 | 公立大学法人会津大学 | Moving image distance calculation device and moving image distance calculation program |
-
2000
- 2000-03-01 JP JP2000055461A patent/JP2000315255A/en not_active Withdrawn
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004078334A (en) * | 2002-08-12 | 2004-03-11 | Nissan Motor Co Ltd | Travel route generation device |
JP2006072480A (en) * | 2004-08-31 | 2006-03-16 | Fuji Heavy Ind Ltd | Image processing apparatus and image processing method |
JP2007188349A (en) * | 2006-01-13 | 2007-07-26 | Toyota Motor Corp | Rear vehicle analysis device and collision prediction device |
WO2013191078A1 (en) * | 2012-06-19 | 2013-12-27 | 市光工業株式会社 | Object detection device for area around vehicle |
JP2014002577A (en) * | 2012-06-19 | 2014-01-09 | Ichikoh Ind Ltd | Detection apparatus for object around vehicle |
US9367751B2 (en) | 2012-06-19 | 2016-06-14 | Ichikoh Industries, Ltd. | Object detection device for area around vehicle |
US9454704B2 (en) | 2012-08-31 | 2016-09-27 | Fujitsu Limited | Apparatus and method for determining monitoring object region in image |
WO2020170462A1 (en) * | 2019-02-22 | 2020-08-27 | 公立大学法人会津大学 | Moving image distance calculation device, and computer-readable recording medium whereon moving image distance calculation program is recorded |
JP2020139934A (en) * | 2019-02-22 | 2020-09-03 | 公立大学法人会津大学 | Moving image distance calculation device and moving image distance calculation program |
JP7157449B2 (en) | 2019-02-22 | 2022-10-20 | 公立大学法人会津大学 | Moving Image Distance Calculation Device and Moving Image Distance Calculation Program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4287532B2 (en) | Vehicle rear side monitoring device | |
CN107845104B (en) | Method for detecting overtaking vehicle, related processing system, overtaking vehicle detection system and vehicle | |
EP2463843B1 (en) | Method and system for forward collision warning | |
US10246030B2 (en) | Object detection apparatus and driving assistance apparatus | |
US6330511B2 (en) | Danger deciding apparatus for motor vehicle and environment monitoring apparatus therefor | |
JP5022609B2 (en) | Imaging environment recognition device | |
US9074906B2 (en) | Road shape recognition device | |
JP4615038B2 (en) | Image processing device | |
JP4420011B2 (en) | Object detection device | |
US7158664B2 (en) | Image recognition apparatus | |
EP1033693A2 (en) | Rear and side view monitor with camera for a vehicle | |
JPH0750769A (en) | Rear side monitoring method for vehicles | |
JP7182623B2 (en) | Driving assistance for automobiles when approaching a speed barrier | |
JP2002314989A (en) | Peripheral monitor for vehicle | |
US12216470B2 (en) | Vehicle control system and vehicle driving method using the vehicle control system | |
JPH0981757A (en) | Vehicle position detection device | |
JP4020071B2 (en) | Ambient condition display device | |
JP2000315255A (en) | Rear side monitoring device for vehicle and rear side monitoring alarm device for vehicle | |
JP3635591B2 (en) | Vehicle periphery monitoring device | |
JP2000251199A (en) | Rear side monitoring device for vehicles | |
JP4629638B2 (en) | Vehicle periphery monitoring device | |
JP3729005B2 (en) | Vehicle rear monitoring device | |
US20230150533A1 (en) | Vehicle control system and vehicle driving method using the vehicle control system | |
US12430925B2 (en) | Vehicle control system and vehicle driving method using the vehicle control system | |
JP3543912B2 (en) | Optical flow detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070501 |