JP2012048591A - Vehicle surroundings notification device - Google Patents
Vehicle surroundings notification device Download PDFInfo
- Publication number
- JP2012048591A JP2012048591A JP2010191613A JP2010191613A JP2012048591A JP 2012048591 A JP2012048591 A JP 2012048591A JP 2010191613 A JP2010191613 A JP 2010191613A JP 2010191613 A JP2010191613 A JP 2010191613A JP 2012048591 A JP2012048591 A JP 2012048591A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- pedestrian
- image
- camera
- notification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010191 image analysis Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims description 12
- 230000004397 blinking Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両周囲報知装置に関する。より詳細には、障害物検出センサなどの特別なセンサを用いることなく車両後部近傍に存在する歩行者を検出することが可能な車両周囲報知装置に関する。 The present invention relates to a vehicle surroundings notification device. More specifically, the present invention relates to a vehicle surroundings notification device capable of detecting a pedestrian existing near the rear of the vehicle without using a special sensor such as an obstacle detection sensor.
横断歩道のない道路では、歩行者が左右を確認した後に道路を横断する光景が多くみられる。歩行者が道路の横断を行う場合において、路肩に停車車両などがなければ、道路を走行中の運転者が歩行者を認識し易いため、歩行者の安全性を高めることができる。 On roads without pedestrian crossings, there are many scenes where pedestrians cross the road after confirming left and right. When a pedestrian crosses the road, if there is no parked vehicle or the like on the shoulder of the road, the driver traveling on the road can easily recognize the pedestrian, so that the safety of the pedestrian can be improved.
しかしながら、今日の交通道路状況では、路肩に多くの車両が駐車されることが多い。このため、道路を横断しようとする歩行者は、路肩に駐車された車両と車両の間を通って、歩道から車道へと進んで道路の横断を行うことが多くなる。しかしながら、車両と車両との間を歩行者が通って道路を横断する場合には、歩行者が前後車両の陰になってしまう傾向があるため、走行する車両の運転者が歩行者に気付き難いという問題があった。 However, in today's traffic road conditions, many vehicles are often parked on the shoulders. For this reason, pedestrians who want to cross the road often cross the road by going from the sidewalk to the roadway between the vehicles parked on the shoulders of the vehicle. However, when a pedestrian crosses a road between vehicles, the pedestrian tends to be behind the front and rear vehicles, so the driver of the traveling vehicle is difficult to notice the pedestrian. There was a problem.
そのため、車両の前後左右の側面に表示パネルを設置すると共に、前後左右にカメラを設置し、カメラで撮影された画像をカメラの設置位置と反対側の側面に設置された表示パネルに表示させる方法が提案されている(特許文献1参照)。例えば、車両前方を撮影したカメラの映像は、車両後部に設置された表示パネルに表示され、車両右側方を撮影したカメラの映像は、車両左側部に設置された表示パネルに表示される。 For this reason, display panels are installed on the front, back, left and right sides of the vehicle, and cameras are installed on the front, back, left and right, and images captured by the camera are displayed on the display panel installed on the side opposite to the camera installation position. Has been proposed (see Patent Document 1). For example, a camera image taken in front of the vehicle is displayed on a display panel installed at the rear of the vehicle, and a camera image taken on the right side of the vehicle is displayed on a display panel installed on the left side of the vehicle.
このように、車両裏側の状況をカメラで撮影して表側の表示パネルで表示させることにより、周囲の人たちに車両周辺の状況を把握しやすくすることができる。 Thus, by photographing the situation on the back side of the vehicle with the camera and displaying it on the display panel on the front side, it is possible to make it easier for surrounding people to grasp the situation around the vehicle.
しかしながら、一般的な車両の前後左右の面に表示パネルを設置し、カメラで撮影された映像をそれぞれの表示パネルで表示させることは、設置費用などの点などから容易に導入できるものではない。また、特許文献1に例示されたようなバスなどの大型車両であれば、広い表示パネルを設置することもできるが、一般的な乗用車では、表示パネルを設置することがスペース的に困難であった。 However, it is not easy to install display panels on the front, rear, left, and right surfaces of a general vehicle and display images captured by the cameras on the respective display panels in view of installation costs. In addition, a wide display panel can be installed in a large vehicle such as a bus exemplified in Patent Document 1, but in a general passenger car, it is difficult to install the display panel in terms of space. It was.
また、車両近傍を人が通過する場合のように、車両の陰に歩行者が存在する場合にのみ、周囲に警告を発することが望ましい。しかしながら、上述した方法では、常に周囲の情報が表示パネルに表示されているだけであり、車両近傍を通過する歩行者だけを抽出して周囲に警告を行うことができないという問題があった。 Also, it is desirable to issue a warning to the surroundings only when a pedestrian is behind the vehicle, such as when a person passes near the vehicle. However, in the above-described method, only surrounding information is always displayed on the display panel, and there is a problem that it is impossible to extract only pedestrians passing near the vehicle and issue a warning to the surroundings.
さらに、車両近傍の動体物を検出するセンサなどを車両に設けて、車両近傍に人が存在するか否かを検出する方法も考えられるが、このようなセンサを車両に設置することは設置コストなどの観点からも容易なことではなかった。 Furthermore, a method for detecting whether or not a person is present in the vicinity of a vehicle by providing a sensor or the like for detecting a moving object in the vicinity of the vehicle is conceivable, but installing such a sensor in the vehicle is an installation cost. From the point of view, it was not easy.
本発明は上記問題に鑑みてなされたものであり、特別なセンサなどを設けることなく、車両の死角となる車両後部近傍を通過する歩行者を検出して、周囲に注意を促すことが可能な車両周囲報知装置を提供することを課題とする。 The present invention has been made in view of the above problems, and can detect a pedestrian passing through the vicinity of the rear of the vehicle, which is a blind spot of the vehicle, without providing a special sensor, and can call attention to the surroundings. It is an object to provide a vehicle surroundings notification device.
上記課題を解決するために、本発明に係る車両周囲報知装置は、車両後方を撮影するカメラと、車両の周囲に対して注意を促すための報知を行う報知手段と、前記カメラにより撮影された撮影画像の画像解析を行い、車両後部近傍に歩行者が存在するか否かの判断を行う画像解析手段と、該画像解析手段により前記歩行者が検出された場合に、前記報知手段により前記報知を実行させる制御手段とを備え、前記画像解析手段は、前記撮影画像から車両後方に存在する対象物の輪郭を検出し、最も輪郭が大きな対象物が、前記撮影画像の上下方向における中央位置に存在し、かつ、前記撮影画像における上下方向幅の5割以上の大きさを占める場合に、当該対象物を前記歩行者と捉えて、前記歩行者が車両後部近傍に存在するものと判断することを特徴とする。 In order to solve the above-described problem, a vehicle surroundings notification device according to the present invention is captured by a camera that captures the rear of the vehicle, a notification unit that performs notification for alerting the surroundings of the vehicle, and the camera. Image analysis means for performing image analysis of a captured image and determining whether or not a pedestrian is present in the vicinity of the rear of the vehicle, and when the pedestrian is detected by the image analysis means, the notification means notifies the notification The image analysis means detects the contour of the object existing behind the vehicle from the photographed image, and the object having the largest contour is located at the center position in the vertical direction of the photographed image. If it exists and occupies 50% or more of the vertical width of the photographed image, the object is regarded as the pedestrian and it is determined that the pedestrian exists in the vicinity of the rear of the vehicle. The features.
本発明に係る車両周囲報知装置によれば、画像解析手段が、撮影画像から車両後方に存在する対象物の輪郭を検出し、最も輪郭が大きな対象物が、撮影画像の上下方向における中央位置に存在し、かつ、撮影画像における上下方向幅の5割以上の大きさを占める場合に、対象物を歩行者と捉えて、歩行者が車両後部近傍に存在するものと判断する。 According to the vehicle periphery notification device according to the present invention, the image analysis means detects the contour of the object existing behind the vehicle from the photographed image, and the object having the largest contour is located at the center position in the vertical direction of the photographed image. When it exists and occupies a size of 50% or more of the vertical width in the captured image, the object is regarded as a pedestrian and it is determined that the pedestrian is present in the vicinity of the rear of the vehicle.
今日の車両には後方確認用のバックカメラが設けられることが多い。バックカメラでは、車両後方の車両停止範囲を十分に撮影できるように、車両後方を臨むようにしてカメラの撮影範囲が設定されている。しかしながら、車両後部近傍に歩行者などの対象物が存在する場合には、バックカメラの撮影範囲を大きく遮るようにして歩行者などが撮影画像に写ることが多い。 Today's vehicles are often provided with a rear-view back camera. In the back camera, the shooting range of the camera is set so as to face the rear of the vehicle so that the vehicle stop range behind the vehicle can be sufficiently captured. However, when an object such as a pedestrian exists in the vicinity of the rear of the vehicle, the pedestrian or the like often appears in the captured image so as to largely block the imaging range of the back camera.
このため、最も輪郭が大きな対象物が、撮影画像の上下方向における中央位置に存在し、かつ、撮影画像における上下方向幅の5割以上の大きさを占める場合に、対象物を歩行者と判断することにより、高い精度で歩行者を特定することができる。また、撮影画像に基づいて歩行者の検出を行うので、特別にセンサなどを別途設置することなく、歩行者の存在を判断することが可能となる。 For this reason, when the object having the largest contour exists at the center position in the vertical direction of the photographed image and occupies 50% or more of the vertical width in the photographed image, the object is determined to be a pedestrian. By doing so, a pedestrian can be specified with high accuracy. Moreover, since a pedestrian is detected based on a picked-up image, it is possible to determine the presence of a pedestrian without installing a sensor or the like separately.
なお、車両後部近傍とは、複数の車両が縦列駐車されている状態において、自車両と後方車両との間を歩行者が通過し得る程度だけ車両後部から離れた位置の範囲を意味している。具体的には、車両後部より約0.5m〜1.5m程度の範囲が該当し得る。 Note that the vicinity of the rear of the vehicle means a range of positions that are separated from the rear of the vehicle by a degree that allows a pedestrian to pass between the host vehicle and the rear vehicle in a state where a plurality of vehicles are parked in parallel. . Specifically, a range of about 0.5 m to 1.5 m from the rear of the vehicle can be applicable.
また、上述した車両周囲報知装置において、前記画像解析手段は、最も輪郭の大きい前記対象物の位置変化を、連続撮影された複数の撮影画像における前記対象物の位置変化およびその大きさの変化に基づいて判断し、前記対象物が水平方向に移動した場合に、当該対象物を前記歩行者と捉えて、前記歩行者が存在すると判断するものであってもよい。 Further, in the above-described vehicle surrounding notification device, the image analysis means converts the position change of the object having the largest contour into the position change of the object and a change in the size thereof in a plurality of continuously shot images. The determination may be made based on this, and when the object moves in the horizontal direction, the object may be regarded as the pedestrian and determined that the pedestrian exists.
歩行者が、縦列駐車された車両の間を通って車道に移動する場合には、歩行者が車両後部近傍を車幅方向、つまり、カメラにより撮影された画像の水平方向に移動することになる。このため、撮影画像に写った対象物の輪郭が水平方向に移動した場合には、その対象物の輪郭の撮影位置、大きさに加えて、その位置変化(移動方向)を考慮して歩行者の存在を判断することにより、歩行者の検出精度をより一層高めることが可能となる。 When a pedestrian moves to the roadway between vehicles parked in parallel, the pedestrian moves in the vehicle width direction, that is, in the horizontal direction of the image photographed by the camera. . For this reason, when the contour of the object shown in the photographed image moves in the horizontal direction, the pedestrian takes into account the position change (movement direction) in addition to the photographing position and size of the contour of the object. By determining the presence of the pedestrian, the detection accuracy of the pedestrian can be further enhanced.
さらに、上述した車両周囲報知装置において、前記画像解析手段は、前記カメラに設置されるレンズに応じて予め設定された補正データを備え、前記撮影画像に占める対象物の輪郭の大きさや撮影位置を、前記補正データを用いて補正した後に、前記撮影画像における前記対象物の撮影位置および前記撮影画像に占める上下方向幅の割合などの検出を行うものであってもよい。 Furthermore, in the above-described vehicle surrounding notification device, the image analysis means includes correction data set in advance according to a lens installed in the camera, and determines the size of the contour of the object and the shooting position in the captured image. After the correction using the correction data, detection of the shooting position of the object and the ratio of the vertical width of the shooting image in the shooting image may be performed.
車両後方を撮影するためのカメラには、広角レンズなどが用いられることが多い。しかしながら、カメラに広角レンズなどが用いられると、撮影画像における歩行者の輪郭の大きさや位置が、レンズの性能に応じて変わってしまう。従って、撮影画像に占める対象物の輪郭の大きさやその撮影位置等から、対象物が歩行者であるか否かを一律的に判断することが困難となってしまう。 A wide-angle lens or the like is often used for a camera for photographing the rear of the vehicle. However, when a wide-angle lens or the like is used for the camera, the size and position of the pedestrian's contour in the captured image changes depending on the performance of the lens. Therefore, it is difficult to uniformly determine whether or not the object is a pedestrian from the size of the outline of the object in the captured image, the shooting position, and the like.
このため、画像解析手段がカメラに設置されるレンズに応じて予め設定された補正データを備え、撮影画像に占める対象物の輪郭の大きさや撮影位置を、補正データを用いて補正した後に、撮影画像における対象物の撮影位置および撮影画像に占める上下方向幅の割合などの検出を行うことによって、レンズ特性に左右されることなく、同一の基準で撮影画像における対象物の輪郭検出を行うことが可能となる。従って、カメラに用いられるレンズの性能に左右されることなく、歩行者の検出を行うことが可能となる。 For this reason, the image analysis means is provided with correction data set in advance according to the lens installed in the camera, and after correcting the outline size and shooting position of the object in the shot image using the correction data, shooting is performed. By detecting the shooting position of the object in the image and the ratio of the vertical width in the shot image, the contour of the object in the shot image can be detected based on the same reference without being influenced by the lens characteristics. It becomes possible. Therefore, pedestrians can be detected without being affected by the performance of the lens used in the camera.
また、上述した車両周囲報知装置において、前記画像解析手段は、前記カメラに設置されるレンズに応じて予め設定された補正データを備え、前記撮影画像に占める対象物の輪郭の大きさや撮影位置に対して前記補正データを適用することにより、前記車両後部から歩行者までの距離を算出し、該歩行者が前記車両後部より0.5m〜1.5mの範囲に存在すると判断される場合に、前記車両後部近傍に歩行者が存在すると判断を行うものであってもよい。 Further, in the above-described vehicle surroundings notification device, the image analysis unit includes correction data set in advance according to a lens installed in the camera, and the size of the contour of the object in the captured image and the shooting position are determined. On the other hand, by calculating the distance from the rear part of the vehicle to the pedestrian by applying the correction data, when it is determined that the pedestrian exists in the range of 0.5 m to 1.5 m from the rear part of the vehicle, It may be determined that a pedestrian is present near the rear of the vehicle.
カメラに広角レンズなどが用いられた場合には、撮影の対象物が実際よりも小さく撮影画像に写されることになるが、そのレンズの性能が予めわかっている場合には、レンズの補正データを用いることにより、撮影画像に写った対象物の大きさなどから、対象物が車両後部からどのくらい離れた位置に存在するかを算出することが可能である。 When a wide-angle lens or the like is used for the camera, the object to be photographed is smaller than the actual object and is captured in the photographed image. However, if the lens performance is known in advance, the lens correction data By using, it is possible to calculate how far the object is located from the rear of the vehicle, based on the size of the object shown in the captured image.
このため、画像解析手段が撮影画像に占める対象物の輪郭の大きさや撮影位置に対して補正データを適用することにより、車両後部から歩行者までの距離を算出することができる。このようにして、車両後部から歩行者までの距離を算出し、算出された歩行者までの距離が、車両後部より0.5m〜1.5mの範囲、つまり、車両後部近傍の範囲に該当すると判断される場合には、車両後部近傍に歩行者が存在すると判断することが可能となる。 For this reason, the distance from the rear part of the vehicle to the pedestrian can be calculated by applying the correction data to the size of the contour of the object and the shooting position occupied by the image analysis means in the shot image. In this way, the distance from the rear of the vehicle to the pedestrian is calculated, and the calculated distance to the pedestrian falls within the range of 0.5 m to 1.5 m from the rear of the vehicle, that is, the range near the rear of the vehicle. When it is determined, it is possible to determine that a pedestrian exists near the rear of the vehicle.
さらに、上述した車両周囲報知装置において、前記報知手段は、ストップランプであってもよい。 Furthermore, in the vehicle surrounding notification device described above, the notification means may be a stop lamp.
報知手段としてストップランプを用いることにより、車両の後方に位置する他の車両の運転者に対して、歩行者が存在することを知らせることができる。また、ストップランプは、視認性を高めるために、車両後部上端の中央位置であって比較的高い位置に設置されることが多い。このため、ストップランプを積極的に点滅させることにより、歩行者の視線の高さ位置でストップランプを点滅させることができ、歩行者に対しても効果的に警告を行うことが可能となる。 By using a stop lamp as the notification means, it is possible to notify the driver of another vehicle located behind the vehicle that a pedestrian is present. In addition, the stop lamp is often installed at a relatively high position in the center of the rear upper end of the vehicle in order to improve visibility. Therefore, by actively blinking the stop lamp, the stop lamp can blink at the height position of the pedestrian's line of sight, and a warning can be effectively given to the pedestrian.
また、上述した車両周囲報知装置において、前記報知手段は、ハザードランプであってもよい。 Further, in the vehicle surrounding notification device described above, the notification means may be a hazard lamp.
報知手段としてハザードランプを用いることにより、車両の後方に位置する他の車両の運転者だけでなく、車両前方に位置する他の車両の運転者や、隣接した車線を走行する他の車両の運転者などに対して、注意を促すことが可能となる。従って、歩行者が車両の後方を通過して車道側に移動した場合であっても、他の車両の運転者に注意を促すことが可能となるため、他の車両の運転者が歩行者を発見しやすくなり、歩行者の安全性を高めることが可能となる。 By using hazard lamps as notification means, not only drivers of other vehicles positioned behind the vehicle, but also drivers of other vehicles positioned in front of the vehicle or driving of other vehicles traveling in adjacent lanes It is possible to call attention to the person. Therefore, even when the pedestrian passes through the rear of the vehicle and moves to the roadway side, it is possible to call attention to the driver of the other vehicle. It becomes easy to discover and it becomes possible to improve the safety of pedestrians.
本発明に係る車両周囲報知装置によれば、画像解析手段が、撮影画像から車両後方に存在する対象物の輪郭を検出し、最も輪郭が大きな対象物が、撮影画像の上下方向における中央位置に存在し、かつ、撮影画像における上下方向幅の5割以上の大きさを占める場合に、対象物を歩行者と捉えて、歩行者が車両後部近傍に存在するものと判断する。 According to the vehicle periphery notification device according to the present invention, the image analysis means detects the contour of the object existing behind the vehicle from the photographed image, and the object having the largest contour is located at the center position in the vertical direction of the photographed image. When it exists and occupies a size of 50% or more of the vertical width in the captured image, the object is regarded as a pedestrian and it is determined that the pedestrian is present in the vicinity of the rear of the vehicle.
今日の車両には後方確認用のバックカメラが設けられることが多い。バックカメラでは、車両後方の車両停止範囲を十分に撮影できるように、車両後方を臨むようにしてカメラの撮影範囲が設定されている。しかしながら、車両後部近傍に歩行者などの対象物が存在する場合には、バックカメラの撮影範囲を大きく遮るようにして歩行者などが撮影画像に写ることが多い。 Today's vehicles are often provided with a rear-view back camera. In the back camera, the shooting range of the camera is set so as to face the rear of the vehicle so that the vehicle stop range behind the vehicle can be sufficiently captured. However, when an object such as a pedestrian exists in the vicinity of the rear of the vehicle, the pedestrian or the like often appears in the captured image so as to largely block the imaging range of the back camera.
このため、最も輪郭が大きな対象物が、撮影画像の上下方向における中央位置に存在し、かつ、撮影画像における上下方向幅の5割以上の大きさを占める場合に、対象物を歩行者と判断することにより、高い精度で歩行者を特定することができる。また、撮影画像に基づいて歩行者の検出を行うので、特別にセンサなどを別途設置することなく、歩行者の存在を判断することが可能となる。 For this reason, when the object having the largest contour exists at the center position in the vertical direction of the photographed image and occupies 50% or more of the vertical width in the photographed image, the object is determined to be a pedestrian. By doing so, a pedestrian can be specified with high accuracy. Moreover, since a pedestrian is detected based on a picked-up image, it is possible to determine the presence of a pedestrian without installing a sensor or the like separately.
以下に、本発明に係る車両周囲報知装置の一例である車両警報装置について、図面を用いて詳細に説明する。 Hereinafter, a vehicle alarm device which is an example of a vehicle surrounding notification device according to the present invention will be described in detail with reference to the drawings.
図1は、本実施の形態に係る車両警報装置の概略構成を示したブロック図である。車両警報装置1は、CCDカメラ(カメラ)2と、画像解析部(画像解析手段)3と、制御部(制御手段)4と、ストップランプ(報知手段)5と、ハザードランプ(報知手段)6とを有している。 FIG. 1 is a block diagram showing a schematic configuration of the vehicle alarm device according to the present embodiment. The vehicle alarm device 1 includes a CCD camera (camera) 2, an image analysis unit (image analysis unit) 3, a control unit (control unit) 4, a stop lamp (informing unit) 5, and a hazard lamp (informing unit) 6. And have.
CCDカメラ2は、図2に示すように車両10の後部に後方を臨むようにして設置されている。図2に示す場合には、ナンバープレート11の設置位置近傍にCCDカメラ2が設けられている。CCDカメラ2には、一般的な後方確認用のバックカメラを使用することが可能である。従って、後方確認用のバックカメラが既に取り付けられている場合には、取り付けられたバックカメラを本実施の形態に係る車両警報装置1のCCDカメラ2として利用することができる。CCDカメラ2には、より広い範囲を撮影できるように、広角レンズが取り付けられており、車両の後方正面方向だけでなく、左右方向および上下方向の比較的広い範囲の様子を撮影することが可能となっている。
As shown in FIG. 2, the
画像解析部3は、CCDカメラ2によって撮影された画像をD/A変換すると共に、撮影された画像の輝度調整を行う。そして、画像解析部3は、輝度調整が行われた撮影画像における輪郭抽出を行うことにより、撮影画像に撮影された対象物の検出を行う。画像解析部3は、輪郭抽出により抽出された対象物の中から、最も大きな輪郭を有する対象物を特定し、特定された対象物の撮影位置および撮影画像における対象物の輪郭の大きさの検出を行う。
The
図3(a)は、人間13が車両10から比較的離れた位置(例えば、図3(a)に示すように、車両後部から約5m程度離れた位置)に立っている場合における、人間13と車両10との位置関係を示した図である。また、図3(b)は、図3(a)に示す距離だけ人間13が車両10から離れている場合に、CCDカメラ2で車両後方の様子を撮影した画像を示している。図3(a)に示すように、人間13が車両10から比較的離れた位置に立っている場合には、人間13の全体の姿を撮影することができる。また、人間13が車両後部から比較的離れた位置に存在するため、人間13の立ち位置の手前側の路面状況も撮影することが可能である。
FIG. 3A shows a human 13 in a case where the human 13 is standing at a position relatively away from the vehicle 10 (for example, a position about 5 m away from the rear of the vehicle as shown in FIG. 3A). 2 is a diagram showing a positional relationship between the vehicle and a
一方で、図4(a)は、人間13が車両10の後部近傍位置(例えば、車両後部から約0.5m〜1.5m程度離れた位置)に立っている場合における、人間13と車両10との位置関係を示した図である。また、図4(b)は、図4(a)に示すように人間13が車両10の後部近傍位置に立っている場合において、CCDカメラ2で車両後方の様子を撮影した画像を示している。
On the other hand, FIG. 4A shows that the human 13 and the
図4(a)に示すように、人間13が車両10の後部近傍に立っている場合には、CCDカメラ2の撮影可能範囲を遮るようにして人間13が存在することになるので、撮影画像の大部分に人間13の体(具体的には、人間により影となる暗い部分)が写っている。より詳細には、図4(b)において、人間13の輪郭部分が、撮影画像の上下方向における中央位置に存在し、さらに、撮影画像における上下方向幅の5割以上の大きさを占めている。このように、人間13が車両後部近傍、具体的には車両と車両とが縦列駐車された場合において車両間を通過し得る位置(車両後部より0.5m〜1.5m程度離れた位置)に存在する場合には、人間13の存在により、撮影画像のうち人間(人間の輪郭)が撮影された割合が大きくなる。このため、撮影画像の上下方向における中央部分に人間の輪郭が存在し、さらに、撮影画像における上下方向幅の5割以上を人間の輪郭が占めている場合には、高い確率で人間(歩行者)が車両後部近傍に存在すると判断することができる。
As shown in FIG. 4A, when the
なお、本実施の形態に係るCCDカメラ2には、上述したように広角レンズが設けられている。広角レンズなどの特殊なレンズを介して車両後方の様子が撮影された場合には、広角レンズなどを用いないで通常のレンズで撮影された画像に比べて、撮影画像に占める人間の輪郭の割合が変化してしまう。例えば、図4(b)に示す撮影画像は、広角レンズを介して撮影された画像である。このため、広角レンズを用いずに撮影した場合には、広角レンズを用いる場合に比べてCCDカメラ2の画角が狭くなるため、図4(c)に示すように、撮影画像に占める人間の輪郭の割合が大きくなる。
The
このような場合には、CCDカメラ2に用いられるレンズ特性に応じた補正値を画像解析部3に予め与え、画像解析部3において撮影画像の補正を行った後に、人間13の輪郭の撮影位置や輪郭の大きさの判断を行うことにより、CCDカメラ2にどのようなレンズが用いられた場合であっても、レンズ特性に左右されることなく同一の基準に沿った撮影画像を求めることができ、共通した状態で人間13の輪郭判断を行うことが可能となる。
In such a case, a correction value corresponding to the lens characteristics used in the
このように、画像解析部3は、CCDカメラ2により撮影された画像に対して、輝度解析および輪郭解析を行うことにより輪郭の最も大きな対象物を検出し、検出された対象物の輪郭が、撮影画像の上下方向における中央位置に存在し、さらに、撮影画像における上下方向幅の5割以上の大きさを占めているか否かを検出することにより、車両後部近傍に人間(歩行者)が存在するか否かを判断することができる。
As described above, the
さらに、画像解析部3は、検出された輪郭の位置変化を、連続撮影された複数の撮影画像における輪郭の位置変化およびその大きさの変化に基づいて判断し、輪郭が水平方向に移動されたか否かにより輪郭をなす対象物が歩行者であるか否かを判断することもできる。車両が縦列駐車されている場合に、歩行者が車両と車両との間を通って車両へと進む場合には、歩行者が、車両後部近傍を車幅方向へと移動することになる。このため、検出された輪郭の対象物が、水平方向へと移動する場合には、歩行者であると判断することが可能となる。
Further, the
このように、撮影された複数の画像から対象物の輪郭の位置変化を経時的判断し、対象物の輪郭が撮影画像を水平方向へと移動する場合に、歩行者が車両後部近傍を車幅方向へと移動していると判断することによって、歩行者の存在を高い検出精度で求めることが可能となる。 In this way, when the position change of the contour of the object is determined over time from the plurality of captured images, and the contour of the object moves in the horizontal direction in the captured image, the pedestrian can By determining that the pedestrian is moving in the direction, the presence of the pedestrian can be obtained with high detection accuracy.
また、図5(a)は、CCDカメラ2がミニバンなどの車高の高い車両における後部上端に設けられている場合であって、歩行者が車両後部近傍に存在する場合を示した側面図である。また図5(b)は、図5(a)に示す人間13と車両10との位置関係において、CCDカメラ2で車両後方の様子を撮影した画像を示している。図5(a)に示すように人間13をその上方から撮影する場合には、図4(b)や図4(c)に示すように、正面方向から撮影された状態で輪郭が示されるのではなく、図5(b)に示すように、上方から見下ろしたような状態で人間の輪郭が撮影される。
FIG. 5A is a side view showing a case where the
しかしながら、図5(b)に示すような状態で人間13が撮影された場合には、その人間13の撮影位置や撮影角度および撮影された人間13が撮影画像に占める割合などから、図4(b)の場合と同様に、車両後部近傍に人間13が存在することを、画像解析部3で判断することが可能である。
However, when the
また、図5(b)に示すような画像で撮影がなされる場合であっても、撮影された人間13の位置変化を撮影された画像から経時的に判断することにより、例えば、人間13が車両後部近傍を車幅方向へと移動している状況などを容易に判断することができ、人間13の存在を高い検出精度で求めることが可能となる。
Further, even when shooting is performed with an image as shown in FIG. 5B, for example, the human 13 can determine the change in position of the captured human 13 from the captured image over time. The situation where the vicinity of the rear of the vehicle is moving in the vehicle width direction can be easily determined, and the presence of the
このようにして、画像解析部3は、撮影された画像の輪郭検出を行うことにより、対象物の検出を行い、その対象物の輪郭が撮影画像に占める割合や撮影位置、さらに、対象物の経時的な変化状態を求めるこにより、車両後部近傍に歩行者が存在するか否かを判断することができる。車両後部近傍に歩行者が存在すると判断した場合、画像解析部3は、制御部4に対して歩行者検出情報を出力する。
In this way, the
制御部4は、画像解析部3より歩行者検出情報を受信した場合に、ストップランプ5やハザードランプ6などの点灯/消灯/点滅制御を行うことにより、車両の運転者や同乗者、歩行者、周囲の第三者(例えば、後方に停車している車両の運転者や、対向車線を走行する運転者など)に対して歩行者の存在を認識させる処理を行う。
When the
例えば、ストップランプ5を点滅させる処理を行うことにより、車両の後方に位置する他の車両の運転者に対して、歩行者が存在することを知らせることができる。また、ストップランプは、視認性を高めるために、車両上端部の中央位置であって比較的高い位置に設置されることが多い(この位置に設置されたストップランプは、一般的にハイマウントストップランプと呼ばれる)。このため、ストップランプを積極的に点滅させることにより、歩行者の視線の高さ位置でストップランプを点滅させることができ、歩行者に対して効果的に警告を行うことが可能となる。
For example, by performing the process of blinking the
また、ハザードランプ6を点滅させる処理を行うことにより、車両の後方に位置する他の車両の運転者だけでなく、車両前方側に位置する他の車両の運転者や、隣接した車線を走行する他の車両の運転者などに対して、注意を促すことが可能となる。従って、歩行者が車両の後方を通過して車道側に移動した場合であっても、他の車両の運転者に注意を促すことが可能となるため、他の車両の運転者が歩行者を発見しやすくなり、歩行者の安全性を高めることが可能となる。
Moreover, by performing the process of blinking the
さらに、車室内にカーナビゲーションシステムなどが設置されている場合には、制御部4がカーナビゲーションシステムの画面上に車両後部近傍に歩行者が存在することを表示したり、カーナビゲーションシステムより音声合成技術を用いて注意を促したりすることによって、車両の運転者だけでなく、車室内の同乗者に対しても注意を促すことが可能となる。特に、カーナビゲーションシステムが設置されている場合には、CCDカメラ2で撮影された画像を、カーナビゲーションシステムの液晶画面に表示させることができるので、歩行者に関するより詳細な情報を提示することができ、運転者における注意をより高めることが可能となる。
Furthermore, when a car navigation system or the like is installed in the passenger compartment, the
以上、本発明に係る車両周囲報知装置について車両警報装置を例に示して説明を行ったが、本発明に係る車両周囲報知装置は、上述した実施の形態に開示したものには限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As described above, the vehicle surrounding alarm device according to the present invention has been described by taking the vehicle alarm device as an example, but the vehicle surrounding alarm device according to the present invention is not limited to the one disclosed in the above-described embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.
例えば、上述した車両警報装置1では、CCDカメラ2により撮影された画像の大部分において歩行者画像が写っている場合に、歩行者が車両後部近傍に存在するものと判断する場合について説明したが、歩行者の写っている割合が大きい場合にだけ、歩行者が存在するものと判断されるとは限らない。
For example, in the above-described vehicle warning device 1, a case has been described in which it is determined that a pedestrian is present in the vicinity of the rear of the vehicle when a pedestrian image is captured in most of the images photographed by the
例えば、図6(a)に示すように、車両の比較的上部位置にCCDカメラ2が設置され、このCCDカメラ2における広角レンズの撮影可能範囲が比較的広い場合には、車両後部近傍に歩行者が存在する場合であっても、図6(b)に示すように、歩行者が小さく撮影されてしまう場合がある。
For example, as shown in FIG. 6A, when the
このように広角レンズを用いる場合には、撮影画像に写った歩行者が小さい場合であっても、広角レンズの広角度の割合に応じて、車両後部のどの程度の位置に歩行者が存在するかを、容易に判断することができる。具体的には、画像解析部3に対して、予めCCDカメラ2の広角度に基づく補正情報を与えることにより、撮影画像に写った歩行者の輪郭の撮影位置およびその輪郭の大きさの補正を行うことが可能である。このようにレンズの特性に応じて撮影画像の補正を行うことにより、CCDカメラ2に用いられる広角レンズの性能や、カメラの設置位置に大きく左右されることなく、歩行者の輪郭の撮影位置およびその大きさを同一の基準で求めることが可能となる。
When the wide-angle lens is used in this way, even if the pedestrian in the captured image is small, the pedestrian is present at what position in the rear of the vehicle according to the wide angle ratio of the wide-angle lens. Can be easily determined. Specifically, by providing correction information based on the wide angle of the
さらに、CCDカメラ2の広角度に基づく補正値を、予め画像解析部3に与えておくことによって、画面に写った対象物の大きさや位置に基づいて、車両後部から対象物までの距離を計算することも可能である。従って、歩行者などが車両後部近傍に位置する場合はもちろんのこと、車両後部近傍ではないが、車両の後方に歩行者が存在する場合においても、確認的あるいは予備的に、ストップランプあるいはハザードランプを点滅させて警告を行うような構成とすることも可能である。
Further, by giving a correction value based on the wide angle of the
また、実施の形態に示した車両警報装置1のCCDカメラ2では、広角レンズが設けられ、歩行者検出の判断に用いられる画像も、広角レンズを介して撮影された画像について説明を行った。これは、歩行者検出用に用いられるCCDカメラ2が、後方確認用のバックカメラである場合を想定したためであり、バックカメラは一般的に広角レンズが用いられているためである。このため、CCDカメラ2には、必ずしも広角レンズが設けられていなくてもよく、広角レンズを用いない一般的な画角で撮影されるCCDカメラにおいても、実施の形態に示した車両警報装置1と同様の効果を奏することが可能である。
In the
特に、車両後部近傍に歩行者が存在する場合において、広角レンズを用いないで撮影された画像に占める歩行者の大きさの割合は、広角レンズを用いて撮影された画像に占める歩行者の大きさの割合よりも大きくなる。このため、広角レンズを用いないで撮影された画像の方が、広角レンズを用いて撮影された画像よりも、車両後部近傍に存在する歩行者を確実に検出することが可能となる。 In particular, when there is a pedestrian near the rear of the vehicle, the proportion of the size of the pedestrian in the image taken without using the wide-angle lens is the size of the pedestrian in the image taken using the wide-angle lens. It becomes larger than the ratio. For this reason, a pedestrian existing in the vicinity of the rear of the vehicle can be detected more reliably in an image shot without using a wide-angle lens than in an image shot with a wide-angle lens.
さらに、CCDカメラ2が歩行者検出用カメラとバックカメラとを兼用する場合において、バックカメラとして利用される場合には、広角レンズを介して車両後方画像を撮影し、歩行者検出用カメラとして利用される場合には、広角レンズを介さずに車両後方画像を撮影するようにすることによって、撮影される角度を切り替えるような構成とするものであってもよい。
Further, when the
1 …車両警報装置(車両周囲報知装置)
2 …CCDカメラ(カメラ)
3 …画像解析部(画像解析手段)
4 …制御部(制御手段)
5 …ストップランプ(報知手段)
6 …ハザードランプ(報知手段)
10 …車両
11 …ナンバープレート
13 …人間(歩行者)
1 ... Vehicle warning device (vehicle surroundings notification device)
2 ... CCD camera (camera)
3. Image analysis unit (image analysis means)
4. Control unit (control means)
5 Stop lamp (notification means)
6 ... Hazard lamp (notification means)
10 ...
Claims (6)
車両の周囲に対して注意を促すための報知を行う報知手段と、
前記カメラにより撮影された撮影画像の画像解析を行い、車両後部近傍に歩行者が存在するか否かの判断を行う画像解析手段と、
該画像解析手段により前記歩行者が検出された場合に、前記報知手段により前記報知を実行させる制御手段と、
を備え、
前記画像解析手段は、前記撮影画像から車両後方に存在する対象物の輪郭を検出し、最も輪郭が大きな対象物が、前記撮影画像の上下方向における中央位置に存在し、かつ、前記撮影画像における上下方向幅の5割以上の大きさを占める場合に、当該対象物を前記歩行者と捉えて、前記歩行者が車両後部近傍に存在するものと判断すること
を特徴とする請求項1に記載の車両周囲報知装置。 A camera that captures the back of the vehicle,
A notification means for performing a notification to call attention to the surroundings of the vehicle;
Image analysis means for performing image analysis of a captured image captured by the camera and determining whether a pedestrian is present near the rear of the vehicle;
Control means for executing the notification by the notification means when the pedestrian is detected by the image analysis means;
With
The image analysis means detects the contour of an object existing behind the vehicle from the photographed image, the object having the largest contour is present at the center position in the vertical direction of the photographed image, and in the photographed image The pedestrian is determined to be present in the vicinity of the rear of the vehicle when the object occupies a size of 50% or more of the width in the vertical direction, and the object is regarded as the pedestrian. Vehicle surrounding alarm device.
を特徴とする請求項1に記載の車両周囲報知装置。 The image analysis means determines a change in position of the object having the largest outline based on a change in position of the object and a change in its size in a plurality of continuously shot images. The vehicle surrounding notification device according to claim 1, wherein, when the vehicle moves in a direction, the object is regarded as the pedestrian and the pedestrian is present.
を特徴とする請求項1または請求項2に記載の車両周囲報知装置。 The image analysis means includes correction data set in advance according to a lens installed in the camera, and corrects the size and shooting position of an object occupying the captured image using the correction data. The vehicle surrounding notification device according to claim 1, wherein detection of a shooting position of the object in the captured image and a ratio of a vertical width in the captured image is performed.
を特徴とする請求項1乃至請求項3のいずれか1項に記載の車両周囲報知装置。 The image analysis means includes correction data set in advance according to a lens installed in the camera, and applies the correction data to a contour size and a shooting position of an object in the captured image. The distance from the rear part of the vehicle to the pedestrian is calculated, and when it is determined that the pedestrian is in the range of 0.5 m to 1.5 m from the rear part of the vehicle, there is a pedestrian in the vicinity of the rear part of the vehicle. The vehicle surrounding alarm device according to any one of claims 1 to 3, wherein the vehicle surrounding alarm device is determined.
を特徴とする請求項1乃至請求項4のいずれか1項に記載の車両周囲報知装置。 The vehicle surroundings notification device according to any one of claims 1 to 4, wherein the notification unit is a stop lamp.
を特徴とする請求項1乃至請求項5のいずれか1項に記載の車両周囲報知装置。 The vehicle surrounding notification device according to any one of claims 1 to 5, wherein the notification unit is a hazard lamp.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010191613A JP2012048591A (en) | 2010-08-30 | 2010-08-30 | Vehicle surroundings notification device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010191613A JP2012048591A (en) | 2010-08-30 | 2010-08-30 | Vehicle surroundings notification device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012048591A true JP2012048591A (en) | 2012-03-08 |
Family
ID=45903353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010191613A Pending JP2012048591A (en) | 2010-08-30 | 2010-08-30 | Vehicle surroundings notification device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012048591A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014046838A (en) * | 2012-08-31 | 2014-03-17 | Denso Corp | Pedestrian notification device |
| JP2016151770A (en) * | 2015-02-16 | 2016-08-22 | 修一 田山 | Approaching body alarm notification device in automobile |
| JP2016151771A (en) * | 2015-02-16 | 2016-08-22 | 修一 田山 | Approaching body alarm notification device in automobile |
| JP2019508764A (en) * | 2015-12-15 | 2019-03-28 | ソニー株式会社 | System and method for generating a parking alert |
| US20220319185A1 (en) * | 2021-03-31 | 2022-10-06 | Nanning Fulian Fugui Precision Industrial Co., Ltd. | Method for preventing collisions in blind area of a vehicle, and electronic device using the same |
-
2010
- 2010-08-30 JP JP2010191613A patent/JP2012048591A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014046838A (en) * | 2012-08-31 | 2014-03-17 | Denso Corp | Pedestrian notification device |
| US9168867B2 (en) | 2012-08-31 | 2015-10-27 | Denso Corporation | Pedestrian notification apparatus |
| JP2016151770A (en) * | 2015-02-16 | 2016-08-22 | 修一 田山 | Approaching body alarm notification device in automobile |
| JP2016151771A (en) * | 2015-02-16 | 2016-08-22 | 修一 田山 | Approaching body alarm notification device in automobile |
| JP2019508764A (en) * | 2015-12-15 | 2019-03-28 | ソニー株式会社 | System and method for generating a parking alert |
| JP7006591B2 (en) | 2015-12-15 | 2022-01-24 | ソニーグループ株式会社 | Parking lot monitoring system and method |
| US20220319185A1 (en) * | 2021-03-31 | 2022-10-06 | Nanning Fulian Fugui Precision Industrial Co., Ltd. | Method for preventing collisions in blind area of a vehicle, and electronic device using the same |
| CN115214632A (en) * | 2021-03-31 | 2022-10-21 | 南宁富联富桂精密工业有限公司 | Anti-collision method for vehicle blind area, electronic device and computer storage medium |
| CN115214632B (en) * | 2021-03-31 | 2025-05-16 | 南宁富联富桂精密工业有限公司 | Anti-collision method for vehicle blind spot, electronic device and computer storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9499168B2 (en) | Vehicle periphery display device | |
| JP5099451B2 (en) | Vehicle periphery confirmation device | |
| CN105163972B (en) | Information display system and information display device | |
| US8009868B2 (en) | Method of processing images photographed by plural cameras and apparatus for the same | |
| JP6091586B1 (en) | VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING SYSTEM | |
| JP6379779B2 (en) | Vehicle display device | |
| TWI468645B (en) | Blind spot detection alert system | |
| CN107199947A (en) | Vehicle display control unit | |
| CN108482367B (en) | A method, device and system for assisting driving based on intelligent rearview mirror | |
| CN107199948A (en) | Vehicle display control unit | |
| JP2010044561A (en) | Monitoring device to be mounted on vehicle | |
| CN109987025B (en) | Vehicle driving assistance system and method for night environment | |
| JP6426455B2 (en) | Approaching vehicle detection device | |
| US20180005529A1 (en) | Vision system | |
| JP2009234344A (en) | Adjustment device for photographing means and object detection device | |
| JP2012048591A (en) | Vehicle surroundings notification device | |
| CN107004250A (en) | Video generation device and image generating method | |
| JP2006131213A (en) | Rear view device for motorcycles | |
| JP4755501B2 (en) | Lane detection device and lane departure warning device | |
| JP2009214790A (en) | Apparatus and method for imaging, and apparatus and method for processing image | |
| KR101850030B1 (en) | Apparatus and method for lane change assistance using illumination | |
| CN211196040U (en) | Streaming media rearview mirror system and automobile | |
| CN1765684A (en) | Rearview recognition apparatus for a vehicle | |
| TWI746245B (en) | Driving situation monitoring and warning system | |
| JP2003157498A (en) | Obstacle warning device |