[go: up one dir, main page]

WO2015186395A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
WO2015186395A1
WO2015186395A1 PCT/JP2015/056823 JP2015056823W WO2015186395A1 WO 2015186395 A1 WO2015186395 A1 WO 2015186395A1 JP 2015056823 W JP2015056823 W JP 2015056823W WO 2015186395 A1 WO2015186395 A1 WO 2015186395A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
present
captured image
past
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/056823
Other languages
English (en)
French (fr)
Inventor
宮川　恵介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2016525715A priority Critical patent/JP6333975B2/ja
Priority to CN201580028149.3A priority patent/CN106415662B/zh
Priority to US15/315,251 priority patent/US10525900B2/en
Publication of WO2015186395A1 publication Critical patent/WO2015186395A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present invention relates to a vehicle periphery monitoring device that monitors the periphery of a vehicle.
  • a vehicle periphery monitoring device that detects a monitored object located in the vicinity of the host vehicle from a captured image obtained by an on-vehicle camera and notifies the driver that the monitored object is present in the periphery of the host vehicle. It is done.
  • the shape of an image portion such as an object (for example, a pedestrian) detected from a captured image in a vehicle periphery monitoring device of this type may change depending on the distance between the camera and the object. For example, when the pedestrian is present at a predetermined distance or more from the camera, while the full-length image of the pedestrian is taken, the pedestrian is present at a predetermined distance or less from the camera. Only the head of the pedestrian may be photographed. In such a case, when the pedestrian recognition process is performed using the feature amount of the whole image of the pedestrian, there is a possibility that the image part of only the head is not recognized as the pedestrian. As a result, there is a possibility that the driver is not notified of that although the monitoring object such as a pedestrian is present around the host vehicle.
  • the present invention has been made in view of the above background, and provides a vehicle periphery monitoring device capable of appropriately recognizing and notifying a driver of a monitored object existing around a vehicle while suppressing the amount of calculation and memory usage. Intended to be provided.
  • the present invention has been made to achieve the above object, and a monitoring target object is detected from captured images of a plurality of points around the host vehicle obtained by a camera, and the monitoring target object is present around the host vehicle.
  • the present invention relates to a vehicle periphery monitoring device, a vehicle, and a vehicle periphery monitoring method for notifying a driver of a host vehicle of a situation.
  • the vehicle periphery monitoring device of the present invention determines whether or not the monitored object is present in the notification area on the real space when the monitored object detected in the past captured image is not detected from the latest captured image. It is characterized in that it comprises an alarm processing unit that estimates whether the subject is in the past based on the captured image and that the driver is notified when it is estimated that the monitored object is present in the notification area.
  • the vehicle periphery monitoring device having the above configuration, even when the monitoring target is not detected from the latest captured image, it is estimated that the monitoring target is present in the notification area based on the past captured image. The driver is informed. As a result, since the analysis of the latest captured image for detecting the undetected object is not necessary, it is possible to appropriately notify the driver of the presence of the monitored object while suppressing the calculation amount and the memory usage amount.
  • the alarm processing unit may be configured such that the distance in the traveling direction between the monitored object and the host vehicle detected in the past captured image is less than or equal to a predetermined first distance. If at least one of the condition and the condition that the distance in the vehicle width direction of the subject vehicle between the subject to be monitored and the subject vehicle is equal to or less than a predetermined second distance are satisfied, the notification It is preferable to estimate that the region is present.
  • the monitoring target is estimated in the notification area at the latest imaging time for the monitoring object existing in the vicinity of the own vehicle at the past imaging time, so that it is more appropriate
  • the driver can be notified of the presence of the monitored object.
  • the alarm processing unit detects that the monitoring target is present in the notification area when the number of times the monitoring target is detected from the captured image is equal to or more than a predetermined number in a predetermined period in the past. It is preferable to estimate.
  • the vehicle periphery monitoring device of the configuration it is estimated that the monitoring object is present in the notification area when the number of times the monitoring object is detected from the captured image is equal to or more than the predetermined number in a predetermined period in the past. Notification is performed when the probability that the monitoring target actually exists in the notification area is high. Therefore, according to the vehicle periphery monitoring apparatus of the said structure, a driver
  • the alarm processing unit estimates that the monitored object is present in the notification area when it is within a predetermined time after the detected object is not detected.
  • the probability that the monitored object is present in the notification area decreases with the passage of time.
  • the vehicle periphery monitoring apparatus of the said structure comprised paying attention to this point, when it is less than a predetermined time after a monitoring target object is no longer detected, it is estimated that the said monitoring target object exists in a alerting
  • the alarm processing unit determines whether the current monitoring target is present in the notification area based on the relative speed of the monitoring target detected in the past captured image with respect to the host vehicle. It is preferable to estimate the
  • the vehicle periphery monitoring apparatus of the said structure it is estimated whether a monitoring target object exists in a alerting
  • the vehicle of the present invention it is determined whether or not the monitored object is present in the notification area on the real space when the monitored object detected in the past captured image is not detected from the latest captured image. It is characterized in that it comprises an alarm processing unit that estimates based on a past captured image, and notifies the driver when it is estimated that the monitoring object is present in the notification area.
  • the present invention in the case where the monitoring target detected in the past captured image is not detected from the latest captured image, whether the monitoring target is present in the notification area on the real space.
  • the present invention is characterized in that it includes an alarm processing step of estimating whether the subject is in the past based on the captured image and notifying the driver when it is estimated that the monitored object is present in the notification area.
  • FIG. 1 The block diagram of a vehicle periphery monitoring apparatus.
  • the flowchart of a vehicle periphery monitoring process The flowchart of a vehicle periphery monitoring process.
  • FIGS. 1 to 3 An embodiment of a vehicle periphery monitoring device of the present invention will be described with reference to FIGS. 1 to 3.
  • the vehicle periphery monitoring device 10 is mounted on a vehicle 1 (corresponding to the vehicle of the present invention) provided with a camera 2 (color camera), a vehicle speed sensor 3, a speaker 5, and a display 6. .
  • the vehicle periphery monitoring device 10 is an electronic unit configured by a CPU, a memory, various interface circuits and the like (not shown), and the image acquisition unit 11 is executed by executing the vehicle periphery monitoring program stored in the memory by the CPU. It functions as an edge image generation unit 12, an object information acquisition unit 13, a target image partial extraction unit 14, an alarm necessity determination unit 15, and a notification unit 16. Further, the vehicle periphery monitoring method of the present invention is implemented by the vehicle periphery monitoring device 10.
  • the target information acquisition unit 13, the target image partial extraction unit 14, the alarm necessity determination unit 15, and the notification unit 16 constitute an "alarm processing unit" of the present invention.
  • the vehicle periphery monitoring device 10 includes a storage unit 20 configured of a memory or a hard disk.
  • the storage unit 20 includes a captured image storage unit 21 a, an edge image storage unit 21 b, and an object information storage unit 22.
  • the monitoring object W existing around the vehicle 1 is detected by the vehicle periphery monitoring device 10, and the monitoring object W exists around the vehicle for the driver.
  • the process of informing the user of the process will be described.
  • the vehicle periphery monitoring device 10 executes the processing according to the flowcharts shown in FIGS . 2A and 2B at predetermined control cycles.
  • FIG. 2A / STEP 1 is processing by the image acquisition unit 11.
  • the image acquisition unit 11 receives a video signal of the front of the vehicle 1 (corresponding to the vehicle surroundings of the present invention) output from the camera 2 and inputs color components (R value, G value, B value) of the video signal. Is demosaicing, and a color captured image having R value, G value, and B value is acquired as data of each pixel. The data of the acquired captured image is held in the captured image storage unit 21a.
  • the edge image generation unit 12 converts the color component of each pixel of the captured image stored in the captured image storage unit 21a into luminance to generate a grayscale image (multi-valued image) (FIG. 2A / STEP 2). Then, the edge image generation unit 12 is a pixel whose luminance difference (amount of change in luminance) with an edge point (pixel in the peripheral part (image part) in the gray scale image is equal to or greater than a predetermined value. A positive edge point and a negative edge point where the brightness changes from bright to dark are extracted to generate an edge image, which is stored in the edge image storage unit 21b (FIG. 2A / STEP 3).
  • a gray scale captured image can be obtained from the luminance of each pixel, so the process of generating a gray scale image from the color captured image described above is unnecessary.
  • the subsequent FIG. 2A / STEP 4 is processing by the target image partial extraction unit 14.
  • the target image partial extraction unit 14 applies labeling to an edge point (hereinafter, referred to as an edge portion) that is grouped as a group with respect to the edge image stored in the edge image storage unit 21 b, and an edge that is close Clustering is performed to associate parts as image parts of the same object.
  • an edge point hereinafter, referred to as an edge portion
  • an edge that is close Clustering is performed to associate parts as image parts of the same object.
  • the subsequent FIG. 2B / STEP 5 is processing by the object information acquisition unit 13.
  • the target object information acquisition unit 13 is a solid object closest to the vehicle 1 (a three-dimensional object with the shortest distance to the vehicle 1 (camera 2)) from the plurality of pieces of target object information stored in the target object information storage unit 22. Information is acquired as information of the object W.
  • the information of the object W of the past information of the object W stored in the object information storage unit 22 in the process of FIG.
  • the relative velocity of the target object W viewed from the viewpoint is read.
  • these pieces of information are respectively referred to as a past gravity center, a past area, a past distance, a past aspect ratio, and a past speed.
  • FIG. 2B / STEP 6 is processing by the target image partial extraction unit 14.
  • the target image partial extraction unit 14 extracts an image portion of the target object W identical to the target object W acquired by the target object information acquisition unit 13 from the latest captured image (edge image) generated in FIG. Do.
  • the target image partial extraction unit 14 refers to the edge image storage unit 21b, and in the latest captured image generated in FIG. 2A / STEP 3, the following conditions (a), (b) and (c) Extract the image part that satisfies all the conditions of).
  • each image part of the latest image generated in FIG. 2A / STEP 3 the center of gravity of the image part, the area of the image part, the distance in real space from the camera 2 to the object W corresponding to the image part,
  • the aspect ratio (ASPECT ratio) of the circumscribed square of the image portion and the relative velocity of the object W viewed from the vehicle 1 are respectively referred to as the latest gravity center, the latest area, the latest distance, the latest aspect ratio, and the latest velocity.
  • the speed of the vehicle 1 indicated by the vehicle speed sensor 3 may be adopted as the relative speed of the target object W viewed from the vehicle 1.
  • Px allowable value of the movement amount on the image in the x direction (horizontal direction).
  • Py an allowable value of the movement amount on the image in the y direction (vertical direction).
  • the target image partial extraction unit 14 determines whether the image portion of the same object as the target W acquired by the target information acquisition unit 13 has been extracted.
  • the target image partial extraction unit 14 stores the latest gravity center, the latest area, the latest distance, the latest aspect ratio, and the latest velocity in the object information storage unit 22. (FIG. 2B / STEP 8).
  • the alarm necessity determination unit 15 determines whether the object W may be in contact with the vehicle 1 based on the latest gravity center, the latest area, the latest distance, the latest aspect ratio, and the latest speed. Determine If the determination result is affirmative (FIG. 2B / STEP 9 .. YES), the notification unit 16 is a target that may contact the driver with the driver via at least one of the speaker 5 and the display 6. It warns that the object W exists around the vehicle 1 (FIG. 2B / STEP 10).
  • the alarm necessity determination unit 15 refers to the information of the object W stored in the object information storage unit 22. Thus, it is determined whether the number of captured images in which the object W is detected among the plurality of captured images in a predetermined period in the past is equal to or greater than a predetermined number (FIG. 2B / STEP 11).
  • the alarm necessity determination unit 15 determines whether or not the object W at the time of imaging in the past exists in a predetermined alert area D1 in the real space. Determine (FIG. 2B / STEP 12).
  • the warning area D1 is a predetermined area defined in front of the vehicle 1, and in the present embodiment, as shown in FIG. 3A, the length in the traveling direction of the vehicle 1 is d1, and the vehicle width direction of the vehicle 1 is The length is an area of w1.
  • the length d1 of the traveling direction of the vehicle 1 is set to be longer than the distance from the camera 2 to the area where imaging of the full-length image of the pedestrian can not be performed. Note that the distance at which the imaging of the pedestrian's full-length image can not be performed is experimentally determined and determined.
  • a length w1 in the vehicle width direction of the vehicle 1 is set to be equal to or slightly shorter than the vehicle width of the vehicle 1.
  • the alarm necessity determination unit 15 exceeds a predetermined time after the object W can not be detected in FIG. 2B / STEP7. It is determined whether or not (FIG. 2B / STEP 13).
  • the notification unit 16 may contact the driver with the vehicle 1 via at least one of the speaker 5 and the display 6. It warns that there is a possibility that the object W exists around the vehicle 1 (FIG. 2B / STEP 14). That is, in the present embodiment, when the determination result in FIG. 2B / STEP 13 is negative, the object W is detected a predetermined number of times or more in the past predetermined period (FIG. 2B / STEP 11. .. YES), and The object W when detected in the alarm zone D1 exists in the alert area D1 (FIG.
  • the object W is not noise, and is hardly moved from the position (warning area D1) when the object W was last detected.
  • the notification unit 16 warns the driver via at least one of the speaker 5 and the display 6.
  • the alarm necessity determination unit 15 The position of the current object W is estimated based on the past distance and the past velocity (FIG. 2B / STEP 15). The alarm necessity determination unit 15 may estimate the current position of the object W based on the current speed of the vehicle 1 indicated by the vehicle speed sensor 3 instead of the past speed.
  • the alarm necessity determination unit 15 determines whether the position of the object W estimated in FIG. 2B / STEP 15 is included in the notification area D2.
  • the notification area D2 is a predetermined area defined in front of the vehicle 1.
  • the length of the traveling direction of the vehicle 1 is d2
  • the vehicle width direction of the vehicle 1 is The length is an area of w2.
  • the length d2 of the traveling direction of the vehicle 1 is set to be shorter than the distance from the camera 2 to the area where the imaging of the full-length image of the pedestrian can not be performed. Note that the distance at which the imaging of the pedestrian's full-length image can not be performed is experimentally determined and determined.
  • the length w2 in the vehicle width direction of the vehicle 1 is set to be the same as the width of the vehicle 1.
  • the notification unit 16 may contact the driver with the vehicle 1 via at least one of the speaker 5 and the display 6. It warns that there is a possibility that the object W exists around the vehicle 1 (FIG. 2B / STEP 14).
  • FIG. 2B / STEP 11 If the determination result in FIG. 2B / STEP 11 is negative (FIG. 2B / STEP 11.. NO), if the determination result in FIG. 2B / STEP 16 is negative after the processing in FIG. 2B / STEP 14 (FIG. 2B / STEP 16 .. 2) After the processing of FIG. 2B / STEP 10, the target image partial extraction unit 14 applies the processing of FIG. 2B / STEP 5 to FIG. 2B / STEP 16 to all objects W stored in the object information storage unit 22. It is determined whether the process has been performed (FIG. 2B / STEP 17). If the determination result is negative (FIG. 2B / STEP 17.. NO), the vehicle periphery monitoring device 10 executes the processing of FIG.
  • FIG. 2B / STEP 5 to 2B / STEP 7 and FIG. 2B / STEP 11 to FIG. 2B / STEP 16 correspond to the “alarm processing step” in the present invention.
  • the vehicle periphery monitoring apparatus 10 having the above configuration, even if the monitoring target W is not detected from the latest captured image (FIG. 2B / STEP7..NO), the monitoring is performed in the notification area D2 based on the past captured image If it is estimated that the object W exists (FIG. 2B / STEP 11 .. YES, FIG. 2B / STEP 12 .. YES and FIG. 2B / STEP 13. NO, or FIG. 2B / STEP 16. .. YES), the driver is notified . As a result, since the analysis of the latest captured image for detecting the undetected monitored object W is not necessary, the driver can appropriately detect the presence of the monitored object W while suppressing the amount of calculation and memory usage. It can be informed.
  • the monitoring object W is the latest one at the time of imaging with the requirement of other conditions satisfied for the monitoring object W existing near the host vehicle at the time of imaging in the past. Since it is estimated that it exists in the alerting
  • the vehicle periphery monitoring device 10 having the configuration, when the number of times of detection of the monitored object W from the captured image is equal to or more than a predetermined number of times in a predetermined period in the past, the monitored object W is notified Since it is estimated that it exists in the area
  • the probability that the monitoring target W is present in the notification area D2 decreases with the passage of time.
  • the notification region D2 is set as the requirement of other condition satisfaction. It is estimated that the monitoring object W exists (FIG. 2B / STEP 13 .. NO). As a result, when the probability that the monitored object W actually exists in the notification area D2 is high, the driver can be notified.
  • the vehicle periphery monitoring apparatus 10 of the said structure it is estimated whether the monitoring subject W exists in the alerting
  • the vehicle 1 FIG. 2B / STEP15-FIG. 2B / STEP16
  • the monitoring target W exists in the alert area D1 at the time of imaging in the past (FIG. 2B / STEP 12 .. YES), and the elapsed time after the non-detection is within the predetermined time
  • alarm processing is performed, and the monitored object W does not exist in the alert area D1 at the time of the past imaging (FIG. 2B / STEP12..NO), or the process from becoming undetected
  • the time is equal to or longer than the predetermined time (FIG. 2B / STEP 13 .. YES)
  • it is determined whether to perform the alarm process after estimating the position of the monitoring object W at the latest imaging time FIG. 2B / STEP 15).
  • ⁇ 2B / STEP 16 it is determined whether to perform the alarm process after estimating the position of the monitoring object W at the latest imaging time
  • the monitoring target W exists in the alert area D1 at the time of imaging in the past (FIG. 2B / STEP12..YES), and the elapsed time after not being detected is within the predetermined time (FIG. 2B / Since it is assumed that STEP13 .. NO) exists in an area (notification area D2) in which the monitored object W may come into contact with the vehicle 1 at the latest imaging time regardless of the movement amount of the monitored object W. There is a high need to inform the driver. On the other hand, if the monitored object W does not exist in the alert area D1 at the time of imaging in the past (FIG. 2B / STEP12..NO), or the elapsed time after not being detected is a predetermined time or more (FIG.
  • the monitoring target W may be present in the notification area D2 where the vehicle 1 and the monitoring target W may come into contact, depending on the amount of movement of the monitoring target W. Therefore, the alarm necessity determination unit 15 estimates the position of the monitored object W at the latest imaging time based on the past distance and the past speed of the monitored object W (FIG. 2B / STEP 16). By this processing, the driver can be appropriately alerted while reducing unnecessary alert processing.
  • FIG. 2B / STEP 11 to FIG. 2B / STEP 13 and FIG. 2B / STEP 15 to FIG. 2B / STEP 16 may be omitted.
  • FIG. 2B / STEP 12 may be performed after the processing of FIG. 2B / STEP 15 and FIG. 2B / STEP 16.
  • SYMBOLS 1 ... vehicle (self-vehicle), 2 ... camera, 3 .. vehicle speed sensor, 10 ... vehicle periphery monitoring apparatus, 13 ... target object information acquisition part, 14 ... target image partial extraction part, 15 ... alarm necessity determination part, 16 ... Notification unit, W .. object (monitored object), D2 .. notification area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　車両の周辺に存在する監視対象物を、計算量及びメモリ使用量を抑えながら、適切に認識して運転者に報知できる車両周辺監視装置を提供する。　警報処理部１３～１６は、過去の撮像画像において検出された監視対象物Ｗが、最新の撮像画像から検出されなかった場合において（図２Ｂ／ＳＴＥＰ７‥ＮＯ）、実空間上の報知領域Ｄ２に当該監視対象物Ｗが存在するか否かを過去の撮像画像に基づいて推定し（図２Ｂ／ＳＴＥＰ１１～図２Ｂ／ＳＴＥＰ１３及び図２Ｂ／ＳＴＥＰ１５～図２Ｂ／ＳＴＥＰ１６）、監視対象物Ｗが報知領域Ｄ２に存在すると推定される場合に運転者に報知する（図２Ｂ／ＳＴＥＰ１４）。

Description

車両周辺監視装置
　本発明は、車両の周辺を監視する車両周辺監視装置に関する。
　従来より、車載カメラにより得られる撮像画像から、自車両周辺に所在する監視対象物を検出して、当該監視対象物が自車両周辺に存在することを運転者に報知する車両周辺監視装置が知られている。
　この種の車両周辺監視装置における撮像画像から検出された対象物（たとえば歩行者）等の画像部分の形状がカメラと当該対象物との距離に応じて変化することがある。たとえば、歩行者がカメラから所定の距離以上の位置に存在する場合は、当該歩行者の全身像が撮影される一方で、歩行者がカメラから所定の距離以内の位置に存在する場合には、当該歩行者の頭部しか撮影されないことがある。このような場合、歩行者の全身像についての特徴量を用いて歩行者の認識処理を行うと、頭部のみの画像部分については歩行者のものと認識されないおそれがある。この結果、歩行者等の監視対象物が自車両周辺に存在するにもかかわらず、運転者にその旨が報知されないおそれがある。
　このような課題に鑑みて、撮像画像の判別対象の物体の画像部分に対し、所定の物体の全体（たとえば歩行者の全身）のパターンとの比較では歩行者のものと認識されなかった画像部分に対して、所定の物体の特定部位（たとえば歩行者の頭部）のパターンと比較する画像認識装置が提案されている（たとえば、特許文献１参照）。
特開２００８－２１０３４号公報
　しかしながら、特許文献１の技術では、判別対象である可能性がある対象物の画像部分に対し、全体のパターンとの比較と特定部位のパターンとの比較とを行うため、計算量又はメモリ使用量が大きくなるおそれがある。
　本発明はかかる背景に鑑みてなされたものであり、車両の周辺に存在する監視対象物を、計算量及びメモリ使用量を抑えながら、適切に認識して運転者に報知できる車両周辺監視装置を提供することを目的とする。
　本発明は上記目的を達成するためになされたものであり、カメラにより得られる複数時点の自車両周辺の撮像画像から、監視対象物を検出して、当該監視対象物が自車両周辺に存在することを自車両の運転者に報知する車両周辺監視装置、車両、及び車両周辺監視方法に関する。
　本発明の車両周辺監視装置は、過去の撮像画像において検出された監視対象物が、最新の撮像画像から検出されなかった場合において、実空間上の報知領域に当該監視対象物が存在するか否かを前記過去の撮像画像に基づいて推定し、当該監視対象物が当該報知領域に存在すると推定される場合に前記運転者に報知する警報処理部を備えることを特徴とする。
　当該構成の車両周辺監視装置によれば、最新の撮像画像から監視対象物が検出されなかった場合でも、過去の撮像画像に基づいて報知領域に当該監視対象物が存在すると推定される場合には、運転者に報知がなされる。この結果、検出されなかった対象物を検出するための最新の撮像画像の解析が不要となるので、計算量及びメモリ使用量を抑えながら、適切に監視対象物の存在を運転者に報知できる。
　本発明の車両周辺監視装置において、前記警報処理部は、前記過去の撮像画像から検出された前記監視対象物と自車両との自車両の進行方向の距離が所定の第１距離以下であるという条件、及び当該監視対象物と自車両との自車両の車幅方向の距離が所定の第２距離以下であるという条件のうち少なくとも一方の条件が満たされる場合に、前記監視対象物が前記報知領域に存在すると推定することが好ましい。
　当該構成の車両周辺監視装置によれば、過去の撮像時点において自車両の近傍に存在していた監視対象物について、最新の撮像時点において監視対象物が報知領域内に推定されるので、より適切に監視対象物の存在を運転者に報知できる。
　本発明の車両周辺監視装置において、前記警報処理部は、撮像画像から当該監視対象物を検出した回数が過去の所定期間において所定回数以上である場合に、前記監視対象物が前記報知領域に存在すると推定することが好ましい。
　当該構成の車両周辺監視装置によれば、撮像画像から監視対象物を検出した回数が過去の所定期間において所定回数以上である場合に前記監視対象物が前記報知領域に存在すると推定されるので、当該監視対象物が報知領域に実際に存在する蓋然性が高い場合に報知がなされる。したがって、当該構成の車両周辺監視装置によれば、より適切に監視対象物の存在を運転者に報知できる。
　本発明の車両周辺監視装置において、前記警報処理部は、前記監視対象物が検出されなくなってから所定時間以内である場合に、前記監視対象物が前記報知領域に存在すると推定することが好ましい。
　過去に監視対象物が検出されたとしても、時間の経過により、当該監視対象物が報知領域に存在している蓋然性は低くなる。この点に着目して構成された当該構成の車両周辺監視装置によれば、監視対象物が検出されなくなってから所定時間以内である場合に報知領域に当該監視対象物が存在すると推定される。これにより、監視対象物が報知領域に存在するか否かが精度よく推定される。
　本発明の車両周辺監視装置において、前記警報処理部は、前記過去の撮像画像において検出された監視対象物の自車両に対する相対速度に基づいて現在の監視対象物が前記報知領域に存在するか否かを推定することが好ましい。
　当該構成の車両周辺監視装置によれば、車両との相対速度に基づいて監視対象物が報知領域に存在するか否かが推定される。この結果、監視対象物が移動する物体であったとしても、監視対象物が報知領域に存在するか否かが精度よく推定される。
　本発明の車両は、過去の撮像画像において検出された監視対象物が、最新の撮像画像から検出されなかった場合において、実空間上の報知領域に当該監視対象物が存在するか否かを前記過去の撮像画像に基づいて推定し、当該監視対象物が当該報知領域に存在すると推定される場合に前記運転者に報知する警報処理部を備えることを特徴とする。
　本発明の車両によれば、上述した本発明の車両周辺監視装置と同様の作用効果を得ることができる。
　本発明の車両周辺監視方法は、過去の撮像画像において検出された監視対象物が、最新の撮像画像から検出されなかった場合において、実空間上の報知領域に当該監視対象物が存在するか否かを前記過去の撮像画像に基づいて推定し、当該監視対象物が当該報知領域に存在すると推定される場合に前記運転者に報知する警報処理工程を含むことを特徴とする。
　本発明の車両周辺監視方法を車両に適用して実施することによって、上述した本発明の車両周辺監視装置と同様の作用効果を得ることができる。
車両周辺監視装置の構成図。 車両周辺監視処理のフローチャート。 車両周辺監視処理のフローチャート。 過去に対象物を検出した場合の過去の実空間上の対象物と車両との位置関係を示す図。 対象物を検出できない場合の現在の実空間上の対象物と車両との位置関係を示す図。
　本発明の車両周辺監視装置の実施形態について、図１～図３を参照して説明する。
　（車両周辺監視装置の構成）
　図１を参照して、車両周辺監視装置１０は、カメラ２（カラーカメラ）、車速センサ３、スピーカ５、表示器６を備えた車両１（本発明の車両に相当する）に搭載されている。
　車両周辺監視装置１０は、図示しないＣＰＵ、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持された車両周辺監視用のプログラムをＣＰＵで実行することにより、画像取得部１１、エッジ画像生成部１２、対象物情報取得部１３、対象画像部分抽出部１４、警報要否判定部１５、及び報知部１６として機能する。また、車両周辺監視装置１０により、本発明の車両周辺監視方法が実施される。
　なお、対象物情報取得部１３、対象画像部分抽出部１４、警報要否判定部１５、及び報知部１６により本発明の「警報処理部」が構成される。
　車両周辺監視装置１０は、メモリ又はハードディスクで構成された記憶部２０を備える。記憶部２０は、撮像画像記憶部２１ａ、エッジ画像記憶部２１ｂ及び対象物情報記憶部２２を備える。
　（車両周辺監視処理）
　以下、図２Ａ及び図２Ｂに示したフローチャートに従って、車両周辺監視装置１０により、車両１の周辺に存在する監視対象物Ｗを検出し、運転者に対して車両周辺に監視対象物Ｗが存在することを報知する処理について説明する。車両周辺監視装置１０は、所定の制御周期毎に図２Ａ及び図２Ｂに示したフローチャートによる処理を実行する。
　図２Ａ／ＳＴＥＰ１は画像取得部１１による処理である。画像取得部１１は、カメラ２から出力される車両１の前方（本発明の車両周囲に相当する）の映像信号を入力して、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングし、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラーの撮像画像を取得する。取得された撮像画像のデータは撮像画像記憶部２１ａに保持される。
　エッジ画像生成部１２は、撮像画像記憶部２１ａに保存されている撮像画像の各画素のカラー成分を輝度に変換する処理を行って、グレースケール画像（多値画像）を生成する（図２Ａ／ＳＴＥＰ２）。そして、エッジ画像生成部１２は、グレースケール画像からエッジ点（周囲部の画素（画像部分）との輝度差（輝度の変化量）が所定値以上である画素。輝度が暗から明に変化する正のエッジ点、及び輝度が明から暗に変化する負のエッジ点を含む）を抽出して、エッジ画像を生成し、エッジ画像記憶部２１ｂに保存する（図２Ａ／ＳＴＥＰ３）。
　なお、カメラ２がモノクロカメラであるときには、各画素の輝度からグレースケールの撮像画像が得られるので、上述したカラーの撮像画像からグレースケール画像を生成する処理は不要である。
　続く図２Ａ／ＳＴＥＰ４は、対象画像部分抽出部１４による処理である。対象画像部分抽出部１４は、エッジ画像記憶部２１ｂに記憶されたエッジ画像に対して、ひとかたまりになっているエッジ点（以下、エッジ部分という）にラベルを付するラべリングと、近接したエッジ部分を同一物体の画像部分であるとして関連付けるクラスタリングを行う。
　続く図２Ｂ／ＳＴＥＰ５は、対象物情報取得部１３による処理である。対象物情報取得部１３は、対象物情報記憶部２２に記憶されている複数の対象物情報から、車両１に最も近い立体物（車両１（カメラ２）との距離が最も短い立体物）の情報を対象物Ｗの情報として取得する。
　ここで、対象物Ｗの情報としては、後述する図２Ｂ／ＳＴＥＰ９の処理で対象物情報記憶部２２に保存された対象物Ｗの過去の情報のうち、最後の撮像時点における当該対象物Ｗの画像部分の重心、当該対象物Ｗの画像部分の面積、カメラ２から当該対象物Ｗまでの実空間上の距離、当該対象物Ｗの画像部分の外接四角形の縦横比（ＡＳＰＥＣＴ比）及び車両１からみた当該対象物Ｗの相対速度が読み込まれる。以下、これらの情報を、それぞれ、過去重心、過去面積、過去距離、過去縦横比及び過去速度という。
　図２Ｂ／ＳＴＥＰ６は、対象画像部分抽出部１４による処理である。対象画像部分抽出部１４は、図２Ａ／ＳＴＥＰ３で生成された最新の撮像画像（エッジ画像）から、対象物情報取得部１３により取得された対象物Ｗと同一の対象物Ｗの画像部分を抽出する。
　より詳しくは、対象画像部分抽出部１４は、エッジ画像記憶部２１ｂを参照して、図２Ａ／ＳＴＥＰ３で生成された最新の撮像画像内において、以下の条件（ａ）、（ｂ）及び（ｃ）の条件をすべて満たす画像部分を抽出する。
　なお、図２Ａ／ＳＴＥＰ３で生成された最新画像の各画像部分について、当該画像部分の重心、当該画像部分の面積、カメラ２から当該画像部分に相当する対象物Ｗまでの実空間上の距離、当該画像部分の外接四角形の縦横比（ＡＳＰＥＣＴ比）及び車両１からみた当該対象物Ｗの相対速度をそれぞれ、最新重心、最新面積、最新距離、最新縦横比及び最新速度という。なお、車両１からみた当該対象物Ｗの相対速度として、車速センサ３に示される車両１の速度が採用されてもよい。
　（ａ）　過去重心の位置座標を（ｘ０，ｙ０）とし、最新重心の位置座標を（ｘ１，ｙ１）としたときに、以下の式（１）及び式（２）の関係を満たすこと。
Figure JPOXMLDOC01-appb-M000001
但し、Ｐｘ：ｘ方向（水平方向）の画像上の移動量の許容値。
Figure JPOXMLDOC01-appb-M000002
但し、Ｐｙ：ｙ方向（垂直方向）の画像上の移動量の許容値。
　（ｂ）　過去面積をＳ０とし、最新面積をＳ１としたときに、以下の式（３）の関係を満たすこと。
Figure JPOXMLDOC01-appb-M000003
　但し、Ｐｓ：面積変化の許容値。
　（ｃ）　過去縦横比をＡＳ０とし、最新縦横比をＡＳ１としたときに、以下の式（４）の関係を満たすこと。
Figure JPOXMLDOC01-appb-M000004
　但し、Ｐａｓ：縦横比変化の許容値。
　続く図２Ｂ／ＳＴＥＰ７において、対象画像部分抽出部１４は、対象物情報取得部１３により取得された対象物Ｗと同一の物体の画像部分を抽出できたか否かを判定する。
　当該判定結果が肯定的である場合（図２Ｂ／ＳＴＥＰ７‥ＹＥＳ）、対象画像部分抽出部１４は、最新重心、最新面積、最新距離、最新縦横比及び最新速度を対象物情報記憶部２２に記憶する（図２Ｂ／ＳＴＥＰ８）。続く図２Ｂ／ＳＴＥＰ９において、警報要否判定部１５は、最新重心、最新面積、最新距離、最新縦横比及び最新速度に基づいて対象物Ｗと車両１とが接触する可能性があるか否かを判定する。当該判定結果が肯定的である場合（図２Ｂ／ＳＴＥＰ９‥ＹＥＳ）、報知部１６は、スピーカ５及び表示器６の少なくとも一方を介して運転者に対し、車両１と接触する可能性がある対象物Ｗが車両１の周辺に存在する旨を警告する（図２Ｂ／ＳＴＥＰ１０）。
　他方、図２Ｂ／ＳＴＥＰ７の判定結果が否定的である場合（図２Ｂ／ＳＴＥＰ７‥ＮＯ）、警報要否判定部１５は、対象物情報記憶部２２に記憶された対象物Ｗの情報を参照することにより、過去の所定期間における複数の撮像画像のうち、対象物Ｗが検出された撮像画像の数が所定数以上か否かを判定する（図２Ｂ／ＳＴＥＰ１１）。
　当該判定結果が否定的である場合（図２Ｂ／ＳＴＥＰ１１‥ＮＯ）、車両周辺監視装置１０は、図２Ｂ／ＳＴＥＰ１７以下の処理を実行する。
　当該判定結果が肯定的である場合（図２Ｂ／ＳＴＥＰ１１‥ＹＥＳ）、警報要否判定部１５は、過去撮像時点の対象物Ｗが実空間上の所定の警戒領域Ｄ１に存在するか否かを判定する（図２Ｂ／ＳＴＥＰ１２）。警戒領域Ｄ１とは、車両１の前方に定められる所定の領域であり、本実施形態では、図３Ａに示されるように、車両１の進行方向の長さがｄ１、車両１の車幅方向の長さがｗ１の領域である。
　車両１の進行方向の長さｄ１は、カメラ２から歩行者の全身像の撮像ができなくなる領域までの距離よりも遠い長さとなるように設定される。なお、歩行者の全身像の撮像ができなくなる距離は、実験的に求められ、定められる。
　また、車両１の車幅方向の長さｗ１は、車両１の車幅と同一又は当該車幅よりも若干短い長さとして設定される。
　当該判定結果が肯定的である場合（図２Ｂ／ＳＴＥＰ１２‥ＹＥＳ）、警報要否判定部１５は、図２Ｂ／ＳＴＥＰ７において当該対象物Ｗを検出できなくなってから経過した時間が所定時間を超過しているか否かを判定する（図２Ｂ／ＳＴＥＰ１３）。
　当該判定結果が否定的である場合（図２Ｂ／ＳＴＥＰ１３‥ＮＯ）、報知部１６は、スピーカ５及び表示器６のうち少なくとも一方を介して運転者に対し、車両１と接触する可能性がある対象物Ｗが車両１の周辺に存在する可能性がある旨を警告する（図２Ｂ／ＳＴＥＰ１４）。すなわち、本実施形態において、図２Ｂ／ＳＴＥＰ１３の判定結果が否定的である場合とは、過去の所定期間において対象物Ｗが所定回数以上の検出され（図２Ｂ／ＳＴＥＰ１１‥ＹＥＳ）、かつ、最後に検出されたときの対象物Ｗが警戒領域Ｄ１に存在し（図２Ｂ／ＳＴＥＰ１２‥ＹＥＳ）、かつ、不検出となってからの経過時間が所定時間以内であるから（図２Ｂ／ＳＴＥＰ１３‥ＮＯ）、対象物Ｗがノイズではなく、かつ、対象物Ｗが最後に検出されたときの位置（警戒領域Ｄ１）からほとんど移動していない場合である。一方で車両１は前方に移動しているので、対象物Ｗが車両１の前方の報知領域Ｄ２に存在していると推定される。このため、報知部１６は、スピーカ５及び表示器６のうち少なくとも一方を介して運転者に対し警告を行う。
　また、図２Ｂ／ＳＴＥＰ１２の判定結果が否定的な場合（図２Ｂ／ＳＴＥＰ１２‥ＮＯ）又は図２Ｂ／ＳＴＥＰ１３の判定結果が肯定的な場合（図２Ｂ／ＳＴＥＰ１３‥ＹＥＳ）、警報要否判定部１５は、過去距離、及び過去速度に基づいて、現在の対象物Ｗの位置を推定する（図２Ｂ／ＳＴＥＰ１５）。なお、警報要否判定部１５は、過去速度に代えて、車速センサ３に示される現在の車両１の速度に基づいて対象物Ｗの現在の位置を推定してもよい。
　続く図２Ｂ／ＳＴＥＰ１６において、警報要否判定部１５は、図２Ｂ／ＳＴＥＰ１５で推定された対象物Ｗの位置が報知領域Ｄ２に含まれるか否かを判定する。
　報知領域Ｄ２とは、車両１の前方に定められる所定の領域であり、本実施形態では、図３Ｂに示されるように、車両１の進行方向の長さがｄ２、車両１の車幅方向の長さがｗ２の領域である。
　車両１の進行方向の長さｄ２は、カメラ２から歩行者の全身像の撮像ができなくなる領域までの距離よりも短い長さとなるように設定される。なお、歩行者の全身像の撮像ができなくなる距離は、実験的に求められ、定められる。
　また、車両１の車幅方向の長さｗ２は、車両１の車幅と同一の長さとして設定される。
　当該判定結果が肯定的である場合（図２Ｂ／ＳＴＥＰ１６‥ＹＥＳ）、報知部１６は、スピーカ５及び表示器６のうち少なくとも一方を介して運転者に対し、車両１と接触する可能性がある対象物Ｗが車両１の周辺に存在する可能性がある旨を警告する（図２Ｂ／ＳＴＥＰ１４）。
　図２Ｂ／ＳＴＥＰ１１の判定結果が否定的である場合（図２Ｂ／ＳＴＥＰ１１‥ＮＯ）、図２Ｂ／ＳＴＥＰ１４の処理の後、図２Ｂ／ＳＴＥＰ１６の判定結果が否定的である場合（図２Ｂ／ＳＴＥＰ１６‥ＮＯ）、又は図２Ｂ／ＳＴＥＰ１０の処理の後、対象画像部分抽出部１４は、対象物情報記憶部２２に記憶されている全ての対象物Ｗに対し、図２Ｂ／ＳＴＥＰ５～図２Ｂ／ＳＴＥＰ１６の処理を行ったか否かを判定する（図２Ｂ／ＳＴＥＰ１７）。当該判定結果が否定的である場合（図２Ｂ／ＳＴＥＰ１７‥ＮＯ）、車両周辺監視装置１０は、未処理の対象物Ｗに対し、図２Ｂ／ＳＴＥＰ５以下の処理を実行する。当該判定結果が肯定的である場合（図２Ｂ／ＳＴＥＰ１７‥ＹＥＳ）、車両周辺監視装置１０は、車両周辺監視処理の今回周期の処理を終了する。
　なお、図２Ｂ／ＳＴＥＰ５～図２Ｂ／ＳＴＥＰ７及び図２Ｂ／ＳＴＥＰ１１～図２Ｂ／ＳＴＥＰ１６が本発明の「警報処理工程」に相当する。
　（本実施形態の作用効果）
　当該構成の車両周辺監視装置１０によれば、最新の撮像画像から監視対象物Ｗが検出されなかった場合でも（図２Ｂ／ＳＴＥＰ７‥ＮＯ）、過去の撮像画像に基づいて報知領域Ｄ２に当該監視対象物Ｗが存在すると推定される場合には（図２Ｂ／ＳＴＥＰ１１‥ＹＥＳ，図２Ｂ／ＳＴＥＰ１２‥ＹＥＳかつ図２Ｂ／ＳＴＥＰ１３‥ＮＯ、又は図２Ｂ／ＳＴＥＰ１６‥ＹＥＳ）、運転者に報知がなされる。この結果、検出されなかった監視対象物Ｗを検出するための最新の撮像画像の解析が不要となるので、計算量及びメモリ使用量を抑えながら、適切に監視対象物Ｗの存在を運転者に報知できる。
　当該構成の車両周辺監視装置１０によれば、過去の撮像時点において自車両の近傍に存在していた監視対象物Ｗについて、他の条件充足を要件として最新の撮像時点において当該監視対象物Ｗが報知領域Ｄ２内に存在すると推定するので（図２Ｂ／ＳＴＥＰ１２‥ＹＥＳ以下の処理参照）、より適切に監視対象物Ｗの存在を運転者に報知できる。
　当該構成の車両周辺監視装置１０によれば、撮像画像から監視対象物Ｗを検出した回数が過去の所定期間において所定回数以上である場合に他の条件充足を要件として前記監視対象物Ｗが報知領域Ｄ２に存在すると推定されるので、当該監視対象物Ｗが報知領域Ｄ２に実際に存在する蓋然性が高い場合に報知がなされる。したがって、当該構成の車両周辺監視装置１０によれば、より適切に監視対象物Ｗの存在を運転者に報知できる。
　過去に監視対象物Ｗが検出されたとしても、時間の経過により、当該監視対象物Ｗが報知領域Ｄ２に存在している蓋然性は低くなる。この点に着目して構成された当該構成の車両周辺監視装置１０によれば、監視対象物Ｗが検出されなくなってから所定時間以内である場合に他の条件充足を要件として報知領域Ｄ２に当該監視対象物Ｗが存在すると推定される（図２Ｂ／ＳＴＥＰ１３‥ＮＯ）。これにより、監視対象物Ｗが実際に報知領域Ｄ２に存在する蓋然性が高い場合に運転者に報知をすることができる。
　当該構成の車両周辺監視装置１０によれば、車両１との相対速度に基づいて監視対象物Ｗが報知領域Ｄ２に存在するか否かが推定される（図２Ｂ／ＳＴＥＰ１５～図２Ｂ／ＳＴＥＰ１６）。この結果、監視対象物Ｗが移動する物体であったとしても、監視対象物Ｗが報知領域Ｄ２に存在するか否かが精度よく推定される。
　また、本実施形態においては、過去の撮像時点において監視対象物Ｗが警戒領域Ｄ１に存在し（図２Ｂ／ＳＴＥＰ１２‥ＹＥＳ）、かつ、不検出となってからの経過時間が所定時間以内である場合（図２Ｂ／ＳＴＥＰ１３‥ＮＯ）に警報処理がなされ、過去の撮像時点において監視対象物Ｗが警戒領域Ｄ１に存在しないか（図２Ｂ／ＳＴＥＰ１２‥ＮＯ）、又は不検出となってからの経過時間が所定時間以上である場合（図２Ｂ／ＳＴＥＰ１３‥ＹＥＳ）に最新の撮像時点における監視対象物Ｗの位置を推定した上で警報処理をするか否かが判定されている（図２Ｂ／ＳＴＥＰ１５～図２Ｂ／ＳＴＥＰ１６）。
　これは、過去の撮像時点において監視対象物Ｗが警戒領域Ｄ１に存在し（図２Ｂ／ＳＴＥＰ１２‥ＹＥＳ）、かつ、不検出となってからの経過時間が所定時間以内である場合（図２Ｂ／ＳＴＥＰ１３‥ＮＯ）は、監視対象物Ｗの移動量によらず、最新の撮像時点において監視対象物Ｗが車両１と接触する可能性がある領域（報知領域Ｄ２）に存在すると推察されるため、運転者に報知する必要性が高い。一方で、過去の撮像時点において監視対象物Ｗが警戒領域Ｄ１に存在しないか（図２Ｂ／ＳＴＥＰ１２‥ＮＯ）、又は不検出となってからの経過時間が所定時間以上である場合（図２Ｂ／ＳＴＥＰ１３‥ＹＥＳ）は、監視対象物Ｗの車両１に対する移動量次第で、車両１と監視対象物Ｗとが接触する可能性がある報知領域Ｄ２に監視対象物Ｗが存在する可能性がある。このため、警報要否判定部１５は、監視対象物Ｗの過去距離及び過去速度に基づいて最新の撮像時点における監視対象物Ｗの位置を推定している（図２Ｂ／ＳＴＥＰ１６）。この処理により、不必要な警報処理を減らしながら、適切に運転者に警報をなしうる。
　（他の実施形態）
　図２Ｂ／ＳＴＥＰ１１～図２Ｂ／ＳＴＥＰ１３及び図２Ｂ／ＳＴＥＰ１５～図２Ｂ／ＳＴＥＰ１６のうち、一部の処理が省略されてもよい。
　図２Ｂ／ＳＴＥＰ１５及び図２Ｂ／ＳＴＥＰ１６の処理の後に図２Ｂ／ＳＴＥＰ１２の処理が実行されてもよい。
　１…車両（自車両）、２‥カメラ、３‥車速センサ、１０‥車両周辺監視装置、１３‥対象物情報取得部、１４‥対象画像部分抽出部、１５‥警報要否判定部、１６‥報知部、Ｗ‥対象物（監視対象物）、Ｄ２‥報知領域。

Claims (7)

  1. 　カメラにより得られる複数時点の自車両周辺の撮像画像から、監視対象物を検出して、当該監視対象物が自車両周辺に存在することを自車両の運転者に報知する車両周辺監視装置であって、
    　過去の撮像画像において検出された監視対象物が、最新の撮像画像から検出されなかった場合において、実空間上の報知領域に当該監視対象物が存在するか否かを前記過去の撮像画像に基づいて推定し、当該監視対象物が当該報知領域に存在すると推定される場合に前記運転者に報知する警報処理部を備えることを特徴とする車両周辺監視装置。
  2. 　請求項１記載の車両周辺監視装置において、
    　前記警報処理部は、前記過去の撮像画像から検出された前記監視対象物と自車両との自車両の進行方向の距離が所定の第１距離以下であるという条件、及び当該監視対象物と自車両との自車両の車幅方向の距離が所定の第２距離以下であるという条件のうち少なくとも一方の条件が満たされる場合に、前記監視対象物が前記報知領域に存在すると推定することを特徴とする車両周辺監視装置。
  3. 　請求項１又は２記載の車両周辺監視装置において、
    　前記警報処理部は、撮像画像から当該監視対象物が検出された回数が過去の所定期間において所定回数以上である場合に、前記監視対象物が前記報知領域に存在すると推定することを特徴とする車両周辺監視装置。
  4. 　請求項１～３のうちいずれか１項記載の車両周辺監視装置において、
    　前記警報処理部は、前記監視対象物が検出されなくなってから所定時間以内である場合に、前記監視対象物が前記報知領域に存在すると推定することを特徴とする車両周辺監視装置。
  5. 　請求項１～４のうちいずれか１項記載の車両周辺監視装置において、
    　前記警報処理部は、前記過去の撮像画像において検出された監視対象物の自車両に対する相対速度に基づいて現在の監視対象物が前記報知領域に存在するか否かを推定することを特徴とする車両周辺監視装置。
  6. 　カメラにより得られる複数時点の自車両周辺の撮像画像から、監視対象物を検出して、当該監視対象物が自車両周辺に存在することを自車両の運転者に報知する車両であって、
    　過去の撮像画像において検出された監視対象物が、最新の撮像画像から検出されなかった場合において、実空間上の報知領域に当該監視対象物が存在するか否かを前記過去の撮像画像に基づいて推定し、当該監視対象物が当該報知領域に存在すると推定される場合に前記運転者に報知する警報処理部を備えることを特徴とする車両。
  7. 　カメラにより得られる複数時点の自車両周辺の撮像画像から、監視対象物を検出して、当該監視対象物が自車両周辺に存在することを自車両の運転者に報知する車両周辺監視方法であって、
    　本発明の車両周辺監視方法は、過去の撮像画像において検出された監視対象物が、最新の撮像画像から検出されなかった場合において、実空間上の報知領域に当該監視対象物が存在するか否かを前記過去の撮像画像に基づいて推定し、当該監視対象物が当該報知領域に存在すると推定される場合に前記運転者に報知する警報処理工程を含むことを特徴とする車両周辺監視方法。
PCT/JP2015/056823 2014-06-03 2015-03-09 車両周辺監視装置 Ceased WO2015186395A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016525715A JP6333975B2 (ja) 2014-06-03 2015-03-09 車両周辺監視装置
CN201580028149.3A CN106415662B (zh) 2014-06-03 2015-03-09 车辆周围监视装置
US15/315,251 US10525900B2 (en) 2014-06-03 2015-03-09 Vehicle periphery monitoring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014115171 2014-06-03
JP2014-115171 2014-06-03

Publications (1)

Publication Number Publication Date
WO2015186395A1 true WO2015186395A1 (ja) 2015-12-10

Family

ID=54766476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/056823 Ceased WO2015186395A1 (ja) 2014-06-03 2015-03-09 車両周辺監視装置

Country Status (4)

Country Link
US (1) US10525900B2 (ja)
JP (1) JP6333975B2 (ja)
CN (1) CN106415662B (ja)
WO (1) WO2015186395A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109094458A (zh) * 2018-08-20 2018-12-28 特治（深圳）智能科技实业有限公司 车辆安全驾驶的控制方法及用于车辆安全驾驶的控制装置
JP2019096125A (ja) * 2017-11-24 2019-06-20 トヨタ自動車株式会社 注意喚起システム
JP2022011933A (ja) * 2020-06-30 2022-01-17 トヨタ自動車株式会社 判定装置及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6556563B2 (ja) * 2015-08-31 2019-08-07 株式会社東芝 検出装置、検出方法、検出プログラムおよび情報処理システム
JP7298435B2 (ja) * 2019-10-11 2023-06-27 株式会社デンソー 車両用周辺監視装置及び車両用周辺監視方法
JP7471878B2 (ja) * 2020-03-18 2024-04-22 東芝テック株式会社 映像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338611A (ja) * 2005-06-06 2006-12-14 Matsushita Electric Ind Co Ltd 移動物体検出装置
JP2008186170A (ja) * 2007-01-29 2008-08-14 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2009276200A (ja) * 2008-05-14 2009-11-26 Hitachi Ltd 車載用物体検知装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
JP4203512B2 (ja) * 2006-06-16 2009-01-07 本田技研工業株式会社 車両周辺監視装置
JP2008021034A (ja) 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
JP5483535B2 (ja) * 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
JP5603835B2 (ja) * 2011-06-27 2014-10-08 クラリオン株式会社 車両周囲監視装置
TWI468647B (zh) * 2011-10-13 2015-01-11 Altek Autotronics Corp 障礙物偵測系統及其障礙物偵測方法
JP5880309B2 (ja) 2012-06-22 2016-03-09 トヨタ紡織株式会社 車両用シート
JP2014006700A (ja) 2012-06-25 2014-01-16 Mitsubishi Motors Corp 歩行者検出装置
JP2014048978A (ja) * 2012-08-31 2014-03-17 Denso Corp 移動体警告装置、および移動体警告方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338611A (ja) * 2005-06-06 2006-12-14 Matsushita Electric Ind Co Ltd 移動物体検出装置
JP2008186170A (ja) * 2007-01-29 2008-08-14 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2009276200A (ja) * 2008-05-14 2009-11-26 Hitachi Ltd 車載用物体検知装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019096125A (ja) * 2017-11-24 2019-06-20 トヨタ自動車株式会社 注意喚起システム
CN109094458A (zh) * 2018-08-20 2018-12-28 特治（深圳）智能科技实业有限公司 车辆安全驾驶的控制方法及用于车辆安全驾驶的控制装置
JP2022011933A (ja) * 2020-06-30 2022-01-17 トヨタ自動車株式会社 判定装置及びプログラム
JP7380449B2 (ja) 2020-06-30 2023-11-15 トヨタ自動車株式会社 判定装置及びプログラム

Also Published As

Publication number Publication date
JPWO2015186395A1 (ja) 2017-04-20
CN106415662B (zh) 2020-06-19
JP6333975B2 (ja) 2018-05-30
US10525900B2 (en) 2020-01-07
CN106415662A (zh) 2017-02-15
US20170190301A1 (en) 2017-07-06

Similar Documents

Publication Publication Date Title
JP5480925B2 (ja) 車両周辺監視装置
WO2015186395A1 (ja) 車両周辺監視装置
JP6764481B2 (ja) 監視装置
US9950667B2 (en) Vehicle system for detecting object and operation method thereof
JP5809751B2 (ja) 対象物認識装置
KR102474837B1 (ko) 전경 추출 방법 및 장치
JP2007310705A (ja) 車両周辺監視装置
KR101239718B1 (ko) 차량 주변 물체 검출 시스템 및 방법
US9365195B2 (en) Monitoring method of vehicle and automatic braking apparatus
JP4173902B2 (ja) 車両周辺監視装置
JP4884096B2 (ja) 物体識別システム
JP2017215743A (ja) 画像処理装置、外界認識装置
JP5502149B2 (ja) 車両周辺監視装置
JP6593791B2 (ja) 炎検出装置および炎検出方法
JP6431299B2 (ja) 車両周辺監視装置
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4772622B2 (ja) 周辺監視システム
US20170301106A1 (en) Image processing apparatus, method of controlling the same, and storage medium
TWI579173B (zh) 基於耳朵影像角度變化的駕駛疲勞監控與偵測方法
JPWO2012160657A1 (ja) 物体接近検知装置、物体接近検知方法、及びプログラム
KR101155273B1 (ko) 적응적 배경 기반의 터널 감시장치 및 방법
JP2008257399A (ja) 画像処理装置
JP2010160770A (ja) 歩行者検出装置
JP7267221B2 (ja) 処理装置、処理方法、推定システム及びプログラム
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15803685

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016525715

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15315251

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15803685

Country of ref document: EP

Kind code of ref document: A1