[go: up one dir, main page]

WO2021075377A1 - 物体検知装置、物体検知方法、および物体検知プログラム - Google Patents

物体検知装置、物体検知方法、および物体検知プログラム Download PDF

Info

Publication number
WO2021075377A1
WO2021075377A1 PCT/JP2020/038319 JP2020038319W WO2021075377A1 WO 2021075377 A1 WO2021075377 A1 WO 2021075377A1 JP 2020038319 W JP2020038319 W JP 2020038319W WO 2021075377 A1 WO2021075377 A1 WO 2021075377A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
point
moving
object detection
position coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/038319
Other languages
English (en)
French (fr)
Inventor
陽平 鈴木
嘉紀 早川
田中　秀典
明宏 貴田
邦泰 杉原
豊 濱本
真澄 福万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Priority to JP2021552369A priority Critical patent/JP7236556B2/ja
Publication of WO2021075377A1 publication Critical patent/WO2021075377A1/ja
Priority to US17/658,979 priority patent/US12469304B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present disclosure relates to an object detection device configured to detect an object existing around the own vehicle by being mounted on the own vehicle.
  • the present disclosure also relates to an object detection method for detecting an object existing around the own vehicle.
  • the present disclosure also relates to an object detection program executed by such an object detection device.
  • the obstacle detection system described in Patent Document 1 is known.
  • Such an obstacle detection system is mounted on a moving vehicle and detects an obstacle behind the vehicle using an image captured by an imaging unit.
  • the movement detection unit detects that the vehicle has moved a certain amount from the position where the image pickup unit has captured the first image.
  • the image acquisition unit acquires a first image and a second image as an image when the movement detection unit detects that the vehicle has moved a certain amount, and supplies the second image to the obstacle detection unit.
  • the obstacle detection unit measures the distance to the object by the moving stereo method using the first image and the second image.
  • the mobile stereo method uses two images taken at different positions at different times with one camera, detects the three-dimensional position of the object in the image by the principle of triangulation, and detects whether it is an obstacle or not. To do.
  • the obstacle detection system described in Patent Document 1 is based on the premise that the object to be detected is a stationary object when detecting the three-dimensional position of the object in the image by the principle of triangulation in the mobile stereo system. Therefore, when the object to be detected is a moving object, the error in the three-dimensional position of the object becomes large.
  • the object detection result including the three-dimensional position with a large error cannot be satisfactorily used for vehicle control.
  • This disclosure has been made in view of the circumstances exemplified above. That is, the present disclosure provides, for example, an object detection result that can be satisfactorily used for vehicle control.
  • the object detection device is configured to detect an object existing around the own vehicle by being mounted on the own vehicle.
  • This object detection device Coordinate acquisition that acquires the position coordinates of the detection point corresponding to the object based on a plurality of captured images taken at different positions of the own vehicle as the own vehicle moves by one imaging unit mounted on the own vehicle.
  • Department and An object recognition unit that recognizes an object by using the position coordinates of a stop point, which is a detection point different from the moving point, without using the position coordinates of the moving point, which is a detection point corresponding to the moving object. It has.
  • the object detection method is a method of detecting an object existing around the own vehicle, and includes the following procedure or processing:
  • One imaging unit mounted on the own vehicle acquires the position coordinates of the detection point corresponding to the object based on a plurality of captured images taken at different positions of the own vehicle as the own vehicle moves.
  • the object is recognized by using the position coordinates of the stop point, which is a detection point different from the moving point, without using the position coordinates of the moving point, which is the detection point corresponding to the moving object.
  • the object detection program is executed by an object detection device configured to detect an object existing around the own vehicle by being mounted on the own vehicle.
  • the process executed by the object detection device is A process of acquiring the position coordinates of a detection point corresponding to an object based on a plurality of captured images taken at different positions of the own vehicle as the own vehicle moves by one imaging unit mounted on the own vehicle.
  • each element may have a reference code in parentheses.
  • the reference numeral merely indicates an example of the correspondence between the same element and the specific configuration described in the embodiment described later. Therefore, the present disclosure is not limited to the description of the reference code.
  • FIG. 1 It is a top view which shows the schematic structure of the vehicle which mounted the object detection device which concerns on embodiment. It is a block diagram which shows the schematic functional structure in one Embodiment of the object detection apparatus shown in FIG. It is a conceptual diagram which shows the operation example of the object detection apparatus shown in FIG. It is a flowchart which shows the operation example of the object detection apparatus shown in FIG.
  • the vehicle 10 is a so-called four-wheeled vehicle, and includes a vehicle body 11 having a substantially rectangular shape in a plan view.
  • a virtual straight line that passes through the center of the vehicle 10 in the vehicle width direction and is parallel to the vehicle overall length direction of the vehicle 10 is referred to as a vehicle center axis LC.
  • the vehicle width direction is the left-right direction in the figure.
  • the vehicle overall length direction is a direction orthogonal to the vehicle width direction and orthogonal to the vehicle height direction.
  • the vehicle height direction is a direction that defines the vehicle height of the vehicle 10, and is a direction parallel to the direction of gravity action when the vehicle 10 is stably placed on a horizontal plane in a state where it can travel. Further, an arbitrary direction orthogonal to the vehicle height direction in which the vehicle 10 moves due to traveling may be referred to as a "translational direction" of the vehicle 10.
  • the vehicle overall length direction is synonymous with the front-rear direction.
  • the vehicle width direction is synonymous with the left-right direction.
  • the vehicle height direction may not be parallel to the gravitational action direction depending on the mounting conditions or traveling conditions of the vehicle 10. However, the vehicle height direction is often the direction along the gravitational action direction. Therefore, the "translational direction" orthogonal to the vehicle height direction can also be referred to as a "horizontal direction", an "in-plane direction”, an “approaching direction”, a "traveling direction”, or a "course direction”.
  • a front bumper 13 is attached to the front portion 12 which is the front end portion of the vehicle body 11.
  • a rear bumper 15 is attached to a rear surface portion 14 which is a rear end portion of the vehicle body 11.
  • a door panel 17 is attached to the side surface portion 16 of the vehicle body 11. In the specific example shown in FIG. 1, a total of four door panels 17 are provided, two on each side.
  • Door mirrors 18 are attached to each of the pair of left and right door panels 17 on the front side.
  • the vehicle 10 is equipped with an object detection device 20.
  • the object detection device 20 is configured to be mounted on the vehicle 10 to detect an object B existing outside the vehicle 10 and around the vehicle 10.
  • the vehicle 10 equipped with the object detection device 20 may be abbreviated as "own vehicle 10".
  • the object detection device 20 includes an image pickup unit 21, a sonar sensor 22, a radar sensor 23, a vehicle speed sensor 24, a shift position sensor 25, a steering angle sensor 26, an object detection ECU 27, and a display unit. 28 and an audio output unit 29 are provided.
  • ECU is an abbreviation for Electronic Control Unit.
  • the imaging unit 21 is mounted on the own vehicle 10 so as to move along with the movement of the own vehicle 10 while taking an image of the surroundings of the own vehicle 10.
  • the imaging unit 21 is configured to generate image information corresponding to the captured image of the surroundings of the own vehicle 10.
  • the imaging unit 21 is a digital camera device and includes an image sensor such as a CCD or CMOS.
  • CCD is an abbreviation for Charge Coupled Device.
  • CMOS is an abbreviation for Complementary MOS.
  • the vehicle 10 is equipped with a plurality of imaging units 21, that is, a front camera CF, a rear camera CB, a left side camera CL, and a right side camera CR.
  • imaging units 21 that is, a front camera CF, a rear camera CB, a left side camera CL, and a right side camera CR.
  • imaging unit 21 or “multiple imaging units” is hereinafter used.
  • the expression “21” may be used.
  • the front camera CF is mounted on the front portion 12 of the vehicle body 11 so as to acquire image information corresponding to the image in front of the own vehicle 10.
  • the rear camera CB is mounted on the rear surface portion 14 of the vehicle body 11 so as to acquire image information corresponding to the image behind the own vehicle 10.
  • the left camera CL is attached to the left door mirror 18 so as to acquire image information corresponding to the image on the left side of the own vehicle 10.
  • the right camera CR is attached to the right door mirror 18 so as to acquire image information corresponding to the image on the right side of the own vehicle 10.
  • Each of the plurality of imaging units 21 is connected to the object detection ECU 27 via an in-vehicle communication line so that information can be communicated. That is, each of the plurality of imaging units 21 is adapted to output the acquired or generated image information so that it can be received by the object detection ECU 27.
  • the sonar sensor 22 is a distance measuring sensor that detects the distance to the object B, and is mounted on the vehicle body 11.
  • the sonar sensor 22 is a so-called ultrasonic sensor, which is configured to transmit an ultrasonic exploration wave toward the outside of the own vehicle 10 and to be able to receive a received wave including an ultrasonic wave.
  • the sonar sensor 22 is provided so as to output the ranging information which is the detection result of the distance from the ranging point on the object B by receiving the received wave including the reflected wave by the object B of the exploration wave.
  • the “distance measuring point” is a point on the surface of the object B that is presumed to have reflected the exploration wave transmitted from the sonar sensor 22, and corresponds to the “reflection point” of the radar sensor 23.
  • the object detection device 20 includes at least one sonar sensor 22. Specifically, in the present embodiment, a plurality of sonar sensors 22 are provided. The plurality of sonar sensors 22 are arranged so as to be shifted from the vehicle center axis LC to any one side in the vehicle width direction. Further, at least a part of the plurality of sonar sensors 22 is provided so as to transmit an exploration wave along a direction intersecting the vehicle center axis LC.
  • the front bumper 13 is equipped with the first front sonar SF1, the second front sonar SF2, the third front sonar SF3, and the fourth front sonar SF4 as sonar sensors 22.
  • the rear bumper 15 is equipped with a first rear sonar SR1, a second rear sonar SR2, a third rear sonar SR3, and a fourth rear sonar SR4 as sonar sensors 22.
  • a first side sonar SS1, a second side sonar SS2, a third side sonar SS3, and a fourth side sonar SS4 as sonar sensors 22 are mounted on the side surface portion 16 of the vehicle body 11.
  • first sonar sensor 22 is referred to as a "first sonar sensor”
  • second sonar sensor another sonar sensor 22 is referred to as a “second sonar sensor”
  • direct wave and indirect wave are defined as follows.
  • the received wave received by the first sonar sensor and caused by the reflected wave of the exploration wave transmitted from the first sonar sensor by the object B is referred to as a "direct wave”. That is, the direct wave is the received wave when the sonar sensor 22 that transmits the exploration wave and the sonar sensor 22 that detects the reflected wave by the object B of the exploration wave as the received wave are the same.
  • the received wave received by the second sonar sensor and caused by the reflected wave of the exploration wave transmitted from the first sonar sensor by the object B is referred to as an "indirect wave". That is, the indirect wave is the received wave when the sonar sensor 22 that transmits the exploration wave and the sonar sensor 22 that detects the reflected wave by the object B of the exploration wave as the received wave are different.
  • the first front sonar SF1 is provided at the left end portion on the front surface of the front bumper 13 so as to transmit an exploration wave to the left front of the own vehicle 10.
  • the second front sonar SF2 is provided at the right end portion on the front surface of the front bumper 13 so as to transmit the exploration wave to the right front of the own vehicle 10.
  • the first front sonar SF1 and the second front sonar SF2 are arranged symmetrically with respect to the vehicle center axis LC.
  • the third front sonar SF3 and the fourth front sonar SF4 are arranged in the vehicle width direction at a position closer to the center on the front surface of the front bumper 13.
  • the third front sonar SF3 is arranged between the first front sonar SF1 and the vehicle center axis LC in the vehicle width direction so as to transmit an exploration wave substantially in front of the own vehicle 10.
  • the fourth front sonar SF4 is arranged between the second front sonar SF2 and the vehicle center axis LC in the vehicle width direction so as to transmit an exploration wave substantially in front of the own vehicle 10.
  • the third front sonar SF3 and the fourth front sonar SF4 are arranged symmetrically with respect to the vehicle center axis LC.
  • the first front sonar SF1 and the third front sonar SF3 mounted on the left side of the vehicle body 11 are arranged at different positions in a plan view. Further, the first front sonar SF1 and the third front sonar SF3, which are adjacent to each other in the vehicle width direction, have a positional relationship in which the reflected wave of the exploration wave transmitted by one of them by the object B can be received as a received wave of the other. It is provided.
  • the first front sonar SF1 is arranged so as to be able to receive both the direct wave corresponding to the exploration wave transmitted by itself and the indirect wave corresponding to the exploration wave transmitted by the third front sonar SF3.
  • the third front sonar SF3 is arranged so that both the direct wave corresponding to the exploration wave transmitted by itself and the indirect wave corresponding to the exploration wave transmitted by the first front sonar SF1 can be received.
  • the third front sonar SF3 and the fourth front sonar SF4 mounted closer to the center in the vehicle width direction of the vehicle body 11 are arranged at different positions in a plan view. Further, the third front sonar SF3 and the fourth front sonar SF4, which are adjacent to each other in the vehicle width direction, have a positional relationship in which the reflected wave of the exploration wave transmitted by one of them can be received as a received wave of the other. It is provided.
  • the second front sonar SF2 and the fourth front sonar SF4 mounted on the right side of the vehicle body 11 are arranged at different positions in a plan view. Further, the second front sonar SF2 and the fourth front sonar SF4, which are adjacent to each other in the vehicle width direction, have a positional relationship in which the reflected wave of the exploration wave transmitted by one of them by the object B can be received as a received wave of the other. It is provided.
  • the first rear sonar SR1 is provided at the left end portion on the rear surface of the rear bumper 15 so as to transmit the exploration wave to the left rear of the own vehicle 10.
  • the second rear sonar SR2 is provided at the right end portion on the rear surface of the rear bumper 15 so as to transmit the exploration wave to the right rear of the own vehicle 10.
  • the first rear sonar SR1 and the second rear sonar SR2 are symmetrically arranged with the vehicle center axis LC in between.
  • the third rear sonar SR3 and the fourth rear sonar SR4 are arranged in the vehicle width direction at a position closer to the center on the rear surface of the rear bumper 15.
  • the third rear sonar SR3 is arranged between the first rear sonar SR1 and the vehicle center axis LC in the vehicle width direction so as to transmit an exploration wave substantially behind the own vehicle 10.
  • the fourth rear sonar SR4 is arranged between the second rear sonar SR2 and the vehicle center axis LC in the vehicle width direction so as to transmit an exploration wave substantially behind the own vehicle 10.
  • the third rear sonar SR3 and the fourth rear sonar SR4 are symmetrically arranged with the vehicle center axis LC in between.
  • the first rear sonar SR1 and the third rear sonar SR3 mounted on the left side of the vehicle body 11 are arranged at different positions in a plan view. Further, the first rear sonar SR1 and the third rear sonar SR3, which are adjacent to each other in the vehicle width direction, are provided in a positional relationship in which the reflected wave of the exploration wave transmitted by one of them by the object B can be received as the received wave of the other. ing.
  • the first rear sonar SR1 is arranged so as to be able to receive both the direct wave corresponding to the exploration wave transmitted by itself and the indirect wave corresponding to the exploration wave transmitted by the third rear sonar SR3.
  • the third rear sonar SR3 is arranged so as to be able to receive both the direct wave corresponding to the exploration wave transmitted by itself and the indirect wave corresponding to the exploration wave transmitted by the first rear sonar SR1.
  • the third rear sonar SR3 and the fourth rear sonar SR4 mounted closer to the center in the vehicle width direction of the vehicle body 11 are arranged at different positions in a plan view. Further, the third rear sonar SR3 and the fourth rear sonar SR4, which are adjacent to each other in the vehicle width direction, are provided in a positional relationship in which the reflected wave of the exploration wave transmitted by one of them by the object B can be received as a received wave of the other. ing.
  • the second rear sonar SR2 and the fourth rear sonar SR4 mounted on the right side of the vehicle body 11 are arranged at different positions in a plan view. Further, the second rear sonar SR2 and the fourth rear sonar SR4, which are adjacent to each other in the vehicle width direction, are provided in a positional relationship in which the reflected wave of the exploration wave transmitted by one of them by the object B can be received as a received wave of the other. ing.
  • the first side sonar SS1, the second side sonar SS2, the third side sonar SS3, and the fourth side sonar SS4 transmit the exploration wave from the side surface of the vehicle, which is the outer surface of the side surface portion 16, to the side of the own vehicle 10. It is provided in.
  • the first side sonar SS1, the second side sonar SS2, the third side sonar SS3, and the fourth side sonar SS4 are each provided so as to be able to receive only direct waves.
  • the first side sonar SS1 is arranged between the door mirror 18 on the left side in the front-rear direction and the first front sonar SF1 so as to transmit an exploration wave to the left side of the own vehicle 10.
  • the second side sonar SS2 is arranged between the door mirror 18 on the right side in the front-rear direction and the second front sonar SF2 so as to transmit the exploration wave to the right side of the own vehicle 10.
  • the first side sonar SS1 and the second side sonar SS2 are symmetrically provided with the vehicle center axis LC interposed therebetween.
  • the third side sonar SS3 is arranged between the door panel 17 on the left rear side and the first rear sonar SR1 in the front-rear direction so as to transmit the exploration wave to the left side of the own vehicle 10.
  • the fourth side sonar SS4 is arranged between the door panel 17 on the right rear side and the second rear sonar SR2 in the front-rear direction so as to transmit the exploration wave to the right side of the own vehicle 10.
  • the third side sonar SS3 and the fourth side sonar SS4 are provided symmetrically with respect to the vehicle center axis LC.
  • Each of the plurality of sonar sensors 22 is connected to the object detection ECU 27 via an in-vehicle communication line so that information can be communicated.
  • Each of the plurality of sonar sensors 22 emits an exploration wave under the control of the object detection ECU 27, generates a signal corresponding to the reception result of the received wave, and outputs the signal to be receivable by the object detection ECU 27. ..
  • the information included in the signal corresponding to the reception result of the received wave is hereinafter referred to as "distance measurement information".
  • the distance measurement information includes information related to the reception intensity of the received wave and distance information.
  • the "distance information" is information related to the distance between each of the plurality of sonar sensors 22 and the object B. Specifically, for example, the distance information includes information related to the time difference between the transmission of the exploration wave and the reception of the received wave.
  • the radar sensor 23 is a laser radar sensor or a millimeter wave radar sensor that transmits and receives radar waves, and is mounted on the front surface portion 12 of the vehicle body 11.
  • the radar sensor 23 is connected to the object detection ECU 27 via an in-vehicle communication line so that information can be communicated with the object detection ECU 27.
  • the radar sensor 23 is configured to generate a signal corresponding to the position of the reflection point and the relative speed and output the signal so as to be receivable by the object detection ECU 27.
  • the "reflection point” is a point on the surface of the object B that is presumed to have reflected the radar wave.
  • the "relative velocity” is the relative velocity of the reflection point, that is, the object B reflecting the radar wave, with respect to the own vehicle 10.
  • the vehicle speed sensor 24, the shift position sensor 25, and the steering angle sensor 26 are connected to the object detection ECU 27 via an in-vehicle communication line so that information can be communicated.
  • the vehicle speed sensor 24 is provided so as to generate a signal corresponding to the traveling speed of the own vehicle 10 and output it so that it can be received by the object detection ECU 27.
  • the traveling speed of the own vehicle 10 is hereinafter simply referred to as "vehicle speed”.
  • the shift position sensor 25 is provided so as to generate a signal corresponding to the shift position of the own vehicle 10 and output it so that it can be received by the object detection ECU 27.
  • the steering angle sensor 26 is provided so as to generate a signal corresponding to the steering angle of the own vehicle 10 and output it so that it can be received by the object detection ECU 27.
  • the object detection ECU 27 is arranged inside the vehicle body 11.
  • the object detection ECU 27 is a so-called in-vehicle microcomputer, and includes a CPU, ROM, RAM, non-volatile rewritable memory, and the like (not shown).
  • the non-volatile rewritable memory is, for example, an EEPROM, a flash ROM, a hard disk, or the like.
  • EEPROM is an abbreviation for Electronically Erasable and Programmable Read Only Memory.
  • the CPU, ROM, RAM and non-volatile rewritable memory of the object detection ECU 27 are hereinafter simply abbreviated as "CPU”, “ROM”, “RAM” and “nonvolatile storage medium”. ROMs and non-volatile storage media correspond to computer-readable non-transitional substantive storage media.
  • the object detection ECU 27 is configured so that various control operations can be realized by the CPU reading a program from a ROM or a non-volatile storage medium and executing the program.
  • This program contains the corresponding flowcharts or routines described below.
  • the RAM and the non-volatile storage medium are configured to be able to temporarily store processing data when the CPU executes a program.
  • various data used when executing the program are stored in advance in the ROM and / or the non-volatile storage medium.
  • Various types of data include, for example, initial values, look-up tables, maps, and the like.
  • the object detection ECU 27 is configured to execute an object detection operation based on signals and information received from each of the plurality of imaging units 21 such as a vehicle speed sensor 24, a shift position sensor 25, and a steering angle sensor 26. .. Further, the object detection ECU 27 controls the operations of the display unit 28 and the voice output unit 29 to perform a notification operation according to the object detection state.
  • the display unit 28 and the audio output unit 29 are arranged in the vehicle interior of the vehicle 10. Further, the display unit 28 and the voice output unit 29 are connected to the object detection ECU 27 via an in-vehicle communication line so that information communication is possible. That is, the display unit 28 is configured to perform the object detection result and the notification operation associated with various operations using the object detection result by the display using the display screen or the indicator. Further, the voice output unit 29 is configured to perform an object detection result and a notification operation associated with various operations using the object detection result by voice output using a speaker.
  • the object detection ECU 27 is configured to perform a driving support function including a parking support function and a collision avoidance function. Specifically, for example, the object detection ECU 27 detects the parking space using the imaging unit 21 and supports the movement of the own vehicle 10 to the detected parking space based on the obstacle detection result by the sonar sensor 22 or the like. It is designed to do.
  • the “obstacle” refers to an object B existing around the own vehicle 10 that is difficult or impossible to overcome because the height is higher than a predetermined threshold value. Further, the object detection ECU 27 calculates the acceleration / deceleration control amount and the steering control amount of the own vehicle 10 necessary for traveling on a predetermined calculation path while avoiding obstacles detected by the imaging unit 21. It has become.
  • the object detection device 20 is provided so as to form a part of the driving support device 50.
  • the driving support device 50 includes an input operation unit 51, a power control ECU 52, a braking control ECU 53, and a steering control ECU 54.
  • the input operation unit 51, the power control ECU 52, the braking control ECU 53, and the steering control ECU 54 are connected to the object detection ECU 27 via an in-vehicle communication line so that information can be communicated.
  • the input operation unit 51 is arranged in the vehicle interior of the vehicle 10.
  • the input operation unit 51 includes switches and / or a voice input unit for receiving an input operation by an operator who is an occupant of the vehicle 10.
  • the power control ECU 52 is provided so as to control the operation of a traveling motor and / or engine (not shown) to control the traveling output of the vehicle 10.
  • the braking control ECU 53 is provided so as to control the driving of a brake actuator or the like (not shown) to control the braking force of the vehicle 10.
  • the steering control ECU 54 is provided so as to control the driving of a steering motor (not shown) to control the steering amount of the vehicle 10.
  • the object detection ECU 27 has the following functional configuration realized on a microcomputer. That is, the object detection ECU 27 has an image information acquisition unit 270, a feature point extraction unit 271, and a coordinate acquisition unit 272. Further, the object detection ECU 27 has a moving state quantity acquisition unit 273, a moving object determination unit 274, a moving point specifying unit 275, and a stop point specifying unit 276. Further, the object detection ECU 27 has a distance measurement information acquisition unit 277, an object recognition unit 278, and a control content determination unit 279.
  • the details of the functional configuration of the object detection ECU 27 in the present embodiment will be described.
  • the image information acquisition unit 270 is provided so as to acquire image information corresponding to the captured image around the own vehicle 10. Specifically, the image information acquisition unit 270 receives the image information generated by the image pickup unit 21 from the image pickup unit 21, and holds the received image information for a predetermined capacity in time series using a non-volatile storage medium. It has become like.
  • the feature point extraction unit 271 is provided so as to extract feature points in a captured image based on the image information acquired by the image information acquisition unit 270.
  • the feature point is a point that characterizes the shape of the object B in the captured image, and corresponds to a “detection point”.
  • the feature points are characteristic points, that is, pixels within the angle of view of the captured image.
  • a feature point is a pixel having a large change in brightness with an adjacent pixel.
  • the feature points and their extraction methods are well known at the time of filing of the present application.
  • a feature point detection method a well-known method (for example, Sobel filter, Laplacian filter, Canny method, etc.) can be used. Therefore, in the present specification, the details of the feature point extraction method by the feature point extraction unit 271 will be omitted.
  • the "extraction" of feature points can also be expressed as "detection".
  • the coordinate acquisition unit 272 acquires the position coordinates of the detection point corresponding to the object B based on a plurality of captured images taken at different positions of the own vehicle by one imaging unit 21 mounted on the own vehicle 10. It is provided in.
  • the "one imaging unit 21" is, for example, a front camera CF when detecting an object B existing in front of the own vehicle 10.
  • the coordinate acquisition unit 272 has a feature point corresponding to the object B by a moving stereo method based on a plurality of captured images captured by the same image pickup unit 21 at different positions and times of the own vehicle. It is designed to calculate three-dimensional position coordinates.
  • the moving stereo is also referred to as a monocular moving stereo or SFM.
  • SFM is an abbreviation for Structure from Motion.
  • the mobile stereo or SFM is already known or well known at the time of filing the application of the present application. Therefore, in the present specification, the details of the mobile stereo or SFM will be omitted.
  • the "detection points" corresponding to the object B whose position coordinates are calculated by the coordinate acquisition unit 272 are a plurality of feature points extracted by the feature point extraction unit 271 captured at different own vehicle positions and times. The captured images are associated with each other. Therefore, the "detection point” can be paraphrased as a "feature point”.
  • the moving state amount acquisition unit 273 is provided so as to acquire the moving speed or the moving state amount which is the moving amount of the object B.
  • the moving state amount acquisition unit 273 acquires the moving state amount by using an optical flow calculated based on a plurality of captured images taken at different own vehicle positions.
  • the moving object determination unit 274 compares the existence or nonexistence of the moving object B, which is the moving object B, with the own vehicle 10 when the moving object exists. It is provided to determine the positional relationship. Specifically, the moving object determination unit 274 determines the existence or nonexistence of the moving object based on the detection state and the distribution state of the detection points whose moving state amount exceeds the threshold value. Further, the moving object determination unit 274 has a moving object based on the own vehicle 10 based on the three-dimensional position or the position within the angle of view of the detection point determined to correspond to the moving object instead of the noise. It is designed to determine the direction to do.
  • the moving point specifying unit 275 is provided so as to specify a detection point corresponding to a moving object as a moving point.
  • the moving point specifying unit 275 is a moving point within a predetermined range set according to the relative positional relationship of the moving object with the own vehicle 10.
  • a detection point existing in the specific range RM is specified as a movement point.
  • the moving point specifying unit 275 sets the moving point specifying range RM in the direction in which the moving object exists with reference to the own vehicle 10.
  • the moving point specifying unit 275 is designed to variably set the shape of the moving point specifying range RM according to the amount of the moving state. Specifically, the moving point specifying unit 275 has a size of the moving point specifying range RM according to the moving speed VB of the moving object or the moving amount DB of the moving object between the previous shooting time and the current shooting time. Is to be changed. The details of the setting mode of the movement point specific range RM will be described in the explanation column of the operation outline described later.
  • the stop point identification unit 276 is provided so as to specify a stop point which is a detection point different from the movement point.
  • the stop point is a detection point corresponding to a stationary object, which is a stationary object B.
  • the stop point specifying unit 276 identifies the stop point by removing the moving point from the plurality of acquired detection points. Specifically, in the present embodiment, the stop point identification unit 276 identifies the stop point by removing the moving point from the plurality of detection points whose position coordinates have been acquired by the coordinate acquisition unit 272. ing.
  • the distance measurement information acquisition unit 277 is provided so as to acquire the distance measurement information which is the distance detection result by the sonar sensor 22. Further, the distance measurement information acquisition unit 277 is provided so as to acquire relative position information of the object B in the translation direction with respect to the own vehicle 10 by triangulation based on the distance measurement information acquired by using the plurality of sonar sensors 22. There is. Further, the distance measurement information acquisition unit 277 holds the acquisition results of the distance measurement information and the relative position information for a predetermined time in a time series using a non-volatile storage medium.
  • the object recognition unit 278 is provided so as to recognize the object B based on the position coordinates of the detection point acquired by the coordinate acquisition unit 272. Specifically, the object recognition unit 278 sets the relative position of the object B with respect to the own vehicle 10 based on the position of the detection point corresponding to the object B in the XYZ three-dimensional coordinate system set with respect to the predetermined origin. It is designed to recognize the three-dimensional shape of the object B.
  • the “predetermined origin” is, for example, the position of the front camera CF at a predetermined reference time point.
  • the “predetermined reference time” is, for example, a time when the object detection operation by the object detection device 20 is started.
  • the front is the X-axis positive direction
  • the Y-axis positive direction is parallel to the vehicle width direction
  • the Z-axis positive direction is the vehicle height direction. It is a Cartesian coordinate system set as parallel.
  • the object recognition unit 278 is provided so as to recognize the object B by using the position coordinates of the stop point without using the position coordinates of the moving point. Specifically, the object recognition unit 278 recognizes the object B based on the position coordinates of the stop point excluding the position coordinates of the moving point from the position coordinates of the plurality of detection points acquired by the coordinate acquisition unit 272. It is designed to do.
  • the object recognition unit 278 is provided so as to recognize the object B based on the calculation result of the position coordinates by the coordinate acquisition unit 272 and the distance measurement information and the relative position information acquired by the distance measurement information acquisition unit 277. There is. That is, in the present embodiment, the object recognition unit 278 detects the object B as an obstacle by using the so-called "sensor fusion" technology that fuses the image recognition result and the distance measurement result. .. Specifically, the object recognition unit 278 corrects the calculation result of the position coordinates by the coordinate acquisition unit 272 based on the distance measurement information and the relative position information acquired by the distance measurement information acquisition unit 277, thereby correcting the object B. The position and shape of the XYZ three-dimensional coordinate system are recognized.
  • the control content determination unit 279 determines the control content based on the acquisition result of the distance measurement information and the relative position information by the distance measurement information acquisition unit 277 and the recognition result of the object B by the object recognition unit 278. There is.
  • the "control content” is an acceleration / deceleration control amount and a steering control amount of the own vehicle 10 necessary for traveling on a predetermined calculation path while avoiding the object B according to the detection result of the object B. Further, the control content determination unit 279 transmits the determined control content to the power control ECU 52, the braking control ECU 53, and the steering control ECU 54 via the vehicle-mounted communication line.
  • Each of the plurality of imaging units 21, that is, the front camera CF, the rear camera CB, the left camera CL, and the right camera CR captures an image of the surroundings of the own vehicle 10 and generates image information corresponding to the captured image. ..
  • each of the plurality of imaging units 21 outputs the generated image information so that it can be received by the object detection ECU 27.
  • Each of the plurality of sonar sensors 22 receives a received wave including a reflected wave of the exploration wave transmitted toward the outside of the own vehicle 10, and is a distance from a point on the object B existing around the own vehicle 10. To measure. Further, each of the plurality of sonar sensors 22 outputs the acquired distance measurement information so that it can be received by the object detection ECU 27.
  • the radar sensor 23 generates a signal corresponding to the position and relative velocity of the reflection point on the object B, and outputs the signal so that the object detection ECU 27 can receive it.
  • the vehicle speed sensor 24 generates a signal corresponding to the vehicle speed and outputs it so that it can be received by the object detection ECU 27.
  • the shift position sensor 25 generates a signal corresponding to the shift position of the own vehicle 10 and outputs it so that it can be received by the object detection ECU 27.
  • the steering angle sensor 26 generates a signal corresponding to the steering angle of the own vehicle 10 and outputs it so that it can be received by the object detection ECU 27.
  • the object detection ECU 27 receives image information from each of the plurality of imaging units 21. Further, the object detection ECU 27 receives distance measurement information from each of the plurality of sonar sensors 22. Further, the object detection ECU 27 receives output signals from the radar sensor 23, the vehicle speed sensor 24, the shift position sensor 25, and the steering angle sensor 26. The object detection ECU 27 performs an object detection operation and operation based on signals and information received from each of the plurality of sonar sensors 22, each of the plurality of imaging units 21, the vehicle speed sensor 24, the shift position sensor 25, the steering angle sensor 26, and the like. Perform support actions.
  • the image information acquisition unit 270 acquires image information corresponding to the captured image around the own vehicle 10 from each of the plurality of imaging units 21.
  • the acquired image information is stored in the non-volatile storage medium in chronological order.
  • the feature point extraction unit 271 extracts feature points in the captured image based on the image information acquired by the image information acquisition unit 270.
  • the coordinate acquisition unit 272 acquires the position coordinates of the detection point corresponding to the object B based on a plurality of captured images taken by one imaging unit 21 at different positions of the own vehicle as the own vehicle 10 moves.
  • the image information acquisition unit 270 provides the image information corresponding to the captured image of the front camera CF and the received image information. Is held for a predetermined capacity in chronological order.
  • the coordinate acquisition unit 272 calculates the position coordinates, that is, the three-dimensional coordinates of the feature points corresponding to the object B by the moving stereo method using the feature points extracted from the captured image of the front camera CF.
  • the moving state quantity acquisition unit 273 acquires the moving state quantity of the object B. Specifically, in the above example, the moving state quantity acquisition unit 273 uses the optical flow calculated based on a plurality of captured images captured by the front camera CF to the object B in front of the own vehicle 10. Get the corresponding movement state quantity.
  • the moving object determination unit 274 Based on the acquisition result of the moving state amount by the moving state amount acquisition unit 273, the moving object determination unit 274 compares the existence or nonexistence of the moving object B, which is the moving object B, with the own vehicle 10 when the moving object exists. Judge the positional relationship. Specifically, the moving object determination unit 274 moves with reference to the own vehicle 10 based on the three-dimensional position or the position within the angle of view of the detection point determined to correspond to the moving object instead of the noise. Determine the direction in which the object exists.
  • the moving point specifying unit 275 identifies the detection point corresponding to the moving object as the moving point. Specifically, referring to FIG. 3, first, the moving point specifying unit 275 uses the first feature point DP1 on the object B detected at the own vehicle position VP1 last time as a reference point of the moving point specifying range RM. Set. The previous own vehicle position VP1 is the time when the front image of the own vehicle 10 is taken by the front camera CF immediately before the own vehicle position VP2 this time. Next, the moving point specifying unit 275 sets the moving point specifying range RM with reference to the reference point. In FIG.
  • the moving point specific range RM is set to be rectangular centered on the reference point, but the present invention is not limited to this, and the moving direction of the object B and the area on the own vehicle side are set to be large. May be good. Specifically, as will be described later, since the region where the calculation error occurs tends to occur in the traveling direction of the object B and the own vehicle side, the movement point specific range RM is set so as to cover such a region. You can do it. Then, the moving point specifying unit 275 identifies the detection point existing in the moving point specifying range RM as the moving point. Further, the setting of the reference point is not limited to the above, and for example, the center of gravity (or the center) of the region of the object B detected by the front camera CF at the own vehicle position VP1 last time may be used.
  • the position of the first feature point DP1 does not change in both the previous own vehicle position VP1 and the current own vehicle position VP2. However, when the object B moves at the moving speed VB, the first feature point DP1 moves to the second feature point DP2.
  • the position coordinate calculation by the moving stereo such as SFM is based on the premise that the object B to be calculated is a stationary object. Therefore, when the position coordinates of a moving object are calculated by moving stereo, the calculation error becomes large. In particular, when the detection point, that is, the feature point moves along the epipolar line, the calculation error becomes considerably large. Further, the larger the moving speed VB or the moving amount DB of the moving object, the larger the calculation error.
  • the calculation result of the position coordinates occurs in the range surrounded by the alternate long and short dash line of the ellipse centered on the false detection candidate point DPE.
  • the false detection candidate point DPE occurs on the virtual line L1 connecting the position of the front camera CF and the first feature point DP1 at the previous own vehicle position VP1.
  • the moving point specifying unit 275 determines the size of the moving point specifying range RM according to the moving speed VB or the moving amount DB of the moving object. Specifically, the moving point specifying unit 275 is set so that the size of the moving point specifying range RM becomes larger as the moving speed VB or the moving amount DB of the moving object becomes larger. Subsequently, the moving point specifying unit 275 determines the relative position of the moving point specifying range RM with respect to the reference point according to the relative speed between the own vehicle 10 and the moving object. As a result, the moving point specifying unit 275 can set the moving point specifying range RM in the direction in which the moving object exists with reference to the own vehicle 10.
  • the stop point identification unit 276 identifies a stop point which is a detection point different from the movement point. Specifically, the stop point identification unit 276 identifies the stop point by removing the moving point from the detection points acquired by the feature point extraction unit 271 and the coordinate acquisition unit 272. More specifically, the stop point specifying unit 276 identifies the stop point by removing the moving point from the plurality of detection points whose position coordinates have been acquired by the coordinate acquisition unit 272.
  • the distance measurement information acquisition unit 277 acquires distance measurement information corresponding to the object B from each of the plurality of sonar sensors 22. Further, the distance measurement information acquisition unit 277 acquires the relative position information of the object B with respect to the own vehicle 10 based on the distance measurement information. The distance measurement information acquisition unit 277 holds the acquisition results of the distance measurement information and the relative position information for a predetermined time in chronological order.
  • the object recognition unit 278 recognizes the object B based on the calculation result of the position coordinates by the coordinate acquisition unit 272 and the distance measurement information and the relative position information acquired by the distance measurement information acquisition unit 277.
  • the control content determination unit 279 determines the control content based on the acquisition result of the distance measurement information and the relative position information by the distance measurement information acquisition unit 277 and the recognition result of the object B by the object recognition unit 278. Further, the control content determination unit 279 transmits the determined control content to the power control ECU 52, the braking control ECU 53, and the steering control ECU 54 via the vehicle-mounted communication line.
  • the object detection method and the object detection program executed by the object detection device 20 the object detection method and the object detection program executed by the object detection device 20, the following effects can be achieved.
  • the object detection device 20 according to the present embodiment, and the object detection method and the object detection program executed by the object detection device 20 are collectively referred to simply as "the present embodiment".
  • the object recognition unit 278 does not use the position coordinates of the moving point, which is the detection point corresponding to the moving object, but uses the position coordinates of the stop point to detect the object B existing around the own vehicle 10. Recognized by mobile stereo technology. Specifically, the object recognition unit 278 recognizes the object B existing around the own vehicle 10 based on the position coordinates of the stop points specified by removing the moving points from the plurality of acquired detection points. .. More specifically, the object recognition unit 278 determines the object B based on the position coordinates of the stop point, excluding the position coordinates of the moving point, among the position coordinates of the plurality of detection points acquired by the coordinate acquisition unit 272. recognize.
  • the object recognition unit 278 recognizes the object B based on the calculation result of the position coordinates by the coordinate acquisition unit 272 and the distance measurement information and the relative position information acquired by the distance measurement information acquisition unit 277. To do. Therefore, even if the movement object whose position coordinate calculation result is deleted, that is, the erased object approaches the own vehicle 10, the distance measurement information or the like acquired by the distance measurement information acquisition unit 277 is obtained before the collision occurs. It can be used for alarm or collision avoidance motion control. Therefore, according to the present embodiment, good vehicle driving support control is possible.
  • the moving point specifying unit 275 sets the moving point specifying range RM set in a shape corresponding to the moving state amount of the moving object B in the direction in which the moving object exists with reference to the own vehicle 10. Set. Then, the object recognition unit 278 is placed around the own vehicle 10 based on the position coordinates of the stop point specified by excluding the movement point specified by the movement point identification unit 275 using the movement point identification range RM. Recognize the existing object B. Therefore, according to the present embodiment, the moving point and the stopping point according to the moving state amount of the object B can be specified with good accuracy.
  • step is simply abbreviated as "S”.
  • the object detection device 20 that is, the CPU of the object detection ECU 27, repeatedly starts the routine shown in FIG. 4 at predetermined time intervals while the predetermined start conditions are satisfied.
  • the object detection device 20 executes the processes of steps 401 to 407 in order.
  • step 401 the object detection device 20 acquires image information using the image pickup unit 21.
  • step 402 the object detection device 20 extracts feature points based on the acquired image information.
  • step 403 the object detection device 20 acquires the position coordinates, that is, the three-dimensional coordinates, corresponding to the feature points extracted in step 402.
  • step 404 the object detection device 20 calculates the optical flow based on a plurality of captured images taken at different own vehicle positions.
  • step 405 the object detection device 20 acquires a moving state quantity corresponding to each feature point based on the optical flow calculated in step 404.
  • step 406 the object detection device 20 determines the existence or nonexistence of the moving object and the relative positional relationship with the own vehicle 10 when the moving object exists, based on the moving state quantity acquired in step 405.
  • step 407 the object detection device 20 determines whether or not a moving object exists.
  • step 407 YES
  • the object detection device 20 executes the processes of steps 408 and 409, and then proceeds with the processes after step 410.
  • the object detection device 20 sets the movement point specific range RM.
  • the object detection device 20 identifies the moving point using the set moving point specifying range RM.
  • the object detection device 20 identifies a stop point. In this case, the stop point is specified by removing the moving point from the plurality of acquired detection points.
  • step 407 NO
  • step 410 the object detection device 20 identifies a stop point.
  • the stop point is specified by setting almost all of the plurality of acquired detection points as stop points.
  • the object detection device 20 acquires the distance measurement information which is the distance detection result by the sonar sensor 22. Further, in step 411, the object detection device 20 acquires the relative position information of the object B in the translation direction with respect to the own vehicle 10 by triangulation based on the distance measurement information acquired by using the plurality of sonar sensors 22.
  • step 412 the object detection device 20 recognizes the object B based on the acquisition result of the position coordinates in step 403 and the acquisition result of the distance measurement information and the relative position information in step 411.
  • step 413 the object detection device 20 determines the control content based on the recognition result of the object B in step 412.
  • the vehicle 10 equipped with the object detection device 20 is not limited to the four-wheeled vehicle.
  • the vehicle 10 may be a three-wheeled vehicle or a six-wheeled or eight-wheeled vehicle such as a freight truck.
  • the type of the vehicle 10 may be an automobile having only an internal combustion engine, an electric vehicle or a fuel cell vehicle not having an internal combustion engine, or a so-called hybrid vehicle.
  • the shape and structure of the vehicle body 11 are also not limited to a box shape, that is, a substantially rectangular shape in a plan view.
  • the number of door panels 17 is also not particularly limited.
  • the object detection device 20 is not limited to the driving support device 50.
  • the object detection device 20 can be suitably applied to semi-automatic driving or automatic driving, which corresponds to levels 2 to 5 in the definition of automatic driving.
  • the arrangement and number of imaging units 21 are not limited to the above example. That is, for example, the front camera CF can be arranged in the vehicle interior. Specifically, for example, the front camera CF can be mounted on a rearview mirror (not shown) arranged in the vehicle interior of the vehicle 10.
  • the left camera CL and the right camera CR may be arranged at different positions from the door mirror 18. Alternatively, the left camera CL and the right camera CR may be omitted.
  • the arrangement and number of sonar sensors 22 are not limited to the above specific examples. That is, for example, referring to FIG. 1, when the third front sonar SF3 is arranged at the center position in the vehicle width direction, the fourth front sonar SF4 is omitted. Similarly, when the third rear sonar SR3 is arranged at the center position in the vehicle width direction, the fourth rear sonar SR4 is omitted. The third side sonar SS3 and the fourth side sonar SS4 may be omitted.
  • the various sensors used in the object detection device 20 are not limited to the vehicle speed sensor 24, the shift position sensor 25, the steering angle sensor 26, and the like. That is, for example, at least one of the vehicle speed sensor 24, the shift position sensor 25, and the steering angle sensor 26 may be omitted or replaced by another sensor.
  • the object detection ECU 27 has a configuration in which the CPU reads a program from a ROM or the like and starts the object detection ECU 27.
  • the present disclosure is not limited to such configurations. That is, for example, the object detection ECU 27 may be configured to include a digital circuit, for example, an ASIC or FPGA, which is configured to enable the above-mentioned operation.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • FPGA is an abbreviation for Field Programmable Gate Array.
  • the object detection ECU 27 constitutes the main part of the object detection device 20. Therefore, the image pickup unit 21 to the steering angle sensor 26, the display unit 28, and the audio output unit 29 are not the main components of the object detection device 20 but ancillary elements of the object detection device 20 in the above embodiment. It can be grasped as a thing. Alternatively, for example, at least the imaging unit 21 can be grasped as being a main component of the object detection device 20 together with the object detection ECU 27.
  • the image pickup unit 21 and the sonar sensor 22 can be grasped as the main components of the object detection device 20 as constituting the image information acquisition unit 270 and the distance measurement information acquisition unit 277, respectively.
  • a part or all of the image information acquisition unit 270 to the control content determination unit 279 may be provided in the image pickup unit 21.
  • the processing content in the coordinate acquisition unit 272 is not limited to the monocular moving stereo. Specifically, for example, a compound eye stereo or an integrated process of a monocular moving stereo and a compound eye stereo can be used.
  • the integrated processing of the monocular moving stereo and the compound eye stereo has already been known or well known at the time of filing the application of the present application. Therefore, in the present specification, the details of the compound eye stereo processing and the integrated processing of the monocular moving stereo and the compound eye stereo will be omitted.
  • the moving state quantity acquisition unit 273 may acquire the moving state quantity by using the detection result by the sonar sensor 22 and / or the radar sensor 23 instead of or in combination with the optical flow.
  • the moving point specifying unit 275 may specify the moving point from the feature points before the calculation of the position coordinates by the coordinate acquisition unit 272.
  • the stop point specifying unit 276 may specify the stop point from the feature point before the calculation of the position coordinates by the coordinate acquisition unit 272.
  • the coordinate acquisition unit 272 calculates the position coordinates of the extracted feature points excluding the moving points that are the feature points corresponding to the moving objects by the method of moving stereo. That is, the coordinate acquisition unit 272 acquires the position coordinates of the plurality of acquired detection points, that is, the stop points obtained by removing the moving points from the feature points.
  • the object recognition unit 278 recognizes the object B based on the position coordinates of the stop point. Specifically, in the flowchart of FIG. 4, the process of step 403 is performed after step 410. As a result, accurate position coordinate calculation can be realized while effectively reducing the calculation load.
  • the distance measurement information acquisition unit 277 may acquire distance measurement information in place of or together with the output of the sonar sensor 22 based on the output of the radar sensor 23. That is, ultrasonic waves or electromagnetic waves can be used as the exploration wave. Further, as the AF point, the reflection point acquired by the radar sensor 23 can be used. In this case, the relative position information regarding the reflection point can be used as a substitute for the AF point acquired by the sonar sensor 22. Alternatively, the relative position information regarding the reflection point can be used as a correction element for the AF point acquired by the sonar sensor 22.
  • the feature point and / or position coordinate data corresponding to the moving point may be deleted or deleted.
  • the feature point and / or position coordinate data corresponding to the moving point may be retained without being deleted for use by other uses or other ECUs.
  • the detection operation of the object B using the image taken by the front camera CF has been described.
  • the present disclosure is not limited to such embodiments. That is, for example, the present disclosure can be suitably applied to the detection operation of the object B using the image captured by the rear camera CB. Similarly, the present disclosure can also be suitably applied to the detection operation of the object B using the images captured by the left camera CL and the right camera CR.
  • the "positional coordinates" can also be referred to as "three-dimensional position coordinates" or "three-dimensional coordinates".
  • the present disclosure is not limited to such embodiments. That is, for example, two-dimensional coordinates may be used as the position coordinates.
  • the coordinate acquisition unit 272 moves the position coordinates in the XY two-dimensional coordinate system with the center of gravity of the own vehicle 10 as the origin, the vehicle width direction as the X axis, and the vehicle length direction as the Y axis. It may be detected by the principle of triangulation by the stereo method.
  • the moving state quantity acquisition unit 273 to the control content determination unit 279 may function or operate based on the two-dimensional position coordinates.
  • each of the above functional configurations and methods may be implemented by a dedicated computer provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. ..
  • each of the above functional configurations and methods may be implemented by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits.
  • each of the above functional configurations and methods comprises a combination of a processor and memory programmed to perform one or more functions and a processor composed of one or more hardware logic circuits. It may be realized by one or more dedicated computers.
  • the computer program may be stored in a computer-readable non-transitional substantive storage medium as an instruction executed by the computer. That is, the device or method according to the present disclosure can be expressed as a computer program including a procedure for realizing each of the above functions or methods, or as a non-transitional substantive storage medium that stores the program.
  • the modified example is not limited to the above example. Also, a plurality of variants can be combined with each other. Further, all or part of the above embodiments and all or part of the modifications may be combined with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

物体検知装置（２０）は、自車両（１０）に搭載されることで、当該自車両の周囲に存在する物体（Ｂ）を検知するように構成されている。この物体検知装置は、座標取得部（２７２）と物体認識部（２７８）とを備えている。座標取得部は、自車両に搭載された１つの撮像部（２１）により異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体に対応する検知点の位置座標を取得する。物体認識部は、移動中の物体である移動物体に対応する検知点である移動点の位置座標を用いず、移動点とは異なる検知点である停止点の位置座標を用いて、物体を認識する。

Description

物体検知装置、物体検知方法、および物体検知プログラム 関連出願への相互参照
　本出願は、２０１９年１０月１４日に出願された日本特許出願番号２０１９－１８８２７８号に基づくもので、ここにその記載内容が参照により組み入れられる。
　本開示は、自車両に搭載されることで当該自車両の周囲に存在する物体を検知するように構成された、物体検知装置に関する。また、本開示は、自車両の周囲に存在する物体を検知する物体検知方法に関する。また、本開示は、かかる物体検知装置により実行される物体検知プログラムに関する。
　例えば、特許文献１に記載の障害物検出システムが知られている。かかる障害物検出システムは、移動する車両に装着され、撮像部により撮像された画像を用いて車両の後方にある障害物を検出する。移動検出部は、撮像部が第１の画像を撮像した位置から、車両が一定量の移動を行ったことを検出する。画像取得部は、第１の画像と、移動検出部において車両が一定量の移動を行ったと検出されたときの画像としての第２の画像とを取得し、障害物検出部に供給する。障害物検出部は、第１の画像と第２の画像とを用いて、移動ステレオ方式により物体までの距離を計測する。移動ステレオ方式は、１つのカメラで異なる時間に異なる位置で撮像された２枚の画像を用いて、三角測量の原理により画像中の物体の三次元位置を検出し、障害物か否かを検出する。
特開２００９－１８０５３６号公報
　特許文献１に記載の障害物検出システムは、移動ステレオ方式における三角測量の原理により画像中の物体の三次元位置を検出するに際し、検出対象の物体が静止物体であることを前提としている。このため、検出対象の物体が移動物体である場合、物体の三次元位置の誤差が大きくなる。誤差が大きな三次元位置を含む物体検出結果は、車両制御に良好に用いることができない。
　本開示は、上記に例示した事情等に鑑みてなされたものである。すなわち、本開示は、例えば、車両制御に良好に用いることが可能な物体検知結果を提供する。
　本開示の１つの観点によれば、物体検知装置は、自車両に搭載されることで、当該自車両の周囲に存在する物体を検知するように構成されている。
　この物体検知装置は、
　自車両に搭載された１つの撮像部によって、自車両の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体に対応する検知点の位置座標を取得する、座標取得部と、
　移動物体に対応する検知点である移動点の位置座標を用いず、前記移動点とは異なる検知点である停止点の位置座標を用いて、物体を認識する、物体認識部と、
　を備えている。
　本開示の他の１つの観点によれば、物体検知方法は、自車両の周囲に存在する物体を検知する方法であって、以下の手順あるいは処理を含む：
　自車両に搭載された１つの撮像部によって、自車両の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体に対応する検知点の位置座標を取得し、
　移動物体に対応する検知点である移動点の位置座標を用いず、前記移動点とは異なる検知点である停止点の位置座標を用いて、物体を認識する。
　本開示のさらに他の１つの観点によれば、物体検知プログラムは、自車両に搭載されることで当該自車両の周囲に存在する物体を検知するように構成された物体検知装置により実行されるプログラムであって、
　前記物体検知装置により実行される処理は、
　自車両に搭載された１つの撮像部によって、自車両の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体に対応する検知点の位置座標を取得する処理と、
　移動物体に対応する検知点である移動点の位置座標を用いず、前記移動点とは異なる検知点である停止点の位置座標を用いて、物体を認識する処理と、
　を含む。
　なお、出願書類中の各欄において、各要素に括弧付きの参照符号が付されている場合がある。この場合、参照符号は、単に、同要素と後述する実施形態に記載の具体的構成との対応関係の一例を示すものである。よって、本開示は、参照符号の記載によって、何ら限定されるものではない。
実施形態に係る物体検知装置を搭載した車両の概略構成を示す平面図である。 図１に示された物体検知装置の一実施形態における概略的な機能構成を示すブロック図である。 図２に示された物体検知装置の動作例を示す概念図である。 図２に示された物体検知装置の動作例を示すフローチャートである。
　（実施形態）
　以下、本開示の実施形態を、図面に基づいて説明する。なお、一つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中に挿入されると、当該実施形態の理解が妨げられるおそれがある。このため、変形例については、当該実施形態に関する一連の説明の途中ではなく、その後にまとめて説明する。
　（車両全体構成）
　図１を参照すると、車両１０は、いわゆる四輪自動車であって、平面視にて略矩形状の車体１１を備えている。以下、車両１０の車幅方向における中心を通り、且つ車両１０における車両全長方向と平行な仮想直線を、車両中心軸線ＬＣと称する。図１において、車幅方向は図中左右方向である。車両全長方向は、車幅方向と直交し且つ車高方向と直交する方向である。車高方向は、車両１０の車高を規定する方向であって、車両１０を水平面に走行可能な状態で安定的に載置した場合の重力作用方向と平行な方向である。さらに、走行により車両１０が移動する、車高方向と直交する任意の方向を、車両１０の「並進方向」と称することがある。
　説明の便宜上、車両１０における「前」「後」「左」「右」を、図１中にて矢印で示された通りに定義する。すなわち、車両全長方向は、前後方向と同義である。また、車幅方向は、左右方向と同義である。なお、車高方向は、車両１０の載置条件または走行条件により、重力作用方向と平行とはならない場合があり得る。もっとも、車高方向は多くの場合に重力作用方向に沿った方向となる。このため、車高方向と直交する「並進方向」は、「水平方向」、「面内方向」、「進入方向」、「進行方向」あるいは「進路方向」とも称され得る。
　車体１１における前側の端部である前面部１２には、フロントバンパー１３が装着されている。車体１１における後側の端部である後面部１４には、リアバンパー１５が装着されている。車体１１における側面部１６には、ドアパネル１７が装着されている。図１に示す具体例においては、左右にそれぞれ２枚ずつ、合計４枚のドアパネル１７が設けられている。前側の左右一対のドアパネル１７のそれぞれには、ドアミラー１８が装着されている。
　（物体検知装置）
　車両１０には、物体検知装置２０が搭載されている。物体検知装置２０は、車両１０に搭載されることで、当該車両１０の外側且つその周囲に存在する物体Ｂを検知するように構成されている。以下、物体検知装置２０を搭載した車両１０を、「自車両１０」と略称することがある。
　本実施形態においては、物体検知装置２０は、撮像部２１と、ソナーセンサ２２と、レーダーセンサ２３と、車速センサ２４と、シフトポジションセンサ２５と、舵角センサ２６と、物体検知ＥＣＵ２７と、表示部２８と、音声出力部２９とを備えている。ＥＣＵはElectronic　Control　Unitの略である。以下、物体検知装置２０を構成する各部の詳細について、図１および図２を参照しつつ説明する。なお、図示の簡略化のため、物体検知装置２０を構成する各部の間の電気接続関係は、図１においては省略されている。
　撮像部２１は、自車両１０の周囲の画像を撮影しつつ当該自車両１０の移動に伴って移動するように、当該自車両１０に搭載されている。撮像部２１は、自車両１０の周囲の撮影画像に対応する画像情報を生成するように構成されている。本実施形態においては、撮像部２１は、デジタルカメラ装置であって、ＣＣＤあるいはＣＭＯＳ等のイメージセンサを備えている。ＣＣＤはCharge　Coupled　Deviceの略である。ＣＭＯＳはComplementary　MOSの略である。
　本実施形態においては、車両１０には、複数の撮像部２１、すなわち、フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲが搭載されている。フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲのうちの、いずれかであることを特定しない場合に、以下、「撮像部２１」という単数形の表現、または「複数の撮像部２１」という表現が用いられることがある。
　フロントカメラＣＦは、自車両１０の前方の画像に対応する画像情報を取得するように、車体１１の前面部１２に装着されている。リアカメラＣＢは、自車両１０の後方の画像に対応する画像情報を取得するように、車体１１の後面部１４に装着されている。
　左側カメラＣＬは、自車両１０の左方の画像に対応する画像情報を取得するように、左側のドアミラー１８に装着されている。右側カメラＣＲは、自車両１０の右方の画像に対応する画像情報を取得するように、右側のドアミラー１８に装着されている。
　複数の撮像部２１の各々は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。すなわち、複数の撮像部２１の各々は、取得すなわち生成した画像情報を、物体検知ＥＣＵ２７にて受信可能に出力するようになっている。
　ソナーセンサ２２は、物体Ｂまでの距離を検出する測距センサであって、車体１１に装着されている。本実施形態においては、ソナーセンサ２２は、いわゆる超音波センサであって、超音波である探査波を自車両１０の外側に向けて発信するとともに、超音波を含む受信波を受信可能に構成されている。すなわち、ソナーセンサ２２は、探査波の物体Ｂによる反射波を含む受信波を受信することで、物体Ｂ上の測距点との距離の検出結果である測距情報を出力するように設けられている。「測距点」は、物体Ｂの表面上における、ソナーセンサ２２から発信された探査波を反射したと推定される点であって、レーダーセンサ２３における「反射点」に対応する点である。
　物体検知装置２０は、少なくとも１つのソナーセンサ２２を備えている。具体的には、本実施形態においては、複数のソナーセンサ２２が設けられている。複数のソナーセンサ２２は、それぞれ、車両中心軸線ＬＣから車幅方向におけるいずれか一方側にシフトして配置されている。また、複数のソナーセンサ２２のうちの少なくとも一部は、車両中心軸線ＬＣと交差する方向に沿って探査波を発信するように設けられている。
　具体的には、フロントバンパー１３には、ソナーセンサ２２としての、第一フロントソナーＳＦ１、第二フロントソナーＳＦ２、第三フロントソナーＳＦ３、および第四フロントソナーＳＦ４が装着されている。同様に、リアバンパー１５には、ソナーセンサ２２としての、第一リアソナーＳＲ１、第二リアソナーＳＲ２、第三リアソナーＳＲ３、および第四リアソナーＳＲ４が装着されている。また、車体１１の側面部１６には、ソナーセンサ２２としての、第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４が装着されている。
　第一フロントソナーＳＦ１、第二フロントソナーＳＦ２、第三フロントソナーＳＦ３、第四フロントソナーＳＦ４、第一リアソナーＳＲ１、第二リアソナーＳＲ２、第三リアソナーＳＲ３、第四リアソナーＳＲ４、第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４のうちの、いずれかであることを特定しない場合に、以下、「ソナーセンサ２２」という単数形の表現、または「複数のソナーセンサ２２」という表現が用いられることがある。
　或る１つのソナーセンサ２２を「第一ソナーセンサ」と称し、別の１つのソナーセンサ２２を「第二ソナーセンサ」と称して、「直接波」および「間接波」を、以下のように定義する。第一ソナーセンサに受信される受信波であって、第一ソナーセンサから発信された探査波の物体Ｂによる反射波に起因する受信波を、「直接波」と称する。すなわち、直接波は、探査波を送信したソナーセンサ２２と、当該探査波の物体Ｂによる反射波を受信波として検知したソナーセンサ２２とが、同一である場合の、当該受信波である。これに対し、第二ソナーセンサに受信される受信波であって、第一ソナーセンサから発信された探査波の物体Ｂによる反射波に起因する受信波を、「間接波」と称する。すなわち、間接波とは、探査波を送信したソナーセンサ２２と、当該探査波の物体Ｂによる反射波を受信波として検知したソナーセンサ２２とが、異なる場合の、当該受信波である。
　第一フロントソナーＳＦ１は、自車両１０の左前方に探査波を発信するように、フロントバンパー１３の前側表面における左端部に設けられている。第二フロントソナーＳＦ２は、自車両１０の右前方に探査波を発信するように、フロントバンパー１３の前側表面における右端部に設けられている。第一フロントソナーＳＦ１と第二フロントソナーＳＦ２とは、車両中心軸線ＬＣを挟んで対称に配置されている。
　第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、フロントバンパー１３の前側表面における中央寄りの位置にて、車幅方向に配列されている。第三フロントソナーＳＦ３は、自車両１０の略前方に探査波を発信するように、車幅方向について第一フロントソナーＳＦ１と車両中心軸線ＬＣとの間に配置されている。第四フロントソナーＳＦ４は、自車両１０の略前方に探査波を発信するように、車幅方向について第二フロントソナーＳＦ２と車両中心軸線ＬＣとの間に配置されている。第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、車両中心軸線ＬＣを挟んで対称に配置されている。
　上記の通り、車体１１の左側に装着された第一フロントソナーＳＦ１および第三フロントソナーＳＦ３は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第一フロントソナーＳＦ１と第三フロントソナーＳＦ３とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。
　すなわち、第一フロントソナーＳＦ１は、自己が発信した探査波に対応する直接波と、第三フロントソナーＳＦ３が発信した探査波に対応する間接波との双方を受信可能に配置されている。同様に、第三フロントソナーＳＦ３は、自己が発信した探査波に対応する直接波と、第一フロントソナーＳＦ１が発信した探査波に対応する間接波との双方を受信可能に配置されている。
　同様に、車体１１の車幅方向における中央寄りに装着された第三フロントソナーＳＦ３および第四フロントソナーＳＦ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。
　同様に、車体１１の右側に装着された第二フロントソナーＳＦ２および第四フロントソナーＳＦ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第二フロントソナーＳＦ２と第四フロントソナーＳＦ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。
　第一リアソナーＳＲ１は、自車両１０の左後方に探査波を発信するように、リアバンパー１５の後側表面における左端部に設けられている。第二リアソナーＳＲ２は、自車両１０の右後方に探査波を発信するように、リアバンパー１５の後側表面における右端部に設けられている。第一リアソナーＳＲ１と第二リアソナーＳＲ２とは、車両中心軸線ＬＣを挟んで対称に配置されている。
　第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、リアバンパー１５の後側表面における中央寄りの位置にて、車幅方向に配列されている。第三リアソナーＳＲ３は、自車両１０の略後方に探査波を発信するように、車幅方向について第一リアソナーＳＲ１と車両中心軸線ＬＣとの間に配置されている。第四リアソナーＳＲ４は、自車両１０の略後方に探査波を発信するように、車幅方向について第二リアソナーＳＲ２と車両中心軸線ＬＣとの間に配置されている。第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、車両中心軸線ＬＣを挟んで対称に配置されている。
　上記の通り、車体１１の左側に装着された第一リアソナーＳＲ１および第三リアソナーＳＲ３は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第一リアソナーＳＲ１と第三リアソナーＳＲ３とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。
　すなわち、第一リアソナーＳＲ１は、自己が発信した探査波に対応する直接波と、第三リアソナーＳＲ３が発信した探査波に対応する間接波との双方を受信可能に配置されている。同様に、第三リアソナーＳＲ３は、自己が発信した探査波に対応する直接波と、第一リアソナーＳＲ１が発信した探査波に対応する間接波との双方を受信可能に配置されている。
　同様に、車体１１の車幅方向における中央寄りに装着された第三リアソナーＳＲ３および第四リアソナーＳＲ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。
　同様に、車体１１の右側に装着された第二リアソナーＳＲ２および第四リアソナーＳＲ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第二リアソナーＳＲ２と第四リアソナーＳＲ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。
　第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４は、側面部１６の外側表面である車両側面から探査波を自車両１０の側方に発信するように設けられている。第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４は、それぞれ、直接波のみを受信可能に設けられている。
　第一サイドソナーＳＳ１は、自車両１０の左方に探査波を発信するように、前後方向について左側のドアミラー１８と第一フロントソナーＳＦ１との間に配置されている。第二サイドソナーＳＳ２は、自車両１０の右方に探査波を発信するように、前後方向について右側のドアミラー１８と第二フロントソナーＳＦ２との間に配置されている。第一サイドソナーＳＳ１と第二サイドソナーＳＳ２とは、車両中心軸線ＬＣを挟んで対称に設けられている。
　第三サイドソナーＳＳ３は、自車両１０の左方に探査波を発信するように、前後方向について左後側のドアパネル１７と第一リアソナーＳＲ１との間に配置されている。第四サイドソナーＳＳ４は、自車両１０の右方に探査波を発信するように、前後方向について右後側のドアパネル１７と第二リアソナーＳＲ２との間に配置されている。第三サイドソナーＳＳ３と第四サイドソナーＳＳ４とは、車両中心軸線ＬＣを挟んで対称に設けられている。
　複数のソナーセンサ２２の各々は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。複数のソナーセンサ２２の各々は、物体検知ＥＣＵ２７の制御下で探査波を発信するとともに、受信波の受信結果に対応する信号を発生して物体検知ＥＣＵ２７にて受信可能に出力するようになっている。受信波の受信結果に対応する信号に含まれる情報を、以下「測距情報」と称する。測距情報には、受信波の受信強度に関連する情報、および、距離情報が含まれる。「距離情報」は、複数のソナーセンサ２２の各々と物体Ｂとの距離に関連する情報である。具体的には、例えば、距離情報には、探査波の発信から受信波の受信までの時間差に関連する情報が含まれる。
　レーダーセンサ２３は、レーダー波を送受信するレーザーレーダーセンサまたはミリ波レーダーセンサであって、車体１１の前面部１２に装着されている。レーダーセンサ２３は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。レーダーセンサ２３は、反射点の位置および相対速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように構成されている。「反射点」は、物体Ｂの表面上における、レーダー波を反射したと推定される点である。「相対速度」は、反射点すなわちレーダー波を反射した物体Ｂの、自車両１０に対する相対速度である。
　車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。車速センサ２４は、自車両１０の走行速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。自車両１０の走行速度を、以下単に「車速」と称する。シフトポジションセンサ２５は、自車両１０のシフトポジションに対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。舵角センサ２６は、自車両１０の操舵角に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。
　物体検知ＥＣＵ２７は、車体１１の内側に配置されている。物体検知ＥＣＵ２７は、いわゆる車載マイクロコンピュータであって、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性リライタブルメモリ、等を備えている。不揮発性リライタブルメモリは、例えば、ＥＥＰＲＯＭ、フラッシュＲＯＭ、ハードディスク、等である。ＥＥＰＲＯＭはElectronically　Erasable　and　Programmable　Read　Only　Memoryの略である。物体検知ＥＣＵ２７のＣＰＵ、ＲＯＭ、ＲＡＭおよび不揮発性リライタブルメモリを、以下単に「ＣＰＵ」、「ＲＯＭ」、「ＲＡＭ」および「不揮発記憶媒体」と略称する。ＲＯＭおよび不揮発記憶媒体は、コンピュータ読み取り可能な非遷移的実体的記憶媒体に相当するものである。
　物体検知ＥＣＵ２７は、ＣＰＵがＲＯＭまたは不揮発記憶媒体からプログラムを読み出して実行することで、各種の制御動作を実現可能に構成されている。このプログラムには、後述のフローチャートあるいはルーチンに対応するものが含まれている。また、ＲＡＭおよび不揮発記憶媒体は、ＣＰＵがプログラムを実行する際の処理データを一時的に格納可能に構成されている。さらに、ＲＯＭおよび／または不揮発記憶媒体には、プログラムの実行の際に用いられる各種のデータが、あらかじめ格納されている。各種のデータには、例えば、初期値、ルックアップテーブル、マップ、等が含まれている。
　物体検知ＥＣＵ２７は、複数の撮像部２１の各々、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、等から受信した信号および情報に基づいて、物体検知動作を実行するように構成されている。また、物体検知ＥＣＵ２７は、表示部２８および音声出力部２９の動作を制御することで、物体検知状態に伴う報知動作を行うようになっている。
　表示部２８および音声出力部２９は、車両１０における車室内に配置されている。また、表示部２８および音声出力部２９は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。すなわち、表示部２８は、物体検知結果およびこれを用いた各種動作に伴う報知動作を、表示画面またはインジケータを用いた表示により行うように構成されている。また、音声出力部２９は、物体検知結果およびこれを用いた各種動作に伴う報知動作を、スピーカを用いた音声出力により行うように構成されている。
　本実施形態においては、物体検知ＥＣＵ２７は、駐車支援機能および衝突回避機能を含む運転支援機能を奏するように構成されている。具体的には、例えば、物体検知ＥＣＵ２７は、撮像部２１を用いて駐車スペースを検出するとともに、検出した駐車スペースへの自車両１０の移動を、ソナーセンサ２２等による障害物検知結果に基づいて支援するようになっている。「障害物」とは、自車両１０の周囲に存在する物体Ｂのうち、高さが所定の閾値よりも高いために乗り越え走行が困難または不可能なものをいう。また、物体検知ＥＣＵ２７は、撮像部２１を用いて検知した障害物を回避しつつ所定の算出経路を走行するために必要な、自車両１０の加減速制御量および操舵制御量を算出するようになっている。
　すなわち、物体検知装置２０は、運転支援装置５０の一部を構成するように設けられている。運転支援装置５０は、物体検知装置２０に加えて、入力操作部５１と、動力制御ＥＣＵ５２と、制動制御ＥＣＵ５３と、操舵制御ＥＣＵ５４とを備えている。入力操作部５１、動力制御ＥＣＵ５２、制動制御ＥＣＵ５３、および操舵制御ＥＣＵ５４は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。
　入力操作部５１は、車両１０における車室内に配置されている。入力操作部５１は、車両１０の乗員である操作者による入力操作を受け付けるための、スイッチ類および／または音声入力部を備えている。
　動力制御ＥＣＵ５２は、不図示の走行用モータおよび／またはエンジンの動作を制御して、車両１０の走行出力を制御するように設けられている。制動制御ＥＣＵ５３は、不図示のブレーキアクチュエータ等の駆動を制御して、車両１０の制動力を制御するように設けられている。操舵制御ＥＣＵ５４は、不図示の操舵用モータの駆動を制御して、車両１０の操舵量を制御するように設けられている。
　（物体検知ＥＣＵ）
　図２を参照すると、物体検知ＥＣＵ２７は、マイクロコンピュータ上にて実現される、以下の機能構成を有している。すなわち、物体検知ＥＣＵ２７は、画像情報取得部２７０と、特徴点抽出部２７１と、座標取得部２７２とを有している。また、物体検知ＥＣＵ２７は、移動状態量取得部２７３と、移動物体判定部２７４と、移動点特定部２７５と、停止点特定部２７６とを有している。また、物体検知ＥＣＵ２７は、測距情報取得部２７７と、物体認識部２７８と、制御内容判定部２７９とを有している。以下、本実施形態における、物体検知ＥＣＵ２７の機能構成の詳細について説明する。
　画像情報取得部２７０は、自車両１０の周囲の撮影画像に対応する画像情報を取得するように設けられている。具体的には、画像情報取得部２７０は、撮像部２１により生成された画像情報を撮像部２１から受信するとともに、受信した画像情報を、不揮発記憶媒体を用いて時系列で所定容量分保持するようになっている。
　特徴点抽出部２７１は、画像情報取得部２７０にて取得した画像情報に基づいて、撮影画像における特徴点を抽出するように設けられている。特徴点は、撮影画像中の物体Ｂの形状を特徴付ける点であって、「検知点」に相当する。具体的には、特徴点は、撮影画像の画角内における、特徴的な点すなわち画素である。例えば、特徴点は、隣接する画素との間での輝度変化が大きな画素である。なお、特徴点およびその抽出手法は、本願の出願時点にて周知である。特徴点の検出手法として、周知の手法（例えば、Sobelフィルタ、Laplacianフィルタ、Canny法、等。）を用いることが可能である。したがって、本明細書においては、特徴点抽出部２７１による特徴点の抽出手法の詳細については、説明を省略する。なお、特徴点の「抽出」は、「検出」とも表現され得る。
　座標取得部２７２は、自車両１０に搭載された１つの撮像部２１により異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体Ｂに対応する検知点の位置座標を取得するように設けられている。「１つの撮像部２１」は、例えば、自車両１０の前方に存在する物体Ｂを検知する場合は、フロントカメラＣＦである。
　具体的には、座標取得部２７２は、同一の撮像部２１により異なる自車両位置および時刻にて撮像された複数の撮影画像に基づいて、移動ステレオの手法により、物体Ｂに対応する特徴点の三次元位置座標を算出するようになっている。移動ステレオは、単眼移動ステレオあるいはＳＦＭとも称される。ＳＦＭはStructure　from　Motionの略である。なお、移動ステレオあるいはＳＦＭについては、本願の出願時点において、すでに公知あるいは周知となっている。したがって、本明細書においては、移動ステレオあるいはＳＦＭの詳細については、説明を省略する。
　座標取得部２７２により位置座標が算出される、物体Ｂに対応する「検知点」は、特徴点抽出部２７１により抽出された特徴点のうち、異なる自車両位置および時刻にて撮像された複数の撮影画像間での対応付けがなされたものである。よって、「検知点」は、「特徴点」とも言い換えられ得る。
　移動状態量取得部２７３は、物体Ｂの移動速度または移動量である移動状態量を取得するように設けられている。本実施形態においては、移動状態量取得部２７３は、異なる自車両位置にて撮影された複数の撮影画像に基づいて算出したオプティカルフローを用いて、移動状態量を取得するようになっている。
　移動物体判定部２７４は、移動状態量取得部２７３による移動状態量の取得結果に基づいて、移動中の物体Ｂである移動物体の存否と、移動物体が存在する場合の自車両１０との相対位置関係とを判定するように設けられている。具体的には、移動物体判定部２７４は、移動状態量が閾値を超える検知点の検知状態および分布状態に基づいて、移動物体の存否を判定するようになっている。また、移動物体判定部２７４は、ノイズではなく移動物体に対応するものであると判定された検知点の、三次元位置または画角内位置に基づいて、自車両１０を基準として移動物体が存在する方向を判定するようになっている。なお、オプティカルフローを用いた移動物体の検知および移動状態量の算出については、本願の出願時点において、すでに公知あるいは周知となっている。したがって、本明細書においては、オプティカルフローを用いた移動物体の検知および移動状態量の算出の詳細については、説明を省略する。
　移動点特定部２７５は、移動物体に対応する検知点を移動点として特定するように設けられている。図１および図２に加えて図３を参照すると、本実施形態においては、移動点特定部２７５は、移動物体の自車両１０との相対位置関係に応じて設定される所定範囲である移動点特定範囲ＲＭ内に存在する検知点を、移動点として特定するようになっている。具体的には、移動点特定部２７５は、自車両１０を基準として移動物体が存在する方向に、移動点特定範囲ＲＭを設定するようになっている。
　また、移動点特定部２７５は、移動状態量に応じて移動点特定範囲ＲＭの形状を可変に設定するようになっている。具体的には、移動点特定部２７５は、移動物体の移動速度ＶＢ、あるいは、前回撮影時点と今回撮影時点との間の移動物体の移動量ＤＢに応じて、移動点特定範囲ＲＭの大きさを変更するようになっている。移動点特定範囲ＲＭの設定態様の詳細については、後述の動作概要の説明欄において説明する。
　停止点特定部２７６は、移動点とは異なる検知点である停止点を特定するように設けられている。停止点は、静止中の物体Ｂである静止物体に対応する検知点である。停止点特定部２７６は、複数取得された検知点から移動点を除くことで、停止点を特定するようになっている。具体的には、本実施形態においては、停止点特定部２７６は、座標取得部２７２により位置座標が取得された複数の検知点から、移動点を除くことで、停止点を特定するようになっている。
　測距情報取得部２７７は、ソナーセンサ２２による距離検出結果である測距情報を取得するように設けられている。また、測距情報取得部２７７は、複数のソナーセンサ２２を用いて取得した測距情報に基づく三角測量により、物体Ｂの自車両１０に対する並進方向についての相対位置情報を取得するように設けられている。さらに、測距情報取得部２７７は、測距情報および相対位置情報の取得結果を、不揮発記憶媒体を用いて時系列で所定時間分保持するようになっている。
　物体認識部２７８は、座標取得部２７２によって取得された、検知点の位置座標に基づいて、物体Ｂを認識するように設けられている。具体的には、物体認識部２７８は、物体Ｂに対応する検知点の、所定の原点を基準に設定されたＸＹＺ三次元座標系における位置に基づいて、物体Ｂの自車両１０に対する相対位置と物体Ｂの三次元形状とを認識するようになっている。「所定の原点」は、例えば、所定の基準時点における、フロントカメラＣＦの位置である。「所定の基準時点」は、例えば、物体検知装置２０による物体検知動作が開始された時点である。ＸＹＺ三次元座標系は、例えば、所定の基準時点における所定の原点を基準として、前方をＸ軸正方向とし、Ｙ軸正方向を車幅方向と平行とし、Ｚ軸正方向を車高方向と平行として設定した直交座標系である。
　本実施形態においては、物体認識部２７８は、移動点の位置座標を用いず、停止点の位置座標を用いて、物体Ｂを認識するように設けられている。具体的には、物体認識部２７８は、座標取得部２７２により取得された複数の検知点の位置座標の中から、移動点の位置座標を除く停止点の位置座標に基づいて、物体Ｂを認識するようになっている。
　物体認識部２７８は、座標取得部２７２による位置座標の算出結果と、測距情報取得部２７７にて取得した測距情報および相対位置情報とに基づいて、物体Ｂを認識するように設けられている。すなわち、本実施形態においては、物体認識部２７８は、画像認識結果と測距結果とを融合させる、いわゆる「センサフュージョン」技術を用いて、障害物としての物体Ｂを検知するようになっている。具体的には、物体認識部２７８は、座標取得部２７２による位置座標の算出結果を、測距情報取得部２７７にて取得した測距情報および相対位置情報に基づいて補正することで、物体ＢのＸＹＺ三次元座標系における位置および形状を認識するようになっている。
　制御内容判定部２７９は、測距情報取得部２７７による測距情報および相対位置情報の取得結果と、物体認識部２７８による物体Ｂの認識結果とに基づいて、制御内容を判定するようになっている。「制御内容」とは、物体Ｂの検知結果に応じて、当該物体Ｂを回避しつつ所定の算出経路を走行するために必要な、自車両１０の加減速制御量および操舵制御量である。また、制御内容判定部２７９は、判定した制御内容を、車載通信回線を介して、動力制御ＥＣＵ５２、制動制御ＥＣＵ５３、および操舵制御ＥＣＵ５４に送信するようになっている。
　（動作概要）
　以下、本実施形態に係る、物体検知装置２０すなわち物体検知ＥＣＵ２７における動作概要について、本実施形態の構成により奏される効果とともに説明する。
　複数の撮像部２１の各々、すなわち、フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲは、自車両１０の周囲の画像を撮影して、撮影画像に対応する画像情報を生成する。また、複数の撮像部２１の各々は、生成した画像情報を、物体検知ＥＣＵ２７にて受信可能に出力する。
　複数のソナーセンサ２２の各々は、自車両１０の外側に向けて発信された探査波の反射波を含む受信波を受信することで、自車両１０の周囲に存在する物体Ｂ上の点との距離を測定する。また、複数のソナーセンサ２２の各々は、取得した測距情報を、物体検知ＥＣＵ２７にて受信可能に出力する。
　レーダーセンサ２３は、物体Ｂ上の反射点の位置および相対速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。車速センサ２４は、車速に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。シフトポジションセンサ２５は、自車両１０のシフトポジションに対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。舵角センサ２６は、自車両１０の操舵角に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。
　物体検知ＥＣＵ２７は、複数の撮像部２１の各々から、画像情報を受信する。また、物体検知ＥＣＵ２７は、複数のソナーセンサ２２の各々から、測距情報を受信する。また、物体検知ＥＣＵ２７は、レーダーセンサ２３、車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６からの出力信号を受信する。物体検知ＥＣＵ２７は、複数のソナーセンサ２２の各々、複数の撮像部２１の各々、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、等から受信した信号および情報に基づいて、物体検知動作および運転支援動作を実行する。
　画像情報取得部２７０は、自車両１０の周囲の撮影画像に対応する画像情報を、複数の撮像部２１の各々から取得する。取得された画像情報は、時系列で不揮発記憶媒体に格納される。特徴点抽出部２７１は、画像情報取得部２７０にて取得した画像情報に基づいて、撮影画像における特徴点を抽出する。座標取得部２７２は、１つの撮像部２１によって自車両１０の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体Ｂに対応する検知点の位置座標を取得する。
　具体的には、例えば、自車両１０の前方に存在する物体Ｂを検知する例においては、画像情報取得部２７０は、フロントカメラＣＦの撮影画像に対応する画像情報をするとともに、受信した画像情報を時系列で所定容量分保持する。座標取得部２７２は、フロントカメラＣＦの撮影画像から抽出された特徴点を用いて、移動ステレオの手法により、物体Ｂに対応する特徴点の位置座標すなわち三次元座標を算出する。
　移動状態量取得部２７３は、物体Ｂの移動状態量を取得する。具体的には、上記の例においては、移動状態量取得部２７３は、フロントカメラＣＦにより撮影された複数の撮影画像に基づいて算出したオプティカルフローを用いて、自車両１０の前方の物体Ｂに対応する移動状態量を取得する。
　移動物体判定部２７４は、移動状態量取得部２７３による移動状態量の取得結果に基づいて、移動中の物体Ｂである移動物体の存否と、移動物体が存在する場合の自車両１０との相対位置関係とを判定する。具体的には、移動物体判定部２７４は、ノイズではなく移動物体に対応するものであると判定された検知点の、三次元位置または画角内位置に基づいて、自車両１０を基準として移動物体が存在する方向を判定する。
　移動点特定部２７５は、移動物体に対応する検知点を移動点として特定する。具体的には、図３を参照すると、まず、移動点特定部２７５は、前回自車両位置ＶＰ１にて検知した、物体Ｂ上の第一特徴点ＤＰ１を、移動点特定範囲ＲＭの基準点として設定する。前回自車両位置ＶＰ１は、今回自車両位置ＶＰ２の直前に、フロントカメラＣＦにより自車両１０の前方画像を撮影した時点である。次に、移動点特定部２７５は、かかる基準点を基準として、移動点特定範囲ＲＭを設定する。なお、図３では、移動点特定範囲ＲＭは、基準点を中心として矩形に設定しているが、これに限らず、物体Ｂの進行方向および自車両側の領域が大きくなるように設定してもよい。具体的には、後述するように、算出誤差が発生する領域は、物体Ｂの進行方向および自車両側に発生し易いため、そのような領域をカバーできるように移動点特定範囲ＲＭを設定するようにすれば良い。そして、移動点特定部２７５は、移動点特定範囲ＲＭ内に存在する検知点を、移動点として特定する。また、基準点の設定としては、上記に限らず、例えば、前回自車両位置ＶＰ１にてフロントカメラＣＦにて検知した物体Ｂの領域の重心（あるいは中心）を用いても良い。
　物体Ｂが静止物体である場合、前回自車両位置ＶＰ１および今回自車両位置ＶＰ２の双方において、第一特徴点ＤＰ１の位置は不変である。しかしながら、物体Ｂが移動速度ＶＢにて移動することで、第一特徴点ＤＰ１は第二特徴点ＤＰ２まで移動する。
　ここで、ＳＦＭ等の移動ステレオによる位置座標算出は、算出対象となる物体Ｂが静止物体であることが前提となっている。このため、移動物体について、移動ステレオによる位置座標算出を行うと、算出誤差が大きくなる。特に、検知点すなわち特徴点がエピポーラ線に沿って移動した場合、算出誤差が、かなり大きくなる。また、移動物体の移動速度ＶＢあるいは移動量ＤＢが大きくなるほど、算出誤差が大きくなる。図３に示された例においては、位置座標の算出結果は、誤検知候補点ＤＰＥを中心とした、図中楕円の一点鎖線で囲まれた範囲で生じる。誤検知候補点ＤＰＥは、前回自車両位置ＶＰ１におけるフロントカメラＣＦの位置と第一特徴点ＤＰ１とを結ぶ仮想線Ｌ１上に生じる。
　そこで、移動点特定部２７５は、移動物体の移動速度ＶＢまたは移動量ＤＢに応じて、移動点特定範囲ＲＭの大きさを決定する。具体的には、移動点特定部２７５は、移動物体の移動速度ＶＢまたは移動量ＤＢが大きくなるほど、移動点特定範囲ＲＭの大きさを大きくなるように設定する。続いて、移動点特定部２７５は、自車両１０と移動物体との相対速度に応じて、移動点特定範囲ＲＭの基準点に対する相対位置を決定する。これにより、移動点特定部２７５は、自車両１０を基準として移動物体が存在する方向に、移動点特定範囲ＲＭを設定することができる。
　再び図２を参照すると、停止点特定部２７６は、移動点とは異なる検知点である停止点を特定する。具体的には、停止点特定部２７６は、特徴点抽出部２７１および座標取得部２７２により複数取得された検知点から移動点を除くことで、停止点を特定する。より詳細には、停止点特定部２７６は、座標取得部２７２により位置座標が取得された複数の検知点から、移動点を除くことで、停止点を特定する。
　測距情報取得部２７７は、複数のソナーセンサ２２の各々から、物体Ｂに対応する測距情報を取得する。また、測距情報取得部２７７は、測距情報に基づいて、物体Ｂの自車両１０に対する相対位置情報を取得する。測距情報取得部２７７は、測距情報および相対位置情報の取得結果を、時系列で所定時間分保持する。
　物体認識部２７８は、座標取得部２７２による位置座標の算出結果と、測距情報取得部２７７にて取得した測距情報および相対位置情報とに基づいて、物体Ｂを認識する。制御内容判定部２７９は、測距情報取得部２７７による測距情報および相対位置情報の取得結果と、物体認識部２７８による物体Ｂの認識結果とに基づいて、制御内容を判定する。また、制御内容判定部２７９は、判定した制御内容を、車載通信回線を介して、動力制御ＥＣＵ５２、制動制御ＥＣＵ５３、および操舵制御ＥＣＵ５４に送信する。
　本実施形態に係る物体検知装置２０、ならびに、これによって実行される物体検知方法および物体検知プログラムによれば、以下のような効果が奏され得る。以下、本実施形態に係る物体検知装置２０、ならびに、これによって実行される物体検知方法および物体検知プログラムを総称して、単に「本実施形態」と称する。
　本実施形態においては、物体認識部２７８は、移動物体に対応する検知点である移動点の位置座標を用いず、停止点の位置座標を用いて、自車両１０の周囲に存在する物体Ｂを移動ステレオ技術により認識する。具体的には、物体認識部２７８は、複数取得された検知点から移動点を除くことで特定される停止点の、位置座標に基づいて、自車両１０の周囲に存在する物体Ｂを認識する。より詳細には、物体認識部２７８は、座標取得部２７２により取得された複数の検知点の位置座標のうち、移動点の位置座標を除いた、停止点の位置座標に基づいて、物体Ｂを認識する。
　本実施形態によれば、移動ステレオ技術を用いた物体Ｂの検知において、物体Ｂの移動を起因とする誤検知に伴う自車両１０の不必要な車両制御が、良好に回避され得る。例えば、自車両１０の駐車支援あるいは衝突回避の場面において、自車両１０と安全にすれ違うことが可能な対向車である移動物体が、衝突可能性が高い障害物と誤検知されると、無用な回避制御あるいは制動制御が行われる。しかしながら、本実施形態によれば、このような無用な回避制御あるいは制動制御の介入が、良好に回避され得る。したがって、本実施形態によれば、車両制御に良好に用いることが可能な物体検知結果が提供され得る。
　本実施形態においては、物体認識部２７８は、座標取得部２７２による位置座標の算出結果と、測距情報取得部２７７にて取得した測距情報および相対位置情報とに基づいて、物体Ｂを認識する。このため、仮に、位置座標の算出結果が削除すなわち消去された移動物体が自車両１０に接近してきても、衝突が発生する前に、測距情報取得部２７７にて取得した測距情報等を用いて、警報あるいは衝突回避動作制御が可能である。したがって、本実施形態によれば、良好な車両運転支援制御が可能となる。
　本実施形態においては、移動点特定部２７５は、移動中の物体Ｂの移動状態量に応じた形状に設定された移動点特定範囲ＲＭを、自車両１０を基準として移動物体が存在する方向に設定する。そして、物体認識部２７８は、移動点特定範囲ＲＭを用いて移動点特定部２７５により特定された移動点を除くことで特定される停止点の、位置座標に基づいて、自車両１０の周囲に存在する物体Ｂを認識する。したがって、本実施形態によれば、物体Ｂの移動状態量に応じた移動点および停止点の特定が、良好な精度で行われ得る。
　（動作例）
　以下、本実施形態による、上記の動作概要に対応する具体的な動作例について、図４に示したフローチャートを用いて説明する。なお、図面中において、「ステップ」を単に「Ｓ」と略記する。
　物体検知装置２０、すなわち、物体検知ＥＣＵ２７のＣＰＵは、所定の起動条件成立中に、図４に示されたルーチンを、所定時間間隔で繰り返し起動する。かかるルーチンが起動されると、まず、物体検知装置２０は、ステップ４０１～ステップ４０７の処理を順に実行する。
　ステップ４０１にて、物体検知装置２０は、撮像部２１を用いて、画像情報を取得する。ステップ４０２にて、物体検知装置２０は、取得した画像情報に基づいて、特徴点を抽出する。ステップ４０３にて、物体検知装置２０は、ステップ４０２にて抽出した特徴点に対応する位置座標すなわち三次元座標を取得する。
　ステップ４０４にて、物体検知装置２０は、異なる自車両位置にて撮影された複数の撮影画像に基づいて、オプティカルフローを算出する。ステップ４０５にて、物体検知装置２０は、ステップ４０４にて算出したオプティカルフローに基づいて、各特徴点に対応する移動状態量を取得する。ステップ４０６にて、物体検知装置２０は、ステップ４０５にて取得した移動状態量に基づいて、移動物体の存否と、移動物体が存在する場合の自車両１０との相対位置関係とを判定する。
　ステップ４０７にて、物体検知装置２０は、移動物体が存在するか否かを判定する。移動物体が存在する場合（すなわちステップ４０７＝ＹＥＳ）、物体検知装置２０は、ステップ４０８およびステップ４０９の処理を実行した後、処理をステップ４１０以降に進行させる。
　ステップ４０８にて、物体検知装置２０は、移動点特定範囲ＲＭを設定する。ステップ４０９にて、物体検知装置２０は、設定した移動点特定範囲ＲＭを用いて、移動点を特定する。ステップ４１０にて、物体検知装置２０は、停止点を特定する。この場合、停止点の特定は、複数取得された検知点から移動点を除くことによって行われる。
　移動物体が存在しない場合（すなわちステップ４０７＝ＮＯ）、物体検知装置２０は、ステップ４０８およびステップ４０９の処理をスキップして、処理をステップ４１０以降に進行させる。ステップ４１０にて、物体検知装置２０は、停止点を特定する。この場合、停止点の特定は、複数取得された検知点のほぼ全てを停止点とすることによって行われる。
　ステップ４１１にて、物体検知装置２０は、ソナーセンサ２２による距離検出結果である測距情報を取得する。また、ステップ４１１にて、物体検知装置２０は、複数のソナーセンサ２２を用いて取得した測距情報に基づく三角測量により、物体Ｂの自車両１０に対する並進方向についての相対位置情報を取得する。
　ステップ４１２にて、物体検知装置２０は、ステップ４０３における位置座標の取得結果と、ステップ４１１における測距情報および相対位置情報の取得結果とに基づいて、物体Ｂを認識する。ステップ４１３にて、物体検知装置２０は、ステップ４１２における物体Ｂの認識結果に基づいて、制御内容を判定する。
　（変形例）
　本開示は、上記実施形態に限定されるものではない。故に、上記実施形態に対しては、適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記実施形態との相違点を主として説明する。また、上記実施形態と変形例とにおいて、相互に同一または均等である部分には、同一符号が付されている。したがって、以下の変形例の説明において、上記実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態における説明が適宜援用され得る。
　本開示は、上記実施形態にて示された具体的な装置構成に限定されない。すなわち、例えば、物体検知装置２０を搭載する車両１０は、四輪自動車に限定されない。具体的には、車両１０は、三輪自動車であってもよいし、貨物トラック等の六輪または八輪自動車であってもよい。車両１０の種類は、内燃機関のみを備えた自動車であってもよいし、内燃機関を備えない電気自動車または燃料電池車であってもよいし、いわゆるハイブリッド自動車であってもよい。車体１１の形状および構造も、箱状すなわち平面視における略矩形状に限定されない。ドアパネル１７の数も、特段の限定はない。
　物体検知装置２０の適用対象についても、特段の限定はない。すなわち、例えば、物体検知装置２０は、運転支援装置５０に限定されない。具体的には、例えば、物体検知装置２０は、自動運転の定義におけるレベル２～レベル５に相当する、半自動運転あるいは自動運転に対しても、好適に適用可能である。
　撮像部２１の配置および個数は、上記の例に限定されない。すなわち、例えば、フロントカメラＣＦは、車室内に配置され得る。具体的には、例えば、フロントカメラＣＦは、車両１０における車室内に配置された不図示のルームミラーに装着され得る。左側カメラＣＬおよび右側カメラＣＲは、ドアミラー１８とは異なる位置に配置され得る。あるいは、左側カメラＣＬおよび右側カメラＣＲは、省略され得る。
　ソナーセンサ２２の配置および個数は、上記の具体例に限定されない。すなわち、例えば、図１を参照すると、第三フロントソナーＳＦ３が車幅方向における中央位置に配置される場合、第四フロントソナーＳＦ４は省略される。同様に、第三リアソナーＳＲ３が車幅方向における中央位置に配置される場合、第四リアソナーＳＲ４は省略される。第三サイドソナーＳＳ３および第四サイドソナーＳＳ４は、省略され得る。
　物体検知装置２０に用いられる各種センサ類は、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、等に限定されない。すなわち、例えば、車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６のうちの少なくとも１つは、省略されたり、他のセンサに代替されたりしてもよい。
　上記実施形態においては、物体検知ＥＣＵ２７は、ＣＰＵがＲＯＭ等からプログラムを読み出して起動する構成であった。しかしながら、本開示は、かかる構成に限定されない。すなわち、例えば、物体検知ＥＣＵ２７は、上記のような動作を可能に構成されたデジタル回路、例えばＡＳＩＣあるいはＦＰＧＡを備えた構成であってもよい。ＡＳＩＣはApplication　Specific　Integrated　Circuitの略である。ＦＰＧＡはField　Programmable　Gate　Arrayの略である。
　上記実施形態において、物体検知ＥＣＵ２７は、物体検知装置２０の主要部を構成する。このため、撮像部２１～舵角センサ２６、表示部２８、および音声出力部２９は、上記実施形態において、物体検知装置２０の主要な構成要素ではなく、物体検知装置２０の付随的要素であるものと把握され得る。あるいは、例えば、少なくとも撮像部２１は、物体検知ＥＣＵ２７とともに、物体検知装置２０の主要な構成要素であるものと把握され得る。
　本開示は、上記実施形態にて示された具体的な機能構成および動作例に限定されない。例えば、撮像部２１およびソナーセンサ２２は、それぞれ、画像情報取得部２７０および測距情報取得部２７７を構成するものとして、物体検知装置２０の主要な構成要素としても把握され得る。あるいは、画像情報取得部２７０～制御内容判定部２７９のうちの一部または全部が、撮像部２１に設けられていてもよい。
　座標取得部２７２における処理内容は、単眼移動ステレオに限定されない。具体的には、例えば、複眼ステレオ、あるいは、単眼移動ステレオと複眼ステレオとの統合処理が用いられ得る。単眼移動ステレオと複眼ステレオとの統合処理については、本願の出願時において、すでに公知または周知となっている。したがって、本明細書においては、複眼ステレオ処理、および、単眼移動ステレオと複眼ステレオとの統合処理についての詳細については、説明を省略する。
　移動状態量取得部２７３は、オプティカルフローに代えて、あるいはこれとともに、ソナーセンサ２２および／またはレーダーセンサ２３による検知結果を用いて、移動状態量を取得してもよい。
　移動点特定部２７５は、座標取得部２７２による位置座標の算出前の特徴点から移動点を特定するようになっていてもよい。同様に、停止点特定部２７６は、座標取得部２７２による位置座標の算出前の特徴点から停止点を特定するようになっていてもよい。この場合、座標取得部２７２は、抽出済みの特徴点のうち、移動物体に対応する特徴点である移動点を除いたものに対して、移動ステレオの手法により位置座標を算出する。すなわち、座標取得部２７２は、複数取得された検知点すなわち特徴点から移動点を除いた停止点の、位置座標を取得する。そして、物体認識部２７８は、停止点の位置座標に基づいて、物体Ｂを認識する。具体的には、図４のフローチャートにおいて、ステップ４０３の処理は、ステップ４１０の後に行われる。これにより、計算負荷を効果的に軽減しつつ、精度良い位置座標算出が実現され得る。
　測距情報取得部２７７は、ソナーセンサ２２の出力に代えて、あるいはこれとともに、レーダーセンサ２３の出力に基づいて、測距情報を取得してもよい。すなわち、探査波として、超音波または電磁波が用いられ得る。また、測距点として、レーダーセンサ２３により取得された反射点が用いられ得る。この場合、反射点に関する相対位置情報は、ソナーセンサ２２により取得された測距点の代替として用いられ得る。あるいは、反射点に関する相対位置情報は、ソナーセンサ２２により取得された測距点の補正要素として用いられ得る。
　物体認識部２７８にて物体認識に用いられない、移動点に対応する特徴点および／または位置座標のデータは、削除すなわち消去されてもよい。あるいは、移動点に対応する特徴点および／または位置座標のデータは、他の用途または他のＥＣＵによる利用に供するために、削除されずに保持されていてもよい。
　上記の具体例においては、フロントカメラＣＦによる撮影画像を用いた物体Ｂの検知動作について説明した。しかしながら、本開示は、かかる態様に限定されない。すなわち、例えば、本開示は、リアカメラＣＢによる撮影画像を用いた物体Ｂの検知動作に対しても、好適に適用され得る。同様に、本開示は、左側カメラＣＬおよび右側カメラＣＲによる撮影画像を用いた物体Ｂの検知動作に対しても、好適に適用され得る。
　上記実施形態においては、位置座標として三次元座標を用いた例を示した。かかる例においては、「位置座標」は、「三次元位置座標」あるいは「三次元座標」とも称され得るものである。しかしながら、本開示は、かかる態様に限定されない。すなわち、例えば、位置座標として二次元座標が用いられてもよい。具体的には、例えば、座標取得部２７２は、自車両１０の重心を原点とし、車幅方向をＸ軸とし、車長方向をＹ軸とした、ＸＹ二次元座標系における位置座標を、移動ステレオの手法による三角測量の原理で検出してもよい。同様に、移動状態量取得部２７３～制御内容判定部２７９は、二次元位置座標に基づいて機能あるいは動作するようになっていてもよい。
　「取得」という表現と、「推定」「検出」「検知」「算出」等の類似の表現とは、技術的に矛盾しない範囲内において、適宜置換可能である。「検出」と「抽出」とも、技術的に矛盾しない範囲内において、適宜置換可能である。各判定処理における不等号は、等号付きであってもよいし、等号無しであってもよい。すなわち、例えば、「閾値未満」と「閾値以下」とは、技術的に矛盾しない範囲内において、互いに置換され得る。
　上記実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、構成要素の個数、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数値に限定される場合等を除き、その特定の数値に本開示が限定されることはない。同様に、構成要素等の形状、方向、位置関係等が言及されている場合、特に必須であると明示した場合および原理的に特定の形状、方向、位置関係等に限定される場合等を除き、その形状、方向、位置関係等に本開示が限定されることはない。
　上記の各機能構成および方法は、コンピュータプログラムにより具体化された一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移的実体的記憶媒体に記憶されていてもよい。すなわち、本開示に係る装置あるいは方法は、上記の各機能あるいは方法を実現するための手順を含むコンピュータプログラム、あるいは、当該プログラムを記憶した非遷移的実体的記憶媒体としても表現可能である。
　変形例も、上記の例示に限定されない。また、複数の変形例が、互いに組み合わされ得る。さらに、上記実施形態の全部または一部と、変形例の全部または一部とが、互いに組み合わされ得る。

Claims (10)

  1. 　自車両（１０）に搭載されることで自車両の周囲に存在する物体（Ｂ）を検知するように構成された、物体検知装置（２０）であって、
    　自車両に搭載された１つの撮像部（２１）によって、自車両の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体に対応する検知点の位置座標を取得する、座標取得部（２７２）と、
    　移動物体に対応する検知点である移動点の位置座標を用いず、前記移動点とは異なる検知点である停止点の位置座標を用いて、物体を認識する、物体認識部（２７８）と、
    　を備えた物体検知装置。
  2. 　前記座標取得部は、複数取得された検知点から前記移動点を除いた前記停止点の位置座標を取得し、
    　前記物体認識部は、前記停止点の位置座標に基づいて、物体を認識する、
    　請求項１に記載の物体検知装置。
  3. 　前記物体認識部は、前記座標取得部により取得された複数の検知点の位置座標の中から、前記移動点の位置座標を除く前記停止点の位置座標に基づいて、物体を認識する、
    　請求項１に記載の物体検知装置。
  4. 　物体の移動速度または移動量である移動状態量を取得する、移動状態量取得部（２７３）と、
    　前記移動状態量が閾値を超える移動物体に対応する検知点を前記移動点として特定する、移動点特定部（２７５）と、
    　をさらに備えた、
    　請求項１～３のいずれか１つに記載の物体検知装置。
  5. 　前記移動点特定部は、移動物体と自車両との相対位置関係に応じて設定される所定範囲内に存在する検知点を、前記移動点として特定する、
    　請求項４に記載の物体検知装置。
  6. 　前記移動点特定部は、自車両を基準として移動物体が存在する方向に、前記所定範囲を設定する、
    　請求項５に記載の物体検知装置。
  7. 　前記移動点特定部は、前記移動状態量に応じて前記所定範囲の形状を可変に設定する、
    　請求項５または６に記載の物体検知装置。
  8. 　前記移動状態量取得部は、異なる自車両位置にて撮影された複数の前記撮影画像に基づいて算出したオプティカルフローを用いて前記移動状態量を取得する、
    　請求項４～７のいずれか１つに記載の物体検知装置。
  9. 　自車両（１０）の周囲に存在する物体（Ｂ）を検知する、物体検知方法であって、
    　自車両に搭載された１つの撮像部（２１）によって、自車両の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体に対応する検知点の位置座標を取得し、
    　移動物体に対応する検知点である移動点の位置座標を用いず、前記移動点とは異なる検知点である停止点の位置座標を用いて、物体を認識する、
    　物体検知方法。
  10. 　自車両（１０）に搭載されることで自車両の周囲に存在する物体（Ｂ）を検知するように構成された物体検知装置（２０）により実行される、物体検知プログラムであって、
    　前記物体検知装置により実行される処理は、
    　自車両に搭載された１つの撮像部（２１）によって、自車両の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体に対応する検知点の位置座標を取得する処理と、
    　移動物体に対応する検知点である移動点の位置座標を用いず、前記移動点とは異なる検知点である停止点の位置座標を用いて、物体を認識する処理と、
    　を含む物体検知プログラム。
PCT/JP2020/038319 2019-10-14 2020-10-09 物体検知装置、物体検知方法、および物体検知プログラム Ceased WO2021075377A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021552369A JP7236556B2 (ja) 2019-10-14 2020-10-09 物体検知装置および物体検知プログラム
US17/658,979 US12469304B2 (en) 2019-10-14 2022-04-12 Object detection device, object detection method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-188278 2019-10-14
JP2019188278 2019-10-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/658,979 Continuation US12469304B2 (en) 2019-10-14 2022-04-12 Object detection device, object detection method, and storage medium

Publications (1)

Publication Number Publication Date
WO2021075377A1 true WO2021075377A1 (ja) 2021-04-22

Family

ID=75538479

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038319 Ceased WO2021075377A1 (ja) 2019-10-14 2020-10-09 物体検知装置、物体検知方法、および物体検知プログラム

Country Status (3)

Country Link
US (1) US12469304B2 (ja)
JP (1) JP7236556B2 (ja)
WO (1) WO2021075377A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152873A (ja) * 2008-11-19 2010-07-08 Clarion Co Ltd 接近物体検知システム
WO2012160657A1 (ja) * 2011-05-24 2012-11-29 富士通株式会社 物体接近検知装置、物体接近検知方法、及びプログラム
JP2016115305A (ja) * 2014-12-18 2016-06-23 富士通テン株式会社 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP2017220056A (ja) * 2016-06-08 2017-12-14 株式会社デンソー 情報処理装置
JP2018009918A (ja) * 2016-07-15 2018-01-18 株式会社リコー 自己位置検出装置、移動体装置及び自己位置検出方法
JP2018163592A (ja) * 2017-03-27 2018-10-18 クラリオン株式会社 物体検知支援装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3988758B2 (ja) 2004-08-04 2007-10-10 日産自動車株式会社 移動体検出装置
WO2006121088A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
JP2009180536A (ja) 2008-01-29 2009-08-13 Omron Corp 画像処理装置、画像処理方法、およびプログラム
JP5439876B2 (ja) 2009-03-11 2014-03-12 オムロン株式会社 画像処理装置および方法、並びに、プログラム
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
US10297155B2 (en) 2013-09-27 2019-05-21 Hitachi Automotive Systems, Ltd. Object detector
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
JP6757261B2 (ja) * 2017-01-13 2020-09-16 クラリオン株式会社 車載処理装置
US11016492B2 (en) * 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152873A (ja) * 2008-11-19 2010-07-08 Clarion Co Ltd 接近物体検知システム
WO2012160657A1 (ja) * 2011-05-24 2012-11-29 富士通株式会社 物体接近検知装置、物体接近検知方法、及びプログラム
JP2016115305A (ja) * 2014-12-18 2016-06-23 富士通テン株式会社 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP2017220056A (ja) * 2016-06-08 2017-12-14 株式会社デンソー 情報処理装置
JP2018009918A (ja) * 2016-07-15 2018-01-18 株式会社リコー 自己位置検出装置、移動体装置及び自己位置検出方法
JP2018163592A (ja) * 2017-03-27 2018-10-18 クラリオン株式会社 物体検知支援装置

Also Published As

Publication number Publication date
US20220237923A1 (en) 2022-07-28
US12469304B2 (en) 2025-11-11
JP7236556B2 (ja) 2023-03-09
JPWO2021075377A1 (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
CN110232836B (zh) 物体识别装置以及车辆行驶控制系统
US20200057897A1 (en) Obstacle sensing device
US9592764B2 (en) Redundant object detection for driver assistance systems
JP2009086787A (ja) 車両検出装置
US20160307026A1 (en) Stereoscopic object detection device and stereoscopic object detection method
JP6778620B2 (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
US20230070221A1 (en) Obstacle detection apparatus, obstacle detection method, and obstacle detection program
WO2019151156A1 (ja) 物体検知装置および駐車支援装置
JP7135579B2 (ja) 物体検知装置
JP2013053962A (ja) カメラシステム、衝突予測システム、駐車ガイドシステム
CN108027237A (zh) 周边识别装置
JP6579144B2 (ja) 障害物検知装置
JP2021008177A (ja) 駐車支援装置及び駐車支援方法
KR20200075442A (ko) 차량 및 그 제어방법
JP7236556B2 (ja) 物体検知装置および物体検知プログラム
JP7318377B2 (ja) 物体検知装置
JP6958485B2 (ja) 物体検知装置
JP7334572B2 (ja) 物体検知装置および物体検知プログラム
WO2020170666A1 (ja) 情報処理装置および情報処理方法
JP2021043164A (ja) 物体検知装置および物体検知方法
CN117561191A (zh) 车辆用装置以及车辆控制方法
KR20180007211A (ko) 차량의 후방 추돌경보시스템
JP7452374B2 (ja) 物体検知装置および物体検知プログラム
KR20220097656A (ko) 운전자 보조 장치, 차량 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20877771

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021552369

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20877771

Country of ref document: EP

Kind code of ref document: A1