[go: up one dir, main page]

WO2020090339A1 - 画像処理装置、カメラ、移動体および画像処理方法 - Google Patents

画像処理装置、カメラ、移動体および画像処理方法 Download PDF

Info

Publication number
WO2020090339A1
WO2020090339A1 PCT/JP2019/039011 JP2019039011W WO2020090339A1 WO 2020090339 A1 WO2020090339 A1 WO 2020090339A1 JP 2019039011 W JP2019039011 W JP 2019039011W WO 2020090339 A1 WO2020090339 A1 WO 2020090339A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving body
image
trajectory
display
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/039011
Other languages
English (en)
French (fr)
Inventor
平田　明史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to CN201980069381.XA priority Critical patent/CN112912944B/zh
Priority to EP19879385.3A priority patent/EP3876214B1/en
Priority to CN202310092021.XA priority patent/CN116080530A/zh
Priority to US17/287,745 priority patent/US11433810B2/en
Publication of WO2020090339A1 publication Critical patent/WO2020090339A1/ja
Anticipated expiration legal-status Critical
Priority to US17/817,888 priority patent/US11924578B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3826—Terrain data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present disclosure relates to an image processing device, a camera, a moving body, and an image processing method.
  • Patent Document 1 discloses a technique of superimposing and displaying an expected trajectory on a rear image of a vehicle when the vehicle moves backward.
  • the predicted trajectory is a trajectory that the left and right wheels of the vehicle pass through.
  • the predicted trajectory is superimposed on the rear image in a ladder shape at regular intervals so that the driver can recognize the distance.
  • An image processing apparatus an interface for acquiring a peripheral image of a moving body, and a display showing a trajectory of a specific portion of the moving body in a traveling direction of the moving body with respect to the peripheral image, A processor that overlaps a position corresponding to the height of the specific portion from the road surface.
  • the processor deforms the display showing the trajectory when the obstacle existing in the traveling direction of the moving body included in the peripheral image comes into contact with the trajectory of the specific portion.
  • a camera includes an imaging optical system, an imaging element that captures an image formed through the imaging optical system, and an interface that acquires a peripheral image of a moving body captured by the imaging element.
  • a processor that superimposes, on the peripheral image, a display showing a trajectory of a specific portion of the moving body in a traveling direction of the moving body at a position corresponding to a height of the specific portion from a road surface, Equipped with.
  • the processor deforms the display showing the trajectory when the obstacle existing in the traveling direction of the moving body included in the peripheral image comes into contact with the trajectory of the specific portion.
  • the mobile object includes a display unit and a camera that captures an image of the periphery of the mobile object.
  • the camera includes an imaging optical system, an imaging device that captures an image formed through the imaging optical system, an interface that acquires a peripheral image of the moving body captured by the imaging device, and the peripheral image.
  • a display showing the path trajectory of the specific portion of the moving body in the traveling direction of the moving body is displayed on the display unit by being superimposed on the position corresponding to the height of the specific portion from the road surface.
  • a processor deforms the display showing the trajectory when the obstacle existing in the traveling direction of the moving body included in the peripheral image comes into contact with the trajectory of the specific portion.
  • An image processing method is an image processing method in an image processing device, A step of acquiring a peripheral image of the moving body, and displaying, on the peripheral image, a track showing a path trajectory of a specific portion of the moving body in a traveling direction of the moving body, at a height of the specific portion from a road surface.
  • the step of superimposing at the corresponding position, the obstacle existing in the traveling direction of the moving body included in the peripheral image, and the track of the specific portion contact the step of deforming the display showing the track of the path And, including.
  • an image processing device a camera, a moving object, an image processing method, and the like, which allow a user to recognize the possibility of a collision in the height direction with an obstacle existing in the traveling direction of the moving object, are disclosed. It
  • FIG. 1 is a diagram showing a configuration example of an image processing apparatus 10 according to an embodiment of the present disclosure.
  • the image processing apparatus 10 according to the present embodiment is mounted on the moving body 1 as shown in FIG.
  • the image processing apparatus 10 superimposes, on a peripheral image obtained by capturing the periphery of the moving body 1, a display indicating a trajectory of a moving path of the moving body 1 at a specific portion of the moving body 1.
  • the moving body 1 is, for example, a vehicle.
  • Vehicles include, but are not limited to, automobiles and industrial vehicles, and may include railroad vehicles, residential vehicles, and fixed-wing aircraft traveling on a runway. Vehicles include, but are not limited to, passenger cars, trucks, buses, motorcycles, and trolleybuses, and may include other vehicles traveling on roads.
  • Industrial vehicles include industrial vehicles for agriculture and construction. Industrial vehicles include, but are not limited to, forklifts and golf carts. Industrial vehicles for agriculture include, but are not limited to, tractors, tillers, transplanters, binders, combines, and lawnmowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, mobile cranes, dump trucks, and road rollers. Vehicles include those that are driven manually.
  • the vehicle classification is not limited to the above. For example, an automobile may include an industrial vehicle that can travel on a road, and the same vehicle may be included in multiple classifications.
  • the image processing apparatus 10 shown in FIG. 1 includes an interface 12, a processor 13, and a memory 14.
  • the moving body 1 is equipped with an imaging unit 11 that acquires a peripheral image of the moving body 1.
  • the image processing device 10 and the imaging unit 11 configure a camera 1A mounted on the moving body 1.
  • the imaging unit 11 is an in-vehicle camera mounted on the moving body 1.
  • the image capturing unit 11 acquires a peripheral image obtained by capturing the periphery of the moving body 1.
  • a plurality of imaging units 11 may be mounted on the moving body 1. For example, when four vehicle-mounted cameras are mounted on the moving body 1, for example, a position where a peripheral region in front of the moving body 1 and at least a part of a front side surface of the moving body 1 can be photographed, Of the rear side of the mobile body 1 and at least a part of the rear side surface of the mobile body 1, a peripheral area on the left side of the mobile body 1, and at least a part of the left side surface of the mobile body 1 can be captured.
  • the image capturing unit 11 is arranged at each position, a peripheral region on the right side of the moving body 1, and a position where at least a part of the right side surface of the moving body 1 can be photographed. With such an arrangement, the four peripheral areas of the moving body 1 are photographed.
  • the image pickup section 11 includes at least an image pickup optical system 11a and an image pickup element 11b.
  • the image pickup optical system 11a includes, for example, one or more lenses and optical members such as a diaphragm.
  • the lens included in the imaging optical system 11a is, for example, a lens having a wide angle of view such as a fisheye lens.
  • the imaging optical system 11a forms a subject image on the light receiving surface of the image sensor 11b.
  • the image pickup device 11b includes, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • a plurality of pixels are arranged on the light receiving surface of the image sensor 11b.
  • the image pickup element 11b picks up a subject image formed on the light receiving surface to generate a picked-up image.
  • the imaging unit 11 may output the peripheral image to an external device such as an ECU (Electronic Control Unit) mounted on the mobile body 1, a display, and a navigation device.
  • the image capturing unit 11 may also have a function of performing predetermined image processing such as white balance adjustment processing, exposure adjustment processing, and gamma correction processing on the peripheral image.
  • the interface 12 communicates with various configurations of the mobile body 1 via a cable or wirelessly.
  • the interface 12 acquires the peripheral image captured by the image capturing unit 11 and outputs the peripheral image to the processor 13.
  • the processor 13 includes, for example, a dedicated processor such as a DSP (Digital Signal Processor) or a general-purpose processor such as a CPU (Central Processing Unit).
  • the processor 13 controls the operation of the entire image processing apparatus 10. For example, the processor 13 displays, on the peripheral image acquired by the interface 12, a display showing a trajectory of the specific portion of the moving body 1 in the traveling direction of the moving body 1, corresponding to the height of the specific portion from the road surface. Superimpose on position. Then, when the processor 13 detects an obstacle existing in the traveling direction of the moving body 1 included in the peripheral image, when the obstacle comes into contact with the moving path of the specific portion of the moving body 1, a display showing the moving path is displayed. Transform.
  • the processor 13 displays, for example, on the display unit 15 included in the mobile body 1, a peripheral image on which a display showing the course of a specific portion of the mobile body 1 is superimposed.
  • the processor 13 may output a signal indicating the risk of contact to the outside when the obstacle comes into contact with the trajectory of the specific portion of the moving body 1.
  • the processor 13 may cause the buzzer mounted on the moving body 1 to output a warning sound when an obstacle comes into contact with a path locus of a specific portion of the moving body 1.
  • the processor 13 uses the sonar to contact the obstacle if the obstacle does not come into contact with the trajectory of a specific portion of the moving body 1. Even if the possibility is detected, the warning sound or the like may not be output.
  • the specific part of the moving body 1 is a part that is restricted in the height direction with respect to the movement of the moving body 1.
  • the specific portion is the bottom surface of the vehicle body of the moving body 1 or the top surface of the vehicle body.
  • the specific portion is, for example, the bottom surface of the bumper of the vehicle, the roof of the vehicle, or an installation object installed on the roof of the vehicle.
  • the memory 14 includes, for example, a primary storage device or a secondary storage device.
  • the memory 14 stores various information and programs necessary for the operation of the image processing apparatus 10.
  • FIG. 2 is a diagram showing an example of superimposition of a display by the processor 13 on a peripheral image, which shows a trajectory of a moving path of the mobile unit 1 at a specific portion of the mobile unit 1 in the traveling direction. Note that, in the following, a case will be described as an example in which, when the mobile body 1 moves backward, a display showing the path trajectory of a specific portion of the mobile body 1 is superimposed on a peripheral image behind the mobile body 1. In addition, in FIG. 2, the specific portion of the moving body 1 is the bottom surface of the bumper 2.
  • the processor 13 superimposes a display 100 showing the trajectory of the bottom surface of the bumper 2 on the peripheral image.
  • the processor 13 displays the trajectory 100 of the bottom surface of the bumper 2 at a position corresponding to the height of the bottom surface of the bumper 2 above the road surface 100 (displays the trajectory trajectory of the bottom surface of the vehicle body of the moving body 1). ) Is superimposed.
  • FIG. 3 is a diagram for explaining the superimposition of the display indicating the route trajectory on the peripheral image by the processor 13, and is a diagram of the mobile body 1 as viewed from the side.
  • the display showing the route trajectory superimposed on the peripheral image is virtually illustrated in a side view of the moving body 1 viewed from the side.
  • the processor 13 superimposes a display 100, which extends from the bottom surface 2a of the bumper 2 in the traveling direction of the moving body 1 and shows the trajectory of the bottom surface 2a of the bumper 2, on the peripheral image. To do.
  • the processor 13 superimposes the display showing the path trajectory on the peripheral image as a plane of a predetermined color, for example.
  • the processor 13 may make the plane semi-transparent or mesh-like and superimpose it on the peripheral image.
  • the processor 13 detects whether or not an obstacle exists in the traveling direction of the moving body 1.
  • a method of detecting whether or not an obstacle is present for example, there is a method of detecting it by image analysis of a peripheral image captured in the traveling direction of the moving body 1, but the method is not limited to this and is arbitrary. Can be used.
  • an obstacle 200 such as a car stop exists on the road surface 3.
  • the processor 13 determines whether or not the image of the obstacle 200 and the display 100 showing the course of the road are in contact with each other in the peripheral image.
  • the display 100 showing the path trajectory is superimposed on the position corresponding to the height of the bottom surface 2a of the bumper 2 from the road surface 3. Therefore, the processor 13 makes contact with the image of the obstacle 200 and the display 100 showing the track depending on whether or not the image of the obstacle 200 is higher than the display 100 showing the track of the specific portion of the moving body 1. Or not. That is, the processor 13 determines whether or not the obstacle 200 comes into contact with the specific portion of the moving body 1 (the bottom surface 2a of the bumper 2).
  • the processor 13 determines that the obstacle 200 comes into contact with the specific portion of the moving body 1, as shown in FIG. 4, it deforms a part of the display 100 showing the trajectory. Specifically, the processor 13 deforms the part of the display 100 showing the path trajectory that comes into contact with the image of the obstacle 200 included in the peripheral image. In FIG. 4, the processor 13 appears to enter the obstacle 200 as if the display 100 showing the trajectory of the path of the portion in contact with the image of the obstacle 200 included in the peripheral image, as indicated by the dotted circle. Transform into.
  • the processor 13 superimposes, on the peripheral image, the display 100 that indicates the trajectory of the specific portion of the moving body 1 at a position corresponding to the height of the specific portion. Then, when the obstacle 200 comes into contact with the trajectory of the specific part, the processor 13 deforms the display 100 showing the trajectory. By doing so, it becomes possible for the user to easily recognize whether or not there is a possibility of the obstacle 200 existing on the road surface 3 and the moving body 1 contacting each other in the height direction.
  • FIG. 5 is a diagram showing another example of superimposition of the display showing the trajectory of the specific portion of the moving body 1 on the peripheral image by the processor 13.
  • the specific portion of the moving body 1 is the rear spoiler 4 installed behind the roof of the vehicle. Further, in FIG. 5, an obstacle 201 exists above the road surface 3.
  • the processor 13 superimposes a display 100 showing the trajectory of the bottom surface of the bumper 2 on the peripheral image. Further, the processor 13 displays the trajectory 101 of the rear spoiler 4 at a position corresponding to the height of the upper surface of the rear spoiler 4 from the road surface 3 with respect to the peripheral image (the trajectory of the upper surface of the vehicle body of the moving body 1 is displayed. Display) is superimposed.
  • the processor 13 determines whether or not the image of the obstacle 201 and the display 101 showing the path of the obstacle come into contact with each other in the peripheral image.
  • the display 101 showing the route trajectory is superimposed on the position corresponding to the height of the rear spoiler 4 from the road surface 3. Therefore, the processor 13 determines whether or not the obstacle 201 and the display 101 indicating the trajectory are in contact with each other depending on whether or not the image of the obstacle 201 is higher than the display 101 indicating the trajectory of the specific portion of the moving body 1. To determine. That is, the processor 13 determines whether or not the obstacle 201 contacts the specific portion (rear spoiler 4) of the mobile body 1.
  • the processor 13 determines that the obstacle 201 comes into contact with the specific portion of the moving body 1, as shown in FIG. 5, it deforms a part of the display 101 showing the route trajectory. Specifically, the processor 13 deforms the part of the display 101 showing the path trajectory that comes into contact with the image of the obstacle 201 included in the peripheral image. In FIG. 5, the processor 13 deforms the display 101 indicating the trajectory as if the portion of the display 101 indicating the trajectory that is in contact with the image of the obstacle 201 is crushed, as indicated by the dotted circle. ..
  • the processor 13 superimposes, on the peripheral image, the display 101 indicating the trajectory of the specific portion of the moving body 1 at a position corresponding to the height of the specific portion. Then, when the obstacle 201 and the trajectory of the specific portion come into contact with each other, the processor 13 deforms the display 101 showing the trajectory. This makes it possible for the user to recognize whether there is a possibility of contact between the obstacle 201 and the moving body 1 in the height direction.
  • the processor 13 may superimpose a display indicating the risk of contact on the peripheral image or output a signal indicating the risk of contact to the outside.
  • the processor 13 may output a signal indicating the danger of contact to the buzzer mounted on the moving body 1 via the interface 12 to cause the buzzer to ring.
  • the processor 13 calculates the height difference between the specific portion of the moving body 1 and the obstacle, and displays the calculated difference as shown in FIG. 102 may be superimposed on the peripheral image.
  • FIG. 6 shows an example in which the display 102 showing the difference in height between the rear spoiler 4 and the obstacle 201 is superimposed on the peripheral image.
  • FIG. 7 is a diagram showing an example of the mobile body 1 viewed from the side.
  • the road surface 3 includes, for example, a horizontal road surface 3a, a horizontal road surface 3b located at a position lower than the road surface 3a, and a road surface 3c that is a downward slope connecting the road surface 3a and the road surface 3b.
  • the moving body 1 moves from the road surface 3a through the road surface 3c toward the road surface 3b.
  • an obstacle 200 exists on the road surface 3b.
  • the height of the obstacle 200 is higher than the height of the bottom surface 2a of the bumper 2 from the road surface 3. That is, on the road surface 3b, the obstacle 200 contacts the bottom surface 2a of the bumper 2.
  • the upper end of the obstacle 200 is located at a position lower than the bottom surface 2 a of the bumper 2.
  • FIG. 7 When the moving body 1 exists on the road surface 3a, as shown in FIG. 7, a planar shape extending in the traveling direction of the moving body 1 at a position corresponding to the height of the bottom surface 2a of the bumper 2 from the road surface 3a.
  • a possible method is to superimpose the display 100 showing the damaged road locus on the peripheral image.
  • the upper end of the obstacle 200 is lower than the bottom surface 2a of the bumper 2 when the moving body 1 is present on the road surface 3a. Therefore, as shown in FIG. 7, when the moving body 1 exists on the road surface 3a, the display 100 showing the path trajectory and the obstacle 200 do not come into contact with each other. That is, from the perspective of the user, it appears that the moving body 1 and the obstacle 200 do not come into contact with each other.
  • the obstacle 200 and the bottom surface 2a of the bumper 2 contact each other on the road surface 3b. Therefore, with such a method, the user cannot correctly recognize the possibility of contact between the moving body 1 and the obstacle 200.
  • the processor 13 corrects the display indicating the route trajectory according to the height difference of the road surface 3. Specifically, the processor 13 corrects the vertical position of the display indicating the path trajectory according to the height difference of the road surface 3. In the following, the correction of the display indicating the path trajectory will be described with reference to FIGS.
  • the height of the imaging unit 11 provided on the moving body 1 from the road surface 3 is H.
  • the height H of the imaging unit 11 from the road surface 3 is a unique value and is known.
  • the height of the imaging unit 11 from the road surface 3b is h2.
  • the correction value in the height direction of the display showing the path trajectory is set to x.
  • the correction value x corresponds to the height of the road surface 3c.
  • the distance from the imaging unit 11 to the obstacle 200 is d.
  • the distance d is the distance between the imaging unit 11 and the contact point between the obstacle 200 and the road surface 3b viewed from the imaging unit 11.
  • the angle formed by the horizontal direction and the direction from the imaging unit 11 toward the obstacle 200 is ⁇ .
  • the processor 13 When detecting the obstacle 200, the processor 13 obtains the distance d and the angle ⁇ . Details of the method for obtaining the distance d and the angle ⁇ will be described later.
  • the processor 13 calculates the correction value x according to the following equation (2).
  • x h2-H equation (2)
  • the processor 13 corrects the display 100 showing the trajectory of the bottom surface 2a of the bumper 2 based on the calculated correction value x.
  • the processor 13 has a planar shape extending in the traveling direction of the moving body 1 at a position corresponding to the height of the bottom surface 2a of the bumper 2 from the road surface 3a.
  • the display 100a indicating the path of the track is superimposed on the peripheral image.
  • the processor 13 surrounds the display 100b showing the path trajectory, which is flat and extends from the front side of the obstacle 200 toward the obstacle 200, at a position lower than the display 100a showing the path trajectory by the correction value x.
  • the processor 13 superimposes a display 100c showing the route trajectory and a display 100b showing the route trajectory on the peripheral image so as to connect the display 100c showing the route trajectory to the peripheral image.
  • the processor 13 when the display 100b showing the path trajectory and the obstacle 200 are in contact with each other, the processor 13 is in a portion where the display 100b showing the path trajectory and the obstacle 200 are in contact with each other, as shown in FIG. , The display 100b showing the path trajectory is deformed. By doing so, even when there is a difference in height on the road surface 3, it is possible for the user to correctly recognize whether or not there is a possibility of contact between the obstacle 200 and the moving body 1 in the height direction.
  • FIG. 10 shows an example in which the road surface 3 is composed of a horizontal road surface 3a, a horizontal road surface 3b at a position higher than the road surface 3a, and a road surface 3c which is an upward slope connecting the road surface 3a and the road surface 3b. ing.
  • the processor 13 calculates the correction value x according to the above equations (1) and (2). Then, the processor 13 corrects the display 100 showing the path trajectory based on the calculated correction value x. Specifically, the processor 13 superimposes, on the peripheral image, a display 100a, which is flat and shows the path of the path toward the traveling direction of the moving body 1, at a position corresponding to the height from the road surface 3a on the bottom surface 2a of the bumper 2. To do. In addition, the processor 13 surrounds the display 100b showing the path trajectory, which is flat and extends from the front side of the obstacle 200 toward the obstacle 200, at a position higher than the display 100a showing the path trajectory by the correction value x. Superimpose on the image.
  • the processor 13 superimposes a display 100c showing the route trajectory and a display 100b showing the route trajectory on the peripheral image so as to connect the display 100c showing the route trajectory to the peripheral image.
  • the processor 13 can allow the user to correctly recognize whether or not there is a possibility of contact between the obstacle 200 and the moving body 1 in the height direction even when the road surface 3 is up. ..
  • the processor 13 detects the distance d and the angle ⁇ using, for example, a stereo camera, a Lidar (Light Detection and Ranging) device, an infrared sensor, or the like.
  • the Lidar device is a device that emits pulsed laser light and measures scattered light of the laser light to detect a distance to an object or the like. Further, the processor 13 may calculate the distance d and the angle ⁇ by using the calculation method described with reference to FIG. 11.
  • the optical axis of the imaging unit 11 matches the Z axis.
  • the focal length of the lens included in the imaging unit 11 in the Z-axis direction is f.
  • the characteristic point of the obstacle is located at the position P 1 (X 1 , Y 1 on the plane where the distance on the Z axis from the origin O on the Z axis is Z 0 as viewed from the imaging unit 11.
  • the feature points of the obstacle are from p 1 (u 1 , v 1 ) to p 2 (u 2 , v 2). ) To move.
  • the processor 13 calculates the coordinates of the position P 2 (X 2 , Y 2 , Z 2 ) according to the following equations (4)-(6).
  • the processor 13 calculates the distance d and the angle ⁇ based on the coordinates of the calculated position P 2 (X 2 , Y 2 , Z 2 ).
  • the processor 13 may correct the display 101 indicating the path trajectory of the upper surface of the vehicle body of the moving body 1 based on the correction value x.
  • the correction of the display 101 indicating the trajectory of the upper surface of the vehicle body of the moving body 1 will be described with reference to FIG.
  • the road surface 3 is composed of a horizontal road surface 3a, a horizontal road surface 3b located at a position lower than the road surface 3a, and a road surface 3c which is a downward slope connecting the road surface 3a and the road surface 3b. .. Further, it is assumed that the obstacle 201 exists above the road surface 3b. In addition, in a state where the moving body 1 exists on the road surface 3 a, the roof 6 of the moving body 1 is higher than the bottom surface of the obstacle 201. That is, when the obstacle 201 is seen from the moving body 1 in the state where the moving body 1 exists on the road surface 3a, the roof 6 of the moving body 1 seems to come into contact with the obstacle 201.
  • the processor 13 calculates the correction value x by a method similar to the method described with reference to FIG. However, in FIG. 12, the processor 13 calculates, as the distance d, the distance between the imaging unit 11 and the point 3b ′ on the road surface 3b immediately below the end 201a of the obstacle 201 closest to the moving body 1. To do. Further, the processor 13 calculates an angle ⁇ formed by the horizontal direction and the direction from the imaging unit 11 to the point 3b ′. A point 3b 'on the road surface 3b immediately below the end 201a of the obstacle 201 is obtained from, for example, a peripheral image captured by the image capturing unit 11.
  • the processor 13 corrects the display 101 indicating the trajectory of the upper surface (roof 6) of the vehicle body of the moving body 1. Specifically, the processor 13 indicates a planar path trajectory extending in the traveling direction of the moving body 1 at a position corresponding to the height of the rear end portion 6a of the roof 6 from the road surface 3a. The display 101a is superimposed on the peripheral image. In addition, the processor 13 displays a planar trajectory display 101b extending from the front side of the obstacle 201 toward the obstacle 201 at a position lower by the correction value x than the display 101a indicating the path loss. Superimpose on the surrounding image.
  • the processor 13 superimposes a display 101c showing the route trajectory and a display 101c showing the route trajectory on the peripheral image, which connects the display 101a showing the route trajectory and the display 101b showing the route trajectory.
  • the display 101 showing the course of the upper surface of the vehicle body of the moving body 1 is also corrected according to the height difference of the road surface 3.
  • FIG. 12 an example is shown in which the obstacle 201 and the display 101b indicating the trajectory are not in contact with each other, but when the obstacle 201 and the display 101b indicating the trajectory are in contact with each other, the processor 13 causes the trajectory to be changed. A part of the display 101b indicating “” may be modified.
  • the obstacle 201 and the display 101b indicating the route trajectory contact each other is determined as follows, for example.
  • the height from the imaging unit 11 to the obstacle 201 is H ′
  • the distance from the imaging unit 11 to the end 201a of the obstacle 201 is D
  • the horizontal direction and the obstacle from the imaging unit 11 are set.
  • the angle formed by the direction toward the end 201a of 201 is ⁇ .
  • the height of the roof 6 of the moving body 1 from the road surface 3 is h3.
  • the processor 13 calculates the distance D and the angle ⁇ .
  • the distance D and the angle ⁇ are calculated by the method described with reference to FIG.
  • the processor 13 calculates the height H ′ from the imaging unit 11 to the obstacle 201 according to the following equation (7).
  • H ′ D ⁇ sin ⁇ Equation (7)
  • the height of the bottom surface of the obstacle 201 is represented by H + H '.
  • the processor 13 compares the height (H + H ′) of the obstacle 201 with the height h3 of the roof 6 to determine whether or not the obstacle 201 and the display 101b indicating the path trajectory are in contact with each other.
  • FIG. 12 shows an example in which the end portion 6a of the roof 6 of the moving body 1 is located immediately above or in the vicinity of the ground contact point of the tire 7 with the road surface 3.
  • the end 6a of the roof 6 of No. 1 is provided behind the ground contact point of the tire 7 with the road surface 3.
  • the display 101 showing the route trajectory with respect to the peripheral image is superimposed. Will be described.
  • the roof 6 of the moving body 1 is higher than the bottom surface of the obstacle 201 with the moving body 1 existing on the road surface 3a. That is, when the moving body 1 exists on the road surface 3a and the obstacle 201 is viewed from the moving body 1, the roof 6 of the moving body 1 appears to be in contact with the obstacle 201.
  • the processor 13 calculates the correction value x. Next, the processor 13 determines that the height of a point separated by a distance L from the point 3b ′ on the road surface 3b immediately below the end 201a of the obstacle 201 toward the moving body 1 and the height of the ground contact point of the tire 7 are. It is determined whether they are the same.
  • the roof 6 of the moving body 1 is higher than the bottom surface of the obstacle 201 when the moving body 1 is present on the road surface 3a. Therefore, when the point that is separated from the point 3b ′ on the road surface 3b toward the moving body 1 by the distance L is on the road surface 3a, when the moving body 1 moves to that point, the end portion 6a of the roof 6 of the moving body 1 is moved. And the obstacle 201 come into contact with each other.
  • the processor 13 does not correct the display 101 indicating the path trajectory using the correction value x, and moves from the end 6a of the roof 6 to the obstacle 201 at a position corresponding to the height of the roof 6 from the road surface 3.
  • the display 101 showing the path trajectory extending up to is superimposed on the peripheral image. This makes it possible for the user to recognize that there is a possibility of contact with the obstacle 201.
  • the image processing apparatus 10 repeats the flow shown in FIG. 14 at predetermined time intervals, for example.
  • the interface 12 acquires the peripheral image captured by the image capturing unit 11 (step S11).
  • the processor 13 superimposes, on the acquired peripheral image, a display indicating the path trajectory of the specific portion of the moving body 1 in the traveling direction of the moving body 1 at a position corresponding to the height of the specific portion from the road surface 3. (Step S12).
  • the processor 13 determines whether or not there is an obstacle in the traveling direction of the moving body 1 (step S13).
  • step S13: No the processor 13 leaves the display showing the route trajectory superimposed on the peripheral image as it is and ends the process.
  • step S13 determines whether or not the obstacle and the trajectory of the specific portion of the moving body 1 come into contact with each other. (Step S14).
  • step S14: No If it is determined that the obstacle does not come into contact with the track (step S14: No), the processor 13 leaves the display showing the track superimposed on the peripheral image as it is and ends the process.
  • step S14 the processor 13 deforms the display indicating the trajectory.
  • the processor 13 deforms a portion of the display showing the path trajectory, in which the image of the obstacle included in the peripheral image is in contact with the display of the path trajectory of the specific portion.
  • the image processing device 10 detects the interface 12 that acquires the peripheral image of the moving body 1 and the moving direction of the moving body 1 at a specific portion of the moving body 1 with respect to the peripheral image.
  • the processor 13 superimposes a display showing a course on a position corresponding to the height of the specific portion from the road surface. Then, when the obstacle existing in the traveling direction of the moving body 1 included in the peripheral image and the trajectory of the specific portion come into contact with each other, the processor 13 deforms the display indicating the trajectory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置１０は、移動体１の周辺画像を取得するインターフェイス１２と、周辺画像に対して、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示を、路面３からの特定部位の高さに対応する位置に重畳するプロセッサ１２と、を備える。プロセッサ１２は、周辺画像に含まれる移動体１の進行方向に存在する障害物と、特定部位の進路軌跡とが接触する場合、進路軌跡を示す表示を変形させる。

Description

画像処理装置、カメラ、移動体および画像処理方法 関連出願の相互参照
　本出願は、２０１８年１０月２９日に日本国に特許出願された特願２０１８－２０３０６２の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、画像処理装置、カメラ、移動体および画像処理方法に関する。
　特許文献１には、車両の後退時に、車両の後方画像に予想軌跡を重畳して表示する技術が開示されている。予想軌跡は、車両の左右輪が通過する軌跡であるこの技術では、後方画像に予想軌跡を一定間隔のはしご状に重畳することで、運転者が距離を認識できるようにする。
特開平１１－３３４４７０号公報
　一実施形態に係る画像処理装置は、移動体の周辺画像を取得するインターフェイスと、前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するプロセッサと、を備える。前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる。
　本開示の実施形態に係るカメラは、撮像光学系と、前記撮像光学系を介して結像した像を撮像する撮像素子と、前記撮像素子により撮像された、移動体の周辺画像を取得するインターフェイスと、前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するプロセッサと、を備える。前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる。
　本開示の実施形態に係る移動体は、表示部と、前記移動体の周辺を撮像するカメラと、を備える。前記カメラは、撮像光学系と、前記撮像光学系を介して結像した像を撮像する撮像素子と、前記撮像素子により撮像された、前記移動体の周辺画像を取得するインターフェイスと、前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳して、前記表示部に表示するプロセッサと、を備える。前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる。
　本開示の実施形態に係る画像処理方法は、画像処理装置における画像処理方法であって、
　移動体の周辺画像を取得するステップと、前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するステップと、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させるステップと、を含む。
画像処理装置の構成例を示す図である。 周辺画像に対する進路軌跡を示す表示の重畳の一例を示す図である。 周辺画像に対する進路軌跡を示す表示の重畳について説明するための図である。 路面上に障害物が存在する場合の、周辺画像に対する進路軌跡を示す表示の重畳の一例を示す図である。 路面上方に障害物が存在する場合の、周辺画像に対する進路軌跡を示す表示の重畳の一例を示す図である。 路面上方に障害物が存在する場合の、周辺画像に対する進路軌跡を示す表示の重畳の他の一例を示す図である。 路面に高低差がある場合の、周辺画像に対する進路軌跡を示す表示の重畳の一例について説明するための図である。 路面に高低差がある場合の、進路軌跡を示す表示の補正の一例について説明するための図である。 路面に高低差がある場合の、周辺画像に対する進路軌跡を示す表示の重畳の他の一例を示す図である。 路面に高低差がある場合の、進路軌跡を示す表示の補正の他の一例について説明するための図である。 障害物までの距離および障害物の方向の算出について説明するための図である。 路面に高低差がある場合の、進路軌跡を示す表示の補正の他の一例について説明するための図である。 路面に高低差がある場合の、進路軌跡を示す表示の補正の他の一例について説明するための図である。 画像処理装置における画像処理方法について説明するためのフローチャートである。
　以下、移動体の進行方向に存在する障害物との高さ方向の衝突の可能性の有無をユーザに認識させることが可能となる画像処理装置、カメラ、移動体および画像処理方法等が開示される。
　以下、本開示の実施の形態について図面を参照して例示説明する。各図中、同一符号は、同一または同等の構成要素を示す。
　図１は、本開示の一実施形態に係る画像処理装置１０の構成例を示す図である。本実施形態に係る画像処理装置１０は、図１に示すように、移動体１に搭載される。画像処理装置１０は、移動体１の周辺を撮像した周辺画像に対して、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示を重畳する。
　移動体１は、例えば、車両である。車両には、自動車および産業車両が含まれるが、これに限られず、鉄道車両、生活車両、および、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバスなどを含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
　図１に示す画像処理装置１０は、インターフェイス１２と、プロセッサ１３と、メモリ１４とを備える。移動体１には、移動体１の周辺画像を取得する撮像部１１が搭載される。画像処理装置１０および撮像部１１は、移動体１に搭載されたカメラ１Ａを構成する。
　まず、撮像部１１について説明する。
　撮像部１１は、移動体１に搭載された車載カメラである。撮像部１１は、移動体１の周辺を撮像した周辺画像を取得する。撮像部１１は、移動体１に複数台搭載されてもよい。例えば、移動体１に４台の車載カメラが搭載される場合、例えば、移動体１の前方の周辺領域と、移動体１の前側面の少なくとも一部とを撮影可能な位置と、移動体１の後方の周辺領域と、移動体１の後側面の少なくとも一部とを撮影可能な位置と、移動体１の左側方の周辺領域と、移動体１の左側面の少なくとも一部とを撮影可能な位置と、移動体１の右側方の周辺領域と、移動体１の右側面の少なくとも一部とを撮影可能な位置とにそれぞれ、撮像部１１を配置する。このような配置とすることにより、移動体１の四方の周辺領域を撮影する。
　撮像部１１は、少なくとも撮像光学系１１ａと、撮像素子１１ｂとを備える。
　撮像光学系１１ａは、例えば、１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系１１ａが備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズである。撮像光学系１１ａは、被写体像を撮像素子１１ｂの受光面に結像させる。撮像素子１１ｂは、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む。撮像素子１１ｂの受光面上には、複数の画素が配列されている。撮像素子１１ｂは、受光面上に結像された被写体像を撮像して撮像画像を生成する。撮像部１１は、移動体１に搭載されたＥＣＵ（Electronic Control Unit）、ディスプレイおよびナビゲーション装置などの外部装置に周辺画像を出力してもよい。また、撮像部１１は、周辺画像に対して、ホワイトバランス調整処理、露出調整処理およびガンマ補正処理などの所定の画像処理を施す機能を有してもよい。
　次に、画像処理装置１０が備える構成について説明する。
　インターフェイス１２は、有線または無線を介して、移動体１が備える各種構成と通信を行う。例えば、インターフェイス１２は、撮像部１１が撮像した周辺画像を取得し、プロセッサ１３に出力する。
　プロセッサ１３は、例えば、ＤＳＰ（Digital Signal Processor）などの専用のプロセッサ、または、ＣＰＵ（Central Processing Unit）などの汎用プロセッサを含む。プロセッサ１３は、画像処理装置１０全体の動作を制御する。例えば、プロセッサ１３は、インターフェイス１２が取得した周辺画像に対して、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示を、路面からの特定部位の高さに対応する位置に重畳する。そして、プロセッサ１３は、周辺画像に含まれる移動体１の進行方向に存在する障害物を検出すると、その障害物と移動体１の特定部位の進路軌跡とが接触する場合、進路軌跡を示す表示を変形させる。
　プロセッサ１３は、移動体１の特定部位の進路軌跡を示す表示を重畳した周辺画像を、例えば、移動体１が備える表示部１５に表示する。また、プロセッサ１３は、障害物と移動体１の特定部位の進路軌跡とが接触する場合、接触の危険性を示す信号を外部に出力してもよい。例えば、プロセッサ１３は、障害物と移動体１の特定部位の進路軌跡とが接触する場合、移動体１に搭載されたブザーに警告音を出力させてもよい。プロセッサ１３は、移動体１が音波により周辺の障害物を検出するソナーを備えている場合、障害物と移動体１の特定部位の進路軌跡とが接触しなければ、ソナーにより障害物との接触の可能性が検出されても、警告音などの出力を行わないようにしてもよい。
　移動体１の特定部位とは、移動体１の移動に対して、高さ方向の制約となる部位である。例えば、特定部位は、移動体１の車体の底面あるいは車体の上面である。移動体１が車両である場合、特定部位は、例えば、車両のバンパー底面、車両の屋根、または、車両の屋根に設置された設置物などである。
　メモリ１４は、例えば、一次記憶装置または二次記憶装置などを含む。メモリ１４は、画像処理装置１０の動作に必要な種々の情報およびプログラムを記憶する。
　画像処理装置１０の動作について説明する。
　図２は、プロセッサ１３による、周辺画像に対する、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示の重畳の一例を示す図である。なお、以下では、移動体１が後退する場合に、移動体１の後方の周辺画像に、移動体１の特定部位の進路軌跡を示す表示を重畳する場合を例として説明する。また、図２においては、移動体１の特定部位は、バンパー２の底面であるとする。
　図２に示すように、プロセッサ１３は、周辺画像に対して、バンパー２の底面の進路軌跡を示す表示１００を重畳する。プロセッサ１３は、周辺画像において、路面３からのバンパー２の底面の高さに対応する位置に、バンパー２の底面の進路軌跡を示す表示１００（移動体１の車体の底面の進路軌跡を示す表示）を重畳する。
　図３は、プロセッサ１３による周辺画像に対する進路軌跡を示す表示の重畳について説明するための図であり、移動体１を側面から見た図である。以下では、周辺画像に重畳される進路軌跡を示す表示を、移動体１を側面から見た側面図に、仮想的に図示して説明する。
　図３に示すように、プロセッサ１３は、バンパー２の底面２ａから移動体１の進行方向に向かって延在する平面状の、バンパー２の底面２ａの進路軌跡を示す表示１００を周辺画像に重畳する。プロセッサ１３は、進路軌跡を示す表示を、例えば、所定の色の平面として周辺画像に重畳する。プロセッサ１３は、当該平面を半透明あるいはメッシュ状にして、周辺画像に重畳してもよい。
　プロセッサ１３は、移動体１の進行方向に障害物が存在するか否かを検出する。障害物が存在するか否かの検出方法としては、例えば、移動体１の進行方向に向かって撮像された周辺画像の画像解析により検出する方法があるが、これに限られるものではなく、任意の方法を用いることができる。以下では、図３に示すように、路面３上に、例えば、車止めなどの障害物２００が存在するとする。
　プロセッサ１３は、移動体１の進行方向に存在する障害物２００を検出すると、周辺画像において、障害物２００の像と進路軌跡を示す表示１００とが接触するか否かを判定する。進路軌跡を示す表示１００は、路面３からのバンパー２の底面２ａの高さに対応する位置に重畳される。したがって、プロセッサ１３は、障害物２００の像が、移動体１の特定部位の進路軌跡を示す表示１００よりも高いか否かにより、障害物２００の像と進路軌跡を示す表示１００とが接触するか否かを判定する。すなわち、プロセッサ１３は、障害物２００と移動体１の特定部位（バンパー２の底面２ａ）とが接触するか否かを判定する。
　プロセッサ１３は、障害物２００と移動体１の特定部位とが接触すると判定すると、図４に示すように、進路軌跡を示す表示１００の一部を変形させる。具体的には、プロセッサ１３は、進路軌跡を示す表示１００のうち、周辺画像に含まれる障害物２００の像と接触する部分を変形させる。図４においては、プロセッサ１３は、破線丸印で示すように、周辺画像に含まれる障害物２００の像と接触する部分の進路軌跡を示す表示１００を、あたかも、障害物２００に入り込んでいるように変形させる。
　障害物２００の高さが、移動体１のバンパー２の底面２ａよりも低い場合、障害物２００と移動体１のバンパー２の底面２ａとは接触しない。仮に、周辺画像に対して、予想軌跡を重畳するだけでは、路面３上に存在する障害物２００と移動体１との高さ方向の接触の可能性をユーザに認識させることはできない。しかし、本開示においては、プロセッサ１３は、周辺画像に対して、移動体１の特定部位の進路軌跡を示す表示１００を、特定部位の高さに対応する位置に重畳する。そして、プロセッサ１３は、障害物２００と、特定部位の進路軌跡とが接触する場合、進路軌跡を示す表示１００を変形させる。こうすることで、路面３上に存在する障害物２００と移動体１との高さ方向の接触の可能性の有無をユーザに容易に認識させることが可能となる。
　図５は、プロセッサ１３による、周辺画像に対する、移動体１の特定部位の進路軌跡を示す表示の重畳の他の一例を示す図である。図５においては、移動体１の特定部位は、車両の屋根後方に設置されたリアスポイラ４である。また、図５においては、路面３の上方に障害物２０１が存在する。
　図５に示すように、プロセッサ１３は、周辺画像に対して、バンパー２の底面の進路軌跡を示す表示１００を重畳する。また、プロセッサ1３は、周辺画像に対して、リアスポイラ４の上面の路面３からの高さに対応する位置に、リアスポイラ４の進路軌跡を示す表示１０１（移動体１の車体の上面の進路軌跡を示す表示）を重畳する。
　プロセッサ１３は、障害物２０１を検出すると、周辺画像において、障害物２０１の像と進路軌跡を示す表示１０１とが接触するか否かを判定する。進路軌跡を示す表示１０１は、リアスポイラ４の路面３からの高さに対応する位置に重畳される。したがって、プロセッサ１３は、障害物２０１の像が、移動体１の特定部位の進路軌跡を示す表示１０１よりも高いか否かにより、障害物２０１と進路軌跡を示す表示１０１とが接触するか否か判定する。すなわち、プロセッサ１３は、障害物２０１と移動体１の特定部位（リアスポイラ４）とが接触するか否かを判定する。
　プロセッサ１３は、障害物２０１と移動体１の特定部位とが接触すると判定すると、図５に示すように、進路軌跡を示す表示１０１の一部を変形させる。具体的には、プロセッサ１３は、進路軌跡を示す表示１０１のうち、周辺画像に含まれる障害物２０１の像と接触する部分を変形させる。図５においては、プロセッサ１３は、破線丸印で示すように、進路軌跡を示す表示１０１のうち、障害物２０１の像と接触する部分が潰れたように、進路軌跡を示す表示１０１を変形させる。
　障害物２０１の高さが、移動体１のリアスポイラ４よりも高い場合、障害物２０１とリアスポイラ４とは接触しない。仮に、周辺画像に対して、予想軌跡を重畳するだけでは、路面３の上方に存在する障害物２０１と移動体１との高さ方向の接触の可能性をユーザに認識させることはできない。しかし、本開示においては、プロセッサ１３は、周辺画像に対して、移動体１の特定部位の進路軌跡を示す表示１０１を、特定部位の高さに対応する位置に重畳する。そして、プロセッサ１３は、障害物２０１と、特定部位の進路軌跡とが接触する場合、進路軌跡を示す表示１０１を変形させる。こうすることで、障害物２０１と移動体１との高さ方向の接触の可能性の有無をユーザに認識させることが可能となる。
　プロセッサ１３は、移動体１と障害物とが接触する場合、接触の危険性を示す表示を周辺画像に重畳したり、接触の危険性を示す信号を外部に出力したりしてもよい。例えば、プロセッサ１３は、接触の危険性を示す信号を、インターフェイス１２を介して移動体１に搭載されたブザーに出力し、ブザーを鳴動させてもよい。
　また、プロセッサ１３は、移動体１と障害物とが接触しない場合、移動体１の特定部位と障害物との高さの差を算出し、図６に示すように、算出した差を示す表示１０２を周辺画像に重畳してもよい。図６においては、リアスポイラ４と障害物２０１との高さの差を示す表示１０２を周辺画像に重畳した例を示している。
　これまでは路面３が平坦である場合を例として説明したが、路面３に高低差がある場合がある。以下では、路面３に高低差がある場合の、周辺画像に対する進路軌跡を示す表示の重畳について説明する。
　図７は、移動体１を側面から見た例を示す図である。図７においては、路面３は、例えば、水平な路面３ａと、路面３ａよりも低い位置にある水平な路面３ｂと、路面３ａと路面３ｂとを連結する下り斜面である路面３ｃとからなる。図７では、移動体１は、路面３ａから路面３ｃを経て、路面３ｂに向かって移動する。また、路面３ｂに障害物２００が存在する。障害物２００の高さは、バンパー２の底面２ａの路面３からの高さよりも高い。すなわち、路面３ｂでは、障害物２００とバンパー２の底面２ａとが接触する。また、移動体１が路面３ａに存在する状態では、障害物２００の上端が、バンパー２の底面２ａよりも低い位置にある。
　移動体１が路面３ａに存在する場合、図７に示すように、バンパー２の底面２ａの路面３ａからの高さに対応する位置に、移動体１の進行方向に向かって延在する平面状の、損路軌跡を示す表示１００を周辺画像に重畳する方法が考えられる。上述したように、移動体１が路面３ａに存在する状態では、障害物２００の上端は、バンパー２の底面２ａよりも低い位置にある。そのため、図７に示すように、移動体１が路面３ａに存在する状態では、進路軌跡を示す表示１００と障害物２００とは接触しない。すなわち、ユーザから見ると、移動体１と障害物２００とが接触しないように見える。しかしながら、上述したように、路面３ｂでは、障害物２００とバンパー２の底面２ａとが接触する。したがって、このような方法では、移動体１と障害物２００との接触の可能性をユーザに正しく認識させることができない。
　プロセッサ１３は、路面３の高低差に応じて、進路軌跡を示す表示を補正する。具体的には、プロセッサ１３は、路面３の高低差に応じて、進路軌跡を示す表示の上下方向の位置を補正する。以下では、進路軌跡を示す表示の補正について、図８、９を参照して説明する。
　図８に示すように、移動体１に設けられた撮像部１１の路面３からの高さをＨとする。撮像部１１の路面３からの高さをＨは、固有の値であり、既知である。また、撮像部１１の路面３ｂからの高さをｈ２とする。また、進路軌跡を示す表示の高さ方向の補正値をｘとする。補正値ｘは、路面３ｃの高さに対応する。また、撮像部１１から障害物２００までの距離をｄとする。距離ｄは、撮像部１１と、撮像部１１から見た障害物２００と路面３ｂとの接点との間の距離である。また、水平方向と、撮像部１１から障害物２００に向かう方向とがなす角度をβとする。
　プロセッサ１３は、障害物２００を検出すると、距離ｄおよび角度βを求める。距離ｄおよび角度βを求める方法の詳細については後述する。プロセッサ１３は、求めた距離ｄおよび角度βに基づき、以下の式（１）に従い、撮像部１１の路面３ｂからの高さをｈ２を算出する。
　ｈ２＝ｄ×ｓｉｎβ　・・・式（１）
　撮像部１１の路面３ｂからの高さをｈ２を算出すると、プロセッサ１３は、以下の式（２）に従い、補正値ｘを算出する。
　ｘ＝ｈ２－Ｈ　・・・式（２）
　プロセッサ１３は、算出した補正値ｘに基づき、バンパー２の底面２ａの進路軌跡を示す表示１００を補正する。具体的には、プロセッサ１３は、図８、９に示すように、バンパー２の底面２ａの路面３ａからの高さに対応する位置に、移動体１の進行方向に向かって延在する平面状の、進路軌跡を示す表示１００ａを周辺画像に重畳する。また、プロセッサ１３は、進路軌跡を示す表示１００ａよりも補正値ｘだけ低い位置に、障害物２００よりも手前から障害物２００に向かって延在する平面状の、進路軌跡を示す表示１００ｂを周辺画像に重畳する。また、プロセッサ１３は、進路軌跡を示す表示１００ａと、進路軌跡を示す表示１００ｂとを連結する、進路軌跡を示す表示１００ｃを周辺画像に重畳する。
　図８に示すように、進路軌跡を示す表示１００ｂと障害物２００とが接触する場合、プロセッサ１３は、図９に示すように、進路軌跡を示す表示１００ｂと障害物２００とが接触する部分において、進路軌跡を示す表示１００ｂを変形させる。こうすることで、路面３に高低差がある場合にも、障害物２００と移動体１との高さ方向の接触の可能性の有無をユーザに正しく認識させることが可能となる。
　図７－図９においては、路面３が移動体１の進行方向に向かって下っている例を用いて説明したが、プロセッサ１３は、図１０に示すように、路面３が移動体１の進行方向に向かって上っている場合にも、同様の方法により補正値ｘを算出する。
　図１０においては、路面３は、水平な路面３ａと、路面３ａよりも高い位置にある水平な路面３ｂと、路面３ａと路面３ｂとを連結する上り斜面である路面３ｃとからなる例を示している。
　図１０に示すように、路面３が上っている場合にも、プロセッサ１３は、上述した式（１）、（２）に従い、補正値ｘを算出する。そして、プロセッサ１３は、算出した補正値ｘに基づき、進路軌跡を示す表示１００を補正する。具体的には、プロセッサ１３は、バンパー２の底面２ａの路面３ａから高さに対応する位置に、移動体１の進行方向に向かって平面状の、進路軌跡を示す表示１００ａを周辺画像に重畳する。また、プロセッサ１３は、進路軌跡を示す表示１００ａよりも補正値ｘだけ高い位置に、障害物２００よりも手前から障害物２００に向かって延在する平面状の、進路軌跡を示す表示１００ｂを周辺画像に重畳する。また、プロセッサ１３は、進路軌跡を示す表示１００ａと、進路軌跡を示す表示１００ｂとを連結する、進路軌跡を示す表示１００ｃを周辺画像に重畳する。こうすることで、プロセッサ１３は、路面３が上っている場合にも、障害物２００と移動体１との高さ方向の接触の可能性の有無をユーザに正しく認識させることが可能となる。
　上述した距離ｄおよび角度βを求める方法について説明する。
　プロセッサ１３は、例えば、ステレオカメラ、Ｌｉｄａｒ（Light Detection and Ranging）装置または赤外線センサなどを用いて、距離ｄおよび角度βを検出する。Ｌｉｄａｒ装置とは、パルス状のレーザ光を射出し、そのレーザ光の散乱光を測定することで、対象までの距離などを検出する装置である。また、プロセッサ１３は、図１１を参照して説明する算出方法を用いて、距離ｄおよび角度βを算出してもよい。
　図１１に示すように、撮像部１１が備えるレンズの光学中心を原点Ｏとする三次元座標系（ＸＹＺ座標系）を考える。図１１において、撮像部１１の光軸がＺ軸と一致するものとする。また、Ｚ軸方向における、撮像部１１が備えるレンズの焦点距離をｆとする。また、移動体１の移動に伴い、撮像部１１から見て、原点ＯからのＺ軸上の距離がＺ0である平面上において、障害物の特徴点が位置Ｐ1（Ｘ1，Ｙ1，Ｚ1）から位置Ｐ2（Ｘ2，Ｙ2，Ｚ2）に、直進方向に対して角度θだけ回転した方向に移動量ΔＤだけ移動したとする。角度θおよび移動量ΔＤは、移動体１の移動量から既知である。この場合、Ｚ軸方向において、原点Ｏからの距離が焦点距離ｆであるＵ－Ｖ平面では、障害物の特徴点は、ｐ1（ｕ1，ｖ1）からｐ2（ｕ2，ｖ2）に移動する。
　図１１に示す座標系において、プロセッサ１３は、以下の式（３）に従い、Ｚ0を算出する。
　ｆ：Ｚ0＝｜ｕ2－ｕ1｜：ΔＤ　・・・式（３）
　次に、プロセッサ１３は、以下の式（４）－式（６）に従い、位置Ｐ2（Ｘ2，Ｙ2，Ｚ2）の座標を算出する。
Figure JPOXMLDOC01-appb-M000001
　そして、プロセッサ１３は、算出した位置Ｐ2（Ｘ2，Ｙ2，Ｚ2）の座標に基づき、距離ｄおよび角度βを算出する。
　図８－図１０においては、路面３に高低差がある場合の、移動体１の車体の底面（バンパー２の底面２ａ）の進路軌跡を示す表示１００の補正について説明した。プロセッサ１３は、路面３に高低差がある場合、移動体１の車体の上面の進路軌跡を示す表示１０１についても補正値ｘに基づき補正してもよい。以下では、移動体１の車体の上面の進路軌跡を示す表示１０１の補正について、図１２を参照して説明する。
　図１２においては、路面３は、水平な路面３ａと、路面３ａよりも低い位置にある水平な路面３ｂと、路面３ａと路面３ｂとを連結する下り斜面である路面３ｃとからなるものとする。また、路面３ｂの上方に障害物２０１が存在するものとする。また、移動体１が路面３ａ上に存在する状態では、移動体１の屋根６は障害物２０１の底面よりも高いものとする。すなわち、移動体１が路面３ａ上に存在する状態で移動体１から障害物２０１を見ると、移動体１の屋根６が障害物２０１に接触するように見えるものとする。
　プロセッサ１３は、図８を参照して説明した方法と同様の方法により、補正値ｘを算出する。ただし、図１２においては、プロセッサ１３は、障害物２０１の移動体１に最も近い端部２０１ａの直下の路面３ｂ上の点３ｂ’と、撮像部１１との間の距離を、距離ｄとして算出する。また、プロセッサ１３は、水平方向と、撮像部１１から点３ｂ’に向かう方向とがなす角度を角度βとして算出する。障害物２０１の端部２０１ａの直下の路面３ｂ上の点３ｂ’は、例えば、撮像部１１が撮像した周辺画像から求められる。
　次に、プロセッサ１３は、移動体１の車体の上面（屋根６）の進路軌跡を示す表示１０１を補正する。具体的には、プロセッサ１３は、屋根６の後方の端部６ａの路面３ａからの高さに対応する位置に、移動体１の進行方向に向かって延在する平面状の、進路軌跡を示す表示１０１ａを周辺画像に重畳する。また、プロセッサ１３は、損路軌跡を示す表示１０１ａよりも補正値ｘだけ低い位置に、障害物２０１よりも手前から障害物２０１に向かって延在する平面状の、進路軌跡を示す表示１０１ｂを周辺画像に重畳する。また、プロセッサ１３は、進路軌跡を示す表示１０１ａと、進路軌跡を示す表示１０１ｂとを連結する、進路軌跡を示す表示１０１ｃを周辺画像に重畳する。こうすることで、移動体１の車体の上面の進路軌跡を示す表示１０１についても、路面３の高低差に応じて補正する。
　図１２においては、障害物２０１と進路軌跡を示す表示１０１ｂとが接触しない例を示しているが、障害物２０１と進路軌跡を示す表示１０１ｂとが接触する場合には、プロセッサ１３は、進路軌跡を示す表示１０１ｂの一部を変形させてもよい。
　障害物２０１と進路軌跡を示す表示１０１ｂとが接触するか否かは、例えば、以下のようにして判定する。図１２に示すように、撮像部１１から障害物２０１までの高さをＨ’とし、撮像部１１から障害物２０１の端部２０１ａまでの距離をＤとし、水平方向と撮像部１１から障害物２０１の端部２０１ａに向かう方向とがなす角をαとする。また、移動体１の屋根６の路面３からの高さをｈ３とする。
　プロセッサ１３は、距離Ｄおよび角度αを算出する。距離Ｄおよび角度αは、図１０を参照して説明した方法により算出される。プロセッサ１３は、以下の式（７）に従い、撮像部１１から障害物２０１までの高さＨ’を算出する。
　Ｈ’＝Ｄ×ｓｉｎα　・・・式（７）
　図１２に示すように、障害物２０１の底面の高さは、Ｈ＋Ｈ’で表される。プロセッサ１３は、障害物２０１の高さ（Ｈ＋Ｈ’）と、屋根６の高さｈ３とを比較することで、障害物２０１と進路軌跡を示す表示１０１ｂとが接触するか否かを判定する。
　図１２においては、移動体１の屋根６の端部６ａが、タイヤ７の路面３との接地点の直上あるいはその近傍にある例を示しているが、移動体１の中には、移動体１の屋根６の端部６ａが、タイヤ７の路面３との接地点よりも後方に設けられているものがある。以下では、図１３を参照して、屋根６の端部６ａがタイヤ７の路面３との接地点よりも後方に設けられている移動体１における、周辺画像に対する進路軌跡を示す表示１０１の重畳について説明する。図１３においては、図１２と同様に、移動体１が路面３ａ上に存在する状態で、移動体１の屋根６は障害物２０１の底面よりも高いものとする。すなわち、移動体１が路面３ａ上に存在する状態で、移動体１から障害物２０１を見ると、移動体１の屋根６が障害物２０１に接触するように見えるものとする。
　図１３においては、移動体１の屋根６の端部６ａが、タイヤ７の路面３との接地点よりも距離Ｌだけ後方に設けられているものとする。距離Ｌは、固有の値であり、既知である。
　まず、プロセッサ１３は、補正値ｘを算出する。次に、プロセッサ１３は、障害物２０１の端部２０１ａの直下の路面３ｂ上の点３ｂ’から移動体１に向かって距離Ｌだけ離れた地点の高さと、タイヤ７の接地点の高さとが同じであるか否かを判定する。
　上述したように、図１３においては、移動体１が路面３ａ上に存在する状態では、移動体１の屋根６は障害物２０１の底面よりも高い。そのため、路面３ｂ上の点３ｂ’から移動体１に向かって距離Ｌだけ離れた地点が路面３ａ上である場合、その地点まで移動体１が移動すると、移動体１の屋根６の端部６ａと障害物２０１とが接触してしまう。この場合、プロセッサ１３は、補正値ｘを用いた進路軌跡を示す表示１０１の補正は行わず、屋根６の路面３からの高さに対応する位置に、屋根６の端部６ａから障害物２０１まで延在する進路軌跡を示す表示１０１を周辺画像に対して重畳する。こうすることで、障害物２０１に接触する可能性があることをユーザに認識させることが可能となる。
　次に、本実施形態に係る画像処理装置１０における画像処理方法について、図１４に示すフローチャートを参照して説明する。画像処理装置１０は、図１４に示すフローを、例えば、所定の時間間隔で繰り返す。
　インターフェイス１２は、撮像部１１が撮像した周辺画像を取得する（ステップＳ１１）。
　プロセッサ１３は、取得した周辺画像に対して、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示を、特定部位の路面３からの高さに対応する位置に重畳する（ステップＳ１２）。
　次に、プロセッサ１３は、移動体１の進行方向に障害物が存在するか否かを判定する（ステップＳ１３）。
　移動体１の進行方向に障害物が存在しないと判定した場合には（ステップＳ１３：Ｎｏ）、プロセッサ１３は、周辺画像に重畳した進路軌跡を示す表示をそのままにして処理を終了する。
　移動体１の進行方向に障害物が存在すると判定した場合には（ステップＳ１３：Ｙｅｓ）、プロセッサ１３は、障害物と移動体１の特定部位の進路軌跡とが接触するか否かを判定する（ステップＳ１４）。
　障害物と進路軌跡とが接触しないと判定した場合には（ステップＳ１４：Ｎｏ）、プロセッサ１３は、周辺画像に重畳した進路軌跡を示す表示をそのままにして処理を終了する。
　障害物と進路軌跡とが接触すると判定した場合には（ステップＳ１４：Ｙｅｓ）、プロセッサ１３は、進路軌跡を示す表示を変形させる。ここで、プロセッサ１３は、進路軌跡を示す表示のうち、周辺画像に含まれる障害物の像と特定部位の進路軌跡の表示とが接触する部分を変形させる。
　このように、本実施形態においては、画像処理装置１０は、移動体１の周辺画像を取得するインターフェイス１２と、周辺画像に対して、移動体１の特定部位の移動体１の進行方向についての進路軌跡を示す表示を、路面からの特定部位の高さに対応する位置に重畳するプロセッサ１３と、を備える。そして、プロセッサ１３は、周辺画像に含まれる移動体１の進行方向に存在する障害物と、特定部位の進路軌跡とが接触する場合、進路軌跡を示す表示を変形させる。
　周辺画像に対して、移動体１の特定部位の進路軌跡を示す表示を、路面からの特定部位の高さに対応する位置に重畳し、障害物と進路軌跡とが接触する場合、進路軌跡を示す表示を変形させることで、移動体１と障害物との高さ方向の衝突の可能性を、より容易にユーザに認識させることが可能となる。
　本開示の一実施形態を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本開示の範囲に含まれることに留意されたい。
　１　　移動体
　１Ａ　　カメラ
　２　　バンパ
　２ａ　　バンパの底面
　３，３ａ，３ｂ，３ｃ　　路面
　４　　リアスポイラ
　６　　屋根
　７　　タイヤ
　１０　　画像処理装置
　１１　　撮像部
　１１ａ　　撮像光学系
　１１ｂ　　撮像素子
　１２　　インターフェイス
　１３　　プロセッサ
　１４　　メモリ
　１５　　表示部
　１００，１０１　　進路軌跡を示す表示
　２００，２０１　障害物

Claims (8)

  1. 　移動体の周辺画像を取得するインターフェイスと、
    　前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するプロセッサと、を備え、
    　前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる、画像処理装置。
  2. 　前記プロセッサは、前記進路軌跡を示す表示のうち、前記周辺画像に含まれる前記障害物の像と前記特定部位の進路軌跡の表示とが接触する部分を変形させる、請求項１に記載の画像処理装置。
  3. 　前記特定部位は、前記移動体の移動に対して、高さ方向の制約となる部位である、請求項１または２に記載の画像処理装置。
  4. 　前記移動体は車両であり、
    　前記特定部位は、前記車両のバンパー底面、前記車両の屋根、または、前記車両の屋根に設置された設置物である、請求項３に記載の画像処理装置。
  5. 　前記プロセッサは、前記障害物と前記進路軌跡とが接触する場合、接触の危険性を示す表示を前記周辺画像に重畳し、または、接触の危険性を示す信号を外部に出力する、請求項１から４のいずれか一項に記載の画像処理装置。
  6. 　撮像光学系と、
    　前記撮像光学系を介して結像した像を撮像する撮像素子と、
    　前記撮像素子により撮像された、移動体の周辺画像を取得するインターフェイスと、
    　前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するプロセッサと、を備え、
    　前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる、カメラ。
  7. 　移動体であって、
    　表示部と、
    　前記移動体の周辺を撮像するカメラと、を備え、
    　前記カメラは、
    　撮像光学系と、
    　前記撮像光学系を介して結像した像を撮像する撮像素子と、
    　前記撮像素子により撮像された、前記移動体の周辺画像を取得するインターフェイスと、
    　前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳して、前記表示部に表示するプロセッサと、を備え、
    　前記プロセッサは、前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させる、移動体。
  8. 　画像処理装置における画像処理方法であって、
    　移動体の周辺画像を取得するステップと、
    　前記周辺画像に対して、前記移動体の特定部位の前記移動体の進行方向についての進路軌跡を示す表示を、路面からの前記特定部位の高さに対応する位置に重畳するステップと、
    　前記周辺画像に含まれる前記移動体の進行方向に存在する障害物と、前記特定部位の進路軌跡とが接触する場合、前記進路軌跡を示す表示を変形させるステップと、を含む画像処理方法。
PCT/JP2019/039011 2018-10-29 2019-10-02 画像処理装置、カメラ、移動体および画像処理方法 Ceased WO2020090339A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980069381.XA CN112912944B (zh) 2018-10-29 2019-10-02 图像处理装置、摄像头、移动体以及图像处理方法
EP19879385.3A EP3876214B1 (en) 2018-10-29 2019-10-02 Image processing device, camera, mobile body, and image processing method
CN202310092021.XA CN116080530A (zh) 2018-10-29 2019-10-02 图像处理装置、摄像头、移动体以及图像处理方法
US17/287,745 US11433810B2 (en) 2018-10-29 2019-10-02 Image processing apparatus, camera, moveable body, and image processing method
US17/817,888 US11924578B2 (en) 2018-10-29 2022-08-05 Image processing apparatus, camera, moveable body, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-203062 2018-10-29
JP2018203062A JP7088807B2 (ja) 2018-10-29 2018-10-29 画像処理装置、カメラ、移動体および画像処理方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/287,745 A-371-Of-International US11433810B2 (en) 2018-10-29 2019-10-02 Image processing apparatus, camera, moveable body, and image processing method
US17/817,888 Continuation US11924578B2 (en) 2018-10-29 2022-08-05 Image processing apparatus, camera, moveable body, and image processing method

Publications (1)

Publication Number Publication Date
WO2020090339A1 true WO2020090339A1 (ja) 2020-05-07

Family

ID=70464035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039011 Ceased WO2020090339A1 (ja) 2018-10-29 2019-10-02 画像処理装置、カメラ、移動体および画像処理方法

Country Status (5)

Country Link
US (2) US11433810B2 (ja)
EP (1) EP3876214B1 (ja)
JP (2) JP7088807B2 (ja)
CN (2) CN112912944B (ja)
WO (1) WO2020090339A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11334470A (ja) 1998-05-22 1999-12-07 Aisin Seiki Co Ltd 駐車補助装置
JP2004114977A (ja) * 2002-09-30 2004-04-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2004147083A (ja) * 2002-10-24 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
WO2018061294A1 (ja) * 2016-09-30 2018-04-05 アイシン精機株式会社 周辺監視装置
JP2018203062A (ja) 2017-06-05 2018-12-27 株式会社ブリヂストン タイヤ

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3608432B2 (ja) * 1999-05-26 2005-01-12 松下電工株式会社 車両用障害物監視装置
JP4350838B2 (ja) 1999-06-29 2009-10-21 富士通テン株式会社 車両の運転支援装置
JP3645196B2 (ja) 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP4499319B2 (ja) 2001-08-24 2010-07-07 パナソニック株式会社 運転支援装置、運転支援方法および運転ガイドデータ作成方法
JP4052011B2 (ja) 2002-05-21 2008-02-27 トヨタ自動車株式会社 駐車支援装置
JP2004062380A (ja) 2002-07-26 2004-02-26 Nissan Motor Co Ltd 車両用障害物接触判定装置
DE102005015088B4 (de) 2004-04-02 2015-06-18 Denso Corporation Fahrzeugumgebungsüberwachungssystem
JP4687160B2 (ja) * 2005-03-14 2011-05-25 アイシン精機株式会社 周辺監視装置
JP4720386B2 (ja) * 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
JP4877813B2 (ja) 2007-05-10 2012-02-15 アルパイン株式会社 車両運転支援装置
US8350724B2 (en) * 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
JP5071743B2 (ja) * 2010-01-19 2012-11-14 アイシン精機株式会社 車両周辺監視装置
JP5501452B2 (ja) 2010-05-19 2014-05-21 三菱電機株式会社 車両後方監視装置
DE102011082475A1 (de) * 2011-09-12 2013-03-14 Robert Bosch Gmbh Fahrerassistenzsystem zur Unterstützung eines Fahrers in kollisionsrelevanten Situationen
US10071687B2 (en) * 2011-11-28 2018-09-11 Magna Electronics Inc. Vision system for vehicle
CN202686359U (zh) * 2011-11-30 2013-01-23 富士重工业株式会社 狭窄道路检测装置
GB2518187A (en) 2013-09-12 2015-03-18 Ford Global Tech Llc Collision warning for a driver controlled vehicle
US20160375831A1 (en) * 2015-06-23 2016-12-29 GM Global Technology Operations LLC Hitching assist with pan/zoom and virtual top-view
CN106218720A (zh) * 2016-08-24 2016-12-14 北京汽车研究总院有限公司 一种行车轨迹预显示的方法、装置和汽车
JP6696939B2 (ja) * 2017-07-04 2020-05-20 トヨタ自動車株式会社 周辺画像表示制御装置
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11334470A (ja) 1998-05-22 1999-12-07 Aisin Seiki Co Ltd 駐車補助装置
JP2004114977A (ja) * 2002-09-30 2004-04-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2004147083A (ja) * 2002-10-24 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
WO2018061294A1 (ja) * 2016-09-30 2018-04-05 アイシン精機株式会社 周辺監視装置
JP2018203062A (ja) 2017-06-05 2018-12-27 株式会社ブリヂストン タイヤ

Also Published As

Publication number Publication date
EP3876214A1 (en) 2021-09-08
US11924578B2 (en) 2024-03-05
CN116080530A (zh) 2023-05-09
JP7345601B2 (ja) 2023-09-15
US11433810B2 (en) 2022-09-06
CN112912944B (zh) 2023-02-21
EP3876214B1 (en) 2025-02-26
JP2020071521A (ja) 2020-05-07
JP7088807B2 (ja) 2022-06-21
US20220379809A1 (en) 2022-12-01
JP2022137030A (ja) 2022-09-21
CN112912944A (zh) 2021-06-04
EP3876214A4 (en) 2022-08-03
US20210394675A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
US11756230B2 (en) Vehicular trailer hitching assist system with determination of location of hitch
JP6159905B2 (ja) 演算装置、カメラ装置、車両及びキャリブレーション方法
US20200334475A1 (en) Vehicular trailer angle detection system
JP4425495B2 (ja) 車外監視装置
CN102081861B (zh) 车载装置及认知支援系统
JP4676373B2 (ja) 周辺認識装置、周辺認識方法、プログラム
US20110169957A1 (en) Vehicle Image Processing Method
EP3358295A1 (en) Image processing device, stereo camera device, vehicle, and image processing method
US10750085B2 (en) Camera device for capturing a surrounding area of a driver's own vehicle and method for providing a driver assistance function
JP2009071836A (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
JP5680436B2 (ja) 車載カメラレンズ用異物付着判定装置
CN109389060B (zh) 一种基于视觉的车周碰撞预警方法
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
WO2016208198A1 (ja) 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法
US11919451B2 (en) Vehicle data display system
JP7345601B2 (ja) 画像処理装置、カメラ、移動体および画像処理方法
JP2018088092A (ja) 画像処理装置、車載システム、車載カメラ、移動体、および画像処理方法
JP4900377B2 (ja) 画像処理装置
CN118475851A (zh) 包括集成式距离传感器的摄像机监控系统
JP2007310591A (ja) 画像処理装置及び駐車場判定方法
CN105930764B (zh) 能对立体视野摄像的摄像装置、摄像方法以及存储介质
JP4590654B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
WO2018155280A1 (ja) 周辺監視システム
US20230375800A1 (en) Semiconductor device and optical structure body
JP7023212B2 (ja) 画像処理装置、撮像装置、移動体および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19879385

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019879385

Country of ref document: EP

Effective date: 20210531