[go: up one dir, main page]

WO2023095340A1 - 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置 - Google Patents

画像処理方法、画像表示方法、画像処理装置、及び画像表示装置 Download PDF

Info

Publication number
WO2023095340A1
WO2023095340A1 PCT/JP2021/043651 JP2021043651W WO2023095340A1 WO 2023095340 A1 WO2023095340 A1 WO 2023095340A1 JP 2021043651 W JP2021043651 W JP 2021043651W WO 2023095340 A1 WO2023095340 A1 WO 2023095340A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
contour
side camera
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/043651
Other languages
English (en)
French (fr)
Inventor
祐介 武者
康啓 鈴木
椋 竹田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2023563486A priority Critical patent/JP7632687B2/ja
Priority to EP21964982.9A priority patent/EP4443866A4/en
Priority to CN202180104342.6A priority patent/CN118266207A/zh
Priority to MX2024006153A priority patent/MX2024006153A/es
Priority to US18/713,054 priority patent/US12315050B2/en
Priority to PCT/JP2021/043651 priority patent/WO2023095340A1/ja
Publication of WO2023095340A1 publication Critical patent/WO2023095340A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G06T11/23—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an image processing method, an image display method, an image processing device, and an image display device.
  • Patent Document 1 describes an image display device that generates a composite image by combining an image of a rear region of a vehicle and an image of a rear side region of the vehicle, and displays the generated composite image on a display device.
  • An object of the present invention is to make it easier to grasp the relative positional relationship between a vehicle and surrounding objects from an image of the rear side of the vehicle.
  • a first imaging device provided on the side of the vehicle exterior and in front of the rear end of the vehicle captures an image of an area including the rear side of the vehicle. 1 image is captured, a second image capturing device provided at the rear end of the vehicle captures a second image that is an area image behind the vehicle, and the first image and the second image are synthesized to obtain an image of the rear of the vehicle.
  • a composite image is generated as an image, and a contour line, which is a line segment along the contour of the vehicle side surface, is superimposed on the composite image.
  • the synthesized image generated by the above image processing method and superimposed with the contour line is displayed on a display device inside the vehicle compartment.
  • FIG. 1 is a schematic configuration diagram of an example of an image display device according to an embodiment
  • FIG. FIG. 3 is a schematic diagram of the mounting positions of the left side camera, the right side camera, and the rear camera, the range of the angle of view, and the range of the angle of view of the image after viewpoint conversion.
  • FIG. 3 is a schematic diagram of the mounting positions of the left side camera, the right side camera, and the rear camera, the range of the angle of view, and the range of the angle of view of the image after viewpoint conversion.
  • FIG. 4 is a schematic diagram of a left-side camera image; FIG.
  • FIG. 4 is a schematic diagram of a left-side camera image after distortion correction, viewpoint conversion processing, and left-right reversal processing
  • 3B is a schematic diagram of a partial left-side camera image cut out from the left-side camera image of FIG. 3B
  • FIG. FIG. 4 is a schematic diagram of a rear camera image after distortion correction, viewpoint conversion processing, and horizontal reversal processing
  • FIG. 4 is a schematic diagram of a left rear camera image obtained by moving the virtual viewpoint of the rear camera image to a lateral position corresponding to the position of the left side camera in the vehicle width direction
  • FIG. 4 is a schematic diagram of a right rear camera image obtained by moving the virtual viewpoint of the rear camera image to a lateral position corresponding to the vehicle width direction position of the right side camera
  • FIG. 10 is a schematic diagram of a left rear side combined image obtained by combining a left rear camera image with a partial left side camera image;
  • FIG. 10 is a schematic diagram of a right rear side synthesized image obtained by synthesizing a partial right side camera image with a right rear camera image;
  • FIG. 4 is a schematic diagram of a composite image in which the outline of a vehicle and a transparent image are superimposed; 4 is a flow chart of an example of an image display method of the embodiment;
  • FIG. 1 is a schematic configuration diagram of an example of an image display device according to an embodiment.
  • the image display device 1 is mounted on the vehicle 10 together with the left side camera 2L, the right side camera 2R, and the rear camera 3.
  • the image display device 1 may be an electronic circuit that includes a processor (such as a CPU or MPU) and a memory device (such as a semiconductor memory device, magnetic memory device, or optical memory device).
  • the image display device 1 may implement the information processing described below by executing a computer program stored in the storage device with a processor. As shown in FIGS.
  • the left side camera 2L is provided on the left side of the vehicle exterior and in front of the rear end of the vehicle 10, and captures an area including the left rear side of the vehicle.
  • An image "left side camera image” is generated.
  • the right side camera 2R is provided on the right side outside the vehicle compartment and in front of the rear end of the vehicle 10, and is an image of an area including the rear side of the right side of the vehicle. ”.
  • the left side camera 2L and the right side camera 2R are mounted below the left and right side mirrors, respectively.
  • the rear camera 3 is provided at the rear end of the vehicle 10 and generates a "rear camera image" which is an image of the area behind the vehicle.
  • the rear camera 3 is mounted above the rear license plate.
  • dashed lines 6Lr, 6Rr, and 7r in FIGS. 2A and 2B schematically indicate the range of angles of view of the left side camera 2L, right side camera 2R, and rear camera 3, respectively.
  • the optical axes of the left side camera 2L and the right side camera 2R are perpendicular to the front-rear direction of the vehicle 10 and directed diagonally downward to the left and diagonally downward to the right, respectively.
  • the angle between these optical axes and the horizontal direction may be, for example, 45 degrees.
  • the optical axis of the rear camera 3 is directed toward the rear and obliquely downward of the vehicle 10, and the angle between the optical axis and the horizontal direction may be, for example, 45 degrees.
  • the angles of view of the left side camera 2L, the right side camera 2R, and the rear camera 3 may be, for example, approximately 180 degrees (eg, approximately 185 degrees). That is, the left side camera 2L, the right side camera 2R, and the rear camera 3 may be wide-angle cameras having a fisheye lens with a wide angle of view.
  • the left-side camera 2L, right-side camera 2R, and rear camera 3 may be around-view monitor cameras that generate images that are converted into bird's-eye views (around-view monitor images).
  • the image display device 1 includes an image processing device 4 and a display device 5 .
  • the image processing device 4 performs image processing on the left-side camera image, the right-side camera image, and the rear-camera image generated by the left-side camera 2L, the right-side camera 2R, and the rear camera 3, so that the left rear side of the vehicle 10 is displayed.
  • a "left rear side composite image” that is an image of the area on the right side of the vehicle 10 and a "right rear side composite image” that is an image of the area on the right side of the vehicle 10 are generated.
  • the display device 5 is provided in the vehicle interior of the vehicle 10 and displays the left rear side composite image and the right rear side composite image generated by the image processing device 4 on a display screen.
  • the image processing device 4 includes a distortion correction unit 4a, a viewpoint conversion unit 4b, an image inversion unit 4c, a clipping unit 4d, a synthesis unit 4e, and a superimposition unit 4f.
  • the distortion correction unit 4a corrects the distortion included in the left side camera image, the right side camera image, and the rear camera image generated by the left side camera 2L, the right side camera 2R, and the rear camera 3, which are wide-angle cameras.
  • FIG. 3A is a schematic diagram of the left-side camera image before distortion correction by the distortion correction unit 4a.
  • the portions indicated by reference numerals 20, 21, 22, and 23 show the left front end side surface, left rear side surface, left front wheel, and left rear wheel of the vehicle 10, respectively.
  • the portion indicated by reference numeral 24 shows the parking space behind the vehicle 10
  • the portion indicated by reference numeral 25 shows plants around the parking space 24 .
  • the portion indicated by reference numeral 26 shows the road around the vehicle 10, and the portion indicated by reference numeral 27 shows plants growing along the road.
  • An area 28 indicated by relatively dark dot hatching is an area in which parts around the installation location of the left side camera 2L are shown and an area outside the image circle of the optical system of the left side camera 2L.
  • the viewpoint conversion unit 4b performs viewpoint conversion processing on the left-side camera image to generate a virtual viewpoint image in which the line-of-sight direction is oriented horizontally and rearward of the vehicle 10 with the position of the left-side camera 2L as the viewpoint.
  • a virtual viewpoint image is generated in which the line-of-sight direction is oriented horizontally and rearward of the vehicle 10 with the position of the right-side camera 2R as the viewpoint.
  • Broken lines 6Lv and 6Rv in FIGS. 2A and 2B schematically indicate the range of the angle of view of the left-side camera image and the right-side camera image after viewpoint conversion, respectively.
  • FIG. 3B is a schematic diagram of a left-side camera image after distortion correction, viewpoint conversion processing, and horizontal reversal processing have been performed.
  • a region 28 indicated by relatively dark dot hatching is a region where components around the installation location of the left side camera 2L are shown and a region outside the image circle of the optical system of the left side camera 2L.
  • a hatched area 29 is an area made up of pixels in a range not included in the left-side camera image before viewpoint conversion.
  • a region 30 indicated by relatively light dot hatching corresponds to a portion other than the region on the left rear side of the vehicle 10 in the left-side camera image before viewpoint conversion in FIG. The illustration is omitted for the sake of simplicity.
  • an image is generated in which the left rear side area of the vehicle 10 is reflected.
  • the left rear side 21 of the vehicle 10 the parking space 24 , and the plants 25 and 27 are shown in the image area 31 .
  • a dashed line 32 in FIG. 3B indicates the position of the contour (outside line) of the vehicle 10 actually captured in the left side camera image.
  • a dashed-dotted line 33 indicates a position where the contour (outside line) of the vehicle 10 should appear in the image of the same line-of-sight direction and angle of view as the left-side camera image after viewpoint conversion, although it is not actually captured in the left-side camera image. is shown.
  • the clipping unit 4d clips a partial area 34 of the image area 31 of the left-side camera image after the viewpoint conversion processing and the left-right inversion processing are performed as a "partial left-side camera image".
  • the partial left-side camera image is combined with the rear camera image as described below.
  • FIG. 3C is a schematic diagram of a partial left-side camera image 40L cut out from the left-side camera image of FIG. 3B.
  • the clipping unit 4d selects a position where a pixel representing the contour of the vehicle 10 should be displayed in an image having the same line-of-sight direction and angle of view as the left-side camera image after the viewpoint conversion, among the pixels included in the image area 31 (see FIG. 3B ).
  • the pixels in the outer range in the horizontal direction of the image from the position of the dashed line 32 and the dashed line 33) may be cut out as the partial left side camera image.
  • a portion 35 of the edges (edges, boundaries) of the partial left-side camera image may match the outline (broken line 32) actually shown in the left-side camera image after viewpoint conversion.
  • the viewpoint conversion unit 4b and the image inversion unit 4c similarly perform viewpoint conversion processing and horizontal inversion processing on the right side camera image.
  • the clipping unit 4d also clips a “partial right side camera image” from the right side camera image after the viewpoint conversion processing and the left/right inversion processing have been performed.
  • the viewpoint conversion unit 4b performs viewpoint conversion processing on the rear camera image to generate a virtual viewpoint image in which the position of the rear camera 3 is used as the viewpoint and the line of sight is oriented horizontally behind the vehicle 10 .
  • the image reversing unit 4c reverses the left and right of the rear camera image after viewpoint conversion.
  • FIG. 4A is a schematic diagram of a rear camera image after being subjected to distortion correction, viewpoint conversion processing, and horizontal reversal processing.
  • a parking space 24, plants 25 and 27, and a road 26 are shown in the rear camera image.
  • a rear bumper of the vehicle 10 is shown in the portion indicated by reference numeral 36 .
  • the viewpoint conversion unit 4b performs viewpoint conversion processing on the rear camera image of FIG. 4A, thereby moving the virtual viewpoint of the rear camera image to a lateral position corresponding to the position of the left side camera 2L in the vehicle width direction. (hereinafter referred to as “left rear camera image”).
  • the viewpoint conversion unit 4b performs viewpoint conversion processing on the rear camera image of FIG. 4A, thereby moving the virtual viewpoint of the rear camera image to a lateral position corresponding to the position of the right side camera 2R in the vehicle width direction.
  • a viewpoint image (hereinafter referred to as a "right rear camera image") is generated.
  • 2A and 2B schematically show the positions of the virtual viewpoints PvL and PvR of the left rear camera image and the right rear camera image, and the angle of view ranges 7Lv and 7Rv.
  • 4B and 4C are schematic diagrams of the left rear camera image 41L and the right rear camera image 41R, respectively.
  • the synthesizer 4e generates a synthesized image by synthesizing the left rear camera image 41L and the partial left side camera image 40L.
  • the left rear camera image 41L synthesized with the partial left side camera image 40L may be hereinafter referred to as "left rear side synthesized image 41L".
  • FIG. 5A is a schematic diagram of the left rear side composite image 41L.
  • the synthesizing unit 4e replaces the pixels in the range occupied by the angle of view of the partial left side camera image 40L in the area of the left rear camera image 41L with the partial left side camera image 40L, thereby combining the left rear camera image 41L with the partial image. It is synthesized with the left side camera image 40L. See FIG. 5B.
  • the combining unit 4e generates a combined image by combining the right rear camera image 41R with the partial right side camera image 40R.
  • the right rear camera image 41R synthesized with the partial right side camera image 40R may be hereinafter referred to as "right rear side synthesized image 41R".
  • the superimposing unit 4f superimposes contour lines, which are line segments along the contour of the vehicle 10, on the left rear side composite image 41L and the right rear side composite image 41R.
  • FIG. 5C is a schematic diagram of the left rear side synthetic image 41L and the right rear side synthetic image 41R on which the contour lines of the vehicle 10 are superimposed.
  • the horizontal direction and vertical direction of the left rear side composite image 41L and the right rear side composite image 41R are defined as "X direction” and "Y direction", respectively.
  • the superimposing unit 4f superimposes a contour line 50L, which is a line segment along the contour of the left side surface of the vehicle 10, on the left rear side synthetic image 41L.
  • the position at which the outline 50L is superimposed on the left rear side composite image 41L is, for example, the position of the left side camera 2L as a viewpoint, and the image of the range shown in the left rear side composite image 41L is generated. may be determined by calculating in advance the position where the contour of is projected.
  • the superimposing unit 4f may detect the contour (broken line 32) of the vehicle 10 actually appearing in the left side camera image as shown in FIG. 3B.
  • the superimposing unit 4f superimposes the contour line 50L on the contour of the vehicle 10 based on the position where the partial left side camera image 40L is combined with the left rear side composite image 41L and the position of the contour detected from the left side camera image.
  • the position where the contour line 50L is superimposed may be determined so as to form a line segment along the line.
  • the superimposing unit 4f further superimposes a transparent image 51L of the shape of the vehicle 10 on a region inside the contour line 50L in the horizontal direction (X direction) of the left rear side composite image 41L.
  • the superimposing unit 4f superimposes a contour line 50R, which is a line segment along the contour of the right side surface of the vehicle 10, and a transparent image 51R of the shape of the vehicle 10, on the right rear side composite image 41R.
  • the range surrounded by dashed lines 52 of the left rear side composite image 41L is an image area including pixels extracted from the partial left side camera image 40L
  • the range surrounded by the dashed line 53 is It is an image area containing pixels extracted from the left rear camera image 41L of FIG. 4B
  • the range surrounded by the dashed lines 54 of the right rear side composite image 41R is an image area including the pixels extracted from the partial right side camera image 40R
  • the range surrounded by the dashed line 55 is This is an image area including pixels extracted from the right rear camera image 41R shown in FIG. 4C.
  • FIG. 1 Focus on the coordinates P1, P2 and P3 on the boundary between the image area 52 and the image area 53.
  • FIG. The Y-direction positions (ie, vertical positions) of the coordinates P1, P2, and P3 are y1, y2, and y3, respectively, and the X-direction positions (ie, horizontal positions) are x1, x2, and x3, respectively.
  • the left rear side composite image 41L among the pixels at the Y direction position y1, the pixels in the region outside the X direction position x1 in the X direction are extracted from the partial left side camera image 40L, and the pixels in the region inside are extracted from the partial left side camera image 40L. It is extracted from the left rear camera image 41L.
  • the pixels outside the X-direction position x2 are extracted from the partial left-side camera image 40L, and the pixels inside are extracted from the left-side rear camera image 41L.
  • the pixels outside the X-direction position x3 are extracted from the partial left-side camera image 40L, and the pixels inside are extracted from the left-side rear camera image 41L.
  • the X-direction positions x1, x2, and x3 of the coordinates P1, P2, and P3 are examples of the "predetermined lateral position" described in the claims, respectively.
  • the partial left-side camera image 40L is a partial image extracted by extracting pixels outside the outline of the vehicle 10 from the left-side camera image after viewpoint conversion. Therefore, in the Y-direction positions y1 and y2, the X-direction positions x1 and x2 are positioned outside the contour line 50L along the contour of the vehicle 10 in the vehicle width direction (image lateral direction). Also, as shown in FIG. 3C, a part 35 of the edges of the partial left-side camera image 40L may match the contour (broken line 32) actually shown in the left-side camera image after viewpoint conversion. . Therefore, the X-direction position x3 of the boundary line between the image areas 52 and 53 at the Y-direction position y3 may be equal to the position of the contour line 50L.
  • the superimposing unit 4f outputs to the display device 5 a left rear side composite image 41L and a right rear side composite image 41R in which the contour lines 50L and 50R of the vehicle 10 and the transmission images 51L and 51R are respectively superimposed.
  • the display device 5 displays the left rear side synthetic image 41L and the right rear side synthetic image 41R on the display screen in the vehicle interior of the vehicle 10 .
  • the display device 5 may display an image of the area behind the vehicle 10 such as the rear camera image of FIG. 4A sandwiched between the left rear side composite image 41L and the right rear side composite image 41R. often.
  • the left rear side synthetic image 41L and the right rear side synthetic image 41R may be displayed side by side.
  • FIG. 6 is a flow chart of an example of an image display method according to the embodiment.
  • the left side camera 2L, right side camera 2R, and rear camera 3 generate a left side camera image, a right side camera image, and a rear camera image, respectively.
  • the distortion correction unit 4a corrects the distortion included in the left side camera image, the right side camera image, and the rear camera image.
  • step S3 the viewpoint conversion unit 4b performs viewpoint conversion processing on the left-side camera image and the right-side camera image, so that the position of the left-side camera 2L and the right-side camera 2R is set as the viewpoint, and the line-of-sight direction is the rear of the vehicle 10. and generate a horizontally oriented virtual viewpoint image. Also, the viewpoint conversion unit 4b performs viewpoint conversion processing on the rear camera image to generate a virtual viewpoint image in which the position of the rear camera 3 is used as the viewpoint and the line of sight is oriented horizontally behind the vehicle 10 .
  • step S4 the image inverting unit 4c horizontally inverts the left-side camera image, the right-side camera image, and the rear camera image after viewpoint conversion.
  • step S5 the viewpoint conversion unit 4b performs viewpoint conversion processing on the rear camera image after the left-right inversion processing in step S4, so that the left-side camera 2L and the right-side camera 2R are moved in the lateral direction corresponding to the positions in the vehicle width direction, respectively.
  • a left rear camera image and a right rear camera image are generated by moving the virtual viewpoints PvL and PvR to the positions.
  • the clipping unit 4d clips a partial left-side camera image 40L in which the left rear side area is captured from the left-side camera image after the left-right reversal processing in step S4.
  • the clipping unit 4d clips a partial right-side camera image 40R in which the right rear side region is captured from the right-side camera image after the left-right inversion processing in step S4.
  • step S7 the combining unit 4e generates a left rear side combined image 41L in which the partial left side camera image 40L is combined with the left rear camera image, and a right rear side combined image 41L in which the right rear camera image is combined with the partial right side camera image 40R. and generate a combined image 41R.
  • step S8 the superimposing unit 4f superimposes the contour lines 50L and 50R of the vehicle 10 on the left rear side synthetic image 41L and the right rear side synthetic image 41R.
  • step S9 the superimposing unit 4f superimposes the transmission images 51L and 51R of the shape of the vehicle 10 on the left rear side synthetic image 41L and the right rear side synthetic image 41R.
  • step S10 the display device 5 displays the left rear side synthetic image 41L and the right rear side synthetic image 41R in which the contour lines 50L and 50R and the transmission images 51L and 51R of the shape of the vehicle 10 are superimposed on each other. displayed on the display screen inside the vehicle. Processing then ends.
  • the left side camera 2L and the right side camera 2R which are provided on the side of the vehicle 10 outside the passenger compartment and in front of the rear end of the vehicle 10, are images of an area including the rear side of the vehicle 10. Take one image.
  • a rear camera 3 provided at the rear end of the vehicle 10 captures a second image, which is an image of the area behind the vehicle 10 .
  • the image processing device 4 synthesizes the first image and the second image to generate a synthesized image as an image of the rear of the vehicle. superimpose. This makes it easier to grasp the relative positional relationship between the vehicle 10 and the surrounding objects from the composite image obtained by photographing the rear side of the vehicle 10 .
  • the side of the vehicle 10 that is not shown in the second image of the rear camera 3 can be displayed. It is possible to generate a composite image that reflects an object in the direction.
  • the image processing device 4 extracts from the first image an image of a region outside a predetermined horizontal position in the horizontal direction of the composite image, and extracts an image of the region inside the predetermined horizontal position in the horizontal direction of the composite image.
  • An image of the region may be extracted from the second image.
  • the predetermined lateral position may include a position outside a line segment along the contour of the vehicle 10 in the lateral direction of the image.
  • the predetermined horizontal position is set for each vertical position in the composite image, and at least a part of the predetermined horizontal position may be equal to the contour line position.
  • a composite image can be generated in which an area close to the side surface of the vehicle 10 is also projected.
  • the image processing device 4 may detect the contour of the vehicle 10 from the first image.
  • the contour line superimposed in the composite image may be a line segment along the contour of the vehicle 10 detected from the first image. This makes it possible to determine the position at which the outline is superimposed on the synthesized image according to the position of the outline of the vehicle 10 actually shown in the first image.
  • the image processing device 4 may superimpose a transparent image of the shape of the vehicle 10 on a region inside the contour line in the horizontal direction of the image in the synthesized image. This makes it easier to grasp the contour lines in the composite image.
  • the display device 5 may display the synthesized image generated by the image processing device 4 and superimposed with the outline on the display device inside the vehicle 10 . This makes it easier for the occupant of the vehicle 10 to grasp the relative positional relationship between the vehicle 10 and surrounding objects on the rear side of the vehicle 10 .
  • Image display device 2L Left side camera 2R... Right side camera 4... Image processing device 4a... Distortion correction unit 4b... View point conversion unit 4c... Image reversal unit 4d... Clipping unit 4e... Synthesis Part 4f... Superimposition part 5... Display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

画像処理方法では、車両の車室外の側面かつ車両の後端よりも前方の位置に設けられた第１撮像装置（２Ｌ、２Ｒ）によって、車両の後側方を含む領域の画像である第１画像を撮像し（Ｓ１）、車両の後端に設けられた第２撮像装置（３）によって、車両の後方の領域の画像である第２画像を撮像し（Ｓ１）、第１画像と第２画像とを合成して車両後方の画像としての合成画像を生成し（Ｓ７）、合成画像内に車両側面の輪郭に沿った線分である輪郭線を重畳する（Ｓ８）。

Description

画像処理方法、画像表示方法、画像処理装置、及び画像表示装置
　本発明は、画像処理方法、画像表示方法、画像処理装置、及び画像表示装置に関する。
　下記特許文献１には、車両の後方領域の画像と後側方の領域の画像とを合成した合成画像を生成し、生成した合成画像をディスプレイ装置に表示する画像表示装置が記載されている。
特開２０１９－１０１８７９号
　しかしながら、上記特許文献１で生成される合成画像では、運転者が車両を運転操作して車両を駐車する場合に車両と周囲物体の相対位置関係が把握しにくく、合成画像を見ながら車両を駐車しにくいという課題があった。
　本発明は、車両の後側方を撮影した画像から車両と周囲物体の相対位置関係を把握し易くすることを目的とする。
　本発明の一態様の画像処理方法では、車両の車室外の側面かつ車両の後端よりも前方の位置に設けられた第１撮像装置によって、車両の後側方を含む領域の画像である第１画像を撮像し、車両の後端に設けられた第２撮像装置によって、車両の後方の領域画像である第２画像を撮像し、第１画像と第２画像とを合成して車両後方の画像としての合成画像を生成し、合成画像内に車両側面の輪郭に沿った線分である輪郭線を重畳する。
　本発明の他の態様による画像表示方法では、上記の画像処理方法によって生成され、輪郭線が重畳された合成画像を、車両の車室内の表示装置に表示する。
　本発明によれば、合成画像から車両と周囲物体の相対位置関係を把握し易くなる。
　本発明の目的及び利点は、特許請求の範囲に示した要素及びその組合せを用いて具現化され達成される。前述の一般的な記述及び以下の詳細な記述の両方は、単なる例示及び説明であり、特許請求の範囲のように本発明を限定するものでないと解するべきである。
実施形態の画像表示装置の例の概略構成図である。 左サイドカメラ、右サイドカメラ、リアカメラの取付位置と、画角の範囲と、視点変換後の画像の画角の範囲の模式図である。 左サイドカメラ、右サイドカメラ、リアカメラの取付位置と、画角の範囲と、視点変換後の画像の画角の範囲の模式図である。 左サイドカメラ画像の模式図である。 歪み補正、視点変換処理及び左右反転処理を施した後の左サイドカメラ画像の模式図である。 図３Ｂの左サイドカメラ画像から切り出された部分左サイドカメラ画像の模式図である。 歪み補正、視点変換処理及び左右反転処理を施した後のリアカメラ画像の模式図である。 左サイドカメラの車幅方向位置に相当する横方向位置にリアカメラ画像の仮想視点を移動して得られる左側リアカメラ画像の模式図である。 右サイドカメラの車幅方向位置に相当する横方向位置にリアカメラ画像の仮想視点を移動して得られる右側リアカメラ画像の模式図である。 左側リアカメラ画像に部分左サイドカメラ画像を合成して得られた左後側方合成画像の模式図である。 右側リアカメラ画像に部分右サイドカメラ画像を合成して得られた右後側方合成画像の模式図である。 車両の輪郭線と透過画像が重畳された合成画像の模式図である。 実施形態の画像表示方法の例のフローチャートである。
　（構成）
　図１は、実施形態の画像表示装置の例の概略構成図である。画像表示装置１は、左サイドカメラ２Ｌ、右サイドカメラ２Ｒ、及びリアカメラ３とともに車両１０に搭載される。例えば、画像表示装置１は、プロセッサ（例えばＣＰＵやＭＰＵなど）と、記憶装置（例えば半導体記憶装置や、磁気記憶装置、光学記憶装置など）を備える電子回路であってよい。画像表示装置１は、記憶装置に格納されたコンピュータプログラムをプロセッサで実行することにより、以下に説明する情報処理を実現してよい。
　図２Ａ及び図２Ｂに示すように、左サイドカメラ２Ｌは、車室外の左側面かつ車両１０の後端よりも前方の位置に設けられて、車両の左側の後側方を含む領域を撮影した画像である「左サイドカメラ画像」を生成する。また、右サイドカメラ２Ｒは、車室外の右側面かつ車両１０の後端よりも前方の位置に設けられて、車両の右側の後側方を含む領域を撮影した画像である「右サイドカメラ画像」を生成する。例えば、左サイドカメラ２Ｌ及び右サイドカメラ２Ｒは、それぞれ左側及び右側のサイドミラーの下方に取り付けられる。
　また、リアカメラ３は車両１０の後端に設けられて、車両の後方の領域を撮影した画像である「リアカメラ画像」を生成する。例えば、リアカメラ３は後ろのナンバープレートの上方に取り付けられる。
　例えば、図２Ａ及び図２Ｂの破線６Ｌｒ、６Ｒｒ及び７ｒは、それぞれ左サイドカメラ２Ｌ、右サイドカメラ２Ｒ、リアカメラ３の画角の範囲を模式的に示している。
　左サイドカメラ２Ｌ及び右サイドカメラ２Ｒの光軸は、車両１０の前後方向に垂直であり、それぞれ左斜め下及び右斜め下に向けられている。これらの光軸と水平方向とのなす角は、例えば４５度であってよい。
　また、リアカメラ３の光軸は、車両１０の後ろ方向且つ斜め下に向けられており、光軸と水平方向とのなす角は例えば４５度であってよい。
　左サイドカメラ２Ｌ、右サイドカメラ２Ｒ及びリアカメラ３の画角は、例えば１８０度程度（例えば約１８５度）であってよい。すなわち、左サイドカメラ２Ｌ、右サイドカメラ２Ｒ及びリアカメラ３は、広い画角の魚眼レンズを備えた広角カメラであってよい。例えば、左サイドカメラ２Ｌ、右サイドカメラ２Ｒ及びリアカメラ３は、鳥観図（アラウンドビューモニター画像）に変換される画像を生成するアラウンドビューモニターカメラであってもよい。
　図１を参照する。画像表示装置１は、画像処理装置４と、表示装置５を備える。
　画像処理装置４は、左サイドカメラ２Ｌ、右サイドカメラ２Ｒ及びリアカメラ３が生成した左サイドカメラ画像、右サイドカメラ画像及びリアカメラ画像に画像処理を施すことにより、車両１０の左側の後側方の領域の画像である「左後側方合成画像」と、車両１０の右側の後側方の領域の画像である「右後側方合成画像」を生成する。
　表示装置５は、車両１０の車室内に設けられて、画像処理装置４により生成された左後側方合成画像と右後側方合成画像とを、表示画面に表示する。
　以下、画像処理装置４について詳述する。画像処理装置４は、歪み補正部４ａと、視点変換部４ｂと、画像反転部４ｃと、切り出し部４ｄと、合成部４ｅと、重畳部４ｆを備える。
　歪み補正部４ａは、広角カメラである左サイドカメラ２Ｌ、右サイドカメラ２Ｒ及びリアカメラ３により生成された左サイドカメラ画像、右サイドカメラ画像及びリアカメラ画像に含まれる歪みを補正する。
　図３Ａは、歪み補正部４ａによる歪み補正前の左サイドカメラ画像の模式図である。参照符号２０、２１、２２、２３で示す部分には、それぞれ車両１０の左前端部の側面、左後部の側面、左前輪及び左後輪が映っている。また、参照符号２４で示す部分には車両１０の後方の駐車スペースが映っており、参照符号２５で示す部分には駐車スペース２４の周りの植物が映っている。参照符号２６で示す部分には車両１０の周囲の道路が映っており、参照符号２７で示す部分には道路に沿って生えている植物が映っている。
　また、比較的濃いドットハッチングで示されている領域２８は、左サイドカメラ２Ｌの設置個所周囲の部品が映っている領域や、左サイドカメラ２Ｌの光学系のイメージサークルの外側の領域である。
　図３Ａに示すように、広角カメラである左サイドカメラ２Ｌ、右サイドカメラ２Ｒ及びリアカメラ３の撮像画像は歪みが生じるため、歪み補正部４ａは、広角レンズに起因する歪みを補正する。
　視点変換部４ｂは、左サイドカメラ画像に視点変換処理を施すことにより、左サイドカメラ２Ｌの位置を視点として視線方向が車両１０の後方且つ水平に向けられた仮想視点画像を生成する。また、右サイドカメラ画像に視点変換処理を施すことにより、右サイドカメラ２Ｒの位置を視点として視線方向が車両１０の後方且つ水平に向けられた仮想視点画像を生成する。
　図２Ａ及び図２Ｂの破線６Ｌｖ及び６Ｒｖは、それぞれ視点変換後の左サイドカメラ画像および右サイドカメラ画像の画角の範囲を模式的に示している。
　画像反転部４ｃは、視点変換後の左サイドカメラ画像の左右を反転する。図３Ｂは、歪み補正、視点変換処理及び左右反転処理を施した後の左サイドカメラ画像の模式図である。
　比較的濃いドットハッチングで示されている領域２８は、左サイドカメラ２Ｌの設置個所周囲の部品が映っている領域や、左サイドカメラ２Ｌの光学系のイメージサークルの外側の領域である。斜線ハッチングで示されている領域２９は、視点変換前の左サイドカメラ画像に含まれていない範囲の画素からなる領域である。また、比較的薄いドットハッチングで示されている領域３０は、図３Ａの視点変換前の左サイドカメラ画像のうち、車両１０の左後側方の領域以外の部分に対応するが、ここでは説明の簡単のために図示を省略する。
　図３Ｂの画像領域３１には、車両１０の左後側方の領域が映った画像が生成される。図３Ｂの模式図の例では、車両１０の左後部の側面２１、駐車スペース２４、植物２５及び２７が画像領域３１に映っている。
　また、図３Ｂの破線３２は、左サイドカメラ画像に実際に映っている車両１０の輪郭（外側線）の位置を示す。また、一点鎖線３３は、左サイドカメラ画像には実際に映っていないが視点変換後の左サイドカメラ画像と同じ視線方向及び画角の画像内に車両１０の輪郭（外側線）が映るべき位置を示している。
　切り出し部４ｄは、視点変換処理及び左右反転処理が施された後の左サイドカメラ画像の画像領域３１の一部の領域３４を、「部分左サイドカメラ画像」として切り出す。部分左サイドカメラ画像は、後述するようにリアカメラ画像と合成される。図３Ｃは、図３Ｂの左サイドカメラ画像から切り出された部分左サイドカメラ画像４０Ｌの模式図である。
　例えば切り出し部４ｄは、画像領域３１に含まれる画素のうち、視点変換後の左サイドカメラ画像と同じ視線方向及び画角の画像において車両１０の輪郭を表す画素が表示されるべき位置（図３Ｂの例では破線３２及び一点鎖線３３の位置）よりも、画像横方向で外側の範囲の画素を、部分左サイドカメラ画像として切り出してよい。部分左サイドカメラ画像のエッジ（縁、境界）のうち一部３５は、視点変換後の左サイドカメラ画像に実際に映っている輪郭（破線３２）と一致していてもよい。
　視点変換部４ｂ及び画像反転部４ｃは、右サイドカメラ画像にも同様に視点変換処理及び左右反転処理を行う。また、切り出し部４ｄは、視点変換処理及び左右反転処理が施された後の右サイドカメラ画像から「部分右サイドカメラ画像」を切り出す。
　一方で、視点変換部４ｂは、リアカメラ画像に視点変換処理を施すことにより、リアカメラ３の位置を視点とし、視線方向が車両１０の後方且つ水平に向けられた仮想視点画像を生成する。画像反転部４ｃは、視点変換後のリアカメラ画像の左右を反転する。図４Ａは、歪み補正、視点変換処理及び左右反転処理を施した後のリアカメラ画像の模式図である。リアカメラ画像には、駐車スペース２４、植物２５及び２７、道路２６が映っている。参照符号３６で示す部分には、車両１０のリアバンパーが映っている。
　さらに視点変換部４ｂは、図４Ａのリアカメラ画像に視点変換処理を施すことにより、左サイドカメラ２Ｌの車幅方向位置に相当する横方向位置にリアカメラ画像の仮想視点を移動した仮想視点画像（以下「左側リアカメラ画像」と表記する）を生成する。
　同様に、視点変換部４ｂは、図４Ａのリアカメラ画像に視点変換処理を施すことにより、右サイドカメラ２Ｒの車幅方向位置に相当する横方向位置にリアカメラ画像の仮想視点を移動した仮想視点画像（以下「右側リアカメラ画像」と表記する）を生成する。
　図２Ａ及び図２Ｂは、左側リアカメラ画像及び右側リアカメラ画像の仮想視点ＰｖＬ及びＰｖＲの位置、並びに画角の範囲７Ｌｖ及び７Ｒｖを模式的に示している。図４Ｂ及び図４Ｃはそれぞれ、左側リアカメラ画像４１Ｌ及び右側リアカメラ画像４１Ｒの模式図である。このように、リアカメラ画像の仮想視点の位置を移動させることにより、左サイドカメラ画像から切り出された部分左サイドカメラ画像と右サイドカメラ画像から切り出された部分右サイドカメラ画像を、リアカメラ画像に合成し易くなる。
　図１を参照する。合成部４ｅは、左側リアカメラ画像４１Ｌに部分左サイドカメラ画像４０Ｌを合成した合成画像を生成する。部分左サイドカメラ画像４０Ｌが合成された左側リアカメラ画像４１Ｌを、以下「左後側方合成画像４１Ｌ」と表記することがある。
　図５Ａは、左後側方合成画像４１Ｌの模式図である。例えば合成部４ｅは、左側リアカメラ画像４１Ｌの領域のうち、部分左サイドカメラ画像４０Ｌの画角が占める範囲の画素を、部分左サイドカメラ画像４０Ｌに置き換えることによって、左側リアカメラ画像４１Ｌと部分左サイドカメラ画像４０Ｌとを合成する。
　図５Ｂを参照する。同様に合成部４ｅは、右側リアカメラ画像４１Ｒに部分右サイドカメラ画像４０Ｒを合成した合成画像を生成する。部分右サイドカメラ画像４０Ｒが合成された右側リアカメラ画像４１Ｒを、以下「右後側方合成画像４１Ｒ」と表記することがある。
　図１を参照する。重畳部４ｆは、左後側方合成画像４１Ｌと右後側方合成画像４１Ｒとに、車両１０の輪郭に沿った線分である輪郭線を重畳する。
　図５Ｃは、車両１０の輪郭線が重畳された左後側方合成画像４１Ｌと右後側方合成画像４１Ｒの模式図である。なお、左後側方合成画像４１Ｌ及び右後側方合成画像４１Ｒの横方向及び縦方向をそれぞれ「Ｘ方向」及び「Ｙ方向」と定義する。
　重畳部４ｆは、車両１０の左側面の輪郭に沿った線分である輪郭線５０Ｌを、左後側方合成画像４１Ｌに重畳する。輪郭線５０Ｌを左後側方合成画像４１Ｌに重畳する位置は、例えば、左サイドカメラ２Ｌの位置を視点として左後側方合成画像４１Ｌに映っている範囲の画像を生成した場合に、車両１０の輪郭が映る位置を予め算出することにより決定してもよい。
　また、重畳部４ｆは、図３Ｂに示すように左サイドカメラ画像に実際に映っている車両１０の輪郭（破線３２）を検出してもよい。重畳部４ｆは、部分左サイドカメラ画像４０Ｌを左後側方合成画像４１Ｌに合成する位置と、左サイドカメラ画像から検出した輪郭の位置と、に基づいて、輪郭線５０Ｌが車両１０の輪郭に沿った線分となるように、輪郭線５０Ｌを重畳する位置を決定してもよい。
　重畳部４ｆは、更に左後側方合成画像４１Ｌのうち、輪郭線５０Ｌよりも画像横方向（Ｘ方向）で内側の領域に、車両１０の形状の透過画像５１Ｌを重畳する。
　同様に重畳部４ｆは、右後側方合成画像４１Ｒにも、車両１０の右側面の輪郭に沿った線分である輪郭線５０Ｒと、車両１０の形状の透過画像５１Ｒを重畳する。
　なお、左後側方合成画像４１Ｌの破線５２で囲まれている範囲は、部分左サイドカメラ画像４０Ｌから抽出された画素を含んだ画像領域であり、一点鎖線５３で囲まれている範囲は、図４Ｂの左側リアカメラ画像４１Ｌから抽出された画素を含んだ画像領域である。
　また、右後側方合成画像４１Ｒの破線５４で囲まれている範囲は、部分右サイドカメラ画像４０Ｒから抽出された画素を含んだ画像領域であり、一点鎖線５５で囲まれている範囲は、図４Ｃに示す右側リアカメラ画像４１Ｒから抽出された画素を含んだ画像領域である。
　画像領域５２と画像領域５３の境界線上の座標Ｐ１、Ｐ２及びＰ３に注目する。座標Ｐ１、Ｐ２及びＰ３のＹ方向位置（すなわち縦方向位置）はそれぞれｙ１、ｙ２及びｙ３であり、Ｘ方向位置（すなわち横方向位置）はそれぞれｘ１、ｘ２及びｘ３である。
　左後側方合成画像４１Ｌにおいて、Ｙ方向位置ｙ１の画素のうち、Ｘ方向位置ｘ１よりも、Ｘ方向で外側の領域の画素は部分左サイドカメラ画像４０Ｌから抽出され、内側の領域の画素は左側リアカメラ画像４１Ｌから抽出される。
　同様に、Ｙ方向位置ｙ２の画素のうち、Ｘ方向位置ｘ２よりも外側の領域の画素は部分左サイドカメラ画像４０Ｌから抽出され、内側の領域の画素は左側リアカメラ画像４１Ｌから抽出される。Ｙ方向位置ｙ３の画素のうち、Ｘ方向位置ｘ３よりも外側の領域の画素は部分左サイドカメラ画像４０Ｌから抽出され、内側の領域の画素は左側リアカメラ画像４１Ｌから抽出される。座標Ｐ１、Ｐ２及びＰ３のＸ方向位置ｘ１、ｘ２及びｘ３は、それぞれ特許請求の範囲に記載の「所定の横方向位置」の一例である。
　上記のとおり、部分左サイドカメラ画像４０Ｌは、視点変換後の左サイドカメラ画像から、車両１０の輪郭よりも外側の範囲の画素を切り出すことによって抽出された部分画像である。
　このため、Ｙ方向位置ｙ１及びｙ２おいて、Ｘ方向位置ｘ１及びｘ２は、車両１０の車幅方向（画像横方向）で車両１０の輪郭に沿った輪郭線５０Ｌよりも外側の位置となる。
　また、図３Ｃに示すように、部分左サイドカメラ画像４０Ｌのエッジのうち一部３５は、視点変換後の左サイドカメラ画像に実際に映っている輪郭（破線３２）と一致していてもよい。このため、Ｙ方向位置ｙ３における画像領域５２と画像領域５３の境界線のＸ方向位置ｘ３が、輪郭線５０Ｌの位置と等しくなっていてもよい。
　図１を参照する。重畳部４ｆは、車両１０の輪郭線５０Ｌ及び５０Ｒと透過画像５１Ｌ及び５１Ｒがそれぞれ重畳された左後側方合成画像４１Ｌ及び右後側方合成画像４１Ｒを表示装置５へ出力する。
　表示装置５は、左後側方合成画像４１Ｌ及び右後側方合成画像４１Ｒを、車両１０の車室内の表示画面に表示する。例えば、表示装置５は、左後側方合成画像４１Ｌ及び右後側方合成画像４１Ｒの間に、図４Ａのリアカメラ画像のような車両１０の後方の領域の画像を挟んで表示してもよく。図５Ｃに示すように左後側方合成画像４１Ｌ及び右後側方合成画像４１Ｒを並べて表示してもよい。
　（動作）
　図６は、実施形態の画像表示方法の例のフローチャートである。
　ステップＳ１において左サイドカメラ２Ｌ、右サイドカメラ２Ｒ、及びリアカメラ３は、左サイドカメラ画像、右サイドカメラ画像、及びリアカメラ画像をそれぞれ生成する。
　ステップＳ２において歪み補正部４ａは、左サイドカメラ画像、右サイドカメラ画像及びリアカメラ画像に含まれている歪みを補正する。
　ステップＳ３において視点変換部４ｂは、左サイドカメラ画像および右サイドカメラ画像に視点変換処理を施すことにより、それぞれ左サイドカメラ２Ｌ及び右サイドカメラ２Ｒの位置を視点とし、視線方向が車両１０の後方且つ水平に向けられた仮想視点画像を生成する。また、視点変換部４ｂは、リアカメラ画像に視点変換処理を施すことにより、リアカメラ３の位置を視点とし、視線方向が車両１０の後方且つ水平に向けられた仮想視点画像を生成する。
　ステップＳ４において画像反転部４ｃは、視点変換後の左サイドカメラ画像、右サイドカメラ画像およびリアカメラ画像の左右を反転する。
　ステップＳ５において視点変換部４ｂは、ステップＳ４の左右反転処理後のリアカメラ画像に視点変換処理を施すことにより、左サイドカメラ２Ｌと右サイドカメラ２Ｒの車幅方向位置にそれぞれに相当する横方向位置へ仮想視点ＰｖＬ、ＰｖＲを移動した左側リアカメラ画像と、右側リアカメラ画像を生成する。
　ステップＳ６において切り出し部４ｄは、ステップＳ４の左右反転処理後の左サイドカメラ画像から、左後側方の領域が映った部分左サイドカメラ画像４０Ｌを切り出す。同様に切り出し部４ｄは、ステップＳ４の左右反転処理後の右サイドカメラ画像から、右後側方の領域が映った部分右サイドカメラ画像４０Ｒを切り出す。
　ステップＳ７において合成部４ｅは、左側リアカメラ画像に部分左サイドカメラ画像４０Ｌが合成された左後側方合成画像４１Ｌと、右側リアカメラ画像に部分右サイドカメラ画像４０Ｒが合成された右後側方合成画像４１Ｒと、を生成する。
　ステップＳ８において重畳部４ｆは、左後側方合成画像４１Ｌと右後側方合成画像４１Ｒとに、車両１０の輪郭線５０Ｌ及び５０Ｒを重畳する。
　ステップＳ９において重畳部４ｆは、左後側方合成画像４１Ｌと右後側方合成画像４１Ｒとに、車両１０の形状の透過画像５１Ｌ及び５１Ｒを重畳する。
　ステップＳ１０において表示装置５は、輪郭線５０Ｌ及び５０Ｒと、車両１０の形状の透過画像５１Ｌ及び５１Ｒと、が重畳された左後側方合成画像４１Ｌ及び右後側方合成画像４１Ｒを、車両１０の車室内の表示画面に表示する。その後に処理は終了する。
　（実施形態の効果）
　（１）車両１０の車室外の側面かつ車両１０の後端よりも前方の位置に設けられた左サイドカメラ２Ｌ及び右サイドカメラ２Ｒは、車両１０の後側方を含む領域の画像である第１画像を撮像する。車両１０の後端に設けられたリアカメラ３は、車両１０の後方の領域の画像である第２画像を撮像する。画像処理装置４は、第１画像と第２画像とを合成して車両後方の画像としての合成画像を生成し、合成画像内に、車両１０側面の輪郭に沿った線分である輪郭線を重畳する。
　これにより、車両１０の後側方を撮影した合成画像から車両１０と周囲物体の相対位置関係を把握し易くなる。また、車両１０の後端よりも前方の位置に設けられた左サイドカメラ２Ｌ及び右サイドカメラ２Ｒの第１画像を合成することにより、リアカメラ３の第２画像には映らない車両１０の側方にある物体を映した合成画像を生成できる。
　（２）画像処理装置４は、合成画像のうち、前記合成画像の横方向において所定の横方向位置よりも外側の領域の画像は第１画像から抽出し、所定の横方向位置よりも内側の領域の画像は第２画像から抽出してよい。所定の横方向位置は、画像横方向で車両１０の輪郭に沿った線分よりも外側の位置を含んでもよい。
　これにより、左サイドカメラ２Ｌ及び右サイドカメラ２Ｒの第１画像に映っている後側方の領域だけでなく、左サイドカメラ２Ｌ及び右サイドカメラ２Ｒからは車体で隠れる領域が映った合成画像を生成できる。
　（３）所定の横方向位置は、合成画像における縦方向位置ごとにそれぞれ設定され、所定の横方向位置の少なくとも一部は輪郭線の位置と等しくてもよい。
　これにより、車両１０の側面に近接した領域まで映した合成画像を生成できる。
　（４）画像処理装置４は、第１画像から車両１０の輪郭を検出してもよい。合成画像内に重畳する輪郭線は、第１画像から検出された車両１０の輪郭に沿った線分であってもよい。
　これにより、第１画像に実際に映った車両１０の輪郭の位置に応じて、合成画像に輪郭線を重畳する位置を決定できる。
　（５）画像処理装置４は、合成画像のうち、輪郭線よりも画像横方向で内側の領域に、車両１０の形状の透過画像を重畳しもてよい。
　これにより、合成画像における輪郭線を把握し易くなる。
　（６）表示装置５は、画像処理装置４によって生成され、輪郭線が重畳された合成画像を、車両１０の車室内の表示装置に表示してもよい。これにより、車両１０の乗員は、車両１０の後側方の周囲物体と車両１０との間の相対位置関係を把握し易くなる。
　ここに記載されている全ての例及び条件的な用語は、読者が、本発明と技術の進展のために発明者により与えられる概念とを理解する際の助けとなるように、教育的な目的を意図したものであり、具体的に記載されている上記の例及び条件、並びに本発明の優位性及び劣等性を示すことに関する本明細書における例の構成に限定されることなく解釈されるべきものである。本発明の実施例は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であると解すべきである。
　１…画像表示装置、２Ｌ…左サイドカメラ、２Ｒ…右サイドカメラ、４…画像処理装置、４ａ…歪み補正部、４ｂ…視点変換部、４ｃ…画像反転部、４ｄ…切り出し部、４ｅ…合成部、４ｆ…重畳部、５…表示装置

Claims (8)

  1. 　車両の車室外の側面かつ前記車両の後端よりも前方の位置に設けられた第１撮像装置によって、前記車両の後側方を含む領域の画像である第１画像を撮像し、
    　前記車両の後端に設けられた第２撮像装置によって、前記車両の後方の領域の画像である第２画像を撮像し、
    　前記第１画像と前記第２画像とを合成して車両後方の画像としての合成画像を生成し、
    　前記合成画像内に、前記車両側面の輪郭に沿った線分である輪郭線を重畳する、
    　ことを特徴とする画像処理方法。
  2. 　前記合成画像のうち、前記合成画像の横方向において所定の横方向位置よりも外側の領域の画像は前記第１画像から抽出し、前記横方向で前記所定の横方向位置よりも内側の領域の画像は前記第２画像から抽出し、
    　前記所定の横方向位置は、前記横方向で前記車両の輪郭に沿った線分よりも外側の位置を含む、
    　ことを特徴とする請求項１に記載の画像処理方法。
  3. 　前記所定の横方向位置は、前記合成画像における縦方向位置ごとにそれぞれ設定され、前記所定の横方向位置の少なくとも一部は、前記輪郭線の位置と等しいことを特徴とする請求項２に記載の画像処理方法。
  4. 　前記第１画像から前記車両の輪郭を検出し、
    　前記合成画像内に重畳する前記輪郭線は、前記第１画像から検出された前記車両の輪郭に沿った線分である、
    　ことを特徴とする請求項１～３のいずれか一項に記載の画像処理方法。
  5. 　前記合成画像のうち、前記輪郭線よりも画像横方向で内側の領域に、前記車両の形状の透過画像を重畳することを特徴とする請求項１～４のいずれか一項に記載の画像処理方法。
  6. 　請求項１～５のいずれか一項に記載の画像処理方法によって生成され、前記輪郭線が重畳された前記合成画像を、前記車両の車室内の表示装置に表示することを特徴とする画像表示方法。
  7. 　車両の車室外の側面かつ前記車両の後端よりも前方の位置に設けられた第１撮像装置によって撮像された、前記車両の後側方を含む領域の画像である第１画像と、前記車両の後端に設けられた第２撮像装置によって撮像された、前記車両の後方の領域の画像である第２画像とを合成して車両後方の画像として合成画像を生成する処理と、
    　前記合成画像内に、前記車両側面の輪郭に沿った線分である輪郭線を重畳する処理と、
    　を実行することを特徴とする画像処理装置。
  8. 　請求項７に記載の画像処理装置と、
    　前記画像処理装置によって生成され、前記輪郭線が重畳された前記合成画像を、前記車両の車室内で表示する表示画面と、
    　を備えることを特徴とする画像表示装置。
PCT/JP2021/043651 2021-11-29 2021-11-29 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置 Ceased WO2023095340A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2023563486A JP7632687B2 (ja) 2021-11-29 2021-11-29 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置
EP21964982.9A EP4443866A4 (en) 2021-11-29 2021-11-29 IMAGE PROCESSING METHOD, IMAGE DISPLAY METHOD, IMAGE PROCESSING DEVICE AND IMAGE DISPLAY DEVICE
CN202180104342.6A CN118266207A (zh) 2021-11-29 2021-11-29 图像处理方法、图像显示方法，图像处理装置、以及图像显示装置
MX2024006153A MX2024006153A (es) 2021-11-29 2021-11-29 Metodo de procesamiento de imagenes, metodo de despliegue de imagenes, dispositivo de procesamiento de imagenes, y dispositivo de despliegue de imagenes.
US18/713,054 US12315050B2 (en) 2021-11-29 2021-11-29 Image processing method, image displaying method, image processing device, and image displaying device
PCT/JP2021/043651 WO2023095340A1 (ja) 2021-11-29 2021-11-29 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/043651 WO2023095340A1 (ja) 2021-11-29 2021-11-29 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置

Publications (1)

Publication Number Publication Date
WO2023095340A1 true WO2023095340A1 (ja) 2023-06-01

Family

ID=86539083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043651 Ceased WO2023095340A1 (ja) 2021-11-29 2021-11-29 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置

Country Status (6)

Country Link
US (1) US12315050B2 (ja)
EP (1) EP4443866A4 (ja)
JP (1) JP7632687B2 (ja)
CN (1) CN118266207A (ja)
MX (1) MX2024006153A (ja)
WO (1) WO2023095340A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4335699A1 (en) * 2022-09-12 2024-03-13 Volvo Truck Corporation Indicating component of camera monitoring system
JP2024105969A (ja) * 2023-01-26 2024-08-07 キヤノン株式会社 画像処理システム、移動体、画像処理方法、及びコンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016088151A1 (ja) * 2014-12-01 2016-06-09 日産自動車株式会社 車載用表示装置、車両及び表示方法
WO2018012299A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2019202584A (ja) * 2018-05-21 2019-11-28 アルパイン株式会社 画像処理装置および画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8521367B2 (en) * 2008-09-30 2013-08-27 Nissan Motor Co., Ltd. System provided with an assistance-controller for assisting an operator of the system, control-operation assisting device, control-operation assisting method, driving-operation assisting device, and driving-operation assisting method
JP5251947B2 (ja) * 2010-09-17 2013-07-31 日産自動車株式会社 車両用画像表示装置
US10525883B2 (en) * 2014-06-13 2020-01-07 Magna Electronics Inc. Vehicle vision system with panoramic view
JP6597518B2 (ja) * 2016-08-15 2019-10-30 株式会社デンソー 情報処理装置及びプログラム
JP2018117320A (ja) 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6733647B2 (ja) 2017-12-05 2020-08-05 トヨタ自動車株式会社 画像表示装置
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
JP7280006B2 (ja) * 2019-08-06 2023-05-23 アルパイン株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP7443705B2 (ja) * 2019-09-12 2024-03-06 株式会社アイシン 周辺監視装置
US11807062B2 (en) * 2019-11-25 2023-11-07 Ford Global Technologies, Llc Collaborative relationship between a vehicle and a UAV

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016088151A1 (ja) * 2014-12-01 2016-06-09 日産自動車株式会社 車載用表示装置、車両及び表示方法
WO2018012299A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2019202584A (ja) * 2018-05-21 2019-11-28 アルパイン株式会社 画像処理装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4443866A4 *

Also Published As

Publication number Publication date
US20250022194A1 (en) 2025-01-16
EP4443866A4 (en) 2025-03-26
JPWO2023095340A1 (ja) 2023-06-01
JP7632687B2 (ja) 2025-02-19
CN118266207A (zh) 2024-06-28
US12315050B2 (en) 2025-05-27
EP4443866A1 (en) 2024-10-09
MX2024006153A (es) 2024-06-04

Similar Documents

Publication Publication Date Title
CN107021015B (zh) 用于图像处理的系统及方法
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP4596978B2 (ja) 運転支援システム
JP5444338B2 (ja) 車両周囲監視装置
JP6310652B2 (ja) 映像表示システム、映像合成装置及び映像合成方法
US8130270B2 (en) Vehicle-mounted image capturing apparatus
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP5049300B2 (ja) 障害物検出表示装置
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
US20110001826A1 (en) Image processing device and method, driving support system, and vehicle
JP2008077628A (ja) 画像処理装置並びに車両周辺視界支援装置及び方法
JP2008083786A (ja) 画像生成装置および画像生成方法
CN110651295B (zh) 图像处理设备、图像处理方法和程序
JP2009239754A (ja) 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP7632687B2 (ja) 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置
JP6293089B2 (ja) 後方モニタ
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
JP5519479B2 (ja) 運転支援表示装置
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
JP5091882B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP7301476B2 (ja) 画像処理装置
JP6213727B2 (ja) 画像データ変換装置並びに運転支援装置およびナビゲーション装置およびカメラ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21964982

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023563486

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180104342.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18713054

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112024010144

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: 202447047974

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021964982

Country of ref document: EP

Effective date: 20240701

ENP Entry into the national phase

Ref document number: 112024010144

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20240521

WWG Wipo information: grant in national office

Ref document number: 18713054

Country of ref document: US

WWW Wipo information: withdrawn in national office

Ref document number: 2021964982

Country of ref document: EP