WO2016125371A1 - 画像生成装置、座標変換テーブル作成装置および作成方法 - Google Patents
画像生成装置、座標変換テーブル作成装置および作成方法 Download PDFInfo
- Publication number
- WO2016125371A1 WO2016125371A1 PCT/JP2015/083462 JP2015083462W WO2016125371A1 WO 2016125371 A1 WO2016125371 A1 WO 2016125371A1 JP 2015083462 W JP2015083462 W JP 2015083462W WO 2016125371 A1 WO2016125371 A1 WO 2016125371A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- pixels
- coordinate
- coordinate conversion
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- the present invention relates to an image generation device, a coordinate conversion table creation device, and a creation method.
- a coordinate transformation table is used to perform coordinate transformation on a two-dimensional first image having a spread in the horizontal direction and the vertical direction obtained by imaging the subject from the first viewpoint while looking down at the first depression angle.
- An image generation apparatus that generates and outputs a second image obtained by looking down at a subject at a second depression angle different from the first depression angle from a second viewpoint different from the above is known (Patent Document 1).
- a plurality of first pixels constituting the first image are arranged at a predetermined pitch in the horizontal direction and the vertical direction over the entire screen area.
- An image captured by a camera installed at the rear of the vehicle is converted into a bird's-eye view of the road surface from a position higher than the camera.
- a coordinate conversion table is used to increase the speed of calculation for converting a captured image into a bird's-eye view image.
- the coordinate conversion table converts the coordinates of a plurality of selected pixels discretely selected from the plurality of first pixels constituting the captured image into the coordinates of the second pixel constituting the bird's-eye view image. In the bird's-eye view image created by this coordinate conversion table, the degree of distortion increases as the region is farther from the vehicle.
- the degree of distortion allowed from the viewpoint of visibility is set, and the selected pixel is set based on the degree of distortion of the image in the region far from the vehicle. Therefore, there is a problem that the data amount of the coordinate conversion table increases.
- the coordinate conversion table selects the coordinates of the plurality of first selection pixels selected from the plurality of first pixels constituting the first image, and the second selection corresponding to the plurality of second pixels constituting the second image.
- the coordinate conversion table creating apparatus in the image generating apparatus according to the first aspect is obtained by capturing an image of the subject looking down from the first viewpoint at the first depression angle.
- a storage unit that stores an initial coordinate conversion table that generates a second image to be generated, an image input unit that inputs the first image, and an image conversion unit that converts the input first image into a second image using the initial coordinate conversion table
- the calculation unit for calculating the ratio with the area, and the arrangement pitch of the second pixels becomes coarser as the area ratio of the second texture to the first texture is smaller according to the calculated area ratio.
- a creation unit that creates a coordinate conversion table by selecting a predetermined number of first pixels from a plurality of first pixels.
- the plurality of first coordinate conversion tables in the initial coordinate conversion table are arranged such that the smaller the area ratio of the second texture to the first texture, the coarser the arrangement pitch of the second pixels. Selecting a predetermined number of first pixels from the pixels and creating a coordinate conversion table.
- FIG. 1 is a block diagram of an image generation apparatus according to an embodiment of the present invention. It is a figure which shows an example of the data table regarding coordinate corresponding
- (A) It is a figure which shows the example of a division
- (B) It is a figure which shows the example of a division
- 1 is a block diagram of a coordinate conversion table creation device according to an embodiment of the present invention.
- FIGS. 1A and 1B are diagrams illustrating an example of a vehicle surrounding monitoring system using an image generation device.
- An image generation apparatus 100 illustrated in FIG. 1A is mounted on a vehicle 101 such as a passenger car or a work vehicle.
- a camera 110 ⁇ / b> A is installed at the front of the vehicle 101, and its optical axis is directed to the road surface 210 in front of the vehicle 101.
- a camera 110B, a camera 110C, and a camera 110D are installed on the left, right, and rear of the vehicle, respectively, and their optical axes are arranged around the vehicle 101. It is directed to the ground 210.
- the installation positions and installation angles of the cameras 110A to 110D are predetermined in the design stage of the surrounding monitoring system.
- the image generation apparatus 100 acquires images obtained by capturing the surrounding environment of the vehicle 101 from each of the cameras 110A to 110D, and uses these images to create an image in which the surroundings of the vehicle 101 are bird's-eye or bird's-eye view from a predetermined virtual viewpoint. Is generated.
- the position and the depression angle of the virtual viewpoint are determined in advance at the design stage of the surrounding monitoring system, and are prepared for each mode of the vehicle 101.
- the depression angle is an angle for bird's-eye view or bird's-eye view of the plane direction in which the vehicle travels from a virtual viewpoint.
- the parking mode is selected, and a bird's-eye view image equivalent to capturing the vehicle at a predetermined depression angle from the position of the virtual viewpoint 310B is created.
- the travel mode is selected, and a bird's-eye view image equivalent to capturing the vehicle at a predetermined depression angle from the position of the virtual viewpoint 310A is created.
- the camera 110 ⁇ / b> A is composed of, for example, a wide-angle camera such as a fisheye camera, and includes a standing tree 401 present in front of the vehicle 101 and a front environment of the vehicle 101 including a marker 402 disposed on the ground 210 in front of the vehicle 101. Is imaged.
- An example of an image acquired from the camera 110A is shown in FIG.
- FIG. 2B is an image generated using the image 70 illustrated in FIG. 2A, and shows an example of an image in which the front of the vehicle 101 is viewed from the virtual viewpoint 310 ⁇ / b> A.
- an image acquired by the image generation apparatus 100 from the camera 110A is referred to as a captured image.
- an image obtained by bird's-eye view of the periphery of the vehicle 101 generated by the image generation device 100 from the virtual viewpoint 310A is referred to as a bird's-eye view image.
- the lower left and lower right images of the bird's-eye view image 71 in FIG. 2B are created using a part of the images acquired from the cameras 110B and 110C.
- images acquired from the two cameras 110A and 110B are combined by ⁇ blending.
- FIG. 3 is a block diagram of the image generation apparatus 100.
- the image generation apparatus 100 includes a control unit 10 configured with a CPU and the like, and a storage unit 11 configured with a flash memory, a ROM, and the like.
- the control unit 10 functions as an image acquisition unit 20, a mode acquisition unit 21, a data table acquisition unit 22, an image conversion unit 23, and a display control unit 24 by executing a program stored in the storage unit 11.
- the storage unit 11 stores a data table 30 whose details will be described later.
- the data table 30 is a lookup table used when generating a bird's-eye view image such as a bird's-eye view image, and is created in advance for each mode, that is, for each combination of the position and angle of the virtual viewpoint in the design stage of the surrounding monitoring system. Yes.
- the image acquisition unit 20 acquires images from the cameras 110A to 110D.
- the mode acquisition unit 21 acquires information related to the mode of the vehicle 101 via CAN (not shown), and outputs the information to the data table acquisition unit 22.
- the data table acquisition unit 22 acquires a data table 30 corresponding to the mode from the storage unit 11. That is, a plurality of data tables 30 are provided for each mode.
- the image conversion unit 23 generates a bird's-eye image 71 using the captured image 70 acquired by the image acquisition unit 20 and the data table 30 acquired by the data table acquisition unit 22.
- the display control unit 24 outputs the bird's-eye view image 71 generated by the image conversion unit 23 to the display unit 12 for display.
- the display unit 12 for example, a display unit of a car navigation device mounted on the vehicle 101 may be used.
- FIG. 4 is a diagram illustrating an example of the data table 30.
- the data table 30 is a coordinate correspondence table that defines the correspondence between the coordinates of discrete pixels of the captured image 70 and the coordinates of pixels of the bird's-eye view image 71 corresponding to the coordinates.
- the coordinate correspondence information of each pixel of correspondence number 1, 2,... N is shown.
- the image generation device 100 calculates the coordinates of the corresponding pixel of the bird's-eye image 71 with reference to the data table 30 of FIG. 4 for each coordinate of the pixel of the captured image 70.
- the coordinate correspondence information will be described in detail.
- the captured image 70 will be described as an image acquired by capturing with the camera 110A.
- FIG. 5 shows three coordinate systems: camera coordinate systems Xr, Yr, Zr for the camera 110A, and virtual viewpoint coordinate systems Xv, Yv, Zv, World coordinate system Xw, Yw, Zw for the virtual viewpoint 310.
- the World coordinate system is a coordinate system related to the road surface on which the vehicle travels.
- the camera coordinate system is a plane parallel to the imaging surface of the imaging element of the camera 110A mounted on the vehicle, and each pixel constituting the captured image 70 on a plane separated from the camera 110A by a predetermined distance in the Zr-axis direction.
- the virtual viewpoint coordinate system is a plane parallel to the imaging surface of the image sensor virtually arranged at the virtual viewpoint 310A, and forms the bird's-eye image 71 on a plane separated from the virtual viewpoint 310A by a predetermined distance in the Zv-axis direction.
- One pixel in the World coordinate system Xw, Yw, Zw is represented as a point Pw, and the coordinates of the point Pw are represented as (xw, yw, zw).
- the pixel of the camera coordinate system Xr, Yr, Zr corresponding to the point Pw in the World coordinate system is the point Pr in FIG. 5, and the coordinates of the point Pr are represented as (xr, yr, zr).
- the pixels of the virtual viewpoint coordinate system Xv, Yv, Zv corresponding to the World coordinate point Pw are the point Pv in FIG. 5, and the coordinates of the point Pv are represented as (xv, yv, zv).
- the data table 30 in FIG. 4 defines the correspondence between these points, that is, the correspondence between the pixels in the camera coordinate system and the virtual viewpoint coordinate system. In the data table 30 of FIG. 4, the Zr coordinate information is omitted assuming that the focal length of the camera 110A is fixed.
- Equation (1) An affine transformation as shown in Equation (1) is used.
- Mr is a 4 ⁇ 4 perspective projection transformation matrix as shown in Equation (2).
- Rr is a 3 ⁇ 3 rotation matrix
- Tr is a 1 ⁇ 3 translation matrix
- 0 is a 3 ⁇ 1 zero matrix.
- the rotation matrix Rr and the translation matrix Tr are calculated by a well-known method based on the installation position and installation angle of the camera 110A on the World coordinate system, the focal length that is an internal parameter of the camera 110A, the effective pixel size of the image sensor, and the like. Is done. ... (1) ... (2)
- the coordinates (xw, yw, zw) of the point Pw in the World coordinate system Xw, Yw, Zw are converted to the coordinates (xv, yv, zv) of the point Pv in the virtual viewpoint coordinate system Xv, Yv, Zv.
- affine transformation as shown in Equation (3) is used.
- Mv is a 4 ⁇ 4 perspective projection transformation matrix as shown in Equation (4).
- Rv is a 3 ⁇ 3 rotation matrix
- Tv is a 1 ⁇ 3 translation matrix
- 0 is a 3 ⁇ 1 zero matrix.
- the rotation matrix Rv and the translation matrix Tv are calculated by a well-known method based on the position and angle of the virtual viewpoint 310 on the World coordinate system, the virtual focal length of the virtual viewpoint 310, the effective pixel size of the image sensor, and the like.
- Equation (1) the coordinates of the point Pr of the camera coordinate system Xr, Yr, Zr are transformed into the coordinates of the point Pv of the virtual viewpoint coordinate system Xv, Yv, Zv. Equation (5) is obtained.
- the coordinates of the point Pr in the camera coordinate system Xr, Yr, Zr are transformed into the coordinates of the point Pw in the World coordinate system by the inverse matrix of the perspective projection transformation matrix Mr, and the coordinates of the point Pw are perspective projected. Coordinates are converted to the coordinates (xv, yv, zv) of the point Pv of the virtual viewpoint coordinate system Xv, Yv, Zv by the conversion matrix Mv.
- the pixel value of the point Pv of the bird's-eye image 71 can be calculated from the pixel value of the point Pr of the corresponding captured image 70 using the coordinate conversion result obtained by Expression (5). ... (5)
- the coordinates (xr1, yr1) of the predetermined point Pr1 of the camera coordinate system Xr, Yr, Zr, the coordinates (xr2, yr2) of Pr2, etc. are respectively set as the virtual viewpoint coordinates according to the above equation (5).
- a result of conversion into coordinates to corresponding points of the systems Xv, Yv, Zv is shown.
- the correspondence between the points corresponding to the two coordinate systems, that is, the correspondence between the pixels is referred to as coordinate correspondence information, and this information is created as the data table 30 of FIG.
- the data table 30 shown in FIG. 4 shows only the correspondence of coordinates, and the values of each pixel, that is, the pixel values are not shown.
- the amount of data in the data table 30 increases as the coordinate correspondence information stored in advance in the data table 30 increases.
- the coordinate correspondence information is stored in advance for only some pixels of the captured image 70, and the pixel value of the point Pv is calculated by interpolation processing for the other pixels.
- a pixel whose coordinate correspondence information is stored in the data table 30 is referred to as a coordinate correspondence pixel or a coordinate correspondence point.
- FIGS. 6A and 6B are diagrams illustrating an example of coordinate correspondence points in which coordinate correspondence information is stored in the conventional data table 30.
- FIG. 6A a plurality of coordinate corresponding points 403 are arranged at predetermined intervals Int with respect to the captured image 70.
- the predetermined interval Int is, for example, 4 pixels.
- FIG. 6B is a diagram illustrating a plurality of coordinate corresponding points 404 of the bird's-eye view image 71 respectively corresponding to the plurality of coordinate corresponding points 403 illustrated in FIG.
- the coordinate corresponding point 403A located near the upper right corner of the marker 402 in FIG. 6A corresponds to the coordinate corresponding point 404A located near the upper right corner of the marker 402 in FIG. 6B.
- the intervals between the coordinate corresponding points 404 in the Yv-axis direction are not equal.
- the interval between the coordinate corresponding points 404 becomes larger from the lower side to the upper side of the bird's-eye view image 70 in FIG.
- the density of the coordinate corresponding points 404 becomes lower from the lower side to the upper side of the bird's-eye view image 70 in FIG.
- the predetermined interval Int between the coordinate corresponding points 403 is set so that the distortion is sufficiently small even if the coordinate corresponding points 404 are above the bird's-eye image 70 where the density of the coordinate corresponding points 404 is low. At this time, the coordinate corresponding points 404 are excessively present below the bird's-eye image 70 in which the density of the coordinate corresponding points 404 is high. That is, the amount of data tables becomes very large, and improvement in memory efficiency is desired.
- the data table 30 stored in the storage unit 11 of the image generating apparatus 100 according to the present embodiment is thinned out so that the coordinate corresponding points 404 do not exist excessively below the bird's-eye view image 70, in other words, the coordinate corresponding points 404.
- the data amount of the data table 30 is reduced by reducing the number of pixel corresponding points so that the density does not increase.
- a method for creating the data table 30 stored in the storage unit 11 of the image generation apparatus 100 according to the present embodiment will be described.
- the data table 30 is created by a table creation device such as a designer's PC at the design stage of the image generation device 100.
- FIG. 13 is a block diagram of a table creation device 200 according to an embodiment of the present invention.
- the table creation device 200 includes a storage unit 25 configured by a hard disk, flash memory, RAM, ROM, and the like, and a control unit 26 configured by a CPU or the like.
- the control unit 26 creates the data table 30 by executing the data creation program stored in the storage unit 25.
- the coordinate corresponding points 403 as illustrated in FIG. 6A are temporarily set as in the prior art, and the coordinates are set using the above-described equation (5).
- a coordinate corresponding point 404 corresponding to the corresponding point 403 is calculated.
- FIG. 7A illustrates squares 601A and 602A having four coordinate corresponding points 403 as vertices and one side being an interval Int between coordinate corresponding points 403 .
- the square set in this way is called a texture.
- FIG. 7A illustrates a texture 601A positioned below the captured image 70 and a texture 602A positioned above the captured image 70 as examples of textures.
- the coordinate-transformed points of the four coordinate corresponding points 403 constituting the texture 601A are the four coordinate corresponding points 404, and the four coordinate corresponding points 404 form a quadrangle 601B.
- the area of the quadrangle 601B is smaller than the texture 601A.
- four coordinate corresponding points 404 are obtained by coordinate conversion of the four coordinate corresponding points 403 constituting the texture 602A, and the four coordinate corresponding points 404 form a quadrangle 602B.
- the area of the quadrangle 602B is larger than the texture 602A and is distorted.
- a rectangle formed by the coordinate corresponding points 404 corresponding to each vertex of the texture is referred to as a corresponding texture.
- the degree of distortion of the quadrangle 602A as in the quadrangle 602B is set as the allowable distortion degree, and this is set as the distortion degree threshold value. Then, the lower region of the captured image 70 is thinned out so that the maximum value of the degree of distortion of the quadrilateral 601A in the lower region of the captured image 70 is within the distortion degree threshold value. Thereby, the number of data is reduced while suppressing distortion of the bird's-eye view image 71 within an allowable range.
- the pixel values are determined by interpolation processing using the pixel values of the surrounding coordinate correspondence points 404.
- image distortion may be reduced to the sub-pixel level.
- the coordinate corresponding points 403 and the coordinate corresponding points that constitute the texture and the corresponding texture A part of 404 is thinned out.
- the degree of distortion is greater than the degree of distortion obtained by the original coordinate transformation.
- the amount of data to be thinned can be determined as follows. As the design specification, the allowable distortion level of the entire image is set so that the distortion level of the image in the non-thinned area is almost equal to the distortion level of the image in the thinned area. In other words, in the region where the area ratio is smaller than the predetermined threshold, the number of corresponding points is thinned out so that the allowable distortion degree is obtained. By such a thinning process, it is possible to provide the image generation apparatus 100 in which the data amount of the data table 30 is reduced while maintaining the image quality of the bird's-eye view image 71.
- the texture is created in the entire area of the captured image 70 using all the temporarily set coordinate corresponding points 403. For example, textures are created for all coordinate corresponding points (xr, yr) of the captured image 70 using the following four coordinate corresponding points P1 to P4. An example of the coordinate corresponding points P1 to P4 is shown in FIG. It should be noted that no texture is created for the coordinate corresponding point (xr, yr) in which at least one of the coordinate corresponding points P2 to P4 protrudes outside the captured image 70.
- the area ratio m (i) between the texture Tr (i) and the corresponding texture Tv (i) is calculated for each of the textures Tr (i).
- the area S1 (i) of the texture Tr (i) is calculated, for example, by calculating the length of the square side from the coordinates of the coordinate corresponding points 403 constituting the texture and using the square area formula.
- the area S2 (i) of the corresponding texture Tv (i) is obtained by, for example, calculating the lengths of the diagonal lines of the four sides of the rectangle and at least one side from the coordinates of the coordinate corresponding points 404 constituting the corresponding texture Tv (i). Is calculated by using the square area formula.
- the area ratio m (i) is calculated by dividing the area S2 (i) of the corresponding texture by the area S1 (i) of the texture Tr (i).
- FIG. 8A shows an example of division of the captured image 70.
- the captured image 70 is divided into the following three regions by boundary lines 801 and 802.
- Divided region R1 An area ratio m (i) is composed of one or more textures.
- Divided region R2 composed of a texture having an area ratio m (i) of 1/2 or more and less than 1.
- Divided region R3 composed of textures having an area ratio m (i) of less than 1/2.
- a boundary line 801 represents a boundary between a region having an area ratio m (i) of 1/2 or more and a region of less than 1/2, and a boundary line 802 is a region having an area ratio m (i) of 1 or more and less than 1. Represents the boundary with the boundary.
- FIG. 8B shows the result of dividing the bird's-eye view image 71 in accordance with the result of dividing the captured image 70.
- a boundary line 803 represents a boundary between a region having an area ratio m (i) of 1 ⁇ 2 or more and a region of less than 1 ⁇ 2, and a boundary line 804 is a region having an area ratio m (i) of 1 or more and less than 1. Represents the boundary with the boundary.
- the coordinate corresponding points 403 are thinned out so that the intervals between the coordinate corresponding points 403 in the divided regions R1 to R3 are as follows.
- Divided region R1 Temporary setting interval Int Divided region R2: twice the interval Int at the time of temporary setting
- Divided region R3 four times the interval Int at the time of temporary setting
- FIG. 9A and 9B an example of a method for thinning the coordinate corresponding points 403 in the divided region R2 will be described.
- FIG. 9A 17 ⁇ 17 pixels of the captured image 70 are shown, and the pixels of the coordinate corresponding points 403 temporarily set at intervals of 4 pixels from the pixel (1, 1) are hatched.
- the divided region R2 in order to set the interval between the coordinate corresponding points 403 to twice the temporary setting, for example, 8 pixel intervals, as shown in FIG. 9B, the coordinate corresponding point 403 with the Xr coordinate or the Yr coordinate of 5 , 13 coordinate corresponding points 403 are thinned out.
- each coordinate corresponding point 403 is a target of thinning can be determined by, for example, a remainder obtained by dividing the Xr coordinate and the Yr coordinate by a value twice the interval at the time of temporary setting.
- the coordinate corresponding point 403 in which at least one of the remainder obtained by dividing the Xr coordinate by 8 or the remainder obtained by dividing the Yr coordinate by 8 is 5 is to be thinned.
- the thinning target determination operation using the remainder is performed for each texture T (i).
- the texture T1 including the pixel (1, 1), the pixel (1, 5), the pixel (5, 1), and the pixel (5, 5) at the coordinate corresponding point 403 is included in the divided region R2.
- the pixel (1, 5), the pixel (5, 1), and the pixel (5, 5) are determined as thinning targets due to the remainder.
- the method for thinning the coordinate corresponding points 403 in the divided region R3 is the same as the method for thinning the coordinate corresponding points 403 in the divided region R2.
- the coordinate corresponding points 403 with Xr coordinates or Yr coordinates of 5, 9, and 13 are exemplified as shown in FIG. Thin out.
- Whether or not each coordinate corresponding point 403 is a target of thinning can be determined by, for example, a remainder obtained by dividing the Xr coordinate and the Yr coordinate by a value of an interval four times that at the time of temporary setting.
- the coordinate corresponding point 403 in which at least one of the remainder obtained by dividing the Xr coordinate by 16 and the remainder obtained by dividing the Yr coordinate by 16 is not 1 is the target of thinning.
- the thinning target determination operation using the remainder is performed for each texture T (i).
- the method for thinning the coordinate corresponding points 403 in the divided region R2 and the method for thinning the coordinate corresponding points 403 in the divided region R3 are applied. If the result of whether or not the two thinning methods are to be thinned is different, the result of the thinning method of the coordinate corresponding point 403 in the divided region R2 is prioritized. Similarly, the coordinate correspondence points 403 on the boundary line 802 are applied with the method of thinning out the coordinate correspondence points 403 in the divided region R1 and the method of thinning out the coordinate corresponding points 403 in the divided region R2. When the result of whether or not the two thinning methods are to be thinned is different, the result of the thinning method of the coordinate corresponding point 403 in the divided region R1 is prioritized.
- the coordinate corresponding point 403 is located on the outer periphery of the captured image 70, or in the vicinity of the refracted portion of the boundary line 801 and the boundary line 802. May be excluded from the thinning target.
- FIG. 11A is a diagram showing a result of thinning out the coordinate corresponding points 403 from FIG. 9A by the above-described method.
- the number of coordinate corresponding points 403 in the divided area R1 is the same as that in the temporary setting, and the number of coordinate corresponding points 403 in the divided areas R2 and R3 is reduced as compared with the temporary setting.
- the coordinate corresponding points 403 By reducing the coordinate corresponding points 403 in this way, the number of coordinate correspondence information included in the data table 30 can be reduced, and the data amount of the data table 30 can be reduced as compared with the conventional case.
- FIG. 11B illustrates a coordinate corresponding point 404 corresponding to the coordinate corresponding point 403 illustrated in FIG.
- the corresponding texture 603B illustrated in FIG. 11B corresponds to the texture 603A illustrated in FIG.
- the area ratio m of the corresponding texture 603B to the texture 603A is about 1, and the distortion of the image due to the interpolation processing is sufficiently small.
- the degree of distortion of the quadrangle 602A like the quadrangle 602B is set as the distortion degree threshold value. Therefore, in FIGS. 11A and 11B, the degree of distortion of the quadrangle 602B is the same as the degree described with reference to FIGS. Then, the distortion of the bird's-eye image 71 is within an allowable range by thinning out the lower region of the captured image 70 so that the maximum value of the degree of distortion of the quadrilateral 601A in the lower region of the captured image 70 is within the distortion degree threshold value. To reduce the number of data.
- FIG. 12 is a flowchart regarding the creation operation of the data table 30 by the table creation device 200.
- the creation operation of the data table 30 shown in FIG. 12 is executed by the control unit 26 of the table creation device 200 that executes the data creation program when the depression angle or the like of the virtual viewpoint 310 is determined in the design stage of the image generation device 100. Is done.
- step S901 coordinate corresponding points 403 are temporarily set for the captured image 70 at predetermined intervals Int. And the coordinate of the coordinate corresponding point 404 of the bird's-eye view image 71 corresponding to those coordinate corresponding points 403 is calculated using Formula (5).
- the temporarily set coordinate corresponding points 403 and 404 are stored in the storage unit 25 of the table creation device 200 as an initial coordinate conversion table.
- the process proceeds to step S902, and all the coordinate corresponding points 403 of the captured image 70 are formed by the coordinate corresponding points P1 to P4. All textures Tr (i) to be created are created.
- step S903 the area S1 (i) of the texture Tr (i) and the area S2 (i) of the corresponding texture Tv (i) are calculated, and the texture Tr (i) The area ratio m (i) of the corresponding texture Tv (i) is calculated.
- step S904 the process proceeds to step S904.
- step S904 the variable i is initialized to 1 for the subsequent loop of steps S9041 to S9047.
- the interval between the coordinate corresponding points 403 corresponding to the area ratio m (i) is fully set for all the textures Tr (i).
- the interval between coordinate corresponding points 403 is set for one texture T (i) according to the area ratio m (i).
- the operation of steps S9041 to S9047 is repeated until it is executed for all textures Tr (i).
- the variable i is initialized to 1 in step S904
- the process proceeds to step S9041, and a loop is started.
- step S9042 the area ratio m (i) of the texture Tr (i) to be processed is read, and it is determined whether to proceed to step S9043, step S9044, or step S9045 according to the value. .
- the process proceeds to step S9043, where the interval between the coordinate corresponding points 403 is set to be 1 time the interval Int at the time of temporary setting. If the area ratio m (i) is not less than 1/2 and less than 1, the process proceeds to step S9044, and the interval between the coordinate corresponding points 403 is set to twice the interval Int at the time of temporary setting. If the area ratio m (i) is less than 1 ⁇ 2, the process proceeds to step S9045, and the interval between the coordinate corresponding points 403 is set to 4 times the interval Int at the time of temporary setting.
- step S9046 the variable i is incremented by 1, and the texture T (i) that is the target of the operation is switched in the next loop.
- step S9047 it is determined whether or not the variable i is larger than the total number Nt of textures T (i). If the variable i is equal to or less than the total number Nt of textures T (i), the process proceeds to step S9041 and the operations of steps S9041 to S9047 are executed for the next texture T (i).
- the loop is exited and the process proceeds to step S905.
- step S905 the coordinate corresponding points 403 are thinned out by the method illustrated in FIGS. 9A and 9B and FIG. 10 based on the interval between the set coordinate corresponding points 403.
- step S906 where all the coordinate corresponding points 403 remaining without being thinned are subjected to coordinate conversion to calculate the coordinate position of the corresponding point 404.
- a data table 30 having the calculation result as coordinate correspondence information is created.
- the table 30 is stored in the storage unit 25 of the table creating apparatus 200 together with the physical information of the virtual viewpoint, that is, the input parameters such as the depression angle.
- step S906 the data table 30 creation operation is terminated. When there are a plurality of virtual viewpoints used in the image generation apparatus 100, the operation of creating the data table 30 is repeated while changing input parameters such as depression angles.
- the data table 30 to be mounted on the image generation apparatus 100 according to the first embodiment is obtained by executing mainly the following processes according to the procedure shown in FIG. be able to.
- An input step for inputting the captured image 70 and a reading step for reading an initial coordinate conversion table for generating a second image by performing coordinate conversion on the first image are not shown.
- the conversion step S901 converts the input captured image 70 into a bird's-eye image 71 using an initial coordinate conversion table having the same data structure as the data table 30.
- a ratio with the area of the corresponding texture 601B, 602B formed by the two selected pixels 404 is calculated.
- the arrangement pitch of the corresponding points 404 is smaller as the area ratio m of the corresponding textures 601B and 602B with respect to the textures 601A and 602A is smaller according to the calculated area ratio m.
- the corresponding point 403 is selected so that the data table 30 becomes rough, and the data table 30 is updated.
- the image generation apparatus that is, the image generation apparatus 100 has a first viewpoint, that is, a horizontal direction and a vertical direction acquired by capturing an object from the camera 110A by looking down at a first depression angle.
- the two-dimensional first image having a spread that is, the captured image 70, is subjected to coordinate transformation by the coordinate transformation table, that is, the data table 30, and the first viewpoint from the second viewpoint different from the first viewpoint, that is, the virtual viewpoint 310A.
- a second image obtained by looking down at the subject at a second depression angle different from the depression angle, that is, a bird's-eye image 71 is generated and output.
- the coordinate conversion table 30 uses the coordinates of the plurality of first selection pixels 403 selected from the plurality of first pixels constituting the first image 70 as second selection pixels corresponding to the plurality of second pixels constituting the second image.
- the coordinates are converted into the coordinates of 404.
- the first pixel is thinned out as follows.
- the region of the first image is divided into a plurality of portions in the vertical direction by at least one pixel boundary line extending in the horizontal direction, for example, the boundary lines 801 and 802, the regions R2 and R3 on the lower side in the vertical direction of the first image 70
- the first pixels are thinned out so that the arrangement pitch Int of the first selection pixels 403 is larger than the arrangement pitch of the first selection pixels 403 in the region R1 on the upper side in the vertical direction.
- the first selection pixel 403 in the coordinate conversion table 30 is a plurality of pixels after thinning. Therefore, it is possible to reduce the data amount of the correspondence table for coordinate-converting the input image into a different image.
- the first selection pixel 403 is a pixel selected by thinning a plurality of first pixels at the first interval Int in the horizontal direction and by thinning out at the second interval Int in the vertical direction. Is a pixel generated by coordinate-transforming the coordinates of the first selected pixel 403. Therefore, the data amount of the correspondence table can be reduced by selecting the first selection pixel 403 discretely.
- the image generating apparatus 100 includes the areas of the first textures 601A and 602A formed by the three or more first selection pixels 403 and the three or more first textures 601A and 602A obtained corresponding to the first textures 601A and 602A.
- the arrangement of the second pixels 404 is smaller as the area ratio m of the second textures 601B and 602B to the first textures 601A and 602A is smaller according to the ratio m to the areas of the second textures 601B and 602B formed by the two selected pixels 404.
- a coordinate conversion table 30 is provided in which the first selected pixels 403 are selected so that the pitch becomes coarse. Therefore, by reducing the arrangement pitch of the second pixels 404 as the area ratio m is smaller, it is possible to suppress the deterioration of the image quality of the bird's-eye view image 71 that occurs when the data amount of the data table 30 is reduced.
- the captured image 70 is divided into three regions by the boundary dividing lines 801 and 802, but may be divided into two regions by at least one boundary line.
- the texture 601A and the corresponding texture 601B are set in the lower area of the image area, and the texture 602A and the corresponding texture 602B are set in the upper area of the image area. It is not essential that the degree of distortion of the image in the upper area where the corresponding points are not thinned out is substantially equal to the degree of distortion of the image in the lower area where the corresponding points are thinned out. If the amount of data is reduced, the degree of distortion in the lower area of the image may be made smaller than the degree of distortion in the upper area of the image.
- the coordinate corresponding points 403 are arranged at predetermined intervals Int in both the horizontal direction and the vertical direction with respect to the captured image 70, but the interval between the coordinate corresponding points 403 is set in the horizontal direction and the vertical direction. It may be different. That is, the coordinate corresponding points 403 may be arranged at every first interval Inth in the horizontal direction, and may be arranged at every second interval Intv different from the first interval Inth in the vertical direction. In other words, the coordinate corresponding points 403 may be thinned at the first interval Inth in the horizontal direction and thinned at the second interval Intv different from the first interval Inth in the vertical direction.
- the interval between the coordinate corresponding points 403 is set based on the area ratio m (i) of the texture Tr (i).
- the interval between the coordinate corresponding points 403 may be set based on this.
- the interval between the coordinate corresponding points 403 may be set based on the position of the coordinate corresponding point 403 in the input image, the position of the coordinate corresponding point 404 in the output image, and the like.
- the captured image 70 may be divided into the following three areas, and the interval between the coordinate corresponding points 403 may be set as follows for each of the divided areas.
- Divided region R11 composed of textures whose Yr coordinates are equal to or greater than a predetermined value Y1. This setting is set to 1 time the interval for temporary setting.
- Divided region R12 composed of textures whose Yr coordinates are less than a predetermined value Y1 and Y2 or more. This setting is twice as long as the temporary setting interval.
- Divided region R13 composed of textures whose Yr coordinates are less than a predetermined value Y2. This setting is 4 times the interval for temporary setting.
- the bird's-eye view image 71 may be divided into the following three regions, and the interval between the coordinate corresponding points 403 corresponding to the coordinate corresponding points 404 in these divided regions may be set as follows.
- Divided region R21 composed of a texture having a Yv coordinate of a predetermined value Y4 or more. This setting is set to 1 time the interval for temporary setting.
- Divided region R22 Yv coordinates are composed of textures that are less than a predetermined value Y4 and greater than or equal to Y5. This setting is twice as long as the temporary setting interval.
- Divided region R23 composed of textures whose Yv coordinates are less than a predetermined value Y5. This setting is 4 times the interval for temporary setting.
- FIG. 1 Another aspect of the present invention is a table creation device 200 that creates a coordinate conversion table that is the data table 30.
- the table creation device 200 is coordinated with respect to a captured image 70 that is a two-dimensional first image having a spread in the horizontal direction and the vertical direction acquired by capturing an image of a subject from a first viewpoint at a first depression angle.
- An initial coordinate conversion table is generated for performing conversion and generating a bird's-eye image 71, which is a second image obtained by looking down on the subject from a second viewpoint different from the first viewpoint at a second depression angle different from the first depression angle.
- the input captured image 7070 is converted into a bird's-eye image 71 as a second image by the storage unit 25 (S901), an image input unit that inputs the captured image 70, that is, the image acquisition unit 20, and the initial coordinate conversion table 30. Areas of the first textures 601A and 602A formed by the four first pixels 403 for the image conversion unit 23 and the captured images 70 and the bird's-eye view image 71 before and after image conversion.
- the calculation unit S903 that calculates the ratio of the areas of the second textures 601B and 602B formed by the four second pixels 404 obtained corresponding to the first textures 601A and 602A, and the ratio of the calculated areas Accordingly, a predetermined number of first pixels from the plurality of first pixels of the initial coordinate conversion table are set such that the smaller the area ratio of the second textures 601B and 602B to the first textures 601A and 602A is, the coarser the arrangement pitch of the second pixels 404 is. Creation units S9043, S9044, S9045, S905, and S906 are provided for selecting a pixel and creating a coordinate conversion table. Therefore, it is possible to reduce the data amount of the correspondence table for coordinate-converting the input image into a different image.
- Yet another aspect of the present invention is a method for creating a coordinate conversion table, which is the data table 30.
- This creation method includes an input step of inputting a captured image 70 that is a first image, and a two-dimensional image having a spread in the horizontal direction and the vertical direction acquired by imaging the subject from the first viewpoint while looking down at the first depression angle. Is transformed to generate a bird's-eye view image 71 which is a second image obtained by looking down at the subject from a second viewpoint different from the first viewpoint at a second depression angle different from the first depression angle.
- a read step for reading the initial coordinate conversion table a conversion step S901 for converting the input captured image 70 into the bird's-eye image 71 by the initial coordinate conversion table 30, and the captured image 70 and the bird's-eye image 71 before and after the image conversion. Obtained in correspondence with the areas of the first textures 601A and 602A formed by one first pixel 403 and the first textures 601A and 602A.
- a coordinate conversion table is generated by selecting a predetermined number of first pixels from the plurality of first pixels in the initial coordinate conversion table so that the arrangement pitch of the second pixels 404 becomes coarser as the area ratio of 602B becomes smaller. , S9044, S9045, S905, and S906. Therefore, it is possible to reduce the data amount of the correspondence table for coordinate-converting the input image into a different image.
- Control Unit 25 Storage Unit 30 Data Table 100 Image Generation Device 200 Table Creation Device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
画像生成装置は、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して、座標変換テーブルにより座標変換を施し、第2視点から第2の俯角で前記被写体を見下ろして得られる第2画像を生成して出力する。座標変換テーブルは、第1画像を構成する複数の第1画素から選択した複数の第1選択画素の座標を、第2画像を構成する複数の第2画素に対応する第2選択画素の座標に座標変換する。座標変換テーブルの第1選択画素は、第1画像の領域を、水平方向に延在する少なくとも一つの画素境界線により垂直方向に複数に分割したとき、第1画像の垂直方向下側の領域における第1選択画素の配列ピッチが垂直方向上側の領域の配列ピッチよりも粗くなるように設定されている。
Description
本発明は、画像生成装置、座標変換テーブル作成装置および作成方法に関する。
第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して、座標変換テーブルにより座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像を生成して出力する画像生成装置が知られている(特許文献1)。
従来技術のものでは、第1画像を構成する複数の第1画素が画面領域の全域において水平方向、垂直方向に所定ピッチで並んでいる。車両後方に設置したカメラで撮像した画像は、カメラより高い位置から路面を観た鳥瞰画像に変換される。撮像画像を鳥瞰画像に変換する演算の速度を高速化するため、座標変換テーブルを使用する。座標変換テーブルは、撮像画像を構成する複数の第1画素の中から離散的に選択した複数の選択画素の座標を鳥瞰画像を構成する第2画素の座標に変換する。この座標変換テーブルで作成される鳥瞰画像は、車両に遠い領域ほど歪み度合が大きくなる。そのため、座標変換テーブルを作成する際、視認性の観点から許容される歪み度合を設定し、車両に遠い領域の画像の歪み度合を基準として選択画素を設定する。そのため、座標変換テーブルのデータ量が多くなるという問題がある。
(1)本発明の第1の態様によれば、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して、座標変換テーブルにより座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で前記被写体を見下ろして得られる第2画像を生成して出力する画像生成装置において、座標変換テーブルは、第1画像を構成する複数の第1画素から選択した複数の第1選択画素の座標を、第2画像を構成する複数の第2画素に対応する第2選択画素の座標に座標変換するテーブルであり、第1画像の領域を、水平方向に延在する少なくとも一つの画素境界線により垂直方向に複数に分割したとき、第1画像の垂直方向下側の領域における第1選択画素の配列ピッチが垂直方向上側の領域の第1選択画素の配列ピッチよりも粗くなるように、座標変換テーブルの第1選択画素を設定した。
(2)本発明の第2の態様によれば、第1の態様の画像生成装置における座標変換テーブルの作成装置は、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像を生成する初期座標変換テーブルを記憶する記憶部と、第1画像を入力する画像入力部と、入力された第1画像を初期座標変換テーブルにより第2画像に変換する画像変換部と、画像変換前後の第1および第2画像について、三つ以上の第1画素で形成された第1テクスチャの面積と、第1テクスチャに対応して得られた三つ以上の第2画素で形成された第2テクスチャの面積との比を演算する演算部と、演算された面積の比に応じて、第1テクスチャに対する第2テクスチャの面積比が小さいほど第2画素の配列ピッチが粗くなるように初期座標変換テーブルの複数の第1画素から所定数の第1画素を選択して座標変換テーブルを作成する作成部とを備える。
(3)本発明の第3の態様によれば、第1の態様の画像生成装置における座標変換テーブルの作成方法は、第1画像を入力することと、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で前記被写体を見下ろして得られる第2画像を生成する初期座標変換テーブルを読み込むことと、初期座標変換テーブルにより、入力された第1画像を第2画像に変換することと、画像変換前後の第1および第2画像について、三つ以上の第1画素で形成された第1テクスチャの面積と、第1テクスチャに対応して得られた三つ以上の第2画素で形成された第2テクスチャの面積との比を演算することと、演算された面積の比に応じて、第1テクスチャに対する第2テクスチャの面積比が小さいほど第2画素の配列ピッチが粗くなるように初期座標変換テーブルの複数の第1画素から所定数の第1画素を選択して座標変換テーブルを作成すること、とを有する。
(2)本発明の第2の態様によれば、第1の態様の画像生成装置における座標変換テーブルの作成装置は、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像を生成する初期座標変換テーブルを記憶する記憶部と、第1画像を入力する画像入力部と、入力された第1画像を初期座標変換テーブルにより第2画像に変換する画像変換部と、画像変換前後の第1および第2画像について、三つ以上の第1画素で形成された第1テクスチャの面積と、第1テクスチャに対応して得られた三つ以上の第2画素で形成された第2テクスチャの面積との比を演算する演算部と、演算された面積の比に応じて、第1テクスチャに対する第2テクスチャの面積比が小さいほど第2画素の配列ピッチが粗くなるように初期座標変換テーブルの複数の第1画素から所定数の第1画素を選択して座標変換テーブルを作成する作成部とを備える。
(3)本発明の第3の態様によれば、第1の態様の画像生成装置における座標変換テーブルの作成方法は、第1画像を入力することと、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で前記被写体を見下ろして得られる第2画像を生成する初期座標変換テーブルを読み込むことと、初期座標変換テーブルにより、入力された第1画像を第2画像に変換することと、画像変換前後の第1および第2画像について、三つ以上の第1画素で形成された第1テクスチャの面積と、第1テクスチャに対応して得られた三つ以上の第2画素で形成された第2テクスチャの面積との比を演算することと、演算された面積の比に応じて、第1テクスチャに対する第2テクスチャの面積比が小さいほど第2画素の配列ピッチが粗くなるように初期座標変換テーブルの複数の第1画素から所定数の第1画素を選択して座標変換テーブルを作成すること、とを有する。
本発明によれば、入力された画像を異なる画像に座標変換する対応テーブルのデータ量を削減することができる。
図1(a)および(b)は、画像生成装置を用いた車両用の周囲監視システムの一例を示す図である。図1(a)に例示された画像生成装置100は、乗用車、作業車両等の車両101に搭載されている。車両101の前部には、カメラ110Aが設置され、その光軸は車両101の前方の路面210に向けられている。また、図1(b)に図示されているように、車両の左部、右部および後部には、それぞれカメラ110B,カメラ110Cおよびカメラ110Dが設置され、それらの光軸は車両101の周辺の地面210に向けられている。カメラ110A~110Dの設置位置および設置角度は、周囲監視システムの設計段階において予め定められている。
画像生成装置100は、カメラ110A~110Dのそれぞれから車両101の周囲環境を撮像した画像を取得し、それらの画像を用いて、車両101の周囲を所定の仮想視点から鳥瞰または俯瞰したような画像を生成する。仮想視点の位置および俯角は、周囲監視システムの設計段階において予め定められており、車両101のモードごとに用意されている。俯角とは、仮想視点から車両が走行する平面方向を鳥瞰、あるいは俯瞰する角度である。
たとえば、車両101を駐車する際には駐車モードが選択され、仮想視点310Bの位置から所定の俯角で車両を撮像したと同等の俯瞰画像が作成される。車両101が路上を走行する際には走行モードが選択され、仮想視点310Aの位置から所定の俯角で車両を撮像したと同等の鳥瞰画像が作成される。
たとえば、車両101を駐車する際には駐車モードが選択され、仮想視点310Bの位置から所定の俯角で車両を撮像したと同等の俯瞰画像が作成される。車両101が路上を走行する際には走行モードが選択され、仮想視点310Aの位置から所定の俯角で車両を撮像したと同等の鳥瞰画像が作成される。
以降では、画像生成装置100の画像合成の一例として、カメラ110A~110Cから取得した画像を用いて、仮想視点310Aから車両101の前方を鳥瞰した画像を合成する場合について説明する。
カメラ110Aは、たとえば、魚眼カメラなどの広角カメラで構成されており、車両101の前方に存在する立木401と、車両101の前方の地面210に配置されたマーカ402を含む車両101の前方環境を撮像している。カメラ110Aから取得された画像の一例を図2(A)に示す。図2(B)は、図2(A)に例示された画像70を用いて生成された画像であって、車両101の前方を仮想視点310Aから鳥瞰した画像の一例を示す図である。以降、画像生成装置100がカメラ110Aから取得した画像のことを撮像画像と呼ぶ。また、画像生成装置100により生成された車両101の周囲を仮想視点310Aから鳥瞰した画像のことを鳥瞰画像と呼ぶ。
なお、図2(B)の鳥瞰画像71の左下部および右下部の画像は、カメラ110Bおよび110Cから取得された画像の一部を利用して作成されている。カメラ110Aが撮像する被写体領域とカメラ110Bが撮像する被写体領域とが重なる領域については、たとえば、二つのカメラ110Aおよび110Bから取得した画像をαブレンディングにより合成する。
なお、図2(B)の鳥瞰画像71の左下部および右下部の画像は、カメラ110Bおよび110Cから取得された画像の一部を利用して作成されている。カメラ110Aが撮像する被写体領域とカメラ110Bが撮像する被写体領域とが重なる領域については、たとえば、二つのカメラ110Aおよび110Bから取得した画像をαブレンディングにより合成する。
図3は、画像生成装置100のブロック図である。画像生成装置100は、CPUなどで構成される制御部10と、フラッシュメモリ、ROMなどで構成される記憶部11を備える。制御部10は、記憶部11に記憶されているプログラムを実行することにより、画像取得部20、モード取得部21、データテーブル取得部22、画像変換部23および表示制御部24として機能する。記憶部11は、制御部10により実行されるプログラム(不図示)のほか、詳細を後述するデータテーブル30を記憶している。データテーブル30は、鳥瞰画像などの俯瞰画像の生成時に用いられるルックアップテーブルであり、周囲監視システムの設計段階において、モードごとに、すなわち、仮想視点の位置および角度の組み合わせごとに予め作成されている。
画像取得部20は、カメラ110A~110Dから画像を取得する。
モード取得部21は、CAN(不図示)を介して車両101のモードに関する情報を取得し、その情報をデータテーブル取得部22に出力する。
データテーブル取得部22は、モード取得部21により取得された車両101のモードごとに、そのモードに対応したデータテーブル30を記憶部11から取得する。すなわち、データテーブル30はモードごとに複数設けられている。
モード取得部21は、CAN(不図示)を介して車両101のモードに関する情報を取得し、その情報をデータテーブル取得部22に出力する。
データテーブル取得部22は、モード取得部21により取得された車両101のモードごとに、そのモードに対応したデータテーブル30を記憶部11から取得する。すなわち、データテーブル30はモードごとに複数設けられている。
画像変換部23は、画像取得部20により取得された撮像画像70と、データテーブル取得部22により取得されたデータテーブル30を用いて鳥瞰画像71を生成する。
表示制御部24は、画像変換部23により生成された鳥瞰画像71を表示部12に出力し、表示させる。表示部12は、たとえば、車両101に搭載されたカーナビゲーション装置の表示部を用いることにすればよい。
表示制御部24は、画像変換部23により生成された鳥瞰画像71を表示部12に出力し、表示させる。表示部12は、たとえば、車両101に搭載されたカーナビゲーション装置の表示部を用いることにすればよい。
図4は、データテーブル30の一例を示す図である。データテーブル30は、撮像画像70の離散的な画素の座標と、その座標に対応する鳥瞰画像71の画素の座標との対応関係を定義する座標対応テーブルである。図4では、対応関係番号1,2,…nの各画素の座標対応情報が示されている。画像生成装置100は、撮像画像70の各画素の座標ごとに図4のデータテーブル30を参照して、対応する鳥瞰画像71の画素の座標を演算する。
以下、座標対応情報について詳しく説明する。なお、説明を簡易化するため、撮像画像70をカメラ110Aで撮像して取得した画像として説明する。
以下、座標対応情報について詳しく説明する。なお、説明を簡易化するため、撮像画像70をカメラ110Aで撮像して取得した画像として説明する。
図5には、カメラ110Aに対するカメラ座標系Xr、Yr、Zr、仮想視点310に対する仮想視点座標系Xv、Yv、Zv、World座標系Xw、Yw、Zwという三つの座標系が図示されている。
World座標系は、車両が走行する路面に関する座標系である。
カメラ座標系は、車両に搭載されたカメラ110Aの撮像素子の撮像面と平行な平面であって、カメラ110AからZr軸方向に所定の距離離れた平面上において撮影画像70を構成する各画素の位置を定義する座標系である。すなわち、撮像画像70を構成する各画素の位置は、Zr=zrに位置するXrYr平面上の座標データで表現される。
仮想視点座標系は、仮想視点310Aに仮想的に配置される撮像素子の撮像面と平行な平面であって、仮想視点310AからZv軸方向に所定の距離離れた平面上において鳥瞰画像71を構成する各画素の位置を定義する座標系である。すなわち、鳥瞰画像71を構成する各画素の位置は、Zv=zvに位置するXvYv平面上の座標データで表現される。
World座標系は、車両が走行する路面に関する座標系である。
カメラ座標系は、車両に搭載されたカメラ110Aの撮像素子の撮像面と平行な平面であって、カメラ110AからZr軸方向に所定の距離離れた平面上において撮影画像70を構成する各画素の位置を定義する座標系である。すなわち、撮像画像70を構成する各画素の位置は、Zr=zrに位置するXrYr平面上の座標データで表現される。
仮想視点座標系は、仮想視点310Aに仮想的に配置される撮像素子の撮像面と平行な平面であって、仮想視点310AからZv軸方向に所定の距離離れた平面上において鳥瞰画像71を構成する各画素の位置を定義する座標系である。すなわち、鳥瞰画像71を構成する各画素の位置は、Zv=zvに位置するXvYv平面上の座標データで表現される。
World座標系Xw、Yw、Zwの一つの画素を点Pwとし、点Pwの座標を(xw、yw、zw)と表す。World座標系の点Pwに対応するカメラ座標系Xr、Yr、Zrの画素が図5では点Prであり、点Prの座標は(xr、yr、zr)と表される。World座標系の点Pwに対応する仮想視点座標系Xv、Yv、Zvの画素が図5では点Pvであり、点Pvの座標は(xv、yv、zv)と表される。図4のデータテーブル30は、これらの点の対応関係、すなわちカメラ座標系と仮想視点座標系の画素の対応関係を定義したものである。
なお、図4のデータテーブル30では、カメラ110Aの焦点距離等が固定されているものとしてZr座標の情報は省略されている。
なお、図4のデータテーブル30では、カメラ110Aの焦点距離等が固定されているものとしてZr座標の情報は省略されている。
World座標系Xw、Yw、Zwの点Pwの座標(xw、yw、zw)をカメラ座標系Xr、Yr、Zrの点Prの座標(xr、yr、zr)に座標変換するには、たとえば、数式(1)に示すようなアフィン変換が用いられる。ここで、Mrは、数式(2)に示されるような4x4の透視投影変換行列である。数式(2)において、Rrは3x3の回転行列、Trは1x3の平行移動行列、0は3x1の零行列である。回転行列Rrおよび平行移動行列Trは、World座標系上でのカメラ110Aの設置位置および設置角度、カメラ110Aの内部パラメータである焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
…(1)
…(2)
また、World座標系Xw、Yw、Zwの点Pwの座標(xw、yw、zw)を仮想視点座標系Xv、Yv、Zvの点Pvの座標(xv、yv、zv)に座標変換するには、たとえば、数式(3)に示すようなアフィン変換が用いられる。ここで、Mvは、数式(4)に示されるような4x4の透視投影変換行列である。数式(4)において、Rvは3x3の回転行列、Tvは1x3の平行移動行列、0は3x1の零行列である。回転行列Rvおよび平行移動行列Tvは、World座標系上での仮想視点310の位置および角度、仮想視点310の仮想的な焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
…(3)
…(4)
上述した数式(1)と数式(3)とを組み合わせると、カメラ座標系Xr、Yr、Zrの点Prの座標を仮想視点座標系Xv、Yv、Zvの点Pvの座標に座標変換するための数式(5)が得られる。数式(5)では、透視投影変換行列Mrの逆行列によりカメラ座標系Xr、Yr、Zrの点Prの座標をWorld座標系の点Pwの座標に座標変換し、その点Pwの座標を透視投影変換行列Mvにより仮想視点座標系Xv、Yv、Zvの点Pvの座標(xv、yv、zv)に座標変換している。数式(5)による座標変換結果を用いて、鳥瞰画像71の点Pvの画素値を、対応する撮像画像70の点Prの画素値から算出することができる。
…(5)
データテーブル30は、カメラ座標系Xr、Yr、Zrの所定の点Pr1の座標(xr1,yr1)、Pr2の座標(xr2,yr2)、・・・をそれぞれ上述の数式(5)で仮想視点座標系Xv、Yv、Zvの対応点への座標に変換した結果を表す。ここで、2つの座標系で対応する点同士、すなわち画素同士の対応関係を座標対応情報と呼び、この情報が図4のデータテーブル30として作成されている。データテーブル30を予め記憶部11に記憶しておき、鳥瞰画像71を作成する際に参照することで、数式(5)の演算回数を低減し、座標変換の処理時間を短縮することができる。
なお、図4に示すデータテーブル30は座標の対応関係のみを示しており、各画素の値、すなわち画素値は図示を省略している。
なお、図4に示すデータテーブル30は座標の対応関係のみを示しており、各画素の値、すなわち画素値は図示を省略している。
データテーブル30に予め記憶しておく座標対応情報が増加するほど、データテーブル30のデータ量が増加する。データテーブル30のデータ量を削減するため、撮像画像70の一部の画素についてのみ座標対応情報を予め記憶し、他の画素については補間処理により点Pvの画素値を算出する。以降の説明では、撮像画像70および鳥瞰画像71の画素のうち、データテーブル30に座標対応情報が記憶されている画素を座標対応画素、あるいは座標対応点と呼ぶ。
従来の画像生成装置の記憶部に記憶されているデータテーブル30について説明する。
図6(A)および(B)は、従来のデータテーブル30に座標対応情報が記憶されている座標対応点の一例を示す図である。図6(A)では、撮像画像70に対して複数の座標対応点403が所定間隔Intごとに配置されている。所定間隔Intは、たとえば4ピクセルである。図6(B)は、図6(A)に例示した複数の座標対応点403にそれぞれが対応する鳥瞰画像71の複数の座標対応点404を例示した図である。たとえば、図6(A)においてマーカ402の右上角近傍に位置している座標対応点403Aは、図6(B)においてマーカ402の右上角近傍に位置する座標対応点404Aと対応している。
図6(A)および(B)は、従来のデータテーブル30に座標対応情報が記憶されている座標対応点の一例を示す図である。図6(A)では、撮像画像70に対して複数の座標対応点403が所定間隔Intごとに配置されている。所定間隔Intは、たとえば4ピクセルである。図6(B)は、図6(A)に例示した複数の座標対応点403にそれぞれが対応する鳥瞰画像71の複数の座標対応点404を例示した図である。たとえば、図6(A)においてマーカ402の右上角近傍に位置している座標対応点403Aは、図6(B)においてマーカ402の右上角近傍に位置する座標対応点404Aと対応している。
カメラ110Aと仮想視点310Aの俯角の差により、図6(B)では、Yv軸方向の座標対応点404の間隔が等間隔になっていない。座標対応点404の間隔は、図6(B)の鳥瞰画像70の下方から上方にいくほど大きくなる。換言すると、座標対応点404の稠密度は、図6(B)の鳥瞰画像70の下方から上方にいくほど低くなる。補間処理を行ったとき、座標対応点404の稠密度が低いほど画像の歪みが大きくなる。座標対応点403の所定間隔Intは、座標対応点404の稠密度が低い鳥瞰画像70の上方であっても、ユーザが違和を感じない程度に歪みが十分小さくなるように設定されている。このとき、座標対応点404の稠密度が高い鳥瞰画像70の下方では、座標対応点404が過剰に存在する。すなわち、データテーブル量が非常に多くなり、メモリ効率の向上が望まれる。
本実施の形態による画像生成装置100の記憶部11に記憶されるデータテーブル30は、鳥瞰画像70の下方において座標対応点404が過剰に存在しないように間引くことにより、換言すると座標対応点404の稠密度が高くならないように画素対応点数を削減することによりデータテーブル30のデータ量を削減する。以下、本実施の形態による画像生成装置100の記憶部11に記憶されるデータテーブル30の作成方法について説明する。
本実施の形態では、データテーブル30は、画像生成装置100の設計段階において、設計者のPCなどのテーブル作成装置によって作成される。図13は、本発明の一実施の形態によるテーブル作成装置200のブロック図である。テーブル作成装置200は、ハードディスク、フラッシュメモリ、RAM、ROMなどで構成される記憶部25と、CPUなどで構成される制御部26とを備える。制御部26は、記憶部25に記憶されているデータ作成プログラムを実行することによりデータテーブル30を作成する。
本実施の形態によるデータテーブル30の作成方法では、まず従来と同様に図6(A)に例示したような座標対応点403を仮設定し、先述した数式(5)を用いて、それらの座標対応点403に対応する座標対応点404を算出する。
図7(A)に示すように、四つの座標対応点403を頂点とし、1辺が座標対応点403の間隔Intとなる正方形601A,602Aを設定する。本実施の形態では、このように設定された正方形のことをテクスチャと呼ぶ。たとえば、図7(A)では、テクスチャの一例として、撮像画像70の下方に位置するテクスチャ601Aと、撮像画像70の上方に位置するテクスチャ602Aが例示されている。
テクスチャ601Aを構成する四つの座標対応点403を座標変換した点が四つの座標対応点404であり、これら四つの座標対応点404により四角形601Bが形成される。四角形601Bの面積は、テクスチャ601Aよりも小さい。一方、テクスチャ602Aを構成する四つの座標対応点403を座標変換した点が四つの座標対応点404であり、これら四つの座標対応点404により四角形602Bが形成される。四角形602Bの面積は、テクスチャ602Aよりも大きく、かつ歪んでいる。なお、以降、テクスチャの各頂点に対応する座標対応点404で形成される四角形のことを対応テクスチャと呼ぶ。
本実施形態では、四角形602Aが四角形602Bのように歪む度合いを許容歪み度合いとし、これを歪み度合い閾値に設定する。そして、撮像画像70の下方領域の四角形601Aが画像変換で歪む度合いの最大値が歪み度合い閾値以内となるように、撮像画像70の下方領域を間引く。これにより、鳥瞰画像71の歪みを許容範囲内に抑制しつつデータ数の削減を図る。
前述したとおり、データテーブル30に座標対応情報がない鳥瞰画像71の画素については、周囲の座標対応点404の画素値を用いた補間処理により画素値が定められる。補間処理により生成された画像の歪み度合いは、テクスチャの面積S1に対する対応テクスチャの面積S2の比m(=S2/S1)が小さくなるほど小さくなる。対応テクスチャ601Bのように、面積がテクスチャ601Aよりも小さい画像領域では、画像の歪みは、サブピクセルレベルにまで低減されることがある。本実施の形態では、面積比mに応じて、すなわち、面積比が所定の閾値より小さく歪み度合いが所定の許容値以下の領域では、テクスチャおよび対応テクスチャを構成する座標対応点403および座標対応点404の一部を間引く。つまり、上記許容値を上限として、本来の座標変換で得られる歪み度合いよりも大きな歪み度合いとする。
データをどの程度間引くかは以下のように決定することができる。
設計仕様として、画像全体の許容歪み度合いを設定し、間引かない領域の画像の歪み度合いと間引いた領域の画像の歪み度合いとがほぼ等しくなるようにする。換言すると、面積比が所定の閾値より小さい領域では、許容歪み度合いとなるように対応点数を間引くこととする。このような間引き処理により、鳥瞰画像71の画質を維持したままデータテーブル30のデータ量が低減された画像生成装置100を提供することができる。
設計仕様として、画像全体の許容歪み度合いを設定し、間引かない領域の画像の歪み度合いと間引いた領域の画像の歪み度合いとがほぼ等しくなるようにする。換言すると、面積比が所定の閾値より小さい領域では、許容歪み度合いとなるように対応点数を間引くこととする。このような間引き処理により、鳥瞰画像71の画質を維持したままデータテーブル30のデータ量が低減された画像生成装置100を提供することができる。
テクスチャは、仮設定された座標対応点403をすべて用いて、撮像画像70の全領域に作成される。たとえば、撮像画像70のすべての座標対応点(xr,yr)について、以下の四つの座標対応点P1~P4を用いてテクスチャを作成する。座標対応点P1~P4の一例を図7(A)に示す。なお、座標対応点P2~P4のうちのいずれか少なくとも一つが撮像画像70の外側にはみ出す座標対応点(xr,yr)についてはテクスチャを作成しない。
座標対応点P1:(xr,yr)
座標対応点P2:(xr+Int,yr)
座標対応点P3:(xr,yr+Int)
座標対応点P4:(xr+Int,yr+Int)
以降、撮像画像70に対して作成されたテクスチャをTr(i)と表記する。iは、1からテクスチャの総数までの整数である。また、テクスチャTr(i)に対応する対応テクスチャをTv(i)と表記する。
座標対応点P1:(xr,yr)
座標対応点P2:(xr+Int,yr)
座標対応点P3:(xr,yr+Int)
座標対応点P4:(xr+Int,yr+Int)
以降、撮像画像70に対して作成されたテクスチャをTr(i)と表記する。iは、1からテクスチャの総数までの整数である。また、テクスチャTr(i)に対応する対応テクスチャをTv(i)と表記する。
撮像画像70に対してすべてのテクスチャTr(i)が作成されると、すべてのテクスチャTr(i)についてそれぞれ、テクスチャTr(i)と対応テクスチャTv(i)の面積比m(i)を算出する。テクスチャTr(i)の面積S1(i)は、たとえば、テクスチャを構成する各座標対応点403の座標から正方形の辺の長さを算出し、正方形の面積の公式を用いて算出される。対応テクスチャTv(i)の面積S2(i)は、たとえば、対応テクスチャTv(i)を構成する各座標対応点404の座標から四角形の四辺と少なくとも一辺の対角線の長さを算出し、対角の和を算出し、四角形の面積の公式を用いることで算出される。面積比m(i)は、対応テクスチャの面積S2(i)をテクスチャTr(i)の面積S1(i)で割ることで算出される。
テクスチャTr(i)ごとに面積比m(i)が算出されると、それらの面積比m(i)を用いて撮像画像70を複数の領域に分割する。図8(A)は、撮像画像70の分割例を示す。図8(A)では、境界線801および802により、撮像画像70が以下の三つの領域に分割されている。
分割領域R1:面積比m(i)が1以上のテクスチャで構成される。
分割領域R2:面積比m(i)が1/2以上1未満のテクスチャで構成される。
分割領域R3:面積比m(i)が1/2未満のテクスチャで構成される。
境界線801は、面積比m(i)が1/2以上の領域と1/2未満の領域との境界を表し、境界線802は、面積比m(i)が1以上の領域と1未満の境界との境界を表す。
分割領域R1:面積比m(i)が1以上のテクスチャで構成される。
分割領域R2:面積比m(i)が1/2以上1未満のテクスチャで構成される。
分割領域R3:面積比m(i)が1/2未満のテクスチャで構成される。
境界線801は、面積比m(i)が1/2以上の領域と1/2未満の領域との境界を表し、境界線802は、面積比m(i)が1以上の領域と1未満の境界との境界を表す。
図8(B)は、撮像画像70の分割結果に合わせて鳥瞰画像71を分割した結果を示す。境界線803は、面積比m(i)が1/2以上の領域と1/2未満の領域との境界を表し、境界線804は、面積比m(i)が1以上の領域と1未満の境界との境界を表す。
本実施の形態では、図11(A)に示すように、分割領域R1~R3における座標対応点403の間隔が以下のようになるように座標対応点403を間引く。
分割領域R1:仮設定時の間隔Int
分割領域R2:仮設定時の間隔Intの2倍
分割領域R3:仮設定時の間隔Intの4倍
分割領域R1:仮設定時の間隔Int
分割領域R2:仮設定時の間隔Intの2倍
分割領域R3:仮設定時の間隔Intの4倍
図9(A)および(B)を用いて、分割領域R2における座標対応点403の間引き方法の一例を説明する。図9(A)には、撮像画像70の画素が17x17個示されており、画素(1,1)から4画素間隔で仮設定された座標対応点403の画素にハッチングがかけられている。分割領域R2では、座標対応点403の間隔を仮設定時の2倍、たとえば8画素間隔にするため、図9(B)に例示するように、Xr座標またはYr座標が5の座標対応点403と、13の座標対応点403を間引く。各座標対応点403が間引きの対象となるか否かは、たとえば、Xr座標およびYr座標を仮設定時の2倍の間隔の値で割った剰余で判別することができる。図9(A)および(B)の例では、Xr座標を8で割った剰余またはYr座標を8で割った剰余のいずれか少なくとも一方が5となる座標対応点403が間引きの対象となる。剰余を用いた間引き対象の判定動作は、テクスチャT(i)ごとに行われる。たとえば、座標対応点403の画素(1,1)、画素(1,5)、画素(5,1)、画素(5,5)で構成されるテクスチャT1が分割領域R2に含まれると判定された場合、剰余により画素(1,5)、画素(5,1)、画素(5,5)が間引きの対象として判定される。
分割領域R3における座標対応点403の間引き方法も分割領域R2における座標対応点403の間引き方法と同様である。分割領域R3では、座標対応点403の間隔を仮設定時の4倍、たとえば16画素間隔にするため、図10に例示するように、Xr座標またはYr座標が5、9、13の座標対応点403を間引く。各座標対応点403が間引きの対象となるか否かは、たとえば、Xr座標およびYr座標を仮設定時の4倍の間隔の値で割った剰余で判別することができる。図9(A)および図10の例では、Xr座標を16で割った剰余またはYr座標を16で割った剰余のいずれか少なくとも一方が1でない座標対応点403が間引きの対象となる。剰余を用いた間引き対象の判定動作は、テクスチャT(i)ごとに行われる。
境界線801に乗っている座標対応点403には、分割領域R2における座標対応点403の間引き方法と、分割領域R3における座標対応点403の間引き方法が適用される。二つの間引き方法で間引きの対象となるか否かの結果が異なる場合は、分割領域R2における座標対応点403の間引き方法の結果を優先する。同様に、境界線802に乗っている座標対応点403には、分割領域R1における座標対応点403の間引き方法と、分割領域R2における座標対応点403の間引き方法が適用される。二つの間引き方法で間引きの対象となるか否かの結果が異なる場合は、分割領域R1における座標対応点403の間引き方法の結果を優先する。
なお、上述の方法で間引きの対象と判定された座標対応点403であっても、座標対応点403が撮像画像70の外周に位置する場合、または境界線801および境界線802の屈折部の近傍に位置する場合は、間引きの対象から除外してもよい。
図11(A)は、上述の方法で図9(A)から座標対応点403を間引いた結果を示す図である。分割領域R1の座標対応点403の個数は仮設定のときと変わらず、分割領域R2およびR3の座標対応点403の個数は仮設定のときよりも削減されている。このように座標対応点403を削減することにより、データテーブル30に含める座標対応情報の個数を削減し、データテーブル30のデータ量を従来よりも削減することができる。
図11(B)は、図11(A)に図示された座標対応点403に対応する座標対応点404が例示された図である。図11(B)に例示された対応テクスチャ603Bは、図11(A)に例示されたテクスチャ603Aに対応する。テクスチャ603Aに対する対応テクスチャ603Bの面積比mは、およそ1であり、補間処理による画像の歪みが十分小さい。
なお、上述したように、本実施形態では、四角形602Aが四角形602Bのように歪む度合いを歪み度合い閾値に設定している。したがって、図11(A)、(B)において、四角形602Bの歪み度合いは,図7(A)、(B)で説明した度合いと同様である。
そして、撮像画像70の下方領域の四角形601Aが画像変換で歪む度合いの最大値が歪み度合い閾値以内となるように、撮像画像70の下方領域を間引くことにより、鳥瞰画像71の歪みを許容範囲内に抑制しつつデータ数の削減を図る。
そして、撮像画像70の下方領域の四角形601Aが画像変換で歪む度合いの最大値が歪み度合い閾値以内となるように、撮像画像70の下方領域を間引くことにより、鳥瞰画像71の歪みを許容範囲内に抑制しつつデータ数の削減を図る。
図12は、テーブル作成装置200によるデータテーブル30の作成動作に関するフローチャートである。図12に示すデータテーブル30の作成動作は、画像生成装置100の設計段階において、仮想視点310の俯角等が定められたときに、データ作成プログラムを実行するテーブル作成装置200の制御部26により実行される。
ステップS901では、撮像画像70に対して所定間隔Intごとに座標対応点403を仮設定する。そして、数式(5)を用いて、それらの座標対応点403に対応する鳥瞰画像71の座標対応点404の座標を算出する。仮設定された座標対応点403および404は、初期座標変換テーブルとしてテーブル作成装置200の記憶部25に記憶される。座標対応点403および404の仮設定が終了すると、すなわち初期座標変換テーブルを記憶すると、ステップS902に進み、撮像画像70のすべての座標対応点403について、前述の座標対応点P1~P4で形成されるテクスチャTr(i)をすべて作成する。
テクスチャTr(i)をすべて作成すると、ステップS903に進み、テクスチャTr(i)の面積S1(i)と、対応テクスチャTv(i)の面積S2(i)を算出し、テクスチャTr(i)に対する対応テクスチャTv(i)の面積比m(i)を算出する。すべてのテクスチャTr(i)について、面積比m(i)の算出が完了すると、ステップS904に進む。
ステップS904では、続くステップS9041~S9047のループのため、変数iを1に初期化する。ステップS9041~S9047のループでは、すべてのテクスチャTr(i)に対して、面積比m(i)に応じた座標対応点403の間隔を本設定する。ステップS9041~S9047の1回のループにより、一つのテクスチャT(i)について、面積比m(i)に応じて座標対応点403の間隔が本設定される。ステップS9041~S9047の動作は、すべてのテクスチャTr(i)について実行するまで繰り返される。
ステップS904で変数iが1に初期化されると、ステップS9041に進み、ループを開始する。ループを開始すると、ステップS9042に進み、処理対象のテクスチャTr(i)の面積比m(i)を読み出し、その値に応じて、ステップS9043、ステップS9044、ステップS9045のいずれに進むかを判定する。面積比m(i)が1以上の場合は、ステップS9043に進み、座標対応点403の間隔を仮設定時の間隔Intの1倍に本設定する。面積比m(i)が1/2以上1未満の場合は、ステップS9044に進み、座標対応点403の間隔を仮設定時の間隔Intの2倍に本設定する。面積比m(i)が1/2未満の場合は、ステップS9045に進み、座標対応点403の間隔を仮設定時の間隔Intの4倍に本設定する。
ステップS904で変数iが1に初期化されると、ステップS9041に進み、ループを開始する。ループを開始すると、ステップS9042に進み、処理対象のテクスチャTr(i)の面積比m(i)を読み出し、その値に応じて、ステップS9043、ステップS9044、ステップS9045のいずれに進むかを判定する。面積比m(i)が1以上の場合は、ステップS9043に進み、座標対応点403の間隔を仮設定時の間隔Intの1倍に本設定する。面積比m(i)が1/2以上1未満の場合は、ステップS9044に進み、座標対応点403の間隔を仮設定時の間隔Intの2倍に本設定する。面積比m(i)が1/2未満の場合は、ステップS9045に進み、座標対応点403の間隔を仮設定時の間隔Intの4倍に本設定する。
ステップS9043、ステップS9044、ステップS9045のいずれかの動作を完了すると、ステップS9046に進み、変数iを1増加させて、次のループにおいて動作の対象となるテクスチャT(i)を切り替える。変数iを1増加させると、ステップS9047に進み、変数iがテクスチャT(i)の総数Ntよりも大きいか否かを判定する。変数iがテクスチャT(i)の総数Nt以下の場合は、ステップS9041に進み、次のテクスチャT(i)に対してステップS9041~S9047の動作を実行する。変数iがテクスチャT(i)の総数Ntよりも大きいときは、ループを脱してステップS905に進む。
以上のループ処理により、図8(A)の境界線801と802が定義される。
以上のループ処理により、図8(A)の境界線801と802が定義される。
ステップS905では、本設定された座標対応点403の間隔に基づき、図9(A)および(B)ならびに図10に例示した方法で座標対応点403を間引く。座標対応点403の間引き動作が完了すると、ステップS906に進み、間引かれずに残ったすべての座標対応点403を座標変換して対応点404の座標位置を算出する。この算出結果を座標対応情報とするデータテーブル30が作成される。このテーブル30は、仮想視点の物理情報、すなわち俯角等の入力パラメータとともにテーブル作成装置200の記憶部25に記憶される。以上のステップS906でデータテーブル30の作成動作を終了する。
画像生成装置100で用いられる仮想視点が複数個存在する場合は、俯角等の入力パラメータを変えて、データテーブル30の作成動作を繰り返す。
画像生成装置100で用いられる仮想視点が複数個存在する場合は、俯角等の入力パラメータを変えて、データテーブル30の作成動作を繰り返す。
以上のように、第1の実施の形態の画像生成装置100に実装するデータテーブル30は、図示しないPC内の処理装置において、図12に示す手順に従って主に以下の処理を実行することにより得ることができる。なお、撮像画像70を入力する入力ステップ、第1画像に対して座標変換を施し第2画像を生成する初期座標変換テーブルを読み込む読み込みステップは図示を省略している。
(1)変換ステップS901は、データテーブル30と同様なデータ構造の初期座標変換テーブルを用いて、入力された撮像画像70を鳥瞰画像71に変換する。
(2)演算ステップS903は、画像変換前後の撮像画像70および鳥瞰画像71について、四つの対応点403で形成されたテクスチャ601A,602Aの面積と、テクスチャ601A、602Aに対応して得られた四つの選択画素404で形成された対応テクスッチャ601B,602Bの面積との比を演算する。
(3)更新ステップS9043、S9044、S9045、S905、S906は、演算された面積の比mに応じて、テクスチャ601A、602Aに対する対応テクスチャ601B,602Bの面積比mが小さいほど対応点404の配列ピッチが粗くなるように対応点403を選択してデータテーブル30を更新する。
(2)演算ステップS903は、画像変換前後の撮像画像70および鳥瞰画像71について、四つの対応点403で形成されたテクスチャ601A,602Aの面積と、テクスチャ601A、602Aに対応して得られた四つの選択画素404で形成された対応テクスッチャ601B,602Bの面積との比を演算する。
(3)更新ステップS9043、S9044、S9045、S905、S906は、演算された面積の比mに応じて、テクスチャ601A、602Aに対する対応テクスチャ601B,602Bの面積比mが小さいほど対応点404の配列ピッチが粗くなるように対応点403を選択してデータテーブル30を更新する。
第1テクスチャと第2テクスチャの面積比にしたがって第1画素のいずれを間引くかを簡単に決定することができる。
上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)第1の実施の形態の画像生成装置、すなわち画像生成装置100は、第1視点、すなわちカメラ110Aから被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像、すなわち撮像画像70に対して、座標変換テーブル、すなわちデータテーブル30により座標変換を施し、第1視点とは異なる第2視点、すなわち仮想視点310Aから第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像、すなわち鳥瞰画像71を生成して出力する。座標変換テーブル30は、第1画像70を構成する複数の第1画素から選択した複数の第1選択画素403の座標を、第2画像を構成する複数の第2画素に対応する第2選択画素404の座標に座標変換する。
座標変換テーブル30を生成する際、次のようにして第1画素を間引く。第1画像の領域を、水平方向に延在する少なくとも一つの画素境界線、たとえば境界線801、802により垂直方向に複数に分割したとき、第1画像70の垂直方向下側の領域R2、R3における第1選択画素403の配列ピッチIntが垂直方向上側の領域R1の第1選択画素403の配列ピッチよりも粗くなるように、第1画素を間引く。座標変換テーブル30の第1選択画素403は間引き後の複数の画素である。
したがって、入力された画像を異なる画像に座標変換する対応テーブルのデータ量を削減することができる。
(1)第1の実施の形態の画像生成装置、すなわち画像生成装置100は、第1視点、すなわちカメラ110Aから被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像、すなわち撮像画像70に対して、座標変換テーブル、すなわちデータテーブル30により座標変換を施し、第1視点とは異なる第2視点、すなわち仮想視点310Aから第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像、すなわち鳥瞰画像71を生成して出力する。座標変換テーブル30は、第1画像70を構成する複数の第1画素から選択した複数の第1選択画素403の座標を、第2画像を構成する複数の第2画素に対応する第2選択画素404の座標に座標変換する。
座標変換テーブル30を生成する際、次のようにして第1画素を間引く。第1画像の領域を、水平方向に延在する少なくとも一つの画素境界線、たとえば境界線801、802により垂直方向に複数に分割したとき、第1画像70の垂直方向下側の領域R2、R3における第1選択画素403の配列ピッチIntが垂直方向上側の領域R1の第1選択画素403の配列ピッチよりも粗くなるように、第1画素を間引く。座標変換テーブル30の第1選択画素403は間引き後の複数の画素である。
したがって、入力された画像を異なる画像に座標変換する対応テーブルのデータ量を削減することができる。
(2)第1選択画素403は、複数の第1画素を水平方向には第1間隔Intで間引き、垂直方向には第2間隔Intで間引いて選択された画素であり、第2選択画素404は、第1選択画素403の座標を座標変換することで生成された画素である。
したがって、第1選択画素403を離散的に選択することにより、対応テーブルのデータ量を削減することができる。
したがって、第1選択画素403を離散的に選択することにより、対応テーブルのデータ量を削減することができる。
(3)画像生成装置100は、三つ以上の第1選択画素403で形成された第1テクスチャ601A,602Aの面積と、第1テクスチャ601A,602Aに対応して得られた三つ以上の第2選択画素404で形成された第2テクスチャ601B,602Bの面積との比mに応じて、第1テクスチャ601A,602Aに対する第2テクスチャ601B,602Bの面積比mが小さいほど第2画素404の配列ピッチが粗くなるように第1選択画素403を選択した座標変換テーブル30を備える。
したがって、面積比mが小さいほど第2画素404の配列ピッチを粗くすることにより、データテーブル30のデータ量を低減する際に起こる鳥瞰画像71の画質の低下を抑制することができる。
したがって、面積比mが小さいほど第2画素404の配列ピッチを粗くすることにより、データテーブル30のデータ量を低減する際に起こる鳥瞰画像71の画質の低下を抑制することができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
以上の実施の形態では、撮像画像70に対して境界分割線801、802で3つの領域に分割したが、少なくとも1本の境界線で二つの領域に分割してもよい。
(変形例1)
以上の実施の形態では、撮像画像70に対して境界分割線801、802で3つの領域に分割したが、少なくとも1本の境界線で二つの領域に分割してもよい。
(変形例2)
図7(A)、(B)では、テクスチャ601Aと対応テクスチャ601Bは画像領域の下側の領域に設定され、テクスチャ602Aと対応テクスチャ602Bは画像領域の上側の領域に設定されている。対応点を間引かない上側の領域の画像の歪み度合いと、対応点を間引いた下側の領域の画像の歪み度合いとがほぼ等しくなるようにすることは必須ではない。データ量が削減するのであれば、画像下側の領域の歪み度合を画像上側の領域の歪み度合より小さくしてもよい。
図7(A)、(B)では、テクスチャ601Aと対応テクスチャ601Bは画像領域の下側の領域に設定され、テクスチャ602Aと対応テクスチャ602Bは画像領域の上側の領域に設定されている。対応点を間引かない上側の領域の画像の歪み度合いと、対応点を間引いた下側の領域の画像の歪み度合いとがほぼ等しくなるようにすることは必須ではない。データ量が削減するのであれば、画像下側の領域の歪み度合を画像上側の領域の歪み度合より小さくしてもよい。
(変形例3)
以上の実施の形態では、撮像画像70に対して、水平方向および垂直方向の両方向で所定間隔Intごとに座標対応点403を配置したが、座標対応点403の間隔を水平方向と垂直方向とで異ならせてもよい。すなわち、水平方向については、座標対応点403を第1間隔Inthごとに配置し、垂直方向については第1間隔Inthとは異なる第2間隔Intvごとに配置することにしてもよい。換言すると、座標対応点403を水平方向には第1間隔Inthで間引き、垂直方向には第1間隔Inthとは異なる第2間隔Intvで間引くことにしてもよい。
以上の実施の形態では、撮像画像70に対して、水平方向および垂直方向の両方向で所定間隔Intごとに座標対応点403を配置したが、座標対応点403の間隔を水平方向と垂直方向とで異ならせてもよい。すなわち、水平方向については、座標対応点403を第1間隔Inthごとに配置し、垂直方向については第1間隔Inthとは異なる第2間隔Intvごとに配置することにしてもよい。換言すると、座標対応点403を水平方向には第1間隔Inthで間引き、垂直方向には第1間隔Inthとは異なる第2間隔Intvで間引くことにしてもよい。
(変形例4)
以上の実施の形態では、カメラ110A,110B,110Cの三つのカメラで撮像した画像を合成して車両前方の鳥瞰画像を生成するものとした。また、カメラ110A,110B,110C,110Dの四つのカメラで撮像した画像を合成して車両上方から俯瞰した俯瞰画像を生成するものとした。すなわち、複数の画像を合成する装置として説明した。しかし、本発明の画像生成装置は、一つのカメラで撮像した撮像画像に対して、カメラとは異なる位置に設定した仮想視点から異なる俯角で同一の被写体を観た俯瞰画像を生成する画像生成装置にも適用できる。
以上の実施の形態では、カメラ110A,110B,110Cの三つのカメラで撮像した画像を合成して車両前方の鳥瞰画像を生成するものとした。また、カメラ110A,110B,110C,110Dの四つのカメラで撮像した画像を合成して車両上方から俯瞰した俯瞰画像を生成するものとした。すなわち、複数の画像を合成する装置として説明した。しかし、本発明の画像生成装置は、一つのカメラで撮像した撮像画像に対して、カメラとは異なる位置に設定した仮想視点から異なる俯角で同一の被写体を観た俯瞰画像を生成する画像生成装置にも適用できる。
(変形例5)
以上の実施の形態では、テクスチャTr(i)の面積比m(i)に基づいて座標対応点403の間隔を本設定したが、テクスチャTr(i)の面積比m(i)以外のものに基づいて座標対応点403の間隔を本設定することにしてもよい。たとえば、入力画像における座標対応点403の位置、出力画像における座標対応点404の位置等に基づいて座標対応点403の間隔を本設定することにしてもよい。
以上の実施の形態では、テクスチャTr(i)の面積比m(i)に基づいて座標対応点403の間隔を本設定したが、テクスチャTr(i)の面積比m(i)以外のものに基づいて座標対応点403の間隔を本設定することにしてもよい。たとえば、入力画像における座標対応点403の位置、出力画像における座標対応点404の位置等に基づいて座標対応点403の間隔を本設定することにしてもよい。
たとえば、撮像画像70を以下の三つの領域に分割し、それらの分割領域ごとに座標対応点403の間隔を以下のように本設定することにしてもよい。
分割領域R11:Yr座標が所定値Y1以上のテクスチャで構成される。仮設定時の間隔の1倍に本設定。
分割領域R12:Yr座標が所定値Y1未満Y2以上のテクスチャで構成される。仮設定時の間隔の2倍に本設定。
分割領域R13:Yr座標が所定値Y2未満のテクスチャで構成される。仮設定時の間隔の4倍に本設定。
分割領域R11:Yr座標が所定値Y1以上のテクスチャで構成される。仮設定時の間隔の1倍に本設定。
分割領域R12:Yr座標が所定値Y1未満Y2以上のテクスチャで構成される。仮設定時の間隔の2倍に本設定。
分割領域R13:Yr座標が所定値Y2未満のテクスチャで構成される。仮設定時の間隔の4倍に本設定。
また、たとえば、鳥瞰画像71を以下の三つの領域に分割し、それらの分割領域中の座標対応点404に対応する座標対応点403の間隔を以下のように本設定することにしてもよい。
分割領域R21:Yv座標が所定値Y4以上のテクスチャで構成される。仮設定時の間隔の1倍に本設定。
分割領域R22:Yv座標が所定値Y4未満Y5以上のテクスチャで構成される。仮設定時の間隔の2倍に本設定。
分割領域R23:Yv座標が所定値Y5未満のテクスチャで構成される。仮設定時の間隔の4倍に本設定。
分割領域R21:Yv座標が所定値Y4以上のテクスチャで構成される。仮設定時の間隔の1倍に本設定。
分割領域R22:Yv座標が所定値Y4未満Y5以上のテクスチャで構成される。仮設定時の間隔の2倍に本設定。
分割領域R23:Yv座標が所定値Y5未満のテクスチャで構成される。仮設定時の間隔の4倍に本設定。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
本発明の他の態様は、データテーブル30である座標変換テーブルを作成するテーブル作成装置200である。このテーブル作成装置200は、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像である撮像画像70に対して座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像である鳥瞰画像71を生成する初期座標変換テーブルを記憶する記憶部25(S901)と、撮像画像70を入力する画像入力部、すなわち画像取得部20と、初期座標変換テーブル30により、入力された撮像画像7070を第2画像である鳥瞰画像71に変換する画像変換部23と、画像変換前後の撮像画像70及び鳥瞰画像71について、四つの第1画素403で形成された第1テクスチャ601A,602Aの面積と、第1テクスチャ601A,602Aに対応して得られた四つの第2画素404で形成された第2テクスチャ601B,602Bの面積との比を演算する演算部S903と、演算された面積の比に応じて、第1テクスチャ601A,602Aに対する第2テクスチャ601B,602Bの面積比が小さいほど第2画素404の配列ピッチが粗くなるように初期座標変換テーブルの複数の第1画素から所定数の第1画素を選択して座標変換テーブルを作成する作成部S9043、S9044、S9045、S905、S906とを備える。
したがって、入力された画像を異なる画像に座標変換する対応テーブルのデータ量を削減することができる。
したがって、入力された画像を異なる画像に座標変換する対応テーブルのデータ量を削減することができる。
本発明のさらに他の態様は、データテーブル30である座標変換テーブルの作成方法である。この作成方法は、第1画像である撮影画像70を入力する入力ステップと、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の撮影画像70に対して座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像である鳥瞰画像71を生成する初期座標変換テーブルを読み込む読み込みステップと、初期座標変換テーブル30により、入力された撮像画像70を鳥瞰画像71に変換する変換ステップS901と、画像変換前後の撮像画像70および鳥瞰画像71について、四つの第1画素403で形成された第1テクスチャ601A,602Aの面積と、第1テクスチャ601A、602Aに対応して得られた四つの第2画素404で形成された第2テクスチャ601B,602Bの面積との比を演算する演算ステップS903と、演算された面積の比に応じて、第1テクスチャ601A、602Aに対する第2テクスチャ601B,602Bの面積比が小さいほど第2画素404の配列ピッチが粗くなるように初期座標変換テーブルの複数の第1画素から所定数の第1画素を選択して座標変換テーブルを作成する作成ステップS9043、S9044、S9045、S905、S906とを有する。
したがって、入力された画像を異なる画像に座標変換する対応テーブルのデータ量を削減することができる。
したがって、入力された画像を異なる画像に座標変換する対応テーブルのデータ量を削減することができる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2015-021163号(2015年2月5日出願)
日本国特許出願2015-021163号(2015年2月5日出願)
26 制御部
25 記憶部
30 データテーブル
100 画像生成装置
200 テーブル作成装置
25 記憶部
30 データテーブル
100 画像生成装置
200 テーブル作成装置
Claims (5)
- 第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して、座標変換テーブルにより座標変換を施し、前記第1視点とは異なる第2視点から前記第1の俯角とは異なる第2の俯角で前記被写体を見下ろして得られる第2画像を生成して出力する画像生成装置において、
前記座標変換テーブルは、前記第1画像を構成する複数の第1画素から選択した複数の第1選択画素の座標を、前記第2画像を構成する複数の第2画素に対応する第2選択画素の座標に座標変換するテーブルであり、
前記第1画像の領域を、前記水平方向に延在する少なくとも一つの画素境界線により前記垂直方向に複数に分割したとき、前記第1画像の垂直方向下側の領域における前記第1選択画素の配列ピッチが垂直方向上側の領域の前記第1選択画素の配列ピッチよりも粗くなるように、前記座標変換テーブルの前記第1選択画素を設定した画像生成装置。 - 請求項1に記載の画像生成装置において、
前記第1選択画素は、前記複数の第1画素を水平方向には第1間隔で間引き、垂直方向には第2間隔で間引いて選択された画素であり、
前記第2選択画素は、前記第1選択画素の座標を座標変換することで生成された画素である画像生成装置。 - 請求項1または2に記載の画像生成装置において、
三つ以上の前記第1選択画素で形成された第1テクスチャの面積と、前記第1テクスチャに対応して得られた三つ以上の第2選択画素で形成された第2テクスチャの面積との比に応じて、前記第1テクスチャに対する第2テクスチャの面積比が小さいほど前記第2画素の配列ピッチが粗くなるように前記第1選択画素を選択した座標変換テーブルを備える画像生成装置。 - 請求項1乃至3のいずれか1項に記載の画像生成装置における座標変換テーブルの作成装置であって、
前記第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して座標変換を施し、前記第1視点とは異なる第2視点から前記第1の俯角とは異なる第2の俯角で前記被写体を見下ろして得られる第2画像を生成する初期座標変換テーブルを記憶する記憶部と、
前記第1画像を入力する画像入力部と、
前記入力された前記第1画像を前記初期座標変換テーブルにより第2画像に変換する画像変換部と、
前記画像変換前後の前記第1および第2画像について、三つ以上の前記第1画素で形成された第1テクスチャの面積と、前記第1テクスチャに対応して得られた三つ以上の第2画素で形成された第2テクスチャの面積との比を演算する演算部と、
前記演算された前記面積の比に応じて、前記第1テクスチャに対する第2テクスチャの面積比が小さいほど前記第2画素の配列ピッチが粗くなるように前記初期座標変換テーブルの複数の前記第1画素から所定数の前記第1画素を選択して前記座標変換テーブルを作成する作成部とを備える座標変換テーブル作成装置。 - 請求項1乃至3のいずれか1項に記載の画像生成装置における座標変換テーブルの作成方法であって、
前記第1画像を入力することと、
前記第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して座標変換を施し、前記第1視点とは異なる第2視点から前記第1の俯角とは異なる第2の俯角で前記被写体を見下ろして得られる第2画像を生成する初期座標変換テーブルを読み込むことと、
前記初期座標変換テーブルにより、前記入力された前記第1画像を第2画像に変換することと、
前記画像変換前後の前記第1および第2画像について、三つ以上の前記第1画素で形成された第1テクスチャの面積と、前記第1テクスチャに対応して得られた三つ以上の第2画素で形成された第2テクスチャの面積との比を演算することと、
前記演算された前記面積の比に応じて、前記第1テクスチャに対する第2テクスチャの面積比が小さいほど前記第2画素の配列ピッチが粗くなるように前記初期座標変換テーブルの複数の前記第1画素から所定数の前記第1画素を選択して前記座標変換テーブルを作成すること、とを有する座標変換テーブル作成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15881188.5A EP3255604B1 (en) | 2015-02-05 | 2015-11-27 | Image generation device, coordinate conversion table creation device and creation method |
| US15/541,922 US10354358B2 (en) | 2015-02-05 | 2015-11-27 | Image generation device, coordinate transformation table creation device and creation method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015021163A JP6276719B2 (ja) | 2015-02-05 | 2015-02-05 | 画像生成装置、座標変換テーブル作成装置および作成方法 |
| JP2015-021163 | 2015-02-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016125371A1 true WO2016125371A1 (ja) | 2016-08-11 |
Family
ID=56563728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/083462 Ceased WO2016125371A1 (ja) | 2015-02-05 | 2015-11-27 | 画像生成装置、座標変換テーブル作成装置および作成方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10354358B2 (ja) |
| EP (1) | EP3255604B1 (ja) |
| JP (1) | JP6276719B2 (ja) |
| WO (1) | WO2016125371A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102016211227A1 (de) | 2016-06-23 | 2017-12-28 | Conti Temic Microelectronic Gmbh | Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug |
| DE102016225066A1 (de) * | 2016-12-15 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Rundumsichtsystem für ein Fahrzeug |
| JP6439233B2 (ja) | 2017-03-31 | 2018-12-19 | マツダ株式会社 | 車両用画像表示装置及び画像処理方法 |
| JP6941472B2 (ja) * | 2017-04-26 | 2021-09-29 | 株式会社デンソーテン | 映像再生装置、映像再生システム、及び映像再生方法 |
| JP2019012915A (ja) * | 2017-06-30 | 2019-01-24 | クラリオン株式会社 | 画像処理装置、画像変換方法 |
| CN108628808A (zh) * | 2018-04-04 | 2018-10-09 | 华南农业大学 | 相机采样点的坐标转换方法 |
| JP6937722B2 (ja) * | 2018-05-18 | 2021-09-22 | 株式会社 日立産業制御ソリューションズ | 画像処理装置および画像処理方法 |
| TWI756771B (zh) * | 2020-08-05 | 2022-03-01 | 偉詮電子股份有限公司 | 影像轉換方法 |
| US20240143645A1 (en) * | 2022-11-01 | 2024-05-02 | Getac Technology Corporation | Item analysis and linking across multiple multimedia files |
| CN117934805B (zh) * | 2024-03-25 | 2024-07-12 | 腾讯科技(深圳)有限公司 | 对象筛选方法和装置、存储介质及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009122763A (ja) * | 2007-11-12 | 2009-06-04 | Clarion Co Ltd | 画像変形マップデータ補正装置および画像変形マップデータ補正方法 |
| JP2015097335A (ja) * | 2013-11-15 | 2015-05-21 | スズキ株式会社 | 俯瞰画像生成装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005333442A (ja) | 2004-05-20 | 2005-12-02 | Auto Network Gijutsu Kenkyusho:Kk | 周辺視認装置 |
| JP5013773B2 (ja) * | 2006-08-18 | 2012-08-29 | パナソニック株式会社 | 車載画像処理装置及びその視点変換情報生成方法 |
| JP5751986B2 (ja) * | 2010-12-08 | 2015-07-22 | キヤノン株式会社 | 画像生成装置 |
| JP5586545B2 (ja) * | 2011-09-09 | 2014-09-10 | 任天堂株式会社 | ゲームシステム、携帯型ゲーム装置、情報処理部の制御方法、および情報処理部の制御プログラム |
| KR20150093048A (ko) * | 2014-02-06 | 2015-08-17 | 삼성전자주식회사 | 그래픽스 데이터를 렌더링하는 방법 및 장치 |
-
2015
- 2015-02-05 JP JP2015021163A patent/JP6276719B2/ja active Active
- 2015-11-27 WO PCT/JP2015/083462 patent/WO2016125371A1/ja not_active Ceased
- 2015-11-27 EP EP15881188.5A patent/EP3255604B1/en active Active
- 2015-11-27 US US15/541,922 patent/US10354358B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009122763A (ja) * | 2007-11-12 | 2009-06-04 | Clarion Co Ltd | 画像変形マップデータ補正装置および画像変形マップデータ補正方法 |
| JP2015097335A (ja) * | 2013-11-15 | 2015-05-21 | スズキ株式会社 | 俯瞰画像生成装置 |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP3255604A4 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170358056A1 (en) | 2017-12-14 |
| EP3255604A4 (en) | 2018-10-03 |
| JP2016143381A (ja) | 2016-08-08 |
| EP3255604B1 (en) | 2020-03-18 |
| EP3255604A1 (en) | 2017-12-13 |
| JP6276719B2 (ja) | 2018-02-07 |
| US10354358B2 (en) | 2019-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6276719B2 (ja) | 画像生成装置、座標変換テーブル作成装置および作成方法 | |
| JP6310652B2 (ja) | 映像表示システム、映像合成装置及び映像合成方法 | |
| JP5739584B2 (ja) | 車両周辺視角化のための3次元映像合成装置およびその方法 | |
| JP5444338B2 (ja) | 車両周囲監視装置 | |
| JP6079131B2 (ja) | 画像処理装置、方法、及びプログラム | |
| JP4642723B2 (ja) | 画像生成装置および画像生成方法 | |
| WO2015194501A1 (ja) | 映像合成システムとそのための映像合成装置及び映像合成方法 | |
| CN113490879B (zh) | 使用实时光线跟踪以用于透镜重新映射 | |
| US20130141547A1 (en) | Image processing apparatus and computer-readable recording medium | |
| CN104581042A (zh) | 图像处理装置和方法 | |
| CN103366339A (zh) | 车载多广角摄像头图像合成处理装置及方法 | |
| JP2011066860A (ja) | パノラマ画像生成方法及びパノラマ画像生成プログラム | |
| US20110128286A1 (en) | Image restoration apparatus and method thereof | |
| JP6255928B2 (ja) | 俯瞰画像生成装置 | |
| WO2014033886A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP6029459B2 (ja) | 画像合成装置、および画像合成方法 | |
| WO2023095340A1 (ja) | 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置 | |
| JP6967013B2 (ja) | 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 | |
| CN112967173A (zh) | 一种图像生成方法、装置及系统 | |
| JP2010268369A (ja) | 周辺表示装置 | |
| WO2018016274A1 (ja) | 画像処理装置 | |
| JP2004046777A (ja) | 画像処理装置及びそれに用いる画像処理方法並びにそのプログラム | |
| JP2023111638A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| Huo et al. | Research on the auxiliary panoramic parking technology based on fast image mosaic | |
| KR102917059B1 (ko) | 삼각형 기반의 선택적 워핑을 통한 가상 시점 영상 합성 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15881188 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 15541922 Country of ref document: US |
|
| REEP | Request for entry into the european phase |
Ref document number: 2015881188 Country of ref document: EP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |