[go: up one dir, main page]

WO2024062602A1 - ３次元化システム、３次元化方法及びプログラムを記録する記録媒体 - Google Patents

３次元化システム、３次元化方法及びプログラムを記録する記録媒体 Download PDF

Info

Publication number
WO2024062602A1
WO2024062602A1 PCT/JP2022/035391 JP2022035391W WO2024062602A1 WO 2024062602 A1 WO2024062602 A1 WO 2024062602A1 JP 2022035391 W JP2022035391 W JP 2022035391W WO 2024062602 A1 WO2024062602 A1 WO 2024062602A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
road
image
dimensional
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/035391
Other languages
English (en)
French (fr)
Inventor
雄太 清水
千里 菅原
優介 水越
佳宏 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US18/873,772 priority Critical patent/US20250371690A1/en
Priority to JP2024548036A priority patent/JP7806918B2/ja
Priority to PCT/JP2022/035391 priority patent/WO2024062602A1/ja
Publication of WO2024062602A1 publication Critical patent/WO2024062602A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present disclosure relates to a three-dimensional system and the like.
  • Roads and structures located around roads are subject to damage due to deterioration over time or accidents, so repair work is required.
  • Three-dimensional data of roads and structures is sometimes used to support planning of repair work.
  • Patent Document 1 discloses a three-dimensional model construction system that collects photographic data photographed by photographing devices provided in each of a plurality of moving objects and generates a three-dimensional model.
  • an imaging area of an existing 3D model is specified using supplementary information regarding imaging included in imaging data, and the existing 3D model is updated using new imaging data in the imaging area. be exposed.
  • a three-dimensional model can be generated for large fixed objects such as roads, buildings, and bridges.
  • large fixed objects such as roads, buildings, and bridges.
  • An object of the present disclosure is to provide a three-dimensional system and the like that can generate a highly accurate three-dimensional model.
  • a three-dimensional system includes an acquisition unit that acquires a plurality of images photographed by an imaging device installed in each of a plurality of moving objects, and a three-dimensional system that selects a plurality of images from among the plurality of acquired images under predetermined conditions. a selection means for selecting at least two images of the road surface or structures on the road based on the selected images; and generating means for generating a three-dimensional model.
  • the three-dimensionalization method acquires a plurality of images taken with an imaging device installed in each of a plurality of moving objects, and selects a plurality of images from among the plurality of acquired images based on predetermined conditions. , select at least two images of the road surface or structures on the road, and use the selected images to generate a three-dimensional model of the photographed road surface or structures on the road; .
  • a program acquires a plurality of images taken by an imaging device installed in each of a plurality of moving objects, and selects a road image from among the plurality of acquired images based on predetermined conditions.
  • a computer performs a process of selecting at least two images of a road surface or a structure on the road, and using the selected images to generate a three-dimensional model of the photographed road surface or structure on the road. have it executed.
  • the program may be stored in a computer-readable non-transitory recording medium.
  • FIG. 1 is a diagram showing an outline of a device connected to a three-dimensional system.
  • 1 is a block diagram showing a configuration example of a three-dimensional system according to a first embodiment
  • FIG. 3 is a flowchart illustrating an example of the operation of the three-dimensional system according to the first embodiment. It is a table showing an example of information included in photographic data.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a computer.
  • the surface of paved roads suffers from deterioration such as cracks, potholes, and ruts due to factors such as vehicle driving and rainfall.
  • Road structures such as signs, lights, guardrails, and curbs also deteriorate or become damaged. For this reason, road conditions are analyzed in order to understand the state of deterioration of roads and structures and plan repairs for the roads and structures.
  • a three-dimensional system uses images selected based on predetermined conditions from images taken by imaging devices installed on a plurality of moving objects to create a road surface or a structure on a road. Generate a 3D model of
  • the roads targeted by the 3D system disclosed herein are not limited to roads on which vehicles pass, but also include roads on which people pass.
  • the area that the 3D system targets for 3D rendering is not limited to the road itself, but includes road slopes and land on which structures necessary for road management exist.
  • FIG. 1 is a diagram showing an overview of a three-dimensional rendering system 100 and devices connected for wired or wireless communication via a communication network 30.
  • the three-dimensional rendering system 100 is connected to, for example, an imaging device 10, a display 20, an input device 21, and a database 40.
  • the imaging device 10 is installed on a moving body 11 and captures an image including a road or a structure on the road.
  • the imaging device 10 is realized by, for example, a drive recorder installed in a car.
  • the type of imaging device 10 is not limited to this, and cameras provided on various types of moving bodies 11 may be used.
  • the image may be taken with a camera mounted on another moving object such as a bicycle or a drone.
  • the image captured by the imaging device 10 may be a still image or a moving image captured while the moving body 11 is moving. Images may be taken at a location designated by a person, or may be taken automatically at arbitrary intervals.
  • FIG. 1 one imaging device 10 and one moving object 11 are shown.
  • the three-dimensional system 100 may be connected to a plurality of imaging devices 10-1, . . . , 10-n installed in a plurality of moving objects 11-1, . .
  • n is a natural number of 2 or more.
  • Each of the plurality of moving bodies 11 may be of the same type or may be of different types.
  • Each of the plurality of imaging devices 10 may be the same model or may be a different model.
  • Photographic data including images photographed by the imaging device 10 is stored in the database 40. Further, the imaging device 10 may transmit photographic data including images to the three-dimensional system 100.
  • the photographing data may further include the following image photographing conditions.
  • the photographic data may include an identifier that identifies the imaging device 10 that photographed the image.
  • the photographic data may include positional information of the point where the image was photographed.
  • the location information includes, for example, latitude and longitude, location information based on GNSS (Global Navigation Satellite System), GPS (Global Positioning System), or a location on a map.
  • the photographic data may include time information regarding the date and time when the image was photographed.
  • the photographing data may include the photographing direction in which the image was photographed.
  • the photographing direction includes, for example, the azimuth or elevation/depression angle in which the imaging device 10 is facing.
  • the photographing direction can be acquired by a sensor included in the imaging device 10. Further, the photographing direction can be obtained based on the traveling direction of the moving body 11 when the installation direction of the imaging device 10 with respect to the moving body 11 is defined.
  • the display 20 displays information to the user.
  • the display 20 includes, for example, a display, a tablet, and the like. The information to be displayed will be described later.
  • the input device 21 accepts operations from the user.
  • the input device 21 includes, for example, a mouse and a keyboard.
  • the display 20 is a touch panel display, the display 20 may be configured as the input device 21.
  • the database 40 stores photographic data including images photographed by the imaging device 10.
  • FIG. 2 is a block diagram showing a configuration example of the three-dimensional system 100 according to the first embodiment.
  • the three-dimensional system 100 includes an acquisition section 110, a selection section 120, and a generation section 130.
  • the three-dimensional system 100 further includes an output unit 140 as required.
  • the acquisition unit 110 acquires a plurality of images including an image taken at a predetermined point, which is taken by the imaging device 10 installed in each of the plurality of moving objects 11.
  • the predetermined point is a point for which a three-dimensional model is to be generated.
  • the range of points from which the acquisition unit 110 acquires images can be set as appropriate.
  • the acquisition unit 110 may acquire a moving image taken at a predetermined point. Further, the acquisition unit 110 may extract and acquire a still image taken at a predetermined point from each of the plurality of moving images.
  • the acquisition unit 110 may acquire shooting data including an image. That is, the acquisition unit 110 may acquire, together with the image, location information of the location where the image was captured, the shooting date and time, model information of the imaging device 10, and the like.
  • the selection unit 120 selects at least two images of a road surface or a structure on a road from the plurality of acquired images based on predetermined conditions.
  • the predetermined conditions are conditions for selecting an image suitable for generating a three-dimensional model of a road surface or a structure on a road.
  • a three-dimensional model is data representing the three-dimensional shape and size of an object.
  • the three-dimensional model is, for example, three-dimensional point cloud information.
  • Images suitable for generating a three-dimensional model are at least two images from which sufficient information required for calculating the three-dimensional shape and size of an object can be obtained.
  • Images suitable for generating a three-dimensional model include images that are expected to have parallax with respect to the object.
  • the selection unit 120 may select an image suitable for estimating the depth of road deterioration as an image suitable for generating a three-dimensional model of the road surface.
  • Road deterioration includes, for example, cracks, potholes and ruts.
  • a road structure is an object installed near a road where vehicles and people pass. Structures on the road include, for example, signs, lights, guardrails, curbs, and the like.
  • the selection unit 120 selects at least two images based on the acquired photographic data and predetermined conditions. Details of the predetermined conditions will be explained in the second embodiment.
  • the selection unit 120 may select, from the images acquired by the acquisition unit 110, images that are taken at the same point and that satisfy the predetermined conditions. For example, the selection unit 120 refers to the position information of the photographed data and extracts images taken at the same point. Furthermore, the selection unit 120 may extract images taken at the same point by estimating the point where the image is taken based on the feature amount of the image. Then, the selection unit 120 may select at least two images that satisfy a predetermined condition from among the extracted images. Alternatively, the selection unit 120 may extract images that satisfy a predetermined condition and then select images taken at the same point.
  • the generation unit 130 generates a three-dimensional model of the photographed road surface or structure on the road using at least two images selected by the selection unit 120. For example, the generation unit 130 obtains parameters necessary to process the parallax of the selected image. Necessary parameters are, for example, the distance between the imaging devices 10 and the focal length of the imaging devices 10. The generation unit 130 then generates a three-dimensional model by calculating the distance from the imaging device 10 to the photographed object based on the acquired parameters and the parallax of the selected image.
  • the generating unit 130 may generate a three-dimensional model showing the depth of road deterioration as a three-dimensional model of the road surface.
  • the depth of road deterioration includes the depth of cracks, the depth of potholes, and the amount of rutting.
  • the output unit 140 outputs information to the display 20 based on the generated three-dimensional model.
  • the output unit 140 may display the three-dimensional model on the display 20.
  • the output unit 140 may output a value of the depth of road deterioration.
  • the depth of road deterioration is calculated, for example, based on a change in the depth of a striped portion of a three-dimensional model cut out in the road width direction.
  • FIG. 3 is a flowchart showing an example of the operation of the three-dimensional system 100 according to the first embodiment.
  • the three-dimensional system 100 may start the operation shown in FIG. 3 in response to a user's operation using the input device 21.
  • the acquisition unit 110 acquires a plurality of images taken by the imaging devices 10 installed in each of the plurality of moving objects 11 (step S11).
  • the selection unit 120 selects at least two images of the road surface or structures on the road from the multiple images acquired by the acquisition unit 110 based on predetermined conditions (step S12).
  • the generation unit 130 generates a three-dimensional model of the photographed road surface or structure on the road using the image selected by the selection unit 120 (step S13).
  • the output unit 140 outputs information to the display 20 based on the generated three-dimensional model (step S14).
  • the acquisition unit 110 acquires a plurality of images taken by the imaging devices 10 installed in each of the plurality of moving objects 11. Then, the selection unit 120 selects at least two images of the road surface or structures on the road from the plurality of images acquired by the acquisition unit 110 based on predetermined conditions.
  • the generation unit 130 generates a three-dimensional model of the photographed road surface or structure on the road using the image selected by the selection unit 120. Since images suitable for generation of a three-dimensional model are selected based on predetermined conditions, the first embodiment makes it possible to generate a highly accurate three-dimensional model.
  • Patent Document 2 discloses an imaging system that creates three-dimensional road surface data based on images captured by a stereo camera.
  • stereo cameras and optical cutting devices are expensive.
  • road conditions can be analyzed using images taken with a monocular camera such as a drive recorder. Therefore, according to the first embodiment, images required for a three-dimensional model can be collected at low cost.
  • Patent Document 3 discloses an image processing device that uses a monocular camera to improve the convenience of distance measurement technology using the motion stereo method. It has been difficult to estimate the depth of road deterioration from images taken with a monocular camera such as a drive recorder. In particular, since cracks in the road surface are small, it has been difficult to estimate the depth of the cracks. In order to analyze the depth of road deterioration, it is necessary to accurately convert images into three-dimensional images. According to the first embodiment, an image suitable for estimating the depth of road deterioration is selected from images taken by the imaging device 10 installed in each of the plurality of moving objects 11. Then, using the selected image, the generation unit 130 generates a three-dimensional model representing the depth of road deterioration. Therefore, according to the first embodiment, it is possible to support the creation of a repair plan based on the depth of road deterioration such as cracks, potholes, or ruts, while reducing costs.
  • a repair plan based on the depth of road deterioration such as crack
  • the acquisition unit 110 acquires photographic data including images taken at a predetermined point.
  • FIG. 4 is a table showing an example of information included in the photographic data.
  • the photographing data in FIG. 4 includes an image ID (identifier), an imaging device ID, time information, position information, and a photographing direction.
  • the image ID is an identifier that identifies an image.
  • the image ID may be an identifier that identifies one frame of a moving image.
  • the imaging device ID is an identifier that identifies the imaging device 10 that captured the image.
  • the imaging data does not need to include the information shown in FIG. 4, and may include information other than the information shown.
  • the selection unit 120 may select images based on any combination of conditions described below.
  • the predetermined condition is a condition related to the similarity of the images.
  • the selection unit 120 may select an image from the multiple images based on the similarity of the images.
  • the similarity of the images is calculated by any method. The similarity between images of the same object taken from similar viewpoints at the same location is higher than the similarity between images of different objects taken from different viewpoints at the same location.
  • the selection unit 120 selects at least two images whose similarity is higher than a threshold (lower limit). Two images with a degree of similarity higher than the threshold have the same imaging range, and are likely to have captured the same object. Therefore, the distance can be calculated based on the parallax of the object. When the degree of similarity between images is low, the difference in imaging range is too large, and parallax information may be insufficient, making it difficult to calculate distance.
  • a threshold lower limit
  • the brightness and hue of the image may vary depending on sunlight conditions. Therefore, in order to estimate the difference between the imaging ranges based on the similarity, the similarity between the images may be calculated after converting the brightness and hue of the images. Note that if it is preferable to select images under the same sunlight conditions, the similarity is calculated as is without converting the images.
  • the selection unit 120 may select images such that the image is included in at least two images with a degree of similarity lower than the upper limit threshold. This is because distance calculation becomes difficult also when the degree of similarity between images is high and the overlap of imaging ranges is too large.
  • the selection unit 120 selects images whose degree of similarity is lower than the upper limit threshold, so that images captured by the respective imaging devices 10 of the plurality of moving objects 11 from different viewpoints can be selected.
  • the predetermined condition is a condition regarding the imaging device 10 that captured the image.
  • the selection unit 120 may select images so as to include images taken by different imaging devices 10 installed in different moving objects 11. At this time, the selection unit 120 refers to the imaging device ID of the imaging data, for example.
  • the selection unit 120 may select at least two images captured by the imaging device 10 by driving one moving body 11 multiple times through a specified point. This is because parallax information can be obtained between at least two images when the driving positions on the road at the specified point are different for the first and second times. That is, the selection unit 120 may select at least two images captured by the imaging device 10 installed on the same moving body 11 at dates and times that differ by a specified time or more. The selection unit 120 may also exclude from the selection at least two images captured continuously by the imaging device 10 while one moving body 11 is driving. Parallax information can only be obtained from two continuously captured images for the moving body 11 moving by one frame. Therefore, continuously captured images may not be suitable for generating a three-dimensional model.
  • the predetermined condition is a condition regarding the installation state of the imaging device 10.
  • the installation state of the imaging device 10 includes the installation height, the installation angle or lateral position with respect to the moving object 11, and the type of the installed moving object 11.
  • the selection unit 120 may select an image based on the installation state of the imaging device 10. For example, the selection unit 120 selects images captured by imaging devices 10 in different installation states. This allows the selection unit 120 to select images with parallax.
  • the installation state of the imaging device 10 is stored in the database 40 in association with the imaging device ID.
  • the installation height may be expressed by the height of the imaging device 10 installed on the moving body 11 from the ground. Further, the installation height may be expressed by the distance of the imaging device with respect to a predetermined member of the moving body 11.
  • the installation angle indicates at what angle the imaging device 10 is installed to take images.
  • the installation angle may be expressed by an angle of elevation or an angle of depression. Further, the installation angle may be expressed by the orientation of the imaging device 10 with respect to the front direction of the moving body 11.
  • the type of the installed mobile object 11 may be specified by the size and model of the automobile that is the mobile object 11. Further, the type of the mobile object 11 may be specified depending on whether the mobile object 11 is a four-wheeled vehicle, a two-wheeled vehicle, a bicycle, or a drone.
  • the selection unit 120 may select images taken by the imaging devices 10 installed in each of a regular car and a bus. Since an ordinary car and a bus are different in size, images from different viewpoints can be selected from the imaging devices 10 installed in each.
  • the left/right position relative to the moving body 11 may also be used as the installation state of the imaging device 10.
  • the left/right position indicates, for example, where in the width direction of the vehicle, which is the moving body 11, the imaging device 10 is installed.
  • the left/right position may also be represented by the distance from the center of the vehicle.
  • the predetermined condition is a condition related to the shooting direction included in the shooting data.
  • the photographing direction is the azimuth or elevation/depression angle in which the imaging device 10 is facing, which can be acquired by a sensor included in the imaging device 10.
  • the selection unit 120 may select an image based on such a shooting direction. For example, the selection unit 120 selects images taken in different shooting directions. This allows the selection unit 120 to select images with parallax.
  • the predetermined condition may be a condition regarding the photographing direction of the object included in the image.
  • the selection unit 120 may select an image based on a photographing direction with respect to the object, which is specified by recognizing the object through image analysis.
  • the photographing direction with respect to the object indicates the positional relationship between the imaging device 10 and the object included in the image.
  • Objects included in the image include, for example, road deterioration such as cracks and potholes, road markings such as partition lines, and structures on the road.
  • the selection unit 120 may select images taken of the crack from a plurality of directions based on the photographing direction of the crack. This allows the selection unit 120 to select an image suitable for accurately estimating the depth of a crack. According to the photographing direction with respect to the lane marking, the traveling position of the moving object 11 within the lane can be determined. The selection unit 120 selects images based on the photographing direction with respect to the lane markings, so that the selection unit 120 can select images taken while driving at different positions within the lane. Therefore, the selection unit 120 can select images with parallax.
  • the predetermined condition may be a condition regarding bias in photographic data.
  • the selection unit 120 selects more images, it is expected that the generation unit 130 will be able to generate a three-dimensional model with higher accuracy using the selected images.
  • the selection unit 120 since it is possible to use images automatically captured by a drive recorder of a vehicle that drives on a daily basis, many similar images can be captured at a predetermined point. Even if many similar images are selected, the accuracy of the three-dimensional model does not increase. Therefore, the selection unit 120 may select images shot from various viewpoints in a well-balanced manner based on the bias of the shooting data as described below.
  • the selection unit 120 may select images so as to reduce bias in image similarity.
  • the selection unit 120 may select images such that the bias between images with a high degree of similarity and images with a low degree of similarity is small.
  • the selection unit 120 may select images so as to reduce the bias in the installation state. For example, when there is a large amount of photographic data from the imaging device 10 installed in an ordinary car, there will be many images photographed from low viewpoints. Therefore, the selection unit 120 equally selects images taken from a higher viewpoint by the imaging device 10 installed in a bus, a garbage truck, or the like.
  • the predetermined condition is a condition regarding the presence or absence of road deterioration on the road in the image.
  • the selection unit 120 may select images in which road deterioration can be detected. Furthermore, the selection unit 120 may select more images for areas with road deterioration than for areas without road deterioration, based on the presence or absence of road deterioration. This allows the generation unit 130 to express the depth of road deterioration with higher accuracy using more images.
  • the selection unit 120 selects a plurality of images in which road deterioration can be detected from among images taken at a predetermined point. Then, the selection unit 120 further selects an image suitable for generating a three-dimensional model of road deterioration based on the degree of similarity of the selected images. Therefore, the selection unit 120 selects at least two similar images from among images in which road deterioration is well depicted. Thereby, the generation unit 130 can generate a three-dimensional model of road surface deterioration with high accuracy.
  • the selection unit 120 may select images based on various types of information. For example, the selection unit 120 may select images based on time information of photographic data. The selection unit 120 may select images taken during the same time period. Further, the selection unit 120 may select images taken during a time period such as daytime when there are few shadows due to road deterioration. The selection unit 120 may further select images taken in the same weather based on weather information on the date and time the images were taken. Further, the selection unit 120 may select images captured by the same model of imaging device 10.
  • the predetermined conditions under which the selection unit 120 selects images suitable for generating a three-dimensional model of a road surface or a structure on a road have been described above. Next, generation of a three-dimensional model by the generation unit 130 will be explained.
  • the generation unit 130 performs matching processing on corresponding points of the image selected by the selection unit 120.
  • the generation unit 130 uses an arbitrary matching algorithm to find a corresponding pixel in the other image for a certain reference pixel in one image. For example, the generation unit 130 extracts feature points from images and associates feature points between images.
  • the generation unit 130 may perform matching by converting the brightness or hue of the image in order to eliminate the influence of sunlight conditions.
  • the generation unit 130 may use information about the shooting direction and installation state included in the shooting data for matching the corresponding points.
  • the generation unit 130 may detect an area with road deterioration and perform matching processing on the detected area with road deterioration.
  • the generation unit 130 detects road deterioration using a known image recognition technique on the image.
  • the generation unit 130 may detect road deterioration using the learned model.
  • the generation unit 130 may determine whether or not the road is deteriorated for each pixel of the image.
  • the generation unit 130 then associates points representing road deterioration between images. For example, the generation unit 130 may detect a crack area from each of the two images and find pixels to which each of the detected cracks corresponds.
  • the generation unit 130 may detect a road area and perform matching processing on the detected road area. Thereby, the generation unit 130 can prevent, for example, matching the road area of one image with the building area of the other image.
  • the generation unit 130 calculates the three-dimensional coordinates of the points associated between the images based on the photographic data. For example, the generation unit 130 calculates the distance using the principle of triangulation based on the focal length of the imaging device 10, the parallax between the matched reference pixel and the corresponding pixel, and the distance between the imaging devices 10 that captured the image. The generation unit 130 generates three-dimensional point group information based on the distance calculated for each pixel.
  • the distance between the imaging devices 10 that photographed the images is a necessary parameter for processing the parallax of the images, and is also referred to as the baseline length.
  • the generation unit 130 calculates the baseline length based on the imaging conditions included in the imaging data, such as the installation state of the imaging device 10 and the imaging direction of the image. Furthermore, the generation unit 130 may calculate the baseline length based on the position of the imaging device 10 on the road at the time of imaging, which is estimated from the image. The position on the road is estimated from the appearance of the reference object in the image. The left and right positions on the road are estimated, for example, based on how the lane markings are visible.
  • the generation unit 130 may convert the three-dimensional point cloud information so that it is easier to visually recognize. For example, the generation unit 130 performs texture mapping by pasting an area surrounded by three nearby feature points of the image to three three-dimensional coordinate points formed by the three feature points. Thereby, the generation unit 130 can generate a three-dimensional model composed of triangular polygon surfaces.
  • each component of the three-dimensional system 100 represents a functional unit block. A part or all of each component of the three-dimensional system 100 may be realized by any combination of the computer 500 and a program.
  • FIG. 5 is a block diagram showing an example of the hardware configuration of the computer 500.
  • the computer 500 includes, for example, a processor 501, a ROM (Read Only Memory) 502, a RAM (Random Access Memory) 503, a program 504, a storage device 505, a drive device 507, a communication interface 508, an input device 509, It includes an input/output interface 511 and a bus 512.
  • a processor 501 controls the entire computer 500.
  • Examples of the processor 501 include a CPU (Central Processing Unit).
  • the number of processors 501 is not particularly limited, and the number of processors 501 is one or more.
  • the program 504 includes instructions for realizing each function of the three-dimensional visualization system 100.
  • the program 504 is stored in advance in the ROM 502, RAM 503, or storage device 505.
  • the processor 501 realizes each function of the three-dimensional visualization system 100 by executing instructions included in the program 504.
  • the RAM 503 may store data processed in each function of the three-dimensional system 100.
  • the captured image may be stored in the RAM 503 of the computer 500.
  • the drive device 507 reads and writes data from the recording medium 506.
  • the communication interface 508 provides an interface with a communication network.
  • the input device 509 is, for example, a mouse or keyboard, and accepts information input from an administrator or the like.
  • the output device 510 is, for example, a display, and outputs (displays) information to an administrator or the like.
  • the input/output interface 511 provides an interface with peripheral devices.
  • the bus 512 connects these hardware components.
  • the program 504 may be supplied to the processor 501 via a communication network, or may be stored in advance on the recording medium 506 and read out by the drive device 507 and supplied to the processor 501.
  • FIG. 5 is an example, and components other than these may be added, or some components may not be included.
  • the three-dimensional system 100 may be realized by any combination of different computers and programs for each component.
  • the plurality of components included in the three-dimensional system 100 may be realized by an arbitrary combination of one computer and a program.
  • At least a part of the three-dimensional system 100 may be provided in a SaaS (Software as a Service) format. That is, at least part of the functions for realizing the three-dimensional system 100 may be executed by software executed via a network.
  • SaaS Software as a Service

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係る３次元化システムは、複数の移動体それぞれに設置された撮像装置にて撮影された複数の画像を取得する取得手段と、取得された前記複数の画像の中から、所定の条件に基づいて、道路の路面又は道路上の構造物を撮影した少なくとも２枚の画像を選択する選択手段と、選択された前記画像を用いて、撮影された道路の路面又は道路上の構造物の３次元モデルを生成する生成手段とを備える。

Description

３次元化システム、３次元化方法及びプログラムを記録する記録媒体
　本開示は、３次元化システム等に関する。
　道路本体や道路の周辺に配置される構造物は、経年劣化や事故により損傷が生じることから、補修工事が必要となる。補修工事の計画を支援するために、道路や構造物の３次元データが用いられることがある。
　特許文献１は、複数の移動体のそれぞれに備えられた撮影装置にて撮影された撮影データを収集し、３次元モデルを生成する３次元モデル構築システムを開示している。特許文献１において、撮影データに含まれる撮影に関する付帯情報を用いて、既存の３次元モデルの撮影領域が特定され、当該撮影領域における新たな撮影データを用いた既存の３次元モデルの更新が行われる。
特開２０２１－１７７３１７号公報 特開２０１９－１６４０１８号公報 特開２０１８－１１９９２７号公報
　特許文献１によれば、道路、建物、橋などの大きな固定物体であれば、３次元モデルを生成できる。しかし、同じ領域を撮影した画像を単に収集するだけでは、道路の路面又は道路上の構造物などの小さい物体の劣化状態を識別可能な３次元モデルを生成することは難しい。
　本開示は、高精度な３次元モデルの生成を可能とする３次元化システム等を提供することを目的とする。
　本開示に係る３次元化システムは、複数の移動体それぞれに設置された撮像装置にて撮影された複数の画像を取得する取得手段と、取得された前記複数の画像の中から、所定の条件に基づいて、道路の路面又は道路上の構造物を撮影した少なくとも２枚の画像を選択する選択手段と、選択された前記画像を用いて、撮影された道路の路面又は道路上の構造物の３次元モデルを生成する生成手段とを備える。
　本開示に係る３次元化方法は、複数の移動体それぞれに設置された撮像装置にて撮影された複数の画像を取得し、取得された前記複数の画像の中から、所定の条件に基づいて、道路の路面又は道路上の構造物を撮影した少なくとも２枚の画像を選択し、選択された前記画像を用いて、撮影された道路の路面又は道路上の構造物の３次元モデルを生成する。
　本開示に係るプログラムは、複数の移動体それぞれに設置された撮像装置にて撮影された複数の画像を取得し、取得された前記複数の画像の中から、所定の条件に基づいて、道路の路面又は道路上の構造物を撮影した少なくとも２枚の画像を選択し、選択された前記画像を用いて、撮影された道路の路面又は道路上の構造物の３次元モデルを生成する処理をコンピュータに実行させる。プログラムは、コンピュータが読み取り可能な非一時的な記録媒体に記憶されていてもよい。
　本開示によれば、高精度な３次元モデルの生成を可能とする。
３次元化システムに接続される装置の概要を示す図である。 第１実施形態に係る３次元化システムの構成例を示すブロック図である。 第１実施形態に係る３次元化システムの動作例を示すフローチャートである。 撮影データに含まれる情報の例を示すテーブルである。 コンピュータのハードウェア構成の例を示すブロック図である。
　舗装された道路の路面には、車両の走行や降雨などの要因によって、ひび割れ、ポットホール、わだち掘れなどの劣化が生じる。また、標識、照明、ガードレール、縁石などの道路上の構造物にも劣化や破損が生じる。そのため道路や構造物の劣化状況を把握して、道路や構造物の補修を計画するために、道路の状況を分析することが行われる。
　本開示に係る３次元化システムは、複数の移動体に設置された撮像装置によって撮影された画像から、所定の条件に基づいて選択された画像を用いて、道路の路面又は道路上の構造物の３次元モデルを生成する。
　本開示に係る３次元化システムが対象とする道路は、車両が通行する道路に限られるものではなく、人が通行する道路を含む。また、３次元化システムが３次元化の対象とする範囲は、道路本体に限られるものではなく、道路の法面や道路管理上必要な構造物の存する土地を含む。
　図１は、３次元化システム１００と通信ネットワーク３０を介して有線または無線により通信可能に接続される装置の概要を示す図である。３次元化システム１００は、例えば、撮像装置１０、ディスプレイ２０、入力機器２１及びデータベース４０と接続される。
　撮像装置１０は、移動体１１に設置され、そして、道路又は道路上の構造物を含む画像を撮影する。撮像装置１０は、例えば、自動車に搭載されたドライブレコーダにより実現される。ただし、撮像装置１０の種類はこれには限られず、様々な種類の移動体１１に設けられたカメラが用いられてもよい。例えば、画像は、自転車やドローン等の他の移動体に搭載されたカメラで撮影されてもよい。
　撮像装置１０が撮影する画像は、静止画像であっても、移動体１１が移動中に撮影した動画像であってもよい。画像は、人が指定した箇所で撮影されてもよく、任意の間隔で、自動で撮影されてもよい。
　図１において、撮像装置１０と移動体１１はそれぞれ１つずつ示されている。ただし、３次元化システム１００は、複数の移動体１１－１、・・・、１１－ｎにそれぞれ設置された複数の撮像装置１０－１、・・・、１０－ｎと接続されてもよい。ここで、ｎは２以上の自然数である。複数の移動体１１のそれぞれは、同じ種類であっても、異なる種類であってもよい。複数の撮像装置１０のそれぞれは、同じ機種であっても、異なる機種であってもよい。
　撮像装置１０が撮影した画像を含む撮影データは、データベース４０に記憶される。また、撮像装置１０は、３次元化システム１００に画像を含む撮影データを送信してもよい。
　撮影データには、さらに次のような、画像の撮影条件が含まれてもよい。例えば、撮影データには、画像を撮影した撮像装置１０を識別する識別子が含まれてもよい。また、撮影データには、画像を撮影した地点の位置情報が含まれてもよい。位置情報は、例えば、緯度と経度、ＧＮＳＳ（Global Navigation Satellite System）、ＧＰＳ（Global Positioning System）による位置情報、または、地図上の位置、を含む。さらに、撮影データには、画像を撮影した日時に関する時間情報が含まれてもよい。
　さらに、撮影データには、画像を撮影した撮影方向が含まれてもよい。撮影方向は、例えば、撮像装置１０が向いている方位または仰俯角を含む。撮影方向は、撮像装置１０に備えられたセンサによって取得可能である。また、撮影方向は、撮像装置１０の移動体１１に対する設置方向が規定される場合に、移動体１１の進行方向に基づいて取得可能である。
　ディスプレイ２０は、ユーザに情報を表示する。ディスプレイ２０は、例えば、ディスプレイやタブレットなどを含む。表示される情報については後述される。
　入力機器２１は、ユーザからの操作を受け付ける。入力機器２１は、例えば、マウスやキーボードなどを含む。ディスプレイ２０がタッチパネルディスプレイである場合は、ディスプレイ２０が入力機器２１として構成されてもよい。
　データベース４０は、撮像装置１０が撮影した画像を含む撮影データを記憶する。
　［第１実施形態］
　図２は、第１実施形態に係る３次元化システム１００の構成例を示すブロック図である。３次元化システム１００は、取得部１１０、選択部１２０及び生成部１３０を備える。３次元化システム１００は、必要に応じてさらに、出力部１４０を備える。
　取得部１１０は、複数の移動体１１それぞれに設置された撮像装置１０にて撮影された、所定の地点を撮影した画像を含む複数の画像を取得する。所定の地点とは、３次元モデルの生成対象となる地点である。取得部１１０が画像を取得する地点の範囲は、適宜設定可能である。
　一例において、取得部１１０は、所定の地点を撮影した動画像を取得してもよい。また、取得部１１０は、複数の動画像のそれぞれから所定の地点を撮影した静止画像を抽出して取得してもよい。
　取得部１１０は、画像を含む撮影データを取得してもよい。すなわち、取得部１１０は、画像と共に、画像が撮影された地点の位置情報、撮影日時、及び撮像装置１０の機種情報などを取得してもよい。
　選択部１２０は、取得された複数の画像から、所定の条件に基づいて、道路の路面又は道路上の構造物を撮影した少なくとも２枚の画像を選択する。
　所定の条件とは、道路の路面又は道路上の構造物の３次元モデルの生成に適した画像を選択するための条件である。３次元モデルは、物体の３次元形状と大きさを表すデータである。３次元モデルは、例えば、３次元点群情報である。３次元モデルの生成に適した画像とは、物体の３次元形状と大きさの計算に要する情報が十分に取得できる少なくとも２枚の画像である。３次元モデルの生成に適した画像は、物体に対する視差があると見込まれる画像を含む。
　道路の路面には、道路劣化により凹部及び凸部が生じ得る。選択部１２０は、道路の路面の３次元モデルの生成に適した画像として、道路劣化の深さを推定するに適した画像を選択してもよい。道路劣化は、例えば、ひび割れ、ポットホール及びわだち掘れを含む。
　道路上の構造物は、道路において車両や人が通行する付近に設置される物体である。道路上の構造物は、例えば、標識、照明、ガードレール、縁石などを含む。
　例えば、選択部１２０は、取得された撮影データと所定の条件とに基づいて、少なくとも２枚の画像を選択する。所定の条件の詳細については、第２実施形態において説明する。
　選択部１２０は、取得部１１０が取得した画像から、同じ地点を撮影した画像であって、かつ、当該所定の条件を満たす画像を選択してもよい。例えば、選択部１２０は、撮影データの位置情報を参照し、同じ地点を撮影した画像を抽出する。また、選択部１２０は、画像の特徴量に基づいて、撮影されている地点を推定することで、同じ地点を撮影した画像を抽出してもよい。そして、選択部１２０は、抽出された画像の中から、所定の条件を満たす少なくとも２枚の画像を選択してもよい。あるいは、選択部１２０は、所定の条件を満たす画像を抽出してから、同じ地点を撮影した画像を選択してもよい。
　生成部１３０は、選択部１２０が選択した少なくとも２枚の画像を用いて、撮影された道路の路面又は道路上の構造物の３次元モデルを生成する。例えば、生成部１３０は、選択された画像の視差を処理するために必要なパラメータを取得する。必要なパラメータは、例えば、撮像装置１０間の距離及び撮像装置の１０の焦点距離である。そして、生成部１３０は、取得されたパラメータと選択された画像の視差に基づいて、撮像装置１０から撮影された物体までの距離を計算することで、３次元モデルを生成する。
　生成部１３０は、道路の路面の３次元モデルとして、道路劣化の深さを示す３次元モデルを生成してもよい。道路劣化の深さは、ひび割れの深さ、ポットホールの深さ及びわだち掘れ量を含む。
　出力部１４０は、生成された３次元モデルに基づいて、ディスプレイ２０に情報を出力する。例えば、出力部１４０は、３次元モデルをディスプレイ２０に表示させてもよい。また、出力部１４０は、道路劣化の深さの値を出力してもよい。道路劣化の深さは、例えば、３次元モデルを道路幅方向にストライプ状に切り取った部分の奥行きの変化に基づき計算される。
　図３は、第１実施形態に係る３次元化システム１００の動作例を示すフローチャートである。３次元化システム１００は、入力機器２１を用いたユーザの操作に応じて、図３の動作を開始してもよい。
　取得部１１０は、複数の移動体１１それぞれに設置された撮像装置１０にて撮影された複数の画像を取得する（ステップＳ１１）。
　選択部１２０は、取得部１１０が取得した複数の画像から、所定の条件に基づいて、道路の路面又は道路上の構造物を撮影した少なくとも２枚の画像を選択する（ステップＳ１２）。
　生成部１３０は、選択部１２０が選択した画像を用いて、撮影された道路の路面又は道路上の構造物の３次元モデルを生成する（ステップＳ１３）。
　出力部１４０は、生成された３次元モデルに基づいて、ディスプレイ２０に情報を出力する（ステップＳ１４）。
　第１実施形態によれば、取得部１１０が、複数の移動体１１それぞれに設置された撮像装置１０にて撮影された複数の画像を取得する。そして、選択部１２０が、取得部１１０が取得した複数の画像から、所定の条件に基づいて、道路の路面又は道路上の構造物を撮影した少なくとも２枚の画像を選択する。生成部１３０が、選択部１２０が選択した画像を用いて、撮影された道路の路面又は道路上の構造物の３次元モデルを生成する。所定の条件に基づいて３次元モデルの生成に適した画像が選択されるから、第１実施形態によれば、高精度な３次元モデルの生成を可能とする。
　路面の状況を測定するために、ステレオカメラやスリットレーザを照射する光切断撮影装置を移動体１１に設けることが行われる。特許文献２は、ステレオカメラによって撮像された画像に基づき３次元路面データを作成する撮像システムを開示している。しかし、ステレオカメラや光切断撮影装置はコストが高い。第１実施形態によれば、ドライブレコーダなどの単眼カメラで撮影された画像を用いて、道路の状況を分析できる。したがって、第１実施形態によれば、３次元モデルに要する画像を低コストで収集できる。
　特許文献３は、単眼カメラを用いて、モーションステレオ法により測距を行う技術の利便性を向上させる画像処理装置を開示している。ドライブレコーダなどの単眼カメラで撮影した画像からは、道路劣化の深さを推定することが困難であった。特に、路面のひびは小さいため、ひびの深さの推定が困難であった。道路劣化の深さを分析するには、精度よく画像を３次元化する必要がある。第１実施形態によれば、複数の移動体１１それぞれに設置された撮像装置１０が撮影した画像から、道路劣化の深さを推定するに適した画像を選択する。そして、選択された画像を用いて、生成部１３０が、道路劣化の深さを表す３次元モデルを生成する。したがって、第１実施形態によれば、コストを低減しつつ、ひび割れ、ポットホールまたはわだち掘れなどの道路劣化の深さに基づく補修計画の作成を支援できる。
　［第２実施形態］
　次に第２実施形態として、３次元化システム１００についてより詳細に説明する。第２実施形態の構成について、第１実施形態と同様の構成については説明を省略する。
　第２実施形態において、取得部１１０は、所定の地点を撮影した画像を含む撮影データを取得する。図４は、撮影データに含まれる情報の例を示すテーブルである。図４の撮影データは、画像ＩＤ（identifier）、撮像装置ＩＤ、時間情報、位置情報、及び撮影方向を含む。画像ＩＤは、画像を識別する識別子である。画像ＩＤは動画像の１コマを特定する識別子であってもよい。撮像装置ＩＤは、画像を撮影した撮像装置１０を識別する識別子である。撮影データには、図４に示す情報が含まれなくてもよく、示した情報以外の情報が含まれてもよい。
　ここで、道路の路面又は道路上の構造物の３次元モデルの生成に適した少なくとも２枚の画像を選択する所定の条件の例について説明する。選択部１２０は、以下に説明する条件の任意の組み合わせに基づいて、画像を選択してもよい。
　一例において、所定の条件は、画像の類似度に関する条件である。選択部１２０は、画像の類似度に基づいて、複数の画像から、画像を選択してもよい。画像の類似度は任意の方法で計算される。同じ地点で異なる視点から異なる物体を撮影した画像間の類似度と比べて、同じ地点で近い視点から同じ物体を撮影した画像間の類似度は高い。
　例えば、選択部１２０は、類似度が閾値（下限）より高い少なくとも２枚の画像を選択する。類似度が閾値より高い２枚の画像は、撮像範囲が同じであり、同じ物体が撮影されている可能性が高い。したがって、当該物体の視差に基づいて、距離の計算が可能となる。画像間の類似度が低い場合、撮像範囲の違いが大き過ぎることにより、視差の情報が不足し、距離の計算が困難となりうる。
　日照条件によって、画像の明るさや色合いが異なる場合がある。そこで、撮像範囲の異同を類似度から推定するために、画像の明るさや色合いを変換した上で画像の類似度が計算されてもよい。なお、同じ日照条件の画像を選択することが好ましい場合には、画像は変換せずに、類似度がそのまま計算される。
　また、選択部１２０は、類似度が閾値上限より低い少なくとも２枚に画像を含むように画像を選択してもよい。画像間の類似度が高く、撮像範囲の重なりが大き過ぎる場合にも、距離の計算が困難となるためである。選択部１２０が、閾値上限より類似度が低い画像を選択することで、複数の移動体１１のそれぞれの撮像装置１０が異なる視点から撮影した画像が選択され得る。
　他の例において、所定の条件は、画像を撮影した撮像装置１０に関する条件である。選択部１２０は、異なる移動体１１にそれぞれ設置された異なる撮像装置１０によって撮影された画像を含むように画像を選択してもよい。このとき選択部１２０は、例えば、撮影データの撮像装置ＩＤを参照する。異なる移動体１１に設置された撮像装置１０によって撮影された画像を選択することで、同じ移動体１１が道路を何度か通過して撮影した画像よりも、大きい視差が得られることが期待される。したがって、より高精度な距離の計算を可能とする。
　ただし、選択部１２０は、所定の地点を１つの移動体１１で複数回走行して、撮像装置１０が撮影した少なくとも２枚の画像を選択してもよい。１回目と２回目の所定の地点の道路上の走行位置が異なる場合に、少なくとも２枚の画像間で視差の情報が得られるためである。すなわち、選択部１２０は、同じ移動体１１に設置された撮像装置１０によって、所定時間以上異なる日時に撮影された少なくとも２枚の画像を選択してもよい。そして、選択部１２０は、１つの移動体１１が走行中に、撮像装置１０が連続撮影した少なくとも２枚の画像は、選択の対象から除外してもよい。連続撮影した２枚の画像からは、移動体１１が１コマ動いた分しか視差の情報が得られない。したがって、連続撮影された画像は３次元モデルの生成に適していない可能性がある。
　他の例において、所定の条件は、撮像装置１０の設置状態に関する条件である。撮像装置１０の設置状態は、設置高さ、移動体１１に対する設置角度若しくは左右位置及び設置されている移動体１１の種類を含む。選択部１２０は、撮像装置１０の設置状態に基づいて、画像を選択してもよい。例えば、選択部１２０は、設置状態の異なる撮像装置１０によって撮影された画像を選択する。これにより選択部１２０は視差のある画像を選択することができる。撮像装置１０の設置状態は、撮像装置ＩＤと対応付けてデータベース４０に記憶される。
　設置高さは、移動体１１に設置された撮像装置１０の地面からの高さにより表されてもよい。また、設置高さは、移動体１１の所定の部材を基準とした撮像装置の距離により表されてもよい。
　設置角度は、撮像装置１０がどのような角度で撮影するように設置されているかを示す。設置角度は、仰角または俯角により表されてもよい。また、設置角度は、移動体１１の正面方向を基準とした撮像装置１０の向きにより表されてもよい。
　設置されている移動体１１の種類は、移動体１１である自動車の大きさや車種によって特定されてもよい。また、移動体１１の種類は、移動体１１が四輪自動車、二輪自動車、自転車、ドローンのいずれかであるかによって特定されてもよい。例えば、選択部１２０は、普通自動車とバスのそれぞれに設置された撮像装置１０によって撮影された画像を選択してもよい。普通自動車とバスは大きさが異なるから、それぞれに設置された撮像装置１０から異なる視点の画像が選択できる。
　また、撮像装置１０の設置状態として、移動体１１に対する左右位置が用いられてもよい。左右位置は、例えば、移動体１１である車両の幅方向のいずれの位置に撮像装置１０が設置されているかを表す。左右位置は、車両の中心からの距離により表されてもよい。
　他の例において、所定の条件は、撮影データに含まれる撮影方向に関する条件である。撮影方向は、撮像装置１０に備えられたセンサによって取得可能な、撮像装置１０が向いている方位または仰俯角である。選択部１２０は、このような撮影方向に基づいて、画像を選択してもよい。例えば、選択部１２０は、撮影方向の異なる画像を選択する。これにより選択部１２０は視差のある画像を選択することができる。
　他の例として、所定の条件は、画像に含まれる物体に対する撮影方向に関する条件であってもよい。選択部１２０は、画像分析により物体を認識することにより特定される、物体に対する撮影方向に基づいて、画像を選択してもよい。物体に対する撮影方向は、撮像装置１０と画像に含まれる物体との位置関係を示す。画像に含まれる物体は、例えば、ひび割れやポットホールなどの道路劣化、区画線などの路面標示及び道路上の構造物を含む。
　選択部１２０は、ひび割れに対する撮影方向に基づいて、当該ひび割れを複数の方向から撮影した画像を選択してもよい。これにより選択部１２０は、ひび割れの深さを精度よく推定するに適した画像を選択できる。区画線に対する撮影方向によれば、移動体１１の車線内の走行位置が把握される。選択部１２０が、区画線に対する撮影方向に基づいて画像を選択することで、選択部１２０は、車線内の異なる位置を走行する際に撮影された画像を選択できる。よって、選択部１２０は視差のある画像を選択できる。
　他の例として、所定の条件は、撮影データの偏りに関する条件であってもよい。選択部１２０がより多くの画像を選択すると、選択された画像を用いて、生成部１３０が、より高精度な３次元モデルが生成できることが期待される。しかし、本開示において、日常的に走行する車両のドライブレコーダが自動的に撮影した画像を用いることができるため、所定の地点について、同様の画像が多く撮影され得る。同様の画像が多く選択されても、３次元モデルの精度は高まらない。そこで、選択部１２０は、以下のように撮影データの偏りに基づいて、様々な視点で撮影された画像をバランス良く選択してもよい。
　例えば、選択部１２０は、画像の類似度の偏りを小さくするように、画像を選択してもよい。選択部１２０は、類似度が大きい画像と小さい画像の偏りが小さくなるように画像を選択してもよい。
　また、選択部１２０は、設置状態の偏りを少なくするように、画像を選択してもよい。例えば、普通自動車に設置された撮像装置１０の撮影データが多い場合に、低い視点から撮影された画像が多くなる。そこで、選択部１２０は、バスやゴミ収集車などに設置された撮像装置１０によって、より高い視点から撮影された画像を均等に選択する。
　他の例において、所定の条件は、画像内の道路における道路劣化の有無に関する条件である。選択部１２０は、道路劣化を検出可能な画像を選択してもよい。また、選択部１２０は、道路劣化の有無に基づいて、道路劣化のある領域は、道路劣化のない領域よりも多くの画像を選択してもよい。これにより生成部１３０が、より多くの画像を用いて道路劣化の深さをより高精度に表すことができる。
　ここで、複数の条件を組み合わせた具体例を一つ説明する。選択部１２０は、例えば、所定の地点を撮影した画像の内、道路劣化を検出可能な複数の画像を選択する。そして、選択部１２０は、さらに、選択した画像の類似度に基づいて、道路劣化の３次元モデルの生成に適した画像を選択する。したがって、選択部１２０は、道路劣化の良く映っている画像の中から、類似している少なくとも２枚の画像を選択する。これにより生成部１３０は、路面の道路劣化の３次元モデルを高精度に生成できる。
　その他、選択部１２０は種々の情報に基づいて画像を選択してもよい。例えば、選択部１２０は、撮影データの時間情報に基づいて画像を選択してもよい。選択部１２０は、同じ時間帯に撮影された画像を選択してもよい。また、選択部１２０は、昼間など、道路劣化にかかる影が少ない時間帯に撮影された画像を選択してもよい。選択部１２０は、さらに、画像が撮影された日時の天候情報に基づいて、同じ天候で撮影された画像を選択してもよい。また、選択部１２０は、同じ機種の撮像装置１０によって撮影された画像を選択してもよい。
　以上、選択部１２０が、道路の路面又は道路上の構造物の３次元モデルの生成に適した画像を選択する所定の条件について説明した。次に生成部１３０による３次元モデルの生成について説明する。
　生成部１３０は、選択部１２０が選択した画像の対応する点のマッチング処理を行う。生成部１３０は、任意のマッチングアルゴリズムにより、一方の画像のある参照画素に対して、他方の画像の対応する対応画素を求める。例えば、生成部１３０は、画像から特徴点を抽出し、画像間における特徴点の対応付けを行う。生成部１３０は、日照条件の影響を排除するために、画像の明るさや色合いを変換して、マッチングを行ってもよい。生成部１３０は、対応点のマッチングに、撮影データに含まれる撮影方向及び設置状態の情報を用いてもよい。
　生成部１３０は、道路劣化のある領域を検出し、検出した道路劣化の領域についてマッチング処理を行ってもよい。生成部１３０は、画像に対して既知の画像認識技術を用いて道路劣化を検出する。生成部１３０は、学習されたモデルを用いて道路劣化を検出してもよい。生成部１３０は、画像の画素ごとに道路劣化であるか否かを判定してもよい。そして、生成部１３０は、画像間における道路劣化を表す点の対応付けを行う。例えば、生成部１３０は、２枚の画像のそれぞれからひび割れの領域を検出し、検出されたそれぞれのひび同士の対応する画素を求めてもよい。
　生成部１３０は、道路の領域を検出し、検出された道路の領域についてマッチング処理を行ってもよい。これにより、生成部１３０は、例えば、一方の画像の道路の領域と他方の画像の建物の領域をマッチングすることを防止できる。
　そして、生成部１３０は、画像間で対応付けされた点の３次元座標を、撮影データに基づいて算出する。例えば、生成部１３０は、撮像装置１０の焦点距離、マッチングされた参照画素と対応画素との視差、及び画像を撮影した撮像装置１０間の距離に基づき、三角測量の原理により距離を計算する。生成部１３０は、画素ごとに計算した距離に基づいて、３次元点群情報を生成する。画像を撮影した撮像装置１０間の距離は、画像の視差を処理するために必要なパラメータであり、基線長とも記載する。
　生成部１３０は、撮像装置１０の設置状態や画像の撮影方向など、撮影データに含まれる撮影条件に基づいて基線長を計算する。また、生成部１３０は、画像から推定される撮影時の撮像装置１０の道路上の位置に基づいて、基線長を計算してもよい。道路上の位置は、画像において基準となる物体の見え方から推定される。道路上の左右の位置は、例えば、区画線の見え方に基づいて推定される。
　生成部１３０は、３次元点群情報を視認しやすいように変換してもよい。例えば、生成部１３０は、画像の近傍３点の特徴点で囲まれる領域を、その特徴点の３点で形成された３次元座標の３点に貼り付けることで、テキスチャーマッピングを行う。これにより、生成部１３０は、三角ポリゴン面で構成された３次元モデルを生成できる。
　第２実施形態によれば、第１実施形態と同様に、高精度な３次元モデルの生成を可能とする。
　［ハードウェア構成］
　上述した各実施形態において、３次元化システム１００の各構成要素は、機能単位のブロックを示している。３次元化システム１００の各構成要素の一部又は全部は、コンピュータ５００とプログラムとの任意の組み合わせにより実現されてもよい。
　図５は、コンピュータ５００のハードウェア構成の例を示すブロック図である。図５を参照すると、コンピュータ５００は、例えば、プロセッサ５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、プログラム５０４、記憶装置５０５、ドライブ装置５０７、通信インタフェース５０８、入力装置５０９、入出力インタフェース５１１、及び、バス５１２を含む。
　プロセッサ５０１は、コンピュータ５００の全体を制御する。プロセッサ５０１は、例えば、ＣＰＵ（Central Processing Unit）などが挙げられる。プロセッサ５０１の数は特に限定されず、プロセッサ５０１は、１または複数である。
　プログラム５０４は、３次元化システム１００の各機能を実現するための命令（instruction）を含む。プログラム５０４は、予め、ＲＯＭ５０２やＲＡＭ５０３、記憶装置５０５に格納される。プロセッサ５０１は、プログラム５０４に含まれる命令を実行することにより、３次元化システム１００の各機能を実現する。また、ＲＡＭ５０３は、３次元化システム１００の各機能において処理されるデータを記憶してもよい。例えば、コンピュータ５００のＲＡＭ５０３に、撮影された画像を記憶してもよい。
　ドライブ装置５０７は、記録媒体５０６の読み書きを行う。通信インタフェース５０８は、通信ネットワークとのインタフェースを提供する。入力装置５０９は、例えば、マウスやキーボード等であり、管理者等からの情報の入力を受け付ける。出力装置５１０は、例えば、ディスプレイであり、管理者等へ情報を出力（表示）する。入出力インタフェース５１１は、周辺機器とのインタフェースを提供する。バス５１２は、これらハードウェアの各構成要素を接続する。なお、プログラム５０４は、通信ネットワークを介してプロセッサ５０１に供給されてもよいし、予め、記録媒体５０６に格納され、ドライブ装置５０７により読み出され、プロセッサ５０１に供給されてもよい。
　なお、図５に示されているハードウェア構成は例示であり、これら以外の構成要素が追加されていてもよく、一部の構成要素を含まなくてもよい。
　３次元化システム１００の実現方法には、様々な変形例がある。例えば、３次元化システム１００は、構成要素毎にそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、３次元化システム１００が備える複数の構成要素が、一つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。
　また、３次元化システム１００の少なくとも一部がＳａａＳ（Software as a Service）形式で提供されてよい。すなわち、３次元化システム１００を実現するための機能の少なくとも一部が、ネットワーク経由で実行されるソフトウェアによって実行されてよい。
　以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本開示のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。
　１００　　３次元化システム
　１１０　　取得部
　１２０　　選択部
　１３０　　生成部
　１４０　　出力部
　１０　　撮像装置
　２０　　ディスプレイ
　２１　　入力機器
　３０　　通信ネットワーク
　４０　　データベース

Claims (10)

  1. 　複数の移動体それぞれに設置された撮像装置にて撮影された複数の画像を取得する取得手段と、
    　取得された前記複数の画像の中から、所定の条件に基づいて、道路の路面又は道路上の構造物を撮影した少なくとも２枚の画像を選択する選択手段と、
    　選択された前記画像を用いて、撮影された道路の路面又は道路上の構造物の３次元モデルを生成する生成手段と
    　を備える３次元化システム。
  2. 　前記選択手段は、前記画像の類似度に基づいて、前記画像を選択する
    　請求項１に記載の３次元化システム。
  3. 　前記選択手段は、前記撮像装置の設置状態に基づいて、前記画像を選択する
    　請求項１または２に記載の３次元化システム。
  4. 　前記選択手段は、前記画像に含まれる物体に対する撮影方向に基づいて、前記画像を選択する
    　請求項１乃至３の何れか１項に記載の３次元化システム。
  5. 　前記選択手段は、前記撮像装置の設置された前記移動体の種類に基づいて、前記画像を選択する
    　請求項１乃至４の何れか１項に記載の３次元化システム。
  6. 　前記選択手段は、前記画像の類似度の偏りを小さくするように前記画像を選択する
    　請求項２に記載の３次元化システム。
  7. 　前記選択手段は、道路劣化の深さを推定するに適した前記画像を選択し、
    　前記生成手段は、撮影された前記道路の路面の道路劣化の深さを示す前記３次元モデルを生成する
    　請求項１乃至６の何れか１項に記載の３次元化システム。
  8. 　前記選択手段は、道路劣化を検出可能な前記画像を選択する
    　請求項７に記載の３次元化システム。
  9. 　複数の移動体それぞれに設置された撮像装置にて撮影された複数の画像を取得し、
    　取得された前記複数の画像の中から、所定の条件に基づいて、道路の路面又は道路上の構造物を撮影した少なくとも２枚の画像を選択し、
    　選択された前記画像を用いて、撮影された道路の路面又は道路上の構造物の３次元モデルを生成する
    　３次元化方法。
  10. 　複数の移動体それぞれに設置された撮像装置にて撮影された複数の画像を取得し、
    　取得された前記複数の画像の中から、所定の条件に基づいて、道路の路面又は道路上の構造物を撮影した少なくとも２枚の画像を選択し、
    　選択された前記画像を用いて、撮影された道路の路面又は道路上の構造物の３次元モデルを生成する
    　処理をコンピュータに実行させるプログラムを非一時的に記録する記録媒体。
PCT/JP2022/035391 2022-09-22 2022-09-22 ３次元化システム、３次元化方法及びプログラムを記録する記録媒体 Ceased WO2024062602A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/873,772 US20250371690A1 (en) 2022-09-22 2022-09-22 Three-dimensionalization system, three-dimensionalization method, and recording medium for generating model of road surface or structure on road
JP2024548036A JP7806918B2 (ja) 2022-09-22 ３次元化システム、３次元化方法及びプログラム
PCT/JP2022/035391 WO2024062602A1 (ja) 2022-09-22 2022-09-22 ３次元化システム、３次元化方法及びプログラムを記録する記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/035391 WO2024062602A1 (ja) 2022-09-22 2022-09-22 ３次元化システム、３次元化方法及びプログラムを記録する記録媒体

Publications (1)

Publication Number Publication Date
WO2024062602A1 true WO2024062602A1 (ja) 2024-03-28

Family

ID=90454057

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035391 Ceased WO2024062602A1 (ja) 2022-09-22 2022-09-22 ３次元化システム、３次元化方法及びプログラムを記録する記録媒体

Country Status (2)

Country Link
US (1) US20250371690A1 (ja)
WO (1) WO2024062602A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013079889A (ja) * 2011-10-05 2013-05-02 Shuichi Kameyama 路面凹凸評価システム
JP2014186004A (ja) * 2013-03-25 2014-10-02 Toshiba Corp 計測装置、方法及びプログラム
JP2020046228A (ja) * 2018-09-14 2020-03-26 株式会社リコー 計測装置、計測システムおよび車両
JP2021177317A (ja) * 2020-05-08 2021-11-11 シンメトリー・ディメンションズ・インク ３次元モデル構築システム、および３次元モデル構築方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013079889A (ja) * 2011-10-05 2013-05-02 Shuichi Kameyama 路面凹凸評価システム
JP2014186004A (ja) * 2013-03-25 2014-10-02 Toshiba Corp 計測装置、方法及びプログラム
JP2020046228A (ja) * 2018-09-14 2020-03-26 株式会社リコー 計測装置、計測システムおよび車両
JP2021177317A (ja) * 2020-05-08 2021-11-11 シンメトリー・ディメンションズ・インク ３次元モデル構築システム、および３次元モデル構築方法

Also Published As

Publication number Publication date
JPWO2024062602A1 (ja) 2024-03-28
US20250371690A1 (en) 2025-12-04

Similar Documents

Publication Publication Date Title
US10962366B2 (en) Visual odometry and pairwise alignment for high definition map creation
CA2678156C (en) Measurement apparatus, measurement method, and feature identification apparatus
JP4284644B2 (ja) ３次元モデル構築システム及び３次元モデル構築プログラム
KR20220064524A (ko) 이미지 기반 측위 방법 및 시스템
US10872246B2 (en) Vehicle lane detection system
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
JP2020500290A (ja) 位置特定基準データを生成及び使用する方法及びシステム
KR102218881B1 (ko) 차량 위치 결정 방법 및 시스템
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN112749584B (zh) 一种基于图像检测的车辆定位方法及车载终端
JP7610741B2 (ja) 地物管理システム
CA3040599C (en) Method and system for generating environment model and for positioning using cross-sensor feature point referencing
JPWO2016031229A1 (ja) 道路地図作成システム、データ処理装置および車載装置
CN114765972A (zh) 用于示出车辆的周围环境模型的显示方法、计算机程序、控制器和车辆
KR102441100B1 (ko) Las 데이터를 이용한 도로 지문 데이터 구축 시스템 및 그 방법
US11485373B2 (en) Method for a position determination of a vehicle, control unit, and vehicle
JP7806918B2 (ja) ３次元化システム、３次元化方法及びプログラム
KR20220050386A (ko) 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템
US10762690B1 (en) Simulated overhead perspective images with removal of obstructions
WO2024062602A1 (ja) ３次元化システム、３次元化方法及びプログラムを記録する記録媒体
Dai et al. Roadside edge sensed and fused three-dimensional localization using camera and lidar
CN112530270B (zh) 一种基于区域分配的建图方法及装置
Niskanen et al. Trench visualisation from a semiautonomous excavator with a base grid map using a TOF 2D profilometer
Gunay et al. Semi-automatic true orthophoto production by using LIDAR data
KR20250170382A (ko) 지도 업데이트를 위한 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22959566

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18873772

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2024548036

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22959566

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18873772

Country of ref document: US