[go: up one dir, main page]

WO2025028225A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2025028225A1
WO2025028225A1 PCT/JP2024/025215 JP2024025215W WO2025028225A1 WO 2025028225 A1 WO2025028225 A1 WO 2025028225A1 JP 2024025215 W JP2024025215 W JP 2024025215W WO 2025028225 A1 WO2025028225 A1 WO 2025028225A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
dimensional
dimensional point
information
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/025215
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
耕介 木下
健全 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of WO2025028225A1 publication Critical patent/WO2025028225A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements

Definitions

  • This disclosure relates to an information processing device, an information processing method, and a recording medium.
  • Patent Document 1 discloses a landmine detection device that detects landmines buried in the ground.
  • a sensor head is attached to the main body via a hinge and an arm.
  • a transmitting/receiving means provided in the sensor head transmits electromagnetic wave impulses toward the ground in the area in which landmines are to be detected.
  • Information indicating the three-dimensional structure of the landmine buried in the ground is generated based on the time it takes for the reflected wave from the landmine to be received, the reception level of the reflected wave, and the x- and y-coordinate positions of the transmitting/receiving means when the reflected wave is received.
  • An image is displayed on the display unit based on display image information generated from the information indicating this three-dimensional structure.
  • the information showing the three-dimensional structure based on electromagnetic waves described in Patent Document 1 and the image information for display generated from the information showing the three-dimensional structure, have poor visibility, and there is an issue in that it is difficult to recognize what kind of object is being shown even when looking at the image.
  • the information processing device includes: a first acquisition means for generating a two-dimensional point cloud by converting the three-dimensional point cloud based on the radar information; A second acquisition means for acquiring a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud based on a captured image captured using light; The display control means displays, on a display means, a fusion image in which corresponding first and second regions in the two-dimensional point cloud and the two-dimensional captured image are superimposed.
  • the information processing method includes: One or more computers A two-dimensional point cloud is generated by converting the three-dimensional point cloud based on the radar information; acquiring a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud based on a captured image captured using light; A fusion image is displayed on a display means by superimposing a first region and a second region corresponding to each other in the two-dimensional point group and the two-dimensional captured image, respectively.
  • the recording medium in the present disclosure is On one or more computers, A two-dimensional point cloud is generated by converting the three-dimensional point cloud based on the radar information; acquiring a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud based on a captured image captured using light; A program for displaying on a display means a fusion image obtained by superimposing corresponding first and second regions in the two-dimensional point group and the two-dimensional captured image, respectively, is recorded.
  • This disclosure makes it possible to improve the visibility of information based on radar information.
  • 1 is a block diagram illustrating a configuration example of a first information processing system according to the present disclosure.
  • 1 is a block diagram showing a configuration example of a first information processing device according to the present disclosure.
  • 11 is a flowchart illustrating an example of a processing operation of the first information processing device according to the present disclosure.
  • 2 is a block diagram showing a detailed configuration example of a first information processing device according to the present disclosure.
  • FIG. 10 is a flowchart illustrating a detailed processing operation example of the first information processing device according to the present disclosure.
  • 1A is a diagram showing an example of an image including a two-dimensional point cloud obtained by projecting a three-dimensional point cloud onto a two-dimensional point cloud on a projection plane, and FIG.
  • FIG. 1B is a diagram showing an example of an image including a two-dimensional point cloud to which a frame surrounding an object has been added.
  • FIG. 13 is a diagram showing an example of a two-dimensional captured image to which a frame surrounding an object has been added.
  • FIG. 1 is a diagram illustrating a first example of a fusion image according to the present disclosure.
  • FIG. 13 illustrates a second example of a fusion image according to the present disclosure.
  • FIG. 2 is a diagram illustrating an example of a physical configuration of a first information processing device according to the present disclosure.
  • 2 is a block diagram showing a configuration example of a first acquisition unit according to the present disclosure.
  • FIG. 10 is a flowchart illustrating an example of a processing operation of a first acquisition unit according to the present disclosure.
  • 4 is a block diagram showing an example configuration of a second acquisition unit according to the present disclosure.
  • FIG. 10 is a flowchart illustrating an example of a processing operation of a second acquisition unit
  • the information processing system 100 includes a moving object 110, an image capturing device 120, and an information processing device 130.
  • the mobile body 110 moves to generate radar information by scanning a scanning area using a radar.
  • the mobile body 110 includes a transmitter 111, a receiver 112, and a transmitter 113.
  • the transmitter 111 transmits radar waves into the scanning area.
  • the receiver 112 receives the reflected waves of the transmitted radar and generates radar information related to the reflected waves.
  • the transmitter 113 transmits the generated radar information.
  • the imaging device 120 is a device for capturing images of the scanning area and generating a captured image.
  • the information processing device 130 includes a first acquisition unit 131, a second acquisition unit 132, and a display control unit 134.
  • the first acquisition unit 131 generates a two-dimensional point cloud by converting the three-dimensional point cloud based on the radar information.
  • the second acquisition unit 132 acquires a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud based on the captured image captured using light.
  • the display control unit 134 causes the display unit 135 to display a fusion image in which corresponding first and second regions in the two-dimensional point cloud and the two-dimensional captured image are superimposed. Note that the display unit 135 is not shown in FIG. 2.
  • This information processing system 100 can display a first region included in a two-dimensional point cloud converted from a three-dimensional point cloud and a second region included in a two-dimensional captured image based on an image captured using light, superimposed on each other.
  • objects that are difficult to see only in the two-dimensional captured image or only in the two-dimensional point cloud can be easily confirmed by comparing both the two-dimensional captured image and the two-dimensional point cloud. This makes it possible to improve the visibility of information based on radar information.
  • this information processing device 130 it is possible to improve the visibility of information based on radar information, similar to the information processing system 100.
  • JP 2018-163096 A discloses an information processing method that identifies an object area in a first signal strength map obtained from a radar reception signal based on the position of an object in three-dimensional space, and associates the type of recognized object with the object area.
  • the position of an object in three-dimensional space is calculated based on a distance image.
  • This distance image is obtained by LIDAR (Light Detection and Ranging, or Laser Imaging Detection and Ranging).
  • the information processing system 100 or the information processing device 130 can improve the visibility of information based on radar information by using captured images that can be easily obtained using light. Therefore, it becomes possible to easily improve the visibility of information based on radar information.
  • the information processing device 130 executes information processing as shown in FIG. 3.
  • the first acquisition unit 131 generates a two-dimensional point cloud by converting the three-dimensional point cloud based on the radar information (step S101).
  • the second acquisition unit 132 acquires a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud based on the captured image captured using light (step S102).
  • the display control unit 134 causes the display unit 135 to display a fusion image in which corresponding first and second regions in the two-dimensional point cloud and the two-dimensional captured image are superimposed (step S104).
  • This information processing allows a first region included in a two-dimensional point cloud obtained by converting a three-dimensional point cloud using a captured image to be superimposed on a second region included in a two-dimensional captured image based on an image captured using light.
  • objects that are difficult to see only in a two-dimensional captured image or only in a two-dimensional point cloud can be easily confirmed by comparing both the two-dimensional captured image and the two-dimensional point cloud. This makes it possible to improve the visibility of information based on radar information.
  • the moving body 110 is an air vehicle such as a drone that moves by remote control or operation by an operator or automatically according to a predetermined algorithm, etc.
  • the moving body 110 may be equipped with devices, apparatuses, etc. that realize the functions of a transmitting unit 111, a receiving unit 112, a transmitting unit 113, etc.
  • the moving body 110 is not limited to an aircraft, and may be a vehicle such as an automobile.
  • the moving body 110 may further include a movement control unit (not shown) for controlling its movement.
  • millimeter waves which are radio waves with wavelengths of 1 to 10 mm (millimeters).
  • One characteristic of millimeter waves is that they penetrate materials better than light.
  • Light includes visible light and infrared light, and this also applies below.
  • radar can use radio waves of various wavelengths, not just millimeter waves.
  • microwaves can be used, or microwaves with wavelengths longer than light.
  • Microwaves are radio waves with wavelengths of 1 meter or less, such as ultra-short waves, centimeter waves, millimeter waves, and submillimeter waves.
  • Ultra-short waves, centimeter waves, and submillimeter waves have wavelengths of 0.1 to 1 m (meters), 1 to 10 cm (centimeters), and 0.1 to 1 mm, respectively.
  • the scanning area is an area that is predetermined to be scanned by the radar.
  • the scanning area may be, for example, outdoors or indoors.
  • the scanning area may be an area where a metal object or the like may be placed on the ground surface or may be partially or completely buried underground.
  • the metal object or the like can be detected using radar information obtained by scanning such a scanning area with a radar.
  • the scanning area may be a predetermined area of a building or the like.
  • radar information obtained by scanning such a scanning area with a radar it is possible to detect the condition of pipes, reinforcing bars, etc. arranged inside or outside the walls of the building or the like, and to discover abnormalities in the pipes, reinforcing bars, etc.
  • buildings include, but are not limited to, buildings and bridges.
  • the mobile body 110 moves while the transmitter 111 transmits radar and the receiver 112 receives the reflected waves. This allows the radar to scan the scanning area and obtain radar information related to the reflected waves.
  • radar information is information obtained using the mobile body 110, and more specifically, information obtained using an aircraft such as a drone, a vehicle, etc.
  • the mobile object 110 may transmit radar waves and receive the reflected waves while flying at a height of about 10 m.
  • Various common methods may be used for the radar transmission method. Examples of radar transmission methods include frequency-controlled modulation (FMCW), pulse, continuous wave Doppler (CWD), two-frequency CW, and pulse compression.
  • FMCW frequency-controlled modulation
  • CWD continuous wave Doppler
  • two-frequency CW two-frequency CW
  • pulse compression two-frequency CW
  • the transmitter 113 transmits the radar information to the information processing device 130, for example, via the network NT1.
  • the network NT1 is typically a wireless line, but may also include at least a wired line in part.
  • the transmitter 113 may transmit the radar information in real time, or may transmit multiple pieces of radar information generated at different times together.
  • Radar information is, for example, information about the reflected waves of the radar emitted into the scanning space.
  • radar information associates one or more of the intensity of the reflected waves, the observation position, the observation direction, the observation time, etc.
  • the observation position is the position in real space where the observation is performed, and may be at least one of the following: the radar transmission position, the reception position of the reflected wave, a position obtained using the transmission position and reception position, such as a position midway between the transmission position and reception position.
  • the observation position is expressed, for example, by latitude, longitude, height, etc., and may be obtained by equipping the mobile body 110 with a GPS (Global Positioning System) function. Note that the observation position is not limited to the examples given here.
  • the observation direction may be at least one of the radar transmission direction, the reflected wave reception direction, a direction obtained using the transmission direction and reception direction, etc.
  • the receiver 112 may include one or more antennas to obtain the reception direction.
  • the observation time is information indicating the time of observation, for example, the observation time.
  • the observation time may be at least one of the following: the radar transmission time (for example, the transmission time), the reception time of the reflected wave (for example, the transmission time), a time associated with the transmission time and the reception time, such as midway between the transmission time and the reception time.
  • the observation time may be obtained by providing the mobile body 110 with a timekeeping function.
  • the image capturing device 120 is a device for capturing an image of the operation area using light.
  • the light includes visible light and infrared light.
  • the image capturing device 120 is a visible light camera.
  • the image capturing device 120 is an infrared camera, a near infrared camera, or a far infrared camera, respectively.
  • the imaging device 120 generates an image of the scanning area and transmits the image to the information processing device 130, for example, via the network NT2.
  • the captured image is, for example, a color image such as an RGB image.
  • the captured image may also be a monochrome image.
  • Network NT2 is typically a wireless line, but may include at least a wired line. Note that network NT1 and network NT2 may be partly or entirely a common network, or partly or entirely different networks.
  • the image capturing device 120 may be fixed in position, or may be mounted on the above-mentioned mobile body 110 or a mobile body different from the mobile body 110.
  • This mobile body may be an aerial vehicle such as a drone, or a vehicle such as an automobile.
  • this mobile body may move by remote control or operation by an operator, or automatically by a predetermined algorithm, etc.
  • the imaging device 120 is mounted on a moving body, it is preferable to image the scanning area by having the imaging device 120 capture images while moving.
  • the imaging device 120 may capture images of the scanning area while moving.
  • the imaging device 120 may transmit captured images in real time, or may transmit multiple images captured at different times together.
  • the photographing device 120 may transmit photographing information that associates at least one of the photographing location and the photographing time with the photographed image.
  • the shooting position is the position in real space where the image was captured.
  • the shooting position is expressed, for example, by latitude, longitude, and altitude, and may be obtained by equipping the image capture device 120 or a mobile object carrying the image capture device 120 with a GPS (Global Positioning System) function. Note that the shooting position is not limited to the example given here.
  • the shooting time is the time when the image was taken, for example the time of the image. Note that the shooting time is not limited to the examples given here.
  • the information processing device 130 may include an attachment unit 133 and a display unit 135 in addition to a first acquisition unit 131 , a second acquisition unit 132 , and a display control unit 134 .
  • the display unit 135 may be provided on a device other than the information processing device 130, and may be connected to the information processing device 130 via a network configured, for example, via a wired or wireless connection, or a combination of these, so that information can be transmitted and received between the information processing device 130 and the display unit 135.
  • the information processing executed by the information processing device 130 may include steps S101 to S104 as shown in Fig. 5. Steps S101 and S104 are as described above.
  • the second acquisition unit 132 may, for example, further detect an area in the two-dimensional captured image where an object exists, and may further acquire label information assigned to the object included in the two-dimensional captured image.
  • the assignment unit 133 may assign label information to the two-dimensional point cloud based on, for example, the positional relationship between the two-dimensional point cloud and the object in the two-dimensional captured image.
  • the first acquisition unit 131 (Regarding the first acquisition unit 131)
  • the first acquisition unit 131 generates a three-dimensional point cloud based on, for example, radar information transmitted from the transmission unit 113, and generates a two-dimensional point cloud by converting the three-dimensional point cloud.
  • the first acquisition unit 131 generates three-dimensional information related to the three-dimensional point cloud based on the radar information transmitted from the transmission unit 113.
  • the three-dimensional point cloud is a cloud of points in three-dimensional space that corresponds to the scanned area.
  • the scanned area may be within an object, such as within the walls of a building, or may be underground.
  • the three-dimensional point cloud may include a cloud of points that indicate within an object, such as within the walls of a building, or underground.
  • the three-dimensional information is information that associates a three-dimensional point cloud with a certainty factor.
  • the certainty factor is a value that corresponds to the likelihood that an object exists in the associated three-dimensional point cloud.
  • the certainty factor may be calculated according to the intensity of the reflected wave in the three-dimensional point cloud, and is, for example, a value that indicates the probability that an object exists in the three-dimensional point cloud.
  • the three-dimensional point cloud may be represented by identification information for identifying each of the three-dimensional point clouds and the position of each of the three-dimensional point clouds.
  • the three-dimensional information is information that associates the identification information for identifying each of the three-dimensional point clouds, the position of each of the three-dimensional point clouds, and the reliability.
  • the first acquisition unit 131 may, for example, calculate the distance at each point in the three-dimensional space using a fast Fourier transform (FFT) based on the radar information, and integrate the calculated distances to calculate the angle or position. Also, for example, the first acquisition unit 131 may determine, for each three-dimensional space, a reliability value that is larger the more an object exists at each point in the three-dimensional space, based on the radar information. This allows the first acquisition unit 131 to generate three-dimensional information.
  • FFT fast Fourier transform
  • the multiple pieces of radar information may be generated and transmitted by each of the multiple mobile bodies 110.
  • the mobile body 110 may also have multiple sets of transmitters 111 and receivers 112.
  • the multiple pieces of radar information may be generated by each of the multiple sets of transmitters 111 and receivers 112 and transmitted from one or multiple transmitters 113.
  • the first acquisition unit 131 generates two-dimensional information related to the two-dimensional point cloud, for example, by converting the three-dimensional point cloud.
  • This transformation is a projection onto a predetermined projection plane.
  • the two-dimensional point cloud is a point cloud in which a three-dimensional point cloud is projected onto a projection plane.
  • Figure 6(a) shows an example of projecting a three-dimensional point cloud onto a two-dimensional point cloud on a projection plane.
  • the projection plane is a plane that corresponds to the ground surface included in the scanning area or a plane parallel to the ground surface at a predetermined distance in either the up or down direction from the ground surface.
  • a general technique for transforming an image such as an affine transformation or a homography transformation.
  • the conversion from a three-dimensional point cloud to a two-dimensional point cloud is not limited to a general technique for transforming an image, and for example, a technique for transforming a coordinate system may be used.
  • the projection plane is not limited to the one exemplified here, and for example does not have to be parallel to the earth's surface, and may be defined using altitude, etc., instead of distance to the earth's surface.
  • the two-dimensional information is information for associating, for each two-dimensional point cloud, at least a portion of the following: identification information for identifying each two-dimensional point cloud, a position on the projection plane, a corresponding three-dimensional point cloud, and a confidence level, which is a value corresponding to the likelihood that an object exists.
  • the corresponding 3D point cloud is information about the 3D point cloud from which it is projected.
  • the corresponding three-dimensional point clouds may be identification information for identifying each of the three-dimensional point clouds. This makes it possible to associate each piece of information included in the three-dimensional information with each of the two-dimensional point clouds using the identification information and the three-dimensional information.
  • the corresponding three-dimensional point cloud may include one or more of the pieces of information included in the three-dimensional information, namely, identification information for identifying each of the three-dimensional point clouds, the position of each of the three-dimensional point clouds, and the reliability.
  • the two-dimensional information can directly include information on the corresponding three-dimensional point cloud, thereby associating information on the three-dimensional point cloud from which it is projected.
  • the degree of confidence contained in the two-dimensional information may be set based on the degree of confidence assigned to the corresponding three-dimensional point cloud.
  • the degree of confidence contained in the two-dimensional information may be the same as the degree of confidence assigned to the corresponding three-dimensional point cloud, for example.
  • multiple 3D point groups may be projected onto a common position on the projection plane.
  • the corresponding 3D point cloud may be the plurality of 3D point clouds, or may be a 3D point cloud that is representative of the plurality of 3D point clouds (e.g., the 3D point cloud closest to the projection plane, the 3D point cloud associated with the greatest confidence, etc.).
  • the confidence level included in the two-dimensional information may be, for example, the average of the confidence levels associated with the plurality of such three-dimensional point clouds. If the corresponding three-dimensional point cloud is a three-dimensional point cloud closest to the projection plane, the confidence level included in the two-dimensional information may be, for example, the confidence level associated with the closest three-dimensional point cloud. If the corresponding three-dimensional point cloud is a three-dimensional point cloud with which the maximum confidence level is associated, the confidence level included in the two-dimensional information may be, for example, the confidence level of the three-dimensional point cloud.
  • the second acquisition unit 132 acquires a two-dimensional captured image as described above based on the captured image of the scanning area transmitted from the imaging device 120.
  • the second acquisition unit 132 may further detect an area in the two-dimensional captured image where an object exists.
  • the area in the two-dimensional captured image where an object exists is the second area.
  • the second acquisition unit 132 may further acquire label information assigned to the object included in the two-dimensional captured image.
  • a two-dimensional captured image is an image obtained by deforming the captured image of the scanning area so that the coordinate system used for the captured image of the scanning area is a common coordinate system for the two-dimensional point cloud.
  • a two-dimensional captured image can also be said to be a captured image of the scanning area expressed in a common coordinate system for the two-dimensional point cloud.
  • the captured image may also be a two-dimensional image, but in this disclosure, in order to distinguish between images before and after deformation, the image before deformation is referred to as the captured image, and the image after deformation is referred to as the two-dimensional captured image.
  • the target object is a predefined object.
  • the target object may be any object that may be present in the scanning area.
  • the label information may include at least one of class identification information and class confidence.
  • Class identification information is information for identifying the class (type of object) to which an object belongs.
  • the class (type of object) may be one or more of, for example, metal objects, plants, rocks, etc.
  • the class identification information may be represented, for example, by one or more combinations of letters, numbers, symbols, etc. that are assigned in advance to each class.
  • the class confidence is a value that indicates the likelihood that an object belongs to a class, and is expressed, for example, as a continuous value in a predetermined range.
  • Such label information may be obtained by human input or automatically using an object detection model.
  • the object detection model is a machine learning model for detecting objects and assigning class information to the objects, and when an image is input, it may output class information associated with the object contained in the image.
  • the object detection model may perform learning using a learning image and ground truth data that includes class information of the object in the image.
  • Such an object detection model may be a general machine learning model for detecting objects from images.
  • Examples of techniques that may be applied to such object detection models include R-CNN, YOLO, SSD, Fast R-CNN, and Faster R-CNN.
  • label information for the object may be assigned by placing a marker on the ground that indicates the object's position, and the label information may be assigned to the buried object through human input or automatic detection using an object detection model.
  • the label information may be associated with the position of a frame (e.g., a rectangular frame circumscribing the object) surrounding the object in the two-dimensional captured image.
  • FIG. 7 is a diagram showing an example of a two-dimensional captured image to which a frame surrounding the object has been added.
  • the area corresponding to the object in the two-dimensional captured image (the image of second areas Qa to Qc) is shown by hatching.
  • the label information may further include the position of the frame surrounding the object in the two-dimensional captured image.
  • the frame is not limited to a rectangle, and the shape, etc. may be changed as appropriate.
  • the label information may be associated with each pixel corresponding to the object.
  • the label information may further include information indicating the position of the pixel to which the label is assigned.
  • the label information may be associated with a region (mask) in the two-dimensional captured image that corresponds to the object.
  • the label information may further include information indicating the region in the two-dimensional captured image that corresponds to the object.
  • the assigning unit 133 assigns label information to the two-dimensional point cloud based on the positional relationship between the two-dimensional point cloud and an object in the two-dimensional captured image.
  • the assigning unit 133 may specify, as the first region, a region in a plane (e.g., a projection plane) including the two-dimensional point cloud that corresponds to the second region of the two-dimensional captured image.
  • a plane e.g., a projection plane
  • the first region is the region in the two-dimensional point cloud where the object exists.
  • the second region is the region in the two-dimensional captured image where the object exists. This makes it possible to identify the first region corresponding to the object on a plane (e.g., a projection plane) that includes the two-dimensional point cloud.
  • the assignment unit 133 may assign label information to the two-dimensional point cloud included in the first region. This makes it possible to assign label information to the two-dimensional point cloud corresponding to the target object.
  • the label information may be associated with the position of a frame (e.g., a rectangular frame circumscribing the object) surrounding the object in the two-dimensional point cloud.
  • FIG. 6(b) is a diagram showing an example of an image including a two-dimensional point cloud to which a frame surrounding the object has been added.
  • the point cloud corresponding to the object (the point cloud of the first region Pa to Pc) is shown as a set of points.
  • the label information may further include the position of the frame surrounding the object in the two-dimensional point cloud.
  • the frame is not limited to being rectangular, and the shape, etc. may be changed as appropriate.
  • the label information may be associated with each of the two-dimensional point clouds.
  • the label information may further include information indicating the position of each of the two-dimensional point clouds to which the label is assigned.
  • the label information may be associated with a region (mask) in the two-dimensional point cloud that corresponds to the object.
  • the label information may further include information indicating the region in the two-dimensional point cloud that corresponds to the object.
  • the assigning unit 133 may assign label information to the two-dimensional point cloud associated with the degree of certainty.
  • the label information may be assigned to the two-dimensional point cloud whose degree of certainty is equal to or greater than a predetermined reference value.
  • the first region is a region of the two-dimensional point cloud that includes the two-dimensional point cloud whose associated degree of certainty is equal to or greater than a reference value.
  • the assigning unit 133 may assign the label information to a three-dimensional point group corresponding to the two-dimensional point group to which the label information is assigned, using the two-dimensional point group to which the label information is assigned and the two-dimensional information. This allows the label information to be assigned to the three-dimensional point group.
  • the label information may be assigned to the two-dimensional point group based on the positional relationship, and may be assigned to the three-dimensional point group associated with the two-dimensional point group by the two-dimensional information.
  • the label information may be associated with each of the three-dimensional point clouds.
  • the label information may be associated with the position of a frame that surrounds an object in the three-dimensional point cloud (e.g., a rectangular frame that circumscribes the object).
  • the label information may be associated with a region (mask) that corresponds to the object in the three-dimensional point cloud.
  • the assigning unit 133 may assign label information to a point group in a specific region different from the two-dimensional point group and the three-dimensional point group based on the two-dimensional point group to which the label information has been assigned. That is, the label information may be further assigned to a point group in a specified specific region based on the two-dimensional point group to which the label information has been assigned.
  • the specific area is an area that is appropriately specified.
  • a specific plane different from the projection plane may be specified, and the specific area may be defined based on the specific plane.
  • the specific plane may be specified, for example, using a distance from the ground surface (e.g., height).
  • the specific area is, for example, an area in the vicinity of the specific plane.
  • the specific area is an area within a predetermined range in the vertical direction from the specific plane. This predetermined range may be a height specified by the user, or may be determined in advance.
  • the label information may be associated with each point cloud of the specific region.
  • the label information may be associated with the position of a frame that surrounds an object in the point cloud of the specific region (e.g., a rectangular frame that circumscribes the object).
  • the label information may be associated with a region (mask) that corresponds to the object in the point cloud of the specific region.
  • the label information may be preferentially selected from the two-dimensional point clouds with the highest reliability associated with them, and assigned to the point cloud of the specific region corresponding to the selected two-dimensional point cloud.
  • the display control unit 134 performs processing to display various information on the display unit 135. For example, as described above, the display control unit 134 displays a fusion image on the display unit 135. As described above, the fusion image is an image obtained by superimposing a first region and a second region that correspond to each other in the two-dimensional point cloud and the two-dimensional captured image, respectively.
  • FIG. 8 and 9 shows an example of a fusion image based on a common two-dimensional point cloud and two-dimensional captured images.
  • the point cloud corresponding to the object point cloud of first regions Pa-Pc
  • the image corresponding to the object image of second regions Qa-Qc
  • hatching the image corresponding to the object
  • the fusion image an example is shown in which three pairs of first regions Pa-Pc and second regions Qa-Qc are associated in the fusion image. Note that the number of pairs of associated first regions and second regions is not limited to three, and at least one pair is sufficient.
  • the fusion image in FIG. 8 shows an example that further includes a contour image showing the area of the object.
  • This contour image may be an image showing the first area Pa-Pc obtained based on the two-dimensional point cloud, or may be an image showing the second area Qa-Qc obtained based on the two-dimensional captured image.
  • the display control unit 134 may generate a contour image showing at least one of the first regions Pa-Pc and the second regions Qa-Qc contained in the two-dimensional point cloud and/or the two-dimensional captured image based on the two-dimensional point cloud and/or the two-dimensional captured image. Then, the display control unit 134 may cause the display unit 135 to display a fusion image including the contour image.
  • the fusion image in FIG. 9 is a diagram showing an example in which the fusion image further includes a label image based on label information assigned to at least one of the first regions Pa-Pc and the second regions Qa-Qc.
  • the label image is an image showing the region to which the label information has been assigned (at least one of the first regions Pa-Pc and the second regions Qa-Qc).
  • FIG. 9 shows an example in which the label image is a rectangular frame surrounding the region to which the label information has been assigned.
  • the display control unit 134 may identify the label information assigned to at least one of the first regions Pa-Pc and the second regions Qa-Qc contained in the two-dimensional point cloud and the two-dimensional captured image based on the label information assigned to at least one of the two-dimensional point cloud and the two-dimensional captured image. Then, the display control unit 134 may cause the display unit 135 to display a fusion image including a label image based on the label information assigned to at least one of the first region and the second region.
  • the label image is not limited to a surrounding rectangular frame, and its shape may be changed as appropriate, as long as it can indicate the region.
  • the fusion image may also include label information (at least one of class identification information and class confidence) expressed using letters, numbers, symbols, etc.
  • contour image and label image are respectively attached to all associated first and second regions.
  • the contour image or label image may be attached to the associated first and second regions only for a specific type of object (e.g., metal object) designated by the user.
  • the information processing device 130 physically includes, for example, a bus 1010 , a processor 1020 , a memory 1030 , a storage device 1040 , a network interface 1050 , an input interface 1060 , and an output interface 1070 .
  • the bus 1010 is a data transmission path for the processor 1020, memory 1030, storage device 1040, network interface 1050, input interface 1060, and output interface 1070 to transmit and receive data to and from each other.
  • the method of connecting the processor 1020 and other components to each other is not limited to bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • Memory 1030 is a main storage device realized by a RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by a hard disk drive (HDD), a solid state drive (SSD), a memory card, or a read only memory (ROM).
  • the storage device 1040 stores program modules for realizing the functions of the information processing device 130 that includes it.
  • the processor 1020 loads each of these program modules into the memory 1030 and executes them to realize the function corresponding to that program module.
  • the network interface 1050 is an interface for connecting the information processing device 130 that is equipped with it to the network NT.
  • the input interface 1060 is an interface through which the user inputs information.
  • the input interface 1060 is composed of, for example, a touch panel, a keyboard, a mouse, etc.
  • the output interface 1070 is an interface for presenting information to the user.
  • the output interface 1070 is composed of, for example, a liquid crystal panel, an organic EL (Electro-Luminescence) panel, etc.
  • the physical configuration of the information processing device 130 is not limited to this.
  • the information processing device 130 may be composed of multiple devices.
  • each device may be, for example, a computer or the like having a similar physical configuration to the information processing device 130 shown in FIG. 4.
  • the information processing device 130 includes the first acquisition unit 131, the second acquisition unit 132, and the display control unit 134.
  • the first acquisition unit 131 generates a two-dimensional point cloud by converting the three-dimensional point cloud based on the radar information.
  • the second acquisition unit 132 acquires a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud based on an image captured using light.
  • the display control unit 134 causes the display unit 135 to display a fusion image in which corresponding first and second regions in the two-dimensional point cloud and the two-dimensional captured image are superimposed.
  • the visibility of information based on radar information can be improved by using captured images that can be easily obtained using light. Therefore, it becomes possible to easily improve the visibility of information based on radar information.
  • the two-dimensional point cloud is a point cloud in which the three-dimensional point cloud is projected onto a projection plane.
  • two-dimensional information is generated for each of the two-dimensional point clouds to associate a position on the projection plane with a certainty, which is a value corresponding to the likelihood that an object exists.
  • the first region is a region of the two-dimensional point cloud that includes two-dimensional points whose associated certainty is equal to or greater than a reference value.
  • a 2D point cloud with low confidence is usually a point cloud where it is ambiguous whether an object exists or not.
  • a region that includes a 2D point cloud with a confidence level equal to or higher than a reference value is designating a region that includes a 2D point cloud with a confidence level equal to or higher than a reference value as the first region. This makes it possible to improve the accuracy of assigning label information.
  • a second region in which an object exists in the two-dimensional captured image is further detected.
  • the fusion image further includes a contour image showing the area of the object.
  • the three-dimensional point cloud includes a point cloud that represents the inside of an object or underground.
  • radar information is information acquired using an aircraft.
  • the information processing device 130 further includes an assignment unit 133 that assigns label information to the two-dimensional point cloud based on the positional relationship between the two-dimensional point cloud and the object in the two-dimensional captured image.
  • the second acquisition unit 132 further acquires the label information assigned to the object included in the two-dimensional captured image.
  • the first region and the second region are regions in which objects to which label information has been assigned exist in the two-dimensional point cloud and the two-dimensional captured image, respectively.
  • the fusion image further includes a label image based on the label information assigned to at least one of the first region and the second region.
  • the first acquisition unit 131 includes a radar information acquisition unit 131a, a three-dimensional information acquisition unit 131b, and a projection unit 131c, as shown in FIG. 11, for example.
  • the radar information acquisition unit 131a acquires radar information.
  • the three-dimensional information acquisition unit 131b acquires three-dimensional information related to the three-dimensional point cloud based on the radar information acquired by the radar information acquisition unit 131a.
  • the projection unit 131c uses the three-dimensional information acquired by the three-dimensional information acquisition unit 131b to generate two-dimensional information about a two-dimensional point cloud by projecting the three-dimensional point cloud onto a projection plane.
  • the first acquisition unit 131 executes a first acquisition process (step S101) as shown in FIG. 12, for example.
  • the radar information acquisition unit 131a acquires radar information from the transmission unit 113, for example, via the network NT1 (step S101a).
  • the three-dimensional information acquisition unit 131b acquires three-dimensional information related to the three-dimensional point cloud based on the radar information acquired in step S101a (step S101b).
  • the projection unit 131c uses the three-dimensional information acquired in step S101b to generate two-dimensional information about the two-dimensional point cloud by projecting the three-dimensional point cloud onto the projection plane (step S101c), and returns to information processing (see FIG. 3).
  • the projection unit 131c when the projection unit 131c receives information for identifying the projection plane, it projects the three-dimensional point group onto the projection plane to generate a two-dimensional point group on the projection plane.
  • the projection unit 131c assigns identification information to each of the two-dimensional point groups according to a predetermined rule.
  • the projection unit 131c associates this identification information with the position of the two-dimensional point group on the projection plane.
  • the projection unit 131c also determines the certainty of the two-dimensional point group based on the certainty associated with the three-dimensional point group corresponding to the two-dimensional point group.
  • the projection unit 131c then generates two-dimensional information in which each of the two-dimensional point groups is associated with the identification information, the position of the two-dimensional point group on the projection plane, the corresponding three-dimensional point group, and a certainty that is a value corresponding to the likelihood that an object exists in the two-dimensional point group. Generating two-dimensional information to generate two-dimensional information.
  • the first acquisition unit 131 includes the radar information acquisition unit 131a, the three-dimensional information acquisition unit 131b, and the projection unit 131c.
  • the radar information acquisition unit 131a acquires radar information.
  • the three-dimensional information acquisition unit 131b acquires three-dimensional information about a three-dimensional point cloud based on the radar information acquired by the radar information acquisition unit 131a.
  • the projection unit 131c uses the three-dimensional information acquired by the three-dimensional information acquisition unit 131b to generate two-dimensional information about a two-dimensional point cloud by projecting the three-dimensional point cloud onto a projection plane.
  • the second acquisition unit 132 includes, for example, a captured image acquisition unit 132a, an image transformation unit 132b, and an image label acquisition unit 132c, as shown in FIG. 13.
  • the captured image acquisition unit 132a acquires the captured image taken using light.
  • the image transformation unit 132b transforms the captured image acquired by the captured image acquisition unit 132a into a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud.
  • the image label acquisition unit 132c acquires the label information assigned to the object contained in the two-dimensional captured image acquired by the image transformation unit 132b.
  • the second acquisition unit 132 executes a second acquisition process (step S102) as shown in FIG. 14, for example.
  • the captured image acquisition unit 132a acquires captured images from the imaging device 120, for example, via the network NT2 (step S102a).
  • the image transformation unit 132b transforms the captured image acquired in step S101a into a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud (step S102b).
  • the image transformation unit 132b transforms the captured image into a two-dimensional captured image so that the positions in real space of the pixels contained in the captured image coincide with the positions in real space of the two-dimensional point cloud.
  • step S102b may be performed as necessary.
  • the process of step S102b may be performed when the coordinate systems of the captured image acquired in step S101a and the two-dimensional point cloud generated in step S101c are different, but may not be performed when they are the same.
  • the image label acquisition unit 132c acquires the label information assigned to the object contained in the two-dimensional captured image acquired in step S102b (step S102c), and returns to information processing (see FIG. 3).
  • the label information may be obtained by human input as described above, or may be obtained using an object detection model.
  • the two-dimensional captured image is an image obtained by deforming the captured image, the objects contained in the two-dimensional captured image and the captured image are the same. Therefore, in step S102c, instead of obtaining label information that has been applied to objects contained in the two-dimensional captured image, label information that has been applied to objects contained in the captured image may be obtained.
  • the second acquiring unit 132 includes the captured image acquiring unit 132a, the image transforming unit 132b, and the image label acquiring unit 132c.
  • the captured image acquisition unit 132a acquires a captured image captured using light.
  • the image transformation unit 132b transforms the acquired captured image into a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud.
  • the image label acquisition unit 132c acquires label information assigned to objects included in the two-dimensional captured image.
  • a first acquisition means for generating a two-dimensional point cloud by converting the three-dimensional point cloud based on the radar information
  • a second acquisition means for acquiring a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud based on a captured image captured using light
  • a display control means for causing a display means to display a fusion image in which a first region and a second region corresponding to each other in the two-dimensional point cloud and the two-dimensional captured image are superimposed.
  • two-dimensional information is generated for associating, for each of the two-dimensional point cloud, a position on the projection plane with a certainty value, which is a value corresponding to the likelihood that an object exists; 2.
  • the information processing device 1, wherein the first region is a region including the two-dimensional point cloud having the associated certainty factor equal to or greater than a reference value. 4.
  • the fusion image further includes a contour image indicating a region of the object. 6.
  • the information processing device according to any one of 1.
  • the three-dimensional point cloud includes a point cloud indicating an inside of an object or an underground.
  • the radar information is information acquired using an aircraft.
  • 8. further comprising an assignment means for assigning label information to the two-dimensional point cloud based on a positional relationship between the two-dimensional point cloud and an object in the two-dimensional captured image;
  • the second acquisition means further acquires the label information assigned to the object included in the two-dimensional captured image, the first area and the second area are areas in which the object to which the label information is assigned is present in the two-dimensional point cloud and the two-dimensional captured image, respectively;
  • the information processing device according to any one of 1.
  • the fusion image further includes a label image based on label information assigned to at least one of the first region and the second region.
  • the second acquisition means further acquires label information assigned to an object included in the two-dimensional captured image based on the captured image;
  • the first region is a region including the object to which the label information is assigned to the two-dimensional point cloud,
  • the information processing device according to any one of 1. to 7., wherein the fusion image further includes a label image based on label information assigned to the second region.
  • the second acquisition means further acquires label information assigned to an object included in the two-dimensional captured image based on the captured image; the second region is a region including the object to which the label information is assigned in the two-dimensional captured image,
  • the information processing device according to any one of 1. to 7., wherein the fusion image further includes a label image based on label information assigned to the first region.
  • the moving body is a transmitting means for transmitting the radar to the scanning area; a receiving means for receiving the reflected wave of the transmitted radar and generating the radar information relating to the reflected wave; and a transmitting means for transmitting the generated radar information.
  • a two-dimensional point cloud is generated by converting the three-dimensional point cloud based on the radar information; acquiring a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud based on a captured image captured using light; and displaying, on a display means, a fusion image obtained by superimposing a first region and a second region corresponding to each other in the two-dimensional point cloud and the two-dimensional captured image, respectively.
  • the two-dimensional point cloud is a point cloud obtained by projecting the three-dimensional point cloud onto a projection plane.
  • two-dimensional information is generated for associating, for each of the two-dimensional point cloud, a position on the projection plane with a certainty value, which is a value corresponding to the likelihood that an object exists; 14.
  • the information processing method according to 13 wherein the first region is a region including the two-dimensional point cloud having the associated certainty factor equal to or greater than a reference value.
  • 15. The information processing method according to any one of 12. to 14., wherein acquiring the two-dimensional captured image further detects the second region in the two-dimensional captured image, the second region being a region in which an object exists.
  • the fusion image further includes a contour image indicating a region of the object. 17. 17.
  • the information processing method according to any one of 12 to 16, wherein the three-dimensional point cloud includes a point cloud that indicates an inside of an object or an underground. 18. 18. The information processing method according to any one of 12 to 17, wherein the radar information is information acquired using an aircraft. 19. further comprising: assigning label information to the two-dimensional point cloud based on a positional relationship between the two-dimensional point cloud and an object in the two-dimensional captured image; By acquiring the two-dimensional captured image, the label information assigned to the object included in the two-dimensional captured image is acquired, the first area and the second area are areas in which the object to which the label information is assigned is present in the two-dimensional point cloud and the two-dimensional captured image, respectively; 19. The information processing method according to any one of 12.
  • the fusion image further includes a label image based on label information assigned to at least one of the first region and the second region.
  • 20. further comprising: assigning label information to the two-dimensional point cloud based on a positional relationship between the two-dimensional point cloud and an object in the two-dimensional captured image; By acquiring the two-dimensional captured image, label information assigned to an object included in the two-dimensional captured image is acquired based on the captured image, the first region is a region including the object to which the label information is assigned to the two-dimensional point cloud, 19.
  • the information processing method according to any one of 12. to 18., wherein the fusion image further includes a label image based on label information assigned to the second region.
  • the second region is a region including the object to which the label information is assigned in the two-dimensional captured image, 19.
  • a two-dimensional point cloud is generated by converting the three-dimensional point cloud based on the radar information; acquiring a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud based on a captured image captured using light; A program for displaying, on a display means, a fusion image obtained by superimposing a first region and a second region corresponding to each other in the two-dimensional point cloud and the two-dimensional captured image, respectively.
  • the two-dimensional point cloud is a point cloud obtained by projecting the three-dimensional point cloud onto a projection plane.
  • two-dimensional information is generated for associating, for each of the two-dimensional point cloud, a position on the projection plane with a certainty value, which is a value corresponding to the likelihood that an object exists; 24.
  • the first region is a region including the two-dimensional point cloud having the associated certainty factor equal to or greater than a reference value.
  • acquiring the two-dimensional captured image further detects the second region in the two-dimensional captured image, the second region being a region in which an object exists.
  • the fusion image further includes a contour image indicating a region of the object. 27. 27.
  • the three-dimensional point cloud includes a point cloud that indicates an inside of an object or an underground. 28. 28.
  • the label information assigned to the object included in the two-dimensional captured image is acquired, the first area and the second area are areas in which the object to which the label information is assigned is present in the two-dimensional point cloud and the two-dimensional captured image, respectively; 29.
  • the fusion image further includes a label image based on label information assigned to at least one of the first region and the second region.
  • label information assigned to an object included in the two-dimensional captured image is acquired based on the captured image, the first region is a region including the object to which the label information is assigned to the two-dimensional point cloud, 29.
  • the fusion image further includes a label image based on label information assigned to the second region. 31.
  • the second region is a region including the object to which the label information is assigned in the two-dimensional captured image, 29.
  • a two-dimensional point cloud is generated by converting the three-dimensional point cloud based on the radar information; acquiring a two-dimensional captured image expressed in a coordinate system common to the two-dimensional point cloud based on a captured image captured using light;
  • a recording medium having a program recorded thereon for displaying, on a display means, a fusion image in which corresponding first and second regions in the two-dimensional point cloud and the two-dimensional captured image are superimposed.
  • two-dimensional information is generated for associating, for each of the two-dimensional point cloud, a position on the projection plane with a certainty value, which is a value corresponding to the likelihood that an object exists;
  • a program is recorded on the recording medium, the program being configured so that the first region is a region including the two-dimensional point cloud having the associated certainty factor equal to or greater than a reference value.
  • 35. 35. The recording medium according to any one of 32. to 34., wherein a program is recorded in which, in acquiring the two-dimensional captured image, the second region, which is a region in which an object is present in the two-dimensional captured image, is further detected. 36. 35.
  • the recording medium according to claim 34 on which a program is recorded in which the fusion image further includes a contour image indicating the region of the object.
  • 37. The recording medium according to any one of 32 to 36, wherein a program is recorded in which the three-dimensional point cloud includes a point cloud that indicates an inside of an object or an underground.
  • 38. The recording medium according to any one of claims 32 to 37, having a program recorded thereon, the radar information being information acquired using an aircraft. 39. and further executing the step of assigning label information to the two-dimensional point cloud based on a positional relationship between the two-dimensional point cloud and an object in the two-dimensional captured image.
  • the label information assigned to the object included in the two-dimensional captured image is acquired, the first area and the second area are areas in which the object to which the label information is assigned is present in the two-dimensional point cloud and the two-dimensional captured image, respectively;
  • the first region is a region including the object to which the label information is assigned to the two-dimensional point cloud, 39.
  • label information assigned to an object included in the two-dimensional captured image is acquired based on the captured image
  • the second region is a region including the object to which the label information is assigned in the two-dimensional captured image, 39.
  • the recording medium according to any one of 32. to 38., on which a program is recorded, in which the fusion image further includes a label image based on label information assigned to the first region.
  • Information processing system 110 Mobile body 111 Transmission unit 112 Reception unit 113 Transmission unit 120 Photographing device 130 Information processing device 131 First acquisition unit 131a Radar information acquisition unit 131b Three-dimensional information acquisition unit 131c Projection unit 132 Second acquisition unit 132a Photographed image acquisition unit 132b Image deformation unit 132c Image label acquisition unit 133 Assignment unit 134 Display control unit 135 Display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

情報処理装置は、第１取得部と第２取得部と表示制御部とを備える。第１取得部は、レーダ情報に基づいて、３次元点群を変換した２次元点群を生成する。第２取得部は、光を用いて撮影された撮影画像に基づいて、２次元点群と共通の座標系で表された２次元撮影画像を取得する。表示制御部は、２次元点群と２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示部に表示させる。

Description

情報処理装置、情報処理方法及び記録媒体
　本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
　例えば特許文献１には、地面に埋設されている地雷を検知する地雷検知装置が開示されている。この地雷検知装置では、本体にヒンジとアームを介してセンサヘッドが装着されている。センサヘッドに設けられた送受信手段が、地雷を検知しようとする範囲の地面に向けて電磁波のインパルスを送信する。地雷からの反射波が受信されるまでの時間、反射波の受信レベル、及び反射波を受信した時の送受信手段のｘ座標とｙ座標の位置に基づいて、地中に埋め込まれている地雷の３次元構造を示す情報が生成される。この３次元構造を示す情報から生成された表示用の画像情報に基づいて、画像が表示部に表示される。
特許第３７６８１０１号公報
　一般的に、特許文献１に記載された電磁波に基づく３次元構造を示す情報や、３次元構造を示す情報から生成された表示用の画像情報は、視認性が悪く、画像を見てもどのような物体が示されているのかを認識することが難しいという課題がある。
　本開示における情報処理装置は、
　レーダ情報に基づいて、３次元点群を変換した２次元点群を生成する第１取得手段と、
　光を用いて撮影された撮影画像に基づいて、前記２次元点群と共通の座標系で表された２次元撮影画像を取得する第２取得手段と、
　前記２次元点群と前記２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示手段に表示させる表示制御手段とを備える。
　本開示における情報処理方法は、
　１つ以上のコンピュータが、
　レーダ情報に基づいて、３次元点群を変換した２次元点群を生成し、
　光を用いて撮影された撮影画像に基づいて、前記２次元点群と共通の座標系で表された２次元撮影画像を取得し、
　前記２次元点群と前記２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示手段に表示させる。
　本開示における記録媒体は、
　１つ以上のコンピュータに、
　レーダ情報に基づいて、３次元点群を変換した２次元点群を生成し、
　光を用いて撮影された撮影画像に基づいて、前記２次元点群と共通の座標系で表された２次元撮影画像を取得し、
　前記２次元点群と前記２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示手段に表示させるためのプログラムが記録されたものである。
　本開示によれば、レーダ情報に基づく情報の視認性を向上させることが可能になる。
本開示に係る第１の情報処理システムの構成例を示すブロック図である。 本開示に係る第１の情報処理装置の構成例を示すブロック図である。 本開示に係る第１の情報処理装置の処理動作例を示すフローチャートである。 本開示に係る第１の情報処理装置の詳細な構成例を示すブロック図である。 本開示に係る第１の情報処理装置の詳細な処理動作例を示すフローチャートである。 （ａ）３次元点群を射影平面の２次元点群に射影し、（ｂ）対象物を囲む枠を付与した２次元点群を含む画像の一例を示す図である。 対象物を囲む枠を付与した２次元撮影画像の一例を示す図である。 本開示に係る融合画像の第１例を示す図である。 本開示に係る融合画像の第２例を示す図である。 本開示に係る第１の情報処理装置の物理的な構成例を示す図である。 本開示に係る第１取得部の構成例を示すブロック図である。 本開示に係る第１取得部の処理動作例を示すフローチャートである。 本開示に係る第２取得部の構成例を示すブロック図である。 本開示に係る第２取得部の処理動作例を示すフローチャートである。
　以下、本開示において図面は、１以上の実施の形態に関連付けられる。また、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
［実施形態１］
（概要）
　情報処理システム１００は、図１に示すように、移動体１１０、撮影装置１２０及び情報処理装置１３０を備える。
　移動体１１０は、レーダを用いて走査領域を走査したレーダ情報を生成するために移動する。移動体１１０は、発信部１１１と、受信部１１２と、送信部１１３とを含む。
　発信部１１１と、走査領域にレーダを発信する。受信部１１２は、発信されたレーダの反射波を受信して、当該反射波に関するレーダ情報を生成する。送信部１１３は、生成されたレーダ情報を送信する。
　撮影装置１２０は、走査領域を撮影して撮影画像を生成するための装置である。
　情報処理装置１３０は、図２に示すように、第１取得部１３１と、第２取得部１３２と、表示制御部１３４とを備える。
　第１取得部１３１は、レーダ情報に基づいて、３次元点群を変換した２次元点群を生成する。
　第２取得部１３２は、光を用いて撮影された撮影画像に基づいて、２次元点群と共通の座標系で表された２次元撮影画像を取得する。
　表示制御部１３４は、２次元点群と２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示部１３５に表示させる。なお、表示部１３５は、図２には示していない。
　一般的な３次元点群や２次元点群は、上述したように、視認性が悪く、これらの画像を見てもどのような物体が示されているのかを認識することが難しい。
　この情報処理システム１００によれば、３次元点群を変換した２次元点群に含まれる第１領域と、光を用いて撮影された撮影画像に基づく２次元撮影画像に含まれる第２領域とを、重ね合わせて表示させることができる。そのため、２次元撮影画像のみ、或いは２次元点群のみでは視認困難な対象物を、２次元撮影画像と２次元点群との両者を容易に画像で対比して確認することができる。従って、レーダ情報に基づく情報の視認性を向上させることが可能になる。
　また、この情報処理装置１３０によれば、情報処理システム１００と同様に、レーダ情報に基づく情報の視認性を向上させることが可能になる。
　また、例えば他の特許文献（特開２０１８－１６３０９６）には、三次元空間におけるオブジェクトの位置に基づいて、レーダ受信信号から取得される第１の信号強度マップにおけるオブジェクト領域を特定し、認識されたオブジェクトの種別とオブジェクト領域とを対応付ける情報処理方法が開示されている。
　当該他の特許文献によれば、三次元空間におけるオブジェクトの位置は、距離画像に基づいて算出される。この距離画像は、ＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、又はＬａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）により得られる。
　情報処理システム１００又は情報処理装置１３０によれば、他の特許文献に記載の距離画像とは異なり、光を用いて容易に取得できる撮影画像を用いて、レーダ情報に基づく情報の視認性を向上させることができる。従って、レーダ情報に基づく情報の視認性を容易に向上させることが可能になる。
　情報処理装置１３０は、図３に示すような情報処理を実行する。
　第１取得部１３１は、レーダ情報に基づいて、３次元点群を変換した２次元点群を生成する（ステップＳ１０１）。
　第２取得部１３２は、光を用いて撮影された撮影画像に基づいて、２次元点群と共通の座標系で表された２次元撮影画像を取得する（ステップＳ１０２）。
　表示制御部１３４は、２次元点群と２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示部１３５に表示させる（ステップＳ１０４）。
　この情報処理によれば、撮影画像を用いて、３次元点群を変換した２次元点群に含まれる第１領域と、光を用いて撮影された撮影画像に基づく２次元撮影画像に含まれる第２領域とを、重ね合わせて表示させることができる。そのため、２次元撮影画像のみ、或いは２次元点群のみでは視認困難な対象物を、２次元撮影画像と２次元点群との両者を容易に画像で対比して確認することができる。従って、レーダ情報に基づく情報の視認性を向上させることが可能になる。
　また、この情報処理によれば、上記他の特許文献に記載の距離画像とは異なり、光を用いて容易に取得できる撮影画像を用いて、レーダ情報に基づく情報の視認性を向上させることができる。従って、レーダ情報に基づく情報の視認性を容易に向上させることが可能になる。
（詳細例）
　以下、情報処理システム１００等の詳細例について説明する。
（移動体１１０の構成例）
　移動体１１０は、操作者の遠隔操作又は操縦によって或いは予め定められたアルゴリズム等によって自動的に移動するドローン等の飛行体である。移動体１１０には例えば、発信部１１１、受信部１１２、送信部１１３等の機能を実現する機器、装置等が搭載されるとよい。
　なお、移動体１１０は、飛行体に限らず、自動車等の車両であってもよい。また、移動体１１０は、その移動を制御するための移動制御部（図示せず）をさらに含んでもよい。
　レーダには、例えば、波長が１～１０［ｍｍ（ミリメートル）］の電波であるミリ波が好適に用いられる。ミリ波の特性として、光よりも物質の透過性がよい。「光」は、可視光及び赤外線を含み、以下においても同様である。
　なお、レーダには、ミリ波に限らず種々の波長の電波が用いられてよく、例えば、マイクロ波が用いられてもよく、光よりも長波長のマイクロ波が用いられてもよい。マイクロ波は、極超短波、センチ波、ミリ波、サブミリ波等の波長が1メートル以下の電波である。極超短波、センチ波、サブミリ波は、それぞれ、波長が０．１～１[ｍ（メートル）]、１～１０［ｃｍ（センチメートル）］、０．１～１［ｍｍ］である。
　走査領域は、レーダで走査するために予め定められた領域である。走査領域は、例えば、屋外であってもよく、屋内であってもよい。
　詳細には例えば、走査領域は、金属物等が地表に置かれている可能性或いは地中に一部又は全部が埋没している可能性がある領域であってもよい。このような走査領域をレーダで走査して得られるレーダ情報を用いて、当該金属物等を検出することができる。
　また例えば、走査領域は、建造物等の予め定められた領域をであってもよい。このような走査領域をレーダで走査して得られるレーダ情報を用いて、建造物等の壁内、壁外等に配設された配管、鉄筋等の状態を検出し、配管、鉄筋等の異常等を発見することができる。建造物は、例えば、ビル、橋等であるが、これらに限られない。
　移動体１１０は、例えば、発信部１１１がレーダを発信し、受信部１１２がその反射波を受信しながら移動する。これにより、走査領域をレーダで走査し、反射波に関するレーダを取得することができる。すなわち、レーダ情報は、移動体１１０を用いて取得される情報であって、詳細には例えばドローン等の飛行体、車両等を用いて取得される情報である。
　例えば移動体１１０がドローンである場合、１０ｍ程度の高さを飛行しながら、レーダの発信及びその反射波の受信を行うとよい。レーダの発信方式には種々の一般的な方式が適用されてよい。レーダの発信方式の例として、周波数連続変調（ＦＭＣＷ）、パルス、連続波ドプラ法（ＣＷＤ）、２周波ＣＷ、パルス圧縮を挙げることができる。
　そして、受信部１１２が、受信した反射波に関するレーダ情報を生成すると、送信部１１３は、例えばネットワークＮＴ１を介して情報処理装置１３０へレーダ情報を送信する。ネットワークＮＴ１は、典型的には無線回線であるが、有線回線を少なくとも一部に含んでもよい。送信部１１３は、リアルタイムでレーダ情報を送信してもよく、異なる時点で生成された複数のレーダ情報をまとめて送信してもよい。
　レーダ情報は、例えば、走査空間に発信されたレーダの反射波に関する情報である。詳細には例えば、レーダ情報は、反射波の強度、観測位置、観測方向、観測時期等の１つ又は複数を関連付ける。
　観測位置は、観測が行われた実空間上の位置であって、例えば、レーダの発信位置、反射波の受信位置、発信位置及び受信位置の中間等の発信位置及び受信位置を用いて得られる位置等の少なくとも１つでよい。観測位置は、例えば、緯度、経度、高さ等で表され、移動体１１０がＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）機能を備えることで取得されるとよい。なお、観測位置は、ここで例示したものに限られない。
　観測方向は、レーダの発信方向、反射波の受信方向、発信方向及び受信方向を用いて得られる方向等の少なくとも１つでよい。また、受信部１１２は、受信方向を得るために、１つ以上のアンテナを含むとよい。
　観測時期は、観測した時期を示す情報であって、例えば観測時刻である。観測時期は、レーダの発信時期（例えば、発信時刻）、反射波の受信時期（例えば、発信時刻）、発信時期及び受信時期の中間等の発信時期及び受信時期に関連付けられた時期等の少なくとも１つでよい。観測時期は、移動体１１０が計時機能を備えることで取得されるとよい。
（撮影装置１２０の構成例）
　撮影装置１２０は、光を用いて操作領域を撮影するための装置である。光は上述の通り可視光及び赤外線を含む。例えば可視光を用いる場合の撮影装置１２０は、可視光カメラである。例えば赤外線、近赤外線、遠赤外線を用いる場合の撮影装置１２０は、それぞれ、赤外線カメラ、近赤外線カメラ、遠赤外線カメラである。
　撮影装置１２０は、走査領域を撮影した撮影画像を生成し、撮影画像を例えばネットワークＮＴ２を介して情報処理装置１３０へ撮影画像を送信する。
　撮影画像は、例えば、ＲＧＢ画像のようなカラー画像である。なお、撮影画像は、モノクロ画像であってもよい。
　ネットワークＮＴ２は、典型的には無線回線であるが、有線回線を少なくとも一部に含んでもよい。なお、ネットワークＮＴ１及びネットワークＮＴ２は、一部又は全体が共通のネットワークであってもよく、一部又は全体が異なるネットワークであってもよい。
　撮影装置１２０は、位置が固定されていてもよく、上述の移動体１１０又は移動体１１０とは異なる移動体に搭載されてもよい。この移動体は、ドローン等の飛行体、自動車等の車両でよい。また、この移動体は、操作者の遠隔操作又は操縦によって或いは予め定められたアルゴリズム等によって自動的に移動するとよい。
　撮影装置１２０が移動体に搭載される場合、撮影装置１２０が移動しながら撮影することで走査領域を撮影するとよい。
　例えば撮影装置１２０が移動体に搭載される場合、撮影装置１２０が移動しながら撮影することで走査領域を撮影するとよい。この場合、撮影装置１２０は、撮影された画像をリアルタイムで送信してもよく、異なる時点に撮影された複数の画像をまとめて送信してもよい。
　撮影装置１２０は、撮影画像に、撮影位置、撮影時期の少なくとも１つを関連付けた撮影情報を送信してもよい。
　撮影位置は、撮影が行われた実空間上の位置である。撮影位置は、例えば、緯度、経度及び高さで表され、撮影装置１２０又はこれを搭載する移動体がＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）機能を備えることで取得されるとよい。なお、撮影位置は、ここで例示したものに限られない。
　撮影時期は、撮影が行われた時期であって、例えば撮影時刻である。なお、撮影時期は、ここで例示したものに限られない。
（情報処理装置１３０の機能的な構成例）
　情報処理装置１３０は、図４に示すように、第１取得部１３１、第２取得部１３２及び表示制御部１３４に加えて、付与部１３３と、表示部１３５とを備えてもよい。
　なお、表示部１３５は、例えば有線、無線、又はこれらを組み合わせて構成されたネットワークを介して情報処理装置１３０との間で互いに情報を送受信可能に接続された、情報処理装置１３０以外の装置が備えてもよい。
（情報処理装置１３０の処理動作例）
　情報処理装置１３０が実行する情報処理は、図５に示すように、ステップＳ１０１～Ｓ１０４を含んでもよい。ステップＳ１０１及びＳ１０４は、上述の通りである。
　ステップＳ１０２において第２取得部１３２は、例えば、２次元撮影画像において対象物が存在する領域をさらに検出してもよく、当該２次元撮影画像に含まれる対象物に付与されたラベル情報をさらに取得してもよい。
　ステップＳ１０３において付与部１３３は、例えば、２次元点群と２次元撮影画像における対象物との位置関係に基づいて、２次元点群にラベル情報を付与してもよい。
　このような情報処理装置１３０の機能的な構成例及び処理動作例に関する詳細について、以下説明する。
（第１取得部１３１について）
　第１取得部１３１は、例えば、送信部１１３から送信されたレーダ情報に基づいて、３次元点群を生成し、３次元点群を変換することで２次元点群を生成する。
　詳細には例えば、第１取得部１３１は、送信部１１３から送信されたレーダ情報に基づいて、３次元点群に関する３次元情報を生成する。
　３次元点群は、走査領域に対応する３次元空間における点群である。例えば、走査領域は上述の通り、建造物等の壁内のような物体内であってもよく、地中であってもよい。従って、３次元点群は、建造物の壁内等の物体内、又は地中を示す点群を含んでもよい。
　例えば、３次元情報は、３次元点群と、確信度とが関連付けられた情報である。確信度は、関連付けられた３次元点群に物体が存在する確からしさに対応する値である。確信度は、３次元点群における反射波の強度に応じて求められるとよく、例えば当該３次元点群に物体が存在する確率を示す値である。
　詳細には例えば、３次元点群は、３次元点群の各々を識別するための識別情報と、３次元点群の各々の位置とで表されてもよい。この場合の３次元情報は、３次元点群の各々を識別するための識別情報、３次元点群の各々の位置、及び信頼度が関連付けられた情報である。
　第１取得部１３１は、例えば、レーダ情報に基づいて、３次元空間上の各点において高速フーリエ変換（ＦＦＴ）により距離を算出し、算出された距離を統合して角度又は位置を算出するとよい。また例えば、第１取得部１３１は、レーダ情報に基づいて、３次元空間上の各点に物体が存在する程大きな値を持つような信頼度を、３次元空間ごとに求めるとよい。これにより、第１取得部１３１は、３次元情報を生成することができる。
　なお、レーダ情報は、複数であってもよい。この場合、複数のレーダ情報は、複数の移動体１１０のそれぞれで生成されて送信されてもよい。また、移動体１１０が複数組の発信部１１１及び受信部１１２を備えてもよい。複数のレーダ情報は、当該複数組の発信部１１１及び受信部１１２のそれぞれで生成されて、１つ又は複数の送信部１１３から送信されてもよい。
　第１取得部１３１は、例えば、３次元点群を変換することで、２次元点群に関する２次元情報を生成する。
　この変換は、予め定められる射影平面への射影である。すなわち、２次元点群は、３次元点群が射影平面に射影された点群である。図６（ａ）は、３次元点群を射影平面の２次元点群に射影する例を示す図である。
　射影平面は、走査領域に含まれる地表又は当該地表から上下いずれかの方向に予め定められた距離の、地表と平行な面に対応する平面である。
　このような３次元点群から２次元点群への変換には、例えば、アファイン変換、ホモグラフィ変換等の、画像を変形するための一般的な技術が用いられるとよい。なお、３次元点群から２次元点群への変換は、画像を変形するための一般的な技術に限られず、例えば座標系を変換するための技術等が用いられてもよい。
　なお、射影平面は、ここで例示したものに限られず、例えば地表に対して平行でなくてもよく、地表に対する距離の代わりに標高等を用いて規定されてもよい。
　例えば、２次元情報は、２次元点群の各々について、２次元点群の各々を識別するための識別情報、射影平面における位置、対応する３次元点群、物体が存在する確からしさに対応する値である確信度、の少なくとも一部を関連付けるための情報である。
　対応する３次元点群は、射影元の３次元点群に関する情報である。
　例えば、対応する３次元点群は、３次元点群の各々を識別するための識別情報であってもよい。これにより、当該識別情報と３次元情報とを用いて、２次元点群の各々に、３次元情報に含まれる各情報を関連付けることができる。
　また例えば、対応する３次元点群は、３次元情報に含まれる各情報、すなわち次元点群の各々を識別するための識別情報、３次元点群の各々の位置、及び信頼度の１つ又は複数を含んでもよい。これにより、２次元情報が対応する３次元点群の情報を直接含むことで、射影元の３次元点群に関する情報を関連付けることができる。
　２次元情報に含まれる確信度は、対応する３次元点群に付与された確信度に基づいて設定されるとよい。２次元情報に含まれる確信度は、例えば、対応する３次元点群に付与された確信度と同じでよい。
　ただし、射影平面に射影を行う場合、複数の３次元点群が射影平面における共通の位置に射影されることがある。
　このような場合、対応する３次元点群は、当該複数の３次元点群であってもよく、当該複数の３次元点群を代表する３次元点群（例えば、射影平面に最も近い３次元点群、最大の確信度が関連付けられた３次元点群等）であってもよい。
　また、対応する３次元点群が当該複数の３次元点群である場合、２次元情報に含まれる確信度は、例えば、当該複数の３次元点群に関連付けられた確信度の平均値でよい。対応する３次元点群が射影平面に最も近い３次元点群である場合、２次元情報に含まれる確信度は、例えば、当該最も近い３次元点群に関連付けられた確信度でよい。対応する３次元点群が、最大の確信度が関連付けられた３次元点群である場合、２次元情報に含まれる確信度は、例えば、当該３次元点群の確信度でよい。
（第２取得部１３２について）
　第２取得部１３２は、撮影装置１２０から送信された走査領域の撮影画像に基づいて、上述のように２次元撮影画像を取得する。第２取得部１３２は、さらに、当該２次元撮影画像において対象物が存在する領域を検出してもよい。２次元撮影画像において対象物が存在する領域は、第２領域である。第２取得部１３２は、さらに、当該２次元撮影画像に含まれる対象物に付与されたラベル情報を取得してもよい。
　２次元撮影画像は、走査領域の撮影画像に用いられる座標系が２次元点群と共通の座標系となるように、走査領域の撮影画像を変形した画像である。すなわち、２次元撮影画像は、２次元点群と共通の座標系で表された走査領域の撮影画像とも言える。なお、撮影画像も２次元の画像でよいが、本開示では、変形前後の画像を区別するために、変形前の画像を撮影画像、変形後の画像を２次元撮影画像と称している。
　対象物は、予め定められる物である。例えば、対象物は、走査領域に存在する可能性がある物であればよい。
　ラベル情報は、クラス識別情報と、クラス信頼度との少なくとも１つを含むとよい。
　クラス識別情報は、対象物が属するクラス（対象物の種類）を識別するための情報である。クラス（対象物の種類）は、例えば金属物、植物、岩石等の１つ以上である。
　クラス識別情報は、例えば、クラス毎に予め付与された文字、数字、記号等の１つ又は複数の組み合わせで表されるとよい。
　なお、クラス及びこれを表す方法は、ここで例示したものに限られない。
　クラス信頼度は、対象物がクラスに属する確からしさを示す値であって、例えば予め定められた範囲の連続値で表される。
　このようなラベル情報は、人の入力によって取得されてもよく、物体検出モデルを用いて自動的に取得されてもよい。
　物体検出モデルは、対象物を検出して対象物にクラス情報を付与するための機械学習モデルであって、画像を入力すると、当該画像に含まれる対象物に関連付けられたクラス情報を出力するとよい。物体検知モデルは、学習用の画像と、当該画像に対象物のクラス情報とを含む正解データを用いて、学習を行うとよい。
　このような物体検出モデルは、画像から物体を検出するための一般的な機械学習モデルであってよい。このような物体検出モデルに適用される技術の例として、Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤ、Ｆａｓｔ　Ｒ－ＣＮＮ、Ｆａｓｔｅｒ　Ｒ－ＣＮＮを挙げることができる。
　例えば対象物が地中に埋没している場合等には、当該対象物のラベル情報は、対象物の位置を示すマーカを地表に設け、人の入力又は物体検出モデルを用いた自動検出によって、地中に埋没した対象物にラベル情報が付与されてもよい。
　ラベル情報は、２次元撮影画像において対象物を囲む枠（例えば、対象物に外接する矩形の枠）の位置に関連付けられてもよい。図７は、対象物を囲む枠を付与した２次元撮影画像の一例を示す図である。図７では、２次元撮影画像において、対象物に対応する領域（第２領域Ｑａ～Ｑｃの画像）をハッチングで示している。この場合のラベル情報は、２次元撮影画像において対象物を囲む枠の位置をさらに含むとよい。なお、枠は、矩形に限られず、形状等が適宜変更されてもよい。
　ラベル情報を２次元撮影画像に付与する場合、ラベル情報は、対象物に対応する画素の各々に関連付けられてもよい。この場合のラベル情報は、ラベルが付与される画素の位置を示す情報をさらに含むとよい。ラベル情報は、２次元撮影画像において対象物に対応する領域（マスク）に関連付けられてもよい。この場合のラベル情報は、２次元撮影画像において対象物に対応する領域を示す情報をさらに含むとよい。
（付与部１３３について）
　付与部１３３は、２次元点群と２次元撮影画像における対象物との位置関係に基づいて、２次元点群にラベル情報を付与する。
（２次元点群へのラベル情報の付与）
　上述の通り、２次元点群と２次元撮影画像とは、これらを表す座標系が共通である。そのため、例えば、付与部１３３は、２次元点群を含む平面（例えば射影平面）において、２次元撮影画像の第２領域に対応する領域を、第１領域として特定するとよい。
　第１領域は、２次元点群において対象物が存在する領域である。第２領域は、２次元撮影画像において対象物が存在する領域である。これにより、２次元点群を含む平面（例えば射影平面）において、対象物に対応する第１領域を特定することができる。
　そして、付与部１３３は、第１領域に含まれる２次元点群にラベル情報を付与するとよい。これにより、対象物に対応する２次元点群にラベル情報を付与することができる。
　ラベル情報は、２次元点群において対象物を囲む枠（例えば、対象物に外接する矩形の枠）の位置に関連付けられてもよい。図６（ｂ）は、対象物を囲む枠を付与した２次元点群を含む画像の一例を示す図である。図６（ｂ）では、対象物に対応する点群（第１領域Ｐａ～Ｐｃの点群）を点の集合で示している。この場合のラベル情報は、２次元点群において対象物を囲む枠の位置をさらに含むとよい。なお、枠は、矩形に限られず、形状等が適宜変更されてもよい。
　ラベル情報を２次元点群に付与する場合、ラベル情報は、２次元点群の各々に関連付けられてもよい。この場合のラベル情報は、ラベルが付与される２次元点群の各々の位置を示す情報をさらに含むとよい。ラベル情報は、２次元点群において対象物に対応する領域（マスク）に関連付けられてもよい。この場合のラベル情報は、２次元点群において対象物に対応する領域を示す情報をさらに含むとよい。
　このとき、付与部１３３は、２次元情報にて確信度が予め定められた基準値以上である場合に、当該確信度が関連付けられた２次元点群にラベル情報を付与してもよい。すなわち、ラベル情報は、確信度が予め定められた基準値以上である２次元点群に付与されてもよい。この場合の第１領域は、２次元点群のうち、関連付けられた確信度が基準値以上の前記２次元点群を含む領域である。
（３次元点群へのラベル情報の付与）
　また上述の通り、２次元情報は、２次元点群と、その射影元の３次元点群とを対応付ける。そのため、付与部１３３は、ラベル情報が付与された２次元点群と、２次元情報とを用いて、ラベル情報が付与された２次元点群に対応する３次元点群に当該ラベル情報を付与してもよい。これにより、３次元点群にラベル情報を付与することができる。すなわち、ラベル情報は、位置関係に基づいて２次元点群に付与され、２次元情報にて２次元点群に関連付けられた３次元点群に付与されてもよい。
　ラベル情報を３次元点群に付与する場合、ラベル情報は、３次元点群の各々に関連付けられてもよい。ラベル情報は、３次元点群において対象物を囲む枠（例えば、対象物に外接する矩形の枠）の位置に関連付けられてもよい。ラベル情報は、３次元点群において対象物に対応する領域（マスク）に関連付けられてもよい。
（特定領域内の点群へのラベル情報の付与）
　さらに、付与部１３３は、ラベル情報が付与された２次元点群に基づいて、２次元点群及び３次元点群とは異なる特定領域内の点群にラベル情報を付与してもよい。すなわち、ラベル情報は、ラベル情報が付与された２次元点群に基づいて、指定される特定領域内の点群にさらに付与されてもよい。
　特定領域は、適宜指定される領域である。特定領域は、例えば、射影平面とは異なる特定平面が指定され、当該特定平面を基準に定められるとよい。
　特定平面は、例えば、地表からの距離（例えば、高さ）を用いて指定されるとよい。特定領域は、例えば、特定平面近傍の領域である。詳細には例えば、特定領域は、特定平面から、上下の高さ方向に所定範囲の領域である。この所定範囲は、ユーザによって指定される高さであってもよく、予め定められてもよい。
　ラベル情報を特定領域の点群に付与する場合、ラベル情報は、特定領域の点群の各々に関連付けられてもよい。ラベル情報は、特定領域の点群において対象物を囲む枠（例えば、対象物に外接する矩形の枠）の位置に関連付けられてもよい。ラベル情報は、特定領域の点群において対象物に対応する領域（マスク）に関連付けられてもよい。
　ここで、例えば特定領域の点群に対応する２次元点群のうち、ラベル情報が付与された２次元点群が複数存在することがある。この場合、ラベル情報は、２次元点群に関連付けられた信頼度が大きいものから優先的に選定し、当該選定された２次元点群に対応する特定領域の点群に付与されてもよい。
（表示制御部１３４について）
　表示制御部１３４は、表示部１３５に各種情報を表示させる処理を行う。表示制御部１３４は、例えば上述のように、融合画像を表示部１３５に表示させる。融合画像は、上述のように、２次元点群と２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた画像である。
　図８及び図９の各々は、共通の２次元点群及び２次元撮影画像に基づく融合画像の例を示す図である。これらの図の２次元点群では、対象物に対応する点群（第１領域Ｐａ～Ｐｃの点群）を点の集合で示している。２次元撮影画像では、対象物に対応する画像（第２領域Ｑａ～Ｑｃの画像）をハッチングで示している。融合画像では、３組の第１領域Ｐａ～Ｐｃ及び第２領域Ｑａ～Ｑｃが融合画像で対応付けられている例を示す。なお、対応付けられる第１領域及び第２領域の組は、３組に限られず、少なくとも１組あればよい。
　図８の融合画像は、対象物の領域を示す輪郭画像をさらに含む例を示す。この輪郭画像は、２次元点群に基づいて得られる第１領域Ｐａ～Ｐｃを示す画像であってもよく、２次元撮影画像に基づいて得られる第２領域Ｑａ～Ｑｃを示す画像であってもよい。
　この場合例えば、表示制御部１３４は、２次元点群及び２次元撮影画像の少なくとも一方に基づいて、それぞれに含まれる第１領域Ｐａ～Ｐｃ及び第２領域Ｑａ～Ｑｃの少なくとも一方を示す輪郭画像を生成するとよい。そして、表示制御部１３４は、当該輪郭画像を含む融合画像を表示部１３５に表示させるとよい。
　図９の融合画像は、第１領域Ｐａ～Ｐｃと第２領域Ｑａ～Ｑｃとの少なくとも一方に付与されたラベル情報に基づくラベル画像をさらに含む例を示す図である。ラベル画像は、ラベル情報が付与された領域（第１領域Ｐａ～Ｐｃと第２領域Ｑａ～Ｑｃとの少なくとも一方）を示す画像である。図９では、ラベル画像が、ラベル情報が付与された領域を囲む矩形の枠である例を示す。
　この場合例えば、表示制御部１３４は、２次元点群及び２次元撮影画像の少なくとも一方に付与されたラベル情報に基づいて、それぞれに含まれる第１領域Ｐａ～Ｐｃ及び第２領域Ｑａ～Ｑｃの少なくとも一方に付与されたラベル情報を特定するとよい。そして、表示制御部１３４は、第１領域と第２領域との少なくとも一方に付与されたラベル情報に基づくラベル画像を含む融合画像を表示部１３５に表示させるとよい。
　なお、ラベル画像は、当該領域を示すことができれば、囲む矩形の枠に限られず、その形状等が適宜変更されてよい。また、融合画像は、文字、数字、記号等を用いて表されたラベル情報（クラス識別情報と、クラス信頼度との少なくとも１つ）を含んでもよい。
　また、図８及び９では、すべての対応付けられる第１領域及び第２領域に輪郭画像及びラベル画像のそれぞれを付した例を示している。しかし、対応付けられる第１領域及び第２領域に輪郭画像又はラベル画像は、例えばユーザが指定する特定種類の対象物（例えば、金属物等）のみに付されてもよい。
（情報処理装置１３０の物理的な構成例）
　情報処理装置１３０は、図１０に示すように、物理的に例えば、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、ネットワークインタフェース１０５０、入力インタフェース１０６０、出力インタフェース１０７０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、ネットワークインタフェース１０５０、入力インタフェース１０６０、出力インタフェース１０７０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、メモリカード、又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などで実現される補助記憶装置である。ストレージデバイス１０４０は、これを備える情報処理装置１３０の機能を実現するためのプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０に読み込んで実行することで、そのプログラムモジュールに対応する機能が実現される。
　ネットワークインタフェース１０５０は、これを備える情報処理装置１３０をネットワークＮＴに接続するためのインタフェースである。
　入力インタフェース１０６０は、ユーザが情報を入力するためのインタフェースである。入力インタフェース１０６０は、例えば、タッチパネル、キーボード、マウスなどから構成される。
　出力インタフェース１０７０は、ユーザに情報を提示するためのインタフェースである。出力インタフェース１０７０は、例えば、液晶パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどから構成される。
　なお、情報処理装置１３０の物理的な構成は、これに限られない。例えば、情報処理装置１３０は、複数の装置から構成されてもよい。この場合の各装置は、例えば、図４に示す情報処理装置１３０と物理的に同様の構成を備えるコンピュータ等でよい。
（作用・効果）
　以上、本実施形態によれば、情報処理装置１３０は、第１取得部１３１と、第２取得部１３２と、表示制御部１３４とを備える。
　第１取得部１３１は、レーダ情報に基づいて、３次元点群を変換した２次元点群を生成する。第２取得部１３２は、光を用いて撮影された撮影画像に基づいて、２次元点群と共通の座標系で表された２次元撮影画像を取得する。表示制御部１３４は、２次元点群と２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示部１３５に表示させる。
　一般的な３次元点群や２次元点群は、上述したように、視認性が悪く、これらの画像を見てもどのような物体が示されているのかを認識することが難しい。
　これにより、３次元点群を変換した２次元点群に含まれる第１領域と、光を用いて撮影された撮影画像に基づく２次元撮影画像に含まれる第２領域とを、重ね合わせて表示させることができる。そのため、２次元撮影画像のみ、或いは２次元点群のみでは視認困難な対象物を、２次元撮影画像と２次元点群との両者を容易に画像で対比して確認することができる。従って、レーダ情報に基づく情報の視認性を向上させることが可能になる。
　また、光を用いて容易に取得できる撮影画像を用いて、レーダ情報に基づく情報の視認性を向上させることができる。従って、レーダ情報に基づく情報の視認性を容易に向上させることが可能になる。
　本実施形態によれば、２次元点群は、３次元点群が射影平面に射影された点群である。
　これにより、撮影画像に付与されたラベル情報を適用可能な２次元点群を容易に生成することができる。従って、点群にラベル情報を容易に付与することが可能になる。
　本実施形態によれば、２次元点群を生成することでは、当該２次元点群の各々について、射影平面における位置と、物体が存在する確からしさに対応する値である確信度と、を関連付けるための２次元情報が生成される。第１領域は、２次元点群のうち、関連付けられた確信度が基準値以上の２次元点群を含む領域である。
　一般的に、確信度が低い２次元点群は通常、対象物が存在するか否かあいまいな点群である。確信度が基準値以上の２次元点群を含む領域を第１領域とすることで、そのような２次元点群にラベル情報が付与されることを減らすことができる。従って、ラベル情報を付与する精度の向上を図ることが可能になる。
　本実施形態によれば、２次元撮影画像を取得することでは、２次元撮影画像において対象物が存在する領域である第２領域がさらに検出される。
　これにより、第２領域を自動的に検出することができる。従って、レーダ情報に基づく情報の視認性を容易に向上させることが可能になる。
　本実施形態によれば、融合画像は、対象物の領域を示す輪郭画像をさらに含む。
　これにより、融合画像に含まれる対象物の領域を容易に視認することができる。従って、レーダ情報に基づく情報の視認性を一層向上させることが可能になる。
　本実施形態によれば、３次元点群は、物体内又は地中を示す点群を含む。
　これにより、物体内又は地中を示す融合画像を生成して表示することができる。従って、レーダ情報に基づく情報の視認性を一層向上させることが可能になる。
　本実施形態によれば、レーダ情報は、飛行体を用いて取得される情報である。
　これにより、空中から観測したレーダ情報を取得することができる。従って、空中から観測したレーダ情報に基づく情報の視認性を一層向上させることが可能になる。
　本実施形態によれば、情報処理装置１３０は、２次元点群と２次元撮影画像における対象物との位置関係に基づいて、２次元点群にラベル情報を付与する付与部１３３をさらに備える。第２取得部１３２は、さらに、２次元撮影画像に含まれる対象物に付与されたラベル情報が取得される。第１領域と第２領域とは、２次元点群と２次元撮影画像のそれぞれにラベル情報が付与された対象物が存在する領域である。融合画像は、第１領域と第２領域との少なくとも一方に付与されたラベル情報に基づくラベル画像をさらに含む。
　これにより、融合画像に含まれる対象物の領域を容易に視認することができる。従って、レーダ情報に基づく情報の視認性を一層向上させることが可能になる。
［実施形態２］
　本実施形態では、第１取得部１３１及びこれが実行する第１処理の詳細例について説明する。
　第１取得部１３１は、例えば図１１に示すように、レーダ情報取得部１３１ａと、３次元情報取得部１３１ｂと、射影部１３１ｃとを含む。
　レーダ情報取得部１３１ａは、レーダ情報を取得する。
　３次元情報取得部１３１ｂは、レーダ情報取得部１３１ａが取得したレーダ情報に基づいて、３次元点群に関する３次元情報を取得する。
　射影部１３１ｃは、３次元情報取得部１３１ｂが取得した３次元情報を用いて、３次元点群を射影平面に射影した２次元点群に関する２次元情報を生成する。
　第１取得部１３１は、例えば図１２に示すような第１取得処理（ステップＳ１０１）を実行する。
　レーダ情報取得部１３１ａは、例えばネットワークＮＴ１を介して送信部１１３から、レーダ情報を取得する（ステップＳ１０１ａ）。
　３次元情報取得部１３１ｂは、ステップＳ１０１ａにて取得されたレーダ情報に基づいて、３次元点群に関する３次元情報を取得する（ステップＳ１０１ｂ）。
　射影部１３１ｃは、ステップＳ１０１ｂにて取得された３次元情報を用いて、３次元点群を射影平面に射影した２次元点群に関する２次元情報を生成し（ステップＳ１０１ｃ）、情報処理（図３参照）に戻る。
　例えば、射影部１３１ｃは、射影平面を特定するための情報を受け付けると、３次元点群を射影平面に射影し、射影平面上の２次元点群を生成する。射影部１３１ｃは、２次元点群の各々に識別情報を予め定められた規則に従って付与する。射影部１３１ｃは、この識別情報と、射影平面における２次元点群の位置とを関連付ける。また、射影部１３１ｃは、２次元点群に対応する３次元点群に関連付けられた確信度に基いて、２次元点群の確信度を求める。そして、射影部１３１ｃは、２次元点群の各々に識別情報、射影平面における２次元点群の位置、対応する３次元点群、２次元点群に物体が存在する確からしさに対応する値である確信度と、を関連付けた２次元情報を生成する。２次元情報を生成する２次元情報を生成する。
（作用・効果）
　以上、本実施形態によれば、第１取得部１３１は、レーダ情報取得部１３１ａと、３次元情報取得部１３１ｂと、射影部１３１ｃとを含む。
　レーダ情報取得部１３１ａは、レーダ情報を取得する。３次元情報取得部１３１ｂは、レーダ情報取得部１３１ａが取得したレーダ情報に基づいて、３次元点群に関する３次元情報を取得する。射影部１３１ｃは、３次元情報取得部１３１ｂが取得した３次元情報を用いて、３次元点群を射影平面に射影した２次元点群に関する２次元情報を生成する。
　これにより、３次元点群を射影平面に射影した２次元点群に関する２次元情報を生成することができる。従って、２次元点群に関する２次元情報を容易に生成することが可能になる。
［実施形態３］
　本実施形態では、第２取得部１３２及びこれが実行する第２処理の詳細例について説明する。
　第２取得部１３２は、例えば図１３に示すように、撮影画像取得部１３２ａと、画像変形部１３２ｂと、画像ラベル取得部１３２ｃとを含む。
　撮影画像取得部１３２ａは、光を用いて撮影された撮影画像を取得する。
　画像変形部１３２ｂは、撮影画像取得部１３２ａが取得した撮影画像を、２次元点群と共通の座標系で表された２次元撮影画像に変形する。
　画像ラベル取得部１３２ｃは、画像変形部１３２ｂが取得した２次元撮影画像に含まれる対象物に付与されたラベル情報を取得する。
　第２取得部１３２は、例えば図１４に示すような第２取得処理（ステップＳ１０２）を実行する。
　撮影画像取得部１３２ａは、例えばネットワークＮＴ２を介して撮影装置１２０から、撮影画像を取得する（ステップＳ１０２ａ）。
　画像変形部１３２ｂは、ステップＳ１０１ａにて取得された撮影画像を、２次元点群と共通の座標系で表された２次元撮影画像に変形する（ステップＳ１０２ｂ）。
　例えば、画像変形部１３２ｂは、撮影画像に含まれる画素の実空間における位置と、２次元点群の実空間における位置と、が一致するように、撮影画像を２次元撮影画像に変形する。
　なお、ステップＳ１０２ｂの処理は、必要に応じて行われればよい。例えば、ステップＳ１０２ｂの処理は、ステップＳ１０１ａにて取得された撮影画像と、ステップＳ１０１ｃにて生成された２次元点群と、の座標系が異なる場合に実行されればよく、共通である場合には実行されなくてよい。
　画像ラベル取得部１３２ｃは、ステップＳ１０２ｂにて取得された２次元撮影画像に含まれる対象物に付与されたラベル情報を取得し（ステップＳ１０２ｃ）、情報処理（図３参照）に戻る。
　ステップＳ１０２ｃにおいてラベル情報は、上述のように、人の入力によって取得されてもよく、物体検出モデルを用いて取得されてもよい。また、２次元撮影画像は、撮影画像を変形した画像であるので、２次元撮影画像と撮影画像とで各々に含まれる対象物は共通している。そのため、ステップＳ１０２ｃにて、２次元撮影画像に含まれる対象物に付与されたラベル情報が取得される代わりに、撮影画像に含まれる対象物に付与されたラベル情報が取得されてもよい。
（作用・効果）
　以上、本実施形態によれば、第２取得部１３２は、撮影画像取得部１３２ａと、画像変形部１３２ｂと、画像ラベル取得部１３２ｃとを含む。
　撮影画像取得部１３２ａは、光を用いて撮影された撮影画像を取得する。画像変形部１３２ｂは、取得された撮影画像を、２次元点群と共通の座標系で表された２次元撮影画像に変形する。画像ラベル取得部１３２ｃは、２次元撮影画像に含まれる対象物に付与されたラベル情報を取得する。
　これにより、２次元撮影画像に含まれる対象物に付与されたラベル情報を取得することができる。従って、対象物に付与されたラベル情報を容易に取得することが可能になる。
　以上、実施の形態を参照して本開示を説明したが、本開示は上述の実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
　レーダ情報に基づいて、３次元点群を変換した２次元点群を生成する第１取得手段と、
　光を用いて撮影された撮影画像に基づいて、前記２次元点群と共通の座標系で表された２次元撮影画像を取得する第２取得手段と、
　前記２次元点群と前記２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示手段に表示させる表示制御手段とを備える
　情報処理装置。
２．
　前記２次元点群は、前記３次元点群が射影平面に射影された点群である
　１．に記載の情報処理装置。
３．
　前記２次元点群を生成することでは、当該２次元点群の各々について、前記射影平面における位置と、物体が存在する確からしさに対応する値である確信度と、を関連付けるための２次元情報が生成され、
　前記第１領域は、前記２次元点群のうち、関連付けられた前記確信度が基準値以上の前記２次元点群を含む領域である
　２．に記載の情報処理装置。
４．
　前記２次元撮影画像を取得することでは、前記２次元撮影画像において対象物が存在する領域である前記第２領域がさらに検出される
　１．から３．のいずれか１つに記載の情報処理装置。
５．
　前記融合画像は、前記対象物の領域を示す輪郭画像をさらに含む
　４．に記載の情報処理装置。
６．
　前記３次元点群は、物体内又は地中を示す点群を含む
　１．から５のいずれか１つに記載の情報処理装置。
７．
　前記レーダ情報は、飛行体を用いて取得される情報である
　１．から６のいずれか１つに記載の情報処理装置。
８．
　前記２次元点群と前記２次元撮影画像における対象物との位置関係に基づいて、前記２次元点群にラベル情報を付与する付与手段をさらに備え、
　前記第２取得手段は、さらに、前記２次元撮影画像に含まれる対象物に付与された前記ラベル情報を取得し、
　前記第１領域と前記第２領域とは、前記２次元点群と前記２次元撮影画像そのそれぞれに前記ラベル情報が付与された前記対象物が存在する領域であり、
　前記融合画像は、前記第１領域と前記第２領域との少なくとも一方に付与されたラベル情報に基づくラベル画像をさらに含む
　１．から７のいずれか１つに記載の情報処理装置。
９．
　前記２次元点群と前記２次元撮影画像における対象物との位置関係に基づいて、前記２次元点群にラベル情報を付与する付与手段をさらに備え、
　前記第２取得手段は、前記撮影画像に基づいて、さらに、当該２次元撮影画像に含まれる対象物に付与されたラベル情報を取得し、
　前記第１領域は、前記２次元点群に前記ラベル情報が付与された前記対象物を含む領域であり、
　前記融合画像は、前記第２領域に付与されたラベル情報に基づくラベル画像をさらに含む
　１．から７．のいずれか１つに記載の情報処理装置。
１０．
　前記第２取得手段は、前記撮影画像に基づいて、さらに、当該２次元撮影画像に含まれる対象物に付与されたラベル情報を取得し、
　前記第２領域は、前記２次元撮影画像に前記ラベル情報が付与された前記対象物を含む領域であり、
　前記融合画像は、前記第１領域に付与されたラベル情報に基づくラベル画像をさらに含む
　１．から７．のいずれか１つに記載の情報処理装置。
１１．
　レーダを用いて走査領域を走査した前記レーダ情報を生成するために移動する移動体と、
　前記走査領域を撮影して前記撮影画像を生成するための撮影装置と、
　１．から１０のいずれか１つに記載の情報処理装置とを備え、
　前記移動体は、
　前記走査領域に前記レーダを発信する発信手段と、
　前記発信されたレーダの反射波を受信して、当該反射波に関する前記レーダ情報を生成する受信手段と、
　前記生成されたレーダ情報を送信する送信手段とを含む
　情報処理システム。
１２．
　１つ以上のコンピュータが、
　レーダ情報に基づいて、３次元点群を変換した２次元点群を生成し、
　光を用いて撮影された撮影画像に基づいて、前記２次元点群と共通の座標系で表された２次元撮影画像を取得し、
　前記２次元点群と前記２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示手段に表示させる
　情報処理方法。
１３．
　前記２次元点群は、前記３次元点群が射影平面に射影された点群である
　１２．に記載の情報処理方法。
１４．
　前記２次元点群を生成することでは、当該２次元点群の各々について、前記射影平面における位置と、物体が存在する確からしさに対応する値である確信度と、を関連付けるための２次元情報が生成され、
　前記第１領域は、前記２次元点群のうち、関連付けられた前記確信度が基準値以上の前記２次元点群を含む領域である
　１３．に記載の情報処理方法。
１５．
　前記２次元撮影画像を取得することでは、前記２次元撮影画像において対象物が存在する領域である前記第２領域がさらに検出される
　１２．から１４．のいずれか１つに記載の情報処理方法。
１６．
　前記融合画像は、前記対象物の領域を示す輪郭画像をさらに含む
　１５．に記載の情報処理方法。
１７．
　前記３次元点群は、物体内又は地中を示す点群を含む
　１２．から１６のいずれか１つに記載の情報処理方法。
１８．
　前記レーダ情報は、飛行体を用いて取得される情報である
　１２．から１７のいずれか１つに記載の情報処理方法。
１９．
　前記２次元点群と前記２次元撮影画像における対象物との位置関係に基づいて、前記２次元点群にラベル情報を付与することをさらに含み、
　前記２次元撮影画像を取得することでは、前記２次元撮影画像に含まれる対象物に付与された前記ラベル情報が取得され、
　前記第１領域と前記第２領域とは、前記２次元点群と前記２次元撮影画像のそれぞれに前記ラベル情報が付与された前記対象物が存在する領域であり、
　前記融合画像は、前記第１領域と前記第２領域との少なくとも一方に付与されたラベル情報に基づくラベル画像をさらに含む
　１２．から１８のいずれか１つに記載の情報処理方法。
２０．
　前記２次元点群と前記２次元撮影画像における対象物との位置関係に基づいて、前記２次元点群にラベル情報を付与することをさらに含み、
　前記２次元撮影画像を取得することでは、前記撮影画像に基づいて、さらに、当該２次元撮影画像に含まれる対象物に付与されたラベル情報が取得され、
　前記第１領域は、前記２次元点群に前記ラベル情報が付与された前記対象物を含む領域であり、
　前記融合画像は、前記第２領域に付与されたラベル情報に基づくラベル画像をさらに含む
　１２．から１８．のいずれか１つに記載の情報処理方法。
２１．
　前記２次元撮影画像を取得することでは、前記撮影画像に基づいて、さらに、当該２次元撮影画像に含まれる対象物に付与されたラベル情報が取得され、
　前記第２領域は、前記２次元撮影画像に前記ラベル情報が付与された前記対象物を含む領域であり、
　前記融合画像は、前記第１領域に付与されたラベル情報に基づくラベル画像をさらに含む
　１２．から１８．のいずれか１つに記載の情報処理方法。
２２．
　１つ以上のコンピュータに、
　レーダ情報に基づいて、３次元点群を変換した２次元点群を生成し、
　光を用いて撮影された撮影画像に基づいて、前記２次元点群と共通の座標系で表された２次元撮影画像を取得し、
　前記２次元点群と前記２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示手段に表示させるためのプログラム。
２３．
　前記２次元点群は、前記３次元点群が射影平面に射影された点群である
　２２．に記載のプログラム。
２４．
　前記２次元点群を生成することでは、当該２次元点群の各々について、前記射影平面における位置と、物体が存在する確からしさに対応する値である確信度と、を関連付けるための２次元情報が生成され、
　前記第１領域は、前記２次元点群のうち、関連付けられた前記確信度が基準値以上の前記２次元点群を含む領域である
　２３．に記載のプログラム。
２５．
　前記２次元撮影画像を取得することでは、前記２次元撮影画像において対象物が存在する領域である前記第２領域がさらに検出される
　２２．から２４．のいずれか１つに記載のプログラム。
２６．
　前記融合画像は、前記対象物の領域を示す輪郭画像をさらに含む
　２５．に記載のプログラム。
２７．
　前記３次元点群は、物体内又は地中を示す点群を含む
　２２．から２６のいずれか１つに記載のプログラム。
２８．
　前記レーダ情報は、飛行体を用いて取得される情報である
　２２．から２７のいずれか１つに記載のプログラム。
２９．
　前記２次元点群と前記２次元撮影画像における対象物との位置関係に基づいて、前記２次元点群にラベル情報を付与することをさらに実行させ、
　前記２次元撮影画像を取得することでは、前記２次元撮影画像に含まれる対象物に付与された前記ラベル情報が取得され、
　前記第１領域と前記第２領域とは、前記２次元点群と前記２次元撮影画像のそれぞれに前記ラベル情報が付与された前記対象物が存在する領域であり、
　前記融合画像は、前記第１領域と前記第２領域との少なくとも一方に付与されたラベル情報に基づくラベル画像をさらに含む
　２２．から２８のいずれか１つに記載のプログラム。
３０．
　前記２次元点群と前記２次元撮影画像における対象物との位置関係に基づいて、前記２次元点群にラベル情報を付与することをさらに実行させ、
　前記２次元撮影画像を取得することでは、前記撮影画像に基づいて、さらに、当該２次元撮影画像に含まれる対象物に付与されたラベル情報が取得され、
　前記第１領域は、前記２次元点群に前記ラベル情報が付与された前記対象物を含む領域であり、
　前記融合画像は、前記第２領域に付与されたラベル情報に基づくラベル画像をさらに含む
　２２．から２８．のいずれか１つに記載のプログラム。
３１．
　前記２次元撮影画像を取得することでは、前記撮影画像に基づいて、さらに、当該２次元撮影画像に含まれる対象物に付与されたラベル情報が取得され、
　前記第２領域は、前記２次元撮影画像に前記ラベル情報が付与された前記対象物を含む領域であり、
　前記融合画像は、前記第１領域に付与されたラベル情報に基づくラベル画像をさらに含む
　２２．から２８．のいずれか１つに記載のプログラム。
３２．
　１つ以上のコンピュータに、
　レーダ情報に基づいて、３次元点群を変換した２次元点群を生成し、
　光を用いて撮影された撮影画像に基づいて、前記２次元点群と共通の座標系で表された２次元撮影画像を取得し、
　前記２次元点群と前記２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示手段に表示させるためのプログラムが記録された記録媒体。
３３．
　前記２次元点群は、前記３次元点群が射影平面に射影された点群であるプログラムが記録された
　３２．に記載の記録媒体。
３４．
　前記２次元点群を生成することでは、当該２次元点群の各々について、前記射影平面における位置と、物体が存在する確からしさに対応する値である確信度と、を関連付けるための２次元情報が生成され、
　前記第１領域は、前記２次元点群のうち、関連付けられた前記確信度が基準値以上の前記２次元点群を含む領域であるプログラムが記録された
　３３．に記載の記録媒体。
３５．
　前記２次元撮影画像を取得することでは、前記２次元撮影画像において対象物が存在する領域である前記第２領域がさらに検出されるプログラムが記録された
　３２．から３４．のいずれか１つに記載の記録媒体。
３６．
　前記融合画像は、前記対象物の領域を示す輪郭画像をさらに含むプログラムが記録された
　３５．に記載の記録媒体。
３７．
　前記３次元点群は、物体内又は地中を示す点群を含むプログラムが記録された
　３２．から３６のいずれか１つに記載の記録媒体。
３８．
　前記レーダ情報は、飛行体を用いて取得される情報であるプログラムが記録された
　３２．から３７のいずれか１つに記載の記録媒体。
３９．
　前記２次元点群と前記２次元撮影画像における対象物との位置関係に基づいて、前記２次元点群にラベル情報を付与することをさらに実行させ、
　前記２次元撮影画像を取得することでは、前記２次元撮影画像に含まれる対象物に付与された前記ラベル情報が取得され、
　前記第１領域と前記第２領域とは、前記２次元点群と前記２次元撮影画像そのそれぞれに前記ラベル情報が付与された前記対象物が存在する領域であり、
　前記融合画像は、前記第１領域と前記第２領域との少なくとも一方に付与されたラベル情報に基づくラベル画像をさらに含むプログラムが記録された
　３２．から３８のいずれか１つに記載の記録媒体。
４０．
　前記２次元点群と前記２次元撮影画像における対象物との位置関係に基づいて、前記２次元点群にラベル情報を付与することをさらに実行させ、
　前記２次元撮影画像を取得することでは、前記撮影画像に基づいて、さらに、当該２次元撮影画像に含まれる対象物に付与されたラベル情報が取得され、
　前記第１領域は、前記２次元点群に前記ラベル情報が付与された前記対象物を含む領域であり、
　前記融合画像は、前記第２領域に付与されたラベル情報に基づくラベル画像をさらに含むプログラムが記録された
　３２．から３８．のいずれか１つに記載の記録媒体。
４１．
　前記２次元撮影画像を取得することでは、前記撮影画像に基づいて、さらに、当該２次元撮影画像に含まれる対象物に付与されたラベル情報が取得され、
　前記第２領域は、前記２次元撮影画像に前記ラベル情報が付与された前記対象物を含む領域であり、
　前記融合画像は、前記第１領域に付与されたラベル情報に基づくラベル画像をさらに含むプログラムが記録された
　３２．から３８．のいずれか１つに記載の記録媒体。
　この出願は、２０２３年７月２８日に出願された日本出願特願２０２３－１２３１００号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１００　情報処理システム
　１１０　移動体
　１１１　発信部
　１１２　受信部
　１１３　送信部
　１２０　撮影装置
　１３０　情報処理装置
　１３１　第１取得部
　１３１ａ　レーダ情報取得部
　１３１ｂ　３次元情報取得部
　１３１ｃ　射影部
　１３２　第２取得部
　１３２ａ　撮影画像取得部
　１３２ｂ　画像変形部
　１３２ｃ　画像ラベル取得部
　１３３　付与部
　１３４　表示制御部
　１３５　表示部

Claims (10)

  1. 　レーダ情報に基づいて、３次元点群を変換した２次元点群を生成する第１取得手段と、
    　光を用いて撮影された撮影画像に基づいて、前記２次元点群と共通の座標系で表された２次元撮影画像を取得する第２取得手段と、
    　前記２次元点群と前記２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示手段に表示させる表示制御手段とを備える
    　情報処理装置。
  2. 　前記２次元点群は、前記３次元点群が射影平面に射影された点群である
    　請求項１に記載の情報処理装置。
  3. 　前記２次元点群を生成することでは、当該２次元点群の各々について、前記射影平面における位置と、物体が存在する確からしさに対応する値である確信度と、を関連付けるための２次元情報が生成され、
    　前記第１領域は、前記２次元点群のうち、関連付けられた前記確信度が基準値以上の前記２次元点群を含む領域である
    　請求項２に記載の情報処理装置。
  4. 　前記２次元撮影画像を取得することでは、前記２次元撮影画像において対象物が存在する領域である前記第２領域がさらに検出される
    　請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　前記融合画像は、前記対象物の領域を示す輪郭画像をさらに含む
    　請求項４に記載の情報処理装置。
  6. 　前記３次元点群は、物体内又は地中を示す点群を含む
    　請求項１から５のいずれか１項に記載の情報処理装置。
  7. 　前記レーダ情報は、飛行体を用いて取得される情報である
    　請求項１から６のいずれか１項に記載の情報処理装置。
  8. 　前記２次元点群と前記２次元撮影画像における対象物との位置関係に基づいて、前記２次元点群にラベル情報を付与する付与手段をさらに備え、
    　前記第２取得手段は、さらに、前記２次元撮影画像に含まれる対象物に付与された前記ラベル情報を取得し、
    　前記第１領域と前記第２領域とは、前記２次元点群と前記２次元撮影画像のそれぞれに前記ラベル情報が付与された前記対象物が存在する領域であり、
    　前記融合画像は、前記第１領域と前記第２領域との少なくとも一方に付与されたラベル情報に基づくラベル画像をさらに含む
    　請求項１から７のいずれか１項に記載の情報処理装置。
  9. 　１つ以上のコンピュータが、
    　レーダ情報に基づいて、３次元点群を変換した２次元点群を生成し、
    　光を用いて撮影された撮影画像に基づいて、前記２次元点群と共通の座標系で表された２次元撮影画像を取得し、
    　前記２次元点群と前記２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示手段に表示させる
    　情報処理方法。
  10. 　１つ以上のコンピュータに、
    　レーダ情報に基づいて、３次元点群を変換した２次元点群を生成し、
    　光を用いて撮影された撮影画像に基づいて、前記２次元点群と共通の座標系で表された２次元撮影画像を取得し、
    　前記２次元点群と前記２次元撮影画像とのそれぞれにおいて互いに対応する第１領域及び第２領域を重ね合わせた融合画像を表示手段に表示させるためのプログラムが記録された記録媒体。
PCT/JP2024/025215 2023-07-28 2024-07-12 情報処理装置、情報処理方法及び記録媒体 Pending WO2025028225A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023123100 2023-07-28
JP2023-123100 2023-07-28

Publications (1)

Publication Number Publication Date
WO2025028225A1 true WO2025028225A1 (ja) 2025-02-06

Family

ID=94395121

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/025215 Pending WO2025028225A1 (ja) 2023-07-28 2024-07-12 情報処理装置、情報処理方法及び記録媒体

Country Status (1)

Country Link
WO (1) WO2025028225A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099915A1 (ja) * 2007-02-16 2008-08-21 Mitsubishi Electric Corporation 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2010175423A (ja) * 2009-01-30 2010-08-12 Mitsubishi Electric Corp 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
JP2012084056A (ja) * 2010-10-14 2012-04-26 Foundation For The Promotion Of Industrial Science 物体検出装置
WO2021241533A1 (ja) * 2020-05-29 2021-12-02 富士フイルム株式会社 撮影システム、撮影方法、撮影プログラム、及び情報取得方法
JP2022039103A (ja) * 2020-08-27 2022-03-10 Ｊｒｃモビリティ株式会社 物標情報表示装置
US20220343656A1 (en) * 2021-04-22 2022-10-27 Avl Software And Functions Gmbh Method and system for automated calibration of sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099915A1 (ja) * 2007-02-16 2008-08-21 Mitsubishi Electric Corporation 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2010175423A (ja) * 2009-01-30 2010-08-12 Mitsubishi Electric Corp 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
JP2012084056A (ja) * 2010-10-14 2012-04-26 Foundation For The Promotion Of Industrial Science 物体検出装置
WO2021241533A1 (ja) * 2020-05-29 2021-12-02 富士フイルム株式会社 撮影システム、撮影方法、撮影プログラム、及び情報取得方法
JP2022039103A (ja) * 2020-08-27 2022-03-10 Ｊｒｃモビリティ株式会社 物標情報表示装置
US20220343656A1 (en) * 2021-04-22 2022-10-27 Avl Software And Functions Gmbh Method and system for automated calibration of sensors

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ISHIKAWA, KIICHIRO; ONO, SHYUHEI; AMANO, YOSHIHARU; HASHIZUME, TAKUMI; OOTA, KAZUHIRO; TAKIGUCHI; JUN-ICHI: "3D Road Environmental Modeling using Mobile Mapping System", PROCEEDINGS OF THE ANNUAL CONFERENCE OF THE VIRTUAL REALITY SOCIETY OF JAPAN, VIRTUAL REALITY SOCIETY OF JAPAN, JAPAN, vol. 13, 24 September 2008 (2008-09-24) - 26 September 2008 (2008-09-26), Japan , pages 592 - 595, XP009560778, ISSN: 1349-5062 *

Similar Documents

Publication Publication Date Title
CN111448476B (zh) 在无人飞行器与地面载具之间共享绘图数据的技术
US10353053B2 (en) Object detection using radar and machine learning
EP3469306B1 (en) Geometric matching in visual navigation systems
US20190213790A1 (en) Method and System for Semantic Labeling of Point Clouds
US20100309222A1 (en) System and method for displaying information on a display element
US10877143B2 (en) Method and device for geo-referencing aerial image data with the aid of SAR image data
US10254402B2 (en) Stereo range with lidar correction
JP7719426B2 (ja) 地球表面状況把握方法、地球表面状況把握装置、および地球表面状況把握プログラム
JP2016014652A (ja) 状況的可視化のための電磁識別（ｅｍｉｄ）タグを用いた部品の位置決め
AU2022265022A1 (en) Three-dimensional ultrasonic imaging method and system based on laser radar
WO2025028225A1 (ja) 情報処理装置、情報処理方法及び記録媒体
WO2025033237A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
KR20220057798A (ko) 객체 위치 판별 방법 및 장치
EP4341726B1 (en) Systems and methods for generating focused threedimensional (3d) point clouds
EP4088141B1 (en) System and method for generating a three-dimensional (3d) map based on mapping designation information
US12051152B2 (en) Method and system for generating a colored tridimensional map
CN116594009A (zh) 一种用于检测观察环境中的对象物体的检测系统及其方法
US11175399B2 (en) Information processing device, information processing method, and storage medium
WO2025047248A1 (ja) 情報処理装置、情報処理方法及び記録媒体
WO2023145026A1 (ja) 監視装置、監視方法及びプログラム
CN106768369A (zh) 机载告警装置
EP4556946A1 (en) A system for operating in a maritime environment
CN119172507B (zh) 机场全景监控系统及机场全景监控方法
US12117536B2 (en) Systems and methods for transforming autonomous aerial vehicle sensor data between platforms
US20240412405A1 (en) Uav, control terminal, server, and control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24848882

Country of ref document: EP

Kind code of ref document: A1