[go: up one dir, main page]

WO2025248589A1 - 三次元点群データ処理装置、三次元点群データ処理方法、及び三次元点群データ処理プログラム - Google Patents

三次元点群データ処理装置、三次元点群データ処理方法、及び三次元点群データ処理プログラム

Info

Publication number
WO2025248589A1
WO2025248589A1 PCT/JP2024/019403 JP2024019403W WO2025248589A1 WO 2025248589 A1 WO2025248589 A1 WO 2025248589A1 JP 2024019403 W JP2024019403 W JP 2024019403W WO 2025248589 A1 WO2025248589 A1 WO 2025248589A1
Authority
WO
WIPO (PCT)
Prior art keywords
points
point cloud
dimensional
dimensional point
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/019403
Other languages
English (en)
French (fr)
Inventor
真彦 辻
隆一 谷田
和也 横張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/019403 priority Critical patent/WO2025248589A1/ja
Publication of WO2025248589A1 publication Critical patent/WO2025248589A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Definitions

  • Embodiments relate to a three-dimensional point cloud data processing device, a three-dimensional point cloud data processing method, and a three-dimensional point cloud data processing program.
  • Sensor fusion combined positioning
  • LiDAR Light Detection and Ranging
  • Calibration can be performed using multiple correspondences between pixels in the camera image and points in the LiDAR point cloud.
  • target-based methods known targets such as those described above are used to obtain corresponding points from a LiDAR point cloud, for example. Corresponding points are points in the LiDAR point cloud that correspond to pixels in the camera image.
  • the known target In target-based methods, the known target must be measured simultaneously using the camera and LiDAR. Furthermore, such measurements must be performed multiple times by changing the measurement position.
  • target-based methods such as those described above, for example, when calibrating data that has already been measured, it can be difficult to measure the known target with the camera and LiDAR because it is not possible to identify the camera and LiDAR used for the measurement. In such cases, targetless methods are used.
  • corresponding points are estimated based on feature points in a camera image and a LiDAR point cloud.
  • the feature points correspond to edges, for example.
  • an object is extracted from a three-dimensional point cloud representing a real-world scene, and missing portions of the extracted object are repaired.
  • Image edges are also extracted from images captured within the scene.
  • perspective projection is performed on the reconstructed object using position and orientation information indicating the position and orientation of the camera when the images were captured within the scene, thereby extracting model edges corresponding to the object's contours.
  • the position and orientation information is then corrected according to the amount of deviation between the extracted image edges and the extracted model edges.
  • LiDAR-SLAM Simultaneous Localization And Mapping
  • a 3D point cloud is a collection of points arranged three-dimensionally, points behind certain points can be seen through them. This makes it difficult to select corresponding points from a two-dimensional screen (2D screen). More specifically, when selecting a position (corresponding point) in three-dimensional space from a 2D screen, there is a chance that a point closer or further away than the correct corresponding point will be mistakenly selected. In other words, a point that is shifted in the depth direction may be selected as the corresponding point.
  • selecting corresponding points from the 2D screen can take a long time. More specifically, in order to find and select corresponding points from a 3D point cloud, it can take a long time to change the display position and orientation of the 3D point cloud on the 2D screen.
  • the present invention was made in light of the above-mentioned circumstances, and its purpose is to provide a means to simplify the operation of selecting corresponding points from a point cloud in three-dimensional space while preventing erroneous selection of corresponding points.
  • a three-dimensional point cloud data processing device includes: a color information assigning unit that assigns color information to each of a plurality of first points included in three-dimensional point cloud information for a first space, which is a three-dimensional space, and that correspond to a position in the first space; an invisible viewpoint group excluding unit that excludes an invisible viewpoint group from the plurality of first points in the first space that cannot be seen from a first viewpoint; a 2D point cloud projection unit that generates two-dimensional point cloud information for a two-dimensional space, including a plurality of third points corresponding to each of the plurality of second points, by conversion processing using a visible point cloud that includes a plurality of second points from the plurality of first points excluding the invisible viewpoint group; a corresponding point acquisition unit that acquires a plurality of fourth points selected from the plurality of third points based on the two-dimensional point cloud information; and a corresponding point output unit that outputs a plurality of fifth points from the plurality of second points that correspond to the plurality of fourth points
  • FIG. 1 is a block diagram showing an example of the hardware configuration of a three-dimensional point cloud data processing apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of the functional configuration of the three-dimensional point cloud data processing apparatus according to the embodiment.
  • FIG. 3 is a flowchart showing an example of the operation of the three-dimensional point cloud data processing apparatus according to the embodiment.
  • FIG. 4 is a diagram for explaining the removal of invisible viewpoints in the operation of the three-dimensional point cloud data processing apparatus according to the embodiment.
  • FIG. 5 is a diagram for explaining the removal of invisible viewpoints in the operation of the three-dimensional point cloud data processing apparatus according to the embodiment.
  • FIG. 6 is a diagram for explaining the removal of invisible viewpoints in the operation of the three-dimensional point cloud data processing apparatus according to the embodiment.
  • FIG. 7 is a diagram for explaining the removal of invisible viewpoints in the operation of the three-dimensional point cloud data processing apparatus according to the embodiment.
  • FIG. 8 is a diagram showing an example of a display presented during the operation of the three-dimensional point cloud data processing apparatus according to the embodiment.
  • FIG. 9 is a diagram showing an example of a display presented during the operation of the three-dimensional point cloud data processing apparatus according to the modified example.
  • the three-dimensional point cloud data processing device described below generates point cloud data in two-dimensional space (2D point cloud) based on the 3D point cloud data, for example, when acquiring corresponding points of the 3D point cloud data that correspond to pixels in a captured image.
  • the three-dimensional point cloud data processing device is configured to present the 2D point cloud generated as described above to the user, allowing the user to select points included in the 2D point cloud.
  • the three-dimensional point cloud data processing device also acquires corresponding points of the 3D point cloud data based on the user's selection.
  • the corresponding points acquired in this way are used, for example, in external calibration to calculate the relative positions regarding the position and orientation of the camera and LiDAR in sensor fusion using a camera and LiDAR.
  • Embodiment A three-dimensional point cloud data processing device will be described.
  • Fig. 1 is a block diagram showing an example of the hardware configuration of a 3D point cloud data processing apparatus according to an embodiment.
  • the 3D point cloud data processing device 10 includes a control circuit 11, storage 12, and a user interface 13.
  • the control circuit 11 is a circuit that provides overall control of each component of the three-dimensional point cloud data processing device 10.
  • the control circuit 11 includes a CPU (Central Processing Unit), RAM (Random Access Memory), and ROM (Read Only Memory).
  • the ROM of the control circuit 11 stores programs and the like used in various processes in the three-dimensional point cloud data processing device 10.
  • the CPU of the control circuit 11 controls the entire three-dimensional point cloud data processing device 10 in accordance with the programs stored in the ROM of the control circuit 11.
  • the RAM of the control circuit 11 is used as a working area for the CPU of the control circuit 11.
  • Storage 12 can store information used in various processes in the 3D point cloud data processing device 10.
  • the user interface 13 is an interface that handles communication between the user and the control circuit 11.
  • the user interface 13 includes input and output devices. Examples of input and output devices include a mouse, keyboard, touch panel, and display.
  • Fig. 2 is a block diagram showing an example of the functional configuration of the 3D point cloud data processing device according to the embodiment.
  • the CPU of the control circuit 11 loads the program stored in the ROM of the control circuit 11 or the storage 12 into the RAM of the control circuit 11.
  • the CPU of the control circuit 11 interprets and executes the program loaded into the RAM of the control circuit 11.
  • the functions of the measurement data acquisition unit 21, parameter acquisition unit 22, color information assignment unit 23, invisible viewpoint group exclusion unit 24, 2D point cloud projection unit 25, memory unit 26, corresponding point acquisition unit 27, and corresponding point output unit 28 are realized in the 3D point cloud data processing device 10.
  • the measurement data acquisition unit 21 acquires measurement data, for example, from outside the device.
  • the measurement data includes, for example, 3D point cloud data and captured image data for a certain real-world space.
  • the 3D point cloud data includes a point cloud measured by LiDAR at multiple different measurement positions, such as in LiDAR-SLAM. Each point in the 3D point cloud data includes, for example, position information in three-dimensional space.
  • the file format of the 3D point cloud data may be any format that contains three-dimensional position information for the point cloud.
  • the file extension for the 3D point cloud data is, for example, ".e57" or ".ply.”
  • the captured image data corresponds to the camera image used to select corresponding points.
  • the file format for the captured image data is, for example, a format that contains the two-dimensional positions of pixels and RGB information (RGB values in the RGB color space).
  • the file extension for the captured image data is, for example, ".jpg” or ".png.” Note that, hereinafter, captured image data will also be simply referred to as the camera image.
  • the parameter acquisition unit 22 acquires parameter information, for example, from outside the device.
  • the parameter information includes internal parameter information and external parameter information related to the camera that captured the camera image acquired by the measurement data acquisition unit 21.
  • the internal parameter information is numerical information related to the focal length of the camera lens, distortion coefficient, and size of the camera image, etc.
  • the external parameter information is three-dimensional position information and orientation information related to the camera when it captured the camera image.
  • the orientation information is information that allows the orientation of the camera in three-dimensional space to be calculated.
  • the orientation information is, for example, one or more pieces of information such as Euler angles and quaternions.
  • the external parameter information may be information about the approximate position and orientation of the camera in 3D point cloud space.
  • it may be information obtained by placing a virtual object in 3D point cloud space, or information measured using an inertial measurement unit or the like when the camera captured the image in real space.
  • accurate camera external parameters are calculated based on the camera external parameter information acquired by the parameter acquisition unit 22 as described above.
  • the color information assignment unit 23 determines color information for each point of the 3D point cloud data acquired by the measurement data acquisition unit 21.
  • the color information is, for example, RGB values.
  • the color information assignment unit 23 calculates HSV values in the HSV color space, for example, based on normal information related to the 3D point cloud data.
  • the color information assignment unit 23 converts the calculated HSV values into RGB values.
  • the color information assignment unit 23 also calculates RGB values based on, for example, intensity information for each point of the 3D point cloud data measured by LiDAR.
  • the color information assignment unit 23 also determines RGB values for each point of the 3D point cloud data, for example, using an RGB gradation proportional to the value of any of the X, Y, and Z coordinates in three-dimensional space, or a category based on segmentation.
  • the color information assigning unit 23 assigns the color information of each point in the 3D point cloud data determined as described above. In other words, the color information assigning unit 23 associates each point in the 3D point cloud data with the color information corresponding to that point.
  • the impossible viewpoint group exclusion unit 24 excludes, from the 3D point cloud data acquired by the measurement data acquisition unit 21, point clouds (impossible viewpoint group) that cannot be seen from the position and orientation in three-dimensional space (shooting viewpoint) when the camera image was captured.
  • the impossible viewpoint group exclusion unit 24 determines the impossible viewpoints included in the impossible viewpoint group based on the external parameter information acquired by the parameter acquisition unit 22.
  • the impossible viewpoint group exclusion unit 24 also generates a visible point cloud composed of the point cloud after the impossible viewpoint group has been excluded from the 3D point cloud data.
  • the 2D point cloud projection unit 25 uses the internal parameters and external parameters acquired by the parameter acquisition unit 22 to project (perspective projection) the visible point cloud generated by the invisible viewpoint exclusion unit 24 onto a 2D point cloud in two-dimensional space.
  • the 2D point cloud projection unit 25 performs the projection transformation, for example, by matrix calculation.
  • the 2D point cloud projection unit 25 transforms the points included in the 2D point cloud so that they correspond to the points included in the visible point cloud.
  • the 2D point cloud projection unit 25 assigns multiple identifiers IDs to each of the points included in the 2D point cloud.
  • the multiple identifiers IDs are configured to associate each point in the 2D point cloud with the position of that point in three-dimensional space (the point in the 3D point cloud data corresponding to that point).
  • the 2D point cloud projection unit 25 stores information associating the identifiers IDs of the 2D point cloud with positions in three-dimensional space in the memory unit 26.
  • the 2D point cloud inherits the assigned identifiers IDs. In other words, the identifier ID assigned to each point in the 2D point cloud can be used in processing the 2D point cloud after projection transformation.
  • the 2D point cloud projection unit 25 performs processing so that each point in the 2D point cloud retains the color information of the corresponding point in the 3D point cloud data, which was assigned by the color information assignment unit 23.
  • the 2D point cloud generated by the 2D point cloud projection unit 25 can be said to be a point cloud with improved visibility due to the color information.
  • points do not overlap in the depth direction in each line of sight from the shooting viewpoint, due to the elimination of invisible viewpoints by the invisible viewpoint group exclusion unit 24.
  • the 2D point cloud can be said to be a point cloud that reduces the occurrence of erroneous selection in the depth direction by using the 2D point cloud when selecting corresponding points from the 3D point cloud data.
  • the storage unit 26 stores, for example, a 3D point cloud position information DB.
  • the 3D point cloud position information DB is information that associates the 2D point cloud identifier ID stored in the storage unit 26 by the 2D point cloud projection unit 25 as described above with a position in three-dimensional space.
  • the corresponding point acquisition unit 27 presents the camera image acquired by the measurement data acquisition unit 21 and the 2D point cloud generated by the 2D point cloud projection unit 25 to the user, for example, by color display using a display or the like.
  • the corresponding point acquisition unit 27 is also configured to allow the user to select multiple points from the displayed camera image and 2D point cloud, for example, by operating a mouse or touching a touch panel.
  • Each of the multiple points on the 2D point cloud selected by the user in this way is, for example, a point in the 2D point cloud that corresponds to a corresponding point in the 3D point cloud data.
  • the corresponding point acquisition unit 27 may also be configured to display the visible point cloud generated by the invisible viewpoint group exclusion unit 24 alongside the camera image and 2D point cloud.
  • the corresponding point acquisition unit 27 stores a combination of the order in which the points were selected and the identifier ID corresponding to the point.
  • the corresponding point acquisition unit 27 may also store the combination in the storage unit 26.
  • the corresponding point output unit 28 acquires positions in three-dimensional space (points in the 3D point cloud data) corresponding to each point in the point cloud based on the point identifier ID stored by the corresponding point acquisition unit 27 and the 3D point cloud position information DB in the storage unit 26.
  • the corresponding point output unit 28 outputs multiple points in the 3D point cloud data acquired in this manner as corresponding point information.
  • each point in the 3D point cloud data acquired as described above is output as a corresponding point.
  • each corresponding point is associated with, for example, the order in which the points in the 2D point cloud corresponding to that corresponding point were selected by the user.
  • Fig. 3 is a flowchart showing an example of the operation of the 3D point cloud data processing apparatus according to the embodiment.
  • the measurement data acquisition unit 21 acquires measurement data (St1). Also, in St1, the parameter acquisition unit 22 acquires parameter information. Then, the processing proceeds to St2.
  • the color information assignment unit 23 determines color information for each point of the 3D point cloud data acquired by the measurement data acquisition unit 21. The color information assignment unit 23 also assigns the determined color information for each point of the 3D point cloud data (St2). Then, the processing proceeds to St3.
  • the impossible viewpoint group exclusion unit 24 excludes the impossible viewpoint group from the 3D point cloud data, using the position determined by the external parameters as the position of the projection viewpoint corresponding to the shooting viewpoint (St3).
  • the impossible viewpoint group exclusion unit 24 also generates a visible point group from the 3D point cloud data, with the impossible viewpoint group excluded. Details of the exclusion of the impossible viewpoint group will be described later. Processing then proceeds to St4.
  • the 2D point cloud projection unit 25 converts the visible point cloud, to which color information has been assigned and from which invisible viewpoints have been removed, into a 2D point cloud by projection transformation (St4).
  • St4 projection transformation
  • Each point included in the 2D point cloud generated by projection transformation corresponds to a point included in the visible point cloud.
  • each point in the 2D point cloud has the color information of the point in the 3D point cloud data corresponding to that point, which was assigned by the color information assignment unit 23 in the processing of St2. Then, the processing proceeds to St5.
  • the 2D point cloud projection unit 25 also assigns an identifier ID to each point in the 2D point cloud.
  • the 2D point cloud projection unit 25 then stores a 3D point cloud position information DB in the storage unit 26 that associates the 2D point cloud identifier ID with a position in three-dimensional space (St5). Processing then proceeds to St6.
  • the corresponding point acquisition unit 27 presents the 2D point cloud converted by the 2D point cloud projection unit 25 and the camera image taken near the corresponding viewpoint to the user in color on a display or the like (St6). This allows the user to select multiple points from the displayed 2D point cloud and camera image by operating the mouse or touching the touch panel. Each of the multiple points corresponds to a corresponding point. Details of the presentation of the 2D point cloud will be described later. Processing then proceeds to St7.
  • the corresponding point acquisition unit 27 also stores the combination of the selection order and the corresponding identifier ID for each point selected by the user (Step 7). Processing then proceeds to Step 8.
  • the corresponding point output unit 28 references the 3D point cloud position information DB based on the identifier ID for each point stored by the corresponding point acquisition unit 27 and acquires the position in three-dimensional space.
  • the corresponding point output unit 28 outputs corresponding point information that includes multiple points in the 3D point cloud data acquired in this manner as multiple corresponding points (St8).
  • the above processing completes the operation of the 3D point cloud data processing device 10 according to the embodiment.
  • FIGS. 4, 5, 6, and 7 are diagrams for explaining the exclusion of impossible viewpoints in the operation of the 3D point cloud data processing device according to the embodiment.
  • FIG. 4A is a schematic diagram showing a point cloud in space before compression.
  • FIG. 4B is a schematic diagram showing a point cloud in a cross section taken along the dotted line in FIG. 4A.
  • FIG. 5 is a schematic diagram for explaining the visible point cloud and impossible viewpoints in the cross section taken along the dotted line in FIG. 4B before compression.
  • FIG. 6A is a schematic diagram showing a point cloud in space after compression.
  • FIG. 6B is a schematic diagram showing a point cloud in a cross section taken along the dotted line in FIG. 6A.
  • FIG. 7 is a schematic diagram for explaining the visible point cloud and impossible viewpoints in the cross section taken along the dotted line in FIG. 6B after compression.
  • the impossible viewpoint group exclusion unit 24 compresses space by treating the 3D point cloud data as a spherical shell-shaped object centered on a projection viewpoint Pp , which corresponds to the shooting viewpoint when the camera image was captured. That is, the impossible viewpoint group exclusion unit 24 compresses the 3D point cloud data into a spherical shell shape without changing the diameter of the sphere depending on the size of the 3D point cloud data. More specifically, the impossible viewpoint group exclusion unit 24 removes the impossible viewpoint group centered on the projection viewpoint Pp from the 3D point cloud data, thereby leaving the visible point cloud.
  • the impossible viewpoint group exclusion unit 24 compresses the visible point cloud into a spherical shell shape so that each point in the visible point cloud remains in the same line of sight as before compression. In other words, the impossible viewpoint group exclusion unit 24 compresses the 3D point cloud data into a spherical shell shape by reducing the distance between the projection viewpoint Pp and each point in the visible point cloud on a line connecting these two points. This allows the impossible viewpoint group exclusion unit 24 to compress space without changing the scenery visible from the projection viewpoint Pp .
  • the position vector (coordinate) v'i of each point in the compressed point cloud is expressed by the position vector of the following formula (1) using, for example, the position vector v'i of the point before compression.
  • the distance to the point Pmin in the point cloud before compression that is closest to the projection viewpoint Pp is indicated as distance rmin .
  • the distance to the point Pmax in the point cloud before compression that is farthest from the projection viewpoint Pp is indicated as distance rmax .
  • the distance to the point P'min in the point cloud after compression that is closest to the projection viewpoint Pp is indicated as distance Rmin .
  • the distance to the point P'max in the point cloud after compression that is farthest from the projection viewpoint Pp is indicated as distance Rmax .
  • " ⁇ " is added to the symbols of the position vectors v i and v'i and the unit vector e.
  • the impossible viewpoint group exclusion unit 24 can adjust the ratio of the impossible viewpoints to be excluded relative to the number of points in the 3D point cloud data before compression, for example, by adjusting the ratio between the distance R min and the distance R max according to the depth direction size of the 3D point cloud data.
  • the invisible viewpoint group exclusion unit 24 may change the compression rate according to the distance from the projection viewpoint Pp to a point in the visible point group.
  • the position vector v'i of each point in the point group after compression is expressed, for example, by the position vector of the following formula (2).
  • the function f(v i ) is a function that returns the compression rate using the position vector v i as an argument.
  • the function f(v i ) is, for example, a sigmoid function.
  • the visible point group closer to the projection viewpoint Pp is compressed more densely, and the visible point group farther from the projection viewpoint Pp is compressed more sparsely.
  • the above method of excluding invisible viewpoints reduces the chance of incorrectly determining visible points and invisible viewpoints.
  • the point cloud needs to fit within a sphere of a certain radius. Therefore, the diameter of the sphere can be increased, or the point cloud can be scaled without changing the diameter of the sphere.
  • this can result in invisible viewpoints being incorrectly determined to be visible points.
  • the positional relationship between the projection viewpoint and each point changes, which can make it impossible to remove invisible viewpoints or result in visible points being removed.
  • the impossible viewpoint excluding unit 24 can compress 3D point cloud data into a spherical shell shape without changing the diameter of the sphere depending on the size of the 3D point cloud data. Furthermore, the impossible viewpoint excluding unit 24 compresses the space without changing the positional relationship between the projection viewpoint Pp and each point. Therefore, by increasing the diameter of the sphere that contains the point cloud, it is possible to prevent impossible viewpoints from being erroneously determined as visible points. Furthermore, it is possible to prevent impossible viewpoints from being removed or visible points from being removed due to a change in the positional relationship between the projection viewpoint and each point. Furthermore, it is possible to prevent the removal of point clouds that would otherwise be considered visible points from being removed due to their location farther than the diameter of a predetermined sphere from the projection viewpoint.
  • Fig. 8 is a diagram showing an example of a display presented during the operation of the 3D point cloud data processing device according to the embodiment.
  • the corresponding point acquisition unit 27 presents the 2D point cloud converted by the 2D point cloud projection unit 25 and the camera image to the user on a display, for example.
  • the corresponding point acquisition unit 27 also displays the visible point cloud, which is, for example, a 3D point cloud. As shown in FIG. 8, the corresponding point acquisition unit 27 may display the visible point cloud alongside the 2D point cloud and the camera image. Note that each point in the 2D point cloud shown in FIG. 8 has color information assigned by the color information assignment unit 23.
  • the user can sequentially select corresponding points from the 2D point cloud and the camera image by using a mouse or touching the touch panel.
  • FIG. 8 as an example, five points s1, s2, s3, s4, and s5 on the 2D point cloud selected by the user are shown at corresponding positions in the 2D point cloud.
  • five points t1, t2, t3, t4, and t5 on the camera image selected by the user which correspond to points s1, s2, s3, s4, and s5, respectively, are shown at corresponding positions in the camera image.
  • each of points s1, s2, s3, s4, and s5 is shown at a position corresponding to that point in the visible point cloud.
  • the number of points selected by the user is not limited to five, and may be two or more.
  • the three-dimensional point cloud data processing device 10 includes a color information assignment unit 23, an invisible viewpoint group exclusion unit 24, a 2D point cloud projection unit 25, a corresponding point acquisition unit 27, and a corresponding point output unit 28.
  • the color information assignment unit 23 assigns color information to each point included in the 3D point cloud data for the real space.
  • the invisible viewpoint group exclusion unit 24 excludes invisible viewpoint groups from the points included in the 3D point cloud data that cannot be seen from the shooting viewpoint of the captured image for the real space.
  • the 2D point cloud projection unit 25 generates a 2D point cloud for the two-dimensional space by transformation using a visible point cloud from the points included in the 3D point cloud data, excluding the invisible viewpoint groups.
  • Each of the multiple points included in the 2D point cloud corresponds to a multiple point included in the visible point cloud. Furthermore, each point in the 2D point cloud has color information assigned to the corresponding point in the visible point cloud.
  • the corresponding point acquisition unit 27 acquires multiple points selected from the 2D point cloud based on the 2D point cloud having color information.
  • the corresponding point output unit 28 outputs corresponding point information including multiple 3D point cloud data points that correspond to the selected multiple 2D point cloud points.
  • the three-dimensional point cloud data processing device 10 allows the user to select points in the 2D point cloud displayed in color when selecting corresponding points from the 3D point cloud data that correspond to pixels in the captured image. This eliminates the need to operate the viewpoint in 3D space when selecting corresponding points. This makes it easier to select corresponding points.
  • the 2D point cloud presented to the user is generated based on the visible point cloud included in the 3D point cloud data, excluding points from invisible viewpoints.
  • the 2D point cloud does not include points in the depth direction for the shooting viewpoint in the 3D point cloud data that correspond to invisible viewpoints that are not visible from the camera's shooting viewpoint. This reduces erroneous selection of points in the depth direction for the shooting viewpoint when selecting corresponding points. This improves the accuracy of selecting corresponding points.
  • the user selects multiple points from the 2D point cloud presented by the corresponding point acquisition unit 27 in the process of St6, but this is not limiting.
  • the 3D point cloud data processing device 10 may be configured to allow the user to select a line instead of selecting a point.
  • the corresponding point acquisition unit 27 is configured to be able to perform feature amount matching on the 2D point cloud generated by the 2D point cloud projection unit 25, for example.
  • the corresponding point acquisition unit 27 performs feature amount matching on feature points on a line for a set of a camera image and a 2D point cloud, or a set of a camera image, a 2D point cloud, and a visible point cloud.
  • the user can select one or more lines from the 2D point cloud based on the result of feature amount matching by the corresponding point acquisition unit 27.
  • feature amount matching may be any method that enables selection of a line from a 2D point cloud.
  • the corresponding point acquisition unit 27 is configured to be able to perform feature amount matching, but this is not limited to this.
  • the 3D point cloud data processing device 10 according to this modified example may further include a functional configuration for performing feature amount matching in addition to the measurement data acquisition unit 21, parameter acquisition unit 22, color information assignment unit 23, invisible viewpoint group exclusion unit 24, 2D point cloud projection unit 25, memory unit 26, corresponding point acquisition unit 27, and corresponding point output unit 28.
  • the corresponding point acquisition unit 27 stores a combination of the order in which the lines were selected and the identifier ID corresponding to the points included in the line.
  • the corresponding point acquisition unit 27 may also store the combination in the storage unit 26.
  • the corresponding point output unit 28 acquires positions in three-dimensional space (points in the 3D point cloud data) corresponding to each point constituting the line based on the identifier ID of the points constituting the line stored by the corresponding point acquisition unit 27 and the 3D point cloud position information DB in the storage unit 26.
  • each corresponding point is associated with, for example, the order in which the line corresponding to the corresponding point was selected by the user.
  • the corresponding point output unit 28 may be configured to select one or more points from the points constituting the line stored by the corresponding point acquisition unit 27. In this case, the points in the 3D point cloud data corresponding to each selected point are regarded as corresponding points.
  • the configurations of the measurement data acquisition unit 21, parameter acquisition unit 22, color information assignment unit 23, invisible viewpoint group exclusion unit 24, 2D point cloud projection unit 25, and memory unit 26 of the three-dimensional point cloud data processing device 10 according to the modified example are the same as those of the three-dimensional point cloud data processing device 10 according to the embodiment.
  • Figure 9 is a diagram showing an example of a display presented during the operation of the three-dimensional point cloud data processing device according to the modified example. Note that each point of the 2D point cloud shown in Figure 9 has color information assigned by the color information assigning unit 23, similar to the 2D point cloud shown in Figure 8.
  • steps St1 to St5 in the modified example is the same as that in the embodiment.
  • the corresponding point acquisition unit 27 performs feature matching on, for example, the camera image, the 2D point cloud, and the visible point cloud. Furthermore, the corresponding point acquisition unit 27 presents the camera image, the 2D point cloud, and the visible point cloud to the user, for example, based on the results of feature matching. As a result, as shown in FIG. 9, one or more lines can be selected from the displayed 2D point cloud by the user using a mouse or touching the touch panel. In FIG. 9, as an example, three lines s6, s7, and s8 on the 2D point cloud selected by the user are shown at corresponding positions in the 2D point cloud.
  • the corresponding point acquisition unit 27 stores, for example, for each line selected by the user, a combination of the order in which the lines were selected and the identifier ID corresponding to the points included in the line.
  • the corresponding point output unit 28 outputs corresponding point information that includes, as multiple corresponding points, multiple points of the 3D point cloud data that correspond to one or more lines selected by the user, for example.
  • the modified example also achieves the same effects as the embodiment.
  • the 3D point cloud data processing device 10 is configured to be able to acquire corresponding points based on the results of feature matching by the corresponding point acquisition unit 27. This makes it easier to select points in the 2D point cloud that correspond to corresponding points. This configuration also reduces the erroneous selection of corresponding points. Furthermore, by allowing the user to select lines, corresponding points can be selected efficiently.
  • the present invention is not limited to the above-described embodiments, and various modifications can be made in the implementation stage without departing from the spirit of the invention. Furthermore, the embodiments may be implemented in appropriate combinations, in which case the combined effects can be obtained. Furthermore, the above-described embodiments include various inventions, and various inventions can be extracted by combining selected elements from the disclosed elements. For example, if the problem can be solved and the desired effect can be obtained even if some elements are deleted from all elements shown in the embodiments, the configuration from which these elements are deleted can be extracted as an invention.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一実施形態の三次元点群データ処理装置は、第１空間についての三次元点群情報に含まれ、上記第１空間における位置に対応する複数の第１点の各々に対して、カラー情報を付与するカラー情報付与部と、上記第１空間において上記複数の第１点のうち第１視点から見ることができない、不可視点群を除く不可視点群除外部と、上記複数の第１点のうち上記不可視点群を除く複数の第２点を含む可視点群を用いた変換処理によって、上記複数の第２点のそれぞれに対応する複数の第３点を含む、二次元点群情報を生成する２Ｄ点群投影部と、上記二次元点群情報に基づいて、上記複数の第３点から選択される複数の第４点を取得する対応点取得部と、上記複数の第２点のうち、上記複数の第４点に対応する複数の第５点を出力する対応点出力部と、を備え、上記複数の第３点の各々は、当該点に対応する上記複数の第２点のいずれかに付与された上記カラー情報を有する。

Description

三次元点群データ処理装置、三次元点群データ処理方法、及び三次元点群データ処理プログラム
　実施形態は、三次元点群データ処理装置、三次元点群データ処理方法、及び三次元点群データ処理プログラムに関する。
　カメラとＬｉＤＡＲ（Light Detection And Ranging）とを用いたセンサフュージョン（複合測位）では、カメラとＬｉＤＡＲとの位置及び姿勢（角度）に関する相対位置を算出する外部キャリブレーションを行う必要がある。以下では、外部キャリブレーションを単にキャリブレーションとも呼ぶ。キャリブレーションは、カメラ画像の画素とＬｉＤＡＲ点群の点との複数の対応関係を用いて実行され得る。
　カメラとＬｉＤＡＲとのキャリブレーションには、キャリブレーションボードのようなターゲットを用いる手法と、ターゲットを用いない手法とがある。以下では、ターゲットを用いるキャリブレーションを、ターゲットベースの手法と呼ぶ。また、ターゲットを用いないキャリブレーションを、ターゲットレスの手法と呼ぶ。
　ターゲットベースの手法では、上述のような既知のターゲットを用いて、例えば、ＬｉＤＡＲ点群のうちの対応点を取得する。対応点は、ＬｉＤＡＲ点群に含まれる点のうち、カメラ画像の画素に対応する点である。ターゲットベースの手法では、カメラとＬｉＤＡＲとで、同時に既知のターゲットを計測する必要がある。また、このような計測を、計測位置を変更して、複数回行う必要がある。以上のようなターゲットベースの手法では、例えば、既に計測済みのデータに対してキャリブレーションを行う際、計測に使用したカメラ及びＬｉＤＡＲを特定できないために、カメラ及びＬｉＤＡＲで既知のターゲットを計測することが難しい場合がある。このような場合には、ターゲットレスの手法が用いられる。
　ターゲットレスの手法では、例えば、特許文献１に記載のように、カメラ画像及びＬｉＤＡＲ点群の特徴点を元に対応点を推定する。特徴点は、例えば、エッジに対応する。より具体的に、特許文献１では、実世界のシーンを表す三次元点群から物体が抽出されるとともに、抽出された物体の欠損部分が修復される。また、上記シーン内で撮影された撮影画像から画像エッジが抽出される。そして、上記シーン内で撮影画像を撮影した際のカメラの位置及び姿勢を示す位置姿勢情報を用いて、復元された物体に対して透視投影を行うことで、物体の輪郭に相当するモデルエッジが抽出される。それから、抽出された画像エッジと、抽出されたモデルエッジとのズレ量に応じて位置姿勢情報が修正される。
　しかしながら、特徴点の量や、カメラ画像及びＬｉＤＡＲ点群との間の類似性は空間に依存する。このため、対応点の推定対象とする空間によって、対応点の推定の精度が変化してしまう。したがって、キャリブレーションのロバスト性が低下し、正確なキャリブレーションが難しい場合がある。このような場合に、正確なキャリブレーションを行うために、例えば、対応点が手動で選択される。
　また、ＬｉＤＡＲによる計測においては、ＬｉＤＡＲ－ＳＬＡＭ（Simultaneous Localization And Mapping）と呼ばれる手法がある。ＬｉＤＡＲ－ＳＬＡＭは、ＬｉＤＡＲ装置の位置及び姿勢を、リアルタイムに補正して移動しながら計測する手法である。ＬｉＤＡＲ－ＳＬＡＭによって計測し、移動しながら計測したＬｉＤＡＲ点群を補正することで、精度の高い三次元空間の点群（３Ｄ点群、又は三次元点群）を取得することができる。このため、キャリブレーション誤差が小さくなるメリットがある。
特開２０１９－１９２２９９号公報
　ＬｉＤＡＲ－ＳＬＡＭで計測したような広範囲の３Ｄ点群において、カメラ画像の画素との対応点を正確に選択できれば、キャリブレーションの精度を向上することができる。
　しかしながら、３Ｄ点群は立体的に配置される点の集合であるため、ある点の奥の点が透けて見える特性がある。このため、二次元画面（２Ｄ画面）から対応点を選択することが難しいという課題がある。より具体的に、２Ｄ画面から三次元空間の位置（対応点）を選択する際に、正確な対応点より手前又は奥の点を誤選択してしまう場合がある。すなわち、奥行方向にずれた点が、対応点として選択されてしまう場合がある。
　また、２Ｄ画面から対応点を選択する際の操作に時間がかかってしまう課題がある。より具体的に、３Ｄ点群からの対応点の発見及び選択のために、２Ｄ画面における、３Ｄ点群の表示位置及び姿勢を変更する操作に時間がかかってしまう場合がある。
　本発明は、上記事情に着目してなされたもので、その目的とするところは、三次元空間の点群から対応点を選択する際の操作を容易にしつつ、対応点の誤選択を抑制する手段を提供することにある。
　一実施形態の三次元点群データ処理装置は、三次元空間である第１空間についての三次元点群情報に含まれ、上記第１空間における位置に対応する複数の第１点の各々に対して、カラー情報を付与するカラー情報付与部と、上記第１空間において上記複数の第１点のうち第１視点から見ることができない、不可視点群を除く不可視点群除外部と、上記複数の第１点のうち上記不可視点群を除く複数の第２点を含む可視点群を用いた変換処理によって、上記複数の第２点のそれぞれに対応する複数の第３点を含む、二次元空間についての二次元点群情報を生成する２Ｄ点群投影部と、上記二次元点群情報に基づいて、上記複数の第３点から選択される複数の第４点を取得する対応点取得部と、上記複数の第２点のうち、上記複数の第４点に対応する複数の第５点を出力する対応点出力部と、を備え、上記複数の第３点の各々は、当該点に対応する上記複数の第２点のいずれかに付与された上記カラー情報を有する。
　実施形態によれば、三次元空間の点群から対応点を選択する際の操作を容易にしつつ、対応点の誤選択を抑制する手段を提供することができる。
図１は、実施形態に係る三次元点群データ処理装置のハードウェア構成の一例を示すブロック図である。 図２は、実施形態に係る三次元点群データ処理装置の機能構成の一例を示すブロック図である。 図３は、実施形態に係る三次元点群データ処理装置の動作の一例を示すフローチャートである。 図４は、実施形態に係る三次元点群データ処理装置の動作における不可視点群の除外を説明するための図である。 図５は、実施形態に係る三次元点群データ処理装置の動作における不可視点群の除外を説明するための図である。 図６は、実施形態に係る三次元点群データ処理装置の動作における不可視点群の除外を説明するための図である。 図７は、実施形態に係る三次元点群データ処理装置の動作における不可視点群の除外を説明するための図である。 図８は、実施形態に係る三次元点群データ処理装置の動作において提示される表示の一例を示す図である。 図９は、変形例に係る三次元点群データ処理装置の動作において提示される表示の一例を示す図である。
　以下、図面を参照していくつかの実施形態について説明する。なお、以下の説明において、同一の機能及び構成を有する構成要素については、共通する参照符号を付す。
　以下に説明される三次元点群データ処理装置は、例えば、撮影画像の画素に対応する３Ｄ点群データの対応点を取得する際に、３Ｄ点群データに基づく二次元空間の点群データ（２Ｄ点群）を生成する。三次元点群データ処理装置は、上述のように生成された２Ｄ点群をユーザに提示することで、ユーザが２Ｄ点群に含まれる点を選択可能に構成される。また、三次元点群データ処理装置は、ユーザの選択結果に基づいて、３Ｄ点群データの対応点を取得する。このように取得された対応点は、例えば、カメラとＬｉＤＡＲとを用いたセンサフュージョンにおいて、カメラとＬｉＤＡＲとの位置及び姿勢に関する相対位置を算出する外部キャリブレーションに用いられる。
　１　実施形態
　実施形態に係る三次元点群データ処理装置について説明する。
　１．１　ハードウェア構成
　まず、実施形態に係る三次元点群データ処理装置１０のハードウェア構成について、図１を用いて説明する。図１は、実施形態に係る三次元点群データ処理装置のハードウェア構成の一例を示すブロック図である。
　三次元点群データ処理装置１０は、制御回路１１、ストレージ１２、及びユーザインタフェース１３を含む。
　制御回路１１は、三次元点群データ処理装置１０の各構成要素を全体的に制御する回路である。制御回路１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を含む。制御回路１１のＲＯＭは、三次元点群データ処理装置１０における各種処理で使用されるプログラム等を記憶する。制御回路１１のＣＰＵは、制御回路１１のＲＯＭに記憶されるプログラムにしたがって、三次元点群データ処理装置１０の全体を制御する。制御回路１１のＲＡＭは、制御回路１１のＣＰＵの作業領域として使用される。
　ストレージ１２は、三次元点群データ処理装置１０における各種処理で使用される情報を記憶し得る。
　ユーザインタフェース１３は、ユーザと制御回路１１との間の通信を司るインタフェースである。ユーザインタフェース１３は、入力機器及び出力機器を含む。入力機器及び出力機器は、例えば、マウス、キーボード、タッチパネル、及びディスプレイ等である。
　１．２　機能構成
　三次元点群データ処理装置１０の機能構成について図２を用いて説明する。図２は、実施形態に係る三次元点群データ処理装置の機能構成の一例を示すブロック図である。
　制御回路１１のＣＰＵは、制御回路１１のＲＯＭ又はストレージ１２に記憶されたプログラムを制御回路１１のＲＡＭに展開する。そして、制御回路１１のＣＰＵは、制御回路１１のＲＡＭに展開されたプログラムを解釈及び実行する。これにより、三次元点群データ処理装置１０において、計測データ取得部２１、パラメータ取得部２２、カラー情報付与部２３、不可視点群除外部２４、２Ｄ点群投影部２５、記憶部２６、対応点取得部２７、及び対応点出力部２８の機能が実現される。
　計測データ取得部２１は、例えば、装置の外部から計測データを取得する。計測データは、例えば、ある現実の空間についての、３Ｄ点群データ及び撮影画像データを含む。３Ｄ点群データは、ＬｉＤＡＲ－ＳＬＡＭ等において、互いに異なる複数の計測位置でＬｉＤＡＲによって計測された点群を含む。３Ｄ点群データの各点は、例えば、三次元空間の位置情報を含む。３Ｄ点群データのファイルの形式は、点群の３次元位置情報を有する形式であればよい。３Ｄ点群データのファイルの拡張子は、例えば、「．ｅ５７」又は「．ｐｌｙ」等である。撮影画像データは、対応点の選択に用いられるカメラ画像に対応する。撮影画像データのファイルの形式は、例えば、画素の２次元位置、及びＲＧＢ情報（ＲＧＢ色空間におけるＲＧＢ値）を有する形式である。撮影画像データのファイルの拡張子は、例えば、「．ｊｐｇ」又は「．ｐｎｇ」等である。なお、以下では、撮影画像データを単にカメラ画像とも呼ぶ。
　パラメータ取得部２２は、例えば、装置の外部からパラメータ情報を取得する。パラメータ情報は、計測データ取得部２１により取得されたカメラ画像を撮影したカメラに関する、内部パラメータ情報及び外部パラメータ情報を含む。内部パラメータ情報は、カメラレンズの焦点距離、歪み係数、及びカメラ画像のサイズ等に関する数値情報である。外部パラメータ情報は、カメラ画像を撮影した際のカメラに関する、三次元空間の位置情報及び姿勢情報等である。姿勢情報は、三次元空間におけるカメラの向きを算出できる情報である。姿勢情報は、例えば、オイラー角及びクォータニオン等のうち１つ以上の情報である。外部パラメータ情報は、３Ｄ点群空間におけるおおよそのカメラの位置及び姿勢の情報でよい。例えば３Ｄ点群空間に仮想オブジェクトを設置して得られた情報でもよいし、現実の空間におけるカメラ撮影時に慣性計測装置等を用いて計測した情報でもよい。外部キャリブレーションでは、上述のようにパラメータ取得部２２により取得されたカメラの外部パラメータ情報に基づいて、正確なカメラの外部パラメータが算出される。
　カラー情報付与部２３は、計測データ取得部２１により取得された３Ｄ点群データの各点のカラー情報を決定する。カラー情報は、例えば、ＲＧＢ値である。カラー情報付与部２３は、例えば、３Ｄ点群データに関する法線情報に基づいて、ＨＳＶ色空間におけるＨＳＶ値を算出する。カラー情報付与部２３は、算出したＨＳＶ値をＲＧＢ値に変換する。また、カラー情報付与部２３は、例えば、ＬｉＤＡＲによって計測された３Ｄ点群データの各点の強度（Intensity）の情報に基づいて、ＲＧＢ値を算出する。また、カラー情報付与部２３は、例えば、３Ｄ点群データの各点について、三次元空間におけるＸ座標、Ｙ座標、及びＺ座標のいずれかの座標の値に比例したＲＧＢのグラデーション、又はセグメンテーションに基づくカテゴリによって、ＲＧＢ値を決定する。
　また、カラー情報付与部２３は、３Ｄ点群データの各点に、上述のように決定した当該点のカラー情報を付与する。すなわち、カラー情報付与部２３は、３Ｄ点群データの各点と、当該点に対応するカラー情報とを対応付ける。
　不可視点群除外部２４は、計測データ取得部２１により取得された３Ｄ点群データから、カメラ画像を撮影した際の三次元空間の位置及び姿勢（撮影視点）では見えない点群（不可視点群）を除く。なお、不可視点群除外部２４は、パラメータ取得部２２により取得された外部パラメータ情報に基づいて、不可視点群に含まれる不可視点を決定する。また、不可視点群除外部２４は、３Ｄ点群データから不可視点群を除いた後の点群により構成される可視点群を生成する。
　２Ｄ点群投影部２５は、パラメータ取得部２２により取得された内部パラメータ及び外部パラメータを用いて、不可視点群除外部２４によって生成された可視点群を、二次元空間の２Ｄ点群に投影変換（透視投影変換）する。２Ｄ点群投影部２５は、例えば、行列計算により投影変換を実行する。２Ｄ点群投影部２５は、２Ｄ点群に含まれる点がそれぞれ、可視点群に含まれる点に対応するように変換する。２Ｄ点群投影部２５は、当該投影変換の際、２Ｄ点群に含まれる点それぞれに複数の識別子ＩＤを付与する。複数の識別子ＩＤは、２Ｄ点群の各点と、当該点の三次元空間における位置（当該点に対応する３Ｄ点群データの点）とを対応付けることができるように構成される。２Ｄ点群投影部２５は、２Ｄ点群の識別子ＩＤと、三次元空間における位置とを対応付ける情報を、記憶部２６に格納する。２Ｄ点群は、付与された識別子ＩＤを継承する。すなわち、投影変換後の２Ｄ点群に対する処理において、２Ｄ点群の各点に付与された識別子ＩＤが使用され得る。
　２Ｄ点群投影部２５は、投影変換の際、２Ｄ点群の各点が、カラー情報付与部２３により付与された、当該点に対応する３Ｄ点群データの点のカラー情報を保持するように、処理を行う。すなわち、２Ｄ点群投影部２５により生成された２Ｄ点群は、カラー情報により視認性が向上された点群であるということができる。また、２Ｄ点群では、不可視点群除外部２４による不可視点の除外によって、撮影視点からの各視線における奥行方向に点が重ならない。これにより、２Ｄ点群は、３Ｄ点群データから対応点を選択する際に上記２Ｄ点群を用いることで、奥行方向の誤選択の発生を抑制する点群であるということができる。
　記憶部２６は、例えば、３Ｄ点群位置情報ＤＢを記憶する。３Ｄ点群位置情報ＤＢは、上述のように２Ｄ点群投影部２５により記憶部２６に格納される、２Ｄ点群の識別子ＩＤと、三次元空間における位置とを対応付ける情報である。
　対応点取得部２７は、例えば、ディスプレイ等を用いたカラー表示によって、計測データ取得部２１により取得されたカメラ画像及び２Ｄ点群投影部２５により生成された２Ｄ点群を、ユーザに提示する。また、対応点取得部２７は、例えば、マウス操作やタッチパネルのタッチ操作によって、ユーザが、表示されたカメラ画像及び２Ｄ点群から複数の点を選択可能に構成される。このようにユーザによって選択される２Ｄ点群上の複数の点の各々は、例えば、３Ｄ点群データの対応点に対応する２Ｄ点群の点である。対応点取得部２７は、カメラ画像及び２Ｄ点群とともに、不可視点群除外部２４により生成された可視点群を並べて表示するように構成されてもよい。
　また、対応点取得部２７は、２Ｄ点群を提示した際にユーザによって選択された各点について、選択された順番と、当該点に対応する識別子ＩＤとの組合せを記憶する。なお、図示しないが、対応点取得部２７は、当該組合せを記憶部２６に格納してもよい。
　対応点出力部２８は、対応点取得部２７により記憶された点の識別子ＩＤ、及び記憶部２６の３Ｄ点群位置情報ＤＢに基づいて、当該点群の各点に対応する三次元空間の位置（３Ｄ点群データの点）を取得する。対応点出力部２８は、このように取得した３Ｄ点群データにおける複数の点を、対応点情報として出力する。すなわち、上述のように取得された３Ｄ点群データにおける各点が、対応点として出力される。対応点情報において、各対応点は、例えば、当該対応点に対応する２Ｄ点群の点がユーザによって選択された順番と対応付けられる。
　１．３　動作
　次に、実施形態に係る三次元点群データ処理装置１０の動作について説明する。
　１．３．１　全体的な流れ
　まず、実施形態に係る三次元点群データ処理装置１０の動作の全体的な流れについて、図３を用いて説明する。図３は、実施形態に係る三次元点群データ処理装置の動作の一例を示すフローチャートである。
　三次元点群データ処理装置の動作が開始すると（開始）、計測データ取得部２１は計測データを取得する（Ｓｔ１）。また、Ｓｔ１において、パラメータ取得部２２は、パラメータ情報を取得する。そして、処理はＳｔ２に進む。
　カラー情報付与部２３は、計測データ取得部２１により取得された３Ｄ点群データの各点のカラー情報を決定する。また、カラー情報付与部２３は、３Ｄ点群データの各点に、決定した当該点のカラー情報を付与する（Ｓｔ２）。そして、処理はＳｔ３に進む。
　不可視点群除外部２４は、外部パラメータにより決定される位置を撮影視点に対応する投影視点の位置として、３Ｄ点群データから不可視点群を除く（Ｓｔ３）。また、不可視点群除外部２４は、３Ｄ点群データから不可視点群が除かれた可視点群を生成する。不可視点群の除外の詳細については、後述する。そして、処理はＳｔ４に進む。
　２Ｄ点群投影部２５は、カラー情報が付与され、かつ不可視点群が除かれた可視点群を、投影変換により、２Ｄ点群に変換する（Ｓｔ４）。投影変換により生成された２Ｄ点群に含まれる点はそれぞれ、可視点群に含まれる点に対応する。また、２Ｄ点群の各点は、Ｓｔ２の処理においてカラー情報付与部２３により付与された、当該点に対応する３Ｄ点群データの点のカラー情報を有する。そして、処理はＳｔ５に進む。
　また、２Ｄ点群投影部２５は、２Ｄ点群の各点に識別子ＩＤを付与する。そして、２Ｄ点群投影部２５は、２Ｄ点群の識別子ＩＤと、三次元空間における位置とを対応付ける３Ｄ点群位置情報ＤＢを、記憶部２６に格納する（Ｓｔ５）。それから、処理はＳｔ６に進む。
　対応点取得部２７は、２Ｄ点群投影部２５により変換された２Ｄ点群、及び対応する視点付近で撮影されたカメラ画像を、ディスプレイ等によって、カラー表示によりユーザに提示する（Ｓｔ６）。これにより、ユーザのマウス操作やタッチパネルのタッチ操作によって、表示された２Ｄ点群及びカメラ画像から複数の点が選択され得る。当該複数の点の各々は、対応点に対応する。２Ｄ点群の提示の詳細については、後述する。そして、処理はＳｔ７に進む。
　また、対応点取得部２７は、ユーザにより選択された各点について、選択された順番と、対応する識別子ＩＤとの組合せを記憶する（Ｓｔ７）。そして、処理はＳｔ８に進む。
　対応点出力部２８は、対応点取得部２７により記憶された各点について、識別子ＩＤに基づいて、３Ｄ点群位置情報ＤＢを参照して、三次元空間の位置を取得する。対応点出力部２８は、このように取得した３Ｄ点群データにおける複数の点を複数の対応点として含む対応点情報を出力する（Ｓｔ８）。
　以上の処理により、実施形態に係る三次元点群データ処理装置１０の動作が終了する。
　１．３．２　不可視点群の除外
　次に、Ｓｔ３の処理における不可視点群の除外方法について、図４、図５、図６、及び図７を用いて説明する。図４、図５、図６、及び図７は、実施形態に係る三次元点群データ処理装置の動作における不可視点群の除外を説明するための図である。図４の（Ａ）は、圧縮前の空間の点群を示す模式図である。図４の（Ｂ）は、図４の（Ａ）の点線に沿った断面における点群を示す模式図である。図５は、圧縮前の図４の（Ｂ）の断面における可視点群、及び不可視点群を説明するための模式図である。図６の（Ａ）は、圧縮後の空間の点群を示す模式図である。図６の（Ｂ）は、図６の（Ａ）の点線に沿った断面における点群を示す模式図である。図７は、圧縮後の図６の（Ｂ）の断面における可視点群、及び不可視点群を説明するための模式図である。
　実施形態に係る不可視点群除外部２４は、カメラ画像を撮影した際の撮影視点に対応する投影視点Ｐｐを中心とする球殻型のオブジェクトとして扱うことで、空間を圧縮する。すなわち、不可視点群除外部２４は、３Ｄ点群データのサイズに依存して球の径を変更することなく、３Ｄ点群データを球殻状に圧縮する。より具体的に、不可視点群除外部２４は、投影視点Ｐｐを中心とした際の不可視点群を、３Ｄ点群データから除くことで、可視点群を残す。不可視点群除外部２４は、可視点群の各点が、圧縮前の視線と同一視線に残るように球殻状に圧縮する。換言すると、不可視点群除外部２４は、投影視点Ｐｐと、可視点群の各点とを結ぶ直線上でこれらの２点間の距離を縮小することで、３Ｄ点群データを球殻状に圧縮する。これにより、不可視点群除外部２４は、投影視点Ｐｐから見える景色を変化させずに空間を圧縮することができる。
　圧縮後の点群の各点の位置ベクトル（座標）ｖ’ｉは、例えば、圧縮前の当該点の位置ベクトルｖｉを用いて、下記式（１）の位置ベクトルで表される。以下の説明において、圧縮前の点群のうち投影視点Ｐｐに最も近い点Ｐｍｉｎとの距離が、距離ｒｍｉｎとして示される。また、圧縮前の点群のうち投影視点Ｐｐから最も遠い点Ｐｍａｘとの距離が、距離ｒｍａｘとして示される。また、圧縮後の点群のうち投影視点Ｐｐに最も近い点Ｐ’ｍｉｎとの距離が、距離Ｒｍｉｎとして示される。また、圧縮後の点群のうち投影視点Ｐｐから最も遠い点Ｐ’ｍａｘとの距離が、距離Ｒｍａｘとして示される。なお、式（１）では、位置ベクトルｖｉ及びｖ’ｉ、並びに単位ベクトルｅの各々の記号上に「→」が付される。
　なお、不可視点群除外部２４は、例えば、３Ｄ点群データの奥行き方向の大きさに応じて、距離Ｒｍｉｎと距離Ｒｍａｘとの比率を調整することで、圧縮前の３Ｄ点群データの点数に対する、除外される不可視点の比率を調整することができる。
　また、不可視点群除外部２４は、投影視点Ｐｐから可視点群の点までの距離に応じて、圧縮率を変えてもよい。この場合、圧縮後の点群の各点の位置ベクトルｖ’ｉは、例えば、下記式（２）の位置ベクトルで表される。式（２）において、関数ｆ（ｖｉ）は、位置ベクトルｖｉを引数として、圧縮率を返す関数である。関数ｆ（ｖｉ）は、例えば、シグモイド関数である。この場合、投影視点Ｐｐから近い可視点群ほど密になり、投影視点Ｐｐから遠い可視点群ほど疎になるように、圧縮される。
　以上のような不可視点群の除外方法であれば、可視点及び不可視点の誤判定が抑制される。補足すると、空間のような大きいスケールの点群を扱う場合、点群を所定の半径の球内に収める必要がある。そこで、上記球の径を大きくする場合や、上記球の径を変更せずに点群を縮尺する場合がある。しかしながら、球の径を大きくする場合、球の径を大きくすることで、不可視点が可視点と誤判定されてしまうことがある。また、球の径を変更せずに点群を縮尺する場合、投影視点と各点との位置関係が変わってしまうことにより、不可視点を除去できないことや、可視点が除去されてしまうことがある。
　実施形態に係る不可視点群の除外方法によれば、不可視点群除外部２４は、３Ｄ点群データを、３Ｄ点群データのサイズに依存して球の径を変更することなく、球殻状に圧縮し得る。また、不可視点群除外部２４は、投影視点Ｐｐと各点との位置関係を変化させずに空間を圧縮する。このため、点群を収める球の径を大きくすることで、不可視点が可視点と誤判定されてしまうことが抑制される。また、投影視点と各点との位置関係が変わってしまうことにより、不可視点を除去できないことや、可視点が除去されてしまうことが抑制される。また、投影視点を基準に所定の球の径より遠い位置にあることで、本来であれば可視点群とされ得る点群が除去されてしまうことが抑制される。
　１．３．３　２Ｄ点群の提示
　次に、Ｓｔ６の処理におけるユーザに対する２Ｄ点群の提示について、図８を用いて説明する。図８は、実施形態に係る三次元点群データ処理装置の動作において提示される表示の一例を示す図である。
　Ｓｔ６の処理において、対応点取得部２７は、例えば、２Ｄ点群投影部２５により変換された２Ｄ点群及びカメラ画像を、ディスプレイによって、ユーザに提示する。また、対応点取得部２７は、例えば、３Ｄ点群である可視点群を表示する。対応点取得部２７は、図８に示すように、２Ｄ点群及びカメラ画像とともに、可視点群を並べて表示してもよい。なお、図８に示される２Ｄ点群の各点は、カラー情報付与部２３により付与されたカラー情報を有する。
　このような対応点取得部２７の提示により、ユーザが、マウス操作やタッチパネルのタッチ操作によって、２Ｄ点群及びカメラ画像のそれぞれから、対応する点を順番に選択することが可能とされる。図８では、一例として、ユーザによって選択された２Ｄ点群上の５つの点ｓ１、ｓ２、ｓ３、ｓ４、及びｓ５が、２Ｄ点群において対応する位置に示される。また、点ｓ１、ｓ２、ｓ３、ｓ４、及びｓ５それぞれに対応する、ユーザによって選択されたカメラ画像上の５つの点ｔ１、ｔ２、ｔ３、ｔ４、及びｔ５が、カメラ画像において対応する位置に示される。また、図８の可視点群には、各点ｓ１、ｓ２、ｓ３、ｓ４、及びｓ５が、可視点群における当該点に対応する位置に示される。なお、ユーザにより選択される点の数は、５つに限られず、２つ以上であればよい。
　１．４　実施形態に係る効果
　実施形態によれば、三次元空間の点群から対応点を選択する際の操作を容易にしつつ、対応点の誤選択を抑制する手段を提供することができる。以下、この効果について説明する。
　実施形態に係る三次元点群データ処理装置１０は、カラー情報付与部２３、不可視点群除外部２４、２Ｄ点群投影部２５、対応点取得部２７、及び対応点出力部２８を備える。カラー情報付与部２３は、現実の空間についての３Ｄ点群データに含まれる各点に対して、カラー情報を付与する。不可視点群除外部２４は、３Ｄ点群データに含まれる点のうち、上記現実の空間についての撮影画像の撮影視点から見ることができない不可視点群を除く。２Ｄ点群投影部２５は、３Ｄ点群データに含まれる点のうち不可視点群を除く可視点群を用いた変換によって、二次元空間についての２Ｄ点群を生成する。２Ｄ点群に含まれる複数の点はそれぞれ、可視点群に含まれる複数の点に対応する。また、２Ｄ点群の各点は、当該点に対応する可視点群の点に付与されたカラー情報を有する。対応点取得部２７は、カラー情報を有する２Ｄ点群に基づいて、２Ｄ点群から選択される複数の点を取得する。対応点出力部２８は、選択された複数の２Ｄ点群の点に対応する、複数の３Ｄ点群データの点を含む対応点情報を出力する。
　以上のような構成により、実施形態に係る三次元点群データ処理装置１０によれば、３Ｄ点群データから撮影画像の画素に対応する対応点を選択する際、ユーザがカラー表示した２Ｄ点群の点を選択することができる。これにより、対応点を選択する際の３Ｄ空間での視点操作を不要化することができる。このため、対応点の選択操作を容易にすることができる。また、実施形態に係る三次元点群データ処理装置１０によれば、ユーザに提示される２Ｄ点群は、３Ｄ点群データに含まれる点のうち不可視点群を除く可視点群に基づいて生成される。すなわち、２Ｄ点群は、３Ｄ点群データにおける撮影視点についての奥行方向の点群のうち、カメラの撮影視点から見えない不可視点に対応する点を含まない。これにより、応点の選択の際に、撮影視点についての奥行方向の誤選択が抑制される。このため、対応点の選択の精度が向上する。
　２　変形例
　上述の実施形態では、ユーザが、Ｓｔ６の処理において対応点取得部２７により提示された２Ｄ点群から複数の点を選択する場合が示されたが、これに限られない。三次元点群データ処理装置１０は、ユーザが、点を選択する代わりに、線を選択可能に構成されてもよい。
　変形例に係る三次元点群データ処理装置１０において、対応点取得部２７は、例えば、２Ｄ点群投影部２５により生成された２Ｄ点群について、特徴量マッチングを実行可能に構成される。例えば、対応点取得部２７は、カメラ画像及び２Ｄ点群の組、又はカメラ画像、２Ｄ点群、及び可視点群の組に対して、線上の特徴点についての特徴量マッチングを実行する。このような構成により、ユーザは、対応点取得部２７による特徴量マッチングの結果に基づいて、２Ｄ点群から１つ以上の線を選択することが可能とされる。なお、特徴量マッチングは、２Ｄ点群から線を選択可能にする手法であればよい。
　なお、上記の例では、対応点取得部２７が、特徴量マッチングを実行可能に構成される例を示したが、これに限られない。変形例に係る三次元点群データ処理装置１０は、計測データ取得部２１、パラメータ取得部２２、カラー情報付与部２３、不可視点群除外部２４、２Ｄ点群投影部２５、記憶部２６、対応点取得部２７、及び対応点出力部２８に加えて、特徴量マッチングを実行する機能構成をさらに有してもよい。
　また、対応点取得部２７は、ユーザにより選択された各線について、選択された順番と、当該線に含まれる点に対応する識別子ＩＤとの組合せを記憶する。なお、図示しないが、対応点取得部２７は、当該組合せを記憶部２６に格納してもよい。
　対応点出力部２８は、対応点取得部２７により記憶された線を構成する点の識別子ＩＤ、及び記憶部２６の３Ｄ点群位置情報ＤＢに基づいて、当該線を構成する各点に対応する三次元空間の位置（３Ｄ点群データの点）を取得する。対応点情報において、各対応点は、例えば、当該対応点に対応する線がユーザによって選択された順番と対応付けられる。なお、対応点出力部２８は、例えば、対応点取得部２７により記憶された線を構成する点のうち１つ以上の点を選択するように構成されてもよい。この場合、当該選択された各点に対応する３Ｄ点群データの点が対応点とされる。
　変形例に係る三次元点群データ処理装置１０の計測データ取得部２１、パラメータ取得部２２、カラー情報付与部２３、不可視点群除外部２４、２Ｄ点群投影部２５、及び記憶部２６の構成は、実施形態に係る三次元点群データ処理装置１０のこれらの構成と同様である。
　変形例に係る三次元点群データ処理装置１０の動作について、図９を用いて説明する。図９は、変形例に係る三次元点群データ処理装置の動作において提示される表示の一例を示す図である。なお、図９に示される２Ｄ点群の各点は、図８に示される２Ｄ点群と同様に、カラー情報付与部２３により付与されたカラー情報を有する。
　変形例のＳｔ１～Ｓｔ５の処理は、実施形態のこれらの処理と同様である。
　Ｓｔ６の処理において、対応点取得部２７は、例えば、カメラ画像、２Ｄ点群、及び可視点群について特徴量マッチングを実行する。また、対応点取得部２７は、例えば、特徴量マッチングの結果に基づいて、カメラ画像、２Ｄ点群、及び可視点群を、ユーザに提示する。これにより、図９に示すように、ユーザのマウス操作やタッチパネルのタッチ操作によって、表示された２Ｄ点群から１つ以上の線が選択され得る。図９では、一例として、ユーザによって選択された２Ｄ点群上の３つの線ｓ６、ｓ７、及びｓ８が、２Ｄ点群において対応する位置に示される。また、線ｓ６、ｓ７、及びｓ８それぞれに対応する、ユーザによって選択されたカメラ画像上の３つの線ｔ６、ｔ７、及びｔ８が、カメラ画像において対応する位置に示される。また、図９の可視点群には、各線ｓ６、ｓ７、及びｓ８が、可視点群における当該線に対応する位置に示される。
　Ｓｔ７の処理において、対応点取得部２７は、例えば、ユーザにより選択された各線について、選択された順番と、当該線に含まれる点に対応する識別子ＩＤとの組合せを記憶する。
　Ｓｔ８の処理において、対応点出力部２８は、例えば、ユーザによって選択された１つ以上の線に対応する３Ｄ点群データの複数の点を、複数の対応点として含む対応点情報を出力する。
　以上の処理により、変形例に係る三次元点群データ処理装置１０の動作が終了する。
　変形例によっても、実施形態と同様の効果が奏される。
　また、変形例によれば、三次元点群データ処理装置１０は、対応点取得部２７による特徴量マッチングの結果に基づいて、対応点を取得可能に構成される。これにより、対応点に対応する２Ｄ点群の点の選択が容易になる。このような構成によっても、対応点の誤選択が抑制される。また、ユーザが線を選択可能に構成されることで、対応点を効率的に選択することができる。
　３　その他
　なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組合せて実施してもよく、その場合組合せた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　１０…三次元点群データ処理装置
　１１…制御回路
　１２…ストレージ
　１３…ユーザインタフェース
　２１…計測データ取得部
　２２…パラメータ取得部
　２３…カラー情報付与部
　２４…不可視点群除外部
　２５…２Ｄ点群投影部
　２６…記憶部
　２７…対応点取得部
　２８…対応点出力部
　ＤＢ…３Ｄ点群位置情報

Claims (9)

  1. 　三次元空間である第１空間についての三次元点群情報に含まれ、前記第１空間における位置に対応する複数の第１点の各々に対して、カラー情報を付与するカラー情報付与部と、
    　前記第１空間において前記複数の第１点のうち第１視点から見ることができない、不可視点群を除く不可視点群除外部と、
    　前記複数の第１点のうち前記不可視点群を除く複数の第２点を含む可視点群を用いた変換処理によって、前記複数の第２点のそれぞれに対応する複数の第３点を含む、二次元空間についての二次元点群情報を生成する２Ｄ点群投影部と、
    　前記二次元点群情報に基づいて、前記複数の第３点から選択される複数の第４点を取得する対応点取得部と、
    　前記複数の第２点のうち、前記複数の第４点に対応する複数の第５点を出力する対応点出力部と、
    　を備え、
    　前記複数の第３点の各々は、当該点に対応する前記複数の第２点のいずれかに付与された前記カラー情報を有する、
    　三次元点群データ処理装置。
  2. 　前記三次元点群情報を取得する計測データ取得部、をさらに備え、
    　前記対応点取得部は、前記二次元点群情報をカラー表示により、ユーザに提示する、
    　請求項１記載の三次元点群データ処理装置。
  3. 　前記対応点取得部は、
    　　前記二次元点群情報、及び前記第１空間についての撮影画像を用いて、特徴点についての特徴量マッチングを実行し、
    　前記複数の第４点の各々は、前記特徴量マッチングの結果を用いて選択される点である、
    　請求項２記載の三次元点群データ処理装置。
  4. 　前記２Ｄ点群投影部は、前記複数の第３点それぞれに対して、前記複数の第２点と前記複数の第３点とを対応付ける複数の識別子を付与し、
    　前記対応点出力部は、前記複数の識別子に基づいて、前記複数の第５点を決定する、
    　請求項１記載の三次元点群データ処理装置。
  5. 　三次元空間である第１空間についての三次元点群情報のうちの複数の第１点それぞれに対応する複数の第２点を含む、二次元空間についての二次元点群情報と、前記第１空間についての撮影画像とを、ユーザに提示する対応点取得部、
    　を備え、
    　前記複数の第１点は、第１視点から見ることができない不可視点群が除かれた点群であり、
    　前記ユーザが、提示された前記二次元点群情報と前記撮影画像とに基づいて、前記撮影画像の画素に対応する、三次元空間における点を選択可能とされる、ように構成される、
    　三次元点群データ処理装置。
  6. 　前記対応点取得部は、前記二次元点群情報、及び前記撮影画像に加えて、前記複数の第１点を、前記ユーザに提示する、
    　請求項５記載の三次元点群データ処理装置。
  7. 　第１空間についての三次元点群情報に含まれ、前記第１空間における位置に対応する複数の第１点の各々に対して、カラー情報を付与することと、
    　前記第１空間において前記複数の第１点のうち第１視点から見ることができない、不可視点群を除くことと、
    　前記複数の第１点のうち前記不可視点群を除く複数の第２点を含む可視点群を用いた変換処理によって、前記複数の第２点のそれぞれに対応する複数の第３点を含む、二次元空間についての二次元点群情報を生成することと、
    　前記二次元点群情報に基づいて、前記複数の第３点から選択される複数の第４点を取得することと、
    　前記複数の第２点のうち、前記複数の第４点に対応する複数の第５点を出力することと、
    　を備え、
    　前記二次元点群情報を生成することは、
    　　前記複数の第３点の各々が、当該点に対応する前記複数の第２点のいずれかに付与された前記カラー情報を保持する、
    　ように実行される、
    　三次元点群データ処理方法。
  8. 　三次元空間である第１空間についての三次元点群情報のうちの複数の第１点それぞれに対応する複数の第２点を含む、二次元空間についての二次元点群情報と、前記第１空間についての撮影画像とを、ユーザに提示すること、
    　を備え、
    　前記複数の第１点は、第１視点から見ることができない不可視点群が除かれた点群であり、
    　前記ユーザが、提示された前記二次元点群情報、及び前記撮影画像に基づいて、前記撮影画像の画素に対応する、三次元空間における点を選択可能とされる、
    　三次元点群データ処理方法。
  9. 　請求項１乃至請求項６のいずれか一項記載の三次元点群データ処理装置が備える各部として機能させるためのプログラム。
PCT/JP2024/019403 2024-05-27 2024-05-27 三次元点群データ処理装置、三次元点群データ処理方法、及び三次元点群データ処理プログラム Pending WO2025248589A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/019403 WO2025248589A1 (ja) 2024-05-27 2024-05-27 三次元点群データ処理装置、三次元点群データ処理方法、及び三次元点群データ処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/019403 WO2025248589A1 (ja) 2024-05-27 2024-05-27 三次元点群データ処理装置、三次元点群データ処理方法、及び三次元点群データ処理プログラム

Publications (1)

Publication Number Publication Date
WO2025248589A1 true WO2025248589A1 (ja) 2025-12-04

Family

ID=97869770

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/019403 Pending WO2025248589A1 (ja) 2024-05-27 2024-05-27 三次元点群データ処理装置、三次元点群データ処理方法、及び三次元点群データ処理プログラム

Country Status (1)

Country Link
WO (1) WO2025248589A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012221A (ja) * 2002-06-05 2004-01-15 Hitachi Eng Co Ltd 遺構遺物等の実測二次元図作成方法およびシステム
JP2009204615A (ja) * 2007-02-16 2009-09-10 Mitsubishi Electric Corp 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012221A (ja) * 2002-06-05 2004-01-15 Hitachi Eng Co Ltd 遺構遺物等の実測二次元図作成方法およびシステム
JP2009204615A (ja) * 2007-02-16 2009-09-10 Mitsubishi Electric Corp 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ

Similar Documents

Publication Publication Date Title
CN111783820B (zh) 图像标注方法和装置
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
CN107223269B (zh) 三维场景定位方法和装置
JP6688088B2 (ja) 情報処理装置およびその制御方法
JP6744747B2 (ja) 情報処理装置およびその制御方法
US20140253679A1 (en) Depth measurement quality enhancement
JP6503906B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN114119864A (zh) 一种基于三维重建与点云匹配的定位方法和装置
US20200107004A1 (en) Information processing apparatus, information processing method, and storage medium
CN112258574A (zh) 标注位姿信息的方法、装置及计算机可读存储介质
JP2015206654A (ja) 情報処理装置、情報処理方法、プログラム
US11189053B2 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
US11138807B1 (en) Detection of test object for virtual superimposition
JP2018195070A (ja) 情報処理装置、情報処理方法、及びプログラム
CN113793392A (zh) 一种相机参数标定方法及装置
JP2014106642A (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
JP6822086B2 (ja) シミュレーション装置、シミュレーション方法およびシミュレーションプログラム
JP7463697B2 (ja) 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム
WO2025248589A1 (ja) 三次元点群データ処理装置、三次元点群データ処理方法、及び三次元点群データ処理プログラム
JP2017162449A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN114627273B (zh) 一种虚实融合场景下的光照一致性定量评价方法
KR20090070258A (ko) 3차원 기하학 정보를 이용한 실시간 지시 영역 추정 방법
JP2019105588A (ja) 情報処理装置、システム、情報処理方法及びプログラム
WO2023054661A1 (ja) 注視位置分析システム及び注視位置分析方法
JP2002135807A (ja) ３次元入力のためのキャリブレーション方法および装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24941835

Country of ref document: EP

Kind code of ref document: A1