WO2024204029A1 - 測量方法、測量システムおよびプログラム - Google Patents
測量方法、測量システムおよびプログラム Download PDFInfo
- Publication number
- WO2024204029A1 WO2024204029A1 PCT/JP2024/011633 JP2024011633W WO2024204029A1 WO 2024204029 A1 WO2024204029 A1 WO 2024204029A1 JP 2024011633 W JP2024011633 W JP 2024011633W WO 2024204029 A1 WO2024204029 A1 WO 2024204029A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- camera
- time
- coordinate system
- calculation
- reflecting prism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
Definitions
- the present invention relates to surveying technology.
- Patent Document 1 Technology for measuring the position of heavy machinery using surveying equipment is known (see, for example, Patent Document 1).
- the present invention aims to improve the accuracy of three-dimensional data based on images captured by a camera mounted on a moving object.
- the present invention is a surveying method in which image data of an image captured by a moving camera is obtained, the position of a specific part fixed relative to the camera is measured, and the position of the camera is calculated based on the measured position of the specific part, there is a discrepancy between the measurement time of the position of the specific part and the shooting time of the captured image, and an adjustment calculation is made in which the position of the camera is an unknown quantity in the calculation of the position of the camera, and the adjustment calculation is made based on the position of the specific part to which a correction amount corresponding to the time discrepancy has been added.
- a process for determining an initial value for the adjustment calculation is performed, and the process for determining the initial value includes a process for determining a correspondence between the position of the camera in a local coordinate system calculated based on an image captured by the camera and the start and/or end of the movement of the position of the specific part in a global coordinate system.
- a process for determining an initial value for the adjustment calculation is performed, and the process for determining the initial value includes determining a correspondence between a change in the position of the camera in a local coordinate system calculated based on an image captured by the camera, and a change in the position of the specific part in a global coordinate system.
- the change in position may be evaluated based on the angle between a first line connecting the first position and the second position and a second line connecting the second position and the third position.
- the present invention is a surveying system that has a means for obtaining image data of an image captured by a moving camera, a means for measuring the position of a specific part fixed relative to the camera, and a means for calculating the position of the camera based on the measured position of the specific part, and there is a discrepancy between the time when the position of the specific part is measured and the time when the image is captured, and an adjustment calculation is made in which the position of the camera is an unknown quantity, and the adjustment calculation is made based on the position of the specific part to which a correction amount corresponding to the discrepancy in time has been added.
- the present invention is a program that is read and executed by a computer, which causes the computer to acquire image data of an image captured by a moving camera, acquire measurement data of the position of a specific part fixed relative to the camera, and calculate the position of the camera based on the measured position of the specific part, where there is a discrepancy between the measurement time of the position of the specific part and the shooting time of the captured image, and an adjustment calculation is made in which the position of the camera is an unknown quantity, and the adjustment calculation is made based on the position of the specific part to which a correction amount corresponding to the time discrepancy has been added.
- the present invention can improve the accuracy of three-dimensional data based on images captured by a camera mounted on a moving object.
- FIG. 1 is a conceptual diagram of an embodiment.
- FIG. 13 is a conceptual diagram showing the relationship between the camera position and the prism position.
- FIG. 2 is a block diagram of a computing device.
- FIG. 1 is a diagram illustrating the principle of initial value matching.
- 11 is a flowchart illustrating an example of a processing procedure.
- FIG. 1 shows a heavy machine 100 performing civil engineering work and a total station 200 which is a surveying device for measuring the position of the heavy machine 100.
- a heavy machine 100 performing civil engineering work
- a total station 200 which is a surveying device for measuring the position of the heavy machine 100.
- an image is captured by a camera 101 mounted thereon, and 3D data of the surroundings of the heavy machine 100 is acquired by the principle of sfm (structure from motion).
- the total station 200 repeatedly and continuously measures the position of a reflecting prism 102 mounted on the heavy machine 100 while tracking the same. Based on the measured value of the position of the reflecting prism 102, the 3D data is acquired as data in a global coordinate system.
- the principle of sfm is described in, for example, Japanese Patent Application Laid-Open No. 2013-186816.
- the global coordinate system is a coordinate system used in maps and GNSS.
- the heavy equipment 100 is a power shovel.
- the power shovel is one example, and the type of heavy equipment is not particularly limited as long as it is used for civil engineering work.
- the heavy equipment 100 includes a base unit 120 that travels on the ground using caterpillar tracks, and a rotating unit 110 that rotates horizontally on the base unit 120.
- the rotating unit 110 includes a driver's seat and an arm 151, and a bucket 152 is disposed at the tip of the arm 151. These structures are the same as those of a normal power shovel.
- a camera 101 and a reflecting prism 102 are fixedly disposed on top of the rotating unit 110.
- the position of the camera 101 and/or the position of the reflecting prism 102 on the rotating unit 110 may be known or unknown. Furthermore, even if the position is known, it may be approximate and may include an error. If the position of the camera 101 and/or the position of the reflecting prism 102 is unknown or includes an error, the position is optimized during adjustment calculations.
- the camera 101 is a digital still camera that continuously and repeatedly captures still images. While the heavy equipment 100 is in operation, the heavy equipment 100 travels and the rotating part 110 rotates, so the camera 101 faces in various directions. Therefore, the camera 101 captures images of the surroundings of the heavy equipment 100 while the heavy equipment 100 is in operation.
- a depth camera can also be used as the camera 101. It is also possible to use a camera for capturing video as the camera 101, and use frame images that make up the video as still images.
- Figure 1 shows an example in which one camera 101 is placed on the heavy equipment 100, but it is also possible to place multiple cameras facing in multiple directions. A stereo camera can also be used.
- Reflecting prism 102 is an optical reflective target used in surveying using laser light.
- a full-circle reflecting prism is used as reflecting prism 102.
- Reflecting prism 102 reflects incident light by changing its direction by 180 degrees.
- As an optical reflective target in addition to reflecting prisms, reflective targets with retroreflective properties can also be used.
- the position of the heavy equipment 100 is determined by the position of the center of gravity of the heavy equipment. It is also possible to determine the position of the heavy equipment 100 by the position of the camera 101 or the reflecting prism 102, a point on the central axis of rotation of the rotating part 110, or any other position on the heavy equipment 100.
- the heavy equipment 100 is equipped with a calculation unit 300.
- the calculation unit 300 is a computer.
- the calculation unit 300 can also be provided outside the heavy equipment 100.
- the calculation unit 300 performs processing related to creating a three-dimensional model of the subject based on the image captured by the camera 101. This processing includes processing related to calculating the position of the camera 101. The configuration and processing of the calculation unit 300 will be described in detail later.
- the total station 200 is an example of a surveying device capable of measuring a position.
- the total station 200 includes a positioning function using laser light, a camera, a clock, a storage device for surveying data, a communication interface, a user interface, a function for searching for a surveying target (the reflecting prism 102), and a function for tracking the surveying target even if it moves.
- a commonly available model can be used as the total station 200.
- the position and orientation of the total station 200 in the global coordinate system are acquired and made known data.
- the position of the total station 200 is understood as the position of the optical origin of the optical system used for distance measurement.
- the heavy equipment 100 begins operation with the total station 200 aiming and locking the reflecting prism 102. While the heavy equipment 100 is operating, the total station 200 tracks the reflecting prism 102 and repeatedly measures its position. The measurement interval is approximately 0.05 seconds (20 Hz) to 5 seconds (0.2 Hz).
- 3D data of the subject is created based on images captured by the camera 101 mounted on the heavy equipment 100.
- the camera 101 repeatedly captures still images.
- the position and orientation of the camera 101 change while the heavy equipment 100 is in operation, and the capture interval of the camera 101 is determined so that adjacent captured images overlap on the time axis.
- the specific capture interval is set to about several Hz to 30 Hz.
- a three-dimensional model of the subject is created using sfm based on images captured by the camera while the heavy equipment 101 is in operation, by the following process.
- Relative Orientation A relative three-dimensional model of any scale is created based on images captured by the camera 101, and the relative relationship between feature points identified between multiple images and the position and orientation of the camera 101 when each image was captured is identified. Specifically, feature points common to the stereo images are extracted, and the positions and orientations of the cameras at multiple viewpoints (capture positions) and the relative relationship between the feature points are identified.
- 3D model of the target is created based on the point cloud data optimized by the above adjustment calculation.
- the 3D model include a digitalized contour line of the target, a DEM (Digital Elevation Model), a TIN (Triangulated Irregular Network), etc. Creation of a 3D model based on point cloud data is described in, for example, WO2011/070927, JP2012-230594A, and JP2014-35702A.
- the clock of the control system that controls the shooting of the camera 101 (the function of specifying the time for processing) is not synchronized with the clock of the control system that controls the operation related to the measurement of the position of the total station 200.
- this situation may occur when costs are kept low or a simple configuration is adopted.
- Figure 2 shows the relationship between the position of the reflecting prism 102 and the position of the camera 101 (position at the time of photographing).
- the dashed circle (p ti , T pti ) indicating the position of the reflecting prism 102 and its measurement time is the position and time of the reflecting prism 102 when taking into account the time series (taking into account the deviation in time synchronization). This is the position and time of the reflecting prism 102 that is predicted to be measured if the time is synchronized.
- the solid circle (p i , T pi ) is the position and time of the reflecting prism 102 that is actually measured
- the dashed circle (p ti , T pti ) is the position and time of the reflecting prism 102 that is predicted to be measured if synchronization is achieved.
- ⁇ p ′ ti Position of the reflecting prism 102 in the local coordinate system taking into account the time series L′: Offset amount between the position of the camera 101 and the position of the reflecting prism 102 t′: Position of the camera 101 in the local coordinate system
- -p' ti is a function of the position of the reflecting prism 102 in the global coordinate system measured by the total station 200, the shooting time of the camera 101, and the positioning time of the reflecting prism 102, and includes a correction term proportional to the difference between the two times.
- This correction term determines the position p ti of the dashed circle based on the position p i of the solid circle in Figure 2 (the actually measured position of the reflecting prism 102).
- (-p' ti -L') is the camera position on the local coordinate system taking into account the time series of synchronization deviation calculated from the measurement value of the position of the reflecting prism 102 by the total station 200.
- the local coordinate system is a coordinate system that describes the position and orientation of the camera 101 and the positional relationship between the feature points extracted from the image captured by the camera 101.
- the above constraint condition equation is formulated in the local coordinate system, and is an equation for calculating the sum of the difference between the camera position (-p' ti -L') taking into account the time series of synchronization deviation calculated from the measurement value of the position of the reflecting prism 102 by the total station 200 and the camera position t' i , which is the final unknown quantity, for each camera position.
- the position -p' ti of the reflecting prism 102 taking into account the time series will be described below.
- the position of the i-th reflecting prism 102 measured by the total station 200 is slightly shifted from the position of the reflecting prism 102 at the time of capturing the corresponding image by the camera 101. This shift is caused by the asynchronous time information (clock) used.
- This deviation is considered to be smaller than the difference between the i-th position and the i+1-th position of the reflecting prism 102 measured by the total station 200, as shown in FIG. 2. Since the difference between the i-th position and the i+1-th position of the reflecting prism 102 is minute, this deviation is considered to correspond to the difference between the time when the reflecting prism 102 is positioned and the time when the camera 101 captures the image.
- the reflecting prism 102 at the time of shooting is located at a position that has moved by the above-mentioned amount of deviation from the i-th position of the reflecting prism 102 measured by the total station 200 in the direction of the i+1-th position.
- This amount of deviation is defined as a correction term that is proportional to the difference between the time of positioning the reflecting prism 102 and the time of shooting by the camera 101.
- the prism position at the corresponding time of shooting is located at a position shifted from the i-th prism position measured by the total station 200 toward the i+1-th prism position by the amount of this correction term.
- the orientation and position of the camera 101 in the global coordinate system are obtained by a bundle adjustment calculation using this constraint condition equation.
- the bundle adjustment calculation based on the collinearity condition that a light beam (bundle) connecting three points, namely, a feature point obtained from a photographed image of the subject, a point on the photographed image, and the projection center, must be on the same straight line, an observation equation of the following formula 2 is established for each light beam of each image, and the coordinates of the feature points (Xj, Yj, Zj) and the position and orientation parameters of the camera 101 ( Xoi , Yoi , Zoi , a11i to a33i ) are simultaneously adjusted by the least squares method.
- each parameter feature points (Xj, Yj, Zj) and position ( Xoi , Yoi , Zoi ) and orientation ( a11i to a33i (rotation matrix)) of the camera 101) is optimized by the least squares method.
- c Screen distance (focal length) (Xj, Yj, Zj): Three-dimensional coordinates of a feature point of interest (x ij , y ij ): Coordinates on the image (on the screen) of point j on image i (X oi , Y oi , Z oi ): Position of the camera 101 when photograph i was taken (a 11i to a 33i ): rotation matrix indicating the orientation of the camera 101 when photograph i was taken
- the initial values of (Xj, Yj, Zj) use the three-dimensional coordinates of the feature points in the local coordinate system obtained by sfm.
- ( Xoi , Yoi , Zoi ) and ( a11i to a33i ) are unknowns, and are obtained by adjustment calculation using formulas 1 and 2.
- ( Xoi , Yoi , Zoi ) and ( a11i to a33i ) are unknowns, the results of the initial value adjustment described below are used as the initial values.
- the initial values of (Xj, Yj, Zj) also contain errors, but are close to the true values in the global coordinate system to some extent. Due to these circumstances, the convergence and accuracy of the adjustment calculation are improved.
- the position of the reflecting prism 102 measured by the total station 200 is used.
- Equation 1 and Equation 2 the residuals of Equation 1 and Equation 2 are calculated using the feature points (Xj, Yj, Zj), exterior orientation parameters ( Xoi , Yoi , Zoi , a11i to a33i (rotation matrix indicating the orientation)), and ( LX , LY , LZ ) as parameters.
- a combination of (Xj, Yj, Zj), ( Xoi , Yoi , Zoi , a11i to a33i ), and ( LX , LY, LZ ) that converges the residuals is searched for by the least squares method.
- ( LX , LY , LZ ) are the offset amounts in the X, Y , and Z directions between the position of the camera 101 and the position of the reflecting prism 102.
- Equation 1 and Equation 2 a correction amount is added to each parameter (Xj, Yj, Zj), ( Xoi , Yoi, Zoi , a11i to a33i ), ( LX, LY, LZ), and simultaneous calculation of Equation 1 and Equation 2 is repeated so as to reduce the residuals shown in Equation 1 and Equation 2. Then, a combination of unknown parameters (Xj, Yj, Zj), (Xoi, Yoi, Zoi, a11i to a33i), (LX , LY , LZ ) that satisfies the convergence conditions of Equation 1 and Equation 2 is obtained. As the convergence conditions, a sufficiently small residual and a sufficiently small variation in the residual from the previous calculation (a state in which the variation in the calculation result has converged) are used.
- the calculation unit 300 is a computer and includes a CPU, a storage device, and various interfaces.
- the calculation unit 300 includes an image data acquisition unit 301, a reflecting prism position acquisition unit 302, a relative orientation unit 303, an initial value adjustment unit 304, an adjustment calculation unit 305 taking into account a time series, a three-dimensional model creation unit 306, and a camera control unit 307.
- These functional units are realized in software by the computer that constitutes the calculation unit 300. Some or all of the above functional units can also be configured with dedicated hardware. It is also possible for the calculation unit 300 to be provided outside the heavy equipment 100. For example, it is also possible for the calculation unit 300 to be provided on a processing server connected to the Internet, and for calculations to be performed there.
- the image data acquisition unit 301 accepts image data of an image captured by the camera 101.
- the image data is associated with the time of capture.
- the time of capture is the time of a clock provided in the camera control unit 309.
- the reflecting prism position acquisition unit 302 accepts data on the position of the reflecting prism 102 measured by the total station 200.
- the time of measurement of this data is the time of a clock provided in the total station 200.
- the position and orientation of the total station 200 in the global coordinate system are known, and the position data of the reflecting prism 102 is obtained on the global coordinate system.
- the relative orientation unit 303 calculates the relationship between the numerous feature points extracted from the image captured by the camera 101 and the position and orientation of the camera 101 according to the SFMS principle. This relationship is specified on a local coordinate system. Below, the principle of this process will be briefly explained. Now, assume that there is a captured image 1 captured by the camera 101 at a first position, and a captured image 2 captured from a second position slightly shifted from the first position. Also assume that the captured ranges of captured image 1 and captured image 2 overlap. The numerous feature points extracted from this overlapping range, the positional relationship between the first position and the second position, and the relationship between the camera postures at the first position and the second position are determined according to the principle of three-dimensional photogrammetry (stereo photogrammetry). This is the relative orientation process.
- This process determines the position and orientation of the camera 101 at each shooting viewpoint position in the local coordinate system. If no scale is given, the local coordinate system will be a coordinate system that describes the relative positional relationship with an unknown scale. It is not necessary to give a scale, but if the scale is reflected in the captured image, the scale will be given to the local coordinate system.
- the initial value adjustment unit 304 determines the initial values of the correspondence between the position and time of the camera 101 described in the local coordinate system and the position and time of the reflecting prism 102 described in the global coordinate system. The adjustment calculation described above is performed using these initial values. This initial value adjustment can be said to be a process of determining the approximate relationship between the local coordinate system and the global coordinate system used in the relative orientation described above.
- the initial value adjustment is performed by the following three-stage processing.
- the first stage processing attention is paid to the start of the movement of the position of the camera 101 and the start of the movement of the position of the reflecting prism 102, and the correspondence between the two positions is identified.
- the correspondence between the timing at which the movement starts and/or ends is found between the position (position in the global coordinate system) measured by the total station 200 of the reflecting prism 102 and the calculated position (position in the local coordinate system) of the camera 101 based on the image captured by the camera 101.
- the second stage of processing is carried out after the first stage of processing.
- processing is carried out focusing on changes in position.
- the principle is shown in Figure 4 (A).
- the circles indicate the positions of the camera 101 or the reflecting prism 102.
- the angles between three consecutive points are calculated for all points (all camera positions and reflecting prism positions).
- the angles on the camera side and the angles on the reflecting prism side are compared, and a search is made for the combination that minimizes the sum of the absolute values of the differences.
- angles relative to the position of the camera 101 are ⁇ c1 , ⁇ c2 , ⁇ c3 , ⁇ c4 , ... ⁇ cn
- angles relative to the position of the reflecting prism 102 are ⁇ p1 , ⁇ p2 , ⁇ p3 , ⁇ p4, ... ⁇ pn
- the difference between the angles ⁇ c1 , ⁇ c2, ⁇ c3, ⁇ c4, ... ⁇ cn and ⁇ p1 , ⁇ p2 , ⁇ p3 , ⁇ p4 , ... ⁇ pn is calculated, and the sum of the absolute values is calculated.
- the combination position at which this sum is smallest is adopted as the corresponding combination.
- the change in the position of the reflecting prism 102 in the global coordinate system is compared with the change in the position of the camera 101 in the local coordinate system, and the correspondence between the two is identified.
- initial value adjustment can be performed with even higher accuracy than in the first stage.
- Figure 4 (C) shows a case where the calculation interval for the position of the camera 101 is 1 second (1 Hz), and the measurement interval for the position of the reflecting prism 102 is 0.2 seconds (5 Hz).
- the measurement points for the position of the reflecting prism 102 are acquired at a rate of one point for every five points (i.e., the sampling frequency is 1/5), to match the calculation interval for the position of the camera 101. Aligning the measurement intervals for this position makes it easier to make comparisons. This method is also effective in the first stage processing.
- the third stage of processing is carried out after the second stage of processing.
- the correspondence between the camera position and the reflecting prism position is found using the least squares method.
- a transformation matrix from the local coordinate system to the global coordinate system is found.
- the local coordinate system feature points, camera position and orientation
- the transformation matrix found here and the results of the transformation using this transformation matrix are used as the initial values for the next adjustment calculation.
- the above three-stage alignment process obtains the initial values for the relationship between the local coordinate system, which describes the relationship between the camera position and feature points of each captured image obtained by relative orientation, and the global coordinate system.
- the time series-considered adjustment calculation unit 305 performs the adjustment calculation using Equation 1 and Equation 2 described in relation to FIG. 2. This adjustment calculation is performed using the result of the initial value adjustment described above.
- the three-dimensional model creation unit 306 creates a three-dimensional model of the subject to be photographed based on point cloud data, which is data on the positions of each feature point in the global coordinate system obtained as a result of the adjustment calculation.
- point cloud data is data on the positions of each feature point in the global coordinate system obtained as a result of the adjustment calculation.
- a three-dimensional model of the terrain around the heavy equipment 100 photographed while the heavy equipment 100 is working is created. By tracking changes in this three-dimensional model over time, the content of the work performed by the heavy equipment 100 (changes in the terrain) can be digitized.
- the camera control unit 307 controls the timing of image capture by the camera 101. If the camera 101 itself has a function for performing this control, the camera control unit 307 outputs a signal that instructs the camera to start and stop image capture.
- FIG. 5 is a flowchart showing an example of a procedure of processing performed in the arithmetic device 300 of Fig. 3.
- a program for executing the processing of Fig. 5 is stored in a storage device or an appropriate storage medium of a computer constituting the arithmetic device 300, and is executed by the computer.
- the camera 101 and reflecting prism 102 are fixed to the heavy equipment 100, and the distance L between the camera 101 and the reflecting prism 102 is known. L does not have to be accurate. Also, L may be unknown. In this case, L can be found by adjustment calculations.
- the positions of the camera 101 and the reflecting prism 102 on the heavy equipment 100 are unknown. Furthermore, while the heavy equipment 100 is in operation, the camera 101 repeatedly takes images. The total station 200 continuously and repeatedly measures the position of the reflecting prism 102. The position and orientation of the total station 200 in the global coordinate system are known. Furthermore, the time when the camera takes an image and the time when the total station measures the position of the reflecting prism 101 are not synchronized.
- the processing in FIG. 5 is performed after the operation of the heavy equipment 100 has ended.
- the processing in FIG. 5 may also be performed while the heavy equipment 100 is in operation.
- batch processing in which the processing in FIG. 4 is performed every 5 or 10 minutes is also possible. It is also possible to perform the processing in FIG. 5 in real time.
- step S101 image data captured by the camera 101 is acquired (step S101). This process is performed in the image data acquisition unit 301 in FIG. 3.
- step S102 data on the position of the reflecting prism 102 measured by the total station 200 is acquired (step S102). This process is performed in the reflecting prism position acquisition unit 302 in FIG. 3.
- step S103 the positions of the feature points in the local coordinate system based on the image captured by the camera and the position and orientation of the camera 101 are calculated according to the sfm principle. This process is performed by the relative orientation unit 303 in FIG. 3.
- the local coordinate system is assigned a scale, but this is not required. If the captured image contains multiple reference points whose positions are identified on the global coordinate system, the local coordinate system can be treated as a global coordinate system, but this is not required.
- step S103 the positions in the local coordinate system of the numerous feature points extracted from the captured image are obtained. If the scale and reference point are not given, step S103 obtains the camera position and orientation (which are equal to the number of captured images obtained while the camera was moving) and the relative three-dimensional relationship between the numerous feature points.
- step S104 initial value adjustment is performed (step S104). This process is performed in the initial value adjustment unit 304 in FIG. 3. By performing this initial value adjustment, the approximate relationship between the position and time of the camera 101 on the local coordinate system and the position and time of the camera 101 on the global coordinate system is given.
- an adjustment calculation (adjustment calculation taking into account the time series) is performed using Equations 1 and 2 (step S105).
- This adjustment calculation takes into account the difference between the time on the camera 101 side and the time on the total station 200 side.
- This adjustment calculation identifies the position and orientation of the camera 101 in the global coordinate system, and the positions in the global coordinate system of many feature points obtained from the captured image obtained in step S103.
- This process is performed by the adjustment calculation unit 305 taking into account the time series in Figure 3.
- a three-dimensional model is created based on the feature points obtained from the captured image (step S106). This process is performed by the three-dimensional model creation unit 306 in FIG. 3. In this way, a three-dimensional model of the object captured by the camera 101 mounted on the heavy equipment 100 is obtained on the global coordinate system.
- a GNSS position measuring device may be mounted on the heavy equipment 100, and the position of the camera 101 on the heavy equipment may be identified using the GNSS position measuring device.
- the reflecting prism and the total station may be unnecessary (of course, they may be used together).
- Measurement of the position using the GNSS includes errors, but the GNSS errors can be suppressed by adjustment calculation.
- the adjustment calculation the calculation is performed assuming that an antenna of the GNSS position measuring device is installed instead of the reflecting prism 102 in FIG. 1.
- measurement errors can be suppressed by using relative positioning such as the RTK method.
- the handling of feature points, various orientations, and other data processing are the same as those in the first embodiment.
- 100 heavy machinery
- 101 camera
- 102 reflecting prism
- 110 rotating part
- 120 base part
- 151 arm part
- 152 bucket
- 200 total station
- 300 computing device.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】移動体に搭載したカメラの撮影画像に基づく三次元データの精度を高める。 【解決手段】重機１００に搭載された状態で移動するカメラ１０１が撮影した撮影画像の画像データを得、カメラ１０１に対して固定された特定の部分である反射プリズム１０２の位置がトータルステーション２００により測定され、測定された反射プリズム１０２の位置に基づきカメラ１０１の位置を算出し、反射プリズム１０２の位置の測定時刻とカメラ１０１の撮影時刻にはズレがあり、カメラ１０１の位置の算出では、カメラ１０１の位置を未知数とした調整計算が行われ、この調整計算は、前記時刻のズレに対応した補正量が加えられた反射プリズム１０１の測定位置に基づいて行われる。
Description
本発明は、測量技術に関する。
測量装置を用いて重機の位置を測定する技術が知られている（例えば、特許文献１を参照）。
重機にカメラを搭載し、ｓｆｍ(Structure from Motion)により周囲の三次元データを得る場合、カメラの位置を定める必要がある。本発明は、移動体に搭載したカメラの撮影画像に基づく三次元データの精度を高めることを目的とする。
本発明は、移動するカメラが撮影した撮影画像の画像データを得、前記カメラに対して固定された特定の部分の位置が測定され、前記特定の部分の前記測定された位置に基づき前記カメラの位置を算出し、前記特定の部分の位置の測定時刻と前記撮影画像の撮影時刻にはズレがあり、前記カメラの位置の算出では、前記カメラの位置を未知数とした調整計算が行われ、前記調整計算は、前記時刻のズレに対応した補正量が加えられた前記特定の部分の位置に基づいて行われる測量方法である。
本発明において、前記調整計算の初期値を求める処理が行われ、前記初期値を求める処理では、前記カメラの撮影画像に基づき算出されたローカル座標系における前記カメラの位置と、前記特定の部分のグローバル座標系における位置の動き始めおよび／または動き終わりの対応関係を求める処理が行われる態様が挙げられる。
本発明において、前記調整計算の初期値を求める処理が行われ、前記初期値を求める処理では、前記カメラの撮影画像に基づき算出されたローカル座標系における前記カメラの位置の変化と、前記特定の部分のグローバル座標系における位置の変化の対応関係が求められる態様が挙げられる。
本発明において、前記位置の変化は、第１の位置と第２の位置を結ぶ第１の直線と、第２の位置と第３の位置を結ぶ第２の直線とのなす角度によって評価される態様が挙げられる。
本発明は、移動するカメラが撮影した撮影画像の画像データを得る手段と、前記カメラに対して固定された特定の部分の位置を測定する手段と、前記特定の部分の前記測定された位置に基づき前記カメラの位置を算出する手段とを有し、前記特定の部分の位置の測定時刻と前記撮影画像の撮影時刻にはズレがあり、前記カメラの位置の算出では、前記カメラの位置を未知数とした調整計算が行われ、前記調整計算は、前記時刻のズレに対応した補正量が加えられた前記特定の部分の位置に基づいて行われる測量システムである。
本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに移動するカメラが撮影した撮影画像の画像データの取得と、前記カメラに対して固定された特定の部分の位置の測定データの取得と、前記特定の部分の前記測定された位置に基づき前記カメラの位置の算出とを実行させ、前記特定の部分の位置の測定時刻と前記撮影画像の撮影時刻にはズレがあり、前記カメラの位置の算出では、前記カメラの位置を未知数とした調整計算が行われ、前記調整計算は、前記時刻のズレに対応した補正量が加えられた前記特定の部分の位置に基づいて行われるプログラムである。
本発明によれば、移動体に搭載したカメラの撮影画像に基づく三次元データの精度を高めることができる。
１．第１の実施形態
（概要）
図１には、土木作業を行う重機１００、重機１００の位置の測定を行う測量装置であるトータルステーション２００が示されている。重機１００の稼働中に、搭載するカメラ１０１による撮影を行い、ｓｆｍ(Structure from Motion)の原理により、重機１００周囲の３Ｄデータを取得する。この際、トータルステーション２００は、重機１００に搭載した反射プリズム１０２を追尾しつつ繰り返し継続してその位置の測定を行う。この反射プリズム１０２の位置の測定値に基づいて、上記３Ｄデータをグローバル座標系におけるデータとして得る。ｓｆｍの原理については、例えば特開２０１３－１８６８１６号公報に記載されている。グローバル座標系は、地図やＧＮＳＳで用いられる座標系である。
（概要）
図１には、土木作業を行う重機１００、重機１００の位置の測定を行う測量装置であるトータルステーション２００が示されている。重機１００の稼働中に、搭載するカメラ１０１による撮影を行い、ｓｆｍ(Structure from Motion)の原理により、重機１００周囲の３Ｄデータを取得する。この際、トータルステーション２００は、重機１００に搭載した反射プリズム１０２を追尾しつつ繰り返し継続してその位置の測定を行う。この反射プリズム１０２の位置の測定値に基づいて、上記３Ｄデータをグローバル座標系におけるデータとして得る。ｓｆｍの原理については、例えば特開２０１３－１８６８１６号公報に記載されている。グローバル座標系は、地図やＧＮＳＳで用いられる座標系である。
（重機）
重機１００は、パワーシャベルである。パワーシャベルは一例であり、土木作業を行う重機であれば、重機の種類は特に限定されない。重機１００は、無限軌道により地上を走行するベース部１２０と、ベース部１２０上で水平回転する回転部１１０を備えている。回転部１１０は、運転席とアーム１５１を備え、アーム１５１の先端にはバケット１５２が配置されている。これらの構造は、通常のパワーシャベルと同じである。
重機１００は、パワーシャベルである。パワーシャベルは一例であり、土木作業を行う重機であれば、重機の種類は特に限定されない。重機１００は、無限軌道により地上を走行するベース部１２０と、ベース部１２０上で水平回転する回転部１１０を備えている。回転部１１０は、運転席とアーム１５１を備え、アーム１５１の先端にはバケット１５２が配置されている。これらの構造は、通常のパワーシャベルと同じである。
回転部１１０の上部には、カメラ１０１と反射プリズム１０２が固定配置されている。回転部１１０におけるカメラ１０１の位置および／または反射プリズム１０２の位置は、既知であってもよいし未知であってよい。また、位置が既知であっても、それは凡そであり、誤差を含んでいてもよい。カメラ１０１の位置および／または反射プリズム１０２の位置が未知である場合や誤差を含んでいる場合、調整計算時に当該位置が最適化される。
カメラ１０１は、連続して繰り返し静止画像を撮影するデジタルスチールカメラである。重機１００の稼働中において、重機１００は走行し、また回転部１１０が回転するので、カメラ１０１はいろいろな方向を向く。そのため、重機１００の稼働中にカメラ１０１により、重機１００の周囲の撮影が行われる。カメラ１０１としてデプスカメラを採用することもできる。カメラ１０１として動画撮影用のカメラを利用し、動画を構成するフレーム画像を静止画像として利用する形態も可能である。図１には、１台のカメラ１０１を重機１００に配置する例を示すが、多方向に向けた複数台のカメラを配置することも可能である。また、ステレオカメラを用いることもできる。
反射プリズム１０２は、レーザー光を用いた測量に利用される光学反射ターゲットである。ここでは、反射プリズム１０２として全周反射プリズムが利用される。反射プリズム１０２は、入射光を１８０°向きを変えて反射する。光学反射ターゲットとしては、反射プリズム以外に再帰反射特性を有する反射ターゲットを利用することができる。
重機１００の位置は、重機の重心の位置で把握される。重機１００の位置をカメラ１０１や反射プリズム１０２の位置、回転部１１０の回転中心軸上のどこかの点、その他重機１００のどこかの位置で把握することも可能である。
重機１００は、演算部３００を備える。演算部３００はコンピュータである。演算部３００を重機１００の外部に用意することもできる。演算部３００は、カメラ１０１が撮影した画像に基づく撮影対象の三次元モデルの作成に係る処理を行う。この処理の中にカメラ１０１の位置の算出に係る処理が含まれる。演算部３００の構成および処理の詳細は後述する。
（トータルステーション）
トータルステーション２００は、位置の測定が可能な測量装置の一例である。トータルステーション２００は、レーザー光を用いた測位機能、カメラ、時計、測量したデータの記憶装置、通信インターフェース、ユーザーインターフェース、測量対象（反射プリズム１０２）を探索する機能および測量対象が移動してもそれを追尾する機能を備える。トータルステーション２００は、一般的に入手できる機種を利用できる。
トータルステーション２００は、位置の測定が可能な測量装置の一例である。トータルステーション２００は、レーザー光を用いた測位機能、カメラ、時計、測量したデータの記憶装置、通信インターフェース、ユーザーインターフェース、測量対象（反射プリズム１０２）を探索する機能および測量対象が移動してもそれを追尾する機能を備える。トータルステーション２００は、一般的に入手できる機種を利用できる。
処理に先立ち、グローバル座標系におけるトータルステーション２００の位置と姿勢は取得され、既知のデータとされている。なお、トータルステーション２００の位置は、測距を行うための光学系の光学原点の位置で把握される。
トータルステーション２００が反射プリズム１０２を視準し、ロックした状態で重機１００の作業が開始される。重機１００の作業中において、トータルステーション２００は、反射プリズム１０２を追尾しつつ、その位置の測定を繰り返し行う。測定の間隔は、０．０５秒（２０Ｈｚ）～５秒（０．２Ｈｚ）程度とする。
（基本的な処理の流れ）
以下の原理により、重機１００に搭載したカメラ１０１が撮影した画像に基づく、撮影対象の３Ｄデータの作成が行われる。カメラ１０１は、繰り返し連続して静止画像の撮影を行う。重機１００の稼働中にカメラ１０１の位置と姿勢は変化するが、その際に時間軸上で隣接する撮影画像が重複するように、カメラ１０１の撮影間隔は決定される。具体的な撮影の間隔は、数Ｈｚ～３０Ｈｚ程度とする。基本的には、下記の処理により、重機１０１の稼働中にカメラが撮影した画像に基づくｓｆｍを利用した撮影対象の三次元モデルの作成が行われる。
以下の原理により、重機１００に搭載したカメラ１０１が撮影した画像に基づく、撮影対象の３Ｄデータの作成が行われる。カメラ１０１は、繰り返し連続して静止画像の撮影を行う。重機１００の稼働中にカメラ１０１の位置と姿勢は変化するが、その際に時間軸上で隣接する撮影画像が重複するように、カメラ１０１の撮影間隔は決定される。具体的な撮影の間隔は、数Ｈｚ～３０Ｈｚ程度とする。基本的には、下記の処理により、重機１０１の稼働中にカメラが撮影した画像に基づくｓｆｍを利用した撮影対象の三次元モデルの作成が行われる。
（１）相互標定
カメラ１０１が撮影した撮影画像に基づく任意スケールの相対三次元モデルの作成を行い、複数の画像間で特定された特徴点と各画像の撮影時におけるカメラ１０１の位置および姿勢の相対関係を特定する。具体的には、ステレオ画像間で共通する特徴点を抽出し、複数の視点（撮影位置）におけるカメラの位置と姿勢、および特徴点の相対関係を特定する。
カメラ１０１が撮影した撮影画像に基づく任意スケールの相対三次元モデルの作成を行い、複数の画像間で特定された特徴点と各画像の撮影時におけるカメラ１０１の位置および姿勢の相対関係を特定する。具体的には、ステレオ画像間で共通する特徴点を抽出し、複数の視点（撮影位置）におけるカメラの位置と姿勢、および特徴点の相対関係を特定する。
（２）調整計算
バンドル調整計算および反射プリズム１０２とカメラ１０１の位置関係と測定時刻のズレを考慮した調整計算を同時に行い、グローバル座標系におけるカメラ１０１の位置と姿勢および特徴点の位置の最適化を行う。これにより、グローバル座標系上での特徴点の位置が記述された点群データが得られる。
バンドル調整計算および反射プリズム１０２とカメラ１０１の位置関係と測定時刻のズレを考慮した調整計算を同時に行い、グローバル座標系におけるカメラ１０１の位置と姿勢および特徴点の位置の最適化を行う。これにより、グローバル座標系上での特徴点の位置が記述された点群データが得られる。
（３）３Ｄモデルの作成
上記調整計算により最適化された点群データに基づき、対象の３Ｄモデルを作成する。３Ｄモデルとしては、対象の輪郭線をデータ化したもの、ＤＥＭ(Digital Elevation Model)、ＴＩＮ(Triangulated Irregular Network)等が挙げられる。点群データに基づく３Ｄモデルの作成については、例えば、ＷＯ２０１１／０７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４－３５７０２号公報に記載されている。
上記調整計算により最適化された点群データに基づき、対象の３Ｄモデルを作成する。３Ｄモデルとしては、対象の輪郭線をデータ化したもの、ＤＥＭ(Digital Elevation Model)、ＴＩＮ(Triangulated Irregular Network)等が挙げられる。点群データに基づく３Ｄモデルの作成については、例えば、ＷＯ２０１１／０７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４－３５７０２号公報に記載されている。
（時刻が同期していない問題に対する対応）
この例では、カメラ１０１の撮影を制御する制御系の時計（処理を行うための時刻の特定機能）と、トータルステーション２００の位置の測定に係る動作を制御する制御系の時計が同期していない。例えば、コストを抑えた場合や簡便な構成などを採用した場合、この状況があり得る。
この例では、カメラ１０１の撮影を制御する制御系の時計（処理を行うための時刻の特定機能）と、トータルステーション２００の位置の測定に係る動作を制御する制御系の時計が同期していない。例えば、コストを抑えた場合や簡便な構成などを採用した場合、この状況があり得る。
上記のカメラ１０１とトータルステーション２００の同期が確保されていない場合、両者の動作タイミングの差に起因する誤差が上記の調整計算時に生じる。すなわち、カメラ１０１は、移動しながら撮影を行うので、カメラ１０１の撮影時刻とトータルステーション２００による反射プリズム１０２の測定時刻が同期していないと、計算結果に誤差が生じる。
本実施形態では、この問題に対応するために以下の工夫を行う。図２には、反射プリズム１０２の位置とカメラ１０１の位置（撮影時の位置）の関係が示されている。実線の丸印（ｐi、Ｔpi）(i=1,2,3・・)がトータルステーション２００（測量装置）により測定された反射プリズム１０２の位置とその測定時刻である。
反射プリズム１０２の位置とその測定時刻を示す破線の丸印（ｐti、Ｔpti）は、時系列を考慮（時刻の同期のズレを考慮）した場合における反射プリズム１０２の位置と時刻である。これは、時間が同期していれば、測定されるであろうと予想される反射プリズム１０２の位置と時刻である。つまり、実線の丸印（ｐi、Ｔpi）は、実際に測定される反射プリズム１０２の位置と時刻であり、破線の丸印（ｐti、Ｔpti）は、仮に同期がとれていれば測定されると予想される反射プリズム１０２の位置と時刻である。
ここでは、上記の同期がとれていないことによる誤差を低減するために、下記数１の拘束条件式を用いた調整計算を行う。
Ｌ´：カメラ１０１の位置と反射プリズム１０２の位置のオフセット量
ｔ´：ローカル座標系におけるカメラ１０１の位置
ここで、－ｐ´tiは、トータルステーション２００が測定したグローバル座標系における反射プリズム１０２の位置、カメラ１０１の撮影時刻および反射プリズム１０２の測位時刻の関数であり、両時刻の差に比例した補正項が含まれている。この補正項により、図２の実線の丸印の位置ｐi（実際に測定される反射プリズム１０２の位置）に基づく、破線の丸印の位置ｐtiを定めている。（－ｐ´ti－Ｌ´）は、トータルステーション２００による反射プリズム１０２の位置の測定値から算出した同期のズレの時系列を考慮したローカル座標系上でのカメラ位置となる。
ここで、ローカル座標系は、カメラ１０１の位置および姿勢と、カメラ１０１の撮影画像の中から抽出された特徴点との位置関係を記述する座標系である。
上記の拘束条件式は、ローカル座標系上において立てられており、トータルステーション２００による反射プリズム１０２の位置の測定値から算出した同期のズレの時系列を考慮したカメラ位置（－ｐ´ti－Ｌ´）と、最終的に求める未知数となるカメラ位置ｔ´iの差を各カメラの位置において求め、その総和を求める式である。
以下、時系列を考慮した反射プリズム１０２の位置－ｐ´tiについて説明する。ここでは、トータルステーション２００が測定したi番目の反射プリズム１０２の位置は、対応するカメラ１０１の撮影画像の撮影時における反射プリズム１０２の位置に対して、少しズレがあると考える。このズレは、利用する時刻情報（時計）の非同期に起因する。
このズレは、図２に示すように、トータルステーション２００が測定した反射プリズム１０２のi番目の位置とi+1番目との差よりも小さくなると考える。反射プリズム１０２のi番目の位置とi+1番目の位置の差は微小であるので、このズレは反射プリズム１０２の測位の時刻とカメラ１０１の撮影時刻の差に対応すると考える。
具体的には、トータルステーション２００が測定した反射プリズム１０２のi番目の位置からi+1番目の位置の方向に上記のズレ量で移動した位置に撮影時刻時の反射プリズム１０２があると考える。このズレ量は、反射プリズム１０２の測位の時刻とカメラ１０１の撮影時刻の差に比例する補正項として定義される。すなわち、この補正項の分、トータルステーション２００が測定したi番目のプリズム位置からi+1番目のプリズム位置の方に寄った位置に、対応する撮影時刻時のプリズム位置があると考える。
こうして、トータルステーション２００による反射プリズム１０２の位置の測定値から算出したカメラ１０１の位置（－ｐ´ti－Ｌ´）と、カメラ１０１の撮影時刻におけるカメラ１０１の位置ｔ´iを定量的に比較できる数式が得られる。これが、上記の数１の拘束条件式である。
この拘束条件式を用いたバンドル調整計算により、グローバル座標系におけるカメラ１０１の姿勢と位置が求められる。バンドル調整計算では、撮影対象の撮影画像から得た特徴点、撮影画像上の点、投影中心の３点を結ぶ光束（バンドル）が同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に下記数２の観測方程式を立て、最小二乗法により特徴点の座標（Ｘj,Ｙj,Ｚj)とカメラ１０１の位置と姿勢のパラメータ（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i）の同時調整が行われる。
本実施形態における調整計算では、前述した数１の拘束条件式と下記数２の観測方程式を立て、最小二乗法による各パラメータ（特徴点（Ｘj,Ｙj,Ｚj)およびカメラ１０１の位置（Ｘoi，Ｙoi，Ｚoi）と姿勢（ａ11i～ａ33i(回転行列)））の最適化が行われる。
ｃ：画面距離（焦点距離）
（Ｘj,Ｙj,Ｚj)：着目した特徴点の三次元座標
（ｘij,ｙij）：画像i上における点ｊの画像上（画面上）の座標
（Ｘoi，Ｙoi，Ｚoi）：写真iの撮影時におけるカメラ１０１の位置
（ａ11i～ａ33i）：写真iの撮影時におけるカメラ１０１の姿勢を示す回転行列
（Ｘj,Ｙj,Ｚj)：着目した特徴点の三次元座標
（ｘij,ｙij）：画像i上における点ｊの画像上（画面上）の座標
（Ｘoi，Ｙoi，Ｚoi）：写真iの撮影時におけるカメラ１０１の位置
（ａ11i～ａ33i）：写真iの撮影時におけるカメラ１０１の姿勢を示す回転行列
上記の数２において、（Ｘj,Ｙj,Ｚj)の初期値は、ｓｆｍにより得られたローカル座標系における特徴点の三次元座標を用いる。（Ｘoi，Ｙoi，Ｚoi）と（ａ11i～ａ33i）は未知数であり、数１と数２を用いた調整計算により求められる。なお、（Ｘoi，Ｙoi，Ｚoi）と（ａ11i～ａ33i）は未知数であるが、初期値として後述する初期値合わせの結果が利用される。また、初期値合わせにより、ローカル座標系とグローバル座標系の大雑把な関係は求められているので、（Ｘj,Ｙj,Ｚj)の初期値も誤差を含むがグローバル座標系におけるある程度真値に近い値となっている。これらの事情により、調整計算の収束性と精度を高めている。（Ｘpi,Ｙpi,Ｚpi）は、トータルステーション２００が測定した反射プリズム１０２の位置を用いる。
本実施形態における調整計算では、前述した数１の拘束条件式と下記数２の観測方程式を立て、最小二乗法による各パラメータ（特徴点（Ｘj,Ｙj,Ｚj)およびカメラ１０１の位置（Ｘoi，Ｙoi，Ｚoi）と姿勢（ａ11i～ａ33i(回転行列)））の最適化が行われる。なお、数１の調整計算を行った後に数２の調整計算を行う方法も可能である。
数１と数２を用いた調整計算では、特徴点（Ｘj,Ｙj,Ｚj)、外部標定要素（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i(姿勢を示す回転行列)）および（ＬＸ,ＬＹ,ＬＺ)をパラメータとして、数１および数２の残差を算出する。この際、最小二乗法により上記の残差が収束するような（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)の組み合わせを探索する。ここで、（ＬＸ,ＬＹ,ＬＺ)は、カメラ１０１の位置と反射プリズム１０２の位置のX、Y、Z各方向のオフセット量である。
具体的には、数１および数２で示される残差が小さくなるように、各パラメータ（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)に補正量を加えて数１および数２の同時計算を行うことを繰り返す。そして、数１および数２が収束条件を満たす未知パラメータ（Ｘj,Ｙj,Ｚj)，（Ｘoi，Ｙoi，Ｚoi，ａ11i～ａ33i），（ＬＸ,ＬＹ,ＬＺ)の組み合わせを求める。収束条件としては、残差が十分に小さい、前回の計算からの残差の変動が十分に小さい（計算結果の変動が収束した状態）を用いる。
（演算部の構成）
図３は、演算部３００のブロック図である。演算部３００は、コンピュータであり、ＣＰＵ、記憶装置、各種のインターフェースを備えている。演算部３００は、画像データ取得部３０１、反射プリズムの位置取得部３０２、相互標定部３０３、初期値合わせ部３０４、時系列を考慮した調整計算部３０５、三次元モデル作成部３０６、カメラ制御部３０７を備える。
図３は、演算部３００のブロック図である。演算部３００は、コンピュータであり、ＣＰＵ、記憶装置、各種のインターフェースを備えている。演算部３００は、画像データ取得部３０１、反射プリズムの位置取得部３０２、相互標定部３０３、初期値合わせ部３０４、時系列を考慮した調整計算部３０５、三次元モデル作成部３０６、カメラ制御部３０７を備える。
これら機能部は、演算部３００を構成するコンピュータによりソフトウェア的に実現される。上記機能部の一部または全部を専用のハードウェアにより構成することもできる。演算部３００を重機１００の外部に用意する形態も可能である。例えば、インターネット接続された処理サーバ上で演算部３００を用意し、そこで演算を行う形態等も可能である。
画像データ取得部３０１は、カメラ１０１が撮影した撮影画像の画像データを受け付ける。画像データは、撮影時刻と関連付けされている。撮影時刻は、カメラ制御部３０９が備える時計の時刻が用いられる。反射プリズムの位置取得部３０２は、トータルステーション２００が測定した反射プリズム１０２の位置のデータを受け付ける。このデータの測定時刻は、トータルステーション２００が備える時計の時刻が用いられる。トータルステーション２００は、グローバル座標系における位置と姿勢が既知であり、反射プリズム１０２の位置データは、グローバル座標系上で得られる。
相互標定部３０３は、ｓｆｍの原理により、カメラ１０１の撮影画像から抽出された多数の特徴点とカメラ１０１の位置と向きの関係を算出する。この関係は、ローカル座標系上で特定される。以下、この処理の原理を簡単に説明する。いま、カメラ１０１が第１の位置で撮影した撮影画像１と、第１の位置から少しずれた第２の位置から撮影した撮影画像２があるとする。また、撮影画像１と撮影画像２は、撮影範囲が重複しているとする。この重複した範囲から抽出した多数の特徴点、第１の位置および第２の位置の位置関係、さらに第１の位置と第２の位置におけるカメラの姿勢の関係が三次元写真測量（ステレオ写真計測）の原理から求まる。これが、相互標定の処理となる。
この処理により、ローカル座標系の各撮影視点位置におけるカメラ１０１の位置と姿勢が求まる。なお、スケールを与えない場合、ローカル座標系は、スケールが未知であり相対位置関係を記述する座標系となる。スケールの付与は必須でないが、撮影画像中にスケールが写るようにすれば、当該ローカル座標系にスケールが与えられる。
初期値合わせ部３０４は、ローカル座標系で記述されるカメラ１０１の位置および時刻と、グローバル座標系で記述される反射プリズム１０２の位置および時刻の対応関係の初期値を特定する。この初期値を用いて前述の調整計算が行われる。この初期値合わせは、上述した相互標定で用いたローカル座標系とグローバル座標系の凡その関係を求める処理ともいえる。
以下、初期値合わせ部３０４での処理の一例を説明する。初期値合わせは、下記の３段階の処理により行われる。第１段階の処理では、カメラ１０１の位置の動き始めと、反射プリズム１０２の位置の動き始めに着目し、両位置の対応関係が特定される。この処理では、移動の開始点に着目して両者の対応する点（位置）を特定する。また、逆に移動の終了点（停止した点）に着目して対応する点を特定することもできる。
この処理では、トータルステーション２００による反射プリズム１０２の測定位置（グローバル座標系における位置）と、カメラ１０１の撮影画像に基づくカメラ１０１の算出位置（ローカル座標系における位置）に係り、その動き始めおよび／または動きが終わるタイミングの対応関係が求められる。
第１段階の処理の後に第２段階の処理が行われる。第２段階の処理では、位置の変化に着目した処理が行われる。図４（Ａ）に原理を示す。図４（Ａ）において、〇印はカメラ１０１の位置または反射プリズム１０２の位置である。この場合、連続して並ぶ３点のなす角度を全点（全てのカメラ位置と反射プリズム位置）に関して計算する。そして、カメラ側のなす角度と反射プリズム側のなす角度を比較し、差分の絶対値の和が最小となる組み合わせを探索する。
例えば、カメラ１０１の位置に関する上記なす角度がθc1、θc2、θc3、θc4・・・θcnであり、反射プリズム１０２の位置に関する上記なす角度がθp1、θp2、θp3、θp4・・・θpnであるとする。この場合、組み合わせを変えながら、θc1、θc2、θc3、θc4・・・θcnとθp1、θp2、θp3、θp4・・・θpnの各なす角度間の差分をとり、その絶対値の和を求める。この和が最小となる組み合わせ位置を対応する組み合わせとして採用する。
例えば、θp1－θc1、θp2－θc2、θp3－θc3・・・の絶対値の和、θp2－θc1、θp3－θc2、θp4－θc3・・・の絶対値の和、θp3－θc1、θp4－θc2、θp5－θc3・・・の絶対値の和、・・・を全て計算し、その中で当該和が最小の組み合わせを探す。
この方法によれば、グローバル座標系における反射プリズム１０２の位置の変化と、ローカル座標系におけるカメラ１０１の位置の変化が比較され、両者の対応関係が特定される。この対応関係が求まることで、第１段階から更に精度を高めた初期値合わせが行われる。
第２段階の処理では、カメラ１０１の位置の計算間隔と反射プリズム１０２の位置の測定間隔とが極力近い（理想的には同一）ことが望まれる。図４（Ｃ）には、カメラ１０１の位置の計算間隔が１秒（１Ｈｚ）であり、反射プリズム１０２の位置の測定間隔が０．２秒（５Ｈｚ）である場合が示されている。この場合、反射プリズム１０２の位置の測定点の取得を５点に一点の割合とし（つまりサンプリング周波数を１／５とし）、カメラ１０１の位置の計算間隔に合わせる。この位置の測定間隔をそろえることで比較を行い易くする。この方法は、第１段階の処理においても有効である。
図４（Ｂ）は、なす角度の算出を、間隔を空けた３点とした場合である。図４（Ｂ）のようにすることで、なす角度の差がより顕著に生じ易くでき、比較の精度を高めることができる。
第２段階の処理の後に第３段階の処理が行われる。第３段階の処理では、カメラ位置と反射プリズム位置の対応関係を最小二乗法により求める。この処理では、ローカル座標系→グローバル座標系への変換行列が求まる。この変換行列を用いて、ローカル座標系となっているもの（特徴点、カメラ位置姿勢）がグローバル座標系に変換される。ここで求めた変換行列および当該変換行列によって変換した結果が次の調整計算の初期値として用いられる。
以上の３段階の位置合わせ処理により、相互標定によって得た各撮影画像のカメラ位置と特徴点の関係を記述したローカル座標系と、グローバル座標系との関係の初期値が得られる。
時系列を考慮した調整計算部３０５は、図２に関連して説明した数１および数２を用いた調整計算を行う。この調整計算は、上記の初期値合わせの結果を用いて行われる。
三次元モデル作成部３０６は、調整計算の結果得られた各特徴点のグローバル座標系における位置のデータである点群データに基づき、撮影対象の三次元モデルを作成する。この例では、重機１００の作業中に撮影した重機１００周囲の地形の三次元モデルの作成が行われる。この三次元モデルの時間軸上の変化を追うことで、重機１００が行った作業の内容（地形の変化）をデータ化できる。
カメラ制御部３０７は、カメラ１０１の撮影タイミングを決める制御を行う。カメラ１０１自体にこの制御を行う機能がある場合、カメラ制御部３０７は、カメラの撮影の開始および停止を指示する信号を出力する。
（処理の一例）
図５は、図３の演算装置３００において行われる処理の手順の一例を示すフローチャートである。図５の処理を実行するプログラムは、演算装置３００を構成するコンピュータの記憶装置や適当な記憶媒体に記憶され、当該コンピュータにより実行される。
図５は、図３の演算装置３００において行われる処理の手順の一例を示すフローチャートである。図５の処理を実行するプログラムは、演算装置３００を構成するコンピュータの記憶装置や適当な記憶媒体に記憶され、当該コンピュータにより実行される。
まず、処理の前提を説明する。ここでは、重機１００にカメラ１０１と反射プリズム１０２は固定され、カメラ１０１と反射プリズム１０２の離間距離Ｌは既知であるとする。Ｌは正確でなくてもよい。またＬは未知でもよい。この場合、調整計算により、Ｌは求められる。
重機１００上におけるカメラ１０１の位置と反射プリズム１０２の位置は未知とする。また、重機１００の稼働中において、カメラ１０１は繰り返し撮影を行う。トータルステーション２００は、反射プリズム１０２の位置を継続して繰り返し測定する。トータルステーション２００のグローバル座標系における位置と姿勢は既知である。また、カメラの撮影時刻とトータルステーションによる反射プリズム１０１の測位の時刻は同期していない。
図５の処理は、重機１００の稼働終了後に行われる。重機１００の稼働中に図５の処理を行ってもよい。例えば、５分毎や１０分毎に図４の処理を行うバッチ処理も可能である。また、リアルタイムに図５の処理を行う形態も可能である。
まず、カメラ１０１が撮影した画像データを取得する（ステップＳ１０１）。この処理は、図３の画像データ取得部３０１において行われる。次に、トータルステーション２００が測定した反射プリズム１０２の位置のデータを取得する（ステップＳ１０２）。この処理は、図３の反射プリズムの位置取得部３０２において行われる。
次に、ｓｆｍの原理により、カメラが撮影した画像に基づくローカル座標系における特徴点の位置、カメラ１０１の位置と姿勢の算出を行う（ステップＳ１０３）。この処理は、図３の相互標定部３０３において行われる。
撮影画像中にスケール（例えば、離間距離が既知の２点のターゲット）が写っていれば、上記ローカル座標系にスケールが与えられるが、スケールの付与は必須ではない。なお、撮影画像中にグローバル座標系上で位置が特定された基準点が複数写っていれば、上記ローカル座標系をグローバル座標系として扱うことができるが、必須ではない。
ステップＳ１０３において、撮影画像中から抽出した多数の特徴点のローカル座標系における位置が求まる。スケールと基準点が与えられていない場合、ステップＳ１０３により、カメラの位置と姿勢（これらはカメラが移動中に得られた撮影画像の数だけある）と多数の特徴点の相対的な三次元関係が得られる。
次に、初期値合わせを行う（ステップＳ１０４）。この処理は、図３の初期値合わせ部３０４において行われる。この初期値合わせを行うことで、ローカル座標系上におけるカメラ１０１の位置・時刻と、グローバル座標系上におけるカメラ１０１の位置・時刻の凡その関係が与えられる。
次に、数１と数２を用いた調整計算（時系列を考慮した調整計算）を行う（ステップＳ１０５）。この調整計算は、カメラ１０１の側の時刻と、トータルステーション２００の側の時刻のズレを考慮した調整計算である。この調整計算により、グローバル座標系におけるカメラ１０１の位置と姿勢、およびステップＳ１０３において得た撮影画像から得た多数の特徴点のグローバル座標系における位置が特定される。この処理は、図３の時系列を考慮した調整計算部３０５において行われる。
次に、撮影画像から得た特徴点に基づく三次元モデルの作成を行う（ステップＳ１０６）。この処理は、図３の三次元モデル作成部３０６において行われる。こうして、重機１００に搭載したカメラ１０１が撮影した対象の三次元モデルがグローバル座標系上において得られる。
（摘要）
重機１００に搭載された状態で移動するカメラ１０１が撮影した撮影画像の画像データを得、カメラ１０１に対して固定された特定の部分である反射プリズム１０２の位置がトータルステーション２００により測定され、測定された反射プリズム１０２の位置に基づきカメラ１０１の位置を算出し、反射プリズム１０２の位置の測定時刻とカメラ１０１の撮影時刻にはズレがあり、前記カメラ１０１の位置の算出では、カメラ１０１の位置を未知数とした調整計算が行われ、この調整計算は、前記時刻のズレに対応した補正量が加えられた反射プリズム１０１の測定位置に基づいて行われる。
重機１００に搭載された状態で移動するカメラ１０１が撮影した撮影画像の画像データを得、カメラ１０１に対して固定された特定の部分である反射プリズム１０２の位置がトータルステーション２００により測定され、測定された反射プリズム１０２の位置に基づきカメラ１０１の位置を算出し、反射プリズム１０２の位置の測定時刻とカメラ１０１の撮影時刻にはズレがあり、前記カメラ１０１の位置の算出では、カメラ１０１の位置を未知数とした調整計算が行われ、この調整計算は、前記時刻のズレに対応した補正量が加えられた反射プリズム１０１の測定位置に基づいて行われる。
（優位性）
本実施形態によれば、重機１００に搭載したカメラ１０１の撮影画像に基づく撮影対象の三次元モデルの作成において、カメラ１０１の撮影時刻と反射プリズム１０２の測位時刻が同期していなくても、その影響による誤差を抑えることができる。このため、移動体に搭載したカメラの撮影画像に基づく三次元データの精度を高めることができる。
本実施形態によれば、重機１００に搭載したカメラ１０１の撮影画像に基づく撮影対象の三次元モデルの作成において、カメラ１０１の撮影時刻と反射プリズム１０２の測位時刻が同期していなくても、その影響による誤差を抑えることができる。このため、移動体に搭載したカメラの撮影画像に基づく三次元データの精度を高めることができる。
２．第２の実施形態
重機１００にＧＮＳＳ位置測定装置を搭載し、このＧＮＳＳ位置測定装置を用いて重機上のカメラ１０１の位置を特定することもできる。この場合、反射プリズムとトータルステーションを不要とすることができる（勿論、併用も可能である）。ＧＮＳＳを用いた位置の測定は誤差を含むが、調整計算によりＧＮＳＳの誤差を抑えることができる。調整計算では、図１の反射プリズム１０２の代わりに、ＧＮＳＳ位置測定装置のアンテナが設置されているとして計算が行われる。また、ＲＴＫ法等の相対測位を用いることで、測定誤差を抑えることができる。特徴点の取り扱い、各種の標定、その他データの処理に関しては、第１の実施形態の内容と同じである。
重機１００にＧＮＳＳ位置測定装置を搭載し、このＧＮＳＳ位置測定装置を用いて重機上のカメラ１０１の位置を特定することもできる。この場合、反射プリズムとトータルステーションを不要とすることができる（勿論、併用も可能である）。ＧＮＳＳを用いた位置の測定は誤差を含むが、調整計算によりＧＮＳＳの誤差を抑えることができる。調整計算では、図１の反射プリズム１０２の代わりに、ＧＮＳＳ位置測定装置のアンテナが設置されているとして計算が行われる。また、ＲＴＫ法等の相対測位を用いることで、測定誤差を抑えることができる。特徴点の取り扱い、各種の標定、その他データの処理に関しては、第１の実施形態の内容と同じである。
１００…重機、１０１…カメラ、１０２…反射プリズム、１１０…回転部、１２０…ベース部、１５１…アーム部、１５２…バケット、２００…トータルステーション、３００…演算装置。
Claims (6)
- 移動するカメラが撮影した撮影画像の画像データを得、
前記カメラに対して固定された特定の部分の位置が測定され、
前記特定の部分の前記測定された位置に基づき前記カメラの位置を算出し、
前記特定の部分の位置の測定時刻と前記撮影画像の撮影時刻にはズレがあり、
前記カメラの位置の算出では、前記カメラの位置を未知数とした調整計算が行われ、
前記調整計算は、前記時刻のズレに対応した補正量が加えられた前記特定の部分の位置に基づいて行われる測量方法。 - 前記調整計算の初期値を求める処理が行われ、
前記初期値を求める処理では、
前記カメラの撮影画像に基づき算出されたローカル座標系における前記カメラの位置と、前記特定の部分のグローバル座標系における位置の動き始めおよび／または動き終わりの対応関係を求める処理が行われる請求項１に記載の測量方法。 - 前記調整計算の初期値を求める処理が行われ、
前記初期値を求める処理では、
前記カメラの撮影画像に基づき算出されたローカル座標系における前記カメラの位置の変化と、前記特定の部分のグローバル座標系における位置の変化の対応関係が求められる請求項１に記載の測量方法。 - 前記位置の変化は、第１の位置と第２の位置を結ぶ第１の直線と、第２の位置と第３の位置を結ぶ第２の直線とのなす角度によって評価される請求項３に記載の測量方法。
- 移動するカメラが撮影した撮影画像の画像データを得る手段と、
前記カメラに対して固定された特定の部分の位置を測定する手段と、
前記特定の部分の前記測定された位置に基づき前記カメラの位置を算出する手段と
を有し、
前記特定の部分の位置の測定時刻と前記撮影画像の撮影時刻にはズレがあり、
前記カメラの位置の算出では、前記カメラの位置を未知数とした調整計算が行われ、
前記調整計算は、前記時刻のズレに対応した補正量が加えられた前記特定の部分の位置に基づいて行われる測量システム。 - コンピュータに読み取らせて実行させるプログラムであって、
コンピュータに
移動するカメラが撮影した撮影画像の画像データの取得と、
前記カメラに対して固定された特定の部分の位置の測定データの取得と、
前記特定の部分の前記測定された位置に基づき前記カメラの位置の算出と
を実行させ、
前記特定の部分の位置の測定時刻と前記撮影画像の撮影時刻にはズレがあり、
前記カメラの位置の算出では、前記カメラの位置を未知数とした調整計算が行われ、
前記調整計算は、前記時刻のズレに対応した補正量が加えられた前記特定の部分の位置に基づいて行われるプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023058216A JP2024145734A (ja) | 2023-03-31 | 2023-03-31 | 測量方法、測量システムおよびプログラム |
| JP2023-058216 | 2023-03-31 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024204029A1 true WO2024204029A1 (ja) | 2024-10-03 |
Family
ID=92905370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/011633 Ceased WO2024204029A1 (ja) | 2023-03-31 | 2024-03-25 | 測量方法、測量システムおよびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2024145734A (ja) |
| WO (1) | WO2024204029A1 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009042175A (ja) * | 2007-08-10 | 2009-02-26 | Koishi:Kk | 施工位置測定システム及び丁張りレスシステム |
| WO2010001940A1 (ja) * | 2008-07-01 | 2010-01-07 | 株式会社トプコン | 位置測定方法、位置測定装置、およびプログラム |
| JP2019045425A (ja) * | 2017-09-06 | 2019-03-22 | 株式会社トプコン | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム |
| JP2023119313A (ja) * | 2022-02-16 | 2023-08-28 | マック株式会社 | 測定システム |
| WO2024057757A1 (ja) * | 2022-09-15 | 2024-03-21 | 株式会社トプコン | 演算装置、演算方法およびプログラム |
| WO2024062781A1 (ja) * | 2022-09-22 | 2024-03-28 | 株式会社トプコン | 演算装置、演算方法およびプログラム |
-
2023
- 2023-03-31 JP JP2023058216A patent/JP2024145734A/ja active Pending
-
2024
- 2024-03-25 WO PCT/JP2024/011633 patent/WO2024204029A1/ja not_active Ceased
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009042175A (ja) * | 2007-08-10 | 2009-02-26 | Koishi:Kk | 施工位置測定システム及び丁張りレスシステム |
| WO2010001940A1 (ja) * | 2008-07-01 | 2010-01-07 | 株式会社トプコン | 位置測定方法、位置測定装置、およびプログラム |
| JP2019045425A (ja) * | 2017-09-06 | 2019-03-22 | 株式会社トプコン | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム |
| JP2023119313A (ja) * | 2022-02-16 | 2023-08-28 | マック株式会社 | 測定システム |
| WO2024057757A1 (ja) * | 2022-09-15 | 2024-03-21 | 株式会社トプコン | 演算装置、演算方法およびプログラム |
| WO2024062781A1 (ja) * | 2022-09-22 | 2024-03-28 | 株式会社トプコン | 演算装置、演算方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024145734A (ja) | 2024-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7037302B2 (ja) | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム | |
| CN110335295B (zh) | 一种基于tof相机的植物点云采集配准与优化方法 | |
| CN108171733B (zh) | 使两个或更多个三维3d点云配准的方法 | |
| JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
| CN1987353B (zh) | 位置数据内插法及位置检测传感器以及位置测定装置 | |
| US6782123B1 (en) | Method and device for mapping radiation sources | |
| CN113124883B (zh) | 基于3d全景相机的离线标点方法 | |
| CN110033489A (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
| JP7043283B2 (ja) | 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム | |
| KR101252680B1 (ko) | 디지털 항공이미지를 이용한 영상도화시스템 | |
| CN111879354A (zh) | 一种无人机精细化测量系统 | |
| CN103106339A (zh) | 同步航空影像辅助的机载激光点云误差改正方法 | |
| CN104964673A (zh) | 一种可定位定姿的近景摄影测量系统和测量方法 | |
| CN113984019A (zh) | 测量系统、测量方法以及测量用程序 | |
| CN113724337A (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
| WO2024125004A1 (zh) | 无靶标四目立体视觉系统全局标定方法 | |
| WO2024057757A1 (ja) | 演算装置、演算方法およびプログラム | |
| EP4592639A1 (en) | Computing device, computing method, and program | |
| EP3475653B1 (en) | Integrating point cloud scans, image data, and total station data from a surveying instrument into one adjustment | |
| JP7672245B2 (ja) | 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム | |
| WO2024204029A1 (ja) | 測量方法、測量システムおよびプログラム | |
| JP4809134B2 (ja) | 画像処理装置及びその処理方法 | |
| JP2024145771A (ja) | 重機の情報の取得方法、システムおよびプログラム | |
| TW202137138A (zh) | 含大地座標之3d點雲地圖的產生方法和3d點雲地圖產生系統 | |
| Shortis et al. | State of the art of 3D measurement systems for industrial and engineering applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24780147 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2024780147 Country of ref document: EP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2024780147 Country of ref document: EP Effective date: 20251031 |
|
| ENP | Entry into the national phase |
Ref document number: 2024780147 Country of ref document: EP Effective date: 20251031 |
|
| ENP | Entry into the national phase |
Ref document number: 2024780147 Country of ref document: EP Effective date: 20251031 |
|
| ENP | Entry into the national phase |
Ref document number: 2024780147 Country of ref document: EP Effective date: 20251031 |
|
| ENP | Entry into the national phase |
Ref document number: 2024780147 Country of ref document: EP Effective date: 20251031 |