[go: up one dir, main page]

JP4038726B2 - Image matching method - Google Patents

Image matching method Download PDF

Info

Publication number
JP4038726B2
JP4038726B2 JP2003311887A JP2003311887A JP4038726B2 JP 4038726 B2 JP4038726 B2 JP 4038726B2 JP 2003311887 A JP2003311887 A JP 2003311887A JP 2003311887 A JP2003311887 A JP 2003311887A JP 4038726 B2 JP4038726 B2 JP 4038726B2
Authority
JP
Japan
Prior art keywords
dimensional
image
data
point cloud
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003311887A
Other languages
Japanese (ja)
Other versions
JP2005077385A (en
Inventor
大 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Plant Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Plant Technologies Ltd filed Critical Hitachi Plant Technologies Ltd
Priority to JP2003311887A priority Critical patent/JP4038726B2/en
Publication of JP2005077385A publication Critical patent/JP2005077385A/en
Application granted granted Critical
Publication of JP4038726B2 publication Critical patent/JP4038726B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像対応付け方法に係り、測量や考古学遺跡の発掘等の分野で対象物を計測するためのデータとして得ることができる、被写体の三次元データと二次元データとを対応付ける、画像対応付け方法に関する。 The present invention relates to an image correlating method, it can be obtained as data for measuring the object in the field of excavation such as the surveying and archaeological sites, associating the three-dimensional data and the two-dimensional data of the object image concerning the association method.

従来、レーザスキャナ計測では、レーザ光を計測対象に照射し、反射して戻ってくるまでの時間から距離を求め、レーザ光照射時の角度を考慮することで計測対象の３次元位置を計測している。このとき予め指定された計測範囲に対して指定された点数にて計測を行うため、計測結果としては三次元位置と受光強度と呼ばれるレーザ反射強度を数値化した情報を一つにした点群データ（三次元点群データ）と呼ばれる点データの集まりを取得している。   Conventionally, in laser scanner measurement, the measurement object is irradiated with laser light, the distance is calculated from the time it takes to reflect and return, and the three-dimensional position of the measurement object is measured by considering the angle at the time of laser light irradiation. ing. At this time, since the measurement is performed with the specified number of points in the measurement range specified in advance, the measurement result is point cloud data that combines the three-dimensional position and the information obtained by quantifying the laser reflection intensity called received light intensity. A collection of point data called (three-dimensional point cloud data) is acquired.

これに対し、デジタル写真測量では、まず、撮影する写真の少なくとも一部がオーバーラップするように規定の間隔をあけて二つの視点から計測対象を撮影したデジタル写真データにおけるオーバーラップ部分（ステレオ写真データ）の中心投影画像の差異を導き出す。次に、撮影対象を実測や基準長さを得るためのポイントの配置等の詳細測量によって、計測対象の高さ情報や距離情報を得る。そして、ステレオ写真データに詳細測量によって得た情報を付加して、三次元画像としてデータを残すようにしていた。   On the other hand, in digital photogrammetry, first, the overlap part (stereo photo data) in the digital photo data obtained by photographing the measurement object from two viewpoints with a predetermined interval so that at least part of the photograph to be taken overlaps. ) To derive the difference in the central projection image. Next, height information and distance information of the measurement target are obtained by detailed surveying such as actual measurement of the imaging target and arrangement of points for obtaining a reference length. Then, the information obtained by the detailed survey is added to the stereo photograph data to leave the data as a three-dimensional image.

上記レーザスキャナによる計測では、精度の良い三次元点群データを比較的容易に得ることができるが、色彩を得ることができないために、表示される画像を見る者が計測対象を認識しずらいという問題があった。これに対し、デジタル写真測量では、詳細な色情報を付加した三次元画像を表示することができるが、三次元画像を作成するまでに多くの労力を必要とするために、広範囲に及ぶ詳細な三次元画像を作成することは困難であるという問題があった。   In the measurement by the laser scanner, accurate three-dimensional point cloud data can be obtained relatively easily. However, since the color cannot be obtained, it is difficult for a person viewing the displayed image to recognize the measurement target. There was a problem. In contrast, digital photogrammetry can display a three-dimensional image with detailed color information, but it requires a lot of effort to create a three-dimensional image. There is a problem that it is difficult to create a three-dimensional image.

このような背景において、レーザスキャナ計測によって得ることができる三次元点群画像と、デジタル写真撮影によって得ることができる二次元画像とを関連付ける技術が特許文献１に記載されている。また、三次元画像に対して二次元画像の色情報を付加するという技術が、非特許文献１に記載されている。
特開２００２−７４３２３号公報 横山 大、他１名、「高解像度デジタルカメラを用いた考古学遺物の正射投影システムに関する研究」、平成１４年度日本写真測量学会秋季学術講演会論文集、ｐ.２２９−２３２ In such a background, Patent Document 1 describes a technique for associating a three-dimensional point cloud image that can be obtained by laser scanner measurement with a two-dimensional image that can be obtained by digital photography. Non-patent document 1 describes a technique of adding color information of a two-dimensional image to a three-dimensional image.
JP 2002-74323 A Dai Yokoyama and one other, “Study on orthographic projection system of archeological artifacts using high-resolution digital camera”, Proceedings of the Autumn Meeting of the Japanese Society of Photogrammetry, p.229-232

上記特許文献１の技術は、レーザスキャナで得た点群データが建物であるのか、自然物であるのかを判断するための技法にすぎず、二次元画像によって得ることができる詳細な色情報を三次元点群データに反映させることはできていない。また、非特許文献１に記載の技術では、三次元画像に二次元画像の詳細な色情報を付加するようにしているが、この技術は、ラインレーザの光が計測対象に当たることによって得られる反射部分（輪郭像）を複数枚取得することによって三次元画像を取得するものであり、計測対象を撮影した際の各点については、詳細な三次元位置情報を得ることはできない。さらに当該技術は、単に三次元画像に二次元画像を貼付（テクスチャ）したことにすぎず、画像取得範囲を広げるに従って、三次元画像と二次元画像とのズレが大きくなってしまい、色情報の貼付ができないということが起こってしまう可能性がある。   The technique of the above-mentioned patent document 1 is only a technique for determining whether the point cloud data obtained by the laser scanner is a building or a natural object, and detailed color information that can be obtained by a two-dimensional image is obtained from the third order. It cannot be reflected in the original point cloud data. Further, in the technique described in Non-Patent Document 1, detailed color information of the two-dimensional image is added to the three-dimensional image. However, this technique is a reflection obtained by the line laser light hitting the measurement target. A three-dimensional image is acquired by acquiring a plurality of portions (contour images), and detailed three-dimensional position information cannot be obtained for each point when the measurement target is imaged. Furthermore, this technique is merely a pasting (texturing) of a two-dimensional image to a three-dimensional image, and as the image acquisition range is widened, the deviation between the three-dimensional image and the two-dimensional image increases, and color information It may happen that it cannot be applied.

上記技術に対し、本発明では、計測対象範囲を広げたとしても三次元データと二次元データとを精度良く対応付けることを可能とし、かつ三次元データに詳細な色情報を付加することができる画像対応付け方法を提供することを目的とする。 To the technique, in the present invention, the image can also make it possible to associate accurately and three-dimensional data and the two-dimensional data, and adds detailed color information on the three-dimensional data as a spread measurement object range An object is to provide an association method .

上記目的を達成するために、本発明に係る画像対応付け方法は、レーザスキャナによって計測対象の三次元点群データを得ると共に、前記計測対象を撮影して二次元カラー画像を取得し、前記二次元カラー画像上において任意に３点以上を選択し、当該選択した各点に、前記三次元点群データに基づく三次元位置情報を与え、前記選択点の三次元位置情報に基づいて、前記計測対象の撮影時におけるカメラと前記レーザスキャナとの相対的な位置関係を求め、求めた相対的位置関係と、選択した点における三次元位置情報とに基づいて、前記三次元点群データの各点のデータに前記二次元カラー画像の画像データを対応させることを特徴とする。 In order to achieve the above object, an image association method according to the present invention obtains three-dimensional point cloud data to be measured by a laser scanner, obtains a two-dimensional color image by photographing the measurement object, and Three or more points are arbitrarily selected on the three-dimensional color image, three-dimensional position information based on the three-dimensional point cloud data is given to the selected points, and the measurement is performed based on the three-dimensional position information of the selected points. The relative positional relationship between the camera and the laser scanner at the time of photographing the target is obtained, and each point of the 3D point cloud data is determined based on the obtained relative positional relationship and the 3D positional information at the selected point. The image data of the two-dimensional color image is made to correspond to the above data.

また、前記三次元点群データと前記二次元カラー画像との対応付けは、前記三次元点群データを、前記二次元カラー画像の撮影位置から計測したと仮定した場合の画像に変換することで得られる擬似中心投影画像を作成し、当該擬似中心投影画像と前記カラー画像とを重ね合わせて行うようにすると良い。 Further, the association between the three-dimensional point cloud data and the two-dimensional color image is performed by converting the three-dimensional point cloud data into an image when it is assumed that the measurement is performed from the photographing position of the two-dimensional color image. It is preferable to create a pseudo center projection image to be obtained and to superimpose the pseudo center projection image and the color image.

また、上記のような特徴を有する画像対応付け方法では、前記三次元点群データに対応付けられた前記二次元カラー画像に基づいて、前記計測対象の正射投影画像を作成しても良い。In the image association method having the above-described features, the orthographic projection image to be measured may be created based on the two-dimensional color image associated with the three-dimensional point cloud data.

上記特徴を持つ画像対応付け方法において、本発明に係る画像対応付け方法は、レーザスキャナによって計測対象の三次元点群データを得ると共に、前記計測対象を撮影して二次元カラー画像を取得し、前記二次元カラー画像上において任意に３点以上を選択し、当該選択した各点に、前記三次元点群データに基づく三次元位置情報を与え、前記選択点の三次元位置情報に基づいて、前記計測対象の撮影時におけるカメラと前記レーザスキャナとの相対的な位置関係を求め、求めた相対的位置関係と、選択した点における三次元位置情報とに基づいて、前記三次元点群データの各点のデータに前記二次元カラー画像の画像データを対応させるようにすることで、三次元点群データと、二次元カラー画像とを、異なる視点・距離から計測・撮影した場合であっても、各々の画像を対応付けることができる。 In the image association method having the above characteristics, the image association method according to the present invention obtains a three-dimensional point cloud data to be measured by a laser scanner, obtains a two-dimensional color image by photographing the measurement object, Select arbitrarily three or more points on the two-dimensional color image, give each selected point three-dimensional position information based on the three-dimensional point cloud data, based on the three-dimensional position information of the selected point, The relative positional relationship between the camera and the laser scanner at the time of photographing the measurement target is obtained, and based on the obtained relative positional relationship and the three-dimensional positional information at the selected point, the three- dimensional point cloud data by the image data so as to correspond to the two-dimensional color image data of each point, measuring and photographing the three-dimensional point cloud data, and a two-dimensional color image from different viewpoints and distance Even when an can be associated with each image.

また、前記三次元点群データと前記二次元カラー画像との対応付けは、前記三次元点群データを、前記二次元カラー画像の撮影位置から計測したと仮定した場合の画像に変換することで得られる擬似中心投影画像を作成し、当該擬似中心投影画像と前記カラー画像とを重ね合わせて行うようにすることで、二次元カラー画像を撮影した際に得ることができる色情報を最大限前記三次元点群データに対応させることができるようになる。 Further, the association between the three-dimensional point cloud data and the two-dimensional color image is performed by converting the three-dimensional point cloud data into an image when it is assumed that the measurement is performed from the photographing position of the two-dimensional color image. By creating a pseudo-center projection image to be obtained and performing the superposition of the pseudo-center projection image and the color image, the color information that can be obtained when a two-dimensional color image is captured is maximized. It becomes possible to correspond to 3D point cloud data.

以下本発明の画像対応付け方法に係る実施の形態を、図面を参照しつつ説明する。なお、本発明は、以下の実施形態のみに限定されるものではない。 Embodiments of the image association method of the present invention will be described below with reference to the drawings. In addition, this invention is not limited only to the following embodiment.

図１に本発明に使用する装置の配置例を示す。本発明を実施するためのシステムの基本構成は、レーザスキャナ（レーザスキャニングセンサ）１０と、それに併設されるデジタルカメラ１２ａ、１２ｂと、それらの画像データを保管・解析するためのコンピュータ１４と、前記画像データ及び解析結果等を表示するための表示装置１６とから成る。 FIG. 1 shows an arrangement example of apparatuses used in the present invention. A basic configuration of a system for carrying out the present invention includes a laser scanner (laser scanning sensor) 10, digital cameras 12a and 12b provided therewith, a computer 14 for storing and analyzing the image data thereof, And a display device 16 for displaying image data and analysis results.

前記レーザスキャナ１０は、計測対象２２と当該レーザスキャナ１０のセンサ（不図示）との間をレーザパルスが往復する時間を計測することで前記計測対象２２との距離を計測し、同時にレーザビームを発射した方向を計測することで、計測対象２２の形状を三次元データとして取得するものである。計測対象２２の三次元データ取得に際してレーザスキャナ１０を使用することにより、計測対象２２にレーザ以外触れるものが無いため、計測対象２２に危害を加える虞が無い。当該レーザスキャナ１０は、取得した三次元点群データの保管・解析を行うために、後述するコンピュータ１４に接続されている。   The laser scanner 10 measures the distance between the measurement target 22 and a sensor (not shown) of the laser scanner 10 by measuring the time for the laser pulse to reciprocate, and simultaneously measures the laser beam. By measuring the firing direction, the shape of the measurement target 22 is acquired as three-dimensional data. By using the laser scanner 10 when acquiring the three-dimensional data of the measurement object 22, there is nothing to touch the measurement object 22 other than the laser, and there is no risk of harming the measurement object 22. The laser scanner 10 is connected to a computer 14 described later in order to store and analyze the acquired three-dimensional point cloud data.

前記デジタルカメラ１２ａ、１２ｂは、汎用のデジタルカメラで良く、２台のデジタルカメラ１２ａ、１２ｂはそれぞれ同じ解像度であることが望ましく、高解像度のものが良い。また、前記デジタルカメラ１２ａ、１２ｂは、計測対象２２に対してデジタル写真測量を行うことができるように、双方の撮影範囲２０ａ、２０ｂにおいて少なくとも計測対象２２がオーバーラップして写るように基線長（間隔）ｄをあけて設置すると良い。また、前記レーザスキャナ１０との配置関係は、前記レーザスキャナ１０とデジタルカメラ１２ａ、１２ｂとの撮影（計測）姿勢および位置ができるだけ類似するような関係であることが望ましい。よって、本実施形態では、デジタルカメラ１２ａ、１２ｂの間にレーザスキャナ１０を設置する。なお、当該デジタルカメラ１２ａ、１２ｂは、前記レーザスキャナ１０と同様に、取得した二次元カラー画像データの保管・解析を行うために、後述するコンピュータ１４に接続されている。   The digital cameras 12a and 12b may be general-purpose digital cameras, and the two digital cameras 12a and 12b preferably have the same resolution, and preferably have high resolution. In addition, the digital cameras 12a and 12b are configured so that at least the measurement object 22 overlaps in both the shooting ranges 20a and 20b so that the digital photogrammetry can be performed on the measurement object 22. It is better to install with a spacing d. Further, it is desirable that the arrangement relationship with the laser scanner 10 is such that the photographing (measurement) posture and position of the laser scanner 10 and the digital cameras 12a and 12b are as similar as possible. Therefore, in this embodiment, the laser scanner 10 is installed between the digital cameras 12a and 12b. The digital cameras 12a and 12b are connected to a computer 14 to be described later in order to store and analyze the acquired two-dimensional color image data, similarly to the laser scanner 10.

前記コンピュータ１４は図２に示すように、少なくとも、前記レーザスキャナ１０によって取得する三次元点群データ（点群データ）や、前記デジタルカメラ１２ａ、１２ｂによって撮影される二次元カラー画像であるデジタル写真データ（カラー画像データ）、およびそれらを基に作成する擬似中心投影画像データや、正射投影画像データを保管するメモリ部１４ａと、後述するカメラの姿勢演算や、擬似中心投影画像を作成するための演算や、画像対応付けのためのデジタル写真データと三次元点群データとの位置関係の演算（位置演算）や、作成した擬似中心投影画像を正射投影画像へ変換するための演算（正射投影演算）等を行う演算部１４ｃと、前記三次元点群データと前記デジタル写真データとを対応付ける対応付け部１４ｂと、前記メモリ部１４ａ、対応付け部１４ｂ、演算部１４ｃによって処理されたデータ等を表示装置１６へ表示させるためのデータ制御を行う表示制御部１４ｄと、付属の選択手段および入力手段であるキーボード１４ｈ及びマウス１４ｉによる入力事項を当該コンピュータ１４に認識させるためのユーザーインターフェースであるキーボードインターフェース１４ｅ及びマウスインターフェース１４ｆと、前記レーザスキャナ１０や前記デジタルカメラ１２ａ、１２ｂによって得ることができるデータを取り込むためのハードウェアインターフェース１４ｇとを備え、それぞれバス１４ｊによってデータの流通を行うようにしている。   As shown in FIG. 2, the computer 14 is at least a three-dimensional point cloud data (point cloud data) acquired by the laser scanner 10 and a digital photograph which is a two-dimensional color image taken by the digital cameras 12a and 12b. Data (color image data), and a pseudo central projection image data created based on the data, a memory unit 14a for storing orthographic projection image data, and a camera attitude calculation and a pseudo center projection image to be described later , Calculation of the positional relationship between digital photo data and 3D point cloud data for image matching (position calculation), and calculation for converting the created pseudo center projection image into an orthographic projection image (correction) A calculation unit 14c that performs projection projection calculation) and the like, and an association unit 14b that associates the three-dimensional point cloud data with the digital photograph data A display control unit 14d that performs data control for causing the display device 16 to display data processed by the memory unit 14a, the association unit 14b, and the calculation unit 14c; a keyboard 14h that is an attached selection unit and input unit; A keyboard interface 14e and a mouse interface 14f, which are user interfaces for causing the computer 14 to recognize input items from the mouse 14i, and hardware for capturing data that can be obtained by the laser scanner 10 and the digital cameras 12a and 12b An interface 14g is provided, and data is distributed through the bus 14j.

点群データとデジタル写真データとの対応付けは、以下のようにして行う（以下図３参照）。
まず、計測対象２２とデジタルカメラ１２との関係として撮影の位置座標や姿勢情報を数式１によって算出する。

Figure 0004038726
The association between the point cloud data and the digital photo data is performed as follows (see FIG. 3 below).
First, as a relationship between the measurement target 22 and the digital camera 12, shooting position coordinates and posture information are calculated by Equation 1.
Figure 0004038726

ここで、（Ｘ、Ｙ、Ｚ）は、図中Ｐ1若しくはＰ2若しくはＰ3で示す計測対象２２の点を示す座標であり、レーザスキャナ１０の計測位置を原点とする三次元座標系で示される。（Ｘ0、Ｙ0、Ｚ0）はＱで示すデジタルカメラ１２ａ若しくは１２ｂの焦点位置の座標を前記レーザスキャナ１０の計測位置を原点とする座標系で示すものである。（ｕ、ｖ）はｐ1若しくはｐ2もしくはｐ3で示すデジタル写真データ上の座標（デジタルカメラ１２のＣＣＤ上に映し出される画像の座標）であり、ｆはデジタルカメラ１２の焦点距離を示すものである。なお、上記、Ｐ1、ｐ1、Ｑ若しくはＰ2、ｐ2、Ｑ若しくはＰ3、ｐ3、Ｑは、いずれもＸＹＺの座標系において直線上に配置されることと想定する。また、ω、φ、κは、ＸＹＺ軸に対するデジタルカメラ１２ａ若しくは１２ｂの傾きを示す。
ここで、ａij（ｉｊは１、２、３のいずれか）とω、φ、κとの関係は数式２のように表すことができる。

Figure 0004038726
Here, (X, Y, Z) are coordinates indicating the point of the measurement target 22 indicated by P 1, P 2, or P 3 in the figure, and are a three-dimensional coordinate system having the measurement position of the laser scanner 10 as the origin. Indicated. (X 0 , Y 0 , Z 0 ) indicates the coordinate of the focal position of the digital camera 12a or 12b indicated by Q in a coordinate system with the measurement position of the laser scanner 10 as the origin. (U, v) are coordinates on the digital photograph data indicated by p 1, p 2, or p 3 (coordinates of the image displayed on the CCD of the digital camera 12), and f indicates the focal length of the digital camera 12. It is. It is assumed that P 1 , p 1 , Q or P 2 , p 2 , Q or P 3 , p 3 and Q are all arranged on a straight line in the XYZ coordinate system. Further, ω, φ, and κ indicate inclinations of the digital camera 12a or 12b with respect to the XYZ axes.
Here, the relationship between a ij (ij is any one of 1, 2, and 3) and ω, φ, κ can be expressed as Equation 2.
Figure 0004038726

上記数式１の計算はコンピュータ１４の演算部１４ｃによって行われる。デジタルカメラ１２ａ、１２ｂの位置情報および姿勢情報である（Ｘ0、Ｙ0、Ｚ0）およびω、φ、κを算出するために必要なデータの入力は次のようにして行われる。 The calculation of Equation 1 is performed by the calculation unit 14c of the computer 14. The position information and orientation information (X 0 , Y 0 , Z 0 ) and data necessary for calculating ω, φ, κ of the digital cameras 12a, 12b are input as follows.

表示装置１６上にデジタル写真データによる画像と、三次元点群データによる画像とを表示する。デジタル写真データから３点以上の任意の点（本実施形態では３点）ｐ1、ｐ2、ｐ3を表示装置１６の画面上でマウス１４ｉ若しくはキーボード１４ｈにより選択する。同画面上に表示された三次元点群データから、ｐ1、ｐ2、ｐ3に対応すると認識できる点Ｐ1、Ｐ2、Ｐ3をマウス１４ｉ若しくはキーボード１４ｈにより指定する。これにより、各点ｐ（ｕ、ｖ）に対応した三次元位置情報である各点Ｐ（Ｘ、Ｙ、Ｚ）を得ることができる。このようにして得た各点の座標情報を演算部１４ｃにて数式１に代入する。なお、選択する点を３点以上とすることにより、少なくとも６つの方程式を得ることができる。よって、これらを連立方程式として解くことにより、前記（Ｘ0、Ｙ0、Ｚ0）およびω、φ、κを算出することが可能となる。 An image based on digital photographic data and an image based on 3D point cloud data are displayed on the display device 16. Three or more arbitrary points (three points in the present embodiment) p 1 , p 2 , and p 3 are selected from the digital photo data on the screen of the display device 16 with the mouse 14i or the keyboard 14h. Points P 1 , P 2 , P 3 that can be recognized as corresponding to p 1 , p 2 , p 3 are designated by the mouse 14i or the keyboard 14h from the three-dimensional point cloud data displayed on the screen. Thereby, each point P (X, Y, Z) which is the three-dimensional position information corresponding to each point p (u, v) can be obtained. The coordinate information of each point obtained in this way is substituted into Equation 1 by the calculation unit 14c. Note that at least six equations can be obtained by selecting three or more points to be selected. Therefore, by solving these as simultaneous equations, it is possible to calculate (X 0 , Y 0 , Z 0 ) and ω, φ, κ.

上記数値の算出手段の概念としては、通常のデジタル写真測量の要領と同じである。なお、通常のデジタル写真測量では、基準長さを示すポイントをデジタル写真データ上に表示するように撮影して、当該ポイントを基準長さとして定めるのに対し、本発明では、基準長さ情報としてレーザスキャナ１０による三次元点群データの計測値を用いる。よって、ポイントの配置や、計測対象２２の実測といった作業が不要となり、作業の効率化を図ることが可能となる。   The concept of the numerical value calculation means is the same as that for normal digital photogrammetry. In normal digital photogrammetry, a point indicating a reference length is photographed so as to be displayed on the digital photo data, and the point is set as the reference length. In the present invention, the reference length information is used. Measurement values of three-dimensional point cloud data obtained by the laser scanner 10 are used. Therefore, work such as point arrangement and actual measurement of the measurement target 22 is not necessary, and work efficiency can be improved.

上述のようにして、デジタルカメラ１２ａ若しくは１２ｂの姿勢情報および位置座標を算出した後、前記演算部１４ｃにて前記デジタルカメラ１２の姿勢情報および位置情報に対応した擬似中心投影画像を、前記三次元点群データを変換することによって作成する。擬似中心投影画像の作成は、例えば、三次元点群データの座標系において、前記デジタルカメラ１２ａ若しくは１２ｂの姿勢情報および位置座標をデータとして前記演算部１４ｃに与える。前記姿勢情報および位置座標のデータを与えられた演算部１４ｃは、前記原点位置からの計測によって得た三次元点群データを、前記データの姿勢および位置（デジタルカメラ１２の撮影位置）から計測を行ったと仮定した場合の画像に変換する。このようにして得られる画像データを擬似中心投影画像として表示装置１６へ表示するようにすれば良い。   As described above, after calculating the posture information and position coordinates of the digital camera 12a or 12b, the arithmetic unit 14c converts the pseudo center projection image corresponding to the posture information and position information of the digital camera 12 into the three-dimensional image. Created by converting point cloud data. For example, in the coordinate system of the three-dimensional point cloud data, the pseudo center projection image is created by giving the posture information and position coordinates of the digital camera 12a or 12b as data to the calculation unit 14c. The calculation unit 14c given the posture information and the position coordinate data measures the three-dimensional point cloud data obtained by the measurement from the origin position from the posture and position of the data (shooting position of the digital camera 12). Convert to an image that is assumed to have been done. The image data obtained in this way may be displayed on the display device 16 as a pseudo center projection image.

擬似中心投影画像を作成後、前記対応付け部１４ｂにて、前記デジタル写真データと、前記擬似中心投影画像とを重ね合わせて、前記指定した３点の座標以外の各点の座標同士をコンピュータ１４によりそれぞれ自動で対応付ける。これにより、前記擬似中心投影画像としての三次元点群データの各点の座標には、前記デジタル写真データから得ることができる詳細な色情報が付加されることとなる（色付点群データ）。
上記のようにして作成した色付点群データは、前記メモリ部に保管される。 After creating the pseudo center projection image, the association unit 14b superimposes the digital photograph data and the pseudo center projection image, and the coordinates of each point other than the designated three coordinates are calculated by the computer 14. Automatically correspond to each other. As a result, detailed color information that can be obtained from the digital photograph data is added to the coordinates of each point of the three-dimensional point group data as the pseudo-center projection image (colored point group data). .
The colored point cloud data created as described above is stored in the memory unit.

以下、図４に示すフローチャートに従って、本発明の三次元データと二次元データとの対応付け方法の流れについて説明する。
まず、デジタルカメラ１２ａ、１２ｂによって計測対象２２を撮影し、２枚のデジタル写真データを得る。このとき、撮影範囲２０ａ、２０ｂがそれぞれ計測対象２２を含み、両者のデジタル写真データにおいてオーバーラップするようにする（ステップ１００）。 The flow of the method for associating the three-dimensional data and the two-dimensional data according to the present invention will be described below with reference to the flowchart shown in FIG.
First, the measurement object 22 is photographed by the digital cameras 12a and 12b to obtain two pieces of digital photo data. At this time, the photographing ranges 20a and 20b each include the measurement object 22, and are overlapped in both digital photograph data (step 100).

同時に、レーザスキャナ１０によって計測対象２２を計測し、前記計測対象２２の三次元点群データを取得する（ステップ１０２）。このとき、計測範囲１８は少なくとも計測対象２２を含むようにする。
通常のデジタル写真測量の場合、１枚の写真からでは三次元画像を作成することはできないため、前記デジタルカメラ撮影によって得た二枚のデジタル写真に基づき、双方のデジタルカメラ１２の姿勢情報および位置座標を上述の要領で算出する。しかしながら、本実施形態の場合は、計測対象２２の三次元座標を前記三次元点群データによって得ることができるため、デジタルカメラ１２ａ、１２ｂのうち、少なくともどちらか一方について、上述の要領でデジタルカメラ１２の姿勢情報および位置座標を算出すれば良い（ステップ１０４）。なお、双方のカメラについて姿勢情報および位置座標を算出して以下のステップを行うようにすることで、三次元点群データに付加する色情報の抜けを少なくすることもできる。 At the same time, the measurement target 22 is measured by the laser scanner 10, and the three-dimensional point cloud data of the measurement target 22 is acquired (step 102). At this time, the measurement range 18 includes at least the measurement target 22.
In the case of normal digital photogrammetry, a three-dimensional image cannot be created from a single photo. Therefore, based on the two digital photos taken by the digital camera, the posture information and position of both digital cameras 12 Coordinates are calculated as described above. However, in the present embodiment, since the three-dimensional coordinates of the measurement target 22 can be obtained from the three-dimensional point group data, at least one of the digital cameras 12a and 12b is digital camera as described above. 12 posture information and position coordinates may be calculated (step 104). In addition, by calculating the posture information and the position coordinates for both cameras and performing the following steps, it is possible to reduce missing color information added to the three-dimensional point cloud data.

前記デジタルカメラ１２ａ若しくはデジタルカメラ１２ｂの姿勢情報および位置座標に対応した擬似中心投影画像を、前記三次元点群データを変換することによって作成する。これにより、前記デジタルカメラ１２ａ若しくは前記デジタルカメラ１２ｂの姿勢情報および位置座標と合致する三次元点群データ（擬似中心投影画像）を得ることができる（ステップ１０６）。   A pseudo center projection image corresponding to posture information and position coordinates of the digital camera 12a or digital camera 12b is created by converting the three-dimensional point cloud data. As a result, three-dimensional point cloud data (pseudo central projection image) that matches the posture information and position coordinates of the digital camera 12a or the digital camera 12b can be obtained (step 106).

前記擬似中心投影画像と、姿勢情報および位置座標が合致するデジタル写真データとを重ね合わせる（ステップ１０８）。
重ね合わされた擬似中心投影画像とデジタル写真データとの各点の座標を自動で対応付ける。（ステップ１１０）。 The pseudo center projection image and digital photograph data whose posture information and position coordinates match are superimposed (step 108).
The coordinates of each point of the superimposed pseudo-center projection image and digital photo data are automatically associated. (Step 110).

上記工程により、前記三次元点群データの各点の座標には、前記デジタル写真データによって得ることができる詳細な色情報が付加されることとなる。コンピュータ１４では、当該データを色付点群データとして管理・表示することを可能とする（ステップ１１２）。   Through the above steps, detailed color information that can be obtained from the digital photograph data is added to the coordinates of each point of the three-dimensional point cloud data. The computer 14 can manage and display the data as colored point cloud data (step 112).

通常のデジタル写真測量では、デジタルカメラ１２ａ、１２ｂの姿勢情報を算出した後に、画像のオーバーラップ部分を重ね合わせてステレオ画像を作成し、計測対象の高さ情報を付加して立体画像を作成するが、本実施形態では、予め計測されている三次元点群データが立体画像としての三次元情報をもつため、前記ステレオ画像の作成という工程を必要としない。よって、本発明では、色情報を付加した三次元画像を作成する際に、少なくとも、計測対象２２の三次元点群データと、計測対象２２を撮影した１枚のデジタル写真データとがあれば上述した色付点群データを得ることができる。 In normal digital photogrammetry, after calculating the posture information of the digital cameras 12a and 12b, a stereo image is created by superimposing overlapping portions of the images, and a stereoscopic image is created by adding height information of the measurement target. However, in this embodiment , since the three-dimensional point cloud data measured in advance has three-dimensional information as a stereoscopic image, the step of creating the stereo image is not necessary. Therefore, in the present invention, when creating a three-dimensional image to which color information is added, if at least the three-dimensional point cloud data of the measurement target 22 and one piece of digital photo data obtained by photographing the measurement target 22 are present, the above description is given. Colored point cloud data can be obtained.

つまり、本実施形態の画像対応付け方法を利用した測量方法は、デジタルカメラ１２ａ若しくは１２ｂによる画像とレーザスキャナ１０による画像とによってステレオ画像を作成し、予め三次元点群データの座標として求められている長さを基準長さとして利用することができるものである。   That is, the surveying method using the image association method of the present embodiment creates a stereo image from the image by the digital camera 12a or 12b and the image by the laser scanner 10, and is obtained in advance as the coordinates of the three-dimensional point cloud data. Can be used as a reference length.

上記実施形態では、三次元点群データと、デジタル写真データとを対応付けて三次元の色付点群データを得ることを記載したが、前記色付点群データの各点は、いずれもＸ、Ｙ、Ｚの座標を有することより、オルソ画像（正射投影画像）や鳥瞰図等も作成することができる。   In the above embodiment, it has been described that three-dimensional point cloud data and digital photograph data are associated with each other to obtain three-dimensional colored point cloud data. However, each point of the colored point cloud data is X By having the coordinates of Y, Z, an ortho image (orthographic projection image), a bird's-eye view, and the like can be created.

また、上記実施形態では、デジタルカメラ１２やレーザスキャナ１０はコンピュータ１４に直接接続してデータの授受を行うようにしていたが、メモリカードのような記録媒体によってデータの授受を行うようにしても良い。
オルソ画像は、三次元点群データを特定の平面に投影し、その時の平面上の各点の位置関係を二次元画像データとして記録することにより得ることができる。 In the above embodiment, the digital camera 12 and the laser scanner 10 are directly connected to the computer 14 to exchange data. However, the data may be exchanged by a recording medium such as a memory card. good.
An ortho image can be obtained by projecting three-dimensional point group data onto a specific plane and recording the positional relationship of each point on the plane as two-dimensional image data.

上記のような画像対応付け方法ならびに測量方法およびそれらを利用する計測システムにおいて、レーザスキャナ１０によって計測対象２２の三次元点群データを得ると共に、前記計測対象２２を撮影して二次元カラー画像を取得し、前記二次元カラー画像上において任意に３点以上を選択し、当該選択した各点に、前記三次元点群データに基づく三次元位置情報を与え、前記選択点の三次元位置情報に基づいて、前記計測対象２２の撮影時におけるデジタルカメラ１２（１２ａ、１２ｂ）と前記レーザスキャナ１０との相対的な位置関係を求め、求めた相対的位置関係と、選択した点における三次元位置情報とに基づいて、前記点群データの各点のデータに前記カラー画像の画像データを対応させるようにすることで、三次元点群データと、二次元カラー画像とを、異なる視点・距離から計測・撮影した場合であっても、各々の画像を対応付けることができる。   In the image association method and the survey method as described above and the measurement system using them, the laser scanner 10 obtains the three-dimensional point cloud data of the measurement target 22, and the measurement target 22 is photographed to obtain a two-dimensional color image. Obtaining, arbitrarily selecting three or more points on the two-dimensional color image, giving each selected point three-dimensional position information based on the three-dimensional point cloud data, Based on this, the relative positional relationship between the digital camera 12 (12a, 12b) and the laser scanner 10 at the time of photographing the measurement object 22 is obtained, and the obtained relative positional relationship and the three-dimensional positional information at the selected point. Based on the above, the image data of the color image is made to correspond to the data of each point of the point cloud data, A two-dimensional color images, even when the measurement and taken from different viewpoints and distance, can be associated with each image.

また、前記三次元点群データと前記二次元カラー画像との対応付けは、前記三次元点群データを、前記二次元カラー画像の撮影位置から計測したと仮定した場合の画像に変換することで得られる擬似中心投影画像を作成し、当該擬似中心投影画像と前記カラー画像とを重ね合わせて行うようにすることで、二次元カラー画像を撮影した際に得ることができる色情報を最大限前記三次元点群データに対応させることができるようになる。 Further, the association between the three-dimensional point cloud data and the two-dimensional color image is performed by converting the three-dimensional point cloud data into an image when it is assumed that the measurement is performed from the photographing position of the two-dimensional color image. By creating a pseudo-center projection image to be obtained and performing the superposition of the pseudo-center projection image and the color image, the color information that can be obtained when a two-dimensional color image is captured is maximized. It becomes possible to correspond to 3D point cloud data.

また、上記特徴を持つ測量方法において、レーザスキャナ１０によって計測対象２２の三次元点群データを得ると共に、前記計測対象２２の二次元カラー画像を取得し、前記二次元カラー画像上において任意に３点以上を選択し、当該選択した各点に、前記三次元点群データに基づく三次元位置情報を与え、前記選択点の三次元位置情報に基づいて、前記二次元カラー画像として表示された前記計測対象の各点についての三次元位置情報を求めるようにすることで、従来の写真測量のように、計測対象の実測や、計測対象へのポイントの配置（基準長さを得るための目印）を行う必要がなくなる。よって、写真測量が容易になる。   In the surveying method having the above characteristics, the laser scanner 10 obtains the three-dimensional point cloud data of the measurement target 22, acquires a two-dimensional color image of the measurement target 22, and arbitrarily selects 3 on the two-dimensional color image. Select a point or more, give each selected point three-dimensional position information based on the three-dimensional point cloud data, and based on the three-dimensional position information of the selected point, the two-dimensional color image displayed By obtaining 3D position information for each point of the measurement target, the measurement target is actually measured and points are placed on the measurement target (markers for obtaining the reference length) as in conventional photogrammetry. There is no need to do. Therefore, photogrammetry becomes easy.

さらに、上記特徴を持つ計測システムにおいて、計測対象の三次元点群データを取得するレーザスキャナ１０と、前記計測対象を撮影するデジタルカメラ１２（１２ａ、１２ｂ）と、前記デジタルカメラ１２により撮影した二次元カラー画像と、前記三次元点群データとに基づく計測対象を表示可能な表示手段と、前記表示手段に表示された二次元カラー画像上の任意の点を選択可能な選択手段と、前記選択手段により選択した任意の点に、前記三次元点群データに基づく三次元位置情報を入力可能な入力手段と、前記入力手段により入力された前記任意の点の三次元位置情報に基づいて、前記二次元カラー画像として表示された前記計測対象の各点の三次元位置を求める位置演算手段と、を有することを特徴とすることで、詳細な色情報を付加した三次元点群データを得ることができる。   Furthermore, in the measurement system having the above characteristics, a laser scanner 10 that acquires 3D point cloud data to be measured, a digital camera 12 (12a, 12b) that captures the measurement target, and two images that are captured by the digital camera 12. A display unit capable of displaying a measurement object based on a three-dimensional color image and the three-dimensional point cloud data, a selection unit capable of selecting an arbitrary point on the two-dimensional color image displayed on the display unit, and the selection An input means capable of inputting three-dimensional position information based on the three-dimensional point cloud data to an arbitrary point selected by the means, and based on the three-dimensional position information of the arbitrary point input by the input means, Position calculation means for obtaining a three-dimensional position of each point of the measurement object displayed as a two-dimensional color image, thereby providing detailed color information. Pressurizing the three-dimensional point group data can be obtained.

また、前記位置演算手段は、求めた前記三次元位置に基づいて、前記計測対象の正射投影画像を演算する正射投影画像演算部を有することにより、計測対象の正面図や平面図の作成が容易となる。   In addition, the position calculation means includes an orthographic projection image calculation unit that calculates the orthographic projection image of the measurement target based on the obtained three-dimensional position, thereby creating a front view and a plan view of the measurement target. Becomes easy.

本発明に使用する装置の配置を示す図である。It is a figure which shows arrangement | positioning of the apparatus used for this invention. 本発明を実施するためのシステムを示すブロック図である。It is a block diagram which shows the system for implementing this invention. 三次元点群データとデジタル写真データとを対応付ける場合の概念を示す図である。It is a figure which shows the concept in the case of matching 3D point cloud data and digital photograph data. 本発明を実施するにあたっての流れを示すフローチャートである。It is a flowchart which shows the flow in implementing this invention.

符号の説明Explanation of symbols

１０………レーザスキャナ（レーザスキャニングセンサ）、１２ａ、１２ｂ………デジタルカメラ、１４………コンピュータ、１６………表示装置、２２………計測対象。

10 ......... Laser scanner (laser scanning sensor), 12a, 12b ......... Digital camera, 14 ......... Computer, 16 ...... Display device, 22 ...... Measurement target.

Claims (3)

レーザスキャナによって計測対象の三次元点群データを得ると共に、前記計測対象を撮影して二次元カラー画像を取得し、
前記二次元カラー画像上において任意に３点以上を選択し、当該選択した各点に、前記三次元点群データに基づく三次元位置情報を与え、
前記選択点の三次元位置情報に基づいて、前記計測対象の撮影時におけるカメラと前記レーザスキャナとの相対的な位置関係を求め、
求めた相対的位置関係と、選択した点における三次元位置情報とに基づいて、前記三次元点群データの各点のデータに前記二次元カラー画像の画像データを対応させることを特徴とする画像対応付け方法。 While obtaining the three-dimensional point cloud data of the measurement target by a laser scanner, capturing the measurement target to obtain a two-dimensional color image,
Three or more points are arbitrarily selected on the two-dimensional color image, and three-dimensional position information based on the three-dimensional point cloud data is given to the selected points,
Based on the three-dimensional position information of the selected point, to determine the relative positional relationship between the camera and the laser scanner at the time of shooting the measurement target,
An image characterized by associating the image data of the two-dimensional color image with the data of each point of the three-dimensional point cloud data based on the obtained relative positional relationship and the three-dimensional position information at the selected point. Association method. 前記三次元点群データと前記二次元カラー画像との対応付けは、前記三次元点群データを、前記二次元カラー画像の撮影位置から計測したと仮定した場合の画像に変換することで得られる擬似中心投影画像を作成し、当該擬似中心投影画像と前記二次元カラー画像とを重ね合わせて行うことを特徴とする請求項１に記載の画像対応付け方法。 The association between the three-dimensional point cloud data and the two-dimensional color image is obtained by converting the three-dimensional point cloud data into an image when it is assumed that the measurement is performed from the photographing position of the two-dimensional color image. The image association method according to claim 1, wherein a pseudo center projection image is created, and the pseudo center projection image and the two-dimensional color image are overlapped. 前記三次元点群データに対応付けられた前記二次元カラー画像に基づいて、前記計測対象の正射投影画像を作成することを特徴とする請求項１または請求項２に記載の画像対応付け方法。The image association method according to claim 1 or 2, wherein an orthographic projection image of the measurement target is created based on the two-dimensional color image associated with the three-dimensional point cloud data. .
JP2003311887A 2003-09-03 2003-09-03 Image matching method Expired - Fee Related JP4038726B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003311887A JP4038726B2 (en) 2003-09-03 2003-09-03 Image matching method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003311887A JP4038726B2 (en) 2003-09-03 2003-09-03 Image matching method

Publications (2)

Publication Number Publication Date
JP2005077385A JP2005077385A (en) 2005-03-24
JP4038726B2 true JP4038726B2 (en) 2008-01-30

Family

ID=34413336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003311887A Expired - Fee Related JP4038726B2 (en) 2003-09-03 2003-09-03 Image matching method

Country Status (1)

Country Link
JP (1) JP4038726B2 (en)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4367703B2 (en) * 2004-09-13 2009-11-18 飛島建設株式会社 Orthographic projection image forming system
JP4533824B2 (en) * 2005-08-30 2010-09-01 株式会社日立製作所 Image input device and calibration method
CN101709962B (en) * 2005-09-12 2013-07-17 特里伯耶拿有限公司 Surveying instrument and method of providing survey data using a surveying instrument
JP4397372B2 (en) 2005-12-28 2010-01-13 トヨタ自動車株式会社 3D shape data creation method, 3D shape data creation device, and 3D shape data creation program
JP2008014653A (en) * 2006-07-03 2008-01-24 Pentax Industrial Instruments Co Ltd Surveying instrument
CA2678156C (en) 2007-02-16 2013-10-08 Mitsubishi Electric Corporation Measurement apparatus, measurement method, and feature identification apparatus
JP4852006B2 (en) 2007-07-27 2012-01-11 株式会社パスコ Spatial information database generation device and spatial information database generation program
JP4994259B2 (en) * 2008-02-08 2012-08-08 飛島建設株式会社 Orthographic projection image acquisition system using visible light
JP5116555B2 (en) * 2008-04-25 2013-01-09 三菱電機株式会社 LOCATION DEVICE, LOCATION SYSTEM, LOCATION SERVER DEVICE, AND LOCATION METHOD
TWI391874B (en) 2009-11-24 2013-04-01 Ind Tech Res Inst Method and device of mapping and localization method using the same
CN101901501B (en) * 2010-07-22 2012-02-08 首都师范大学 Method for generating laser color cloud picture
JP5465128B2 (en) 2010-08-11 2014-04-09 株式会社トプコン Point cloud position data processing device, point cloud position data processing system, point cloud position data processing method, and point cloud position data processing program
JP5580164B2 (en) * 2010-10-18 2014-08-27 株式会社トプコン Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program
JP2012137933A (en) * 2010-12-27 2012-07-19 Kokusai Kogyo Co Ltd Position specifying method of planimetric features to be photographed, program thereof, display map, photographic position acquiring method, program thereof and photographic position acquiring device
JP5759798B2 (en) * 2011-06-08 2015-08-05 株式会社トプコン Construction machine control system
JP6096626B2 (en) * 2013-09-20 2017-03-15 株式会社東芝 Measurement support apparatus, method and program
JP7038315B2 (en) * 2016-09-08 2022-03-18 パナソニックＩｐマネジメント株式会社 Camera parameter calculation device, camera parameter calculation method, program, and recording medium
JP7038345B2 (en) * 2017-04-20 2022-03-18 パナソニックＩｐマネジメント株式会社 Camera parameter set calculation method, camera parameter set calculation program and camera parameter set calculation device
JP6921036B2 (en) * 2018-05-28 2021-08-18 三菱電機株式会社 A laser calibrator, a method for calibrating the laser, and an image input device including the laser calibrator.
JP7061945B2 (en) * 2018-08-30 2022-05-02 清水建設株式会社 Spraying surface condition monitoring method and spraying surface condition monitoring device
EP3995858A4 (en) 2019-07-05 2023-01-11 Nuvoton Technology Corporation Japan Information processing system, sensor system, information processing method, and program
JP2022147124A (en) * 2021-03-23 2022-10-06 株式会社リコー Information processing equipment
JP6973726B1 (en) * 2021-07-27 2021-12-01 株式会社マプリィ Measurement system and measurement method
JP7742292B2 (en) * 2021-12-09 2025-09-19 大成建設株式会社 How to create a 3D geological model of a tunnel
JP7739254B2 (en) * 2022-12-26 2025-09-16 株式会社日立産機システム Mobile system and orthoimage map generation method
JP7722405B2 (en) * 2023-03-29 2025-08-13 Ｊｆｅエンジニアリング株式会社 Orthoimage acquisition method, design drawing creation method, design drawing creation system, and surveying components

Also Published As

Publication number Publication date
JP2005077385A (en) 2005-03-24

Similar Documents

Publication Publication Date Title
JP4038726B2 (en) Image matching method
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
EP3373251B1 (en) Scan colorization with an uncalibrated camera
CN108269279B (en) Three-dimensional reconstruction method and device based on monocular three-dimensional scanning system
JP2005215917A (en) Construction drawing creation support method and replacement model creation method
JP5745178B2 (en) Three-dimensional measurement method, apparatus and system, and image processing apparatus
JP3624353B2 (en) Three-dimensional shape measuring method and apparatus
US8326021B2 (en) Measurement apparatus and control method
JP5715735B2 (en) Three-dimensional measurement method, apparatus and system, and image processing apparatus
JP6251142B2 (en) Non-contact detection method and apparatus for measurement object
US20120275688A1 (en) Method for automated 3d imaging
CN103959012A (en) 6 degrees of freedom position and orientation determination
JP2006003132A (en) 3D surveying device and electronic storage medium
JP4077385B2 (en) Global coordinate acquisition device using image processing
JP2012137933A (en) Position specifying method of planimetric features to be photographed, program thereof, display map, photographic position acquiring method, program thereof and photographic position acquiring device
JP4852006B2 (en) Spatial information database generation device and spatial information database generation program
JP6973726B1 (en) Measurement system and measurement method
JP6166631B2 (en) 3D shape measurement system
JP6921036B2 (en) A laser calibrator, a method for calibrating the laser, and an image input device including the laser calibrator.
JP6950301B2 (en) Image output system, image output method and image output program
JP3587585B2 (en) Photogrammetry equipment
JPH09229648A (en) Image information input / output device and image information input / output method
Bila et al. Range and panoramic image fusion into a textured range image for culture heritage documentation
CN113287151B (en) Information processing device, computer-readable recording medium, and information processing method
JP2018084509A (en) Image measurement method, image measurement device and image measurement program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070806

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071024

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131116

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees