[go: up one dir, main page]

JPH07208913A - Calibration method for range sensor - Google Patents

Calibration method for range sensor

Info

Publication number
JPH07208913A
JPH07208913A JP6001259A JP125994A JPH07208913A JP H07208913 A JPH07208913 A JP H07208913A JP 6001259 A JP6001259 A JP 6001259A JP 125994 A JP125994 A JP 125994A JP H07208913 A JPH07208913 A JP H07208913A
Authority
JP
Japan
Prior art keywords
laser
measurement
camera
jig
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6001259A
Other languages
Japanese (ja)
Other versions
JP3254475B2 (en
Inventor
Yuichi Takahashi
橋 友 一 高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP00125994A priority Critical patent/JP3254475B2/en
Publication of JPH07208913A publication Critical patent/JPH07208913A/en
Application granted granted Critical
Publication of JP3254475B2 publication Critical patent/JP3254475B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【目的】 レーザ光により物体の形状を計測するレンジ
・センサにおいて、所定の校正用の治具により簡単に、
かつ短時間でキャリブレーションできる。 【構成】 校正用治具をn多角錐状とし、先ず、この治
具とレーザとカメラとの初期位置を設定し、次に、治具
に反射するレーザ光の軌跡をカメラで3次元的に測定し
て、続いて、この軌跡と初期位置を三角測量により演算
し、治具とレーザとカメラの配置関係を3次元位置に変
換して計測すると共に、治具を3次元的に移動しつつ計
測を繰り返して計測値を収集し、最後に、レーザ・パラ
メータとカメラ・パラメータとを同時に求める。また、
レーザ光の走査線の軌跡を観測して情報とし、観測画像
を部分領域に限定して、この軌跡の飛行先の位置を予測
することを特徴とする。
(57) [Abstract] [Purpose] In a range sensor that measures the shape of an object with laser light, it is easy to use a predetermined calibration jig.
And it can be calibrated in a short time. [Arrangement] The calibration jig has an n-polygonal pyramid shape, first the initial positions of this jig, the laser, and the camera are set, and then the trajectory of the laser light reflected by the jig is three-dimensionally measured by the camera. After the measurement, the locus and the initial position are calculated by triangulation, the positional relationship between the jig, the laser, and the camera is converted into a three-dimensional position for measurement, and the jig is moved three-dimensionally. The measurement is repeated to collect the measured values, and finally, the laser parameter and the camera parameter are obtained at the same time. Also,
It is characterized in that the locus of the scanning line of the laser beam is observed and used as information, the observation image is limited to a partial area, and the position of the flight destination of this locus is predicted.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、形状特徴抽出装置、ト
ラッキング装置、経路生成装置、作業用ロボットに作業
を教示する際の3次元位置を計測する3次元位置計測装
置に関し、特に、計測に必要な空間を効率的に予測して
各パラメータを同時に求めることができるキャリブレー
ション方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a shape feature extraction device, a tracking device, a path generation device, and a three-dimensional position measuring device for measuring a three-dimensional position when teaching a work robot. The present invention relates to a calibration method capable of efficiently predicting a required space and simultaneously obtaining each parameter.

【0002】[0002]

【従来の技術】レーザ光を物体に照射して光の当たった
3次元位置をカメラなどで観測し、この3次元位置を距
離情報により計測するレンジ・ファインダー等のレンジ
・センサ装置は、広く用いられている。(参考図書:3
次元画像計測,井口,佐藤著,昭晃堂)
2. Description of the Related Art A range sensor device such as a range finder for irradiating an object with laser light, observing the three-dimensional position where the light hits with a camera, and measuring the three-dimensional position by distance information is widely used. Has been. (Reference books: 3
3D image measurement, Iguchi, Sato, Shokodo)

【0003】図7は、一般的なレンジ・センサ装置の構
成を示すものである。図7において、このレンジ・セン
サ装置は、スリット光源FS が発する光線をスリットG
S を介して直線状の光に形成して照射しつつ、このスリ
ットを直角方向に走査する図示しない光照射装置と、こ
の光を受けつつ被観測体71を収容する観測空間72
と、被観測体71に投影される光の画像を受像しつつ光
照射装置と同期して走査される結像面GI を有するTV
カメラなどの図示しない受像装置(以下、カメラとい
う)とを装置間の距離dを維持しつつ備えている。
FIG. 7 shows the structure of a general range sensor device. In FIG. 7, this range sensor device uses the slit G to emit the light beam emitted by the slit light source F S.
A light irradiation device (not shown) that scans this slit in a perpendicular direction while forming and irradiating a linear light through S, and an observation space 72 that accommodates the observed object 71 while receiving this light.
And a TV having an image plane G I that is scanned in synchronism with the light irradiation device while receiving the image of the light projected on the observed object 71.
An image receiving device (not shown) such as a camera (hereinafter referred to as a camera) is provided while maintaining a distance d between the devices.

【0004】スリット光源FS は、点光源の代わりに後
述するレーザ装置(以下、レーザという)のレーザ光源
L を使用すれば強い指向性を有するスポット状の光線
となるので、スリットGS を省略でき、代わりに、この
レーザ光源FL を制御してレーザ光を照射するためのレ
ーザ制御面GL を観測空間側に設定できる。また、この
レーザ制御面GL がXY座標平面となるようなレーザ座
標系XL L L を定義することができる。
Slit light source FSInstead of a point light source
A laser light source for the laser device described below (hereinafter referred to as a laser)
FLIf you use, a spot-like light beam with strong directivity
Therefore, slit GSCan be omitted and instead this
Laser light source FLTo control the laser beam to irradiate laser light.
User control surface GLCan be set on the observation space side. Also this
Laser control surface GLIs a laser seat where is the XY coordinate plane
Standard XLY LZLCan be defined.

【0005】結像面GI は、カメラのレンズが有する主
点FC を中心に点対象に回転する位置に仮の結像面であ
るカメラ画像面GC を想定でき、このカメラ画像面GC
がXY座標平面となるようなカメラ座標系XC C C
を定義することができる。
[0005] imaging plane G I is in a position to rotate the principal point F C having camera lens in point symmetry to the center can assume the camera image plane G C is the image plane of the temporary, the camera image plane G C
Camera coordinate system X C Y C Z C where is the XY coordinate plane
Can be defined.

【0006】観測空間72は、被観測体71の形状や方
向性に基づく物体座標系を定義することができる。従っ
て、レーザ光は、レーザ制御面GL との交点にレーザ座
標値(xl, yl )を、カメラの視線は、カメラ画像面GC
との交点にカメラ座標値(xc, yc )を有している。
The observation space 72 can define an object coordinate system based on the shape and directionality of the observed object 71. Therefore, the laser light has a laser coordinate value (x l, y l ) at the intersection with the laser control surface G L, and the line of sight of the camera is the camera image plane G C.
It has a camera coordinate value (x c, y c ) at the intersection point with.

【0007】図8は、図7のレーザによる従来の計測方
法を説明する説明図である。図7、及び図8において、
この計測方法は、先ず、所定のレーザ座標値(xl, y l
をレーザに与えて制御し、レーザ光源FL から発するレ
ーザ光を被観測体に照射して2次元的に走査する。
FIG. 8 shows a conventional measuring method using the laser shown in FIG.
It is explanatory drawing explaining a method. 7 and 8,
This measurement method starts with a predetermined laser coordinate value (xl, y l)
To the laser to control the laser light source FLFrom the
Laser light is applied to the object to be observed to perform two-dimensional scanning.

【0008】次に、所定のカメラ座標値(xc, yc )をカ
メラに与えてカメラ画像面GC を走査し、レーザ光の投
影による投影画像を画像処理の対象として明るい点を検
知し、その際のカメラ座標値(xc, yc )に基づいて既知
のレーザ座標値(xl, yl )から被観測体の立体形状を距
離情報に変換して計測する。
Next, a predetermined camera coordinate value (x c, y c ) is given to the camera, the camera image plane G C is scanned, and a bright image is detected by using a projected image obtained by projection of laser light as an object of image processing. , The three-dimensional shape of the observed object is converted into the distance information from the known laser coordinate value (x l, y l ) based on the camera coordinate value (x c, y c ) at that time and measured.

【0009】ところが、レーザ座標系、カメラ座標系、
及び観測空間座標系は、それぞれ個別に定義されたもの
であり、計測上の単位も方向性も不統一であり、このま
までは計測精度はおろか計測自体も無意味なものであ
る。尚、81と82は、各画像面の走査線を示す。
However, the laser coordinate system, the camera coordinate system,
The observation space coordinate system is defined individually, and the unit of measurement and the directionality are not uniform, and the measurement accuracy, let alone the measurement itself, is meaningless. Reference numerals 81 and 82 indicate scanning lines on each image surface.

【0010】そこで、計測に先立ち、カメラ、レーザ、
及びこれら相互の関係による計測環境の特性を求め、こ
の特性によりレンジ・センサの計測値を校正して準備す
る段階がある。この準備する段階は、装置間の距離d,
前記の主点Fc である焦点距離などを物差しなどで測定
するのでは時間が掛かるので、実用的には三角測量の原
理を用いて、カメラとレーザとの位置、姿勢、及びレン
ズの焦点距離等により定まるパラメータであるカメラ・
パラメータ〔A〕とレーザ・パラメータ〔B〕とを求め
る(キャリブレーション)方法が実施されている。
Therefore, prior to measurement, a camera, a laser,
Further, there is a step of obtaining a characteristic of the measurement environment based on the mutual relation and calibrating the measurement value of the range sensor with the characteristic to prepare. This preparation step consists of the distance d between the devices,
Since it takes time to measure the focal length, which is the principal point F c , with a ruler, practically, the principle of triangulation is used, and the position and orientation of the camera and the laser and the focal length of the lens are used. A camera that is a parameter determined by
A method for obtaining (calibration) the parameter [A] and the laser parameter [B] is implemented.

【0011】このキャリブレーション方法は次の2段階
を経て実行される。 i)先ず、カメラに関するパラメータであるカメラ・パ
ラメータ〔A〕を基準となる基準観測体により求める。 ii)次に、このカメラ・パラメータ〔A〕を使用してレ
ーザ光の3次元位置を計測し、レーザに関するパラメー
タであるレーザ・パラメータ〔B〕を求める。
This calibration method is executed through the following two steps. i) First, the camera parameter [A], which is a parameter relating to the camera, is obtained by a reference observation object serving as a reference. ii) Next, the three-dimensional position of the laser beam is measured using this camera parameter [A], and the laser parameter [B] which is a parameter relating to the laser is obtained.

【0012】[0012]

【発明が解決しようとする課題】しかし、この従来のレ
ンジ・センサにおけるキャリブレーション方法を実行す
る際、次に述べる様な問題点があった。 (1) カメラ・パラメータとレーザ・パラメータとを
求める2段階でパラメータを求めているので、作業工程
が複雑であり余計な作業時間が掛かっていた。 (2) また、両パラメータは別々に求められ、それぞ
れの測定誤差が均一にはなり得ないので、被観測体の形
状を計測する際の3次元位置の計測精度が低下してしま
った。 (3) 更に、溶接線を求めるようなレンジ・センサ
(特願平5−89634)においては、レーザ光は規則
的に被観測体を走査するものではなく、ある方向に偏っ
て照射される傾向にあるので、カメラ画像面の全体を画
像処理の対象領域としたのでは不要な処理が多過ぎて無
駄な処理時間が生じてしまった。 本発明は、前述の問題点に鑑み、作業工程を簡略化し、
かつ作業時間を短縮するレンジ・センサにおけるキャリ
ブレーション方法を提供することを課題とする。ひいて
は、このキャリブレーション方法を使用して計測の準備
を簡素化して指示経路を短時間で、かつ複雑なワークで
も容易に生成でき、効率的に教示することのできるロボ
ットの経路生成装置を提供することを課題とする。
However, when the calibration method for the conventional range sensor is executed, there are the following problems. (1) Since the parameters are obtained in two stages of obtaining the camera parameters and the laser parameters, the work process is complicated and extra work time is required. (2) Further, since both parameters are obtained separately and the measurement errors cannot be uniform, the measurement accuracy of the three-dimensional position at the time of measuring the shape of the observed object deteriorates. (3) Further, in a range sensor (Japanese Patent Application No. 5-89634) that obtains a welding line, the laser beam does not scan the object to be observed regularly, but tends to irradiate in a certain direction. Therefore, if the entire camera image surface is set as the target area for image processing, unnecessary processing is too much, resulting in unnecessary processing time. In view of the above-mentioned problems, the present invention simplifies a work process,
Another object of the present invention is to provide a calibration method for a range sensor that reduces working time. By using this calibration method, it is possible to simplify the preparation for measurement, provide the instruction path in a short time, easily generate a complicated work, and provide a robot path generation device capable of efficiently teaching. This is an issue.

【0013】[0013]

【課題を解決するための手段】[Means for Solving the Problems]

(1) レーザ光を物体に照射するレーザ装置と、物体
の形状を観測するカメラ装置とを備え、この形状を計測
するレンジ・センサにおいて、前記レーザ装置に基づく
計測特性であるレーザ・パラメータと前記カメラ装置に
基づく計測特性であるカメラ・パラメータとを校正用治
具により求めて校正するキャリブレーション方法であっ
て、前記校正用治具は、n多角錐状に形成される形状を
有しており、先ず、この校正用治具を位置決めするため
の位置と、レーザ光を制御する制御位置とを3次元的に
それぞれ設定する位置設定の段階と、次に、レーザ光を
制御しつつ校正用治具に投影される投影軌跡をカメラ装
置により3次元的に測定する軌跡測定の段階と、続い
て、この測定される投影軌跡と前記設定される各位置と
を三角測量の原理に従って演算し、校正用治具とレーザ
装置とカメラ装置との配置関係を統一的な3次元位置に
変換して計測すると共に、前記位置決め位置を3次元的
に移動しつつ、この計測を繰り返して各配置関係の計測
値を所定数収集する配置計測の段階と、最後に、これら
計測値に基づき前記レーザ・パラメータとカメラ・パラ
メータとを同時に推定して求めるパラメータ推定の段階
とを順に設けて構成することを特徴とするレンジ・セン
サにおけるキャリブレーション方法。 (2) 前記軌跡測定の段階は、前記制御位置の変位に
より前記投影軌跡の変化を求め、前記測定する範囲を部
分領域に限定しつつ予測する処理を含むものであること
を特徴とする請求項1に記載のレンジ・センサにおける
キャリブレーション方法。
(1) A range sensor that includes a laser device that irradiates an object with a laser beam and a camera device that observes the shape of the object. In a range sensor that measures this shape, laser parameters that are measurement characteristics based on the laser device and the A calibration method in which a camera parameter, which is a measurement characteristic based on a camera device, is obtained and calibrated by a calibration jig, and the calibration jig has a shape formed in an n-polygonal pyramid shape. First, a position setting step of three-dimensionally setting a position for positioning the calibration jig and a control position for controlling the laser light, and then, a calibration jig while controlling the laser light. According to the principle of triangulation, the stage of trajectory measurement in which a camera device three-dimensionally measures the projection trajectory projected on the tool, and subsequently, the measured trajectory and each of the set positions are measured. Then, the positional relationship among the calibration jig, the laser device, and the camera device is converted into a unified three-dimensional position for measurement, and the positioning position is moved three-dimensionally, and this measurement is repeated. Then, a step of placement measurement for collecting a predetermined number of measurement values of each placement relationship, and finally, a step of parameter estimation for simultaneously estimating the laser parameter and the camera parameter based on these measurement values are provided in order. A method for calibrating a range sensor, comprising: (2) The step of measuring the trajectory includes a process of obtaining a change in the projection trajectory by displacement of the control position and predicting while limiting the measurement range to a partial region. Calibration method in the described range sensor.

【0014】[0014]

【作用】予め形の分かっているn多角錐の凹みを有する
治具を3次元的に移動しつつ、レーザ光を連続的に当
て、そのレーザ光の軌跡の特徴を観察することで、カメ
ラ・パラメータとレーザ・パラメータとが同時に求めら
れる。また、レーザ光を偏向する情報を使用し、カメラ
で観測されるレーザ光の偏向後の位置を予測して、対象
領域がカメラ画像面の部分領域に限定される。
Operation: While moving a jig having an indentation of n polygonal pyramid whose shape is known in advance three-dimensionally, irradiating laser light continuously and observing the characteristics of the trajectory of the laser light, The parameters and laser parameters are determined at the same time. Further, the information for deflecting the laser beam is used to predict the post-deflection position of the laser beam observed by the camera, and the target region is limited to the partial region of the camera image plane.

【0015】[0015]

【実施例】以下、本発明の実施例を図面を参照して説明
する。尚、図中の符号については、従来の技術を説明し
た際の各部と同じ部分に同じ符号を付して示し、説明を
省略する。図1は、例えばレンジ・センサにおける本発
明の一実施例を概略的に説明する説明図である。
Embodiments of the present invention will be described below with reference to the drawings. In addition, about the code | symbol in a figure, the same code | symbol is attached | subjected and shown to the same part as each part when describing the prior art, and description is abbreviate | omitted. FIG. 1 is an explanatory view for schematically explaining an embodiment of the present invention in a range sensor, for example.

【0016】図1においてこの実施例の主要部は、n多
角錐状の凹み10を有するキャリブレーション用治具1
1と、この治具にレーザ光(矢印)12を走査して投影
し、その投影画像Pをカメラの視線(矢印)13で捉え
て計測し、単一の治具による共通の計測環境でレンジ・
センサの各パラメータを同時に求めるパラメータ部14
と、この投影画像Pが存在する位置を予測する位置予測
部15とからなる装置を使用するキャリブレーション方
法である。尚、XL L L はレーザ座標系、XP P
P は計測空間座標系、XC CC はカメラ座標系で
ある。
In FIG. 1, the main part of this embodiment is a calibration jig 1 having an n-polygonal pyramid-shaped recess 10.
1, and a laser beam (arrow) 12 is scanned and projected on this jig, and the projected image P is captured by the line of sight (arrow) 13 of the camera and measured, and the range is set in a common measurement environment by a single jig.・
Parameter part 14 for simultaneously obtaining each parameter of the sensor
And a position prediction unit 15 that predicts the position where the projection image P exists, is a calibration method using a device. X L Y L Z L is the laser coordinate system, X P Y P
Z P is a measurement space coordinate system, and X C Y C Z C is a camera coordinate system.

【0017】このキャリブレーション方法は、キャリブ
レーション用治具11を前記した計測環境で様々に移動
させつつレーザ制御面GL におけるレーザ座標値(xl, y
l )を制御し、カメラ画像面GC におけるカメラ座標値
(xc, yc )を測定して、このレーザ座標値(xl, yl )を
既知のカメラ座標値(xc, yc )と後記する既知のキャリ
ブレーション座標値(xp, yp, zp ) とにより演算し、前
記したレーザ・パラメータ〔A〕とカメラ・パラメータ
〔B〕とを推定する様になっている。
In this calibration method, the laser coordinate values (x l, y) on the laser control surface G L are moved while the calibration jig 11 is moved variously in the measurement environment described above.
l ) to control the camera coordinate value in the camera image plane G C
(x c, y c ) is measured, and this laser coordinate value (x l, y l ) is compared with a known camera coordinate value (x c, y c ) and a known calibration coordinate value (x p, y c ). p, z p ), and the above-mentioned laser parameter [A] and camera parameter [B] are estimated.

【0018】キャリブレーション用治具11のn多角錐
は例えば四角錐であり、この四角錐の凹み10とレーザ
光(矢印)12による光軸との交点Pにスポット座標値
(xs,ys, zs ) を形成し、既知の形状である四角錐の頂
点PS にはキャリブレーション座標値(xp, yp, zp ) を
有しており、この凹み10をレーザ座標系及びカメラ座
標系側に向けて配置する様になっている。
The n-sided pyramid of the calibration jig 11 is, for example, a quadrangular pyramid, and a spot coordinate value is set at an intersection point P between the dent 10 of the quadrangular pyramid and the optical axis of the laser beam (arrow) 12.
(x s, y s, z s ), and the vertices P S of a known shape of a quadrangular pyramid have calibration coordinate values (x p, y p, z p ). Are arranged toward the laser coordinate system and the camera coordinate system.

【0019】図2は、図1におけるレーザ光の軌跡の画
像をカメラ画像面で求める方法を概略的に説明する説明
図である。図2において、先ず、レーザ光を座標軸XL
と平行に走査してスポット平面S S を生成し、このスポ
ット平面と四角錐の凹み10とが交差する位置にスポッ
ト軌跡Ls を投影して形成する。
FIG. 2 is an image of the trajectory of the laser beam in FIG.
Explanation that outlines how to obtain an image on the camera image plane
It is a figure. In FIG. 2, first, the laser beam is moved to the coordinate axis X.L
Scan parallel to the spot plane S SAnd generate this
At the position where the flat plane and the quadrangular pyramid recess 10 intersect.
Trajectory LsIs projected and formed.

【0020】次に、このスポット軌跡Ls の投影画像を
カメラで捉えカメラ画像面GC に結んで軌跡画像IL
求める。この軌跡画像IL は、四角錐の各稜線21,2
1とスポット軌跡Ls との交点に特徴点Q1,Q2を有
する折れ線となる。
Next, the projected image of the spot locus L s is captured by the camera and connected to the camera image plane G C to obtain the locus image I L. This locus image I L has ridge lines 21 and 2 of a quadrangular pyramid.
1 is a polygonal line having characteristic points Q1 and Q2 at the intersection of the spot locus L s .

【0021】続いて、座標軸YL に沿い所定の間隔を取
って複数のスポット平面SS を順次に形成し、それらに
対応する同数の軌跡画像IL を逐次に求めて特徴点Q1
と特徴点Q2との各カメラ座標値(xc, yc )群を求め
る。最後に、特徴点Q1と特徴点Q2との各カメラ座標
値(xc, yc )群から四角錐の頂点PS の画像を求める。
Subsequently, a plurality of spot planes S S are sequentially formed at predetermined intervals along the coordinate axis Y L , and the same number of locus images I L corresponding to them are sequentially obtained, and the feature point Q1 is obtained.
And the camera coordinate value (x c, y c ) group of the feature point Q2 is obtained. Finally, an image of the vertex P S of the quadrangular pyramid is obtained from each camera coordinate value (x c, y c ) group of the characteristic point Q1 and the characteristic point Q2.

【0022】図3は、図2における四角錐の頂点の画像
をカメラ画像面で求める方法を概略的に説明する説明図
である。図3において、前記した特徴点Q1と特徴点Q
2との2グループにカメラ座標値(xc, yc )群を分類
し、各グループ毎に近似して形成される直線群を求めて
その交点のカメラ座標値(xc, yc )を求める。この求め
られた交点は前記した四角錐の頂点が投影される画像で
あり、これら直線群である各稜線と頂点とは前記の四角
錐の凹みにおいて相互に固定的な位置関係を維持してい
る。
FIG. 3 is an explanatory view for schematically explaining the method of obtaining the image of the vertex of the quadrangular pyramid in FIG. 2 on the camera image plane. In FIG. 3, the above-mentioned feature points Q1 and Q
The group of camera coordinate values (x c, y c ) is classified into 2 groups of 2 and the group of straight lines formed by approximating each group is obtained, and the camera coordinate value (x c, y c ) of the intersection is calculated. Ask. The obtained intersection is an image on which the vertices of the above-mentioned quadrangular pyramid are projected, and the ridge lines and vertices that are a group of these straight lines maintain a fixed positional relationship with each other in the depressions of the above quadrangular pyramids. .

【0023】この固定的な位置関係は、前記した治具1
1における各キャリブレーション座標値(xp, yp, zp )
群により既に与えられている。従って、この既知のキャ
リブレーション座標値(xp, yp, zp ) を介し、制御値と
して与えられるレーザ座標値(xl, yl )と求められるカ
メラ座標値(xc, yc )とによる方程式を立てることがで
きる。
This fixed positional relationship is determined by the jig 1 described above.
Each calibration coordinate value in 1 (x p, y p, z p )
Already given by group. Therefore, through this known calibration coordinate value (x p, y p, z p ), the laser coordinate value (x l, y l ) given as a control value and the required camera coordinate value (x c, y c ) You can formulate the equation by and.

【0024】次に、キャリブレーション用治具の位置を
移動し、あるいは姿勢を変化させ、再び前記の方法によ
り新たなキャリブレーション座標値(xp, yp, zp ) から
レーザ座標値(xl, yl )とカメラ座標値(xc, yc )とを
求めて各数値により連立方程式を立てる。つまり、必要
な条件式の数に応ずる回数だけ以上の計測を繰り返し、
レーザとカメラとの各パラメータを求めることができる
様になる。
Next, the position of the calibration jig is moved or the posture is changed, and again the new calibration coordinate values (x p, y p, z p ) are changed to laser coordinate values (x l, y l ) and the camera coordinate value (x c, y c ) are obtained, and simultaneous equations are set up by each numerical value. In other words, repeat the measurement more times as many times as necessary depending on the number of conditional expressions,
It becomes possible to obtain each parameter of the laser and the camera.

【0025】ここで必要な条件式の数は、3次元座標の
各成分を各パラメータに配分するためには最低6個であ
るが、この数を増加することにより更にキャリブレーシ
ョンの精度を向上させることができる。
The number of conditional expressions required here is at least 6 in order to allocate each component of the three-dimensional coordinate to each parameter, but the accuracy of calibration is further improved by increasing this number. be able to.

【0026】以上の方法により、所定数のキャリブレー
ション座標値(xp, yp, zp ) と共に、同数のレーザ座標
値(xl, yl )とカメラ座標値(xc, yc )とが求まる。次
に、これら各座標値を演算処理してレーザ・パラメータ
〔A〕とカメラ・パラメータ〔B〕とを同時に求める方
法について述べる。
By the above method, the same number of laser coordinate values (x l, y l ) and camera coordinate values (x c, y c ) along with a predetermined number of calibration coordinate values (x p, y p, z p ). Is obtained. Next, a method for calculating the laser parameter [A] and the camera parameter [B] at the same time by calculating these coordinate values will be described.

【0027】先ず、各座標値を以上の説明による変換モ
デルを使用して演算処理し、各パラメータを求めるため
に必要な数の線型連立方程式を生成する。しかし、一般
的に変換モデルによる変換式は非線形となり、前記の変
換モデルでも同様にそのままでは演算処理は甚だ困難で
ある。
First, each coordinate value is arithmetically processed using the conversion model described above, and the number of linear simultaneous equations required to obtain each parameter is generated. However, in general, the conversion formula by the conversion model is non-linear, and similarly with the above conversion model, the arithmetic processing is very difficult as it is.

【0028】そこで、媒介する変数により三次元の各座
標系を下記の数1の通り同次座標系に変換し、各レーザ
座標値(xl, yl )からはレーザ・マトリックス〔L〕
を、各キャリブレーション座標値(xp, yp, zp ) からは
キャリブレーション・マトリックス〔P〕を、各カメラ
座標値(xc, yc )からはカメラ・マトリックス〔C〕を
それぞれ転置行列として設定する。
Therefore, each three-dimensional coordinate system is converted into a homogeneous coordinate system by the following equation 1 according to the variable to mediate, and the laser matrix [L] is obtained from each laser coordinate value (x l, y l ).
, The calibration matrix [P] from each calibration coordinate value (x p, y p, z p ) and the camera matrix [C] from each camera coordinate value (x c, y c ). Set as a matrix.

【0029】[0029]

【数1】〔L〕=〔 Wl * xl , Wl * Yl , Wl t 〔P〕=〔 Xp , Yp , Zp ,1〕t 〔C〕=〔 Wc * xc , Wc * Yc , Wc t [Equation 1] [L] = [W l * x l , W l * Y l , W l ] t [P] = [X p , Y p , Z p , 1] t [C] = [W c * x c , W c * Y c , W c ] t

【0030】続いて、キャリブレーション・マトリック
ス〔P〕を介してレーザ・マトリックス〔L〕とカメラ
・マトリックス〔C〕とを関連付けて各マトリックス
〔P〕,〔L〕,〔C〕相互の関係式を数2の通りにそ
れぞれ設定する。
Subsequently, the laser matrix [L] and the camera matrix [C] are associated with each other through the calibration matrix [P], and the relational expressions of the respective matrices [P], [L], and [C]. Are set as shown in Equation 2.

【0031】[0031]

【数2】〔L〕=〔A〕〔P〕 〔C〕=〔B〕〔P〕[Equation 2] [L] = [A] [P] [C] = [B] [P]

【0032】図4は、図1のパラメータ部における処理
の流れを具体的に示す流れ図である。図4において、こ
のパラメータ部は、以下の測定に必要な初期値を予めそ
れぞれのレジスターに設定する初期設定の段階を先ず設
けており、キャリブレーション用治具を位置決めし、レ
ーザ光を制御して方向付ける様になっている。
FIG. 4 is a flow chart specifically showing the flow of processing in the parameter section of FIG. In FIG. 4, this parameter section is first provided with an initial setting stage in which the initial values necessary for the following measurements are set in advance in the respective registers, and the calibration jig is positioned and the laser light is controlled. It is supposed to be directed.

【0033】この初期設定の段階は、前記した治具によ
るi回目の位置決めに対応する所定値であるキャリブレ
ーション座標値(xp, yp, zp ) を処理401で、レーザ
光によるj本目の走査線の順位に対応する制御値である
レーザ制御面GL における座標値のY軸成分 yl を処理
402で、この走査線上におけるレーザ光によるk番目
のスポットに対応する制御値であるレーザ制御面GL
おける座標値のX軸成分 xl を処理403でそれぞれ順
に入力して設定している。以下、i回目、j本目、k番
目を添字として各座標値の右上肩に示す。
In this initial setting step, a calibration coordinate value (x p, y p, z p ) which is a predetermined value corresponding to the i-th positioning by the above-mentioned jig is processed 401, and the j-th laser beam is used. In step 402, the Y-axis component y l of the coordinate value on the laser control surface G L, which is the control value corresponding to the order of the scanning line, is the control value corresponding to the k-th spot by the laser beam on this scanning line. The X-axis component x l of the coordinate value on the control surface G L is sequentially input and set in process 403. Hereinafter, the i-th, j-th, and k-th subscripts are shown in the upper right shoulder of each coordinate value.

【0034】次に、レーザ光を照射してその走査線を治
具に投影し、その投影画像をカメラで測定する画像測定
の段階と、この投影画像における特徴的な形状を抽出す
る特徴抽出の段階とを初期設定の段階に続けて順に設け
ており、この走査線一本の投影画像が各稜線により折れ
曲がる位置Q1,Q2を求める様になっている。
Next, a step of image measurement in which a laser beam is irradiated to project the scanning line on a jig and the projected image is measured by a camera, and a characteristic extraction for extracting a characteristic shape in the projected image is performed. The step and the step are sequentially provided following the initial setting step, and the positions Q1 and Q2 at which the projection image of one scanning line is bent at each ridge line are obtained.

【0035】画像測定の段階は、前記の画像処理により
i回目の位置決めにおいてj本目の走査線におけるk番
目のスポットの投影画像のカメラ座標値(xc, yc )を求
める処理404と、k番目のスポットにおける座標値の
X軸成分 xl が最大値 xmxに到達するか否かを判定する
処理405とを順に設けており、レーザ光のスポットが
走査線一本分を走査し終えるまで各処理403,405
を順に繰り返し、各スポットの投影画像を逐次に求める
様になっている。
In the image measurement step, a process 404 for obtaining the camera coordinate value (x c, y c ) of the projection image of the k-th spot on the j-th scanning line in the i-th positioning by the above-mentioned image processing, and k A process 405 for determining whether or not the X-axis component x l of the coordinate value at the th spot reaches the maximum value x mx is provided in order, until the laser light spot finishes scanning one scanning line. Each processing 403, 405
The above procedure is repeated in sequence to sequentially obtain the projected image of each spot.

【0036】特徴抽出の段階は、j本目の走査線におい
て前記の折れ曲がる位置Q1,Q2の各カメラ座標値(x
c, yc )を収集する処理406と、 yl 座標値が最大値
mxに到達するか否かを判定する処理407とを順に設
けており、レーザ光がレーザ制御面の全面を走査し終え
るまで各処理402,ないし407を順に繰り返し、各
折れ曲がる位置の投影画像を求める様になっている。
In the feature extraction step, the camera coordinate values (x) of the bending positions Q1 and Q2 on the j-th scanning line are set.
c, y c ) is collected, and a process 407 for determining whether or not the y l coordinate value reaches the maximum value y mx is sequentially provided, and the laser beam scans the entire surface of the laser control surface. The processes 402 to 407 are sequentially repeated until the end, and the projection image at each bending position is obtained.

【0037】続いて、複数の異なる位置に治具を位置決
めし、それぞれの位置決めによる頂点毎に、これら頂点
の投影画像とスポットの位置との数値関係を求めて所定
の校正表に配列する校正表配列の段階を特徴抽出の段階
に続けて設けている。
Subsequently, the jig is positioned at a plurality of different positions, and the numerical relationship between the projected image of these vertices and the position of the spot is determined for each vertex of each positioning, and the calibration table is arranged in a predetermined calibration table. An array stage is provided following the feature extraction stage.

【0038】この校正表配列の段階は、折れ曲がる位置
Q1,Q2での各カメラ座標値(xc,yc )群から各稜線
の投影画像を形成し、これら各稜線の投影画像群の交点
に対応するi回目の位置決めにおけるカメラ座標値(xc,
yc )を求め、この交点のカメラ座標値(xc, yc )と、
これを得るタイミングのレーザ座標値(xl, yl )とをi
回目の位置決めにおけるキャリブレーション座標値(xp,
yp, zp ) と共に配列する処理408と、前記した位置
決めの回数が所定数に到達するか否かを判定する処理4
09とを順に設けている。従って、位置決めする回数が
決められた値に達するまで各処理401,ないし409
を繰り返し、各方程式の各係数を求める様になってい
る。
At the stage of this calibration table arrangement, a projection image of each ridge line is formed from each camera coordinate value (x c, y c ) group at the bending positions Q1 and Q2, and at the intersection of these projection image groups of each ridge line. The camera coordinate value (x c,
y c ), and the camera coordinate value (x c, y c ) of this intersection,
The laser coordinate value (x l, y l ) at the timing of obtaining this is i
Calibration coordinate value (x p,
y p, z p ), and a process 4 of determining whether or not the number of times of positioning described above reaches a predetermined number 4
09 are provided in order. Therefore, each processing 401 to 409 is performed until the number of positioning times reaches a predetermined value.
Is repeated to obtain each coefficient of each equation.

【0039】最後に、前記の校正表に配列されているレ
ーザ座標値(xl, yl )群とキャリブレーション座標値(x
p, yp, zp ) 群とカメラ座標値(xc, yc )群とから前記
の数2の式を連立させ、前記したレーザ・パラメータ
〔A〕とカメラ・パラメータ〔B〕とを一括に演算して
推定するパラメータ推定の段階410を校正表配列の段
階に続けて設けている。尚、400は開始処理を、49
9は終了処理を示す。
Finally, a group of laser coordinate values (x l, y l ) and calibration coordinate values (x
p, y p, z p ) group and the camera coordinate value (x c, y c ) group are made simultaneous to establish the above-mentioned laser parameter [A] and camera parameter [B]. A parameter estimation step 410 of collectively calculating and estimating is provided subsequent to the calibration table arrangement step. Incidentally, 400 indicates the start processing, 49
Reference numeral 9 indicates a termination process.

【0040】以上は、各パラメータを求める方法であ
り、続いて、この方法を更に効率的に実行する方法につ
いて述べる。レーザ・マトリックス〔L〕をδL変動さ
せる際、対応するカメラ・マトリックス〔C〕の変動量
δCも前記の数2の関係を満足するので、測定誤差を計
測値全体で最小にする各パラメータを求める方程式は、
最小2乗法による各パラメータの逆行列が存在すれば、
最小2乗推定量を係数とする次の数3の式による関係が
ある。
The above is a method for obtaining each parameter, and then a method for more efficiently executing this method will be described. When the laser matrix [L] is varied by δL, the variation amount δC of the corresponding camera matrix [C] also satisfies the relation of the above equation 2, so that each parameter that minimizes the measurement error in the entire measurement value is obtained. The equation is
If the inverse matrix of each parameter by the method of least squares exists,
There is a relationship according to the following formula 3 using the least-squares estimator as a coefficient.

【0041】[0041]

【数3】(〔A〕t 〔A〕 )-1〔A〕t 〔L〕=
(〔B〕t 〔B〕)-1〔B〕t 〔C〕
[Equation 3] ([A] t [A]) -1 [A] t [L] =
([B] t [B]) -1 [B] t [C]

【0042】図5は、図1の位置予測部における処理の
流れを具体的に示す流れ図である。図5において、この
位置予測部は、先ず、スポットの投影画像が移動する先
の領域をカメラ画像面で限定し、この投影画像を検出す
る限定検出の段階を最初に設けており、この投影画像の
検出時間を移動先の予測により短縮できる様になってい
る。
FIG. 5 is a flow chart specifically showing the flow of processing in the position predicting section of FIG. In FIG. 5, the position predicting unit first limits the area to which the projected image of the spot moves on the camera image plane, and first provides a limited detection step of detecting this projected image. The detection time of can be shortened by predicting the destination.

【0043】限定検出の段階は、レーザ座標値(xl,
yl )の微小変位δLに対応するカメラ座標値(xc,
yc )の微小変化量δCを前記の数3により演算して求
め、所定のメモリー位置に格納する処理501と、この
微小変化量に基づいて、検出すべきカメラ画像面GC
の領域を限定する処理502と、この限定領域にスポッ
トの投影画像が存在するか否かを判定する処理503と
を順に設けている。
The stage of the limited detection is the laser coordinate value (x l,
camera coordinate values corresponding to small displacement δL of y l) (x c,
seeking a small variation δC of y c) by calculating the number 3 above, the process 501 to be stored in a predetermined memory location, based on the small amount of change, an area on the to be detected camera image plane G C A limiting process 502 and a determining process 503 for determining whether or not a projected image of a spot exists in this limited area are sequentially provided.

【0044】処理502は、微小変化量δCに対応する
カメラ座標値(xc, yc )の値(δ x c,δ yc )に係数 k
- , k+ を乗じてカメラ画像面GC の検出範囲を決定
し、次の数4に示す式により範囲の座標1及び2を求め
て限定領域の左下と右上とのカメラ座標値(xc, yc )を
設定する。
The process 502 corresponds to the minute change amount δC.
Camera coordinate value (xc, yc) Value (δ x c,δ yc) To the coefficient k
-, K+Multiply by the camera image surface GCThe detection range of
Then, the coordinates 1 and 2 of the range are calculated by the formula shown below.
The camera coordinate values (xc, yc)
Set.

【0045】[0045]

【数4】範囲の座標1:( xc − k- *δ xc , yc
k- *δ yc ) 範囲の座標2:( xc + k+ *δ xc , yc + k+ *δ
yc
## EQU00004 ## Coordinates of range 1: (x c − k * δ x c , y c
k - * δ y c) coordinate range 2 :( x c + k + * δ x c, y c + k + * δ
y c )

【0046】次に、限定領域で検出できない際に、この
限定領域を拡張する領域拡張の段階を限定検出の段階に
続けて設けており、移動先の予測を僅かに拡大して検出
時間の増加を抑制する様になっている。
Next, when it is not possible to detect in the limited area, the step of area extension for expanding the limited area is provided subsequent to the step of limited detection, and the prediction of the movement destination is slightly enlarged to increase the detection time. It is designed to suppress

【0047】この領域拡張の段階は、前記した係数
k- , k+ が許容できる最大値に到達するか否かを判定
する処理504と、未だ到達しない際には係数 k- , k
+ を所定数倍する処理505とを設けており、この処理
505を介し、係数 k- , k+ が最大値に達するまで処
理502に流れを分岐して移行する様になっている。
This step of region expansion is performed by the above-mentioned coefficient.
A process 504 of determining whether or not k and k + reach an allowable maximum value, and coefficients k and k when they have not yet reached
A process 505 for multiplying + by a predetermined number is provided. Through this process 505, the flow branches to the process 502 until the coefficients k and k + reach the maximum value.

【0048】最後に、検出領域を限定せずカメラ画像面
の全領域についてスポットを検出する全域検出の段階を
領域拡張の段階に続けて設けている。この全域検出の段
階は、全領域を画像処理の対象に設定する処理506
と、前記したと同様のスポットの投影画像を検出する処
理503とを順に設けている。
Finally, a step of detecting the entire area for detecting spots in the entire area of the camera image plane without limiting the detection area is provided subsequent to the step of area expansion. In this whole area detection step, processing 506 for setting the whole area as an image processing target is performed.
And a process 503 for detecting a projected image of the same spot as described above are sequentially provided.

【0049】図6は、図1におけるパラメータ部と、位
置予測部とを組み込んだレンジ・センサの構成例を示す
構成図である。図6において、このレンジ・センサは、
レーザ光の照射を制御するレーザ制御装置61と、レー
ザ制御面におけるレーザ座標値(xl, yl )を求める位置
制御装置62と、投影画像を処理して距離情報を求める
画像処理装置63と、キャリブレーション用治具を制御
する治具位置制御装置64と、この治具を3次元位置を
演算する3次元位置計算装置65とから構成している。
FIG. 6 is a block diagram showing a configuration example of a range sensor incorporating the parameter section and the position predicting section in FIG. In FIG. 6, this range sensor is
A laser control device 61 that controls irradiation of laser light, a position control device 62 that obtains laser coordinate values (x l, y l ) on a laser control surface, and an image processing device 63 that processes a projected image to obtain distance information. A jig position control device 64 that controls the calibration jig and a three-dimensional position calculation device 65 that calculates the three-dimensional position of the jig are configured.

【0050】レーザ制御装置61は、レーザ光を照射す
る位置と姿勢とからなる制御値を検知しレーザ座標値(x
l, yl )に変換して位置制御装置62に送出する。画像
処理装置63は、カメラの位置と視線とを認識してレー
ザ座標値(xl, yl)と照合しつつ、カメラ座標値(xc, y
c )を3次元位置計算装置65に送出する。
The laser control device 61 detects a control value consisting of a position and a posture for irradiating a laser beam and detects a laser coordinate value (x
l, y l ) and sends it to the position controller 62. The image processing device 63 recognizes the position of the camera and the line of sight and collates them with the laser coordinate value (x l, y l ) to determine the camera coordinate value (x c, y
c ) is sent to the three-dimensional position calculation device 65.

【0051】治具位置制御装置64は、キャリブレーシ
ョン用治具の位置と姿勢とからキャリブレーション座標
値(xp, yp, zp ) を3次元位置計算装置65に送出す
る。3次元位置計算装置65は、カメラ座標値(xc,
yc )とレーザ座標値(xl, yl)とキャリブレーション座
標値(xp, yp, zp ) とからレーザ・パラメータとカメラ
・パラメータと推定すると共に、各パラメータを使用し
てカメラ座標値(xc, y c )とレーザ座標値(xl, yl )か
ら被観測体の形状を計測する。
The jig position control device 64 is a calibration system.
Calibration coordinates from the position and orientation of the jig
Value (xp, yp, zp) Is sent to the three-dimensional position calculation device 65.
It The three-dimensional position calculation device 65 uses the camera coordinate value (xc, 
yc) And laser coordinate value (xl, yl) And calibration seat
Standard value (xp, yp, zp) And from laser parameters and camera
・ Each parameter is estimated and
Camera coordinate value (xc, y c) And laser coordinate value (xl, yl)
Measure the shape of the observed object.

【0052】尚、本発明は前述の実施例にのみ限定され
るものではなく、例えば、キャリブレーション用の治具
は、レーザ光が到達する際の遮蔽物による妨げを軽減す
るためにn多角錐の凹みを有するものとして説明した
が、稜線、あるいは辺などの複数の特徴抽出ができ、こ
れら特徴抽出点に基づいて計測、あるいは演算して対応
するレーザ座標値(xl, yl )とカメラ座標値(xc, yc
とを求めることのできる治具であれば、治具の凹凸を問
わないことなど、その他、本発明の要旨を逸脱しない範
囲で種々の変更を加えうることは勿論である。
It should be noted that the present invention is not limited to the above-described embodiment, and for example, a calibration jig has an n-polygonal pyramid in order to reduce obstruction by a shield when laser light reaches. Although it has been described as having a dent, it is possible to extract multiple features such as ridges or edges, and measure or calculate based on these feature extraction points to obtain the corresponding laser coordinate values (x l, y l ) and the camera. Coordinate value (x c, y c )
It is needless to say that the jig can be modified in various manners, such as that the unevenness of the jig does not matter as long as the jig can be obtained.

【0053】[0053]

【発明の効果】以上述べた様に、本発明には次の効果が
ある。 (1) カメラ・パラメータとレーザ・パラメータとを
同一の計測により同時に求めるので、作業工程が簡略化
し作業時間が短縮され、ひいては余計な作業工数を減少
させることができる。 (2) また、両パラメータに対する測定誤差が均一に
なるので、被観測体の形状に対する3次元位置の計測精
度が向上できた。 (3) 更に、カメラ画像面の全体を画像処理の対象領
域とせず、対象領域を部分領域に限定して画像処理する
ので、溶接線を求めるようなレンジ・センサの様にレー
ザ光が被観測体を全面的に走査せず、ある方向に偏って
照射される傾向にあるものでも、画像処理の範囲を予測
することにより不要な処理時間を短縮することができ
る。 以上の(1)、ないし(3)に説明したように、カメラ
に対するパラメータを同時に求めることにより、キャリ
ブレーション処理の作業工程を簡略化し、かつ作業時間
を短縮することができる様になる。ひいては、このキャ
リブレーション方法を使用して計測の準備を簡素化して
指示経路を短時間で、かつ複雑なワークでも容易に生成
でき、効率的に教示することのできるロボットの経路生
成装置を提供することができる様になる。
As described above, the present invention has the following effects. (1) Since the camera parameter and the laser parameter are obtained at the same time by the same measurement, the work process is simplified, the work time is shortened, and the extra work man-hour can be reduced. (2) Further, since the measurement error for both parameters is uniform, the measurement accuracy of the three-dimensional position with respect to the shape of the observed object can be improved. (3) Further, the entire camera image plane is not set as the target area for image processing, and the target area is limited to the partial area for image processing, so that the laser light is observed like a range sensor for finding a welding line. Even if the body is not entirely scanned but tends to be irradiated in a certain direction, the unnecessary processing time can be shortened by predicting the range of image processing. As described in (1) to (3) above, by simultaneously obtaining the parameters for the camera, the work process of the calibration process can be simplified and the work time can be shortened. By using this calibration method, it is possible to simplify the preparation for measurement, provide the instruction path in a short time, easily generate a complicated work, and provide a robot path generation device capable of efficiently teaching. You will be able to do it.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施例を概略的に説明する説明図で
ある。
FIG. 1 is an explanatory view schematically explaining an embodiment of the present invention.

【図2】図1におけるレーザ光の軌跡を求める方法を概
略的に説明する説明図である。
FIG. 2 is an explanatory diagram for schematically explaining a method for obtaining a locus of laser light in FIG.

【図3】図2における四角錐の頂点を求める方法を概略
的に説明する説明図である。
FIG. 3 is an explanatory diagram for schematically explaining a method of obtaining apexes of the quadrangular pyramid in FIG.

【図4】図1のパラメータ部における処理の流れを具体
的に示す流れ図である。
4 is a flowchart specifically showing a processing flow in a parameter unit of FIG.

【図5】図1の位置予測部における処理の流れを具体的
に示す流れ図である。
5 is a flow chart specifically showing a flow of processing in the position prediction unit in FIG.

【図6】図1におけるレンジ・センサの構成例を概略的
に示す構成図である。
FIG. 6 is a configuration diagram schematically showing a configuration example of a range sensor in FIG.

【図7】従来の一般的なレンジ・センサ装置の構成を示
す構成図である。
FIG. 7 is a configuration diagram showing a configuration of a conventional general range sensor device.

【図8】図7の装置を使用して計測する従来の方法を説
明する説明図である。
FIG. 8 is an explanatory diagram illustrating a conventional method of measuring using the device of FIG. 7.

【符号の説明】[Explanation of symbols]

10・・・・・・・n多角錐状の凹み 11・・・キ
ャリブレーション用治具 12・・・・・・・レーザ光(矢印) 13・・・カ
メラの視線(矢印) 14・・・・・・・パラメータ部 15・・・・
・・・位置予測部 GL ・・・・・・・レーザ制御面 GC ・・・・
・・・カメラ画像面 FC ・・・・・・・カメラ主点 FL ・・・・
・・・レーザ光源 P ・・・・・・・投影画像 PS ・・・・
・・・四角錐の頂点 XC C C ・・・カメラ座標系 XL L L
・・・レーザ座標系 XP P P ・・・計測空間座標系 (xc, yc )・
・・・カメラ座標値 (xl, yl )・・・・レーザ座標値 (xs, ys,
zs ) ・・スポット座標値 (xp, yp, zp ) ・・キャリブレーション座標値
10 ... N-sided pyramidal depression 11 ... Calibration jig 12 ... Laser light (arrow) 13 ... Camera line of sight (arrow) 14 ... .... Parameter section 15 ...
・ ・ ・ Position prediction unit G L・ ・ ・ ・ Laser control surface G C・ ・ ・ ・
... camera image plane F C ······· camera principal point F L ····
・ ・ ・ Laser light source P ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ Projected image P S・ ・ ・
... Apex of quadrangular pyramid X C Y C Z C ... Camera coordinate system X L Y L Z L
... laser coordinate system X P Y P Z P ··· measurement space coordinate system (x c, y c) ·
・ ・ ・ Camera coordinate value (x l, y l ) ・ ・ ・ ・ Laser coordinate value (x s, y s,
z s ) ・ ・ Spot coordinate value (x p, y p, z p ) ・ ・ Calibration coordinate value

Claims (2)

【特許請求の範囲】[Claims] 【請求項1】 レーザ光を物体に照射するレーザ装置
と、物体の形状を観測するカメラ装置とを備え、この形
状を計測するレンジ・センサにおいて、前記レーザ装置
に基づく計測特性であるレーザ・パラメータと前記カメ
ラ装置に基づく計測特性であるカメラ・パラメータとを
校正用治具により求めて校正するキャリブレーション方
法であって、 前記校正用治具は、n多角錐状に形成される形状を有し
ており、 先ず、この校正用治具を位置決めするための位置と、レ
ーザ光を制御する制御位置とを3次元的にそれぞれ設定
する位置設定の段階と、 次に、レーザ光を制御しつつ校正用治具に投影される投
影軌跡をカメラ装置により3次元的に測定する軌跡測定
の段階と、 続いて、この測定される投影軌跡と前記設定される各位
置とを三角測量の原理に従って演算し、校正用治具とレ
ーザ装置とカメラ装置との配置関係を統一的な3次元位
置に変換して計測すると共に、前記位置決め位置を3次
元的に移動しつつ、この計測を繰り返して各配置関係の
計測値を所定数収集する配置計測の段階と、 最後に、これら計測値に基づき前記レーザ・パラメータ
とカメラ・パラメータとを同時に推定して求めるパラメ
ータ推定の段階とを順に設けて構成することを特徴とす
るレンジ・センサにおけるキャリブレーション方法。
1. A range sensor for observing the shape of an object, comprising: a laser device for irradiating an object with a laser beam; and a range sensor for measuring the shape, the laser parameter being a measurement characteristic based on the laser device. And a camera parameter, which is a measurement characteristic based on the camera device, obtained by a calibration jig and calibrated, wherein the calibration jig has a shape formed in an n-polygonal pyramid. First, a position setting step for setting the position for positioning the calibration jig and a control position for controlling the laser light three-dimensionally, and then the calibration while controlling the laser light. A stage of locus measurement in which a locus of projection projected on a jig for measurement is three-dimensionally measured by a camera device, and subsequently, the locus of measurement to be measured and each of the set positions are triangulated. Calculation is performed according to the principle, the positional relationship between the calibration jig, the laser device, and the camera device is converted into a uniform three-dimensional position for measurement, and the measurement is repeated while moving the positioning position three-dimensionally. Then, a step of placement measurement for collecting a predetermined number of measurement values of each placement relationship, and finally, a step of parameter estimation for simultaneously estimating the laser parameter and the camera parameter based on these measurement values are provided. A method for calibrating a range sensor, comprising:
【請求項2】 前記軌跡測定の段階は、前記制御位置の
変位により前記投影軌跡の変化を求め、前記測定する範
囲を部分領域に限定しつつ予測する処理を含むものであ
ることを特徴とする請求項1に記載のレンジ・センサに
おけるキャリブレーション方法。
2. The step of measuring the trajectory includes a process of obtaining a change in the projection trajectory by displacement of the control position and predicting while limiting the measurement range to a partial region. 1. The calibration method in the range sensor according to 1.
JP00125994A 1994-01-11 1994-01-11 Calibration method for range sensor Expired - Fee Related JP3254475B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00125994A JP3254475B2 (en) 1994-01-11 1994-01-11 Calibration method for range sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00125994A JP3254475B2 (en) 1994-01-11 1994-01-11 Calibration method for range sensor

Publications (2)

Publication Number Publication Date
JPH07208913A true JPH07208913A (en) 1995-08-11
JP3254475B2 JP3254475B2 (en) 2002-02-04

Family

ID=11496467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00125994A Expired - Fee Related JP3254475B2 (en) 1994-01-11 1994-01-11 Calibration method for range sensor

Country Status (1)

Country Link
JP (1) JP3254475B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7990415B2 (en) 2005-08-30 2011-08-02 Hitachi, Ltd. Image input device and calibration method
JP2012112911A (en) * 2010-11-29 2012-06-14 National Institute Of Advanced Industrial & Technology Calibration tool and dimensional measuring system having the same
WO2012091843A3 (en) * 2010-12-30 2013-01-24 Caterpillar Inc. Systems and methods for evaluating range sensor calibration data
JP5307549B2 (en) * 2006-11-08 2013-10-02 有限会社テクノドリーム二十一 Three-dimensional shape measuring method and apparatus
JP2018176346A (en) * 2017-04-11 2018-11-15 株式会社Ihi Calibration method of working robot and calibration tool

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7990415B2 (en) 2005-08-30 2011-08-02 Hitachi, Ltd. Image input device and calibration method
JP5307549B2 (en) * 2006-11-08 2013-10-02 有限会社テクノドリーム二十一 Three-dimensional shape measuring method and apparatus
JP2012112911A (en) * 2010-11-29 2012-06-14 National Institute Of Advanced Industrial & Technology Calibration tool and dimensional measuring system having the same
WO2012091843A3 (en) * 2010-12-30 2013-01-24 Caterpillar Inc. Systems and methods for evaluating range sensor calibration data
JP2018176346A (en) * 2017-04-11 2018-11-15 株式会社Ihi Calibration method of working robot and calibration tool

Also Published As

Publication number Publication date
JP3254475B2 (en) 2002-02-04

Similar Documents

Publication Publication Date Title
Summan et al. Spatial calibration of large volume photogrammetry based metrology systems
US6751338B1 (en) System and method of using range image data with machine vision tools
JP4221768B2 (en) Method and apparatus for positioning an object in space
US8917942B2 (en) Information processing apparatus, information processing method, and program
JP6888580B2 (en) Information processing equipment, information processing methods, and programs
EP0641020A2 (en) Multiple-scan method for wafer particle analysis
US20150085108A1 (en) Lasergrammetry system and methods
JPH07239219A (en) Non-contact tire end face contour shape measuring method and device
CN111707189A (en) Beam direction calibration method of laser displacement sensor based on binocular vision
JP5001330B2 (en) Curved member measurement system and method
García-Moreno et al. Error propagation and uncertainty analysis between 3D laser scanner and camera
JPH07208913A (en) Calibration method for range sensor
JP4863006B2 (en) 3D shape measurement method
JP2014190800A (en) Three-dimensional measuring method and three-dimensional measuring system
Heikkilä et al. Calibration procedures for object locating sensors in flexible robotized machining
JP2020159774A (en) Calibration parameter calculation method
JP2004309318A (en) Position detection method, device and program thereof, and calibration information generation method
US20230043994A1 (en) Three-dimensional measurement device for generating three-dimensional point position information
JP3412139B2 (en) Calibration method of three-dimensional distance measuring device
JP6631225B2 (en) 3D shape measuring device
JP7682729B2 (en) System and method for measuring shape of long object
JP7741512B2 (en) Robot control device
JP2018015834A (en) Method for moving robot arm
JP2009145231A (en) Three-dimensional shape measuring apparatus and three-dimensional shape measuring method
KR920006740B1 (en) Noncontact type tire contour shape measurement method

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees