WO2017209015A1 - Method of calibrating stereo camera installation parameter - Google Patents
Method of calibrating stereo camera installation parameter Download PDFInfo
- Publication number
- WO2017209015A1 WO2017209015A1 PCT/JP2017/019782 JP2017019782W WO2017209015A1 WO 2017209015 A1 WO2017209015 A1 WO 2017209015A1 JP 2017019782 W JP2017019782 W JP 2017019782W WO 2017209015 A1 WO2017209015 A1 WO 2017209015A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- stereo camera
- installation
- mark
- axis direction
- vertical axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
Definitions
- the present invention relates to a stereo camera installation parameter calibration method used in a road surface state detection device that detects a road surface state such as a road surface height.
- a control method of the active suspension system there is preview control that detects the road surface condition in front of the vehicle and appropriately controls various characteristics of the suspension.
- a method for detecting the road surface condition in front of the vehicle a stereo method using parallax information of a road surface image in front of the vehicle captured by two cameras is known.
- Patent Document 1 discloses that a first image and a second image obtained by photographing a road surface in stereo are projected on XY plane coordinates, and the plane coordinates are , A detection area centered on a specific coordinate (X, Y) is set, a parallax v1 when the image of the detection area is at the road surface position is calculated, and a coordinate (X ⁇ A technique is described in which a comparison area centered on v1, Y) is set, and the height of the detection area from the road surface is detected by comparing the image of the detection area with the image of the comparison area.
- Patent Document 1 even when it is difficult to identify a road surface, it is possible to detect a difference in level of a step from the road surface.
- the accuracy of each installation parameter of the installation height and the installation angle of the stereo camera greatly affects the detection accuracy.
- the installation parameters may change due to vibration or deterioration of the attached parts over time. For this reason, means for easily and accurately calibrating the installation parameters is required.
- a stereo camera installation parameter calibration method includes: A stereo camera installation parameter calibration method that is attached to a movable object and that images the road surface to detect the height of the road surface to which the object moves, The road surface provided with a mark at a predetermined distance from the position of the stereo camera is imaged by the stereo camera, Using the installation parameter and the value of the predetermined distance, obtain the position in the vertical direction in the coordinate space of the image captured by the stereo camera, Comparing the position of the obtained vertical axis direction with the position of the captured mark in the vertical axis direction in the coordinate space; The installation parameter is calibrated based on the comparison result.
- the position in the vertical axis direction is In the coordinate space of the image captured by the stereo camera, the distance from the stereo camera respectively corresponding to a plurality of predetermined positions in the vertical axis direction is calculated using the installation parameters, respectively. It is obtained by determining a position in the vertical axis direction in the coordinate space corresponding to the distance closest to the predetermined distance among the calculated distances, Comparing the determined position and the position of the imaged mark in the vertical direction in the coordinate space; The installation parameter may be calibrated based on the comparison result.
- the installation parameter may be calibrated so that the determined position and the position in the vertical axis direction of the imaged mark in the coordinate space coincide with each other.
- the installation parameter to be calibrated is an installation height and an installation angle of the stereo camera
- the mark includes a first mark provided at a predetermined first distance from the position of the stereo camera; a second mark provided at a predetermined second distance different from the first distance from the position of the stereo camera;
- the road surface on which the mark is provided may be imaged by the stereo camera at a timing when the object passes a position a predetermined distance before the position of the mark provided on the road surface.
- FIG. 5 is a diagram for explaining a first calibration method for installation parameters of the stereo camera 10. It is a flowchart which shows the procedure of the 1st calibration method.
- 10 is a diagram for explaining a second calibration method for installation parameters of the stereo camera 10. It is a flowchart which shows the procedure of the 2nd calibration method of the installation parameter of a stereo camera. It is a figure which shows the positional relationship in the coordinate space of the image of several calibration line and a mark. It is a figure for demonstrating the 3rd calibration method of the installation parameter of the stereo camera. 12 is a flowchart illustrating a procedure of a third calibration method for installation parameters of the stereo camera 10. It is a figure for demonstrating the method to give an exact imaging timing to a stereo camera, when calibrating the installation parameter of a stereo camera automatically while driving
- the present embodiment relates to a stereo camera installation parameter calibration method used in a road surface state detection device that detects a distance to a detection target point on a road surface in front of a vehicle and a height of the detection target point using a stereo image. is there.
- the stereo camera has a plurality of, for example, two cameras.
- Each of the plurality of cameras is arranged so that the front of the vehicle is an imaging range, are separated from each other so that parallax can occur, and the optical axes thereof are parallel to each other.
- the images captured by a plurality of cameras are processed by an arithmetic processing circuit.
- the arithmetic processing circuit calculates parallax information between corresponding points of each image, calculates the distance from the stereo camera to the detection target point on the road surface based on the calculated parallax information and the installation parameters of the stereo camera, and is calculated Based on the distance, the height of the road surface is calculated.
- FIG. 1 and 2 are explanatory diagrams of a method for calculating the distance and height from the stereo camera to the detection target point on the road surface.
- FIG. 1 is a view showing a road surface including each camera and a detection target point from above
- FIG. 2 is a view showing a road surface including each camera and the detection target point from the side.
- the detection target point K on the road surface is seen in a direction inclined downward by an angle ⁇ from the optical axes 11R, 11L of the cameras 10R, 10L as shown in FIG.
- the distance D from the cameras 10R and 10L to the detection target point K is calculated by the following equation (1).
- D (d ⁇ f) / (x1 ⁇ x2) (1)
- d is the distance between the cameras
- f is the focal length of the lens.
- x1-x2 is parallax
- x1 is the X coordinate value of the image of the detection target point K in the image of one camera 10R
- x2 is the X coordinate value of the image of the detection target point K in the image of the other camera 10L. is there.
- the distance L and the height h from the stereo camera to the detection target point K on the road surface can be calculated by the stereo method.
- the detection accuracy of the distance L and the height h by the above stereo method depends on the installation height and the installation angle accuracy of the stereo camera 10. In the installation work of the stereo camera 10, it is difficult to completely eliminate these installation parameter errors. In addition, the installation parameters may change due to vibration or deterioration of the attached parts over time.
- FIG. 3 is a block diagram showing the configuration of the road surface condition detection device 1 of the present embodiment.
- the road surface state detection device 1 of this embodiment includes a stereo camera 10, an arithmetic processing circuit 20, and a memory 30. Note that the memory 30 may be provided in the arithmetic processing circuit 20.
- the stereo camera 10 has two cameras 10A and 10B.
- the two cameras 10A and 10B are arranged such that the front of the vehicle is an imaging range, are separated from each other so that parallax is generated, and the optical axes thereof are parallel to each other.
- the cameras 10A and 10B are configured to include an image pickup device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Imaging signals obtained by the respective cameras 10A and 10B are supplied to the arithmetic processing circuit 20.
- an image pickup device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Imaging signals obtained by the respective cameras 10A and 10B are supplied to the arithmetic processing circuit 20.
- the arithmetic processing circuit 20 is a device that performs arithmetic processing for parallax calculation and road surface displacement detection using the memory 30, and is configured by, for example, an FPGA (Field-Programmable Gate Array).
- FPGA Field-Programmable Gate Array
- the present invention is not limited to this, and may be configured by other integrated circuits such as ASIC (Application Specific Specific Integrated Circuit).
- the arithmetic processing circuit 20 functionally includes an image processing unit 21, a road surface displacement calculation unit 22, and an installation parameter calibration unit 23.
- the image processing unit 21 digitizes the two video signals supplied from the stereo camera 10 to form an image, and performs preprocessing, such as filter processing such as distortion correction of each image and noise removal from each image. Further, the image processing unit 21 searches for the correspondence between the images using the preprocessed image (camera 10A image) as a reference image and the other image (camera 10B image) as a reference image. Disparity information of two images is generated.
- the road surface displacement calculation unit 22 calculates the distance L from the stereo camera 10 and the road surface height h of the detection target point on the road surface using the parallax information obtained by the image processing unit 21.
- the road surface displacement calculation unit 22 generates road surface displacement information for preview control of the suspension system 60 from the calculated distance L and height h information, and supplies the road surface displacement information to the suspension system 60.
- the installation parameter calibration unit 23 performs a process of calibrating the installation parameters of the stereo camera 10.
- a linear mark M orthogonal to the lane direction (Y direction) is provided at a position away from the stereo camera 10 by a predetermined distance L in the lane direction (Y direction) of the road surface 70. It is done.
- the mark M should be provided by accurately detecting a position corresponding to a predetermined distance L from the stereo camera 10 using, for example, a laser displacement meter.
- FIG. 5 is a diagram showing an image obtained by imaging the road surface 70 provided with the mark M with the stereo camera 10.
- the mark M is provided on the horizontal road surface 70 in a direction orthogonal to the lane direction (vertical axis direction (Y-axis direction) in the image coordinate space)
- the coordinate space of the image captured by the stereo camera 10 The mark M is obtained as a straight image 71 parallel to the X axis.
- the installation height of the stereo camera 10 can be accurately measured by using, for example, a laser distance meter.
- a laser distance meter When the stereo camera 10 can be accurately installed on the vehicle body at the target height by such means, only the error in the installation angle of the stereo camera 10 needs to be calibrated.
- FIG. 6 is a diagram for explaining a first calibration method for the installation parameters of the stereo camera 10.
- FIG. 7 is a flowchart showing the procedure of the first calibration method.
- the arithmetic processing circuit 20 (installation parameter calibration unit 23) uses the installation parameter of the stereo camera 10 and the value of a predetermined distance L to determine the position in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10. Is obtained as follows (step S101).
- the arithmetic processing circuit 20 obtains an angle ⁇ ′ formed by the straight line connecting the lower end of the angle of view of the stereo camera 10 and the straight line connecting the viewpoint of the stereo camera 10 and the mark M, using Expression (5).
- ⁇ v is the vertical angle of view of the stereo camera 10
- ⁇ camera is the installation angle of the stereo camera 10.
- the installation angle ⁇ camera is an angle of the optical axis 11 of the stereo camera 10 with respect to the horizontal line 12.
- the arithmetic processing circuit 20 obtains the position in the vertical axis direction in the coordinate space of the image from the angle ⁇ ′.
- the position in the vertical axis direction in the coordinate space of the image corresponding to the angle ⁇ ′ obtained at this time is the value before the calibration of the parameter of the installation angle ⁇ camera, so that the stereo camera 10 has an error corresponding to the installation angle ⁇ camera.
- the arithmetic processing circuit 20 calculates a difference between the obtained position in the vertical direction and the position in the vertical direction of the mark M in the coordinate space of the image captured by the stereo camera 10 (step S102). If there is a significant difference (YES in step S103), the installation angle ⁇ camera of the stereo camera 10 is updated so as to reduce the difference (step S104). For example, when the obtained Y-coordinate position is farther away than the mark M, the installation angle ⁇ camera is increased, and conversely, the obtained vertical axis position is in front of the mark M position. The installation angle ⁇ camera is decreased.
- the arithmetic processing circuit 20 calculates the increase / decrease amount of the installation angle ⁇ camera of the stereo camera 10 between the position in the vertical axis direction and the vertical axis position of the mark M in the coordinate space of the image captured by the stereo camera 10. You may make it obtain
- the arithmetic processing circuit 20 uses the updated installation parameter and the value of the predetermined distance L to perform the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 Is calculated again, and the difference between the calculated vertical position and the vertical position of the mark M in the coordinate space of the image captured by the stereo camera 10 is calculated, and the installation angle ⁇ camera of the stereo camera 10 is calculated.
- the installation angle ⁇ camera at the time when the difference between the obtained position in the vertical axis direction and the position in the vertical axis direction of the mark M in the coordinate space of the image captured by the stereo camera 10 becomes zero or minimum is obtained.
- the calibration result is determined (step S105). The calibration of the installation angle ⁇ camera by the first calibration method is thus completed.
- FIG. 8 is a diagram for explaining a second calibration method for the installation parameters of the stereo camera 10.
- FIG. 9 is a flowchart showing the procedure of the second calibration method for the installation parameters of the stereo camera 10.
- the arithmetic processing circuit 20 (installation parameter calibration unit 23) is compared with a predetermined distance L from the stereo camera 10 to the mark M, using the values of the installation parameters of the installation height of the stereo camera 10 and the installation angle before calibration.
- the distances from the stereo camera 10 of the plurality of calibration lines are calculated (step S201). For example, as shown in FIG. 10, each of the plurality of calibration lines 72A, 72B, 72C is preset as a position in the vertical axis direction in the coordinate space of the image.
- the arithmetic processing circuit 20 calculates the calibration line 72A from the stereo camera 10 as follows from the installation height of the stereo camera 10 and the installation angle before calibration, and further the position in the vertical axis direction of each calibration line. The distances to 72B and 72C are calculated respectively.
- the arithmetic processing circuit 20 calculates an angle ⁇ ′ corresponding to the position (Y coordinate value) of the number of pixels H_pixel from the lower end of the image by the following equation (8).
- ⁇ ′ ⁇ ⁇ H_pixel (8)
- the arithmetic processing circuit 20 calculates a distance LA from the stereo camera 10 to the calibration line 72A by the following equation (9).
- LA DA ⁇ cos ⁇ ”(9)
- DA is a linear distance from the viewpoint of the stereo camera 10 to the calibration line 72A.
- ⁇ ′′ is an angle formed by a straight line connecting the viewpoint of the stereo camera 10 and, for example, the calibration line 72A, and a parallel line to the road surface when the stereo camera 10 is installed at an angle of ⁇ camera. Obtained by (5).
- the distance LA from the stereo camera 10 to the calibration line 72A is calculated by substituting this ⁇ "value into the equation (9). Note that the distance LA from the stereo camera 10 to the other calibration lines 72B and 72C is calculated. The distances LB and LC are similarly calculated.
- the arithmetic processing circuit 20 determines the distance from the stereo camera 10 to the mark M among the distances LA, LB, LC from the stereo camera 10 calculated as described above to the calibration lines 72A, 72B, 72C.
- the calibration line closest to the predetermined distance L is determined as an effective calibration line (step S202).
- the predetermined distance L may be set in advance in the device, or the user may input the distance L actually measured between the stereo camera 10 and the mark M.
- the calibration line 72A is determined as the effective calibration line.
- the calibration lines are all the lines in the image coordinate space, all the lines in a specific height range in the image coordinate space, or a plurality of lines every N (N is a value of 1 or more). There may be.
- the arithmetic processing circuit 20 calculates a difference between the position of the effective calibration line in the coordinate space of the image in the vertical axis direction and the position of the mark M in the coordinate space of the image captured by the stereo camera 10 in the vertical axis direction.
- the installation angle ⁇ camera of the stereo camera 10 is updated so as to reduce the difference (step S205). For example, when the effective calibration line is farther than the mark M in the coordinate space of the image, the installation angle ⁇ camera is increased. Conversely, when the effective calibration line is in front of the mark M, the installation angle ⁇ camera is increased. The angle ⁇ camera is decreased.
- the arithmetic processing circuit 20 determines the optimum increase / decrease amount of the installation angle ⁇ camera of the stereo camera 10, the position of the effective calibration line in the image coordinate space in the vertical axis direction, and the coordinate space of the image captured by the stereo camera 10. It may be determined uniquely from the difference between the position of the mark M in the vertical axis direction.
- the arithmetic processing circuit 20 recalculates the distances LA, LB, and LC from the stereo camera 10 for each of the plurality of calibration lines 72A, 72B, and 72C, and performs effective calibration. Line determination, calculation of the difference between the position of the effective calibration line in the coordinate space of the image in the vertical axis direction and the position of the mark M in the coordinate space of the image captured by the stereo camera 10 in the vertical axis direction, and stereo The installation angle ⁇ camera of the camera 10 is similarly updated.
- step S206 This completes the calibration of the installation angle ⁇ camera by the second calibration method.
- the distance for the calibration line is calculated only in the vertical axis direction of the effective calibration line in the image coordinate space only for the effective calibration line determined in the first processing recycling.
- a difference between the position and the position of the mark M in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 may be calculated.
- a third calibration method for calibrating both the installation height H and the installation angle ⁇ camera of the stereo camera 10 will be described.
- the third calibration method for example, as shown in FIG. 11, a plurality of marks M1 and M2 are provided on the road surface 70 apart from each other in the lane direction.
- the mark M1 is referred to as a “first mark M1”
- the mark M2 is referred to as a “second mark M2”.
- the first mark M1 and the second mark M2 are provided by accurately detecting positions corresponding to predetermined distances L1 and L2 from the stereo camera 10 using, for example, a laser displacement meter.
- FIG. 12 is a flowchart showing the procedure of the third calibration method for the installation parameters of the stereo camera 10.
- the arithmetic processing circuit 20 calculates the position in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 from the installation parameters (installation height H and installation angle ⁇ camera) of the stereo camera 10 and the value of the distance L2. (Step S301). This process is performed by the above equations (4) to (7).
- the arithmetic processing circuit 20 calculates a difference between the obtained position in the vertical axis direction and the position in the vertical axis direction of the image of the second mark M2 in the coordinate space of the image captured by the stereo camera 10 (step). If there is a significant difference (YES in step S303), the installation height H of the stereo camera 10 is updated so that the difference becomes 0 or minimum (step S304), and the process proceeds to step S305. If there is no significant difference (NO in step S303), the process moves to step S305 without updating the installation height H.
- step S305 the arithmetic processing circuit 20 calculates the position in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 from the installation parameter of the stereo camera 10 and the value of the distance L1 (step S305). This process is performed by the above equations (4) to (7).
- the arithmetic processing circuit 20 calculates a difference between the obtained position in the vertical axis direction and the position in the vertical axis direction of the image of the first mark M1 in the coordinate space of the image captured by the stereo camera 10 (step S1). If there is no significant difference (NO in step S307), the current installation parameter of the stereo camera 10 is determined as a calibration result (step S310). If there is a significant difference (YES in step S307), the installation angle ⁇ camera of the stereo camera 10 is updated so that the difference becomes 0 or minimum (step S308).
- step S309 it is determined whether or not the installation angle ⁇ camera has been updated. If the installation angle ⁇ camera has been updated, the current installation parameter of the stereo camera 10 is determined as a calibration result (step S310).
- step S303 If there is a significant difference (YES in step S303), the installation height H of the stereo camera 10 is updated again in step S304 so that the difference becomes 0 or minimum.
- the arithmetic processing circuit 20 moves to step S305 in order to re-evaluate the current installation angle ⁇ camera, and the subsequent operations are repeated.
- the installation height H of the stereo camera 10 using the second mark M2 is adjusted, and the installation angle ⁇ camera of the stereo camera 10 using the first mark M1 is adjusted. Is repeatedly performed alternately to calibrate the installation parameters.
- the first mark M1 may be used for adjusting the installation height H of the stereo camera 10
- the second mark M2 may be used for adjusting the installation angle ⁇ camera of the stereo camera 10.
- the installation angle ⁇ camera of the stereo camera 10 can be changed by, for example, shifting the position for reading an image from the imaging device of the stereo camera 10 in the entire vertical axis direction. In this case, the total number of pixels in the vertical axis direction of the imaging element of the stereo camera 10 needs to be larger than the number of pixels in the vertical axis direction from which an image is read. Further, the installation angle ⁇ camera of the stereo camera 10 may be changed by mechanically changing the direction of the optical axis 11 of the stereo camera 10 by the camera actuator 80.
- the installation height H of the stereo camera 10 can be changed by mechanically moving the barrel of the stereo camera 10 by the camera actuator 80 in the vertical direction.
- the installation parameters such as the installation height and the installation angle of the stereo camera 10 may fluctuate due to aged deterioration of the mounting bracket or vibration caused by backlash of the screw hole. There is.
- a system that can automatically calibrate the installation parameters of the stereo camera 10 while the vehicle is traveling on a public road or the like is conceivable.
- a mark M is provided on a road surface such as a public road, and the road surface may be imaged by the stereo camera 10 at a timing when the stereo camera 10 of the vehicle passes a position at a predetermined distance L in front of the mark M. .
- FIGS. 13A and 13B are diagrams illustrating a configuration for giving accurate imaging timing to the stereo camera 10 when the installation parameters of the stereo camera 10 are automatically calibrated while the vehicle is traveling on a public road or the like.
- vehicle detectors 110 and 110 such as an optical sensor and a camera are used.
- the passage speed and passage timing of the vehicle C between the vehicle detectors 110, 110 are detected, and transmission / reception of signals and the like are included.
- the stereo camera 10 performs imaging at a predetermined distance L before the mark M.
- the calibration process by the first calibration method or the second calibration method of the installation parameters is performed. Can do.
- a method of generating the timing at which the vehicle stereo camera 10 passes a position at a predetermined distance L before the mark M a method using the vehicle detectors 110 and 110, a predetermined distance before the mark M, and the like.
- a plurality of marks for generating the vehicle passage timing are provided in a position further forward than the position L, separated from each other in the lane direction, and these are detected by a detector such as an optical sensor or a camera provided in the vehicle. It can also be detected.
- This application example can also be applied to the third calibration method.
- the present invention can be applied not only to a vehicle traveling on a road surface, but also to various transporting devices and robots that move on an indoor floor surface.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、路面の高さなどの路面状態を検出する路面状態検出装置に用いられるステレオカメラの設置パラメータ校正方法に関する。 The present invention relates to a stereo camera installation parameter calibration method used in a road surface state detection device that detects a road surface state such as a road surface height.
アクティブサスペンションシステムの制御方式として、車両前方の路面状況を検出してサスペンションの諸特性を適正に制御するプレビュー制御がある。車両前方の路面状況を検出する方法として、２台のカメラで撮像した車両前方の路面像の視差情報を用いるステレオ法が知られている。 As a control method of the active suspension system, there is preview control that detects the road surface condition in front of the vehicle and appropriately controls various characteristics of the suspension. As a method for detecting the road surface condition in front of the vehicle, a stereo method using parallax information of a road surface image in front of the vehicle captured by two cameras is known.
このステレオ法を用いて路面の段差を検出する方式として、例えば、特許文献１には、路面をステレオ撮影した第１の画像と第２の画像とをＸＹ平面座標に投影し、該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差ｖ１を算出し、第２の画像に視差ｖ１を差し引いた座標（Ｘ－ｖ１、Ｙ）を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出する技術が記載されている。この特許文献１では、路面の識別が困難である場合でも、路面からの段差の高低差を検出することができる、としている。
As a method of detecting a road surface level difference using this stereo method, for example,
ステレオ画像を用いて路面の検出対象点までの距離および検出対象点の高さを算出する場合、ステレオカメラの設置高さおよび設置角度の各設置パラメータの精度が検出精度に大きく影響する。しかしながら、ステレオカメラの設置作業において、これらの設置パラメータの誤差が生じることを完全に防止することは困難である。また、振動や取り付け部品の経年的な劣化などによって、それらの設置パラメータが変化するおそれがある。このため、設置パラメータを容易にかつ精度良く校正する手段が求められている。 When calculating the distance to the detection target point on the road surface and the height of the detection target point using the stereo image, the accuracy of each installation parameter of the installation height and the installation angle of the stereo camera greatly affects the detection accuracy. However, it is difficult to completely prevent these installation parameter errors from occurring in the installation work of the stereo camera. In addition, the installation parameters may change due to vibration or deterioration of the attached parts over time. For this reason, means for easily and accurately calibrating the installation parameters is required.
以上のような事情に鑑み、本発明は、ステレオカメラの設置パラメータを簡単に校正することのできるステレオカメラの設置パラメータ校正方法を提供することを目的とする。 In view of the circumstances as described above, it is an object of the present invention to provide a stereo camera installation parameter calibration method capable of easily calibrating a stereo camera installation parameter.
上記目的を達成するため、本発明の一形態に係るステレオカメラの設置パラメータ校正方法は、
移動可能な物体に取り付けられ、前記物体が移動する先の路面の高さを検出するために前記路面を撮像するステレオカメラの設置パラメータ校正方法であって、
前記ステレオカメラの位置から所定の距離にマークが設けられた路面を前記ステレオカメラにより撮像し、
前記設置パラメータと前記所定の距離の値とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の位置を求め、
前記求めた縦軸方向の位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正する。
In order to achieve the above object, a stereo camera installation parameter calibration method according to an aspect of the present invention includes:
A stereo camera installation parameter calibration method that is attached to a movable object and that images the road surface to detect the height of the road surface to which the object moves,
The road surface provided with a mark at a predetermined distance from the position of the stereo camera is imaged by the stereo camera,
Using the installation parameter and the value of the predetermined distance, obtain the position in the vertical direction in the coordinate space of the image captured by the stereo camera,
Comparing the position of the obtained vertical axis direction with the position of the captured mark in the vertical axis direction in the coordinate space;
The installation parameter is calibrated based on the comparison result.
また、上記のステレオカメラの設置パラメータ校正方法において、
前記縦軸方向の位置は、
前記ステレオカメラにより撮像される画像の座標空間において、予め決められた縦軸方向の複数の位置にそれぞれ対応する前記ステレオカメラからの距離を前記設置パラメータを用いてそれぞれ算出し、
前記算出された複数の距離の中で前記所定の距離に最も近い距離に対応する、前記座標空間における縦軸方向の位置を判定することによって求められ、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正するというものであってもよい。
In the above stereo camera installation parameter calibration method,
The position in the vertical axis direction is
In the coordinate space of the image captured by the stereo camera, the distance from the stereo camera respectively corresponding to a plurality of predetermined positions in the vertical axis direction is calculated using the installation parameters, respectively.
It is obtained by determining a position in the vertical axis direction in the coordinate space corresponding to the distance closest to the predetermined distance among the calculated distances,
Comparing the determined position and the position of the imaged mark in the vertical direction in the coordinate space;
The installation parameter may be calibrated based on the comparison result.
また、上記のステレオカメラの設置パラメータ校正方法において、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とが一致するように前記設置パラメータを校正することとしてもよい。
In the above stereo camera installation parameter calibration method,
The installation parameter may be calibrated so that the determined position and the position in the vertical axis direction of the imaged mark in the coordinate space coincide with each other.
上記のステレオカメラの設置パラメータ校正方法において、
校正対象の前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、
前記マークは、前記ステレオカメラの位置から所定の第１距離に設けられた第１マークと、前記ステレオカメラの位置から前記第１距離と異なる所定の第２距離に設けられた第２マークと、を備え、
前記設置パラメータと前記所定の第２距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第１の位置を求め、
前記第１の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置とを比較して前記ステレオカメラの設置高さを更新し、
前記更新された設置高さを含む設置パラメータと前記所定の第１距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第２の位置を求め、
前記第２の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置を比較して前記ステレオカメラの設置角度を更新することとしてもよい。
In the above stereo camera installation parameter calibration method,
The installation parameter to be calibrated is an installation height and an installation angle of the stereo camera,
The mark includes a first mark provided at a predetermined first distance from the position of the stereo camera; a second mark provided at a predetermined second distance different from the first distance from the position of the stereo camera; With
Using the installation parameter and the predetermined second distance, obtain a first position in the vertical axis direction in a coordinate space of an image captured by the stereo camera,
The installation height of the stereo camera is updated by comparing the first position with the position in the vertical axis direction of the image of the imaged second mark in the coordinate space,
Using the installation parameter including the updated installation height and the predetermined first distance, a second position in the vertical axis direction in a coordinate space of an image captured by the stereo camera is obtained,
The installation angle of the stereo camera may be updated by comparing the position in the vertical axis direction in the coordinate space of the image of the captured second mark with the second position.
さらに、上記のステレオカメラの設置パラメータ校正方法において、
前記物体の移動中、前記路面に設けられた前記マークの位置から所定の距離手前の位置を前記物体が通過するタイミングで、前記マークが設けられた路面を前記ステレオカメラにより撮像することとしてよい。
Furthermore, in the above stereo camera installation parameter calibration method,
During the movement of the object, the road surface on which the mark is provided may be imaged by the stereo camera at a timing when the object passes a position a predetermined distance before the position of the mark provided on the road surface.
以下、図面を参照しながら、本発明のステレオカメラの設置パラメータ校正方法に係る一実施形態を説明する。
［概要］
本実施形態は、ステレオ画像を用いて、車両前方の路面の検出対象点までの距離及び当該検出対象点の高さを検出する路面状態検出装置に用いられるステレオカメラの設置パラメータ校正方法に関するものである。
Hereinafter, an embodiment of a stereo camera installation parameter calibration method of the present invention will be described with reference to the drawings.
[Overview]
The present embodiment relates to a stereo camera installation parameter calibration method used in a road surface state detection device that detects a distance to a detection target point on a road surface in front of a vehicle and a height of the detection target point using a stereo image. is there.
ステレオカメラは、複数例えば２つのカメラを有する。複数のカメラは各々、車両前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。 The stereo camera has a plurality of, for example, two cameras. Each of the plurality of cameras is arranged so that the front of the vehicle is an imaging range, are separated from each other so that parallax can occur, and the optical axes thereof are parallel to each other.
複数のカメラにより各々撮像された画像は演算処理回路によって処理される。演算処理回路は、各画像の対応点同士の視差情報を算出し、算出した視差情報とステレオカメラの設置パラメータをもとにステレオカメラから路面の検出対象点までの距離を算出し、算出された距離をもとに、路面の高さを算出する。 The images captured by a plurality of cameras are processed by an arithmetic processing circuit. The arithmetic processing circuit calculates parallax information between corresponding points of each image, calculates the distance from the stereo camera to the detection target point on the road surface based on the calculated parallax information and the installation parameters of the stereo camera, and is calculated Based on the distance, the height of the road surface is calculated.
図１および図２はステレオカメラから路面上の検出対象点までの距離および高さの算出方法の説明図である。図１は各カメラと検出対象点を含む路面を上から示す図であり、図２は各カメラと検出対象点を含む路面を側方から示す図である。 1 and 2 are explanatory diagrams of a method for calculating the distance and height from the stereo camera to the detection target point on the road surface. FIG. 1 is a view showing a road surface including each camera and a detection target point from above, and FIG. 2 is a view showing a road surface including each camera and the detection target point from the side.
図１において、路面の検出対象点Ｋは、図２に示すようにカメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌから角度θだけ下方に傾いた方向に見える。カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの距離Ｄは下記の式（１）により算出される。
Ｄ＝（ｄ・ｆ）／（ｘ１－ｘ２） ・・・（１）
ここで、ｄはカメラ間距離、ｆはレンズの焦点距離である。ｘ１－ｘ２は視差であり、ｘ１は一方のカメラ１０Ｒの画像における検出対象点Ｋの像のＸ座標の値、ｘ２は他方のカメラ１０Ｌの画像における検出対象点Ｋの像のＸ座標の値である。
In FIG. 1, the detection target point K on the road surface is seen in a direction inclined downward by an angle θ from the
D = (d · f) / (x1−x2) (1)
Here, d is the distance between the cameras, and f is the focal length of the lens. x1-x2 is parallax, x1 is the X coordinate value of the image of the detection target point K in the image of one
カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの向きが水平である場合、カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの水平方向（Ｙ軸方向）の距離Ｌは、
Ｌ＝Ｄｃｏｓθ ・・・（２）
により算出される。
また、検出対象点Ｋの高さｈは、
ｈ＝Ｈ－Ｄｓｉｎθ ・・・（３）
により算出される。
ここで、Ｈは、カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの路面からの高さである。
When the
L = D cos θ (2)
Is calculated by
The height h of the detection target point K is
h = H−Dsinθ (3)
Is calculated by
Here, H is the height from the road surface of the
このように、ステレオ法によって、ステレオカメラから路面上の検出対象点Ｋまでの距離Ｌと高さｈを算出することができる。 Thus, the distance L and the height h from the stereo camera to the detection target point K on the road surface can be calculated by the stereo method.
しかしながら、上記のステレオ法による距離Ｌおよび高さｈの検出精度は、ステレオカメラ１０の設置高さおよび設置角度の精度に依存する。ステレオカメラ１０の設置作業において、これらの設置パラメータの誤差を完全に排除することは困難である。また、振動や取り付け部品の経年的な劣化などによって、それらの設置パラメータが変化することもある。
However, the detection accuracy of the distance L and the height h by the above stereo method depends on the installation height and the installation angle accuracy of the
そこで、本明細書では、ステレオカメラ１０の設置作業において、これらの設置パラメータの誤差を容易に校正することのできるステレオカメラ１０の設置パラメータ校正方法について説明する。
Therefore, in this specification, an installation parameter calibration method of the
［本実施形態の路面状態検出装置の構成］
次に、本実施形態のステレオカメラの設置パラメータ校正方法が採用される路面状態検出装置の構成を説明する。
[Configuration of road surface condition detection device of this embodiment]
Next, the configuration of the road surface condition detection apparatus that employs the stereo camera installation parameter calibration method of the present embodiment will be described.
図３は本実施形態の路面状態検出装置１の構成を示すブロック図である。
同図に示すように、本実施形態の路面状態検出装置１は、ステレオカメラ１０と、演算処理回路２０と、メモリー３０とを備える。なお、メモリー３０は演算処理回路２０内に設けられていてもよい。
FIG. 3 is a block diagram showing the configuration of the road surface
As shown in FIG. 1, the road surface
ステレオカメラ１０は、２つのカメラ１０Ａ、１０Ｂを有する。２つのカメラ１０Ａ、１０Ｂは、車両前方を撮像範囲とし、視差が生じるように互いに離間し、かつ各々の光軸が平行となるように配置される。
The
カメラ１０Ａ、１０Ｂは、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えて構成される。各々のカメラ１０Ａ、１０Ｂにより各々得られた撮像信号は演算処理回路２０に供給される。
The cameras 10A and 10B are configured to include an image pickup device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Imaging signals obtained by the respective cameras 10A and 10B are supplied to the
演算処理回路２０は、メモリー３０を用いて視差算出および路面変位検出のための演算処理を行うデバイスであり、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などにより構成される。これに限らず、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などの、他の集積回路により構成されたものであってもよい。
The
演算処理回路２０は、機能的には、画像処理部２１と、路面変位算出部２２と、設置パラメータ校正部２３とを有する。
画像処理部２１は、ステレオカメラ１０より供給された２つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部２１は、前処理が施された一方の画像（カメラ１０Ａの画像）を基準画像、他方の画像（カメラ１０Ｂの画像）を参照画像として各々の画像の対応関係を探索して、２つの画像の視差情報を生成する。
The
The
路面変位算出部２２は、路面上の検出対象点の、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを、画像処理部２１により求められた視差情報を用いて算出する。路面変位算出部２２は、算出した距離Ｌおよび高さｈの情報からサスペンションシステム６０のプレビュー制御のための路面変位情報を生成して、サスペンションシステム６０に供給する。
The road surface
設置パラメータ校正部２３は、ステレオカメラ１０の設置パラメータを校正する処理を行う。
The installation
［設置パラメータの校正方法］
次に、本実施形態のステレオカメラ１０の設置パラメータを校正する方法を説明する。
[Calibration method for installation parameters]
Next, a method for calibrating the installation parameters of the
まず、図４に示すように、路面７０の車線方向（Ｙ方向）においてステレオカメラ１０から所定の距離Ｌだけ離れた位置に車線方向（Ｙ方向）に対して直交する直線状のマークＭが設けられる。このマークＭは、例えば、レーザー変位計などを用いて、ステレオカメラ１０からの所定の距離Ｌにあたる位置を精度良く検出して設けられるべきである。
First, as shown in FIG. 4, a linear mark M orthogonal to the lane direction (Y direction) is provided at a position away from the
図５は、このマークＭが設けられた路面７０をステレオカメラ１０により撮像することによって得られた画像を示す図である。
水平な路面７０にマークＭが車線方向（画像の座標空間における縦軸方向（Ｙ軸方向））に対して直交する方向に真っ直ぐ設けられている場合、ステレオカメラ１０により撮像された画像の座標空間においてマークＭはＸ軸に平行な直線の像７１として得られる。
FIG. 5 is a diagram showing an image obtained by imaging the
When the mark M is provided on the
ここで、本明細書では、主に以下の３種類の校正方法について述べる。
１．ステレオカメラ１０の設置高さの誤差がなく、設置角度の誤差のみを校正する第１の校正方法
２．ステレオカメラ１０の設置高さの誤差がなく、設置角度の誤差のみを校正する第２の校正方法
３．ステレオカメラ１０の設置高さと設置角度の両方の誤差を校正する第３の校正方法
Here, in this specification, the following three types of calibration methods are mainly described.
1. 1. First calibration method for calibrating only the installation angle error without the installation height error of the
（第１の校正方法について）
ステレオカメラ１０の設置高さは、例えばレーザー距離計などを用いることによって精度良く測定することが可能である。このような手段により車体にステレオカメラ１０を目的の高さに精度良く設置できる場合には、ステレオカメラ１０の設置角度の誤差のみを校正すればよい。
(About the first calibration method)
The installation height of the
図６は、ステレオカメラ１０の設置パラメータの第１の校正方法を説明するための図である。
図７は、第１の校正方法の手順を示すフローチャートである。
まず、演算処理回路２０（設置パラメータ校正部２３）は、ステレオカメラ１０の設置パラメータと所定の距離Ｌの値とを用いて、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を次のようにして求める（ステップＳ１０１）。
FIG. 6 is a diagram for explaining a first calibration method for the installation parameters of the
FIG. 7 is a flowchart showing the procedure of the first calibration method.
First, the arithmetic processing circuit 20 (installation parameter calibration unit 23) uses the installation parameter of the
演算処理回路２０は、まず、ステレオカメラ１０の設置高さＨとステレオカメラ１０からマークＭまでの距離Ｌとから式（４）により、ステレオカメラ１０の視点とマークＭとを結ぶ直線と水平線とがなす角度θ"を求める。
ｔａｎθ"＝Ｈ／Ｌ ・・・（４）
The
tanθ "= H / L (4)
次に、演算処理回路２０は、ステレオカメラ１０の画角の下端の直線とステレオカメラ１０の視点とマークＭとを結ぶ直線とがなす角度θ'を式（５）により求める。
θ'＝θｖ／２－（θ"－θｃａｍｅｒａ）＝θｖ／２－θ"＋θｃａｍｅｒａ ・・・（５）
ここで、θｖはステレオカメラ１０の垂直方向の画角、θｃａｍｅｒａはステレオカメラ１０の設置角度である。設置角度θｃａｍｅｒａは、水平線１２に対するステレオカメラ１０の光軸１１の角度である。
Next, the
θ ′ = θv / 2− (θ ″ −θcamera) = θv / 2−θ ″ + θcamera (5)
Here, θv is the vertical angle of view of the
次に、演算処理回路２０は、上記の角度θ'から画像の座標空間における縦軸方向における位置を求める。
ここで、ステレオカメラ１０により得られる画像の座標空間において縦軸方向の１画素あたりの仰角Δθは、
Δθ＝θｖ／Ｈ＿ｉｍａｇｅ ・・・（６）
であるから、縦軸方向における位置Ｐ（画像の下端からの画素位置）は、
Ｐ＝θ'／Δθ ・・・（７）
によって求められる。
Next, the
Here, in the coordinate space of the image obtained by the
Δθ = θv / H_image (6)
Therefore, the position P in the vertical axis direction (pixel position from the lower end of the image) is
P = θ ′ / Δθ (7)
Sought by.
この時点で求められる角度θ'に相当する画像の座標空間における縦軸方向における位置は、設置角度θｃａｍｅｒａのパラメータの値が校正前の値であるため、設置角度θｃａｍｅｒａの誤差分だけ、ステレオカメラ１０によって撮像された画像におけるマークＭの縦軸方向での位置に対する誤差を含んでいる。
The position in the vertical axis direction in the coordinate space of the image corresponding to the angle θ ′ obtained at this time is the value before the calibration of the parameter of the installation angle θcamera, so that the
次に、演算処理回路２０は、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差を算出し（ステップＳ１０２）、有意な差がある場合には（ステップＳ１０３のＹＥＳ）、その差が小さくなるようにステレオカメラ１０の設置角度θｃａｍｅｒａを更新する（ステップＳ１０４）。例えば、求めたＹ座標の位置がマークＭよりも遠くの位置関係にある場合には、設置角度θｃａｍｅｒａを増大させ、逆に求めた縦軸方向の位置がマークＭの位置よりも手前にある場合には設置角度θｃａｍｅｒａを減少させる。このとき演算処理回路２０が、ステレオカメラ１０の設置角度θｃａｍｅｒａの増減量を、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向位置との差から一意に求めるようにしてもよい。
Next, the
ステレオカメラ１０の設置角度θｃａｍｅｒａを更新した場合、演算処理回路２０が、更新された設置パラメータと所定の距離Ｌの値とを用いて、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を再度求め、再度求めた縦軸方向の位置とステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差の算出、さらにはステレオカメラ１０の設置角度θｃａｍｅｒａの更新を、同様に行う。以上の処理を繰り返し、求めた縦軸方向の位置とステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差が零または最小となった時点の設置角度θｃａｍｅｒａを校正結果として決定する（ステップＳ１０５）。
以上で、第１の校正方法による設置角度θｃａｍｅｒａの校正が完了する。
When the installation angle θcamera of the
The calibration of the installation angle θcamera by the first calibration method is thus completed.
（第２の校正方法について）
図８は、ステレオカメラ１０の設置パラメータの第２の校正方法を説明するための図である。
図９は、ステレオカメラ１０の設置パラメータの第２の校正方法の手順を示すフローチャートである。
演算処理回路２０（設置パラメータ校正部２３）は、ステレオカメラ１０の設置高さと校正前の設置角度の各設置パラメータの値を用いて、ステレオカメラ１０からマークＭまでの所定の距離Ｌと比較される複数の校正用ラインのステレオカメラ１０からの距離を各々算出する（ステップＳ２０１）。例えば、図１０に示すように、複数の校正用ライン７２Ａ、７２Ｂ、７２Ｃはそれぞれ、画像の座標空間における縦軸方向の位置として予め設定される。演算処理回路２０は、ステレオカメラ１０の設置高さと校正前の設置角度、さらには各々の校正用ラインの縦軸方向の位置とから、次のようにして、ステレオカメラ１０から校正用ライン７２Ａ、７２Ｂ、７２Ｃまでの距離を各々算出する。
(About the second calibration method)
FIG. 8 is a diagram for explaining a second calibration method for the installation parameters of the
FIG. 9 is a flowchart showing the procedure of the second calibration method for the installation parameters of the
The arithmetic processing circuit 20 (installation parameter calibration unit 23) is compared with a predetermined distance L from the
図８に示すように、演算処理回路２０は、画像の下端からの画素数Ｈ＿ｐｉｘｅｌの位置（Ｙ座標の値）に対応する角度θ'を次式（８）により算出する。
θ'＝Δθ×Ｈ＿ｐｉｘｅｌ ・・・（８）
As shown in FIG. 8, the
θ ′ = Δθ × H_pixel (8)
次に、演算処理回路２０は、ステレオカメラ１０から校正用ライン７２Ａまでの距離ＬＡを次式（９）により算出する。
ＬＡ＝ＤＡ×ｃｏｓθ" ・・・（９）
ここで、ＤＡはステレオカメラ１０の視点から校正用ライン７２Ａまでの直線距離である。また、θ"は、ステレオカメラ１０がθｃａｍｅｒａの角度で設置されているとき、ステレオカメラ１０の視点と例えば校正用ライン７２Ａとを結んだ直線と路面に対する平行線とがなす角度であり、上記式（５）により得られる。
Next, the
LA = DA × cos θ ”(9)
Here, DA is a linear distance from the viewpoint of the
このθ"の値を式（９）に代入することによってステレオカメラ１０から例えば校正用ライン７２Ａまでの距離ＬＡが算出される。なお、ステレオカメラ１０から、その他の校正用ライン７２Ｂ、７２Ｃまでの距離ＬＢ、ＬＣも同様に算出される。
The distance LA from the
次に、演算処理回路２０は、上記のようにして算出されたステレオカメラ１０から各校正用ライン７２Ａ、７２Ｂ、７２Ｃまでの距離ＬＡ、ＬＢ、ＬＣのなかで、ステレオカメラ１０からマークＭまでの所定の距離Ｌに最も近い校正用ラインを有効校正用ラインとして判定する（ステップＳ２０２）。この所定の距離Ｌは予め機器に設定しておいてもよいし、ユーザが実際のステレオカメラ１０とマークＭとの間を実測した距離Ｌを入力するようにしてもよい。図１０の例においては、校正用ライン７２Ａが有効校正用ラインとして判定される。なお、校正用ラインは、画像の座標空間におけるすべてのライン、あるいは画像の座標空間における特定の高さ範囲内のすべてのライン、あるいはＮ（Ｎは１以上の値）本置きの複数のラインであってもよい。
Next, the
次に、演算処理回路２０は、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差を算出し（ステップＳ２０３）、有意な差がある場合には（ステップＳ２０４のＹＥＳ）、その差が小さくなるようにステレオカメラ１０の設置角度θｃａｍｅｒａを更新する（ステップＳ２０５）。例えば、画像の座標空間において有効校正用ラインがマークＭよりも遠くの位置にある場合には、設置角度θｃａｍｅｒａを増大させ、逆に有効校正用ラインがマークＭよりも手前にある場合には設置角度θｃａｍｅｒａを減少させる。このとき演算処理回路２０が、ステレオカメラ１０の設置角度θｃａｍｅｒａの最適な増減量を、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差から一意に求めるようにしてもよい。
Next, the
ステレオカメラ１０の設置角度θｃａｍｅｒａを更新した場合、演算処理回路２０は、複数の校正用ライン７２Ａ、７２Ｂ、７２Ｃのそれぞれについて、ステレオカメラ１０からの距離ＬＡ、ＬＢ、ＬＣを再度算出し、有効校正用ラインの判定、画像の座標空間における有効校正用ラインの縦軸方向の位置とステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差の算出、さらにはステレオカメラ１０の設置角度θｃａｍｅｒａの更新を同様に行う。以上の処理を繰り返し、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差が零または最小となった時点の設置角度θｃａｍｅｒａを最適値として決定する（ステップＳ２０６）。
以上で、第２の校正方法による設置角度θｃａｍｅｒａの校正が完了する。
When the installation angle θcamera of the
This completes the calibration of the installation angle θcamera by the second calibration method.
なお、２回目以後の処理リサイクルにおいて、校正用ラインについての距離の算出は、一回目の処理リサイクルで判定された有効校正用ラインについてのみ、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間におけるマークＭの縦軸方向の位置との差を算出するようにしてもよい。
In the second and subsequent processing recycling, the distance for the calibration line is calculated only in the vertical axis direction of the effective calibration line in the image coordinate space only for the effective calibration line determined in the first processing recycling. A difference between the position and the position of the mark M in the vertical axis direction in the coordinate space of the image captured by the
（第３の校正方法について）
次に、ステレオカメラ１０の設置高さＨと設置角度θｃａｍｅｒａの両方を校正対象とする第３の校正方法について説明する。
この第３の校正方法では、例えば、図１１に示すように、路面７０に車線方向において互いに離間して複数のマークＭ１、Ｍ２が設けられる。以下、マークＭ１を「第１マークＭ１」、マークＭ２を「第２マークＭ２」と呼ぶ。これら第１マークＭ１および第２マークＭ２は、例えば、レーザー変位計などを用いて、ステレオカメラ１０からの所定の距離Ｌ１、Ｌ２にあたる位置を精度良く検出して設けられる。この例では、Ｌ１＞Ｌ２とする。
(About the third calibration method)
Next, a third calibration method for calibrating both the installation height H and the installation angle θcamera of the
In the third calibration method, for example, as shown in FIG. 11, a plurality of marks M1 and M2 are provided on the
図１２は、ステレオカメラ１０の設置パラメータの第３の校正方法の手順を示すフローチャートである。
まず、演算処理回路２０は、ステレオカメラ１０の設置パラメータ（設置高さＨおよび設置角度θｃａｍｅｒａ）と距離Ｌ２の値から、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を算出する（ステップＳ３０１）。この処理は、上記（４）式から（７）式により行われる。
FIG. 12 is a flowchart showing the procedure of the third calibration method for the installation parameters of the
First, the
次に、演算処理回路２０は、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間における第２マークＭ２の像の縦軸方向の位置との差を算出し（ステップＳ３０２）、有意な差がある場合には（ステップＳ３０３のＹＥＳ）、その差が０または最小となるようにステレオカメラ１０の設置高さＨを更新し（ステップＳ３０４）、ステップＳ３０５に移行する。有意な差がない場合には（ステップＳ３０３のＮＯ）、設置高さＨを更新せずにステップＳ３０５に移行する。
Next, the
ステップＳ３０５において、演算処理回路２０は、ステレオカメラ１０の設置パラメータと距離Ｌ１の値から、ステレオカメラ１０により撮像される画像の座標空間における縦軸方向の位置を算出する（ステップＳ３０５）。この処理は、上記（４）式から（７）式により行われる。
In step S305, the
次に、演算処理回路２０は、求めた縦軸方向の位置と、ステレオカメラ１０によって撮像された画像の座標空間における第１マークＭ１の像の縦軸方向の位置との差を算出し（ステップＳ３０６）、有意な差がなければ（ステップＳ３０７のＮＯ）、現在のステレオカメラ１０の設置パラメータを校正結果として決定する（ステップＳ３１０）。有意な差がある場合には（ステップＳ３０７のＹＥＳ）、その差が０または最小となるようにステレオカメラ１０の設置角度θｃａｍｅｒａを更新する（ステップＳ３０８）。
Next, the
ステレオカメラ１０の設置角度θｃａｍｅｒａを更新した場合、現在の設置高さＨを再評価するために、演算処理回路２０は、ステップＳ３０１に戻り、ステップＳ３０３で有意な差がなければ（ステップＳ３０３のＮＯ）、ステップＳ３０９で設置角度θｃａｍｅｒａの更新が完了しているかどうかを判断し、設置角度θｃａｍｅｒａの更新が完了してならば現在のステレオカメラ１０の設置パラメータを校正結果として決定する（ステップＳ３１０）。
When the installation angle θcamera of the
また、有意な差がある場合には（ステップＳ３０３のＹＥＳ）、その差が０または最小となるようにステレオカメラ１０の設置高さＨをステップＳ３０４で再度更新する。ステレオカメラ１０の設置高さＨを再更新した場合には、演算処理回路２０は、現在の設置角度θｃａｍｅｒａを再評価するために、ステップＳ３０５に移動し、以降の動作が繰り返される。
If there is a significant difference (YES in step S303), the installation height H of the
以上のように、第３の校正方法では、第２のマークＭ２を用いたステレオカメラ１０の設置高さＨの調整と、第１のマークＭ１を用いたステレオカメラ１０の設置角度θｃａｍｅｒａの調整とが交互に繰り返し行われることによって設置パラメータの校正が行われる。
As described above, in the third calibration method, the installation height H of the
なお、第３の校正方法では、第１のマークＭ１をステレオカメラ１０の設置高さＨの調整に用い、第２のマークＭ２をステレオカメラ１０の設置角度θｃａｍｅｒａの調整に用いてもよい。
In the third calibration method, the first mark M1 may be used for adjusting the installation height H of the
（設置角度、設置高さの変更方法について）
ステレオカメラ１０の設置角度θｃａｍｅｒａの変更は、例えば、ステレオカメラ１０の撮像素子から像を読み出す位置を縦軸方向に全体的にシフトすることによって行うことができる。この場合には、ステレオカメラ１０の撮像素子の縦軸方向の全体画素数は像が読み出される縦軸方向の画素数よりも大きい必要がある。また、ステレオカメラ１０の設置角度θｃａｍｅｒａの変更は、ステレオカメラ１０の光軸１１の向きをカメラアクチュエータ８０によりメカニカルに変更することによって行われてもよい。
(How to change the installation angle and installation height)
The installation angle θcamera of the
ステレオカメラ１０の設置高さＨの変更は、ステレオカメラ１０の鏡筒を垂直方向にカメラアクチュエータ８０によりメカニカルに移動させることなどによって行うことが可能である。
The installation height H of the
［応用例］
次に、上記の各実施形態の応用例を説明する。
ステレオカメラ１０は車体に取付金具を用いて取り付けられるため、取付金具の経年劣化やビス孔のガタなどにより走行時に受ける振動によりステレオカメラ１０の設置高さや設置角度などの設置パラメータが変動する可能性がある。車両の点検の際に設置パラメータの校正を上記の実施形態の方法により行うことによって、最低限の保守を行うことは可能であるが、より高頻度に設置パラメータを校正できることが望まれる。
[Application example]
Next, application examples of the above embodiments will be described.
Since the
そこで、公道などを車両が走行中に自動的にステレオカメラ１０の設置パラメータを校正することのできるシステムが考えられる。この場合、公道などの路面にマークＭが設けられ、このマークＭより手前の所定の距離Ｌの位置を車両のステレオカメラ１０が通過するタイミングで、ステレオカメラ１０による路面の撮像が行われればよい。
Therefore, a system that can automatically calibrate the installation parameters of the
図１３Ａおよび図１３Ｂは、公道などを車両が走行中に自動的にステレオカメラ１０の設置パラメータを校正する場合に、ステレオカメラ１０に正確な撮像タイミングを与えるための構成を示す図である。
ステレオカメラ１０の撮像タイミングを正確に与えるために、光センサー、カメラなどの車両検知器１１０、１１０が用いられる。車両検知器１１０、１１０を車線方向において異なる位置に複数機設けることによって、各車両検知器１１０、１１０の間の車両Ｃの通過速度と通過タイミングを検出し、通過速度および信号の送受信などを含む諸々の処理による遅延時間を考慮して、マークＭより手前の所定の距離Ｌの位置でステレオカメラ１０による撮像が行われるようにする。
FIGS. 13A and 13B are diagrams illustrating a configuration for giving accurate imaging timing to the
In order to give the imaging timing of the
このような車両検知器１１０、１１０およびマークＭを、車線方向に連続して、複数のセット配置することによって、設置パラメータの上記第１の校正方法または第２の校正方法による校正処理を行うことができる。
By arranging a plurality of
なお、マークＭより手前の所定の距離Ｌの位置を車両のステレオカメラ１０が通過するタイミングを生成する方法としては、車両検知器１１０、１１０を用いる方法の他、マークＭより手前の所定の距離Ｌの位置よりもさらに手前の位置に、車両通過タイミングの生成のための複数のマークを車線方向において互いに離間して設けておき、車両に設けられた光センサー、カメラなどの検出器でこれらを検出して行うことも可能である。
In addition, as a method of generating the timing at which the
また、本応用例は、上記第３の校正方法にも応用することが可能である。 This application example can also be applied to the third calibration method.
本発明は、路面を走行する車両に適用されるだけでなく、室内の床面を移動する各種運搬用の機器やロボットなどにも適用することが可能である。 The present invention can be applied not only to a vehicle traveling on a road surface, but also to various transporting devices and robots that move on an indoor floor surface.
Claims (6)
前記ステレオカメラの位置から所定の距離にマークが設けられた路面を前記ステレオカメラにより撮像し、
前記設置パラメータと前記所定の距離の値とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の位置を求め、
前記求めた縦軸方向の位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正する
ステレオカメラの設置パラメータ校正方法。 A stereo camera installation parameter calibration method that is attached to a movable object and that images the road surface to detect the height of the road surface to which the object moves,
The road surface provided with a mark at a predetermined distance from the position of the stereo camera is imaged by the stereo camera,
Using the installation parameter and the value of the predetermined distance, obtain the position in the vertical direction in the coordinate space of the image captured by the stereo camera,
Comparing the position of the obtained vertical axis direction with the position of the captured mark in the vertical axis direction in the coordinate space;
A stereo camera installation parameter calibration method for calibrating the installation parameter based on the comparison result.
前記縦軸方向の位置は、
前記ステレオカメラにより撮像される画像の座標空間において、予め決められた縦軸方向の複数の位置にそれぞれ対応する前記ステレオカメラからの距離を前記設置パラメータを用いてそれぞれ算出し、
前記算出された複数の距離の中で前記所定の距離に最も近い距離に対応する、前記座標空間における縦軸方向の位置を判定することによって求められ、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正する
ステレオカメラの設置パラメータ校正方法。 A stereo camera installation parameter calibration method according to claim 1,
The position in the vertical axis direction is
In the coordinate space of the image captured by the stereo camera, the distance from the stereo camera respectively corresponding to a plurality of predetermined positions in the vertical axis direction is calculated using the installation parameters, respectively.
It is obtained by determining a position in the vertical axis direction in the coordinate space corresponding to the distance closest to the predetermined distance among the calculated distances,
Comparing the determined position and the position of the imaged mark in the vertical direction in the coordinate space;
A stereo camera installation parameter calibration method for calibrating the installation parameter based on the comparison result.
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とが一致するように前記設置パラメータを校正する
ステレオカメラの設置パラメータ校正方法。 A stereo camera installation parameter calibration method according to claim 2,
A stereo camera installation parameter calibration method in which the installation parameter is calibrated so that the determined position and the position of the captured mark in the coordinate space in the vertical axis direction coincide with each other.
前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、校正対象の前記設置パラメータが前記設置高さと設置角度のうち少なくとも一方である
ステレオカメラの設置パラメータ校正方法。 A stereo camera installation parameter calibration method according to claim 1,
The stereo camera installation parameter calibration method, wherein the installation parameter is an installation height and an installation angle of the stereo camera, and the installation parameter to be calibrated is at least one of the installation height and the installation angle.
校正対象の前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、
前記マークは、前記ステレオカメラの位置から所定の第１距離に設けられた第１マークと、前記ステレオカメラの位置から前記第１距離と異なる所定の第２距離に設けられた第２マークと、を備え、
前記設置パラメータと前記所定の第２距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第１の位置を求め、
前記第１の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置とを比較して前記ステレオカメラの設置高さを更新し、
前記更新された設置高さを含む設置パラメータと前記所定の第１距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第２の位置を求め、
前記第２の位置と前記撮像された第２マークの像の前記座標空間における縦軸方向の位置を比較して前記ステレオカメラの設置角度を更新する
ステレオカメラの設置パラメータ校正方法。 A stereo camera installation parameter calibration method according to claim 1,
The installation parameter to be calibrated is an installation height and an installation angle of the stereo camera,
The mark includes a first mark provided at a predetermined first distance from the position of the stereo camera; a second mark provided at a predetermined second distance different from the first distance from the position of the stereo camera; With
Using the installation parameter and the predetermined second distance, obtain a first position in the vertical axis direction in a coordinate space of an image captured by the stereo camera,
The installation height of the stereo camera is updated by comparing the first position with the position in the vertical axis direction of the image of the imaged second mark in the coordinate space,
Using the installation parameter including the updated installation height and the predetermined first distance, a second position in the vertical axis direction in a coordinate space of an image captured by the stereo camera is obtained,
A stereo camera installation parameter calibration method in which an installation angle of the stereo camera is updated by comparing a position in a vertical axis direction in the coordinate space of the image of the captured second mark with the second position.
前記物体の移動中、前記路面に設けられた前記マークの位置から所定の距離手前の位置を前記物体が通過するタイミングで、前記マークが設けられた路面を前記ステレオカメラにより撮像する
ステレオカメラの設置パラメータ校正方法。 A stereo camera installation parameter calibration method according to claim 1,
During movement of the object, the stereo camera captures an image of the road surface provided with the mark at a timing when the object passes through a position a predetermined distance before the position of the mark provided on the road surface. Parameter calibration method.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016-112088 | 2016-06-03 | ||
| JP2016112088A JP6209648B1 (en) | 2016-06-03 | 2016-06-03 | Stereo camera installation parameter calibration method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017209015A1 true WO2017209015A1 (en) | 2017-12-07 |
Family
ID=59997756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/019782 Ceased WO2017209015A1 (en) | 2016-06-03 | 2017-05-26 | Method of calibrating stereo camera installation parameter |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6209648B1 (en) |
| WO (1) | WO2017209015A1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446925A (en) * | 2020-10-20 | 2021-03-05 | 广州视源电子科技股份有限公司 | Camera equipment parameter calibration method, equipment and system |
| WO2021171758A1 (en) * | 2020-02-27 | 2021-09-02 | 株式会社日立製作所 | Ranging sensor calibration system and ranging sensor calibration method |
| JP2023504298A (en) * | 2020-01-22 | 2023-02-02 | ノダー インコーポレイテッド | Non-rigid stereo vision camera system |
| US11782145B1 (en) | 2022-06-14 | 2023-10-10 | Nodar Inc. | 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor |
| US11834038B2 (en) | 2020-01-22 | 2023-12-05 | Nodar Inc. | Methods and systems for providing depth maps with confidence estimates |
| US12043283B2 (en) | 2021-10-08 | 2024-07-23 | Nodar Inc. | Detection of near-range and far-range small objects for autonomous vehicles |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7211891B2 (en) * | 2019-05-17 | 2023-01-24 | 株式会社キーエンス | Three-dimensional coordinate measuring device |
| CN111288890A (en) * | 2020-02-13 | 2020-06-16 | 福建农林大学 | Road sign dimension and height automatic measurement method based on binocular photogrammetry technology |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001116515A (en) * | 1999-10-21 | 2001-04-27 | Matsushita Electric Ind Co Ltd | Calibration method |
| JP2006148701A (en) * | 2004-11-22 | 2006-06-08 | Fuji Photo Film Co Ltd | System and method of calibrating position of digital camera |
| JP2012159470A (en) * | 2011-02-02 | 2012-08-23 | Toyota Motor Corp | Vehicle image recognition device |
| US20130147957A1 (en) * | 2011-12-12 | 2013-06-13 | Mobileye Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
| JP2013190281A (en) * | 2012-03-13 | 2013-09-26 | Honda Elesys Co Ltd | Installation state detection system, installation state detection apparatus and installation state detection method |
| JP2014089548A (en) * | 2012-10-30 | 2014-05-15 | Sharp Corp | Road surface level difference detection method, road surface level difference detection device and vehicle equipped with the road surface level difference detection device |
| JP2016225719A (en) * | 2015-05-27 | 2016-12-28 | 京セラ株式会社 | Stereo camera device, vehicle, and calibration method |
-
2016
- 2016-06-03 JP JP2016112088A patent/JP6209648B1/en not_active Expired - Fee Related
-
2017
- 2017-05-26 WO PCT/JP2017/019782 patent/WO2017209015A1/en not_active Ceased
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001116515A (en) * | 1999-10-21 | 2001-04-27 | Matsushita Electric Ind Co Ltd | Calibration method |
| JP2006148701A (en) * | 2004-11-22 | 2006-06-08 | Fuji Photo Film Co Ltd | System and method of calibrating position of digital camera |
| JP2012159470A (en) * | 2011-02-02 | 2012-08-23 | Toyota Motor Corp | Vehicle image recognition device |
| US20130147957A1 (en) * | 2011-12-12 | 2013-06-13 | Mobileye Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
| JP2013190281A (en) * | 2012-03-13 | 2013-09-26 | Honda Elesys Co Ltd | Installation state detection system, installation state detection apparatus and installation state detection method |
| JP2014089548A (en) * | 2012-10-30 | 2014-05-15 | Sharp Corp | Road surface level difference detection method, road surface level difference detection device and vehicle equipped with the road surface level difference detection device |
| JP2016225719A (en) * | 2015-05-27 | 2016-12-28 | 京セラ株式会社 | Stereo camera device, vehicle, and calibration method |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11834038B2 (en) | 2020-01-22 | 2023-12-05 | Nodar Inc. | Methods and systems for providing depth maps with confidence estimates |
| US12263836B2 (en) | 2020-01-22 | 2025-04-01 | Nodar Inc. | Methods and systems for providing depth maps with confidence estimates |
| US12373987B2 (en) | 2020-01-22 | 2025-07-29 | Nodar Inc. | Systems and methods for object identification with a calibrated stereo-vision system |
| JP2023504298A (en) * | 2020-01-22 | 2023-02-02 | ノダー インコーポレイテッド | Non-rigid stereo vision camera system |
| JP7319003B2 (en) | 2020-01-22 | 2023-08-01 | ノダー インコーポレイテッド | Non-rigid stereo vision camera system |
| JP2023133334A (en) * | 2020-01-22 | 2023-09-22 | ノダー インコーポレイテッド | Non-rigid stereo vision camera system |
| US11983899B2 (en) | 2020-01-22 | 2024-05-14 | Nodar Inc. | Stereo vision camera system that tracks and filters calibration parameters |
| JP7597405B2 (en) | 2020-01-22 | 2024-12-10 | ノダー インコーポレイテッド | Non-rigid stereo vision camera system |
| WO2021171758A1 (en) * | 2020-02-27 | 2021-09-02 | 株式会社日立製作所 | Ranging sensor calibration system and ranging sensor calibration method |
| JP7386098B2 (en) | 2020-02-27 | 2023-11-24 | 株式会社日立製作所 | Distance sensor calibration system and distance sensor calibration method |
| US12361592B2 (en) | 2020-02-27 | 2025-07-15 | Hitachi, Ltd. | Ranging sensor calibration system and ranging sensor calibration method |
| JP2021135174A (en) * | 2020-02-27 | 2021-09-13 | 株式会社日立製作所 | Distance measurement sensor calibration system and distance measurement sensor calibration method |
| CN112446925B (en) * | 2020-10-20 | 2024-02-23 | 广州视源电子科技股份有限公司 | Parameter calibration method, device and system for image pickup device |
| CN112446925A (en) * | 2020-10-20 | 2021-03-05 | 广州视源电子科技股份有限公司 | Camera equipment parameter calibration method, equipment and system |
| US12043283B2 (en) | 2021-10-08 | 2024-07-23 | Nodar Inc. | Detection of near-range and far-range small objects for autonomous vehicles |
| US11782145B1 (en) | 2022-06-14 | 2023-10-10 | Nodar Inc. | 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor |
| US12474455B2 (en) | 2022-06-14 | 2025-11-18 | Nodar Inc. | 3D vision system with automatically calibrated stereo vision sensors and lidar sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017219356A (en) | 2017-12-14 |
| JP6209648B1 (en) | 2017-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6209648B1 (en) | Stereo camera installation parameter calibration method | |
| JP6577661B2 (en) | Road surface displacement detection device and suspension control method | |
| JP6602982B2 (en) | In-vehicle camera, in-vehicle camera adjustment method, in-vehicle camera system | |
| EP2743889A2 (en) | Stereoscopic camera object detection system and method of aligning the same | |
| JP5434608B2 (en) | Positioning device and positioning method | |
| JP5293131B2 (en) | Compound eye distance measuring device for vehicle and compound eye distance measuring method | |
| JP6515650B2 (en) | Calibration apparatus, distance measuring apparatus and calibration method | |
| US10984258B2 (en) | Vehicle traveling environment detecting apparatus and vehicle traveling controlling system | |
| JP6895371B2 (en) | Information processing device and suspension control method | |
| JP2008039491A (en) | Stereo image processing device | |
| WO2019058729A1 (en) | Stereo camera | |
| WO2017042998A1 (en) | In-vehicle stereo camera device and method for correcting same | |
| WO2019203001A1 (en) | Stereo camera device | |
| JP2008304248A (en) | Method for calibrating on-board stereo camera, on-board distance image generating apparatus, and program | |
| US20190139177A1 (en) | Device for detecting road surface state | |
| JP6241083B2 (en) | Imaging apparatus and parallax detection method | |
| JP6489645B2 (en) | Image processing device | |
| JP6699902B2 (en) | Image processing apparatus and image processing method | |
| JP6704307B2 (en) | Moving amount calculating device and moving amount calculating method | |
| JP2000121354A (en) | Distance measurement method | |
| JP6865660B2 (en) | Distance calculation device and distance calculation parameter setting method | |
| JP2020047059A (en) | Traveling environment detector of vehicle and traveling control system | |
| WO2017042995A1 (en) | In-vehicle stereo camera device and method for correcting same | |
| JPH09126759A (en) | Distance measuring method using in-vehicle camera and distance measuring apparatus using the same | |
| US20240185458A1 (en) | Object distance detecting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17806570 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17806570 Country of ref document: EP Kind code of ref document: A1 |