JP2009068935A - Stereo measurement device, stereo measurement method, and stereo measurement processing program - Google Patents
Stereo measurement device, stereo measurement method, and stereo measurement processing program Download PDFInfo
- Publication number
- JP2009068935A JP2009068935A JP2007236258A JP2007236258A JP2009068935A JP 2009068935 A JP2009068935 A JP 2009068935A JP 2007236258 A JP2007236258 A JP 2007236258A JP 2007236258 A JP2007236258 A JP 2007236258A JP 2009068935 A JP2009068935 A JP 2009068935A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereo
- camera
- motion
- motion region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】誤対応による誤計測を減らせて安定したステレオ計測を実現する。
【解決手段】本発明のステレオ計測装置は、撮影対象を同時に撮影する第1のカメラ(左のカメラ2)及び第2のカメラ(右のカメラ3)を備えたステレオカメラ4によって撮影された第1の画像と第2の画像とを入力してステレオマッチングを行うことで画像中の物体に関する距離情報を求めるステレオ計測装置5において、第1のカメラによって撮像された第1の画像から運動領域を抽出する第1の運動領域抽出手段(左画像の運動領域抽出手段6)と、第2のカメラによって撮像された第2の画像から運動領域を抽出する第2の運動領域抽出手段(右画像の運動領域抽出手段7)と、第1の画像及び第2の画像より抽出された運動領域のみを対象としたステレオマッチングを行って運動領域で示される物体に関する距離情報を求めるステレオマッチング手段8とを備えた。
【選択図】図1An object of the present invention is to realize stable stereo measurement by reducing erroneous measurement due to erroneous correspondence.
A stereo measurement apparatus according to the present invention captures a first image captured by a stereo camera 4 having a first camera (left camera 2) and a second camera (right camera 3) that simultaneously capture an image of an object. In the stereo measurement device 5 that obtains the distance information about the object in the image by performing stereo matching by inputting the first image and the second image, the motion region is determined from the first image captured by the first camera. First motion area extraction means (left image motion area extraction means 6) to extract and second motion area extraction means (right image of the right image) to extract a motion area from the second image captured by the second camera A motion area extracting means 7) and a stereo matching for only the motion area extracted from the first image and the second image to obtain distance information about the object indicated by the motion area. And a Leo matching means 8.
[Selection] Figure 1
Description
本発明は、安定したステレオ計測を実現可能なステレオ計測装置等に関する。 The present invention relates to a stereo measurement apparatus and the like that can realize stable stereo measurement.
ステレオカメラによって撮影された左右の画像をステレオマッチングして画像中における侵入者などの物体に関する距離情報を求めるステレオ計測装置が知られている(例えば、特許文献1など参照)。
しかしながら、上述したステレオ計測では、左右の画像の全ての領域に関してステレオマッチングを行っているため、左右の画像で対応する点や領域を間違える誤対応による誤計測を生じやすいという欠点があった。
本発明は、上記課題に鑑みてなされたもので、誤対応による誤計測を減らせて安定したステレオ計測を実現可能とすることを目的とする。
However, in the above-described stereo measurement, since stereo matching is performed for all the regions of the left and right images, there is a drawback in that erroneous measurement is likely to occur due to an incorrect correspondence in which the corresponding points and regions are incorrect in the left and right images.
The present invention has been made in view of the above-described problems, and an object of the present invention is to enable stable stereo measurement by reducing erroneous measurement due to erroneous correspondence.
本発明のステレオ計測装置は、撮影対象を同時に撮影する第1のカメラ及び第2のカメラを備えたステレオカメラによって撮影された第1の画像と第2の画像とを入力してステレオマッチングを行うことで画像中の物体に関する距離情報を求めるステレオ計測装置において、第1のカメラによって撮像された第1の画像から運動領域を抽出する第1の運動領域抽出手段と、第2のカメラによって撮像された第2の画像から運動領域を抽出する第2の運動領域抽出手段と、第1の画像及び第2の画像より抽出された運動領域のみを対象としたステレオマッチングを行って運動領域で示される物体に関する距離情報を求めるステレオマッチング手段とを備えたことを特徴とする。
ステレオマッチング手段は、1つ1つの運動領域に対して1つの距離情報を求めたことも特徴とする。
本発明のステレオ計測方法は、撮影対象を同時に撮影する第1のカメラ及び第2のカメラを備えたステレオカメラによって撮影された第1の画像と第2の画像とを入力してステレオマッチングを行うことで画像中の物体に関する距離情報を求めるステレオ計測方法において、第1のカメラによって撮像された第1の画像から運動領域を抽出するとともに、第2のカメラによって撮像された第2の画像から運動領域を抽出し、第1の画像及び第2の画像より抽出された運動領域のみを対象としたステレオマッチングを行うことによって運動領域で示される物体に関する距離情報を求めたことを特徴とする。
本発明のステレオ計測処理プログラムは、撮影対象を同時に撮影する第1のカメラ及び第2のカメラを備えたステレオカメラによって撮影された第1の画像と第2の画像とを入力してステレオマッチングを行うことで画像中の物体に関する距離情報を求める手段としてコンピュータを機能させるステレオ計測処理プログラムにおいて、ステレオ計測処理プログラムが、第1のカメラによって撮像された第1の画像から運動領域を抽出する手段としてコンピュータを機能させる第1の運動領域抽出プログラムと、第2のカメラによって撮像された第2の画像から運動領域を抽出する手段としてコンピュータを機能させる第2の運動領域抽出プログラムと、第1の画像及び第2の画像より抽出された運動領域のみを対象としたステレオマッチングを行って運動領域で示される物体に関する距離情報を求める手段としてコンピュータを機能させるステレオマッチングプログラムとを備えたことを特徴とする。
The stereo measurement apparatus according to the present invention performs stereo matching by inputting a first image and a second image captured by a stereo camera including a first camera and a second camera that simultaneously capture a subject to be photographed. Thus, in the stereo measurement device that obtains distance information about the object in the image, the first motion region extraction unit that extracts the motion region from the first image captured by the first camera and the second camera captures the image. The second motion area extracting means for extracting the motion area from the second image and the stereo matching only for the motion area extracted from the first image and the second image are performed and indicated by the motion area. Stereo matching means for obtaining distance information about the object is provided.
The stereo matching means is also characterized in that one distance information is obtained for each motion region.
In the stereo measurement method of the present invention, stereo matching is performed by inputting a first image and a second image captured by a stereo camera including a first camera and a second camera that simultaneously capture a subject to be photographed. In the stereo measurement method for obtaining distance information regarding an object in an image, a motion region is extracted from a first image captured by a first camera, and motion is performed from a second image captured by a second camera. The distance information about the object shown by the motion region is obtained by extracting the region and performing stereo matching only on the motion region extracted from the first image and the second image.
The stereo measurement processing program of the present invention inputs a first image and a second image taken by a stereo camera equipped with a first camera and a second camera that simultaneously photograph a subject to be photographed, and performs stereo matching. In a stereo measurement processing program that causes a computer to function as a means for obtaining distance information about an object in an image by performing the stereo measurement processing program as a means for extracting a motion region from a first image captured by a first camera A first motion region extraction program that causes the computer to function; a second motion region extraction program that causes the computer to function as means for extracting the motion region from the second image captured by the second camera; and the first image And stereo matching only for the motion region extracted from the second image Go to is characterized in that a stereo matching program which causes a computer to function as means for determining the distance information about the object represented by the motion area.
本発明によれば、ステレオマッチングによってステレオ計測を行う部分を第1の画像及び第2の画像より抽出された運動領域(即ち、ステレオ画像の運動領域)のみに限定したので、誤対応を少なく出来て誤対応による誤計測を減らせ、安定したステレオ計測を実現できる。 According to the present invention, since the portion where stereo measurement is performed by stereo matching is limited to only the motion region extracted from the first image and the second image (that is, the motion region of the stereo image), erroneous correspondence can be reduced. Therefore, it is possible to reduce erroneous measurement due to incorrect correspondence and realize stable stereo measurement.
最良の形態1
図1はステレオ計測システムのブロック構成を示す。図1に示すように、ステレオ計測システム1は、1つの撮影対象を同時に撮影する第1のカメラとしての左のカメラ2及び第2のカメラとしての右のカメラ3を備えたステレオカメラ4と、ステレオ計測装置5とを備える。ステレオカメラ4の左右のカメラ2;3は、光軸が互いに平行で、かつ互いの画像が水平になるように配置される。ステレオ計測装置5は、左のカメラ2によって撮像された第1の画像としての左画像から運動領域を抽出する第1の運動領域抽出手段としての左画像の運動領域抽出手段6と、右のカメラ3によって撮像された右画像から運動領域を抽出する第2の運動領域抽出手段としての右画像の運動領域抽出手段7と、左画像及び右画像より抽出された運動領域のみを対象としたステレオマッチングを行って運動領域で示される物体に関する距離情報を求めるステレオマッチング手段8とを備える。
FIG. 1 shows a block configuration of a stereo measurement system. As shown in FIG. 1, the
ステレオ計測装置5は、ステレオ計測処理プログラムと、ステレオ計測処理プログラムの手順に従ってステレオ計測処理を行うコンピュータとにより実現される。ステレオ計測処理プログラムは、左画像の運動領域抽出プログラムと、右画像の運動領域抽出プログラムと、ステレオマッチングプログラムとを備える。左画像の運動領域抽出プログラムは、左画像から運動領域を抽出する手段としてコンピュータを機能させる。右画像の運動領域抽出プログラムは、右画像から運動領域を抽出する手段としてコンピュータを機能させる。ステレオマッチングプログラムは、左画像及び右画像より抽出された運動領域のみを対象としたステレオマッチングを行って運動領域で示される物体に関する距離情報を求める手段としてコンピュータを機能させる。
The
運動領域抽出手段6;7は、例えば背景差分抽出法によって運動領域を抽出する手段である。背景差分抽出法について説明する。まず、撮影対象において人などの運動する物体がいない状態の背景画像を撮影しておいて、この背景画像を比較元画像として記憶装置に記憶させておく。そして、監視時において撮影対象を撮影した監視画像と背景画像との差分領域を抽出する。即ち、両方の画像間で互いに対応する全画素の輝度値を比較し、比較した画素の輝度値の差が、予め決められたしきい値以上である場合は、監視画像におけるその画素を差分画素とし、差分画素の存在する部分を差分領域として抽出する。運動領域抽出手段6;7は、背景差分抽出法によって抽出した差分領域を運動領域とする。 The motion area extraction means 6; 7 are means for extracting a motion area by, for example, a background difference extraction method. The background difference extraction method will be described. First, a background image in a state where there is no moving object such as a person is photographed, and this background image is stored in a storage device as a comparison source image. And the difference area | region of the monitoring image which image | photographed the imaging | photography object at the time of monitoring, and a background image is extracted. That is, the luminance values of all corresponding pixels are compared between both images, and if the difference in the luminance values of the compared pixels is equal to or greater than a predetermined threshold value, the pixel in the monitoring image is determined as a difference pixel. And a portion where the difference pixel exists is extracted as a difference region. The motion region extraction means 6; 7 sets the difference region extracted by the background difference extraction method as the motion region.
ステレオマッチング手段8は、左の運動領域抽出手段6によって抽出された左画像の運動領域と右の運動領域抽出手段7によって抽出された右画像の運動領域とでのみステレオマッチングを行う手段である。一般に、ステレオマッチングは、左のカメラで撮影された画像が、右のカメラで撮影された画像のどの部分に対応するか求め、画像中の各点の3次元位置を推測する方法である。本発明によるステレオマッチング手段8では、左画像の運動領域中の各部分が、右画像の運動領域中のどの部分に対応するか、すなわち、左画像の運動領域中の各点に対応する右画像の運動領域中の対応点を求め、この2点間の視差を用いて周知の三角測量の原理により、ステレオ画像の運動領域(左画像の運動領域及び右画像の運動領域)で示される物体の各点に関する距離情報を求め、この距離情報に基づいてステレオ画像の運動領域の3次元位置を求める。即ち、ステレオマッチングによってステレオ計測を行う部分をステレオ画像の運動領域のみに限定し、ステレオ画像の運動領域以外の画像部分については、ステレオマッチングを行わないことを特徴とする。 Stereo matching means 8 is means for performing stereo matching only between the motion area of the left image extracted by the left motion area extraction means 6 and the motion area of the right image extracted by the right motion area extraction means 7. In general, stereo matching is a method of estimating which part of an image captured by the left camera corresponds to an image captured by the left camera and estimating the three-dimensional position of each point in the image. In the stereo matching means 8 according to the present invention, each part in the motion region of the left image corresponds to which part in the motion region of the right image, that is, the right image corresponding to each point in the motion region of the left image. The corresponding points in the motion area of the object are obtained, and the parallax between the two points is used to determine the motion of the object indicated by the motion area of the stereo image (the motion area of the left image and the motion area of the right image) according to the known triangulation principle. Distance information regarding each point is obtained, and the three-dimensional position of the motion area of the stereo image is obtained based on the distance information. That is, it is characterized in that a portion where stereo measurement is performed by stereo matching is limited to only the motion region of the stereo image, and stereo matching is not performed for image portions other than the motion region of the stereo image.
ステレオマッチングによる対応点の求め方としては、例えば、左画像の運動領域中の各点を中心とする小領域(例えば5画素×5画素単位)をテンプレートとして、この各小領域と相関の高い領域(即ち、類似する領域)を右画像の運動領域中で探索することにより求めればよい。つまり、左画像の運動領域中の任意の小領域と類似する右画像の運動領域中の類似領域を対応点とすればよい。尚、相関の高さを評価するには、周知のSAD(Sum of Absolute Distance)や正規化相関を用いればよい。 As a method for obtaining corresponding points by stereo matching, for example, a small region (for example, in units of 5 pixels × 5 pixels) centered on each point in the motion region of the left image is used as a template, and a region highly correlated with each small region. What is necessary is just to obtain | require (namely, a similar area | region) by searching in the motion area | region of a right image. That is, a similar region in the motion region of the right image that is similar to an arbitrary small region in the motion region of the left image may be used as a corresponding point. In order to evaluate the level of correlation, a well-known SAD (Sum of Absolute Distance) or normalized correlation may be used.
最良の形態1によるステレオ計測装置によれば、ステレオマッチングによってステレオ計測を行う部分をステレオ画像の運動領域のみに限定したので、誤対応を少なく出来て誤対応による誤計測を減らせ、安定したステレオ計測を実現できる。また、ステレオ画像の運動領域のみに着目したことで、撮影対象監視のためにステレオ画像中において不要な領域(運動領域以外の領域)の情報を除去できる。
According to the stereo measurement apparatus according to the
最良の形態2
ステレオマッチング手段8は、ステレオ画像の1つ1つの運動領域毎に対して1つの距離情報を求める手段としてもよい。即ち、例えば、左画像及び右画像において複数の運動領域あるいは1つの運動領域が抽出された場合に、その各運動領域毎の運動領域全体をテンプレートとして対応点を求めることによって、運動領域単位で距離を求めても良い。この場合、距離計測のために左画像中の運動領域の1点と、この1点に対応する右画像の運動領域中の対応点を決めておいて、運動領域単位の距離を求める。最良の形態2によれば、ステレオマッチング処理の演算量を減らすことが出来る。
The stereo matching unit 8 may be a unit that obtains one distance information for each motion region of the stereo image. That is, for example, when a plurality of motion regions or one motion region is extracted in the left image and the right image, distances are obtained in units of motion regions by obtaining corresponding points using the entire motion region for each motion region as a template. You may ask for. In this case, for the distance measurement, one point of the motion region in the left image and a corresponding point in the motion region of the right image corresponding to this one point are determined, and the distance of the motion region unit is obtained. According to the
最良の形態3
運動領域抽出手段6;7は、フレーム間差分抽出法によって運動領域抽出を行う手段としてもよい。即ち、撮影対象を撮影した前後の撮影フレーム間での差分領域を抽出し、この差分領域を運動領域とする。最良の形態3のフレーム間差分抽出法を用いた運動領域抽出は、撮影対象の背景が、天候、時間などによって変動しやすい場合(例えば、撮影対象が屋外の場合など)に適する。
Best form 3
The motion region extraction means 6; 7 may be a means for performing motion region extraction by an inter-frame difference extraction method. That is, a difference area between the shooting frames before and after the shooting target is shot is extracted, and this difference area is set as a motion area. The motion region extraction using the interframe difference extraction method of the best mode 3 is suitable for the case where the background of the subject is likely to fluctuate depending on the weather, time, etc. (for example, when the subject is outdoor).
本発明は、本質的に運動領域のみを対象とすればよい、不審者検出、車や人などの交通流検出のための監視カメラ用としての利用に適する。
尚、ステレオカメラとして、1つの撮影対象を同時に撮影する上下のカメラを備えたステレオカメラを用いてもよい。また、1つの撮影対象を同時に撮影する3個以上の複数のカメラを備えたステレオカメラを用いてもよい。
The present invention is suitable for use as a surveillance camera for detecting a suspicious person or a traffic flow of a car or a person, which is essentially intended only for a motion region.
As a stereo camera, a stereo camera provided with upper and lower cameras that simultaneously photograph one object to be photographed may be used. Moreover, you may use the stereo camera provided with the 3 or more some camera which image | photographs one imaging | photography object simultaneously.
1 ステレオ計測システム、2 左のカメラ(第1のカメラ)、
3 右のカメラ(第2のカメラ)、4 ステレオカメラ、5 ステレオ計測装置、
6 左画像の運動領域抽出手段(第1の画像の運動領域抽出手段)、
7 右画像の運動領域抽出手段(第2の画像の運動領域抽出手段)、
8 ステレオマッチング手段。
1 stereo measurement system, 2 left camera (first camera),
3 Right camera (second camera), 4 stereo camera, 5 stereo measuring device,
6 motion region extraction means of the left image (motion region extraction means of the first image),
7 right image motion area extraction means (second image motion area extraction means),
8 Stereo matching means.
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007236258A JP2009068935A (en) | 2007-09-12 | 2007-09-12 | Stereo measurement device, stereo measurement method, and stereo measurement processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007236258A JP2009068935A (en) | 2007-09-12 | 2007-09-12 | Stereo measurement device, stereo measurement method, and stereo measurement processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009068935A true JP2009068935A (en) | 2009-04-02 |
Family
ID=40605358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007236258A Pending JP2009068935A (en) | 2007-09-12 | 2007-09-12 | Stereo measurement device, stereo measurement method, and stereo measurement processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009068935A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012010121A (en) * | 2010-06-25 | 2012-01-12 | Tokyo Metropolitan Univ | Behavior monitoring system, behavior monitoring program and behavior monitoring method |
| KR101316316B1 (en) * | 2011-12-07 | 2013-10-08 | 기아자동차주식회사 | Apparatus and method for extracting the pupil using streo camera |
| EP2693393A4 (en) * | 2011-03-31 | 2014-10-15 | Sony Computer Entertainment Inc | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND POSITION INFORMATION DATA STRUCTURE |
-
2007
- 2007-09-12 JP JP2007236258A patent/JP2009068935A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012010121A (en) * | 2010-06-25 | 2012-01-12 | Tokyo Metropolitan Univ | Behavior monitoring system, behavior monitoring program and behavior monitoring method |
| EP2693393A4 (en) * | 2011-03-31 | 2014-10-15 | Sony Computer Entertainment Inc | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND POSITION INFORMATION DATA STRUCTURE |
| US9699432B2 (en) | 2011-03-31 | 2017-07-04 | Sony Corporation | Information processing apparatus, information processing method, and data structure of position information |
| KR101316316B1 (en) * | 2011-12-07 | 2013-10-08 | 기아자동차주식회사 | Apparatus and method for extracting the pupil using streo camera |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10455141B2 (en) | Auto-focus method and apparatus and electronic device | |
| CN108111818B (en) | Method and device for active perception of moving target based on multi-camera collaboration | |
| CN106575027B (en) | Image pickup apparatus and subject tracking method thereof | |
| KR101964861B1 (en) | Cameara apparatus and method for tracking object of the camera apparatus | |
| CN104063867B (en) | Multi-camera video synchronization method and multi-camera video synchronization device | |
| CN106375706B (en) | method and device for measuring speed of moving object by using double cameras and mobile terminal | |
| KR101095361B1 (en) | Imaging Apparatus, Imaging Control Method, and Recording Medium | |
| KR20060063265A (en) | Image processing method and device | |
| US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
| CN105190229A (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
| TWI394085B (en) | Method of identifying the dimension of a shot subject | |
| JP3988574B2 (en) | Image processing device | |
| TW202311781A (en) | Obstacle detection method utilizing an obstacle recognition model to recognize obstacle category corresponding to each obstacle | |
| CN105143816B (en) | Three-dimensional shape measuring device, three-dimensional shape measuring method and three-dimensional shape measuring program | |
| JP4042750B2 (en) | Image processing apparatus, computer program, and image processing method | |
| JP2009068935A (en) | Stereo measurement device, stereo measurement method, and stereo measurement processing program | |
| CN111382607B (en) | Liveness detection method, device and face recognition system | |
| JP4871315B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
| JP2010175966A (en) | Image processing device and imaging apparatus | |
| US20130076868A1 (en) | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same | |
| JP2009239391A (en) | Compound eye photographing apparatus, control method therefor, and program | |
| JP2013179614A (en) | Imaging apparatus | |
| CN112232121A (en) | Liveness detection method, device, equipment and medium | |
| JP4207008B2 (en) | Image processing system, image processing apparatus, computer program, and image delay amount calculation method | |
| JP2013190938A (en) | Stereo image processing device |