KR100911814B1 - Stereo Image Matching Error Elimination Device and Removal Method Using the Same - Google Patents
Stereo Image Matching Error Elimination Device and Removal Method Using the Same Download PDFInfo
- Publication number
- KR100911814B1 KR100911814B1 KR1020070101120A KR20070101120A KR100911814B1 KR 100911814 B1 KR100911814 B1 KR 100911814B1 KR 1020070101120 A KR1020070101120 A KR 1020070101120A KR 20070101120 A KR20070101120 A KR 20070101120A KR 100911814 B1 KR100911814 B1 KR 100911814B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- peripheral
- pixels
- center
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
본 발명은 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법에 관한 것으로, 보다 자세하게는 스테레오 영상 내에 포함된 픽셀 중 어느 하나를 중심픽셀로 하고, 상기 중심픽셀 및 상기 중심픽셀과 인접한 다수의 주변픽셀이 포함된 윈도우를 생성하는 영상처리부와; 상기 윈도우에서 색에 따른 상기 중심픽셀의 픽셀값과 상기 주변픽셀의 픽셀값의 차이값을 연산하는 차이값연산부와; 상기 주변픽셀을 상기 차이값이 상기 비교기준값 이하인 제1 주변픽셀과 상기 차이값이 상기 비교기준값을 초과하는 제2 주변픽셀로 구분하는 비교부와; 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 수를 합산하는 합산부와; 기 설정된 기준픽셀수와 합산된 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 수를 비교하고, 비교 결과에 따라 상기 중심픽셀의 가변여부를 결정하는 출력결정부를 포함한다. 이에 따라, 본 발명은 스테레오 영상 내에 윈도우를 생성하고, 윈도우의 중심픽셀과 주변픽셀 간 색에 따른 픽셀값의 차이에 따라 해당 중심픽셀을 변함없이 출력할지 여부를 결정하여 스테레오 영상의 매칭오류를 제거할 수 있는 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법을 제공한다.
The present invention relates to a stereo image matching error cancellation apparatus and a method of eliminating the same, and more particularly, to any one of pixels included in a stereo image as a center pixel, and the center pixel and a plurality of peripheral pixels adjacent to the center pixel. An image processor for generating an included window; A difference value calculator for calculating a difference value between the pixel value of the center pixel and the pixel value of the peripheral pixel according to a color in the window; A comparison unit for dividing the peripheral pixel into a first peripheral pixel having the difference value less than or equal to the comparison reference value and a second peripheral pixel having the difference value exceeding the comparison reference value; A summing unit for summing up any one of the first and second peripheral pixels; And an output determination unit that compares a predetermined number of reference pixels with one of the first and second peripheral pixels, and determines whether the center pixel is variable according to a comparison result. Accordingly, the present invention eliminates the matching error of the stereo image by generating a window in the stereo image and determining whether to output the center pixel invariably according to the difference in the pixel value according to the color between the center pixel and the peripheral pixel of the window. Provided are a stereo image matching error elimination device and a elimination method using the same.
Description
본 발명은 스테레오 영상 내에 윈도우를 생성하고, 윈도우의 중심픽셀과 주변픽셀 간 색에 따른 픽셀값의 차이에 따라 해당 중심픽셀을 변함없이 출력할지 여부를 결정하여 스테레오 영상의 매칭오류를 제거할 수 있는 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법에 관한 것이다.The present invention can eliminate a matching error of a stereo image by generating a window in the stereo image and determining whether to output the center pixel invariably according to the difference in pixel values according to the color between the center pixel and the peripheral pixel of the window. The present invention relates to a stereo image matching error cancellation device and a removal method using the same.
일반적으로 스테레오 영상은 두 대의 카메라에서 입력되는 두 개의 영상이 정합된 입체 영상을 의미한다. 기본적인 원리는 사람의 두 분이 특정 사물 또는 영상 패턴까지의 거리정보를 얻는 방법과 동일하게, 한쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지를 찾아내므로, 두 위치의 차이,즉 양안차에 의해 정합된 영상이 입체성을 가지게 된다.In general, a stereo image refers to a stereoscopic image in which two images input from two cameras are matched. The basic principle is to find out where the pattern at one location in one image is located in the other image, in the same way that two people obtain distance information to a particular object or image pattern. In other words, the image matched by the binocular difference will have a stereoscopic.
이에, 스테레오 영상은 영상 내의 모든 사물에 대한 거리 정보를 획득할 수 있기 때문에 한대의 카메라로 촬영한 영상만을 이용하던 종래에 비해 다양한 분야에 적용될 수 있다.Accordingly, since the stereo image can obtain distance information of all objects in the image, the stereo image can be applied to various fields as compared to the conventional art using only an image captured by one camera.
특히, 자동차 번호 인식, 자동차의 충돌 방지 장치, 게임, 지능형 로봇의 시 각 등 다양한 분야에서 이미 사용되고 있거나, 장래에 필수적으로 적용될 것으로 예상되며, 이외에도 거리 정보가 필수적으로 요구되는 새로운 분야가 발생될 수 있다. In particular, it is already used in various fields such as car number recognition, car collision avoidance devices, games, and intelligent robot vision, or it is expected to be applied in the future. In addition, new fields that require distance information may occur. have.
스테레오 영상은 도 10에 도시된 바와 같이, 영상 내의 위치하는 사물의 거리에 따라 픽셀 값인 그레이레벨(Gray level)의 차이를 표시하여 카메라와 사물 간의 거리를 나타내는 거리정보 영상이다.As shown in FIG. 10, the stereo image is a distance information image indicating a distance between a camera and an object by displaying a difference of gray levels, which are pixel values, according to a distance of an object located in the image.
스테레오 영상은 도 10의 C와 같이 노이즈(이하, "매칭오류"라고 한다)로 인해 경우에 따라 사물이나 패턴의 식별을 정확하게 할 수 없어, 사물 간 거리 차이를 정확하게 판별하기 어려운 문제점이 있었다.Since stereo images may not accurately identify objects or patterns in some cases due to noise (hereinafter, referred to as a “matching error”) as shown in FIG. 10C, it is difficult to accurately determine the distance difference between objects.
스테레오 영상 내의 매칭오류는 여러 가지의 원인에 의해 발생된다. Matching errors in stereo images are caused by various causes.
원인 중 하나는 두 카메라의 특성이 완전히 일치하지 않는다는 것이다. 현실적으로 카메라 내의 디지털 영상 센서와 렌즈의 특성이 모든 카메라에 애해 서로 동일하지 않기 때문이다. 이는 특정 사물이 두 카메라에서 상호 다르게 촬영된다는 것을 의미한다.One of the causes is that the characteristics of the two cameras do not match completely. The reality is that the characteristics of the digital image sensor and lens within the camera are not the same for all cameras. This means that certain objects are taken differently by the two cameras.
원인 중 다른 하나는 두 카메라의 위치가 동일하지 않기 때문에 입력되는 빛의 양이 동일하지 않기 때문이다. 특히 사물이 특정각도로 빛을 반사하고 있을 때는 두 카메라의 영상이 크게 다를 수 있다.The other is that the amount of light input is not the same because the two cameras are not in the same position. In particular, when an object reflects light at a certain angle, the images of the two cameras may be significantly different.
이와 같이, 매칭오류는 카메라에 의해 영상이 촬영되는 시점부터 발생하는 원인이 제공되기 때문에 필수적으로 발생된다. 이에, 보다 정확한 스테레오 영상을 추출하기 위해 매칭오류를 제거하는 방법이 요구되었다.As such, the matching error is necessarily generated because a cause that occurs from the time when the image is taken by the camera is provided. Therefore, a method of eliminating a matching error has been required to extract more accurate stereo images.
이에, 본 발명은 스테레오 영상 내에 윈도우를 생성하고, 윈도우의 중심픽셀 과 주변픽셀 간 픽셀값 차이에 따라 해당 중심픽셀을 변함없이 출력할지 여부를 결정하여 스테레오 영상의 매칭오류를 제거할 수 있는 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법을 제공하는 데 그 목적이 있다.Accordingly, the present invention creates a window in the stereo image and determines whether to output the center pixel invariably according to the difference in pixel values between the center pixel and the surrounding pixels of the window, thereby eliminating a matching error of the stereo image. It is an object of the present invention to provide a matching error elimination device and a removal method using the same.
상기 목적은 본 발명에 따른, 스테레오 영상 내에 포함된 픽셀 중 어느 하나를 중심픽셀로 하고, 상기 중심픽셀 및 상기 중심픽셀과 인접한 다수의 주변픽셀이 포함된 윈도우를 생성하는 영상처리부와; 상기 윈도우에서 색에 따른 상기 중심픽셀의 픽셀값과 상기 주변픽셀의 픽셀값의 차이값을 연산하는 차이값연산부와; 상기 주변픽셀을 상기 차이값이 상기 비교기준값 이하인 제1 주변픽셀과 상기 차이값이 상기 비교기준값을 초과하는 제2 주변픽셀로 구분하는 비교부와; 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 개수를 카운트하는 합산부와; 기 설정된 기준픽셀수와 카운트된 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나에 대한 카운트된 수를 비교하고, 비교 결과에 따라 상기 중심픽셀의 픽셀값 가변 여부를 결정하는 출력결정부를 포함하는 것을 특징으로 하는 스테레오 영상 매칭오류 제거장치에 의해 달성된다.According to an aspect of the present invention, there is provided an image processing unit configured to generate a window including one of pixels included in a stereo image as a central pixel and a plurality of peripheral pixels adjacent to the central pixel and the central pixel; A difference value calculator for calculating a difference value between the pixel value of the center pixel and the pixel value of the peripheral pixel according to a color in the window; A comparison unit for dividing the peripheral pixel into a first peripheral pixel having the difference value less than or equal to the comparison reference value and a second peripheral pixel having the difference value exceeding the comparison reference value; A summation unit which counts any one of the first and second peripheral pixels; And an output determination unit for comparing a preset reference pixel number with a counted number of any one of the counted first and second peripheral pixels, and determining whether the pixel value of the center pixel varies according to a comparison result. It is achieved by a stereo image matching error elimination device characterized in that.
여기서, 상기 합산부는 상기 제1 주변픽셀의 개수를 카운트하고, 상기 픽셀값은 그레이레벨로 마련되며, 상기 출력결정부가 비교 결과에 따라 상기 중심픽셀의 가변 여부를 결정하는 것은 상기 제1 주변픽셀의 카운트된 수와 상기 기준픽셀수를 비교하고, 상기 제1 주변픽셀의 카운트된 수가 상기 기준픽셀수 이상일 경우 상기 중심픽셀을 변함없이 출력하고, 상기 제1 주변픽셀의 수가 상기 기준픽셀수 미만일 경우 상기 중심픽셀을 매칭오류로 간주하여 상기 중심픽셀의 그레이레벨이 최저로 되어 출력될 수 있다.The summation unit counts the number of the first peripheral pixels, the pixel value is provided with a gray level, and the output determining unit determines whether the center pixel is variable according to a comparison result. Compare the counted number with the reference pixel number, and output the center pixel unchanged when the counted number of the first peripheral pixels is equal to or greater than the reference pixel number; The center pixel may be regarded as a matching error, and the gray level of the center pixel may be lowest and output.
또한, 상기 합산부는 상기 제2 주변픽셀의 개수를 카운트하고, 상기 픽셀값은 그레이레벨로 마련되며, 상기 출력결정부가 비교 결과에 따라 상기 중심픽셀의 가변 여부를 결정하는 것은 상기 제2 주변픽셀의 카운트된 수와 상기 기준픽셀수를 비교하고, 상기 제1 주변픽셀의 카운트된 수가 상기 기준픽셀수 미만일 경우 상기 중심픽셀을 변함없이 출력하고, 상기 제2 주변픽셀의 수가 상기 기준픽셀수 이상일 경우 상기 중심픽셀을 매칭오류로 간주하여 상기 중심픽셀의 그레이레벨이 최저로 되어 출력될 수 있다.The summation unit counts the number of the second peripheral pixels, the pixel value is provided at a gray level, and the output determining unit determines whether the center pixel is variable according to a comparison result. Compares the counted number with the reference pixel number, outputs the center pixel unchanged when the counted number of the first peripheral pixels is less than the reference pixel number, and outputs the center pixel without change; The center pixel may be regarded as a matching error, and the gray level of the center pixel may be lowest and output.
또한, 상기 영상처리부에 의해 상기 윈도우가 생성된 후, 상기 윈도우가 상기 차이값연산부, 상기 비교부, 상기 합산부를 통해 출력 여부가 결정되는 시간 동안 상기 중심픽셀과 상기 주변픽셀의 그레이레벨 및 좌표에 해당하는 픽셀데이터가 저장되는 저장부를 더 포함하고, 상기 출력결정부는 출력이 결정된 상기 윈도우의 중심픽셀이 상기 저장부에 저장된 상기 픽셀 데이터에 기초하여 상기 중심픽셀을 출력할 수 있다.In addition, after the window is generated by the image processor, the gray level and coordinates of the center pixel and the peripheral pixel are determined during the time when the window is determined whether the window is output through the difference value calculator, the comparator, or the adder. The apparatus may further include a storage configured to store corresponding pixel data, and the output determiner may output the center pixel based on the pixel data stored in the storage of the center pixel of the window in which the output is determined.
여기서, 상기 저장부는 상기 영상처리부에 의해 생성된 상기 윈도우가 상기 차이값연산부에 의해 연산되는 시간 동안 상기 픽셀 데이터가 저장되는 제1 저장부와; 상기 윈도우의 주변픽셀이 상기 비교부에 의해 상기 제1 주변픽셀 및 상기 제2 주변픽셀로 구분되는 시간 동안 상기 제1 저장부에 저장된 상기 픽셀 데이터가 저장되는 제2 저장부와; 상기 합산부에 의해 상기 제1 주변픽셀의 개수가 카운트되는 시간 동안 상기 제2 저장부에 저장된 상기 픽셀 데이터가 저장되는 제3 저장부를 포함하고, 상기 출력결정부는 상기 제3 저장부에 저장된 상기 픽셀 데이터에 기초하여, 출력이 결정된 상기 중심픽셀이 상기 중심픽셀의 좌표에 배치되게 하고 상기 중심픽셀이 상기 그레이레벨을 가지며 출력되게 할 수 있다.The storage unit may include: a first storage unit storing the pixel data for a time period during which the window generated by the image processor is calculated by the difference value calculator; A second storage unit storing the pixel data stored in the first storage unit for a time when the peripheral pixel of the window is divided into the first peripheral pixel and the second peripheral pixel by the comparing unit; And a third storage unit configured to store the pixel data stored in the second storage unit during a time when the number of the first peripheral pixels is counted by the summation unit, and the output determination unit stores the pixels stored in the third storage unit. Based on the data, it is possible to cause the center pixel for which the output is determined to be arranged at the coordinates of the center pixel and to output the center pixel with the gray level.
또한, 상기 합산부가 상기 제1 주변픽셀의 개수를 카운트하는 것은 상기 윈도우의 픽셀이 행으로 나열되는 다수개의 제1 군집으로 구분하고, 각 상기 제1 군집 내의 상기 제1 주변픽셀의 개수를 각 카운트하고, 상기 제1 군집 간 상기 카운트된 상기 제1 주변픽셀의 개수를 카운트하여 각 행에 포함된 상기 픽셀의 수를 추출하고, 상기 행에 포함된 상기 제1 주변픽셀의 개수를 열로 나열되는 다수개의 제2 군집으로 구분하고, 상기 제2 군집 내의 상기 제1 주변픽셀의 개수 를 카운트하고, 상기 제2 군집 간 상기 합산된 상기 제1 주변픽셀의 개수를 카운트할 수 있다.In addition, the adding unit counting the number of the first peripheral pixels may be divided into a plurality of first clusters in which the pixels of the window are arranged in rows, and counting the number of the first peripheral pixels in each of the first clusters. And extracting the number of the pixels included in each row by counting the counted number of the first peripheral pixels between the first clusters, and arranging the number of the first peripheral pixels included in the row in columns. And dividing into two second clusters, counting the number of the first peripheral pixels in the second cluster, and counting the sum of the sum of the first peripheral pixels between the second clusters.
또한, 상기 출력결정부는 상기 픽셀데이터에 기초하여, 상기 중심픽셀과 상기 윈도우의 모서리에 위치하는 모서리픽셀 간 상기 픽셀값이 동일할 경우, 상기 중심픽셀을 변함없이 출력할 수 있다.The output determination unit may output the center pixel unchanged when the pixel value is the same between the center pixel and the corner pixel positioned at the corner of the window based on the pixel data.
한편, 상기 목적은 본 발명에 따른 스트레오 영상 매칭오류 제거방법에 있어서, 스테레오 영상 내에 포함된 픽셀 중 어느 하나를 중심픽셀로 하고, 상기 중심픽셀 및 상기 중심픽셀과 인접한 다수의 주변픽셀이 포함된 윈도우를 생성하는 단계와; 상기 윈도우에서 색에 따른 상기 중심픽셀의 픽셀값과 상기 주변픽셀의 픽셀값의 차이값을 연산하는 단계와; 비교기준값을 설정하고, 상기 비교기준값과 상기 차이값을 비교하는 단계와; 상기 차이값이 상기 비교기준값 이하인 상기 주변픽셀 을 제1 주변픽셀로 설정하고, 상기 차이값이 상기 비교기준값을 초과하는 상기 주변픽셀을 제2 주변픽셀로 설정하는 단계와; 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 개수를 카운트하는 단계와; 기준픽셀수를 설정하고, 상기 기준픽셀수와 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 카운트된 수를 비교하는 단계와; 상기 기준픽셀수와 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 카운트된 수를 비교한 결과에 따라 상기 중심픽셀의 픽셀값 가변 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상 매칭오류 제거방법에 의해서도 달성된다.Meanwhile, in the stereo image matching error elimination method according to the present invention, a center pixel is used as one of the pixels included in a stereo image, and the window includes the center pixel and a plurality of peripheral pixels adjacent to the center pixel. Generating a; Calculating a difference value between the pixel value of the center pixel and the pixel value of the peripheral pixel according to a color in the window; Setting a comparison reference value and comparing the comparison reference value with the difference value; Setting the peripheral pixel having the difference value equal to or less than the comparison reference value as a first peripheral pixel, and setting the peripheral pixel having the difference value exceeding the comparison reference value as a second peripheral pixel; Counting any one of the first peripheral pixel and the second peripheral pixel; Setting a reference pixel number and comparing the reference pixel number with a counted number of any one of the first peripheral pixel and the second peripheral pixel; And determining whether the pixel value of the center pixel is variable according to a result of comparing the number of the reference pixels with the counted number of any one of the first peripheral pixel and the second peripheral pixel. It is also achieved by a method of eliminating matching errors.
여기서, 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 개수를 카운트하는 단계는 상기 제1 주변픽셀의 개수를 카운트하는 단계이고, 상기 픽셀값은 그레이레벨로 마련되고, 상기 기준픽셀수와 카운트된 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 개수를 비교하는 단계는 상기 제1 주변픽셀의 수와 상기 기준픽셀수를 비교하는 단계이며, 상기 중심픽셀의 픽셀값 가변 여부를 결정하는 단계는 상기 제1 주변픽셀의 수가 상기 기준픽셀수 이상일 경우 상기 중심픽셀을 변함없이 출력하고, 상기 제1 주변픽셀의 수가 상기 기준픽셀수 미만일 경우 상기 중심픽셀이 매칭오류로 간주되어 상기 중심픽셀의 그레이레벨이 최저로 되어 출력될 수 있다.The counting of any one of the first peripheral pixel and the second peripheral pixel is a step of counting the number of the first peripheral pixel, the pixel value is provided as a gray level, and the reference pixel number. And comparing the counted number of any one of the first peripheral pixel and the second peripheral pixel is a step of comparing the number of the first peripheral pixel and the reference pixel number, and whether the pixel value of the center pixel is variable. The determining may include outputting the center pixel unchanged when the number of the first peripheral pixels is greater than or equal to the reference pixel, and when the number of the first peripheral pixels is less than the reference pixel, the center pixel is regarded as a matching error. The gray level of the center pixel is the lowest and can be output.
또한, 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 개수를 카운트하는 단계는 상기 제2 주변픽셀의 개수를 카운트하는 단계이고, 상기 픽셀값은 그레이레벨로 마련되고, 상기 기준픽셀수와 카운트된 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 개수를 비교하는 단계는 상기 제2 주변픽셀의 수와 상기 기준픽셀수를 비교하는 단계이며, 상기 중심픽셀의 픽셀값 가변 여부를 결정하는 단계는 상기 제2 주변픽셀의 수가 상기 기준픽셀수 미만일 경우 상기 중심픽셀을 변함없이 출력하고, 상기 제1 주변픽셀의 수가 상기 기준픽셀수 이상일 경우 상기 중심픽셀이 매칭오류로 간주되어 상기 중심픽셀의 그레이레벨이 최저로 되어 출력될 수 있다.The counting of any one of the first peripheral pixel and the second peripheral pixel is a step of counting the number of the second peripheral pixel, the pixel value being provided at gray level, and the reference pixel number. And comparing the counted number of any one of the first peripheral pixel and the second peripheral pixel is a step of comparing the number of the second peripheral pixel and the reference pixel number, and whether the pixel value of the center pixel is variable. The determining may include outputting the center pixel unchanged when the number of the second peripheral pixels is less than the number of reference pixels, and when the number of the first peripheral pixels is greater than or equal to the reference pixel number, the center pixel is regarded as a matching error. The gray level of the center pixel is the lowest and can be output.
한편, 상기 윈도우를 생성하는 단계서부터 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 개수를 카운트하는 단계까지 소요되는 시간 동안 상기 중심픽셀과 상기 주변픽셀의 픽셀값 및 좌표에 해당하는 픽셀데이터가 저장되는 단계를 더 포함하고, 상기 중심픽셀이 변함없이 출력되는 것 및 상기 중심픽셀의 그레이레벨이 최저로 되어 출력되는 것 중 어느 하나를 결정하는 단계에 의해 상기 중심픽셀이 변함없이 출력되는 경우, 저장된 상기 픽셀데이터에 기초하여 상기 중심픽셀이 출력되고, 상기 중심픽셀이 매칭오류로 간주되는 경우, 저장된 상기 중심픽셀의 좌표에 해당하는 데이터에 기초하고 그레이레벨이 최저로 되어 상기 중심픽셀이 출력될 수 있다.On the other hand, the pixel corresponding to the pixel value and coordinates of the center pixel and the peripheral pixel during the time from the step of generating the window to counting any one of the first peripheral pixel and the second peripheral pixel And storing the data, wherein the center pixel is invariably output by determining one of the output of the center pixel unchanged and the output of the gray level of the center pixel being lowest. In this case, the center pixel is output based on the stored pixel data, and when the center pixel is regarded as a matching error, the center pixel is based on the data corresponding to the coordinates of the center pixel stored and the gray level becomes the lowest. Can be output.
여기서, 상기 픽셀데이터가 저장되는 단계는 상기 픽셀데이터가 저장되는 제1 저장부, 제2 저장부 및 제3 저장부를 포함하는 저장부가 마련되는 단계와; 생성된 상기 윈도우에 기초하여 상기 그레이레벨의 차이값을 연산하는 단계 및 상기 비교기준값과 상기 차이값을 비교하는 단계를 수행하는 시간 동안 상기 픽셀데이터가 상기 제1 저장부에 저장되는 단계와; 상기 제1 주변픽셀 및 상기 제2 주변픽셀을 설정하는 단계를 수행하는 시간 동안 상기 제1 저장부에 저장된 상기 픽셀데이터가 상기 제2 저장부에 저장되는 단계와; 상기 제1 주변픽셀 및 상기 제2 주변픽셀 중 어느 하나의 개수를 카운트하는 단계, 상기 기준픽셀수와 카운트된 상기 제1 주변픽셀의 수를 비교하는 단계를 수행하는 시간 동안 상기 제2 저장부에 저장된 상기 픽셀데이터가 상기 제3 저장부에 저장되는 단계를 포함할 수 있다.The storing of the pixel data may include providing a storage unit including a first storage unit, a second storage unit, and a third storage unit in which the pixel data is stored; Storing the pixel data in the first storage unit for a time of calculating a difference value of the gray level based on the generated window and comparing the difference value with the comparison reference value; Storing the pixel data stored in the first storage unit in the second storage unit during a time of setting the first peripheral pixel and the second peripheral pixel; Counting the number of any one of the first peripheral pixel and the second peripheral pixel, and comparing the number of the reference pixel number and the number of the first peripheral pixel counted to the second storage unit during the time The stored pixel data may be stored in the third storage unit.
또한, 상기 제1 주변픽셀의 개수를 카운트하는 단계는 상기 윈도우의 픽셀이 행으로 나열되는 다수개의 제1 군집으로 구분하는 단계와; 각 상기 제1 군집 내의 상기 제1 주변픽셀의 개수를 각 카운트하는 단계와; 상기 제1 군집 간 상기 카운트된 상기 제1 주변픽셀의 개수를 카운트하여 각 행에 포함된 상기 제1 주변픽셀의 개수를 추출하는 단계와; 상기 행에 포함된 상기 픽셀의 개수를 열로 나열되는 다수개의 제2 군집으로 구분하는 단계와; 상기 제2 군집 내의 상기 제1 주변픽셀의 개수를 카운트하는 단계와; 상기 제2 군집 간 상기 카운트된 상기 제1 주변픽셀의 개수를 카운트하는 단계를 포함할 수 있다.The counting of the number of the first peripheral pixels may include dividing the pixels of the window into a plurality of first clusters arranged in rows; Counting the number of the first peripheral pixels in each of the first clusters; Counting the counted number of the first peripheral pixels between the first clusters and extracting the number of the first peripheral pixels included in each row; Dividing the number of pixels included in the row into a plurality of second clusters arranged in columns; Counting the number of the first peripheral pixels in the second cluster; And counting the number of the first peripheral pixels counted between the second clusters.
또한, 상기 중심픽셀이 변함없이 출력되는 것 및 상기 중심픽셀의 그레이레벨이 최저로 되어 출력되는 것 중 어느 하나를 결정하는 단계는 상기 픽셀데이터에 기초하여, 상기 중심픽셀과 상기 윈도우의 모서리에 위치하는 모서리픽셀 간 상기 픽셀값이 동일할 경우, 상기 중심픽셀을 변함없이 출력하는 단계를 포함할 수 있다.In addition, the determining of whether the center pixel is continuously output or the gray level of the center pixel is output as the lowest is based on the pixel data and is located at the corner of the center pixel and the window. When the pixel values are the same between the edge pixels, the center pixel may be output without change.
본 발명에 따른 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법 은 스테레오 영상 내에 윈도우를 생성하고, 윈도우의 중심픽셀과 주변픽셀 간 픽셀값인 그레이레벨(Gray Level) 차이에 따라 해당 중심픽셀을 변함없이 출력할 지 여부를 결정함으로써, 스테레오 영상의 매칭오류를 제거하여 보다 정확한 스트레오 영상을 제공할 수 있는 탁월한 효과가 있다.The stereo image matching error elimination apparatus and the elimination method using the same according to the present invention generate a window in the stereo image, and change the corresponding center pixel according to the gray level difference, which is the pixel value between the center pixel and the surrounding pixels of the window. By determining whether to output, there is an excellent effect that can provide a more accurate stereo image by eliminating the matching error of the stereo image.
또한, 본 발명에 따른 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법은 스테레오 영상 내에서 연속적으로 생성되는 윈도우의 중심픽셀의 그레이레벨의 데이터가 저장되고, 저장된 그레이레벨이 출력되는 중심픽셀에 적용되므로, 중심픽셀의 그레이레벨이 손상되지 않은 스테레오 영상을 얻을 수 있는 탁월한 효과가 있다. In addition, the stereo image matching error elimination apparatus and the elimination method using the same according to the present invention is stored in the gray level data of the center pixel of the window continuously generated in the stereo image, so that the stored gray level is applied to the output center pixel In addition, the gray level of the center pixel has an excellent effect of obtaining an undamaged stereo image.
또한, 본 발명에 따른 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법은 스테레오 영상 내에서 연속적으로 생성되는 윈도우의 중심픽셀의 좌표가 저장되고, 저장된 좌표가 출력되는 중심픽셀에 적용되므로, 매칭오류의 여부를 판별하는 각 단계를 연속적으로 생성되는 각 윈도우가 순차적으로 수행하더라도 일정 시간 후 윈도우가 원래 좌표에 출력되어 좌표가 이동하지 않은 스테레오 영상을 얻을 수 있는 탁월한 효과가 있다. In addition, the stereo image matching error elimination apparatus and the elimination method using the same according to the present invention is stored in the coordinates of the center pixel of the window continuously generated in the stereo image, the stored coordinates are applied to the output center pixel, Even if each step of successively performing each step of determining whether or not is sequentially performed, the window is output to the original coordinates after a certain time has an excellent effect of obtaining a stereo image without the coordinates moved.
또한, 본 발명에 따른 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법은 제1 주변픽셀을 합산할 시 다수의 군집을 이루어 합산하므로, 처리시간이 단축되어 실시간으로 매칭오류가 제거된 스테레오 영상을 요구하는 지능형 로봇, 산업용 자동화 기기 등 다양한 분야에서 적용될 수 있는 탁월한 효과가 있다.In addition, the stereo image matching error elimination apparatus and the elimination method using the same according to the present invention, since the summing up a plurality of clusters when summing the first peripheral pixels, the processing time is shortened and requires a stereo image in which matching errors are removed in real time. It can be applied in various fields such as intelligent robots and industrial automation devices.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법에 대하여 설명한다.Hereinafter, a stereo image matching error elimination apparatus and a elimination method using the same will be described with reference to the accompanying drawings.
도 1에 도시된 바와 같이 본 발명에 따른 스테레오 영상 매칭오류 제거장치(1)는 영상처리부(10), 차이값연산부(20), 비교부(30), 합산부(40), 저장부(60) 및 출력결정부(70)를 포함한다.As shown in FIG. 1, the
영상처리부(10)는 매칭오류가 포함된 스테레오 영상(A)에서 윈도우를 생성한다. 여기서, 윈도우는 스테레오 영상 내에 포함된 픽셀 중 어느 하나를 중심픽셀로 하여 중심픽셀과 인접한 다수의 주변픽셀로 이루어진다. 도 12에 도시된 바와 같이, 윈도우(70)의 중심픽셀은 스테레오 영상(A)의 픽셀 중 도면 상 좌측에 배치되는 픽셀로부터 우측 행 방향으로 순차적으로 선정되며, 가장 우측의 픽셀이 중심픽셀이 된 후에는 바로 아래 층에 나열된 픽셀 중 가장 좌측부터 중심픽셀로 선정된다. 여기서, 윈도우는 행과 열로 나열된 픽셀 수가 동일한 N x N 윈도우로 마련될 수 있고 본 설명에서는 11x11 윈도우 인것을 일 예로 하였으나, 윈도우의 형태에 의해 본 발명에 한정되지는 않는다.The
여기서, 도 3에 도시된 바와 같이, 윈도우(70a)가 121개의 픽셀로 이루어지는 11X11 윈도우 일 경우, 스테레오 영상(A) 내의 (6,6) 위치에 배치된 픽셀이 중심픽셀로 선정되었을 시부터 11X11의 윈도우(70a)가 형성된다.3, when the
차이값연산부(20)는 윈도우에서 중심픽셀의 픽셀값과 주변픽셀의 픽셀값의 차이값을 연산한다. 여기서, 픽셀값은 그레이레벨로 마련될 수 있다.The
가령, 도 3에 도시된 바와 같이, 윈도우(70a)의 중심픽셀(71a)의 그레이레벨 이 150이고 주변픽셀(72a,73a,74a)의 그레이레벨이 150,140,10일 경우, 각 주변픽셀(72a,73a,74a)과 중심픽셀(71a) 간 그레이레벨 차이는 0,10,140이 된다. 이에, 각 주변픽셀(72a,73a,74a)에 대응하는 차이값은 0,10,140이 된다.For example, as shown in FIG. 3, when the gray level of the
비교부(30)는 비교기준값과 차이값을 비교하고, 비교한 결과에 기초하여 주변픽셀(72a,73a,74a)을 도 4에 도시된 바와 같이, 제1 주변픽셀(72a,73a)과 제2 주변픽셀(74a)로 구분한다. 여기서, 비교기준값은 윈도우(70a) 내의 픽셀 중 중심픽셀(71a)의 그레이레벨과 유사한 그레이레벨을 가지는 제1 주변픽셀(72a,73a)과 유사하지 않은 그레이레벨을 가지는 제2 주변픽셀(74a)로 구분되는 기준을 제공한다. The
가령, 비교기준값이 15의 그레이레벨로 책정될 경우, 도 4에 도시된 바와 같이, 차이값이 비교기준값보다 작은 0,10을 가지는 주변픽셀(72a,73a)은 중심픽셀(71a)의 그레이레벨과 유사한 그레이레벨을 가지는 것으로 인정하여 제1 주변픽셀(72a,73a)로 구분하고, 임의의 값을 부여할 수 있다. 본 발명에서 제1 주변픽셀(72a,73a)에 부여되는 임의의 값은 '1'인 것을 일 예로 하였다. For example, when the reference value is set to a gray level of 15, as shown in FIG. 4, the
또한, 비교기준값이 15의 그레이레벨로 책정될 경우, 차이값이 비교기준값보다 큰 140을 가지는 주변픽셀(74a)은 중심픽셀(71a)의 그레이레벨과 유사하지 않은 그레이레벨을 가지는 것으로 인정하여 제2 주변픽셀(74a)로 구분하고, 임의의 값을 부여할 수 있다. 본 발명에서 제2 주변픽셀(74a)에 부여되는 임의의 값은 '0'인 것을 일 예로 하였다. In addition, when the reference value is set to a gray level of 15, the
합산부(40)는 윈도우 내의 제1 주변픽셀(72a,73a)의 개수를 카운트한다.The
여기서, 제1 주변픽셀(72a,73a)의 개수를 카운트하는 방법을 도 5를 참조하 여 설명하겠다. 도 5에 도시된 바와 같이, 윈도우(70a) 중 행으로 나열된 픽셀을 다수개의 제1 군집(80a,80b,80c)으로 구분한다. 제1 군집(80a,80b,80c)에 포함되는 픽셀의 개수는 임의로 설정될 수 있으며 본 설명에서는 도면상 좌측부터 4개의 픽셀을 포함하는 2개의 제1 군집(80a,80b), 3개의 픽셀을 포함하는 1개의 제1 군집(80c)으로 구분하여, 총 3개의 제1 군집(80a,80b,80c)으로 구분되는 것을 일 예로 하였다. 그리고, 각 제1 군집(80a,80b,80c) 내의 포함된 제1 주변픽셀(72a,73a)의 개수를 카운트하고, 각 제1 군집(80a,80b,80c) 간 카운트된 제1 주변픽셀(72a,73a)의 개수를 카운트하면 윈도우(70) 내의 해당 행에 포함된 제1 주변픽셀(72a,73a)의 개수가 카운트된다.Here, a method of counting the number of the first
그리고, 윈도우(70a) 내의 해당 행에 포함된 제1 주변픽셀(72a,73a)의 개수를 열로 나열되는 다수 개의 제2 군집(81a,81b,81c)으로 구분한다. 제2 군집에 포함되는 윈도우(70) 내의 해당 행에 포함된 제1 주변픽셀(72a,73a)의 개수는 임의로 설정될 수 있으며, 본 설명에서는 도면상 상측으로부터, 4개의 픽셀을 포함하는 2개의 제2 군집(81a,81b), 3개의 픽셀을 포함하는 1개의 제2 군집(81c)으로 구분하여, 총 3개의 제2 군집(81a,81b,81c)으로 구분되는 것을 일 예로 하였다. 그리고, 각 제2 군집(81a,81b,81c) 내의 포함된 제1 주변픽셀(72a,73a)의 개수를 카운트하고, 각 제2 군집(81a,81b,81c) 간 카운트된 제1 주변픽셀(72a,73a)의 개수를 카운트하면 윈도우(70a) 내의 해당 포함된 총 제1 주변픽셀(72a,73a)의 개수(82)가 카운트된다. 여기서, 동일한 방식으로 제2 주변픽셀의 수를 카운트하여, 추후 기준픽셀수와 비교될 수 있음은 물론이다.The number of first
출력결정부(50)는 기준픽셀수와 합산부(40)에 의해 합산된 제1 주변픽셀의 수를 비교하고, 비교 결과에 따라 중심픽셀을 변함없이 출력하는 것 및 중심픽셀의 그레이레벨을 최저로 하여 출력하는 것 중 어느 하나를 결정한다.The
기준픽셀수는 제1 주변픽셀이 해당 윈도우 내에 최소한으로 배치되어야 하는 픽셀의 수를 의미하며, 임의로 설정될 수 있다. 가령, 기준픽셀수가 60이라고 가정하면, 제1 주변픽셀의 수가 윈도우 내에 60 개 이상 배치되어야 중심픽셀이 변함없이 출력되며, 60개 미만일 경우 해당 중심픽셀은 매칭오류로 간주되어 그레이레벨이 최저인 0으로 출력된다. The reference pixel number means the number of pixels in which the first peripheral pixel should be disposed at least in the window, and may be arbitrarily set. For example, assuming that the number of reference pixels is 60, at least 60 first peripheral pixels must be arranged in the window so that the center pixel is invariably outputted. If the number is less than 60, the center pixel is regarded as a matching error and 0 is the lowest gray level. Is output.
즉, 도 3 및 도 4에 도시된 윈도우(70a)는 제1 주변픽셀(72a,73a) 수가 74개이므로 기준픽셀수인 60보다 크다. 이 경우, 도 2 및 도 3에 도시된 중심픽셀(71a)은 매칭오류가 아닌 것으로 간주되어 각 픽셀의 그레이레벨이 변함없이 출력된다.That is, since the number of the first
그러나, 도 6 및 도 7에 도시된 윈도우(70b)는 중심픽셀(71b)과 차이값 이하의 그레이레벨 차이를 갖는 제1 주변픽셀(71b,72b)의 수는 47개이고, 중심픽셀(71b)과 차이값 이상의 그레이레벨 차이를 갖는 제2 주변픽셀(74b)의 수는 73개이다. 이 경우, 제1 주변픽셀(71b,72b)의 수 47은 기준픽셀수 60보다 적으므로, 해당 중심픽셀(71b)는 매칭오류로 간주되어 그레이레벨이 최저인 0으로 출력된다. 여기서, 그레이레벨이 최저인 0으로 출력되는 것은 일반적인 입력 영상의 배경(흑색) 일 수 있다.However, in the
여기서, 본 설명에서는 윈도우 내에 포함된 제1 주변픽셀의 수를 합산하여 기준픽셀수와 비교함으로써, 해당 중심픽셀이 매칭오류인지 아닌지 결정하는 것을 일 예로 하였으나, 윈도우 내의 제2 주변픽셀의 수를 합산하여 기준픽셀수와 비교하도록 마련될 수 있다. 이 경우, 제2 주변픽셀의 수가 기준픽셀수 미만인 윈도우의 중심픽셀은 매칭오류로 간주되지 않아 변함없이 출력되며, 제2 주변픽셀의 수가 기준픽셀수 이상인 중심픽셀은 매칭오류로 간주되어 그레이레벨이 최저인 0(흑색)으로 출력된다.Here, in the present description, the number of first peripheral pixels included in the window is added and compared with the reference pixel number to determine whether the corresponding center pixel is a matching error. However, the number of second peripheral pixels in the window is added together. It can be provided to compare with the reference pixel number. In this case, the center pixel of the window where the number of the second peripheral pixels is less than the reference pixel number is not considered a matching error and is output unchanged. The center pixel whose number of the second peripheral pixels is greater than or equal to the reference pixel number is regarded as a matching error so that the gray level is reduced. Output is at the lowest 0 (black).
여기서, 출력결정부(50)에 의해 변함없이 출력되는 각 중심픽셀은 저장부(60)에 저장되었다가 제공되는 픽셀데이터에 기초하여, 픽셀데이터에 포함된 중심픽셀의 좌표에 배치되고, 픽셀데이터에 포함된 중심픽셀의 그레이레벨을 가지도록 출력된다.Here, each center pixel which is invariably output by the
저장부(60)는 영상처리부(10)에 의해 윈도우가 생성된 후, 윈도우가 차이값연산부(20), 비교부(30), 합산부(40)를 통해 출력 여부가 결정되기까지 소요되는 시간 동안 중심픽셀의 좌표 및 중심픽셀의 그레이레벨에 해당하는 픽셀 데이터가 저장된다. 여기서, 중심픽셀의 좌표가 저장되는 것은 윈도우가 영상처리부(10)에 의해 순차적으로 생성되므로, 차이값연산부(20), 비교부(30), 합산부(40) 및 출력결정부(50)를 통해 중심픽셀이 윈래 좌표에서 소정 이동한 좌표에서 출력되는 것을 방지하기 위함이다.After the window is generated by the
저장부(60)는 제1 저장부(61), 제2 저장부(62) 및 제3 저장부(63)를 포함할 수 있다.The
제1 저장부(61)는 영상처리부(10)에 의해 생성된 윈도우가 차이값연산부(20)에 의해 중심픽셀과 주변픽셀간 그레이레벨의 차이값이 연산되는 시간 동안 픽셀데 이터가 저장된다.The
제2 저장부(62)는 윈도우의 주변픽셀이 비교부(30)에 의해 제1 주변픽셀 및 제2 주변픽셀로 구분되는 시간 동안 제1 저장부(61)에 저장되었었던 픽셀데이터가 저장된다.The
제3 저장부(63)는 합산부(40)에 의해 제1 주변픽셀의 수가 합산되는 시간 동안제2 저장부(62)에 저장되었었던 픽셀데이터가 저장된다.The
각 저장부(60)는 해당 윈도우가 차이값연산부(20), 비교부(30) 및 합산부(40)에 의해 각 연산되는 시간 후 픽셀데이터를 전송할 수 있는 전송부(미도시)가 마련될 수 있다. Each
또한, 출력결정부(50)는 도 8 및 도 9에 도시된 바와 같이, 윈도우(70c)의 중심픽셀(71c)과 윈도우(70c)의 모서리에 위치하는 4개의 모서리픽셀(72c) 간 그레이레벨이 모두 동일하면, 해당 중심픽셀(71c)을 출력하도록 할 수 있다. In addition, as shown in FIGS. 8 and 9, the
이는 중심픽셀(71c)과 윈도우(70c)의 모서리에 위치하는 4개의 모서리픽셀(72c) 간 그레이레벨이 모두 동일하면, 윈도우(70c)에 포함된 모든 픽셀이 상호 유사한 그레이레벨을 가질 확률이 높으므로, 중심픽셀(71c)이 매칭오류가 아닐 가능성이 매우 높기 때문이다.This means that if the gray levels are the same between the
상기 구성을 통해 도 10에 도시된 매칭오류(C)가 포함된 스테레오 영상(A)은 매칭오류(C)가 제거되어 도 11에 도시된 매칭오류(C)가 제거된 스테레오 영상(A')으로 출력된다.Through the above configuration, the stereo image A including the matching error C shown in FIG. 10 is the stereo image A ′ in which the matching error C is removed and the matching error C shown in FIG. 11 is removed. Is output.
이하에서는 본 발명에 따른 스테레오 영상 매칭오류 제거장치(1)를 이용한 스테레오 영상 매칭오류 제거방법을 도 2를 통해 상세히 설명하겠다.Hereinafter, a stereo image matching error elimination method using the stereo image matching
매칭오류가 포함된 스테레오 영상(A)이 입력(S1)되면 영상처리부(10)에 의해 윈도우가 생성된다(S2).When the stereo image A including the matching error is input (S1), a window is generated by the image processor 10 (S2).
차이값연산부(20)에서는 생성된 윈도우의 중심픽셀의 그레이레벨과 주변픽셀의 그레이레벨의 차이값이 연산된다(S3). 이 시간(t1) 동안 제1 저장부(61)에는 픽셀데이터가 저장된다(S12).In the
차이값연산부(20)에 의해 연산된 각 주변픽셀의 차이값은 비교기준값과 비교되며(S4), 비교 결과에 따라 주변픽셀은 제1 주변픽셀 및 제2 주변픽셀으로 구분되어 설정된다(S5). 이 시간(t2) 동안, 제2 저장부(62)에는 제1 저장부(61)에 저장되었던 픽셀데이터가 저장된다(S13).The difference value of each peripheral pixel calculated by the difference
주변픽셀이 제1 주변픽셀과 제2 주변픽셀로 구분되면 합산부(40)에 의해 제1 주변픽셀의 개수가 카운트(합산)된다(S6). 이 시간(t3) 동안, 제3 저장부(63)에는 제2 저장부(62)에 저장되었던 픽셀데이터가 저장된다(S14).When the peripheral pixels are divided into the first peripheral pixel and the second peripheral pixel, the number of the first peripheral pixels is counted (summed) by the adder 40 (S6). During this time t3, the pixel data stored in the
그리고, 출력결정부(50)는 윈도우의 중심픽셀의 그레이레벨과 주변픽셀 중 모서리픽셀의 그레이레벨이 동일한지 비교한다(S7). 가령, 윈도우(70)의 중심픽셀의 그레이레벨과 주변픽셀 중 모서리픽셀의 그레이레벨이 동일한 경우에는 제3 저장부(63)에 저장된 픽셀데이터가 반영되어 중심픽셀을 변함없이 출력한다(S9). 여기서, 픽셀데이터가 반영되어 중심픽셀이 변함없이 출력되는 것은 저장부(60)에 저장되었다가 제공되는 픽셀데이터에 기초하여, 픽셀데이터에 포함된 중심픽셀의 좌표에 배치되고, 픽셀데이터에 포함된 중심픽셀의 그레이레벨을 가지도록 출력된다.Then, the
그리고, 윈도우의 중심픽셀의 그레이레벨과 주변픽셀 중 모서리픽셀의 그레이레벨이 동일하지 않으면, 출력결정부(50)에서 윈도우 내의 제1 주변픽셀의 개수와 기준픽셀수를 비교(S8)하여 제1 주변픽셀의 개수가 기준픽셀수보다 큰 경우, 출력결정부(50)는 제3 저장부(63)에 저장된 픽셀데이터를 반영하여 중심픽셀이 변함없이 출력되게 한다(S9). If the gray level of the center pixel of the window and the gray level of the corner pixel among the peripheral pixels are not the same, the
가령, 제1 주변픽셀의 개수가 기준픽셀수보다 적은 경우, 출력결정부(50)는 제3 저장부(63)에 저장된 중심픽셀의 좌표에 해당하는 데이터를 중심픽셀에 적용하되 그레이레벨을 최저인 0으로 출력되게 한다(S10).For example, when the number of the first peripheral pixels is smaller than the number of reference pixels, the
상기와 같은 과정을 통해, 스테레오 영상(A)은 매칭오류(C)가 제거된 스테레오 영상(A')으로 변환되어 출력된다(S11).Through the above process, the stereo image A is converted into a stereo image A 'from which the matching error C has been removed and output (S11).
또한, 연속적으로 생성되는 윈도우는 순차적으로 상기 과정을 통해 매칭오류(C)가 제거될 수 있다. 예컨데, 스테레오 영상(A) 내의 윈도우가 제1 윈도우, 제2 윈도우 및 제3 윈도우 총 3개의 윈도우로 마련되며, 각 윈도우는 영상처리부(10)에 의해 순차적으로 생성된다고 가정하겠다. In addition, the matching error (C) can be eliminated sequentially through the window sequentially generated. For example, it is assumed that a window in the stereo image A is provided with a total of three windows: a first window, a second window, and a third window, and each window is sequentially generated by the
이 경우, 도 2에 도시된 바와 같이, 제1 윈도우가 t2 시간에 해당하는 S3, S4, S13 단계를 수행하는 동안, 제2 윈도우는 t1 시간에 해당한 S3, S12 단계를 수행한다.In this case, as shown in FIG. 2, while the first window performs steps S3, S4, and S13 corresponding to time t2, the second window performs steps S3 and S12 corresponding to time t1.
그리고, 제1 윈도우가 t3 시간에 해당하는 S6, S14 단계를 수행하는 동안, 제2 윈도우는 t2 시간에 해당하는 S4, S5, S13를 수행하게 되며, 제3 윈도우는 t1 시간에 해당하는 S3, S12 단계를 수행한다. In addition, while the first window performs steps S6 and S14 corresponding to time t3, the second window performs steps S4, S5 and S13 corresponding to time t2, and the third window corresponds to S3, corresponding to time t1. Follow step S12.
이처럼, 연속적으로 생성되는 윈도우가 시간에 따라 각 단계를 순차적으로 수행하게 되어 매칭오류 연산 시간이 감소하게 된다. 즉, 도 2에 도시된 바와 같이, 제1 윈도우가 t1 내지 t3의 시간이 소요되어 출력된 후, t3 시간 후에 제2 윈도우가 출력될 수 있으로, 제1 영상이 출력된 후에 출력되는 영상은 t3 시간만이 소요되어 출력된다.As described above, successively generating windows sequentially perform each step according to time, thereby reducing matching error calculation time. That is, as shown in FIG. 2, after the first window takes a time t1 to t3 and is output, a second window may be output after t3 time. Only t3 hours are output.
또한, 윈도우의 중심픽셀의 좌표 및 그레이레벨이 따로 저장되어 중심좌표의 출력 시 중심좌표가 원위치에서 출력될 수 있다.In addition, the coordinates and gray levels of the center pixel of the window are stored separately so that the center coordinates may be output from the original position when the center coordinates are output.
비록 본 발명의 실시예가 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.Although embodiments of the present invention have been shown and described, it will be apparent to those skilled in the art that the present embodiments may be modified without departing from the spirit or spirit of the invention. It is intended that the scope of the invention be defined by the claims appended hereto and their equivalents.
도 1은 본 발명에 따른 스테레오 영상 매칭오류 제거장치의 블럭도이고,1 is a block diagram of a stereo image matching error cancellation apparatus according to the present invention,
도 2는 본 발명에 따른 스테레오 영상 매칭오류 제거방법의 순서도이고,2 is a flowchart of a stereo image matching error elimination method according to the present invention;
도 3 내지 도 9는 본 발명에 따른 스테레오 영상 매칭오류 제거방법을 통한 윈도우 내에서 제1 주변픽셀 및 제2 주변픽셀의 구분 및 제1 주변픽셀의 개수를 카운트하는 것을 설명하기 위한 도면이고,3 to 9 are views for explaining the division of the first peripheral pixel and the second peripheral pixel and counting the number of the first peripheral pixel in the window through the stereo image matching error elimination method according to the present invention,
도 10은 매칭오류가 포함된 스테레오 영상의 일 예를 나타낸 도면이고,10 is a diagram illustrating an example of a stereo image including a matching error.
도 11은 본 발명에 따른 스테레오 영상 매칭오류 제거장치를 통해 매칭오류가 제거된 스테레오 영상의 일 예를 나타낸 도면이고,11 is a diagram illustrating an example of a stereo image from which a matching error is eliminated through the stereo image matching error removing device according to the present invention;
도 12는 본 발명에 따른 스테레오 영상 매칭오류 제거방법에서 윈도우가 영상 내에 이동하면서 생성되는 상황을 도시한 도면이다.12 is a diagram illustrating a situation in which a window is generated while moving in an image in the stereo image matching error elimination method according to the present invention.
Claims (14)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070101120A KR100911814B1 (en) | 2007-10-08 | 2007-10-08 | Stereo Image Matching Error Elimination Device and Removal Method Using the Same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070101120A KR100911814B1 (en) | 2007-10-08 | 2007-10-08 | Stereo Image Matching Error Elimination Device and Removal Method Using the Same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090036032A KR20090036032A (en) | 2009-04-13 |
| KR100911814B1 true KR100911814B1 (en) | 2009-08-12 |
Family
ID=40761140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070101120A Expired - Fee Related KR100911814B1 (en) | 2007-10-08 | 2007-10-08 | Stereo Image Matching Error Elimination Device and Removal Method Using the Same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100911814B1 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014113392A1 (en) * | 2013-01-17 | 2014-07-24 | Google Inc. | Structure descriptors for image processing |
| US8866928B2 (en) | 2012-12-18 | 2014-10-21 | Google Inc. | Determining exposure times using split paxels |
| US8866927B2 (en) | 2012-12-13 | 2014-10-21 | Google Inc. | Determining an image capture payload burst structure based on a metering image capture sweep |
| US9066017B2 (en) | 2013-03-25 | 2015-06-23 | Google Inc. | Viewfinder display based on metering images |
| US9077913B2 (en) | 2013-05-24 | 2015-07-07 | Google Inc. | Simulating high dynamic range imaging with virtual long-exposure images |
| US9087391B2 (en) | 2012-12-13 | 2015-07-21 | Google Inc. | Determining an image capture payload burst structure |
| US9100589B1 (en) | 2012-09-11 | 2015-08-04 | Google Inc. | Interleaved capture for high dynamic range image acquisition and synthesis |
| US9117134B1 (en) | 2013-03-19 | 2015-08-25 | Google Inc. | Image merging with blending |
| US9131201B1 (en) | 2013-05-24 | 2015-09-08 | Google Inc. | Color correcting virtual long exposures with true long exposures |
| US9247152B2 (en) | 2012-12-20 | 2016-01-26 | Google Inc. | Determining image alignment failure |
| US9615012B2 (en) | 2013-09-30 | 2017-04-04 | Google Inc. | Using a second camera to adjust settings of first camera |
| US9686537B2 (en) | 2013-02-05 | 2017-06-20 | Google Inc. | Noise models for image processing |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002267441A (en) | 2001-03-07 | 2002-09-18 | Fuji Heavy Ind Ltd | Stereo matching method and monitoring device |
| JP2003016427A (en) | 2001-07-02 | 2003-01-17 | Telecommunication Advancement Organization Of Japan | Parallax estimating method for stereoscopic image |
| JP2004061446A (en) | 2002-07-31 | 2004-02-26 | Fujitsu Ten Ltd | Pattern matching processing method and image processor |
-
2007
- 2007-10-08 KR KR1020070101120A patent/KR100911814B1/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002267441A (en) | 2001-03-07 | 2002-09-18 | Fuji Heavy Ind Ltd | Stereo matching method and monitoring device |
| JP2003016427A (en) | 2001-07-02 | 2003-01-17 | Telecommunication Advancement Organization Of Japan | Parallax estimating method for stereoscopic image |
| JP2004061446A (en) | 2002-07-31 | 2004-02-26 | Fujitsu Ten Ltd | Pattern matching processing method and image processor |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9100589B1 (en) | 2012-09-11 | 2015-08-04 | Google Inc. | Interleaved capture for high dynamic range image acquisition and synthesis |
| US9087391B2 (en) | 2012-12-13 | 2015-07-21 | Google Inc. | Determining an image capture payload burst structure |
| US9118841B2 (en) | 2012-12-13 | 2015-08-25 | Google Inc. | Determining an image capture payload burst structure based on a metering image capture sweep |
| US8866927B2 (en) | 2012-12-13 | 2014-10-21 | Google Inc. | Determining an image capture payload burst structure based on a metering image capture sweep |
| US8964060B2 (en) | 2012-12-13 | 2015-02-24 | Google Inc. | Determining an image capture payload burst structure based on a metering image capture sweep |
| US9172888B2 (en) | 2012-12-18 | 2015-10-27 | Google Inc. | Determining exposure times using split paxels |
| US8866928B2 (en) | 2012-12-18 | 2014-10-21 | Google Inc. | Determining exposure times using split paxels |
| US9247152B2 (en) | 2012-12-20 | 2016-01-26 | Google Inc. | Determining image alignment failure |
| US8995784B2 (en) | 2013-01-17 | 2015-03-31 | Google Inc. | Structure descriptors for image processing |
| WO2014113392A1 (en) * | 2013-01-17 | 2014-07-24 | Google Inc. | Structure descriptors for image processing |
| US9686537B2 (en) | 2013-02-05 | 2017-06-20 | Google Inc. | Noise models for image processing |
| US9749551B2 (en) | 2013-02-05 | 2017-08-29 | Google Inc. | Noise models for image processing |
| US9117134B1 (en) | 2013-03-19 | 2015-08-25 | Google Inc. | Image merging with blending |
| US9066017B2 (en) | 2013-03-25 | 2015-06-23 | Google Inc. | Viewfinder display based on metering images |
| US9077913B2 (en) | 2013-05-24 | 2015-07-07 | Google Inc. | Simulating high dynamic range imaging with virtual long-exposure images |
| US9131201B1 (en) | 2013-05-24 | 2015-09-08 | Google Inc. | Color correcting virtual long exposures with true long exposures |
| US9615012B2 (en) | 2013-09-30 | 2017-04-04 | Google Inc. | Using a second camera to adjust settings of first camera |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090036032A (en) | 2009-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100911814B1 (en) | Stereo Image Matching Error Elimination Device and Removal Method Using the Same | |
| US11615552B2 (en) | Crossing point detector, camera calibration system, crossing point detection method, camera calibration method, and recording medium | |
| EP0686942B1 (en) | Stereo matching method and disparity measuring method | |
| CN109640066A (en) | The generation method and device of high-precision dense depth image | |
| CN112802081A (en) | Depth detection method and device, electronic equipment and storage medium | |
| CN109658497B (en) | A three-dimensional model reconstruction method and device | |
| JP5901447B2 (en) | Image processing apparatus, imaging apparatus including the same, image processing method, and image processing program | |
| CN112614154A (en) | Target tracking track obtaining method and device and computer equipment | |
| JP6395429B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
| RU2618927C2 (en) | Method for detecting moving objects | |
| KR101927861B1 (en) | Method and apparatus for removing noise based on mathematical morphology from geometric data of 3d space | |
| CN111369611B (en) | Image pixel depth value optimization method, device, equipment and storage medium thereof | |
| JP2018133064A (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| KR100769461B1 (en) | Stereo vision system | |
| KR20030005276A (en) | Method and apparatus for improving object boundaries extracted from stereoscopic images | |
| CN112313707B (en) | Tracking methods and movable platforms | |
| RU2580466C1 (en) | Device for recovery of depth map of scene | |
| KR20180051241A (en) | Method and system for stereo matching by using rectangular window | |
| KR101435611B1 (en) | Occlusion removal method for three dimensional integral image | |
| CN116091405B (en) | Image processing method and device, computer equipment and storage medium | |
| KR100691855B1 (en) | Feature Extraction Apparatus and Method of Image Information | |
| JP6852406B2 (en) | Distance measuring device, distance measuring method and distance measuring program | |
| EP3352136B1 (en) | Crossing point detector, camera calibration system, crossing point detection method, camera calibration method, and recording medium | |
| CN112884817A (en) | Dense optical flow calculation method, dense optical flow calculation device, electronic device, and storage medium | |
| CN111095292A (en) | Method and apparatus for evaluating images, operation aid method and operation apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| R15-X000 | Change to inventor requested |
St.27 status event code: A-3-3-R10-R15-oth-X000 |
|
| R16-X000 | Change to inventor recorded |
St.27 status event code: A-3-3-R10-R16-oth-X000 |
|
| R17-X000 | Change to representative recorded |
St.27 status event code: A-3-3-R10-R17-oth-X000 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
Fee payment year number: 1 St.27 status event code: A-2-2-U10-U11-oth-PR1002 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R11-asn-PN2301 St.27 status event code: A-5-5-R10-R13-asn-PN2301 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R11-asn-PN2301 St.27 status event code: A-5-5-R10-R13-asn-PN2301 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
Fee payment year number: 4 St.27 status event code: A-4-4-U10-U11-oth-PR1001 |
|
| FPAY | Annual fee payment |
Payment date: 20130530 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Fee payment year number: 5 St.27 status event code: A-4-4-U10-U11-oth-PR1001 |
|
| FPAY | Annual fee payment |
Payment date: 20140617 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Fee payment year number: 6 St.27 status event code: A-4-4-U10-U11-oth-PR1001 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
Not in force date: 20150805 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE St.27 status event code: A-4-4-U10-U13-oth-PC1903 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PC1903 | Unpaid annual fee |
Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20150805 St.27 status event code: N-4-6-H10-H13-oth-PC1903 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R11-asn-PN2301 St.27 status event code: A-5-5-R10-R13-asn-PN2301 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |