KR100938194B1

KR100938194B1 - 객체 검출 방법 및 객체 검출 장치

Info

Publication number: KR100938194B1
Application number: KR1020080073303A
Authority: KR
Inventors: 이충희
Original assignee: 재단법인대구경북과학기술원
Priority date: 2008-07-28
Filing date: 2008-07-28
Publication date: 2010-01-21
Anticipated expiration: 2028-07-28

Abstract

본 발명은 객체 검출 장치 및 객체 검출 방법에 관한 것이다. 본 발명은 스테레오 비전 영상을 객체와의 거리를 기준으로 매칭하여 깊이 맵을 얻고, 상기 깊이 맵을 수평으로 변환한 후 수직 시차맵을 얻음으로써, 원거리뿐만 아니라 근거리의 목표 객체를 검출할 수 있으며, 상기 검출된 객체를 기반으로 정확한 위치, 거리, 속도 등을 추정할 수 있도록 하는 효과가 있다. 상기와 같은 객체 검출 방법, 장치를 자동차에 적용하는 경우, 원거리뿐만 아니라 근거리 좌우측, 후방 등과 같은 자동차 주변의 객체를 정확하게 검출할 수 있다.

상기와 같은 검출 방법은 다양한 분야에 응용하여 객체를 정확하게 검출할 수 있는 효과가 있다. 예를 들어, 로봇이나 자동차 등에 적용하는 경우 자동차의 추돌 방지, 주행 등의 운전 시스템이나 안전 운행 시스템 등에 적용하여 사용할 수 있다. 또한, 상기 로봇, 자동차 등과 같은 이동 객체뿐만 아니라 공장, 홈 등의 일상 공간에서도 객체 검출 분야에 적용이 가능하다.

스테레오 비전, 객체 검출

Description

객체 검출 방법 및 객체 검출 장치{Method for detecting an object and apparatus for the same}

본 발명은 객체 검출 장치 및 객체 검출 방법에 관한 것으로서, 더욱 자세하게는 촬영된 영상을 스테레오 매칭하여 영상에 포함된 객체를 검출하는 장치 및 방법에 관한 것이다.

관찰 측으로부터 떨어져 있는 객체의 거리를 측정하는 방법에는 여러 가지가 있다. 그 가운데 상기 객체에 대해 영상을 촬영하고, 상기 촬영된 영상을 이용하여 영상에 포함된 객체까지의 거리를 측정할 수 있는 방법이 있다.

촬영된 영상을 이용하여 영상에 포함된 목표 객체까지의 거리를 측정하는 기술의 하나의 예로 스테레오 비전(stereo vision) 기술을 들 수 있다. 상기 스테레오 비전 기술은 복수의 영상 촬영 장치, 예를 들어, 카메라 등으로부터 각각 획득한 좌측 영상과 우측 영상을 이용하여 영상에 포함된 객체의 위치, 거리, 속도 등을 측정할 수 있다.

종래의 스테레오 비전 기술을 이용한 거리 측정 방법에서는 복수의 카메라로부터 획득한 좌우 영상으로부터 객체에 대한 대응점(corresponding point)을 찾아 서, 그 대응점에 대한 시차(disparity)를 이용하여 객체의 거리를 측정하였다.

그러나, 종래의 스테레오 비전 기술의 경우, 객체가 전방의 어느 정도 먼 곳에 있다는 가정하에 수직 거리를 이용하여 깊이 맵을 사용함으로써, 가까운 거리에 장애물체가 존재할 경우에는 거리 오차가 발생할 수 있는 문제가 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 원거리뿐만 아니라 근거리에서도 객체의 정확한 위치, 거리를 추정할 수 있는 거리 객체 검출 방법 및 객체 검출 장치를 제공하는 것이다.

본 발명에 따른 객체 검출 방법은, 촬영된 스테레오 영상을 객체와의 거리를 기준으로 매칭하여 중점을 중심으로 한 깊이 맵을 산출하는 단계, 상기 중점을 중심으로 한 깊이 맵이 수직 라인을 따라 수평이 되도록 깊이 맵을 변환하는 단계, 상기 변환된 깊이 맵을 이용하여 수직 시차맵을 형성하는 단계, 및 상기 수직 시차맵을 이용하여 영상에 포함된 객체를 검출하는 단계를 포함한다.

다른 관점에서 본 발명에 따른 객체 검출 장치는, 촬영된 스테레오 영상을 객체와의 거리를 기준으로 매칭하여 중점을 중심으로 한 깊이 맵을 산출하는 매칭부, 상기 중점을 중심으로 한 깊이 맵이 수직 라인을 따라 수평이 되도록 깊이 맵을 변환하는 변환부, 및 상기 변환된 깊이 맵을 이용하여 수직 시차맵을 형성하고, 영상에 포함된 객체를 검출하는 객체 검출부를 포함한다.

본 발명의 객체 검출 방법 및 객체 검출 장치에 따르면, 스테레오 비전 시스템에서 원거리뿐만 아니라 근거리의 목표 객체를 검출할 수 있으며, 상기 검출된 객체를 기반으로 정확한 위치, 거리, 속도 등을 추정할 수 있도록 하는 효과가 있 다. 상기와 같은 객체 검출 방법, 장치를 자동차에 적용하는 경우, 원거리뿐만 아니라 근거리 좌우측, 후방 등과 같은 자동차 주변의 객체를 정확하게 검출할 수 있어, 자동 차선 변경이나, LKS(Lane Keeping System), 측방 장애물체 경고 등의 안전주행 기능을 제공할 수 있는 효과가 있다.

이하 본 발명의 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다. 아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀 두고자 한다.

이와 같이 구성된 본 발명에 따른 객체 검출 장치 및 객체 검출 방법의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1은 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 거리를 추정하는 방식을 개략적으로 나타낸 도면이다.

스테레오 비전 시스템을 이용하여 거리를 추정하는 방식의 경우, 좌우 영상 촬영 장치로부터 촬영된 영상을 이용하여 대응점을 찾아 깊이 맵(depth map)을 생성한다. 그리고, 상기 깊이 맵과 좌우 영상을 이용하여 이동 객체를 검출하고, 상기 검출된 이동 객체 내의 시차 평균을 구한다. 스테레오 비전 시스템에서는 상기 구해진 시차를 이용하여 객체의 거리를 추정할 수 있다. 상기 시차와 목표 객체의 거리는 하기의 수학식 1과 상기 도 1의 각종 파라미터를 이용하여 자세히 설명하도록 한다. 상기 도 1에서 B(기준선)는 좌, 우측 영상 촬영 장치의 중심 사이의 거리, F는 영상 촬영 장치의 초점거리(렌즈와 촬상 장치(예를 들어, CCD, CMOS 등) 사이의 거리), x_l은 좌측 촬영 장치에 맺힌 객체가 촬영 장치의 중심으로부터 벗어난 거리, x_r은 우측 촬영 장치에 맺힌 객체가 촬영 장치의 중심으로부터 벗어난 거리, Z_d는 객체와 영상 촬영 장치의 수직 거리, Z_r은 객체의 실제 거리, X_d는 좌측 영상 촬영 장치와 우측 영상 촬영 장치의 중간 지점에서 Z_d라인과 영상 촬영 장치의 수평면이 만나는 지점까지의 거리를 말한다.

상기 수학식 1과 같이 상기 수직 거리 Z_d는 좌, 우측 영상 촬영 장치의 중심 사이의 거리(B)와 영상 촬영 장치의 초점거리(F)를 곱한 값을 시차 값(x_r-x_l)으로 나눈 값으로 구할 수 있다(수학식 1). 객체가 전방에 있는 경우에는 Z_r과 Z_d의 차이가 크지 않으므로, 상기 도 1에서와 같이 객체와의 실제 거리는 Z_r임에도 불구하고, 상기 수학식 1의 경우에는 객체와 기준선(B)과의 수직 거리인 Z_d를 구할 수 있다.

도 2는 본 발명에 따른 일 실시예로서, 수직 거리를 이용하여 얻어진 깊이 맵(depth map)을 개략적으로 나타낸 도면이다. 깊이 맵은 촬영된 영상의 거리 정보를 그레이 값(gray value)으로 표현한 것을 말한다. 상기 깊이 맵의 경우 거리가 가까울수록 밝은 값으로 표현되며, 거리가 멀수록 어두운 값으로 표현된다.

상기 수학식 1과 같이 수직 거리를 이용하여 깊이 맵을 작성하는 경우, 기준선을 기준으로 수평으로는 같은 거리 값을 가진다. 즉, 상기 도 2와 같이 수평으로는 같은 밝기 값을 가질 수 있다.

도 3은 본 발명에 따른 일 실시예로서, 수직 시차맵을 이용하여 객체를 검출하는 과정을 개략적으로 나타낸 도면이다. 상기 도 2와 같은 깊이 맵의 경우, 객체가 없는 평면 영역은 거리가 멀어질수록 밝기 값이 일정한 비율로 감소한다. 그러나, 장애물체와 같은 객체가 놓이는 경우, 평면과 달리 그 객체로 인하여 객체 부분의 밝기 값이 증가한다. 상기와 같은 현상을 이용하여 객체를 검출할 수 있다.

도 3의 수직 시차맵(V-disparity)의 수평 성분은 시차값(0~255, 그레이 값이 2⁸인 경우)을 나타내며, 수직 성분은 깊이 맵의 수직 라인을 나타낸다. 상기 수직 시차맵은 깊이 맵의 수직 라인별로 그에 해당하는 수평 라인의 각 픽셀 밝기 값을 읽어 그 값을 수직 라인별로 수직 시차맵에 맵핑한다. 예를 들어, 깊이 맵의 각 수 직 라인별로 빈도가 높은 밝기 값을 수직 시차맵에 맵핑할 수 있다.

상기와 같은 맵핑 결과, 도 3에서와 같이 평면 성분은 수직 라인값이 감소할수록 밝기 값이 높으며, 수직 라인값이 증가할수록 일정한 비율로 감소한다. 상기 밝기 값은 상기 깊이 맵이 작성되는 과정의 역으로 시차 값으로 전환될 수 있다.

그러나, 장애 물체 또는 객체는 평면 성분의 경향과 다른 값을 가질 수 있다. 예를 들어 도 3의 경우, 장애 물체는 평면 성분의 경향과 달리 특정 밝기 값을 가지고 있으며, 상기 특정 밝기 값을 가지는 부분을 검출함으로써 영상에 포함된 객체들을 검출할 수 있다. 그리고, 상기 검출된 객체의 시차 값을 읽고, 상기 시차 값을 상기 수학식 1에 적용함으로써 객체의 거리를 추정할 수 있다.

도 4는 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 객체의 실제 거리를 추정하는 방식을 개략적으로 나타낸 도면이다. 상기 수학식 1과 도 1의 경우에는 기준선과 객체와의 수직 거리를 구하므로, 측면 또는 전후방 등의 근거리 객체와의 거리를 측정하는 데 오차가 발생할 수 있다. 따라서, 도 4와 같이 객체와의 실제 거리를 구하여 상기와 같은 오차를 줄일 수 있으며, 객체를 정확히 검출할 수 있다.

상기 객체의 실제 거리(Z_r)를 수학식으로 나타내면 아래 수학식 2와 같다. 수학식 2와 도 4의 각 파라미터는 상기 수학식 1과 도 1에서 설명한 바와 같다.

상기 객체의 실제 거리(Z_r)는 시차 값(x_r-x_l)의 제곱과 초점 거리 두배(2F)의 제곱을 더한 값의 루트 값과 기준선의 1/2 값(B/2)을 곱하고, 이를 시차 값으로 나눈 값으로 나타낼 수 있다.

도 5는 본 발명에 따른 일 실시예로서, 실제 거리를 이용하여 얻어진 깊이 맵(depth map)을 개략적으로 나타낸 도면이다. 상기 수학식 2와 같이 실제 거리를 이용하여 깊이 맵을 작성하는 경우, 중점(center)을 기준으로 동심원 형태로 같은 거리 값을 가진다. 즉, 상기 도 5와 같이 중점을 중심으로 중점에서 같은 거리에 있는 동심원은 같은 밝기 값을 가질 수 있다.

그러나, 상기와 같은 깊이 맵의 경우 객체의 거리를 정확하게 반영할 수 있으나, 객체를 검출하는 경우 수직 시차맵을 그대로 적용할 수 없는 문제점이 있다. 따라서, 상기와 같은 깊이 맵에 수직 시차맵을 적용할 수 있는 형태로 재배열 또는 변환(이하, 변환)하도록 한다.

도 6은 본 발명에 따른 일 실시예로서, 깊이 맵을 변환하여 수직 시차맵을 만드는 과정을 개략적으로 나타낸 도면이다. 상기 도 5의 깊이 맵은 동심원 형태로 밝기 값이 배열되어 있어서, 수직 라인별로 밝기 값을 맵핑하는 수직 시차맵을 바로 만들 수 없다. 따라서, 상기 도 6의 1(또는 도 5)과 같은 깊이 맵을 변환하여 도 6의 2와 같이 밝기 값이 수직 라인별로 수평이 되도록 한다.

상기와 같이 깊이 맵을 변환하기 위해 극(polar) 좌표 변환법이나 픽셀 값을 읽어오는 순서를 이용하여 맵핑하는 방법 등을 사용할 수 있다. 예를 들어, 상기 극 좌표 변환법의 경우, Log-Polar 맵핑 방식 등을 사용할 수 있다. 또는, 깊이 맵에서 픽셀의 밝기 값을 읽어오는 순서가 저장된 룩업 테이블(Look-Up Table : 이하 LUT)을 이용하여, 중점에서 같은 거리에 있는 픽셀의 밝기 값을 순서대로 읽어와서 수직 라인별로 수평이 되도록 맵핑할 수 있다.

상기 도 6의 2는 깊이 맵을 변환한 맵을 개략적으로 나타낸다. 상기 도 6의 1에서와 같이 n번째 원의 외선과 n+1번째 원의 내선의 길이는 같으므로, 변환된 깊이 맵의 각 구간은 마름모 형태로 표시되어야 하나, 설명의 편의를 위해 직사각형 형태로 표시되었다. 또한, 상기 도 5나 도 6의 1의 경우, 설명의 편의를 위해 깊이 맵의 일부만 표시하였으나, 실제 깊이 맵은 중점을 중심으로 하는 동심원이 직사각형 화면 내부 전체에 표시될 수 있다. 따라서, 도 6의 2와 같이 중점을 중심으로 거리가 멀어질수록 같은 거리에 위치한 픽셀의 수가 증가하지만, 동심원이 직사각형 화면의 좌, 우측 또는 상부 면에 의해 잘리기 시작하면서 점점 픽셀의 수가 줄어든다.

상기 도 6의 2와 같이 변환된 깊이 맵이 얻어지면, 상기 깊이 맵을 이용하여 수직 시차맵을 얻을 수 있다. 도 6의 3은 상기 도 6의 2와 같은 변환 깊이 맵을 이용하여 수직 시차맵을 만들고 객체를 검출하는 과정을 개략적으로 나타낸 도면이다.

상기 도 6의 2와 같은 변환 깊이 맵의 경우, 상기 도 3의 경우와 달리 수직 라인에 따라 픽셀의 수가 다르다. 즉, 상기 변환 깊이 맵 가운데 중간 부분은 픽셀의 수가 많지만, 상단부와 하단부는 픽셀의 수가 많지 않다. 따라서, 수직 시차맵 생성시 문턱 값(Thresholding Value)을 사용하여 노이즈를 제거할 수 있다. 예를 들어, 수평 라인마다 적응형 문턱 값 또는 적응형 문턱 치(Adaptive Thresholding Value)를 사용하여 노이즈를 제거하도록 한다.

예를 들어, 상기 적응형 문턱 값으로 수평 라인의 평균값(mean value) 또는 중간 값(medium value)을 사용할 수도 있고, 수평 라인별 픽셀 수를 고려하여 수평 라인의 픽셀 값들 가운데 가장 빈도 수가 많은 값을 문턱 값으로 사용할 수도 있다. 상기 문턱 값은 구현 예에 따라 다르게 설정될 수 있다. 상기 문턱 값이 정해지면, 상기 문턱 값을 수직 시차맵에 맵핑하여 수직 라인에 따른 수직 시차맵을 생성한다.

상기 수직 시차맵의 경우, 상기에서 설명한 바와 같이 객체가 없는 평면 영역은 거리가 멀어질수록 밝기 값이 일정한 비율로 감소한다. 그러나, 장애물체와 같은 객체가 놓이는 경우, 평면과 달리 그 객체로 인하여 객체 부분의 밝기 값이 증가한다. 따라서, 상기와 같은 현상을 이용하여 객체를 검출할 수 있다. 상기 객체를 검출하고, 객체의 시차 값을 이용하여 거리를 추정하는 과정은 상기에서 설명한 바와 같다.

만약, 객체가 충분히 크거나, 객체의 측면 부분 등이 촬영되는 경우 등과 같이 동일한 객체 내에서도 다른 시차 값이 나오는 경우에는 시차 값이 가장 큰 값 (거리가 가장 가까운 값)을 이용하여 거리를 추정할 수 있다. 예를 들어, 추돌 방지 등과 같은 자동차 운전 분야에 적용하는 경우, 안전 운행 등을 위해 상기에서 추정된 가장 가까운 거리의 값을 사용할 수 있다. 다만, 적용되는 분야의 필요에 따라 시차 값이 가장 작은 값(거리가 가장 먼 값)이나 중간 값 등을 사용할 수도 있다.

도 7은 본 발명에 따른 일 실시예로서, 수직 거리를 이용한 객체 검출과 실제 거리를 이용한 객체 검출 결과를 개략적으로 나타낸 도면이다. 상기 도 7의 좌측 도면의 경우, 수직 거리를 이용한 객체 검출 결과이며, 촬영 위치를 기준으로 수평면 단위로 객체를 검출 및 거리를 추정하므로 A가 가장 가깝게 나타나며, B와 C는 동일한 거리로 추정된다.

그러나, 실제 거리를 이용하여 객체를 검출하는 경우, 상기 도 7의 우측 도면과 같이 촬영 위치를 기준으로 원형 단위로 객체를 검출 및 거리를 추정하므로, A와 B가 동일한 거리로 추정되며, C가 가장 멀리에 있는 객체로 추정된다.

도 8은 본 발명에 따른 일 실시예로서, 객체 검출 장치의 구성을 개략적으로 나타낸 도면이다. 상기 객체 검출 장치는 제1 영상 촬영장치(800), 제2 영상 촬영장치(805), 매칭부(810), 변화부(820) 및 객체 검출부(830)를 포함한다.

제1 영상 촬영 장치(800)와 제2 영상 촬영 장치(805)는 스테레오 비전 시스템에서 객체 검출, 거리, 속도 등의 추정에 필요한 좌측 영상과 우측 영상을 각각 촬영한다. 상기 영상 촬영 장치는 예를 들어, 카메라 등이 사용될 수 있다. 상기 제1 영상 촬영 장치(800)와 제2 영상 촬영 장치(805)에서 얻어진 좌측 영상과 우측 영상은 매칭부(810)로 출력된다.

상기 매칭부(810)는 입력된 좌측 영상과 우측 영상을 매칭하여 영상의 깊이 맵을 얻을 수 있다. 상기 깊이 맵은 실제 거리를 이용하여 스테레오 영상에 대한 깊이 맵을 얻을 수 있다. 예를 들어, 상기 수학식 2와 같은 수학식을 이용하여 중점(center)을 중심으로 거리에 따른 깊이 맵을 얻을 수 있다. 상기 얻어진 깊이 맵 정보는 변환부(820)로 전송된다.

변환부(820)는 수신된 깊이 맵을 변환하여 깊이 맵의 밝기 값이 수직 라인별로 수평이 되도록 변환한다. 상기 변환부(820)는 상기와 같은 변환을 위해 극좌표 변환 방법이나, 픽셀의 읽는 순서를 이용하여 맵핑하는 방법 등을 이용하여 깊이 맵을 변환할 수 있다.

객체 검출부(830)는 상기 변환부(820)로부터 상기와 같이 변환된 깊이 맵 정보를 수신하여 영상에 포함된 객체를 검출한다. 상기 객체 검출부(830)는 수평 라인마다 적응형 문턱 값 또는 적응형 문턱 치를 사용하여 노이즈를 제거하도록 한다. 그리고, 상기 객체 검출부(830)는 변환된 깊이 맵의 수직 라인에 따른 수직 시차맵을 생성하고, 영상에 포함된 객체를 검출할 수 있다. 상기에서 검출된 객체를 이용하여 객체의 거리, 속도 등을 추정할 수 있다.

도 9는 본 발명에 따른 일 실시예로서, 거리 추정 방법을 개략적으로 나타낸 순서도이다.

스테레오 비전 시스템의 영상 촬영 장치를 이용하여 좌우 영상을 촬영하고, 상기 촬영된 좌우 영상을 실제 거리를 기준으로 매칭한다(S900). 상기 S900 단계에 서의 매칭 결과, 중점을 중심으로 한 동심원 형태의 깊이 맵이 생성될 수 있다. 상기와 같은 깊이 맵이 생성되면 상기 동심원 형태의 깊이 맵이 수직 라인을 따라 수평 형태의 깊이 맵이 되도록 깊이 맵을 변환한다(S910). 예를 들어, 극좌표 변환 방법이나, 픽셀의 읽는 순서를 이용하여 맵핑하는 방법 등을 이용하여 깊이 맵을 변환할 수 있다.

상기와 같이 변환된 깊이 맵이 생성되면, 상기 변환된 깊이 맵을 이용하여 수직 시차맵을 산출할 수 있다(S920). 이때, 상기 변환된 깊이 맵의 픽셀 수의 차이를 고려하여 수평 라인마다 적응형 문턱 값을 이용하여 수직 시차맵을 산출할 수 있다. 상기 수직 시차맵이 산출되면, 상기 수직 시차맵을 이용하여 영상에 포함된 객체들을 검출할 수 있다.

상기 객체가 검출되면, 검출된 객체에 대한 시차를 산출하고, 상기 시차를 이용하여 목표 객체의 거리를 추정할 수 있다. 그리고, 상기 객체의 거리가 추정되면, 상기 추정된 거리 정보를 칼만 필터나 파티클 필터 등과 같은 동적 필터(dynamic filter)를 사용하여 필터링함으로써 프레임 단위로 객체와의 거리를 추적할 수도 있다.

본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.

도 1은 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 거리를 추정하는 방식을 개략적으로 나타낸 도면

도 2는 본 발명에 따른 일 실시예로서, 수직 거리를 이용하여 얻어진 깊이 맵(depth map)을 개략적으로 나타낸 도면

도 3은 본 발명에 따른 일 실시예로서, 수직 시차맵을 이용하여 객체를 검출하는 과정을 개략적으로 나타낸 도면

도 4는 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 객체의 실제 거리를 추정하는 방식을 개략적으로 나타낸 도면

도 5는 본 발명에 따른 일 실시예로서, 실제 거리를 이용하여 얻어진 깊이 맵을 개략적으로 나타낸 도면

도 6은 본 발명에 따른 일 실시예로서, 깊이 맵을 변환하여 수직 시차맵을 만드는 과정을 개략적으로 나타낸 도면

도 7은 본 발명에 따른 일 실시예로서, 수직 거리를 이용한 객체 검출과 실제 거리를 이용한 객체 검출 결과를 개략적으로 나타낸 도면

도 8은 본 발명에 따른 일 실시예로서, 객체 검출 장치의 구성을 개략적으로 나타낸 도면

도 9는 본 발명에 따른 일 실시예로서, 거리 추정 방법을 개략적으로 나타낸 순서도

*도면의 주요 부분에 대한 부호의 설명

800 : 제1 영상 촬영장치 805 : 제2 영상 촬영장치

810 : 매칭부 820 : 변환부

830 : 객체 검출부

Claims

촬영된 스테레오 영상을 객체와의 거리를 기준으로 매칭하여 중점을 중심으로 한 깊이 맵을 산출하는 단계;

상기 중점을 중심으로 한 깊이 맵이 수직 라인을 따라 수평이 되도록 깊이 맵을 변환하는 단계;

상기 변환된 깊이 맵의 픽셀들의 시차 값을 해당하는 수직 라인에 맵핑하여 수직 시차맵을 형성하는 단계; 및

상기 수직 시차맵에 맵핑된 시차 값의 분포에 따라 영상에 포함된 객체를 검출하는 단계를 포함하는 객체 검출 방법.
제 1 항에 있어서,

상기 중점을 중심으로 한 깊이 맵은,

중점을 중심으로 동일한 거리만큼 떨어진 지점의 픽셀은 동일한 밝기로 표현되는 깊이 맵인 객체 검출 방법.
제 1 항에 있어서,

상기 깊이 맵을 변환하는 단계는,

극좌표 변환 방법을 이용하여 깊이 맵을 변환하는 객체 검출 방법.
제 1 항에 있어서,

상기 깊이 맵을 변환하는 단계는,

중점에서 동일한 거리에 있는 픽셀의 밝기 값을 순서대로 읽어, 수직 라인별로 수평이 되도록 맵핑하여 깊이 맵을 변환하는 객체 검출 방법.
제 1 항에 있어서,

상기 수직 시차맵을 형성하는 단계는,

변환된 깊이 맵의 수평 라인마다 문턱 값을 이용하여 노이즈를 제거하고, 수직 시차맵을 형성하는 객체 검출 방법.
제 5 항에 있어서,

상기 수직 시차맵을 형성하는 단계는,

수평 라인마다 픽셀의 수를 고려한 적응형 문턱 값을 이용하여 노이즈를 제거하는 객체 검출 방법.
제 1 항에 있어서,

상기 검출된 객체의 시차를 계산하여 객체의 거리를 추정하는 단계를 더 포함하는 객체 검출 방법.
객체 검출 장치에 있어서,

촬영된 스테레오 영상을 객체와의 거리를 기준으로 매칭하여 중점을 중심으로 한 깊이 맵을 산출하는 매칭부;

상기 중점을 중심으로 한 깊이 맵이 수직 라인을 따라 수평이 되도록 깊이 맵을 변환하는 변환부; 및

상기 변환된 깊이 맵의 픽셀들의 시차 값을 해당하는 수직 라인에 맵핑하여 수직 시차맵을 형성하고, 상기 수직 시차맵에 맵핑된 시차 값의 분포에 따라 영상에 포함된 객체를 검출하는 객체 검출부를 포함하는 객체 검출 장치.
제 8 항에 있어서,

상기 매칭부는,

중점을 중심으로 동일한 거리만큼 떨어진 지점의 픽셀은 동일한 밝기로 표현되는 깊이 맵을 산출하는 객체 검출 장치.
제 8 항에 있어서,

상기 변환부는,

극좌표 변환 방법을 이용하여 깊이 맵을 변환하는 객체 검출 장치.
제 8 항에 있어서,

상기 변환부는,

중점에서 동일한 거리에 있는 픽셀의 밝기 값을 순서대로 읽어, 수직 라인별로 수평이 되도록 맵핑하여 깊이 맵을 변환하는 객체 검출 장치.
제 8 항에 있어서,

상기 객체 검출부는,

변환된 깊이 맵의 수평 라인마다 문턱 값을 이용하여 노이즈를 제거하고, 수직 시차맵을 형성하는 객체 검출 장치.
제 12 항에 있어서,

상기 객체 검출부는,

수평 라인마다 픽셀의 수를 고려한 적응형 문턱 값을 이용하여 노이즈를 제거하는 객체 검출 장치.