KR20150020953A - 영상 처리 방법 및 영상 처리 장치 - Google Patents

Abstract

본 발명의 실시예는 깊이 맵의 해상도보다 더 높은 해상도를 갖는 색상 영상을 이용하여 깊이 맵의 해상도를 색상 영상의 해상도로 업샘플링할 수 있는 영상 처리 방법 및 영상 처리에 관한 것으로서, 특정한 장면(scene)에 대한 깊이 맵 및 색상 영상을 수신하는 단계, 깊이 맵에 포함된 각각의 지점을 색상 영상에 투영하는 단계, 깊이 맵이 투영된 색상 영상을 적어도 둘 이상의 영상 분할(image segmentation) 방법을 이용하여 분할함으로써 각각의 분할된 결과를 생성하고, 각각의 분할된 결과에 따라 색상 영상에 포함된 지점들을 적어도 하나 이상의 집합으로 분류하는 단계, 집합에 포함된 색상 영상의 지점에 깊이값을 설정하는 단계, 및 깊이값이 설정된 색상 영상을 출력하는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.

Description

영상 처리 방법 및 영상 처리 장치{METHOD AND APPARATUS FOR PROCESSING IMAGES}

본 발명의 실시예는 영상 처리 방법 및 영상 처리 장치에 관한 것으로서, 보다 상세하게는 깊이 맵의 해상도보다 더 높은 해상도를 갖는 색상 영상을 이용하여 상기 깊이 맵의 해상도를 상기 색상 영상의 해상도로 업샘플링할 수 있는 영상 처리 방법 및 영상 처리에 관한 것이다.

전통적으로 2차원 영상을 촬영하는 카메라에 대한 연구가 많이 진행되었고, 관련 제품도 다수 출시되었다. 종래에는 아날로그 방식의 카메라가 주로 이용되었으나 최근 들어서는 디지털 방식의 카메라가 널리 이용되고 있다. 디지털 카메라에 대한 연구 역시 활발하다. 높은 해상도 및 높은 품질을 가진 사진을 용이하게 촬영할 수 있는 디지털 카메라에 대한 연구가 계속되고 있다.

최근에는 3차원 표시 장치의 보급과 더불어 3차원 촬영 장치에 대한 수요가 늘고 있다. 다양한 종류의 3차원 카메라가 판매되고 있으며, 3차원 카메라를 활용한 기술도 발전하고 있다.

예를 들어, 조이스틱 등의 물리적인 컨트롤러 없이 사람의 제스처(gesture)를 이용하여 전자 장치를 제어할 수 있는 기술이 소개되었다. 또한, 3차원 카메라 덕분에 장면(scene) 또는 사물의 3차원 모델을 생성하는 일도 종래에 비해 훨씬 용이해졌다.

3차원 카메라는 대상의 표면의 3차원 위치 정보를 실시간으로 제공할 수 있다는 장점을 갖는다. 그러나, 일반적으로 3차원 카메라는 2차원 카메라에 비해 낮은 해상도를 갖는다. 현재까지 상용화된 3차원 카메라 중에서 해상도가 가장 높은 제품의 해상도는 320 * 240 화소이다. 이는 풀 HD(full HD) 해상도(1920 * 1080)의 1/27배 정도이다.

또한, 최근의 3차원 카메라들은 깊이를 감지하는 센서뿐만 아니라 색상을 감지하는 카메라도 포함하고 있다. 이로써, 장면의 3차원 깊이 정보와 함께 장면의 고해상도 색상 정보가 제공될 수 있다.

본 발명의 실시예는 깊이 맵의 해상도보다 더 높은 해상도를 갖는 색상 영상을 이용하여 상기 깊이 맵의 해상도를 상기 색상 영상의 해상도로 업샘플링할 수 있는 영상 처리 방법 및 영상 처리를 제공할 수 있다.

본 발명의 실시예는 대상에 대한 깊이 맵에서의 경계가 대상에 대한 색상 영상에서의 경계와 일치하도록 상기 깊이 맵을 업샘플링할 수 있는 영상 처리 방법 및 영상 처리를 제공할 수 있다.

본 발명의 실시예는 깊이 맵의 해상도를 상기 해상도보다 더 높은 해상도로 업샘플링할 수 있는 영상 처리 방법 및 영상 처리를 제공할 수 있다.

본 발명의 실시예는 시점의 위치 및 방향이 유사한 깊이 센서 및 색상 카메라를 통해 각각 수신된 깊이 맵 및 색상 영상을 이용하여, 상기 색상 영상의 시점 및 해상도와 동일한 시점 및 해상도를 갖는 깊이 맵을 생성할 수 있는 영상 처리 방법 및 영상 처리 장치를 제공할 수 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.

본 발명의 실시예에 따른 영상 처리 방법은, 특정한 장면(scene)에 대한 깊이 맵 및 색상 영상을 수신하는 단계, 상기 깊이 맵에 포함된 각각의 지점을 상기 색상 영상에 투영하는 단계, 상기 깊이 맵이 투영된 상기 색상 영상을 적어도 둘 이상의 영상 분할(image segmentation) 방법을 이용하여 분할함으로써 각각의 분할된 결과를 생성하고, 상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 지점들을 적어도 하나 이상의 집합으로 분류하는 단계, 상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계, 및 상기 깊이값이 설정된 상기 색상 영상을 출력하는 단계를 포함할 수 있다.

또한, 상기 깊이 맵의 해상도는 상기 색상 영상의 해상도보다 더 낮을 수 있다.

또한, 상기 깊이 맵에 포함된 각각의 지점을 상기 색상 영상에 투영하는 단계는, 상기 깊이 맵의 각각의 제1지점의 깊이값 및 상기 제1지점과 서로 인접한 제2지점의 깊이값을 이용하여, 상기 제1지점 중에서 상기 제2지점과 서로 불연속하는 불연속 지점을 검출하는 단계, 상기 제1지점의 깊이값과 상기 제2지점의 깊이값의 차이 및 상기 제1지점을 이용하여 메쉬를 생성하는 단계, 및 상기 메쉬를 상기 색상 영상에 투영하는 단계를 포함할 수 있다.

또한, 상기 제1지점 중에서 상기 제2지점과 서로 불연속하는 불연속 지점을 검출하는 단계는, 상기 제1지점의 깊이값과 상기 제2지점의 깊이값의 차이 또는 상기 장면 내에 존재하는 적어도 하나 이상의 객체 중에서 상기 제1지점에 대응되는 제1객체와 상기 제2지점에 대응되는 제2객체가 서로 동일한지 여부에 대한 판정결과를 이용하여 상기 불연속 지점을 검출하는 단계를 포함할 수 있다.

또한, 상기 제1지점 중에서 상기 제2지점과 서로 불연속하는 불연속 지점을 검출하는 단계는, 상기 깊이 맵의 각각의 제1지점에 대해 상기 제1지점의 접평면에 대응되는 벡터를 산출하는 단계, 상기 각각의 제1지점에 대해 상기 제1지점을 중심으로 한 특정한 범위의 영역 내에 포함된 적어도 하나 이상의 제3지점의 상기 벡터를 이용하여 계산된 상기 제1지점의 예상 깊이값과 상기 깊이 맵에 포함된 상기 제1지점의 깊이값의 차이 중에서 최소값을 산출하는 단계, 및 상기 제1지점의 깊이값, 상기 제2지점의 깊이값, 상기 제1지점의 상기 최소값 및 상기 제2지점의 상기 최소값을 이용하여 상기 제1지점 중에서 상기 제2지점과 서로 불연속하는 불연속 지점을 검출하는 단계를 포함할 수 있다.

또한, 상기 메쉬를 생성하는 단계는, 상기 제1지점과 가로 방향으로 서로 인접한 제4지점을 상기 제1지점과 연결하는 단계, 상기 제1지점과 세로 방향으로 서로 인접한 상기 제5지점을 상기 제1지점과 연결하는 단계, 및 상기 제4지점의 깊이값과 상기 제5지점의 깊이값의 차이 및 상기 제4지점과 세로 방향으로 인접하고 상기 제5지점과 가로 방향으로 인접하는 제6지점의 깊이값과 상기 제1지점의 깊이값의 차이 중에서 더 작은 쪽에 대응되는 상기 지점들을 서로 연결하는 단계를 포함할 수 있다.

또한, 상기 색상 영상에 포함된 지점들을 적어도 하나 이상의 집합으로 분류하는 단계는, 상기 투영된 메쉬의 각각의 정점의 깊이값을 이용하여 상기 투영된 메쉬에 포함된 각각의 지점에 깊이값을 설정하는 단계, 상기 투영된 메쉬 중에서, 다른 메쉬에 의해 가려지는 적어도 하나 이상의 정점을 포함하는 적어도 하나 이상의 메쉬 및 상기 불연속 지점을 중심으로 한 특정한 범위의 영역을 포함하는 불연속 영역을 검출하는 단계, 상기 투영된 메쉬 중에서, 적어도 하나 이상의 상기 불연속 지점을 포함하는 적어도 하나 이상의 메쉬를 포함하는 홀(hole) 영역을 검출하는 단계, 상기 홀 영역의 내부에 적어도 하나 이상의 가상 정점을 생성하는 단계, 상기 적어도 둘 이상의 영상 분할 방법, 상기 정점 및 상기 가상 정점을 이용하여 상기 색상 영상을 분할하는 단계, 및 상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 상기 지점들을 상기 집합으로 분류하는 단계를 포함할 수 있다.

또한, 상기 투영된 메쉬에 포함된 각각의 지점에 깊이값을 설정하는 단계는 상기 각각의 정점의 위치를 기초로 한 평면 방정식을 이용하여 상기 투영된 메쉬에 포함된 각각의 지점에 상기 깊이값을 보간하여 설정하는 단계, 및 상기 색상 영상에 포함된 지점 중에서 적어도 둘 이상의 상기 메쉬에 대응되는 지점에는, 상기 지점에 대응되는 상기 깊이값 중에서 가장 작은 깊이값을 설정하는 단계를 포함할 수 있다.

또한, 상기 적어도 둘 이상의 영상 분할 방법, 상기 정점 및 상기 가상 정점을 이용하여 상기 색상 영상을 분할하는 단계는, 제1 영상 분할 방법을 이용하여, 하나의 상기 정점 또는 하나의 상기 가상 정점을 포함하거나 상기 정점 및 상기 가상 정점을 포함하지 않는 적어도 하나 이상의 영역으로 상기 메쉬가 투영된 상기 색상 영상이 분할된 제1분할영상을 생성하는 단계, 및 상기 제1 영상 분할 방법과 서로 다른 제2 영상 분할 방법 이용하여 하나의 상기 정점 또는 하나의 상기 가상 정점을 포함하거나 상기 정점 및 상기 가상 정점을 포함하지 않는 적어도 하나 이상의 영역으로 상기 메쉬가 투영된 상기 색상 영상이 분할된 제2분할영상을 생성하는 단계를 포함할 수 있다.

또한, 상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 상기 지점들을 상기 집합으로 분류하는 단계는, 적어도 하나 이상의 영역으로 상기 깊이 맵이 분할된 제3분할영상을 생성하고, 상기 제3분할영상에 포함된 각각의 영역에 서로 다른 레이블을 설정하는 단계, 상기 제1분할영상에 포함된 각각의 영역에 포함된 상기 정점에 대응되는 상기 제3분할영상의 영역에 설정된 상기 레이블에 대응하는 레이블을 상기 제1분할영상에 포함된 각각의 영역에 설정하는 단계, 상기 제2분할영상에 포함된 각각의 영역에 포함된 상기 정점에 대응되는 상기 제3분할영상의 영역에 설정된 상기 레이블에 대응하는 레이블을 상기 제2분할영상에 포함된 각각의 영역에 설정하는 단계, 및 상기 제1분할영상에 포함된 각각의 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 레이블이 상기 제1픽셀에 대응되는 상기 제2분할영상의 제2픽셀에 대응되는 상기 레이블과 서로 동일한 적어도 하나 이상의 상기 제1픽셀을 포함하는 제1집합을 생성하는 단계를 포함할 수 있다.

또한, 상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계는, 상기 제1집합에 포함된 각각의 제3픽셀에 대하여, 상기 제3픽셀의 색상 및 상기 제3픽셀의 위치를 기초로 하여 깊이 히스토그램이 생성되고 상기 깊이 히스토그램의 피크(peak)에 대응되는 상기 깊이값이 상기 제3픽셀의 깊이값으로서 설정되는 단계를 포함할 수 있다.

또한, 상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계는, 상기 제1집합에 포함된 각각의 제3픽셀에 대하여, 상기 제3픽셀을 중심으로 한 특정한 범위의 영역 내에 포함되고 상기 깊이값이 설정된 적어도 하나 이상의 제4픽셀의 상기 깊이값, 상기 제3픽셀과 상기 제4픽셀의 위치 차이 및 상기 제3픽셀과 상기 제4픽셀의 색상 차이를 이용하여 제1 깊이 히스토그램이 생성되는 단계, 상기 제3픽셀에 대응하는 레이블과 서로 동일한 레이블에 대응되는 적어도 하나 이상의 제5픽셀의 상기 깊이값, 상기 제3픽셀과 상기 제5픽셀의 위치 차이 및 상기 제3픽셀과 상기 제5픽셀의 색상 차이를 이용하여 제2 깊이 히스토그램이 생성되는 단계, 및 상기 제1 깊이 히스토그램 및 상기 제2 깊이 히스토그램에 가중치가 적용되어 합산된 결과의 피크(peak)에 대응되는 상기 깊이값이 상기 제3픽셀의 깊이값으로서 설정되는 단계를 포함할 수 있다.

또한, 상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 상기 지점들을 상기 집합으로 분류하는 단계는, 상기 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 영역 또는 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 영역 중에서 적어도 하나 이상이 상기 가상 정점을 포함하는 적어도 하나 이상의 상기 제1픽셀을 포함하는 제2집합을 생성하는 단계를 더 포함할 수 있다.

또한, 상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계는, 상기 제2집합에 포함된 각각의 제6픽셀은, 상기 제6픽셀의 색상 및 상기 제6픽셀의 위치를 기초로 하여 선택되고 상기 깊이값이 설정된 하나의 제7픽셀을 포함하는 적어도 하나 이상의 서브집합으로 분할되고, 상기 각각의 제6픽셀의 깊이값으로서 상기 제6픽셀이 포함된 상기 서브집합에 포함된 상기 제7픽셀의 깊이값이 설정되는 단계를 포함할 수 있다.

또한, 상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 상기 지점들을 상기 집합으로 분류하는 단계는, 상기 각각의 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 레이블이 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 레이블과 서로 다르고, 상기 제1픽셀에 대응되는 상기 영역 또는 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 영역 중에서 적어도 하나 이상이 상기 정점을 포함하는 적어도 하나 이상의 상기 제1픽셀을 포함하는 제3집합을 생성하는 단계를 더 포함할 수 있다.

또한, 상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계는, 상기 제3집합에 포함된 각각의 제8픽셀에 대하여, 상기 제8픽셀을 중심으로 한 특정한 범위의 영역 내에 포함되고 상기 깊이값이 설정된 적어도 하나 이상의 제9픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제9픽셀의 위치 차이 및 상기 제8픽셀과 상기 제9픽셀의 색상 차이를 이용하여 제3 깊이 히스토그램이 생성되는 단계, 상기 제8픽셀에 대응하는 레이블과 서로 동일한 레이블에 대응되는 적어도 하나 이상의 제10픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제10픽셀의 위치 차이 및 상기 제8픽셀과 상기 제10픽셀의 색상 차이를 이용하여 제4 깊이 히스토그램이 생성되는 단계, 상기 제3집합을 둘러싸고 상기 깊이값이 설정된 적어도 하나 이상의 제11픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제11픽셀의 위치 차이 및 상기 제8픽셀과 상기 제11픽셀의 색상 차이를 이용하여 제5 깊이 히스토그램이 생성되는 단계, 및 상기 제3 깊이 히스토그램, 상기 제4 깊이 히스토그램 및 상기 제5 깊이 히스토그램에 가중치가 적용되어 합산된 합산 히스토그램이 생성되는 단계를 포함할 수 있다.

또한, 상기 합산 히스토그램이 생성되는 단계 이후에, 상기 제1 합산 히스토그램의 피크(peak)에 대응되는 상기 깊이값이 상기 제8픽셀의 깊이값으로서 설정되는 단계를 더 포함할 수 있다.

또한, 상기 합산 히스토그램이 생성되는 단계 이후에, 상기 제8픽셀과 인접한 픽셀과 상기 제8픽셀의 색상 차이를 기초로 한 가중치 및 상기 합산 히스토그램을 이용하여 모델링된 마르코프 무작위 필드(Markov Random Field) 점수를 최대화하는 깊이값이 상기 제8픽셀의 깊이값으로서 설정되는 단계를 더 포함할 수 있다.

또한, 상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 상기 지점들을 상기 집합으로 분류하는 단계는, 상기 각각의 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 영역 및 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 영역이 상기 정점 및 상기 가상 정점을 포함하지 않는 적어도 하나 이상의 상기 제1픽셀을 포함하는 제4집합을 생성하는 단계를 더 포함할 수 있다.

또한, 상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계는, 상기 제4집합에 포함된 각각의 제12픽셀에 대하여, 상기 제4집합을 둘러싸고 상기 깊이값이 설정된 적어도 하나 이상의 제13픽셀의 상기 깊이값 및 상기 제12픽셀과 상기 제13픽셀의 위치 차이를 이용하여 깊이 히스토그램이 생성되는 단계를 포함할 수 있다.

또한, 상기 깊이 히스토그램이 생성되는 단계 이후에, 상기 깊이 히스토그램의 피크(peak)에 대응되는 상기 깊이값이 상기 제12픽셀의 깊이값으로서 설정되는 단계를 더 포함할 수 있다.

또한, 상기 깊이 히스토그램이 생성되는 단계 이후에, 상기 제12픽셀과 인접한 픽셀과 상기 제12픽셀의 색상 차이를 기초로 한 가중치 및 상기 깊이 히스토그램을 이용하여 모델링된 마르코프 무작위 필드(Markov Random Field) 점수를 최대화하는 깊이값이 상기 제12픽셀의 깊이값으로서 설정되는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따른 영상 처리 장치는, 특정한 장면(scene)에 대한 깊이 맵 또는 색상 영상을 수신하거나 생성하는 입력부, 상기 깊이 맵에 포함된 각각의 지점을 상기 색상 영상에 투영하고, 상기 깊이 맵이 투영된 상기 색상 영상을 적어도 둘 이상의 영상 분할 방법을 이용하여 각각의 분할된 결과를 생성하고, 상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 지점들을 적어도 하나 이상의 집합으로 분류하고, 상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 이미지 처리부, 및 상기 깊이값이 설정된 상기 색상 영상을 출력하는 출력부를 포함할 수 있다.

본 발명의 실시예에 따르면 깊이 맵의 해상도보다 더 높은 해상도를 갖는 색상 영상을 이용하여 상기 깊이 맵의 해상도를 상기 색상 영상의 해상도로 업샘플링할 수 있다.

본 발명의 실시예에 따르면 대상에 대한 깊이 맵에서의 경계가 대상에 대한 색상 영상에서의 경계와 일치하도록 상기 깊이 맵을 업샘플링할 수 있다.

본 발명의 실시예에 따르면 깊이 맵의 해상도를 상기 해상도보다 더 높은 해상도로 업샘플링할 수 있다.

본 발명의 실시예에 따르면 시점의 위치 및 방향이 유사한 깊이 센서 및 색상 카메라를 통해 각각 수신된 깊이 맵 및 색상 영상을 이용하여, 상기 색상 영상의 시점 및 해상도와 동일한 시점 및 해상도를 갖는 깊이 맵을 생성할 수 있다.

도 1은 본 발명의 실시예에 따른 영상 처리 방법이 수행되는 순서를 나타낸 순서도이다.
도 2는 본 발명의 실시예에 따라 수신된 깊이 맵을 시각적으로 도시화한 도면이다.
도 3은 본 발명의 실시예에 따라 수신된 색상 영상을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따라 깊이 맵이 색상 영상에 투영되는 순서를 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따라 깊이 맵의 지점 중에서 인접한 지점과 서로 불연속하는 불연속 지점이 검출되는 순서를 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따라 주변 지점의 벡터를 이용하여 특정한 지점의 예상 깊이값이 계산되는 과정을 설명하기 위한 참고도이다.
도 7은 본 발명의 실시예에 따라 깊이 맵의 지점 중에서 인접한 지점과 서로 불연속하는 불연속 지점이 검출된 결과를 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따라 깊이 맵의 지점 중에서 인접한 지점과 서로 불연속하는 불연속 지점이 검출된 결과를 시각적으로 나타낸 도면이다.
도 9는 본 발명의 실시예에 따라 메쉬가 생성되는 순서를 나타낸 순서도이다.
도 10은 본 발명의 실시예에 따라 메쉬가 생성된 결과를 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따라 메쉬가 색상 영상에 투영된 결과를 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따라 메쉬가 색상 영상에 투영된 결과를 시각적으로 나타낸 도면이다.
도 13은 본 발명의 실시예에 따라 색상 영상이 둘 이상의 방법으로 분할되고 분할 결과에 따라 각각의 지점들이 하나 이상의 집합으로 분류되는 순서를 나타낸 순서도이다.
도 14는 본 발명의 실시예에 따라 메쉬의 각각의 정점의 깊이값을 이용하여 메쉬에 포함된 각각의 지점에 깊이값이 설정되는 순서를 나타낸 순서도이다.
도 15는 본 발명의 실시예에 따라 메쉬에 포함된 각각의 지점에 깊이값이 설정된 결과를 나타낸 개념도이다.
도 16은 본 발명의 실시예에 따라 불연속 영역이 검출된 결과를 나타낸 개념도이다.
도 17은 본 발명의 실시예에 따라 홀 영역이 검출된 결과를 나타낸 개념도이다.
도 18은 본 발명의 실시예에 따라 불연속 영역 및 홀 영역이 검출된 결과를 시각적으로 나타낸 도면이다.
도 19는 본 발명의 실시예에 따라 홀 영역 내부에 가상 정점이 생성된 결과를 나타낸 개념도이다.
도 20은 본 발명의 실시예에 따라 둘 이상의 영상 분할 방법을 이용하여 색상 영상이 분할되는 순서를 나타내는 순서도이다.
도 21은 본 발명의 실시예에 따라 제1 영상 분할 방법을 이용하여 색상 영상이 분할된 결과를 시각적으로 나타낸 도면이다.
도 22는 본 발명의 실시예에 따라 제2 영상 분할 방법을 이용하여 색상 영상이 분할된 결과를 시각적으로 나타낸 도면이다.
도 23은 본 발명의 실시예에 따라 색상 영상의 각각의 지점들을 하나 이상의 집합으로 분류하는 순서를 나타내는 순서도이다.
도 24는 본 발명의 실시예에 따라 깊이 맵이 분할된 분할영상을 시각적으로 나타낸 도면이다.
도 25는 본 발명의 실시예에 따라 제1 영상 분할 방법을 이용하여 분할된 각각의 영역에 레이블이 설정된 결과를 시각적으로 나타낸 도면이다.
도 26은 본 발명의 실시예에 따라 제2 영상 분할 방법을 이용하여 분할된 각각의 영역에 레이블이 설정된 결과를 시각적으로 나타낸 도면이다.
도 27은 본 발명의 실시예에 따라 색상 영상의 각각의 지점들이 하나 이상의 집합으로 분류된 결과를 시각적으로 나타낸 도면이다.
도 28은 본 발명의 실시예에 따라 집합에 포함된 지점에 깊이값을 설정하는 순서를 나타내는 순서도이다.
도 29는 본 발명의 실시예에 따라 제1집합의 픽셀에 대해 깊이 히스토그램이 생성되고 깊이값이 픽셀에 설정되는 순서를 나타내는 순서도이다.
도 30은 본 발명의 실시예에 따라 제2집합의 픽셀이 서브집합으로 분할된 결과를 나타낸 개념도이다.
도 31은 본 발명의 실시예에 따라 제2집합의 픽셀에 깊이값이 설정된 결과를 시각적으로 나타낸 도면이다.
도 32는 본 발명의 실시예에 따라 제3집합의 픽셀에 대해 깊이 히스토그램이 생성되고 깊이값이 픽셀에 설정되는 순서를 나타내는 순서도이다.
도 33은 본 발명의 다른 실시예에 따라 제3집합의 픽셀에 대해 깊이 히스토그램이 생성되고 깊이값이 픽셀에 설정되는 순서를 나타내는 순서도이다.
도 34는 본 발명의 실시예에 따라 제4집합의 픽셀에 대해 깊이 히스토그램이 생성되고 깊이값이 픽셀에 설정되는 순서를 나타내는 순서도이다.
도 35는 본 발명의 실시예에 따라 제4집합을 둘러싸는 픽셀을 이용하여 깊이 히스토그램이 생성되는 과정을 설명하기 위한 참고도이다.
도 36은 본 발명의 다른 실시예에 따라 제4집합의 픽셀에 대해 깊이 히스토그램이 생성되고 깊이값이 픽셀에 설정되는 순서를 나타내는 순서도이다.
도 37은 본 발명의 실시예에 따라 깊이값이 설정된 색상 영상이 출력된 결과를 시각적으로 나타낸 도면이다.
도 38은 본 발명의 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.

본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하에서는, 도 1 내지 도 38을 참조하여 본 발명의 실시예에 따른 영상 처리 방법 및 영상 처리 장치(100)에 대해 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 영상 처리 방법이 수행되는 순서를 나타낸 순서도이다. 도 1을 참조하면 본 발명의 실시예에 따른 영상 처리 방법은 먼저, 특정한 장면(scene)에 대한 깊이 맵(map) 및 색상 영상을 수신하는 단계(S100)가 수행될 수 있다.

도 2는 본 발명의 실시예에 따라 수신된 깊이 맵을 시각적으로 도시화한 도면이다. 깊이 맵은 깊이 센서에 의해 생성될 수 있다. 또한, 깊이 맵은 깊이 센서에 의해 감지된 결과가 변환된 결과물일 수 있다. 깊이 센서는 예를 들어, 스테레오스코픽 카메라(stereoscopic camera), 패턴 프로젝션 카메라(pattern projection camera), TOF(Time Of Flight) 카메라, 또는 유사한 측정 장치 중에서 어느 하나일 수 있다.

도 3은 본 발명의 실시예에 따라 수신된 색상 영상을 나타낸 도면이다. 색상 영상은 광학 촬영 장치에 의해 생성될 수 있다. 또한, 색상 영상은 광학 촬영 장치에 의해 촬영된 결과가 변환된 결과물일 수 있다. 광학 촬영 장치는 예를 들어, CMOS 카메라, CCD 카메라(Charge-Coupled Device camera), 또는 유사한 촬영 장치 중에서 어느 하나일 수 있다.

본 발명의 실시예에 따르면 상기 깊이 맵 및 색상 영상은 시점의 위치 및 방향이 유사한 깊이 센서 및 색상 카메라를 통해 각각 수신될 수 있다. 또한, 색상 영상의 해상도는 깊이 맵의 해상도보다 더 높을 수 있다.

다시 도 1을 참조하면, 다음으로, 상기 깊이 맵에 포함된 각각의 지점을 상기 색상 영상에 투영하는 단계(S200)가 수행될 수 있다. 도 4는 본 발명의 실시예에 따라 깊이 맵이 색상 영상에 투영되는 순서를 나타낸 순서도이다.

도 4를 참조하면, 깊이 맵이 색상 영상에 투영되는 단계(S200)는 먼저, 상기 깊이 맵의 각각의 제1지점의 깊이값 및 상기 제1지점과 서로 인접한 제2지점의 깊이값을 이용하여, 상기 제1지점 중에서 상기 제2지점과 서로 불연속하는 불연속 지점을 검출하는 단계(S210)가 수행될 수 있다. 도 5는 본 발명의 실시예에 따라 깊이 맵의 지점 중에서 인접한 지점과 서로 불연속하는 불연속 지점이 검출되는 순서를 나타낸 순서도이다.

도 5를 참조하면, 깊이 맵의 지점 중에서 인접한 지점과 서로 불연속하는 불연속 지점이 검출되는 단계(S210)는 먼저, 상기 깊이 맵의 각각의 제1지점에 대해 상기 제1지점의 접평면에 대응되는 벡터를 산출하는 단계(S211)가 수행될 수 있다.

본 발명의 실시예에 따르면 미리 정해진 문턱값을 이용하여 깊이 맵에서 서로 인접한 제1지점들 사이의 불연속성(discontinuity) 여부가 판정될 수 있다. 만약 대상의 연속된 표면의 법선 방향과 깊이 센서의 시각 방향(viewing direction)이 특정한 기준 각도보다 큰 각도를 이룬다고 가정하면, 서로 인접한 제1지점들 각각의 깊이값의 상기 문턱값보다 클 수 있다. 따라서, 실제로는 대상의 표면이 연속성을 가짐에도 불구하고 불연속성을 가진다고 판정될 수 있다. 따라서 본 발명의 실시예에서와 같이 제1지접의 접평면에 대응되는 벡터를 산출하고 이를 이용하는 경우, 대상의 표면의 법선 방향에 대한 요소가 고려되므로 상기와 같은 오류가 방지될 수 있다.

본 발명의 실시예에 따르면, 어느 하나의 제1지점을 중심으로 하는 3 * 3 크기의 영역에 포함된 각각의 지점의 깊이값을 이용하여 상기 제1지점의 접평면에 대응되는 벡터가 산출될 수 있다. 예를 들어, 제1지점 u의 깊이값 du는 다음의 수학식 1과 같이 표현될 수 있다.

따라서, 본 발명의 실시예에 따르면 상기 3 * 3 크기의 영역에 포함된 각각의 지점의 위치 벡터 (x, y) 및 각각의 지점의 깊이값을 이용하여 상기 수학식 1을 만족시키는 벡터

이 산출될 수 있다. 상기와 같은 과정을 상기 깊이 맵에 포함된 모든 지점에 대하여 반복하면 상기 각각의 지점에 대해 상기 벡터가 하나씩 산출될 수 있다.

다음으로, 상기 각각의 제1지점에 대해 상기 제1지점을 중심으로 한 특정한 범위의 영역 내에 포함된 적어도 하나 이상의 제3지점의 상기 벡터를 이용하여 계산된 상기 제1지점의 예상 깊이값과 상기 깊이 맵에 포함된 상기 제1지점의 깊이값의 차이 중에서 최소값을 산출하는 단계(S212)가 수행될 수 있다. 도 6은 본 발명의 실시예에 따라 주변 지점의 벡터를 이용하여 특정한 지점의 예상 깊이값이 계산되는 과정을 설명하기 위한 참고도이다.

도 6에 나타난 바와 같이, 제1지점을 중심으로 한 3 * 3의 크기의 영역 내에 포함된 각각의 지점에 대해 앞서 산출된 벡터를 이용하여 상기 제1지점의 예상 깊이값이 산출될 수 있다. 다시 말해서, 상기 영역 내에 포함된 지점 중에서 상기 제1지점을 제외한 8개의 제3지점 각각을 이용하여 상기 제1지점에 대한 8개의 예상 깊이값이 산출될 수 있다. 예상 깊이값은 상기 제1지점의 위치에 대응하는 벡터와 상기 제3지점에 대해 앞서 산출된 벡터를 내적함으로써 산출될 수 있다.

또한, 상기 산출된 예상 깊이값과 상기 깊이 맵에 포함된 상기 제1지점의 실제 깊이값의 차이가 산출될 수 있다. 도 6을 참조하면 총 8의 예상 깊이값이 산출될 수 있으므로 총 8개의 차이값이 산출될 수 있다. 또한, 상기 산출된 차이값 중에서 최소값이 산출될 수 있다. 상기와 같은 과정을 상기 깊이 맵에 포함된 모든 지점에 대하여 반복하면 상기 각각의 지점에 대해 상기 최소값이 하나씩 산출될 수 있다.

상술한 바에 따르면, 제1지점 u에 대응되는 상기 최소값 lu는 다음의 수학식 2와 같이 표현될 수 있다.

상기 수학식 2에서 Nu는 상기 제1지점 u를 중심으로 한 특정한 크기의 영역 내에 포함된 제3지점 u'을 포함하는 집합이다. 상기 수학식 2에서 벡터 u는 상기 제1지점 u의 위치 벡터이다. 또한, 상기 수학식 2에서 du는 깊이맵에 포함된 상기 제1지점 u의 깊이값이다. 또한, lu'은 제3지점 u'의 접평면에 대응되는 벡터이다.

다음으로, 상기 제1지점의 깊이값, 상기 제2지점의 깊이값, 상기 제1지점의 상기 최소값 및 상기 제2지점의 상기 최소값을 이용하여 상기 제1지점 중에서 상기 제2지점과 서로 불연속하는 불연속 지점을 검출하는 단계(S213)가 수행될 수 있다.

예를 들어, 상기 제1지점의 깊이값과 상기 제2지점의 깊이값의 차이가 작을수록 상기 제1지점과 상기 제2지점은 연속성을 가질 확률이 더 높을 수 있다. 따라서, 상기 제1지점의 깊이값과 상기 제2지점의 깊이값의 차이를 상기 문턱값과 비교함으로써 불연속성 여부가 판정될 수 있다.

또한, 상기 장면 내에 존재하는 적어도 하나 이상의 객체 중에서 상기 제1지점에 대응되는 제1객체와 상기 제2지점에 대응되는 제2객체가 서로 동일한지 여부에 대한 판정결과에 따라 불연속성이 판단될 수 있다. 상기 제1객체와 상기 제2객체가 서로 동일한지 여부에 대한 판정은 다음과 같이 수행될 수 있다.

제2지점의 접평면에 대응되는 벡터를 이용하여 계산된 상기 제1지점의 예상 깊이값과 깊이 맵에 포함된 상기 제1지점의 실제 깊이값의 차이가 작을수록 연속성을 가질 확률이 더 높을 수 있다. 또한, 상기 제1지점의 접평면에 대응되는 벡터를 이용하여 계산된 상기 제2지점의 예상 깊이값과 깊이 맵에 포함된 상기 제2지점의 실제 깊이값의 차이가 작을수록 연속성을 가질 확률이 더 높을 수 있다.

따라서, 상기 차이값과 문턱값을 비교함으로써 불연속성 여부가 판정될 수 있다. 상기 제1지점 또는 상기 제2지점의 예상 깊이값은 상기 제1지점 또는 상기 제2지점의 위치에 대응하는 벡터와 상기 제2지점 또는 상기 제1지점에 대해 앞서 산출된 최소값을 내적함으로써 산출될 수 있다.

상술한 바에 따르면, 제1지점 u와 상기 제1지점 u에 인접하는 제2지점 u' 사이의 불연속성 여부를 판정하기 위해 다음의 수학식 3에 나타난 바와 같은 불연속 지수 e가 산출될 수 있다. 또한, 상기 불연속 지수 e와 미리 정의된 문턱값을 비교하여 상기 불연속 지수 e가 상기 문턱값보다 크거나 같은 경우, 제1지점 u와 제2지점 u'는 불연속성을 갖는 것으로 판정될 수 있다.

상기 수학식 3에서, du는 제1지점 u의 깊이값이고, du'은 제2지점 u'의 깊이값이다. 벡터 u는 제1지점 u의 위치 벡터이고 벡터 u'은 제2지점 u'의 위치 벡터이다. 벡터 lu'은 제2지점 u'에 대해 앞서 산출된 최소값이고, 벡터 lu는 제1지점 u에 대해 앞서 산출된 최소값이다.

도 7은 본 발명의 실시예에 따라 깊이 맵의 지점 중에서 인접한 지점과 서로 불연속하는 불연속 지점이 검출된 결과를 나타낸 개념도이다. 도 7을 참조하면 인접한 두 지점이 불연속성을 가지는 경우 상기 두 지점을 잇는 간선(edge)은 점선으로 표현되어 있다. 또한, 인접한 두 지점이 연속성을 가지는 경우 상기 두 지점을 잇는 간선은 실선으로 표현되어 있다. 도 7을 참조하면, 검정색 지점으로 구성된 부분은 회색 지점으로 구성된 부분과 불연속성을 가질 수 있다. 따라서, 검정색 지점으로 구성된 부분과 회색 지점으로 구성된 부분은 서로 다른 객체일 수 있다.

도 8은 본 발명의 실시예에 따라 깊이 맵의 지점 중에서 인접한 지점과 서로 불연속하는 불연속 지점이 검출된 결과를 시각적으로 나타낸 도면이다. 도 8을 참조하면, 불연속 지점의 집합은 장면에 포함된 객체의 경계를 나타낼 수 있다.

다시 도 4를 참조하면, 다음으로, 상기 제1지점의 깊이값과 상기 제2지점의 깊이값의 차이 및 상기 제1지점을 이용하여 메쉬를 생성하는 단계(S220)가 수행될 수 있다. 도 9는 본 발명의 실시예에 따라 메쉬가 생성되는 순서를 나타낸 순서도이다.

도 9를 참조하면, 메쉬가 생성되는 단계(S220)는 먼저, 상기 제1지점과 가로 방향으로 서로 인접한 제4지점을 상기 제1지점과 연결하는 단계(S221)가 수행될 수 있다. 다음으로, 상기 제1지점과 세로 방향으로 서로 인접한 상기 제5지점을 상기 제1지점과 연결하는 단계(S222)가 수행될 수 있다.

다음으로, 상기 제4지점의 깊이값과 상기 제5지점의 깊이값의 차이 및 상기 제4지점과 세로 방향으로 인접하고 상기 제5지점과 가로 방향으로 인접하는 제6지점의 깊이값과 상기 제1지점의 깊이값의 차이 중에서 더 작은 쪽에 대응되는 상기 지점들을 서로 연결하는 단계(S223)가 수행될 수 있다. 다시 말해서, 사각형을 이루는 네 개의 지점이 대각선 방향에 따라 두 개씩 나뉠 수 있다. 상기 두쌍의 지점들 중에서, 지점에 대응되는 깊이값의 차이가 더 작은 쌍이 서로 연결되고 나머지 한 쌍은 연결되지 않을 수 있다. 도 10은 본 발명의 실시예에 따라 메쉬가 생성된 결과를 나타낸 개념도이다.

다시 도 4를 참조하면, 상기 메쉬를 상기 색상 영상에 투영하는 단계(S230)가 수행될 수 있다. 깊이 센서와 색상 카메라는 미리 서로 캘리브레이션(calibration)되어 있을 수 있다. 다시 말해서, 깊이 센서에 의해 감지된 깊이 맵의 어느 지점이 색상 카메라에 의해 촬영된 색상 영상의 어느 지점에 대응되는지에 대한 매핑 정보가 미리 저장되어 있을 수 있다. 따라서, 상기 매핑 정보를 참조하여, 상기 메쉬가 상기 색상 영상에 투영될 수 있다.

도 11은 본 발명의 실시예에 따라 메쉬가 색상 영상에 투영된 결과를 나타낸 개념도이다. 도 11의 왼쪽 부분에 나타난 바와 같이, 깊이 센서와 색상 카메라의 시점 차이에 의해서 메쉬의 일부 정점들은 서로 겹칠 수 있다. 반대로, 도 11의 오른쪽 부분에 나타난 바와 같이 다른 부분에 비하여 정점의 밀도가 낮은 부분도 존재할 수 있다. 도 12는 본 발명의 실시예에 따라 메쉬가 색상 영상에 투영된 결과를 시각적으로 나타낸 도면이다.

다시 도 1을 참조하면, 다음으로, 상기 깊이 맵이 투영된 상기 색상 영상을 적어도 둘 이상의 영상 분할 방법을 이용하여 각각의 분할된 결과를 생성하고, 상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 지점들을 적어도 하나 이상의 집합으로 분류하는 단계(S300)가 수행될 수 있다. 도 13은 본 발명의 실시예에 따라 색상 영상이 둘 이상의 방법으로 분할되고 분할 결과에 따라 각각의 지점들이 하나 이상의 집합으로 분류되는 순서를 나타낸 순서도이다.

도 13을 참조하면, 색상 영상에 포함된 지점들이 하나 이상의 집합으로 분류되는 단계(S300)는 먼저, 상기 투영된 메쉬의 각각의 정점의 깊이값을 이용하여 상기 투영된 메쉬에 포함된 각각의 지점에 깊이값을 설정하는 단계(S310)가 수행될 수 있다. 도 14는 본 발명의 실시예에 따라 메쉬의 각각의 정점의 깊이값을 이용하여 메쉬에 포함된 각각의 지점에 깊이값이 설정되는 순서를 나타낸 순서도이다.

도 14를 참조하면, 메쉬에 포함된 각각의 지점에 깊이값을 설정하는 단계(S310)는 먼저, 상기 각각의 정점의 위치를 기초로 한 평면 방정식을 이용하여 상기 투영된 메쉬에 포함된 각각의 지점에 상기 깊이값을 보간하여 설정하는 단계(S311)가 수행될 수 있다. 각각의 메쉬는 삼각형의 형상을 하고 있을 수 있다. 따라서, 메쉬에 포함된 세 개의 정점(vertex)의 위치 및 깊이값을 기초로 하여 평면 방정식이 산출될 수 있다. 상기 평면 방정식을 이용하여 메쉬의 내부의 각각에 지점에 깊이값이 설정될 수 있다.

다음으로, 상기 색상 영상에 포함된 지점 중에서 적어도 둘 이상의 상기 메쉬에 대응되는 지점에는, 상기 지점에 대응되는 상기 깊이값 중에서 가장 작은 깊이값을 설정하는 단계(S312)가 수행될 수 있다. 예를 들어, 도 11의 왼쪽 부분에 포함된 지점과 같이, 일부 지점은 적어도 둘 이상의 메쉬와 겹칠 수 있다. 이러한 경우에는, 통상적인 Z-버퍼링 방법에 따라서, 대응되는 깊이값 중에서 가장 작은 깊이값이 상기 지점에 설정될 수 있다. 다시 말해서, 메쉬는 다른 메쉬에 의해 적어도 일부가 가려질 수 있다.

도 15는 본 발명의 실시예에 따라 메쉬에 포함된 각각의 지점에 깊이값이 설정된 결과를 나타낸 개념도이다. 도 15를 참조하면, 도 11에서의 투영된 메쉬 중에서 일부는 Z-버퍼링 방법에 의해 적어도 일부가 다른 메쉬에 의해 가려져 있다. 도 15를 참조하면, 검정색 부분의 메쉬에 대응되는 깊이값은 회색 부분의 메쉬에 대응되는 깊이값보다 작을 수 있다.

다시 도 13을 참조하면, 상기 투영된 메쉬 중에서, 다른 메쉬에 의해 가려지는 적어도 하나 이상의 정점을 포함하는 적어도 하나 이상의 메쉬 및 상기 불연속 지점을 중심으로 한 특정한 범위의 영역을 포함하는 불연속 영역을 검출하는 단계(S320)가 수행될 수 있다. 메쉬에 포함된 세 개의 정점 중에서 적어도 하나 이상의 정점이 다른 메쉬에 의해서 가려진 경우, 상기 메쉬의 내부의 영역은 불연속 영역이라고 판정될 수 있다. 또한, 상기 불연속 지점을 검출하는 단계(S210)에서 검출된 불연속 지점을 중심으로 한 특정한 범위의 영역은 불연속 영역이라고 판정될 수 있다.

도 16은 본 발명의 실시예에 따라 불연속 영역이 검출된 결과를 나타낸 개념도이다. 도 16을 참조하면, 불연속 영역으로 검출된 영역의 내부에는 격자 무늬가 채워져 있다.

다시 도 13을 참조하면, 다음으로, 상기 투영된 메쉬 중에서, 적어도 하나 이상의 상기 불연속 지점을 포함하는 적어도 하나 이상의 메쉬를 포함하는 홀(hole) 영역을 검출하는 단계(S330)가 수행될 수 있다. 도 17은 본 발명의 실시예에 따라 홀 영역이 검출된 결과를 나타낸 개념도이다. 도 17을 참조하면, 불연속 영역으로 검출된 영역의 내부에는 격자 무늬가 채워져 있다. 도 18은 본 발명의 실시예에 따라 불연속 영역 및 홀 영역이 검출된 결과를 시각적으로 나타낸 도면이다. 도 18에서 붉은색으로 표시된 영역은 불연속 영역에 대응되며, 초록색으로 표시된 영역은 홀 영역에 대응될 수 있다.

다시 도 13을 참조하면, 다음으로 상기 홀 영역의 내부에 적어도 하나 이상의 가상 정점을 생성하는 단계(S340)가 수행될 수 있다. 도 19는 본 발명의 실시예에 따라 홀 영역 내부에 가상 정점이 생성된 결과를 나타낸 개념도이다. 도 19를 참조하면, 홀 영역인 오른쪽 부분에 검정색의 가상 정점이 도시되어 있다.

다시 도 13을 참조하면, 다음으로, 둘 이상의 영상 분할 방법을 이용하여 상기 깊이 맵이 투영된 상기 색상 영상을 분할하는 단계(S350)가 수행될 수 있다. 임의의 한 종류의 영상 분할(image segmentation) 방법이 다른 모든 영상 분할 방법들보다 항상 좋은 성능을 나타내지는 않는다고 볼 수 있다. 본 발명의 실시예에 따르면 적어도 둘 이상의 영상 분할 방법을 이용하여 고해상도에서의 객체의 경계를 보다 정확히 검출할 수 있다.

도 20은 본 발명의 실시예에 따라 둘 이상의 영상 분할 방법을 이용하여 색상 영상이 분할되는 순서를 나타내는 순서도이다. 도 20을 참조하면, 상기 색상 영상을 분할하는 단계(S350)는 먼저, 제1 영상 분할 방법을 이용하여, 하나의 상기 정점 또는 하나의 상기 가상 정점을 포함하거나 상기 정점 및 상기 가상 정점을 포함하지 않는 적어도 하나 이상의 영역으로 상기 메쉬가 투영된 상기 색상 영상이 분할된 제1분할영상을 생성하는 단계(S351)가 수행될 수 있다. 다시 말해서, 분할된 하나의 영역에는 오직 하나의 정점 또는 가상 정점을 포함하거나, 정정 또는 가상 정점 중에서 어느 것도 포함하지 않을 수 있다.

예를 들어 상기 제1 영상 분할 방법은 SLIC 영상 분할 방법일 수 있다. 상기 방법에 따르면 색상 영상에 포함된 모든 지점은 상기 지점과 가장 가까운 정점과 동일한 영역 내에 포함되도록 분할될 수 있다. 이 때, 상기 지점으로부터 상기 정점까지의 거리는 상기 지점 및 상기 정점의 색상의 차이 및 위치의 차이를 각각 제곱한 뒤 가중치를 부여하여 합산한 결과일 수 있다.

이 때, 제1지점과 가장 가까운 정점 사이에, 상기 정점이 포함된 영역과 다른 영역에 포함된 제2지점이 존재함으로써 제1지점과 상기 정점이 서로 물리적으로 연결이 될 수 없는 경우가 있을 수 있다. 이 경우에는, 상기 제1지점은 정점 또는 가상 정점 중에서 어느 것도 포함되지 않은 영역에 속하는 것으로 정의될 수 있다. 도 21은 본 발명의 실시예에 따라 제1 영상 분할 방법을 이용하여 색상 영상이 분할된 결과를 시각적으로 나타낸 도면이다.

다시 도 20을 참조하면, 다음으로, 상기 제1 영상 분할 방법과 서로 다른 제2 영상 분할 방법 이용하여 하나의 상기 정점 또는 하나의 상기 가상 정점을 포함하거나 상기 정점 및 상기 가상 정점을 포함하지 않는 적어도 하나 이상의 영역으로 상기 메쉬가 투영된 상기 색상 영상이 분할된 제2분할영상을 생성하는 단계(S352)가 수행될 수 있다.

상기 제2 영상 분할 방법은 EGB 영상 분할 방법일 수 있다. 상기 방법에 따르면, 인접한 모든 지점에 대해서 색상 차이가 문턱치보다 작은 경우 서로 연결되어 동일한 영역 내에 포함될 수 있다. 상기 문턱치는 서로 연결되어 이루어진 영역의 크기에 반비례할 수 있다. 다시 말해서, 영역이 커지면 커질수록 문턱치가 작아지므로, 새로운 지점이 동일한 영역 내에 포함될 수 있는 가능성은 점점 낮아질 수 있다.

만약 두 지점 중 한 지점이 정점이거나, 두 지점 중 한 지점이 정점이 포함된 영역에 속하는 경우에는, 두 지점이 연결되어 생성된 영역의 레이블이 상기 정점의 레이블로 치환될 수 있다. 만약 두 지점 모두 정점이거나, 정점가 포함된 영역 내에에 속하는 경우에는 두 지점을 연결할 필요가 없다. 도 22는 본 발명의 실시예에 따라 제2 영상 분할 방법을 이용하여 색상 영상이 분할된 결과를 시각적으로 나타낸 도면이다.

다시 도 13을 참조하면, 상기 분할 결과에 따라 각각의 지점들을 하나 이상의 집합으로 분류하는 단계(S360)가 수행될 수 있다. 도 23은 본 발명의 실시예에 따라 색상 영상의 각각의 지점들을 하나 이상의 집합으로 분류하는 순서를 나타내는 순서도이다.

도 23을 참조하면, 상기 분할 결과에 따라 각각의 지점들을 하나 이상의 집합으로 분류하는 단계(S360)는 먼저, 적어도 하나 이상의 영역으로 상기 깊이 맵이 분할된 제3분할영상을 생성하고, 상기 제3분할영상에 포함된 각각의 영역에 서로 다른 레이블을 설정하는 단계(S361)가 수행될 수 있다.

깊이 맵은 예를 들어, Watershed 또는 EGB 영상 분할 방식 등을 이용하여 영상 분할(image segmentation)될 수 있다. 또한 분할된 각각의 영역에는 서로 다른 레이블이 설정될 수 있다. 도 24는 본 발명의 실시예에 따라 깊이 맵이 분할된 분할영상을 시각적으로 나타낸 도면이다. 도 24를 참조하면, 서로 다른 레이블을 갖는 영역은 서로 다른 색으로 도시되어 있다.

다시 도 23을 참조하면, 다음으로, 상기 제1분할영상에 포함된 각각의 영역에 포함된 상기 정점에 대응되는 상기 제3분할영상의 영역에 설정된 상기 레이블에 대응하는 레이블을 상기 제1분할영상에 포함된 각각의 영역에 설정하는 단계(S362)가 수행될 수 있다.

도 25는 본 발명의 실시예에 따라 제1 영상 분할 방법을 이용하여 분할된 각각의 영역에 레이블이 설정된 결과를 시각적으로 나타낸 도면이다. 도 25를 참조하면, 서로 다른 레이블을 갖는 영역은 서로 다른 색으로 도시되어 있다. 도 25를 참조하면, 도 21에서의 상당수의 영역들이 서로 병합되었음을 확인할 수 있다.

다시 도 23을 참조하면, 다음으로, 상기 제2분할영상에 포함된 각각의 영역에 포함된 상기 정점에 대응되는 상기 제3분할영상의 영역에 설정된 상기 레이블에 대응하는 레이블을 상기 제2분할영상에 포함된 각각의 영역에 설정하는 단계(S363)가 수행될 수 있다.

도 26은 본 발명의 실시예에 따라 제2 영상 분할 방법을 이용하여 분할된 각각의 영역에 레이블이 설정된 결과를 시각적으로 나타낸 도면이다. 도 26을 참조하면, 서로 다른 레이블을 갖는 영역은 서로 다른 색으로 도시되어 있다. 도 26를 참조하면, 도 22에서의 상당수의 영역들이 서로 병합되었음을 확인할 수 있다.

다시 도 23을 참조하면, 상기 제1분할영상에 포함된 각각의 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 레이블이 상기 제1픽셀에 대응되는 상기 제2분할영상의 제2픽셀에 대응되는 상기 레이블과 서로 동일한 적어도 하나 이상의 상기 제1픽셀을 포함하는 제1집합을 생성하는 단계(S364)가 수행될 수 있다.

다음으로, 상기 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 영역 또는 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 영역 중에서 적어도 하나 이상이 상기 가상 정점을 포함하는 적어도 하나 이상의 상기 제1픽셀을 포함하는 제2집합을 생성하는 단계(S365)가 수행될 수 있다. 다시 말해서, 제2집합은 홀 영역에 포함되어 있던 픽셀을 포함할 수 있다.

다음으로, 상기 각각의 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 레이블이 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 레이블과 서로 다르고, 상기 제1픽셀에 대응되는 상기 영역 또는 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 영역 중에서 적어도 하나 이상이 상기 정점을 포함하는 적어도 하나 이상의 상기 제1픽셀을 포함하는 제3집합을 생성하는 단계(S366)가 수행될 수 있다. 다시 말해서, 제3집합은 제1 영상 분할 방식을 기초로 한 결과와 제2 영상 분할 방식을 기초로 한 결과가 서로 다른 픽셀들을 포함할 수 있다.

다음으로, 상기 각각의 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 영역 및 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 영역이 상기 정점 및 상기 가상 정점을 포함하지 않는 적어도 하나 이상의 상기 제1픽셀을 포함하는 제4집합을 생성하는 단계(S367)가 수행될 수 있다. 다시 말해서, 제4집합은 정점 또는 가상 정점을 포함하는 영역에 속하지 않는 픽셀들을 포함할 수 있다.

상술한 바와 같이, 임의의 제1지점과 가장 가까운 정점 사이에, 상기 정점이 포함된 영역과 다른 영역에 포함된 제2지점이 존재함으로써 제1지점과 상기 정점이 서로 물리적으로 연결이 될 수 없는 경우가 있을 수 있다. 이 경우에는, 상기 제1지점은 정점 또는 가상 정점 중에서 어느 것도 포함되지 않은 영역에 속하는 것으로 정의될 수 있다. 제4집합은 상기 제1지점을 포함할 수 있다.

도 27은 본 발명의 실시예에 따라 색상 영상의 각각의 지점들이 하나 이상의 집합으로 분류된 결과를 시각적으로 나타낸 도면이다. 도 27을 참조하면, 제1집합에 포함된 픽셀들은 회색으로 도시되어 있으며, 제2집합에 포함된 픽셀들은 흰색으로 도시되어 있다. 또한, 제3집합에 포함된 픽셀들은 초록색으로 도시되어 있으며, 제4집합에 포함된 픽셀들은 붉은색으로 도시되어 있다.

다시 도 1을 참조하면, 상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계(S400)가 수행될 수 있다. 도 28은 본 발명의 실시예에 따라 집합에 포함된 지점에 깊이값을 설정하는 순서를 나타내는 순서도이다.

도 28을 참조하면, 상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계(S400)는 먼저, 제1집합의 픽셀에 대해 색상 및 위치를 기초로 하여 깊이 히스토그램을 생성하고 깊이값을 픽셀에 설정하는 단계(S410)가 수행될 수 있다.

도 29는 본 발명의 실시예에 따라 제1집합의 픽셀에 대해 깊이 히스토그램이 생성되고 깊이값이 픽셀에 설정되는 순서를 나타내는 순서도이다. 도 29를 참조하면, 먼저, 상기 제1집합에 포함된 각각의 제3픽셀에 대하여 제1 깊이 히스토그램이 생성되는 단계(S411)가 수행될 수 있다.

상기 제1 깊이 히스토그램은, 상기 제3픽셀을 중심으로 한 특정한 범위의 영역 내에 포함되고 상기 깊이값이 설정된 적어도 하나 이상의 제4픽셀의 상기 깊이값, 상기 제3픽셀과 상기 제4픽셀의 위치 차이 및 상기 제3픽셀과 상기 제4픽셀의 색상 차이를 이용하여 생성될 수 있다. 예를 들어, 제1 깊이 히스토그램은 다음의 수학식 4를 이용하여 생성될 수 있다.

상기 수학식 4에서, G는 가우시안 가중치 함수이다. Ix는 픽셀 x의 색상을 나타낸다. x'은 x를 중심으로 한 특정한 범위의 영역 W(x)에 포함된 픽셀들 중에서 깊이값이 설정된 픽셀을 나타낸다. d'은 상기 깊이값이 설정된 픽셀의 깊이값을 나타낸다.

다음으로, 상기 제3픽셀에 대응하는 레이블과 서로 동일한 레이블에 대응되는 적어도 하나 이상의 제5픽셀의 상기 깊이값, 상기 제3픽셀과 상기 제5픽셀의 위치 차이 및 상기 제3픽셀과 상기 제5픽셀의 색상 차이를 이용하여 제2 깊이 히스토그램이 생성되는 단계(S412)가 수행될 수 있다. 예를 들어, 제2 깊이 히스토그램은 다음의 수학식 5를 이용하여 생성될 수 있다.

상기 수학식 5에서, R(x)는 상술한 영상 분할 방법에 의해서 분할되고 픽셀 x를 포함하는 영역에 포함된 픽셀의 집합이다.

다음으로, 상기 제1 깊이 히스토그램 및 상기 제2 깊이 히스토그램에 가중치가 적용되어 합산된 결과의 피크(peak)에 대응되는 상기 깊이값이 상기 제3픽셀의 깊이값으로서 설정되는 단계(S413)가 수행될 수 있다. 상기 제1 깊이 히스토그램 및 상기 제2 깊이 히스토그램에 가중치가 적용되어 합산된 결과는 다음의 수학식 6과 같이 표현될 수 있다.

다시 도 28을 참조하면, 다음으로, 상기 제2집합에 포함된 각각의 제6픽셀은, 상기 제6픽셀의 색상 및 상기 제6픽셀의 위치를 기초로 하여 선택되고 상기 깊이값이 설정된 하나의 제7픽셀을 포함하는 적어도 하나 이상의 서브집합으로 분할되고, 상기 각각의 제6픽셀의 깊이값으로서 상기 제6픽셀이 포함된 상기 서브집합에 포함된 상기 제7픽셀의 깊이값이 설정되는 단계(S420)가 수행될 수 있다.

도 30은 본 발명의 실시예에 따라 제2집합의 픽셀이 서브집합으로 분할된 결과를 나타낸 개념도이다. 홀 영역 주변의 일부 픽셀들에는 깊이값이 설정되게 된다. 따라서, 제2집합은 상기 픽셀들을 정점으로서 Watershed 알고리즘 또는 EGB 영상 분할 방법 등을 이용하여 서브집합으로 분할될 수 있다. 이로써, 홀 영역에 포함된 모든 픽셀은 하나의 정점과 동일한 영역 내에 포함될 수 있다. 또한, 상기 서브집합에 포함된 픽셀들의 깊이값으로서 상기 새로운 정점의 깊이값이 설정될 수 있다. 도 31은 본 발명의 실시예에 따라 제2집합의 픽셀에 깊이값이 설정된 결과를 시각적으로 나타낸 도면이다.

다시 도 28을 참조하면, 다음으로, 제3집합의 픽셀에 대해 색상 및 위치를 기초로 하여 깊이 히스토그램을 생성하고 깊이값을 픽셀에 설정하는 단계(S430)가 수행될 수 있다. 도 32는 본 발명의 실시예에 따라 제3집합의 픽셀에 대해 깊이 히스토그램이 생성되고 깊이값이 픽셀에 설정되는 순서를 나타내는 순서도이다.

도 32를 참조하면, 먼저, 상기 제3집합에 포함된 각각의 제8픽셀에 대하여, 상기 제8픽셀을 중심으로 한 특정한 범위의 영역 내에 포함되고 상기 깊이값이 설정된 적어도 하나 이상의 제9픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제9픽셀의 위치 차이 및 상기 제8픽셀과 상기 제9픽셀의 색상 차이를 이용하여 제3 깊이 히스토그램이 생성되는 단계(S431)가 수행될 수 있다.

다음으로, 상기 제8픽셀에 대응하는 레이블과 서로 동일한 레이블에 대응되는 적어도 하나 이상의 제10픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제10픽셀의 위치 차이 및 상기 제8픽셀과 상기 제10픽셀의 색상 차이를 이용하여 제4 깊이 히스토그램이 생성되는 단계(S432)가 수행될 수 있다.

다음으로, 상기 제3집합을 둘러싸고 상기 깊이값이 설정된 적어도 하나 이상의 제11픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제11픽셀의 위치 차이 및 상기 제8픽셀과 상기 제11픽셀의 색상 차이를 이용하여 제5 깊이 히스토그램이 생성되는 단계(S433)가 수행될 수 있다. 상기 제5 깊이 히스토그램은 다음의 수학식 7과 같이 표현될 수 있다.

상기 수학식 7에서, SRND는 상기 제3집합을 둘러싸고 상기 깊이값이 설정된 픽셀들을 포함하는 집합이다.

다음으로, 상기 제3 깊이 히스토그램, 상기 제4 깊이 히스토그램 및 상기 제5 깊이 히스토그램에 가중치가 적용되어 합산된 합산 히스토그램이 생성되는 단계(S434)가 수행될 수 있다. 상기 합산 히스토그램은 다음의 수학식 8과 같이 표현될 수 있다.

도 33은 본 발명의 다른 실시예에 따라 제3집합의 픽셀에 대해 깊이 히스토그램이 생성되고 깊이값이 픽셀에 설정되는 순서를 나타내는 순서도이다.

본 발명의 다른 실시예에 따르면, 먼저, 상기 제3집합에 포함된 각각의 제8픽셀에 대하여, 상기 제8픽셀을 중심으로 한 특정한 범위의 영역 내에 포함되고 상기 깊이값이 설정된 적어도 하나 이상의 제9픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제9픽셀의 위치 차이 및 상기 제8픽셀과 상기 제9픽셀의 색상 차이를 이용하여 제3 깊이 히스토그램이 생성되는 단계(S441)가 수행될 수 있다.

다음으로, 상기 제8픽셀에 대응하는 레이블과 서로 동일한 레이블에 대응되는 적어도 하나 이상의 제10픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제10픽셀의 위치 차이 및 상기 제8픽셀과 상기 제10픽셀의 색상 차이를 이용하여 제4 깊이 히스토그램이 생성되는 단계(S442)가 수행될 수 있다.

다음으로, 상기 제3집합을 둘러싸고 상기 깊이값이 설정된 적어도 하나 이상의 제11픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제11픽셀의 위치 차이 및 상기 제8픽셀과 상기 제11픽셀의 색상 차이를 이용하여 제5 깊이 히스토그램이 생성되는 단계(S443)가 수행될 수 있다.

다음으로, 상기 제8픽셀과 인접한 픽셀과 상기 제8픽셀의 색상 차이를 기초로 한 가중치 및 상기 합산 히스토그램을 이용하여 모델링된 마르코프 무작위 필드(Markov Random Field) 점수를 최대화하는 깊이값이 상기 제8픽셀의 깊이값으로서 설정되는 단계(S444)가 수행될 수 있다. 상기 제8픽셀과 인접한 픽셀과 상기 제8픽셀의 색상 차이를 기초로 한 가중치 및 상기 합산 히스토그램을 이용하여 모델링된 마르코프 무작위 필드 점수는 예를 들어, 다음의 수학식 9와 같이 표현될 수 있다.

상기 수학식 9에서 px는 깊이 히스토그램의 퀀타이제이션(quantization) 레벨과 동일한 레벨을 갖는 벡터이다. 또한, px는 만약 x가 d라는 깊이값을 갖는 경우 다음과 같이 설정된다. d번째 요소인 px(d)는 1이고, 나머지 요소는 모두 0이다. 상기 Wx,y는 인접한 두 픽셀의 색상 차이를 기초로 한 가중치로서 다음의 수학식 10과 같이 표현될 수 있다.

상기 수학식 10에서 δ(x)는 x가 0인 경우 1이고 그렇지 않은 경우 0인 함수이다.

는 제k 영상 분할 방법에 의해 분할되고 x를 포함하는 영역의 레이블을 나타낸다. 따라서, 인접한 두 픽셀이 각각 포함된 영역이 서로 같은 레이블을 갖는 경우에는 그렇지 않은 경우에 비해 Wx,y가 더 클 수 있다.

상기 마르코프 무작위 필드 점수에 대한 함수인 S({p})를 최대화시키는 {p}는 릴렉세이션 레이블링(relaxation labeling) 알고리즘을 이용하여 계산될 수 있다. 릴렉세이션 레이블링 알고리즘에 따르면 다음의 수학식 11에서와 같이 p가 산출될 수 있다.

상기 수학식 11에서 "old" 레이블이 붙어있는 변수는 이터레이션(iteration) 과정에서 바로 이전의 값을 나타낸다. 또한, "new" 레이블이 붙어있는 변수는 이터레이션 과정에서 현재 갱신된 값을 나타낸다.

다시 도 28을 참조하면 제4집합의 픽셀에 대해 위치를 기초로 하여 깊이 히스토그램을 생성하고 깊이값을 픽셀에 설정하는 단계(S450)가 수행될 수 있다. 도 34는 본 발명의 실시예에 따라 제4집합의 픽셀에 대해 깊이 히스토그램이 생성되고 깊이값이 픽셀에 설정되는 순서를 나타내는 순서도이다.

도 34를 참조하면, 먼저, 상기 제4집합에 포함된 각각의 제12픽셀에 대하여, 상기 제4집합을 둘러싸고 상기 깊이값이 설정된 적어도 하나 이상의 제13픽셀의 상기 깊이값 및 상기 제12픽셀과 상기 제13픽셀의 위치 차이를 이용하여 깊이 히스토그램이 생성되는 단계(S451)가 수행될 수 있다. 다음으로, 상기 깊이 히스토그램의 피크(peak)에 대응되는 상기 깊이값이 상기 제12픽셀의 깊이값으로서 설정되는 단계(S452)가 수행될 수 있다.

도 35는 본 발명의 실시예에 따라 제4집합을 둘러싸는 픽셀을 이용하여 깊이 히스토그램이 생성되는 과정을 설명하기 위한 참고도이다.

도 35를 참조하면, 화살표가 가리키고 있는 영역에 속한 제1지점과 오른쪽 큰 사각형 영역의 임의의 제2지점 사이에 왼쪽 큰 사각형 영역에 포함된 제3지점들이 존재함으로써, 제1지점은 제2지점과 서로 물리적으로 연결될 수 있다. 이 경우, 상기 화살표가 가리키고 있는 영역을 둘러싸고 깊이값이 설정된 왼쪽 큰 사각형 영역 내의 제3지점을 이용하여 깊이 히스토그램이 생성될 수 있다. 깊이 히스토그램은 다음의 수학식 12와 같이 표현될 수 있다.

도 36은 본 발명의 다른 실시예에 따라 제4집합의 픽셀에 대해 깊이 히스토그램이 생성되고 깊이값이 픽셀에 설정되는 순서를 나타내는 순서도이다. 도 36을 참조하면, 본 발명의 다른 실시예에 따른 경우 먼저, 상기 제4집합에 포함된 각각의 제12픽셀에 대하여, 상기 제4집합을 둘러싸고 상기 깊이값이 설정된 적어도 하나 이상의 제13픽셀의 상기 깊이값 및 상기 제12픽셀과 상기 제13픽셀의 위치 차이를 이용하여 깊이 히스토그램이 생성되는 단계(S461)가 수행될 수 있다.

다음으로, 상기 제12픽셀과 인접한 픽셀과 상기 제12픽셀의 색상 차이를 기초로 한 가중치 및 상기 깊이 히스토그램을 이용하여 모델링된 마르코프 무작위 필드(Markov Random Field) 점수를 최대화하는 깊이값이 상기 제12픽셀의 깊이값으로서 설정되는 단계(S462)가 수행될 수 있다.

다시 도 1을 참조하면, 다음으로, 상기 깊이값이 설정된 상기 색상 영상을 출력하는 단계(S500)가 수행될 수 있다. 도 37은 본 발명의 실시예에 따라 깊이값이 설정된 색상 영상이 출력된 결과를 시각적으로 나타낸 도면이다. 또한, 상기 출력 결과에 영상 후처리(post processing)을 통하여 엣지 보존 스무딩(edge-preserving smoothing) 등을 적용하는 경우, 더욱 정확한 깊이 맵이 획득될 수 있다.

도 38은 본 발명의 실시예에 따른 영상 처리 장치(100)의 구성을 나타내는 블록도이다. 도 38을 참조하면, 본 발명의 실시예에 따른 영상 처리 장치(100)는, 입력부(110), 이미지 처리부(120), 및 출력부(130)를 포함할 수 있다.

입력부(110)는 특정한 장면(scene)에 대한 깊이 맵 또는 색상 영상을 수신하거나 생성할 수 있다. 입력부(110)는 외부로부터 깊이 맵 및 색상 영상을 수신할 수 있다. 또한, 입력부(110)는 예를 들어, 스테레오스코픽 카메라(stereoscopic camera), 패턴 프로젝션 카메라(pattern projection camera), TOF(Time Of Flight) 카메라, 또는 유사한 측정 장치 중에서 어느 하나인 깊이 센서를 포함할 수 있다. 또한, 입력부(110)는 예를 들어, CMOS 카메라, CCD 카메라(Charge-Coupled Device camera), 또는 유사한 촬영 장치 중에서 어느 하나인 광학 촬영 장치를 포함할 수 있다.

입력부(110)에 대한 상세한 내용은 상술한 깊이 맵 및 색상 영상을 수신하는 단계(S100)와 대응되므로 자세한 설명은 생략하기로 한다.

이미지 처리부(120)는 상기 깊이 맵에 포함된 각각의 지점을 상기 색상 영상에 투영하고, 상기 깊이 맵이 투영된 상기 색상 영상을 적어도 둘 이상의 영상 분할 방법을 이용하여 각각의 분할된 결과를 생성하고, 상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 지점들을 적어도 하나 이상의 집합으로 분류하고, 상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정할 수 있다.

이미지 처리부(120)에 대한 보다 상세한 내용은 상기 깊이 맵을 색상 영상에 투영하는 단계(S200) 내지 집합에 포함된 지점에 깊이값을 설정하는 단계(S400)에 대응되므로 자세한 설명은 생략하기로 한다.

출력부(130)는 깊이값이 설정된 상기 색상 영상을 출력할 수 있다. 출력부(130)에 대한 상세한 내용은 상술한 깊이값이 설정된 색상 영상을 출력하는 단계(S500)와 대응되므로 자세한 설명은 생략하기로 한다.

이상에서 설명한 본 발명의 실시예에 따르면 깊이 맵의 해상도보다 더 높은 해상도를 갖는 색상 영상을 이용하여 상기 깊이 맵의 해상도를 상기 색상 영상의 해상도로 업샘플링할 수 있다. 또한, 대상에 대한 깊이 맵에서의 경계가 대상에 대한 색상 영상에서의 경계와 일치하도록 상기 깊이 맵을 업샘플링할 수 있다. 또한, 깊이 맵의 해상도를 상기 해상도보다 더 높은 해상도로 업샘플링할 수 있다. 또한, 시점의 위치 및 방향이 유사한 깊이 센서 및 색상 카메라를 통해 각각 수신된 깊이 맵 및 색상 영상을 이용하여, 상기 색상 영상의 시점 및 해상도와 동일한 시점 및 해상도를 갖는 깊이 맵을 생성할 수 있다.

이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 영상 처리 장치
110: 입력부
120: 이미지 처리부
130: 출력부

Claims (24)

1. 특정한 장면(scene)에 대한 깊이 맵 및 색상 영상을 수신하는 단계;
   상기 깊이 맵에 포함된 각각의 지점을 상기 색상 영상에 투영하는 단계;
   상기 깊이 맵이 투영된 상기 색상 영상을 적어도 둘 이상의 영상 분할(image segmentation) 방법을 이용하여 분할함으로써 각각의 분할된 결과를 생성하고, 상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 지점들을 적어도 하나 이상의 집합으로 분류하는 단계;
   상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계; 및
   상기 깊이값이 설정된 상기 색상 영상을 출력하는 단계
   를 포함하는 영상 처리 방법.
2. 제1항에 있어서,
   상기 깊이 맵의 해상도는 상기 색상 영상의 해상도보다 더 낮은 영상 처리 방법.
3. 제1항에 있어서,
   상기 깊이 맵에 포함된 각각의 지점을 상기 색상 영상에 투영하는 단계는,
   상기 깊이 맵의 각각의 제1지점의 깊이값 및 상기 제1지점과 서로 인접한 제2지점의 깊이값을 이용하여, 상기 제1지점 중에서 상기 제2지점과 서로 불연속하는 불연속 지점을 검출하는 단계;
   상기 제1지점의 깊이값과 상기 제2지점의 깊이값의 차이 및 상기 제1지점을 이용하여 메쉬를 생성하는 단계; 및
   상기 메쉬를 상기 색상 영상에 투영하는 단계
   를 포함하는 영상 처리 방법.
4. 제3항에 있어서,
   상기 제1지점 중에서 상기 제2지점과 서로 불연속하는 불연속 지점을 검출하는 단계는,
   상기 제1지점의 깊이값과 상기 제2지점의 깊이값의 차이 또는 상기 장면 내에 존재하는 적어도 하나 이상의 객체 중에서 상기 제1지점에 대응되는 제1객체와 상기 제2지점에 대응되는 제2객체가 서로 동일한지 여부에 대한 판정결과를 이용하여 상기 불연속 지점을 검출하는 단계
   를 포함하는 영상 처리 방법.
5. 제3항에 있어서,
   상기 제1지점 중에서 상기 제2지점과 서로 불연속하는 불연속 지점을 검출하는 단계는,
   상기 깊이 맵의 각각의 제1지점에 대해 상기 제1지점의 접평면에 대응되는 벡터를 산출하는 단계;
   상기 각각의 제1지점에 대해 상기 제1지점을 중심으로 한 특정한 범위의 영역 내에 포함된 적어도 하나 이상의 제3지점의 상기 벡터를 이용하여 계산된 상기 제1지점의 예상 깊이값과 상기 깊이 맵에 포함된 상기 제1지점의 깊이값의 차이 중에서 최소값을 산출하는 단계; 및
   상기 제1지점의 깊이값, 상기 제2지점의 깊이값, 상기 제1지점의 상기 최소값 및 상기 제2지점의 상기 최소값을 이용하여 상기 제1지점 중에서 상기 제2지점과 서로 불연속하는 불연속 지점을 검출하는 단계
   를 포함하는 영상 처리 방법.
6. 제3항에 있어서,
   상기 메쉬를 생성하는 단계는,
   상기 제1지점과 가로 방향으로 서로 인접한 제4지점을 상기 제1지점과 연결하는 단계;
   상기 제1지점과 세로 방향으로 서로 인접한 상기 제5지점을 상기 제1지점과 연결하는 단계; 및
   상기 제4지점의 깊이값과 상기 제5지점의 깊이값의 차이 및 상기 제4지점과 세로 방향으로 인접하고 상기 제5지점과 가로 방향으로 인접하는 제6지점의 깊이값과 상기 제1지점의 깊이값의 차이 중에서 더 작은 쪽에 대응되는 상기 지점들을 서로 연결하는 단계
   를 포함하는 영상 처리 방법.
7. 제1항에 있어서,
   상기 색상 영상에 포함된 지점들을 적어도 하나 이상의 집합으로 분류하는 단계는,
   상기 투영된 메쉬의 각각의 정점의 깊이값을 이용하여 상기 투영된 메쉬에 포함된 각각의 지점에 깊이값을 설정하는 단계;
   상기 투영된 메쉬 중에서, 다른 메쉬에 의해 가려지는 적어도 하나 이상의 정점을 포함하는 적어도 하나 이상의 메쉬 및 상기 불연속 지점을 중심으로 한 특정한 범위의 영역을 포함하는 불연속 영역을 검출하는 단계;
   상기 투영된 메쉬 중에서, 적어도 하나 이상의 상기 불연속 지점을 포함하는 적어도 하나 이상의 메쉬를 포함하는 홀(hole) 영역을 검출하는 단계;
   상기 홀 영역의 내부에 적어도 하나 이상의 가상 정점을 생성하는 단계;
   상기 적어도 둘 이상의 영상 분할 방법, 상기 정점 및 상기 가상 정점을 이용하여 상기 색상 영상을 분할하는 단계; 및
   상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 상기 지점들을 상기 집합으로 분류하는 단계
   를 포함하는 영상 처리 방법.
8. 제7항에 있어서,
   상기 투영된 메쉬에 포함된 각각의 지점에 깊이값을 설정하는 단계는
   상기 각각의 정점의 위치를 기초로 한 평면 방정식을 이용하여 상기 투영된 메쉬에 포함된 각각의 지점에 상기 깊이값을 보간하여 설정하는 단계; 및
   상기 색상 영상에 포함된 지점 중에서 적어도 둘 이상의 상기 메쉬에 대응되는 지점에는, 상기 지점에 대응되는 상기 깊이값 중에서 가장 작은 깊이값을 설정하는 단계
   를 포함하는 영상 처리 방법.
9. 제7항에 있어서,
   상기 적어도 둘 이상의 영상 분할 방법, 상기 정점 및 상기 가상 정점을 이용하여 상기 색상 영상을 분할하는 단계는,
   제1 영상 분할 방법을 이용하여, 하나의 상기 정점 또는 하나의 상기 가상 정점을 포함하거나 상기 정점 및 상기 가상 정점을 포함하지 않는 적어도 하나 이상의 영역으로 상기 메쉬가 투영된 상기 색상 영상이 분할된 제1분할영상을 생성하는 단계; 및
   상기 제1 영상 분할 방법과 서로 다른 제2 영상 분할 방법 이용하여 하나의 상기 정점 또는 하나의 상기 가상 정점을 포함하거나 상기 정점 및 상기 가상 정점을 포함하지 않는 적어도 하나 이상의 영역으로 상기 메쉬가 투영된 상기 색상 영상이 분할된 제2분할영상을 생성하는 단계
   를 포함하는 영상 처리 방법.
10. 제7항에 있어서,
    상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 상기 지점들을 상기 집합으로 분류하는 단계는,
    적어도 하나 이상의 영역으로 상기 깊이 맵이 분할된 제3분할영상을 생성하고, 상기 제3분할영상에 포함된 각각의 영역에 서로 다른 레이블을 설정하는 단계;
    상기 제1분할영상에 포함된 각각의 영역에 포함된 상기 정점에 대응되는 상기 제3분할영상의 영역에 설정된 상기 레이블에 대응하는 레이블을 상기 제1분할영상에 포함된 각각의 영역에 설정하는 단계;
    상기 제2분할영상에 포함된 각각의 영역에 포함된 상기 정점에 대응되는 상기 제3분할영상의 영역에 설정된 상기 레이블에 대응하는 레이블을 상기 제2분할영상에 포함된 각각의 영역에 설정하는 단계; 및
    상기 제1분할영상에 포함된 각각의 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 레이블이 상기 제1픽셀에 대응되는 상기 제2분할영상의 제2픽셀에 대응되는 상기 레이블과 서로 동일한 적어도 하나 이상의 상기 제1픽셀을 포함하는 제1집합을 생성하는 단계
    를 포함하는 영상 처리 방법.
11. 제10항에 있어서,
    상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계는,
    상기 제1집합에 포함된 각각의 제3픽셀에 대하여, 상기 제3픽셀의 색상 및 상기 제3픽셀의 위치를 기초로 하여 깊이 히스토그램이 생성되고 상기 깊이 히스토그램의 피크(peak)에 대응되는 상기 깊이값이 상기 제3픽셀의 깊이값으로서 설정되는 단계
    를 포함하는 영상 처리 방법.
12. 제10항에 있어서,
    상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계는,
    상기 제1집합에 포함된 각각의 제3픽셀에 대하여, 상기 제3픽셀을 중심으로 한 특정한 범위의 영역 내에 포함되고 상기 깊이값이 설정된 적어도 하나 이상의 제4픽셀의 상기 깊이값, 상기 제3픽셀과 상기 제4픽셀의 위치 차이 및 상기 제3픽셀과 상기 제4픽셀의 색상 차이를 이용하여 제1 깊이 히스토그램이 생성되는 단계;
    상기 제3픽셀에 대응하는 레이블과 서로 동일한 레이블에 대응되는 적어도 하나 이상의 제5픽셀의 상기 깊이값, 상기 제3픽셀과 상기 제5픽셀의 위치 차이 및 상기 제3픽셀과 상기 제5픽셀의 색상 차이를 이용하여 제2 깊이 히스토그램이 생성되는 단계; 및
    상기 제1 깊이 히스토그램 및 상기 제2 깊이 히스토그램에 가중치가 적용되어 합산된 결과의 피크(peak)에 대응되는 상기 깊이값이 상기 제3픽셀의 깊이값으로서 설정되는 단계
    를 포함하는 영상 처리 방법.
13. 제10항에 있어서,
    상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 상기 지점들을 상기 집합으로 분류하는 단계는,
    상기 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 영역 또는 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 영역 중에서 적어도 하나 이상이 상기 가상 정점을 포함하는 적어도 하나 이상의 상기 제1픽셀을 포함하는 제2집합을 생성하는 단계
    를 더 포함하는 영상 처리 방법.
14. 제13항에 있어서,
    상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계는,
    상기 제2집합에 포함된 각각의 제6픽셀은, 상기 제6픽셀의 색상 및 상기 제6픽셀의 위치를 기초로 하여 선택되고 상기 깊이값이 설정된 하나의 제7픽셀을 포함하는 적어도 하나 이상의 서브집합으로 분할되고, 상기 각각의 제6픽셀의 깊이값으로서 상기 제6픽셀이 포함된 상기 서브집합에 포함된 상기 제7픽셀의 깊이값이 설정되는 단계
    를 포함하는 영상 처리 방법.
15. 제10항에 있어서,
    상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 상기 지점들을 상기 집합으로 분류하는 단계는,
    상기 각각의 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 레이블이 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 레이블과 서로 다르고, 상기 제1픽셀에 대응되는 상기 영역 또는 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 영역 중에서 적어도 하나 이상이 상기 정점을 포함하는 적어도 하나 이상의 상기 제1픽셀을 포함하는 제3집합을 생성하는 단계
    를 더 포함하는 영상 처리 방법.
16. 제15항에 있어서,
    상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계는,
    상기 제3집합에 포함된 각각의 제8픽셀에 대하여, 상기 제8픽셀을 중심으로 한 특정한 범위의 영역 내에 포함되고 상기 깊이값이 설정된 적어도 하나 이상의 제9픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제9픽셀의 위치 차이 및 상기 제8픽셀과 상기 제9픽셀의 색상 차이를 이용하여 제3 깊이 히스토그램이 생성되는 단계;
    상기 제8픽셀에 대응하는 레이블과 서로 동일한 레이블에 대응되는 적어도 하나 이상의 제10픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제10픽셀의 위치 차이 및 상기 제8픽셀과 상기 제10픽셀의 색상 차이를 이용하여 제4 깊이 히스토그램이 생성되는 단계;
    상기 제3집합을 둘러싸고 상기 깊이값이 설정된 적어도 하나 이상의 제11픽셀의 상기 깊이값, 상기 제8픽셀과 상기 제11픽셀의 위치 차이 및 상기 제8픽셀과 상기 제11픽셀의 색상 차이를 이용하여 제5 깊이 히스토그램이 생성되는 단계; 및
    상기 제3 깊이 히스토그램, 상기 제4 깊이 히스토그램 및 상기 제5 깊이 히스토그램에 가중치가 적용되어 합산된 합산 히스토그램이 생성되는 단계
    를 포함하는 영상 처리 방법.
17. 제16항에 있어서,
    상기 합산 히스토그램이 생성되는 단계 이후에,
    상기 제1 합산 히스토그램의 피크(peak)에 대응되는 상기 깊이값이 상기 제8픽셀의 깊이값으로서 설정되는 단계
    를 더 포함하는 영상 처리 방법.
18. 제16항에 있어서,
    상기 합산 히스토그램이 생성되는 단계 이후에,
    상기 제8픽셀과 인접한 픽셀과 상기 제8픽셀의 색상 차이를 기초로 한 가중치 및 상기 합산 히스토그램을 이용하여 모델링된 마르코프 무작위 필드(Markov Random Field) 점수를 최대화하는 깊이값이 상기 제8픽셀의 깊이값으로서 설정되는 단계
    를 더 포함하는 영상 처리 방법.
19. 제10항에 있어서,
    상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 상기 지점들을 상기 집합으로 분류하는 단계는,
    상기 각각의 제1픽셀 중에서, 상기 제1픽셀에 대응되는 상기 영역 및 상기 제1픽셀에 대응되는 상기 제2픽셀에 대응되는 상기 영역이 상기 정점 및 상기 가상 정점을 포함하지 않는 적어도 하나 이상의 상기 제1픽셀을 포함하는 제4집합을 생성하는 단계
    를 더 포함하는 영상 처리 방법.
20. 제19항에 있어서,
    상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 단계는,
    상기 제4집합에 포함된 각각의 제12픽셀에 대하여, 상기 제4집합을 둘러싸고 상기 깊이값이 설정된 적어도 하나 이상의 제13픽셀의 상기 깊이값 및 상기 제12픽셀과 상기 제13픽셀의 위치 차이를 이용하여 깊이 히스토그램이 생성되는 단계
    를 포함하는 영상 처리 방법.
21. 제20항에 있어서,
    상기 깊이 히스토그램이 생성되는 단계 이후에,
    상기 깊이 히스토그램의 피크(peak)에 대응되는 상기 깊이값이 상기 제12픽셀의 깊이값으로서 설정되는 단계
    를 더 포함하는 영상 처리 방법.
22. 제20항에 있어서,
    상기 깊이 히스토그램이 생성되는 단계 이후에,
    상기 제12픽셀과 인접한 픽셀과 상기 제12픽셀의 색상 차이를 기초로 한 가중치 및 상기 깊이 히스토그램을 이용하여 모델링된 마르코프 무작위 필드(Markov Random Field) 점수를 최대화하는 깊이값이 상기 제12픽셀의 깊이값으로서 설정되는 단계
    를 더 포함하는 영상 처리 방법.
23. 특정한 장면(scene)에 대한 깊이 맵 또는 색상 영상을 수신하거나 생성하는 입력부;
    상기 깊이 맵에 포함된 각각의 지점을 상기 색상 영상에 투영하고, 상기 깊이 맵이 투영된 상기 색상 영상을 적어도 둘 이상의 영상 분할 방법을 이용하여 각각의 분할된 결과를 생성하고, 상기 각각의 분할된 결과에 따라 상기 색상 영상에 포함된 지점들을 적어도 하나 이상의 집합으로 분류하고, 상기 집합에 포함된 상기 색상 영상의 지점에 깊이값을 설정하는 이미지 처리부; 및
    상기 깊이값이 설정된 상기 색상 영상을 출력하는 출력부
    를 포함하는 영상 처리 장치.
24. 제23항에 있어서,
    상기 수신된 깊이 맵의 해상도는 상기 수신된 색상 영상의 해상도보다 더 낮은 영상 처리 장치.

Images