KR102166691B1 - 객체의 3차원 형상을 산출하는 장치 및 방법 - Google Patents

Abstract

객체의 3차원 형상을 산출하는 장치 및 방법이 개시된다. 본 발명의 객체의 3차원 형상을 산출하는 장치 및 방법은, 소정의 패턴이 부가된 구조광(structured light)을 객체에 투사하는 프로젝터, 상기 구조광을 감지하는 제1 센서와 제2 센서 및 제1 센서에서 감지된 구조광 패턴의 변화에 따라 객체의 3차원 깊이를 산출하고, 제2 센서에서 감지된 구조광 패턴의 변화에 따라 산출된 3차원 깊이를 보정하는 제어부를 포함한다. 본 발명에 의하면, 객체의 3차원 깊이를 측정함에 있어서, 다중 베이스라인을 가지는 구성을 적용하여 깊이 분해능을 높일 수 있다.

Description

객체의 3차원 형상을 산출하는 장치 및 방법{DEVICE FOR ESTIMATING THREE-DIMENSIONAL SHAPE OF OBJECT AND METHOD THEREOF}

본 발명은 객체의 3차원 형상을 산출하는 장치에 관한 것으로서, 보다 구체적으로는 구조광을 이용하여 객체의 3차원 형상을 산출하는 장치 및 방법에 관한 것이다.

최근 인간이나 기타 사물 등 객체에 대한 이미지화에 있어서, 실제 객체의 형태를 반영하여 3차원 이미지로 구현하려고 하는 시도가 계속되고 있다.

객체의 형상을 3차원 이미지로 구현하는 방법과 관련하여, 두 장 이상의 가시광 영상을 이용한 방법, 능동 광원을 이용한 적외선 영상을 이용한 방법 등이 제안되고 있다.

전통적인 스테레오 비전(stereo vision) 방식에 의하면, 좌안, 우안 촬영 영상은 상기 영상을 촬영한 두 센서 사이의 거리(Baseline)에 의하여, 시차(disparity)가 발생하게 되고, 이러한 시차를 이용하여 3차원 깊이 정보를 산출한다.

구조광(structured light) 시스템의 경우, 스테레오 비전 시스템에서의 카메라 하나를 이미 알고 있는 형상을 투사하는 조명계로 전환하는 방식을 이용하여 3차원 깊이 정보를 산출한다. 이를 통하여 구조광 시스템은 구조광이 촬영되는 전 영역에서 깊이 정보를 산출한다.

이러한 방식에서는 미리 정해진 베이스라인에 따라 거리에 따른 깊이 분해능(depth resolution)이 달라지기 때문에, 원하는 수준의 깊이 분해능을 확보하기 위해서는 그에 대응되는 베이스라인이 필요하여, 깊이 정보를 측정하는 장치를 실제 구현함에 있어서 크기의 제약이 따르는 문제가 있다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 객체의 3차원 형상을 산출하는 장치에서 객체의 3차원 깊이를 측정함에 있어서, 구조광 시스템과 다중 카메라 기술을 이용하여 깊이 분해능을 높일 수 있도록 하는 객체의 3차원 형상을 산출하는 장치 및 방법을 제공하는 것을 그 목적으로 한다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 소정의 패턴이 부가된 구조광(structured light)을 객체에 투사하는 프로젝터, 상기 프로젝터를 기준으로 제1 거리에 위치하고, 상기 객체에서 반사된 상기 구조광을 감지하는 제1 센서, 상기 프로젝터를 기준으로 제2 거리에 위치하고, 상기 객체에서 반사된 상기 구조광을 감지하는 제2 센서 및 제1 기준 이미지와 비교하여 상기 제1 센서에서 감지된 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출하고, 제2 기준 이미지와 비교하여 상기 제2 센서에서 감지된 구조광 패턴의 변화에 따라 상기 산출된 3차원 깊이를 보정하는 제어부를 포함하는 객체의 3차원 형상을 산출하는 장치를 제공한다.

또한, 본 발명의 다른 측면에 따르면, 소정의 패턴이 부가된 구조광을 객체에 투사하는 프로젝터, 상기 객체에서 반사된 상기 구조광을 감지하는 구조광 센서, 제1 카메라 모듈, 제2 카메라 모듈 및 소정의 기준 이미지와 비교하여 상기 구조광 센서에서 감지되는 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈에서 각각 촬영된 영상에 기초하여 산출한 상기 객체의 3차원 깊이를 이용하여, 상기 구조광 센서를 통해 산출된 객체의 3차원 깊이를 보정하는 제어부를 포함하는 객체의 3차원 형상을 산출하는 장치를 제공한다.

또한, 본 발명의 다른 측면에 따르면, 소정의 패턴이 부가된 구조광을 객체에 투사하는 단계, 상기 객체에서 반사된 상기 구조광을 제1 위치 및 제2 위치에서 각각 감지하는 단계, 제1 기준 이미지와 비교하여, 상기 제1 위치에서 감지된 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출하는 단계 및 제2 기준 이미지와 비교하여, 상기 제2 위치에서 감지된 구조광 패턴의 변화에 따라 상기 산출된 3차원 깊이를 보정하는 단계를 포함하는 객체의 3차원 형상을 산출하는 방법을 제공한다.

또한, 본 발명의 다른 측면에 따르면, 소정의 패턴이 부가된 구조광을 객체에 투사하는 단계, 상기 객체에서 반사된 상기 구조광을 감지하는 단계, 제3 위치 및 제4 위치에서 상기 객체를 촬영하는 단계, 소정의 기준 이미지와 비교하여 상기 감지된 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출하는 단계 및 상기 제3 위치 및 제4 위치에서 각각 촬영된 영상에 기초하여 산출한 상기 객체의 3차원 깊이를 이용하여 상기 감지된 구조광 패턴의 변화에 따라 산출된 객체의 3차원 깊이를 보정하는 단계를 포함하는 객체의 3차원 형상을 산출하는 방법을 제공한다.

본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 객체의 3차원 깊이를 측정함에 있어서 구조광 시스템과 다중 카메라 기술을 이용함으로써, 깊이 분해능을 향상시킬 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 하나의 구조광 감지 센서를 이용하여 산출한 객체의 3차원 깊이를, 다른 베이스라인을 갖는 구조광 감지 센서를 이용하여 보정함으로써, 깊이 분해능을 향상시킬 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 각 센서들은 프로젝터를 기준으로 하여 다양한 위치에 배치될 수 있어, 더욱 깊이 분해능을 향상시킬 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 산출한 객체의 3차원 깊이를 보정하기 위해 이용되는 센서를 더 추가함으로써, 더욱 깊이 분해능을 향상시킬 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 구조광을 이용한 구성을 이용하여 객체의 3차원 깊이를 산출하고, 이를 카메라 모듈을 이용하여 스테레오 비전(stereo vision) 방식에 따라 산출한 객체의 3차원 깊이를 이용하여 보정함으로써, 깊이 분해능을 향상시킬 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 어레이 카메라(array camera)에 포함된 복수의 카메라 모듈 중 일부 카메라 모듈을 객체의 3차원 깊이를 보정하는데 이용할 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 어레이 카메라에 포함된 복수의 카메라 모듈 중 어느 하나를 구조광 센서로 제작할 수 있어, 별도의 구성을 더 추가하지 않을 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 어레이 카메라에 포함된 복수의 카메라 모듈을 객체의 3차원 깊이를 보정하는데 이용함으로써, 더욱 정밀하게 3차원 깊이를 산출할 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 깊이 분해능을 향상시킴에 따라, 동일한 깊이 분해능을 보다 짧은 베이스라인으로도 구현할 수 있어, 객체의 3차원 형상을 산출하는 장치를 소형화할 수 있다는 장점이 있다.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 장치의 블럭 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법의 흐름도이다.
도 3 내지 11은 본 발명의 일 실시예에 따라 객체의 3차원 깊이를 산출하고, 산출한 3차원 깊이를 보정하는 것을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 센서의 배치를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 장치에 복수의 센서가 더 포함된 것을 도시한 블럭 구성도이다.
도 14는 본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 장치의 블럭 구성도(block diagram)이다.
도 15는 본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법의 흐름도이다.
도 16은 본 발명의 다른 일 실시예에 따른 어레이 카메라를 이용하여 객체의 3차원 깊이를 산출하는 것을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예와 관련된 객체의 3차원 형상을 산출하는 장치의 블럭 구성도(block diagram)이다.

상기 객체의 3차원 형상을 산출하는 장치(100)는 프로젝터(110), 센서(130_1, 130_2), 제어부(150) 및 메모리(170) 등을 포함할 수 있다. 상기 객체의 3차원 형상을 산출하는 장치(100)는 도 1에 도시된 구성요소들 이외에 다른 구성요소들을 더 갖는 형태로 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

프로젝터(110)는 구조광(structured light)을 3차원 깊이 측정의 목적으로 객체에 대해 투사할 수 있다. 광을 투사하는 것은 특정 객체에 대하여 광을 발하는 것을 의미할 수 있다. 상기 구조광에는 임의의 패턴(pattern)이 부가될 수 있다.

일 예에 따라, 상기 광은 적외선을 의미할 수 있다. 다만, 이에 한정되는 것은 아니며, 가시광, 적외선, 자외선 및 방사선 중 적어도 하나를 의미할 수 있다.

프로젝터(110)는 광을 발하는 광원 및 광원으로부터 나오는 광이 입사되어 임의의 패턴이 부가되는 회절 광학 소자(diffraction optical element: DOE) 등을 포함할 수 있다. 다만, 이에 한정되지 아니하며, 프로젝터(110)는 광에 패턴을 부가하여 투사할 수 있는 것이라면 공지의 다른 구성을 포함할 수 있다.

일 예에 따라, 상기 임의의 패턴은 일정 크기의 점(spot)들이 어떠한 규칙 없이 무작위적으로 배치되는 패턴일 수 있다. 다만, 이에 한정되지 아니하며, 상기 임의의 패턴을 이루는 무늬는 3차원 깊이 측정에 이용될 수 있는 다른 형태가 적용될 수 있다.

센서(130_1, 130_2)는 객체에 투사되어 반사된 구조광을 감지하고, 감지한 구조광의 패턴을 이미지화하여, 전기적인 영상신호로 변환할 수 있다. 상기 영상신호로의 변환의 경우 센서(130_1, 130_2)는 프레임 단위로 처리할 수 있다. 센서(130_1, 130_2)는 상기 변환된 영상신호를 제어부(150)로 출력할 수 있다.

센서(130_1, 130_2)는 그 용어에 한정되지 않고, 객체로 투사된 구조광의 패턴을 감지하고, 이미지화하여 전기적인 영상신호로 변환할 수 있는 것이라면 어느 것이라도 적용될 수 있다.

제어부(150)는 센서(130_1, 130_2)에 의하여 이미지화된 상기 구조광의 패턴으로부터 패턴의 변화를 측정할 수 있다. 제어부(150)는 임의의 기준면(reference plane)에 대하여 투사된 구조광의 패턴을 이미지화한 것을 기준으로 하여, 상기 객체에 투사되어 이미지화된 구조광의 패턴의 변화를 측정할 수 있다.

제어부(150)는 상기 측정한 구조광 패턴의 변화로부터 상기 객체의 3차원 깊이를 산출할 수 있다. 이를 통하여 제어부(150)는 상기 객체의 3차원 형상을 산출할 수 있다. 제어부(150)는 상기 구조광 패턴의 변화와 프로젝터(110)의 위치 및 센서(130_1, 130_2)의 위치를 이용하여 삼각측량 기법을 토대로 상기 객체의 3차원 형상을 산출할 수 있다.

다만, 이에 한정되는 것은 아니며, 구조광 패턴의 변화로부터 객체의 3차원 형상을 산출할 수 있다면, 공지의 어떠한 방식도 적용될 수 있다.

메모리(170)는 제어부(150)가 상기 객체의 3차원 형상을 산출하는데 필요한 프로그램을 저장할 수 있다. 또한, 메모리(170)는 상기 기준면에 대한 구조광 패턴의 이미지인 기준 이미지를 저장할 수 있다. 또한, 메모리(170)는 상기 센서(130_1, 130_2)로부터 변환된 구조광 패턴에 대한 영상신호를 저장할 수 있다.

메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

도 1의 객체의 3차원 형상을 산출하는 장치(100)의 구현에 있어서, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(170)에 저장되고, 제어부(150)에 의해 실행될 수 있다.

이하에서는 이와 같이 구성된 3차원 형상을 산출하는 장치에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.

도 2는 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법의 흐름도이다. 도 3 내지 11은 본 발명의 일 실시예에 따라 객체의 3차원 깊이를 산출하고, 산출한 3차원 깊이를 보정하는 것을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법은, 도 1을 참조하여 설명한 객체의 3차원 형상을 산출하는 장치(100)에서 구현될 수 있다. 이하 필요한 도면들을 참조하여, 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법과, 이를 구현하기 위한 객체의 3차원 형상을 산출하는 장치(100)의 동작을 상세히 설명하기로 한다.

도 2를 참조하면, 제어부(150)는 프로젝터(110)를 통하여 소정의 패턴이 부가된 구조광을 객체에 투사할 수 있다[S100].

도 3에는 본 발명의 일 실시예에 따른 프로젝터(110) 및 센서(130_1, 130_2)의 배치가 개략적으로 도시되어 있다. 도 3에 도시된 바와 같이, 프로젝터(110)에서 객체(200)로 구조광을 투사할 수 있다. 이 경우, 프로젝터(110)의 구동은 제어부(150)의 제어에 의할 수 있다.

다시 도 2를 참조하면, 제1 위치 및 제2 위치에 위치한 센서(130_1, 130_2)는 상기 객체(200)에서 반사된 상기 구조광을 각각 감지할 수 있다[S110].

도 3에 도시된 바와 같이, 프로젝터(110)에서 객체(200)로 투사된 구조광을 센서(130_1, 130_2)에서 감지할 수 있다. 센서(130_1, 130_2)에서는 각각 감지된 구조광의 패턴을 이미지화하고, 이를 제어부(150)로 전송할 수 있다.

도 3을 참조하면, 프로젝터(110)를 기준으로 하여 제1 센서(130_1)와 제2 센서(130_2)는 서로 다른 위치에 배치될 수 있다. 즉, 제1 센서(130_1)와 프로젝터(110) 사이의 거리가 b1인 경우, 제2 센서(130_2)와 프로젝터(110) 사이의 거리는 b2에 해당될 수 있다.

또한, 도 3에서는 프로젝터(110)를 기준으로 상기 두 개의 센서(130_1, 130_2)가 왼쪽에 위치하고 있으나, 이에 한정되는 것은 아니다. 즉, 상기 두 개의 센서(130_1, 130_2)는 프로젝터(110)를 기준으로 오른쪽에 위치할 수 있다. 또는, 상기 두 개의 센서(130_1, 130_2)는 프로젝터(110)를 기준으로 각각 왼쪽과 오른쪽에 하나씩 위치할 수 있다. 각 경우, 프로젝터(110)로부터 각 센서(130_1, 130_2)까지의 거리는 서로 다르게 배치될 수 있다.

다시 도 2를 참조하면, 제어부(150)는 제1 기준 이미지와 비교하여, 상기 제1 위치에서 감지된 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출할 수 있다[S120].

객체의 3차원 깊이를 산출하는 원리에 대하여 우선 도 4 및 도 5를 참조하기로 한다. 도 4 및 도 5는 객체(200)까지의 거리에 따라 센서에서 감지되는 이미지에 따른 깊이 값의 변화를 설명하기 위한 도면이다.

도 4에는 동일한 길이의 객체가 각각 1, 2, 3의 위치에 있는 경우를 도시하고 있다. 프로젝터(10)에서 객체로 광이 투사되면, 센서(20)에서는 객체에서 반사된 광을 감지할 수 있다. 센서(20)에서 연장된 직선 V1, V2를 기준으로 보면, 센서(20)에서 도 5에 도시된 바와 같이 이미지화될 수 있다.

도 5의 (a)와 같이, 객체가 위치 1에 있을 때에는, 센서(20)에서 이미지화된 객체는 V1, V2를 넘어서 나타나게 된다.

도 5의 (b)와 같이, 객체가 위치 2에 있을 때에는, 센서(20)에서 이미지화된 객체는 V1으로부터 d1만큼 이동된 것처럼 나타나게 된다.

마찬가지로 도 5의 (c)와 같이, 객체가 위치 3에 있을 때에는, 센서(20)에서 이미지화된 객체는 V1으로부터 d2만큼 이동된 것처럼 나타나게 된다.

즉, 객체의 길이는 그대로이지만, 센서(20)에서 멀어질수록 이미지화되는 영역이 커지므로, 상대적으로 객체는 줄어드는 것처럼 이미지화된다. 이 경우 특정 기준(도 5에서는 V1)에 대해서는 마치 객체가 이동한 것처럼 나타나게 된다.

도 5의 (b)와 (c)를 비교하여 보면, 객체가 센서(20)로부터 더 멀어질수록, 센서(20)에서 이미지화된 객체는 기준 V1에 대하여 더 오른쪽으로 이동한 것처럼 표시되는 것을 알 수 있다.

즉, 센서로부터의 거리와 센서에서 감지된 이미지 내에서 측정되는 특정 기준으로부터의 이동 값은 상관관계에 있음을 알 수 있다. 따라서, 특정 기준 V1 으로부터 객체가 이동한 값을 측정하는 경우, 센서로부터 객체까지의 상대적인 거리를 구할 수 있다.

이에 대하여 구체적으로 설명하기 위하여, 도 6을 보면, 일 예에 따라 구조광을 이용하여 3차원 깊이를 측정하는 방법이 도시되어 있다.

도 6에서, b는 프로젝터(10)와 센서(20, 50) 내의 렌즈(20) 간의 거리인 베이스라인(baseline)을 의미한다. 기준면(30)은 특정 객체의 깊이를 측정하는데 있어서 기준으로 정해지는 임의의 면을 의미한다. ZO는 객체의 3차원 형상을 산출하는 장치(100)와 기준면(30) 사이의 거리에 해당하며, 미리 정해질 수 있다.

f는 초점 거리이며, 센서(20, 50) 내의 렌즈(20)와 촬상 장치의 이미지 면(50) 사이의 거리에 해당한다. 프로젝터(10)에서 투사된 광은 렌즈(20)를 통하여 유입되어 촬상 장치에서 전기적인 영상 신호로 전환된다. 상기 촬상 장치는 CCD(charge-coupled device) 등 광을 영상 신호로 전환할 수 있는 것이면 어느 것이나 적용될 수 있다.

3차원 깊이 측정에 있어 특정 기준이 되는 상기 제1 기준 이미지는, 도 3에 도시된 객체 대신 임의의 기준면에 대하여 프로젝터(110)에서 구조광을 투사하고, 상기 기준면에서 반사되는 구조광을 제1 센서(130_1)에서 감지하여 이미지화한 영상을 의미할 수 있다.

이를 구체적으로 설명하기 위하여 다시 도 6을 참조하면, 상기 제1 기준 이미지를 획득하기 위하여, 프로젝터(10)에서 미리 정해진 거리 ZO만큼 떨어진 기준면(30)으로 구조광이 투사된다. 투사된 구조광은 기준면(30)에서 반사되어 센서(20, 50)에서 감지된다.

상기 기준면(30)에 투사되어 감지된 구조광의 패턴에 대한 이미지가 상기 제1 기준 이미지가 되며, 이 경우, 상기 제1 기준 이미지는 미리 생성되어 메모리(170)에 저장될 수 있다.

이후 객체(40)의 3차원 깊이를 측정하기 위하여, 상기 제1 기준 이미지를 획득할 때 이용되었던 것과 동일한 패턴을 가지는 구조광이 객체(40)로 투사될 수 있다. 도 6에서 객체(40)는 하나의 면처럼 도시되었으나, 이는 설명의 편의를 위한 것으로, 실제로는 객체(40)를 이루는 각 면에 구조광이 투사될 것이다.

객체(40)에서 반사된 구조광이 센서(20, 50)에서 이미지로 획득되면, 제어부(150)는 상기 제1 기준 이미지를 기준으로 하여, 상기 획득된 이미지에서 각각 대응되는 패턴들의 위치 이동을 측정할 수 있다. 이러한 패턴의 위치 이동은 도 6에서 d에 해당되며, 이는 제1 기준 이미지를 기준으로 하여 객체(40)의 k 점에 대응하는 시차(disparity)를 의미한다.

일 예에 따라, 도 6에서 삼각형의 닮은꼴을 이용하면, D/b=(ZO-ZK)/ZO, d/f=D/ZK의 관계에 있음을 알 수 있다. 상기 두 식을 정리하면 아래의 수학식 1이 도출될 수 있다.

전술한 바와 같이, 상기 수학식 1에서 f는 초점 거리, b는 베이스라인, ZO는 기준면(30)까지의 거리로서, 미리 정해질 수 있다. 따라서, 객체(40)의 임의의 점 k에 대한 시차 d가 획득된 이미지에서 측정되면, 객체(40)까지의 거리인 3차원 깊이 ZK를 산출할 수 있다. 이러한 연산을 객체(40)의 표면에 대하여 수행함으로써, 객체(40)의 3차원 형상을 산출할 수 있다.

다시 도 3을 참조하면, 제어부(150)는 프로젝터(110)에서 투사된 구조광에 대하여, 기준면에서 반사된 패턴의 이미지(제1 기준 이미지)와 객체(200)에서 반사된 패턴의 이미지를 서로 비교할 수 있다. 제어부(150)는 제1 기준 이미지와 객체(200)에서 반사된 패턴 이미지에서 대응되는 패턴들의 위치 이동을 측정하여, 객체(200)의 3차원 깊이를 산출할 수 있다. 이 경우, 제어부(150)는 전술한 바와 같이, 도 6에 도시된 d값을 측정하여 수학식 1에 대입함으로써, 객체(200)까지의 거리를 구할 수 있다.

다시 도 2를 참조하면, 제어부(150)는 제2 기준 이미지와 비교하여, 상기 제2 위치에서 감지된 구조광 패턴의 변화에 따라 상기 산출된 3차원 깊이를 보정할 수 있다[S130].

상기 제2 기준 이미지는 상기 제1 기준 이미지를 획득하기 위해 사용되었던 기준면에 대하여, 프로젝터(110)에서 구조광을 투사하고, 상기 기준면에서 반사되는 구조광을 제2 센서(130_2)에서 감지하여 이미지화한 영상을 의미할 수 있다. 상기 제2 기준 이미지의 획득 과정은 상기 기준면에서 반사된 구조광을 감지하는 것이 제2 센서(130_2)라는 점을 제외하고는, 전술한 상기 제1 기준 이미지의 획득 과정과 실질적으로 동일하므로 이에 대한 설명을 생략하기로 한다.

제어부(150)는 제2 센서(130_2)에서 감지된 구조광에 대하여, 기준면에서 반사된 패턴 이미지(제2 기준 이미지)와 객체(200)에서 반사된 패턴 이미지를 서로 비교할 수 있다. 제어부(150)는 제2 기준 이미지와 객체(200)에서 반사된 패턴 이미지에서 대응되는 패턴들의 위치 이동을 측정하여, 객체(200)의 3차원 깊이를 산출할 수 있다.

제어부(150)는 제1 센서(130_1)에서 감지된 구조광으로부터 산출한 객체(200)의 3차원 깊이를, 제2 센서(130_2)로부터 산출한 3차원 깊이를 이용하여 보정할 수 있다. 이러한 보정은 서로 다른 베이스라인을 갖는 센서의 경우, 거리에 따른 각 센서에서의 깊이 분해능(depth resolution)이 다른 것을 이용하는 것이다. 이에 대해서는 이하에서 도 7 내지 도 11을 참조하여, 구체적으로 기재하기로 한다.

도 7은 객체의 3차원 깊이 ZK와 시차 d 사이의 관계(곡선 PO)를 나타낸 그래프이다. 곡선 PO의 특성은 상기 수학식 1에서 미리 정해진 값들(ZO, f, b)에 의해 정해진다.

우선적으로 깊이 분해능의 개념을 설명하기로 한다. 3차원 깊이를 산출하는 정도를 나타내는 깊이 분해능은 Z 방향(도 6 참조)의 단위 길이에 대응하는 이미지 면(50)에서의 픽셀의 개수로 이해할 수 있다. 또는, 깊이 분해능은 1개의 픽셀에 대응되는 Z 방향의 깊이 값으로 이해할 수 있다.

즉, 구조광을 검출하는 센서(130_1, 130_2)로 디지털화된 센서를 이용하는 경우, 이미지로 획득된 구조광 패턴의 위치 이동 값은 각 픽셀의 개수로 나타내어진다. 따라서, Z 방향으로의 동일 길이를 더 많은 개수의 픽셀로 나타낼수록 깊이 분해능이 크다고 할 수 있다. 또는, 1개의 픽셀에 대응하는 깊이 값이 작을수록 깊이 분해능이 크다고 할 수 있다.

구체적으로 살펴보면, 도 8은 제1 센서(130_1)에 포함된 촬상 장치의 픽셀 일부를 도시하고 있다. 제1 기준 이미지에서, 구조광 패턴을 이루는 하나의 점이 S1 위치에 표시된다고 가정한다.

객체(200)에서 반사되어 감지된 구조광 패턴의 이미지에서, 동일한 점이 S2 또는 S3의 위치에 표시될 수 있다. 전술한 바와 같이, 제1 기준 이미지에서의 S1을 기준으로, S3에 표시되는 경우가 S2에 표시되는 경우보다 더 멀리 이동하였으므로, 객체(200)가 더 멀리 있다는 의미(깊이 값이 더 큰)가 된다.

그러나 디지털화된 센서에서 이동 값은 픽셀 단위로 측정될 수 밖에 없어, 제어부(150)는 상기 S1, S2, S3 각각을 동일한 깊이 값으로 측정하게 된다. 이는 제어부(150)에서는 그 깊이 차이를 산출할 수 없다는 것을 의미한다. 즉, 실질적으로는 깊이 값에 차이가 있어도 동일한 깊이로 산출하게 되는 구간이 있으므로, 깊이 분해능이 감소하게 된다.

다시 도 7을 참조하면, 곡선 PO를 보면, ZK=ZO인 경우 d가 0의 값을 갖는다는 것을 알 수 있다. 즉, 객체(200)가 기준 이미지가 있던 거리 ZO에 있는 경우 d=0으로 나타나는 것이다. 이는 상기 수학식 1에 d=0을 대입하여서도 확인할 수 있다.

도 7의 그래프를 살펴보면 ZK 축에서 ZO점을 기준으로 위로 갈수록 객체(200)가 기준면보다 멀어지는 것을 의미한다. 반대로, ZO점을 기준으로 아래로 갈수록 객체(200)가 객체의 3차원 형상을 산출하는 장치(100)와 가까워지는 것을 의미한다.

객체의 3차원 형상을 산출하는 장치(100)와 멀어질수록, 도 7에 도시된 곡선 PO의 기울기가 점점 증가하게 된다. 곡선 PO의 기울기가 점점 증가하므로, 동일한 d0에 대응되는 구간은 점점 커지게 된다. 즉, 도 7에 도시된 바와 같이, 구간 B1보다 구간 A1이 더 큰 구간을 갖게 된다. 여기서 d0를 1개의 픽셀의 길이라고 하면, 1픽셀에 대응되는 깊이 값 구간이 점점 커지므로, 상기한 깊이 분해능은 점점 감소하게 된다. 이로 인하여 객체의 3차원 형상이 제대로 산출되지 못하게 된다.

수학식 1의 고정된 값들인 베이스라인 b, 초점 거리 f, 기준 이미지까지의 거리 ZO는 객체의 3차원 형상을 산출하는 장치(100)를 만들 때 미리 정해질 수 있다. 이에 따라 곡선 PO의 특성도 미리 정해지게 되어 객체의 3차원 형상을 산출하는 장치(100)의 깊이 분해능도 정해지게 된다.

이 경우, 베이스라인 b는 객체의 3차원 형상을 산출하는 장치(100)의 크기에 의해 제약을 받게 된다. 도 3 및 도 6과 수학식 1을 보면, 베이스라인 b가 줄어들수록 객체의 3차원 형상을 산출하는 장치(100)의 깊이 분해능은 감소하게 된다.

도 9의 (a)는 베이스라인을 달리하는 제1 센서(130_1) 및 제2 센서(130_2)에서 픽셀에 대응하는 깊이 값의 구간을 도시한 것이다. 전술한 바와 같이, 베이스라인 b 값이 다르기 때문에, 픽셀에 대응하는 깊이 값의 구간도 달라질 수 있다.

도 9의 (b)는 비교하기 쉽게 도 9의 (a)에 도시된 깊이 값의 구간을 평행한 선으로 도시한 것이다. 제1 센서(130_1)의 픽셀 당 깊이 값 구간은 각각 Z11, Z12, Z13, ...로 나타낼 수 있다. 제2 센서(130_2)의 픽셀 당 깊이 값 구간은 각각 Z21, Z22, Z23, ...로 나타낼 수 있다.

일 예에 따라, 제어부(150)는 제1 센서(130_1)에서 감지된 구조광의 패턴 변화에 따라 객체의 3차원 깊이를 산출할 수 있다. 이 경우, 제어부(150)는 상기 산출된 깊이 값을 제2 센서(130_2)에서 감지된 구조광의 패턴 변화에 따라 산출된 깊이 값을 이용하여 보정할 수 있다.

제1 센서(130_1)만 있는 경우, 제어부(150)는 구간 Z11을 동일한 깊이 값으로 산출하게 된다. 그러나 제2 센서(130_2)를 이용하면, 도 9의 (b)에 도시된 바와 같이, 구간 Z11은 구간 Z21에 의해 구분되어 Z31, Z32로 세분화될 수 있다.

즉, 제2 센서(130_2)에서 산출한 깊이 값을 이용하면, 제어부(150)는 상기 구간 Z11을 Z31, Z32의 두 구간으로 나눌 수 있어, 서로 다른 깊이 값으로 산출할 수 있다. 따라서, 동일한 깊이로 산출되는 구간의 간격을 줄일 수 있어, 제어부(150)는 보다 정밀한 깊이 산출이 가능할 수 있다.

이상에서는 제1 센서(130_1)를 이용하여 산출된 값을 기준으로 설명하였으나, 이에 한정되는 것은 아니다. 즉, 제어부(150)는 제1 센서(130_1)를 통하여 산출된 값을 이용하여, 제2 센서(130_2)를 이용하여 산출된 값을 보정할 수도 있을 것이다.

이하에서는, 도 10 및 도 11을 참조하여, 이에 대하여 구체적으로 살펴보기로 한다.

도 10에서는 제1 센서(130_1)에서 이미지화되는 구조광 패턴의 일부를 도시하고 있다. 각각의 사각형은 하나의 픽셀을 의미한다. 도시된 원은 상기 구조광 패턴을 이루는 임의의 점에 해당한다.

도 10의 (a)는 제1 기준 이미지에서의 상기 임의의 점을 도시하고 있다. 이 경우 제어부(150)는 (x5, y5) 픽셀을 상기 임의의 점의 중심에 대응하는 픽셀(C1)로 정할 수 있다.

도 10의 (b)는 객체(200)에서 반사되어 제1 센서(130_1)에서 감지된 구조광의 패턴 이미지 중 상기 임의의 점에 대응되는 점을 도시한 것이다. 도 10의 (a)에 비하여, 상기 임의의 점이 조금 우측으로 이동하였지만, 그 중심의 x값이 여전히 x5 구간을 넘지 못한 경우, 제어부(150)는 그 중심에 대응하는 픽셀(C2)을 여전히 (x5, y5)로 정할 수 있다.

따라서, 실제 객체(200)는 상기 기준면과 다른 거리에 있음에도 불구하고, 제어부(150)는 동일한 거리에 있는 것으로 산출하게 된다.

도 11에서는 도 10과 동일한 기준면 및 객체(200) 위치를 전제로, 제2 센서(130_2)에서 이미지화되는 구조광 패턴의 일부를 도시하고 있다.

도 11의 (a)는 제2 기준 이미지에서의 상기 임의의 점을 도시하고 있다. 이 경우 제어부(150)는 상기 임의의 점의 중심에 대응하는 픽셀(C3)을 (x5, y5) 로 정할 수 있다.

도 11의 (b)는 객체(200)에서 반사되어 제2 센서(130_2)에서 감지된 구조광의 패턴 이미지 중 상기 임의의 점에 대응되는 점을 도시한 것이다. 도 11의 (a)에 비하여, 상기 임의의 점이 조금 우측으로 이동하여, 그 중심의 x값이 x5 구간을 넘은 경우, 제어부(150)는 그 중심에 대응하는 픽셀(C4)을 (x6, y5)로 정할 수 있다.

따라서, 제어부(150)는 제1 센서(130_1)을 이용한 경우, 산출하지 못하였던 기준면과 객체(200)의 깊이 차이를, 제2 센서(130_2)를 이용하여 산출할 수 있다.

이를 통하여, 실제 깊이 값과 산출되는 깊이 값이 서로 달라지는 경우를 줄일 수 있어, 제어부(150)는 보다 정확한 객체의 3차원 형상을 산출할 수 있다.

마찬가지로, 제어부(150)는 제2 센서(130_2)에서 동일 깊이로 산출되는 구간을 제1 센서(130_1)를 이용하여 다른 깊이 값으로 구분하여 산출할 수 있다.

이에 의하면, 다른 베이스라인을 갖는 제2 센서(130_2)를 더 구비함으로써, 객체의 3차원 형상을 산출하는 장치(100)는 보다 좋은 깊이 분해능으로 동작할 수 있다. 또한, 동일한 깊이 분해능을 구현하기 위하여 보다 짧은 거리의 베이스라인이 필요하게 되어, 객체의 3차원 형상을 산출하는 장치(100)는 보다 작은 크기로 구현될 수 있다.

도 12는 본 발명의 일 실시예에 따른 센서의 배치를 설명하기 위한 도면이다.

도 3에서는 제1 센서(130_1)와 제2 센서(130_2)가 프로젝터(110)과 동일 선상에 위치한 것을 기준으로 설명하였다. 그러나 이에 한정되는 것은 아니며, 도 12에 도시된 바와 같이, 제2 센서(130_2)는 프로젝터(110)와 제1 센서(130_1)를 잇는 동일 선상에 위치하지 않을 수 있다.

이 경우에도, 제어부(150)는 제1 센서(130_1)와 제2 센서(130_2)에서 감지되는 구조광의 패턴의 변화에 따라 객체(200)의 3차원 깊이를 산출하고 보정할 수 있다. 제2 센서(130_2)의 경우, 프로젝터(110)를 기준으로 수직 성분의 거리 값을 더 갖는다는 점에서만 전술한 방법과 차이가 있다.

따라서, 제어부(150)는 전술한 3차원 깊이 계산에 있어서, 수직 성분 값을 더 고려하여 3차원 깊이를 산출할 수 있다. 이러한 경우에 있어서의 3차원 깊이의 산출은 특정 방법으로 한정되지 아니하며, 수직 성분을 고려하여 3차원 깊이를 산출할 수 있으면 어느 방법이나 적용될 수 있다.

제2 센서(130_2)가 수직 성분의 거리 값을 더 가짐으로써, 1개의 픽셀에 대응하는 깊이 구간이 제1 센서(130_1)와 달라지게 된다. 따라서, 제어부(150)는 어느 하나의 센서에서 산출한 3차원 깊이 값을 다른 센서에서 산출한 3차원 깊이 값을 이용하여 보정할 수 있다.

도 13은 본 발명의 일 실시예에 따른 객체의 3차원 형상을 산출하는 장치(100)에 복수의 센서(130_1, 130_2, ..., 130_N)가 더 포함된 것을 도시한 블럭 구성도이다.

객체의 3차원 형상을 산출하는 장치(100)는 프로젝터(110)를 기준으로 하여, 제1 센서(130_1)까지의 거리 및 제2 센서(130_2)까지의 거리와 다른 거리에 위치하는 적어도 하나의 프로젝터를 더 포함할 수 있다.

이 경우 전술한 바와 마찬가지로, 각 센서(130_1, 130_2, ..., 130_N)의 특성에 따라, 1개의 픽셀에 대응하는 객체의 3차원 깊이 구간이 각각 다르게 나타날 수 있다.

따라서, 제어부(150)는 어느 하나의 센서에서 산출된 3차원 깊이 중 1개의 픽셀에 대응하는 각각의 구간을 다른 센서들에서 산출된 3차원 깊이를 이용하여 다수의 구간으로 분리할 수 있다. 이를 통하여, 제어부(150)는 더욱 정밀하게 객체의 3차원 형상을 산출할 수 있다. 또는, 동일한 깊이 분해능을 가지는 객체의 3차원 형상을 산출하는 장치(100)는 더욱 짧은 베이스라인으로 구현될 수 있다.

도 14는 본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 장치의 블럭 구성도(block diagram)이다.

본 발명의 다른 일 실시예에 따라, 상기 객체의 3차원 형상을 산출하는 장치(100)는 프로젝터(110), 구조광 센서(130), 제어부(150), 메모리(170) 및 제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2) 등을 포함할 수 있다. 상기 객체의 3차원 형상을 산출하는 장치(100)는 도 14에 도시된 구성요소들 이외에 다른 구성요소들을 더 갖는 형태로 구현될 수도 있다.

프로젝터(110), 구조광 센서(130), 제어부(150) 및 메모리(170)의 경우, 도 1에서 전술한 내용과 실질적으로 동일하므로, 여기서는 더 이상의 설명을 생략하기로 한다.

제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)은 외부 영상을 촬영하여 이미지를 출력할 수 있다. 카메라 모듈은 그 용어에 한정되지 않고, 외부로부터의 광을 감지하고, 이미지화하여 전기적인 영상신호로 변환할 수 있는 것이라면 어느 것이라도 적용될 수 있다.

도 14의 객체의 3차원 형상을 산출하는 장치(100)의 구현에 있어서, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(170)에 저장되고, 제어부(150)에 의해 실행될 수 있다.

이하에서는 이와 같이 구성된 3차원 형상을 산출하는 장치에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.

도 15는 본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법의 흐름도이다. 도 16은 본 발명의 다른 일 실시예에 따른 어레이 카메라를 이용하여 객체의 3차원 깊이를 산출하는 것을 설명하기 위한 도면이다.

본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법은, 도 14를 참조하여 설명한 객체의 3차원 형상을 산출하는 장치(100)에서 구현될 수 있다. 이하 필요한 도면들을 참조하여, 본 발명의 다른 일 실시예에 따른 객체의 3차원 형상을 산출하는 방법과, 이를 구현하기 위한 객체의 3차원 형상을 산출하는 장치(100)의 동작을 상세히 설명하기로 한다.

도 15를 참조하면, 제어부(150)는 프로젝터(110)를 통하여 소정의 패턴이 부가된 구조광을 객체에 투사할 수 있다[S200]. 이에 대해서는 전술한 도 2에서의 단계 S100의 설명과 실질적으로 동일하므로, 여기서는 더 이상의 설명을 생략하기로 한다.

구조광 센서(130)는 상기 객체(200)에서 반사된 상기 구조광을 감지할 수 있다[S210]. 이에 대해서는 전술한 도 2에서의 단계 S110의 설명과 실질적으로 동일하므로, 여기서는 더 이상의 설명을 생략하기로 한다.

제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)은 각각 제3 위치 및 제4 위치에서 상기 객체를 촬영할 수 있다[S220].

도 16을 참조하면, 일 예에 따라 객체의 3차원 형상을 산출하는 장치(100)는 이동 단말기로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 3차원 깊이 산출을 통한 객체의 3차원 형상의 산출이 필요한 전자 기기라면 어느 것으로나 구현될 수 있다.

도 16은 이동 단말기의 후면의 일부에 프로젝터(110), 구조광 센서(130), 복수의 카메라 모듈(190)이 배치된 것을 도시한 것이다. 다만, 이에 한정되는 것은 아니며, 프로젝터(110), 구조광 센서(130), 복수의 카메라 모듈(190)은 이동 단말기의 전면 또는 기타 다른 부분에 배치될 수 있다.

도 16에 도시된 바와 같이, 복수의 카메라 모듈(190)은 각각의 카메라 모듈이 행렬(matrix) 형식으로 배열될 수 있다. 행렬(matrix) 형식으로 배열된 카메라는, 어레이(array) 카메라로 명명될 수 있다. 도 16에서는 가로, 세로 각각 3줄의 형태로 도시되었으나 이에 한정되는 것은 아니며, 카메라 모듈의 숫자는 필요에 따라 다른 수로 구성될 수 있다.

또한, 어레이 카메라 형태로 한정되는 것은 아니며, 복수의 카메라 모듈(190)은 소정의 다른 형태로 배열될 수 있다. 일 예에 따라, 적어도 하나의 라인을 따라 배열될 수 있다.

제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)은 프로젝터(110) 및 구조광 센서(130)와 동일 선상에 있는 L31, L32, L33 중 2개의 카메라 모듈로 구현될 수 있다. 제1 카메라 모듈(190_1)의 위치가 상기 제3 위치가 되며, 제2 카메라 모듈(190_2)의 위치가 상기 제4 위치가 될 수 있다.

다만, 이에 한정되는 것은 아니며, 제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)은 프로젝터(110) 및 구조광 센서(130)와 동일 선상이 아닌 L11, L12, L13, L21, L22, L23 중 어느 2개의 카메라 모듈로 구현될 수 있다.

또한, 도 16에서는 구조광 센서(130)가 별도의 위치에 구현되었으나, 이에 한정되는 것은 아니다. 즉, 구조광 센서(130)는 복수의 카메라 모듈(190)에 포함된 어느 하나의 카메라 모듈의 자리에 구현될 수 있다. 예를 들어, 카메라 모듈(L33)의 위치에 카메라 모듈 대신, 구조광 센서(130)가 위치할 수 있다. 이를 통하여, 별도의 구조광 센서 자리를 확보하지 않고 구현할 수 있다.

제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)에서는 각각 영상을 촬영하여 이를 제어부(150)로 출력할 수 있다.

다시 도 15를 참조하면, 제어부(150)는 소정의 기준 이미지와 비교하여, 상기 감지된 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출할 수 있다[S230]. 구조광을 이용한 객체의 3차원 깊이 산출에 대해서는 전술한 도 6의 설명과 실질적으로 동일하므로, 여기서는 더 이상의 구체적인 설명은 생략하기로 한다.

제어부(150)는 제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)에서 각각 촬영된 영상에 기초하여 산출한 상기 객체의 3차원 깊이를 이용하여, 상기 감지된 구조광 패턴의 변화에 따라 산출된 객체의 3차원 깊이를 보정할 수 있다[S240].

제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)에서 각각 촬영된 영상에 기초하여 객체의 3차원 깊이를 산출하는 방법은 공지의 스테레오 비전(stereo vision) 방식에 의할 수 있다.

스테레오 비전 방식을 이용하여 거리를 추정하는 방식의 경우, 제어부(150)는 좌우 영상 촬영 장치로부터 촬영된 영상을 이용하여 대응점을 찾아 깊이 맵(depth map)을 생성한다. 상기 좌우 영상 촬영 장치는 제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2)로 구현할 수 있다.

제어부(150)는 상기 깊이 맵과 좌우 영상을 이용하여 객체를 검출하고, 상기 검출된 객체의 시차를 구한다. 제어부(150)는 상기 구해진 시차를 이용하여 객체의 거리를 추정할 수 있다.

다만, 이에 한정되는 것은 아니며, 카메라 모듈을 이용하여 객체의 3차원 깊이를 산출할 수 있다면, 공지의 다른 방법도 일 실시예로서 적용될 수 있다.

제어부(150)는 상기 감지된 구조광 패턴의 변화에 따라 산출된 객체의 3차원 깊이를, 상기 카메라 모듈을 이용하여 산출한 3차원 깊이 정보를 이용하여 보정할 수 있다. 제어부(150)에서 3차원 깊이를 보정하는 원리에 대해서는, 도 6 내지 도 11의 설명에서 전술하였으며, 이는 스테레오 비전 방식에 따라 산출된 거리를 이용하는 경우에도 실질적으로 동일하게 적용되는 바, 여기서는 구체적인 설명을 생략하기로 한다.

이와 같이, 어레이 카메라와 같은 복수의 카메라 모듈을 3차원 깊이의 보정에 사용할 수 있어, 제어부(150)는 보다 정확한 객체의 3차원 형상을 산출할 수 있다.

일 예에 따라, 객체의 3차원 형상을 산출하는 장치(100)는 제1 카메라 모듈(190_1)과 제2 카메라 모듈(190_2) 이외에 적어도 하나의 쌍으로 이루어진 카메라 모듈을 더 포함할 수 있다.

다시 도 16을 참조하면, 상기 하나의 쌍으로 이루어진 카메라 모듈은 어레이 카메라(190)내의 임의의 다른 2개의 카메라 모듈로 구현될 수 있다. 이러한 한 쌍의 카메라 모듈은 적어도 하나 이상이 사용되어, 상기 3차원 깊이의 보정에 이용될 수 있다. 각각의 추가되는 카메라 모듈의 쌍에 의해 얻어지는 깊이 값들을 상기 구조광 센서에서 산출된 객체의 3차원 깊이를 보정하는 데 이용할 수 있다.

이를 통하여 제어부(150)는 더욱 세분화된 3차원 깊이를 산출할 수 있어, 보다 정확한 객체의 3차원 형상을 산출할 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 제어부(150)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

100: 객체의 3차원 형상을 산출하는 장치
110: 프로젝터 130_1 ~ 130_N: 센서
150: 제어부 170: 메모리
190: 카메라 모듈

Claims (12)

1. 소정의 패턴이 부가된 구조광(structured light)을 객체에 투사하는 프로젝터;
   상기 프로젝터를 기준으로 제1 거리에 위치하고, 상기 객체에서 반사된 상기 구조광을 감지하는 제1 센서;
   상기 프로젝터를 기준으로 제2 거리에 위치하고, 상기 객체에서 반사된 상기 구조광을 감지하는 제2 센서; 및
   제1 기준 이미지와 비교하여 상기 제1 센서에서 감지된 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출하고, 제2 기준 이미지와 비교하여 상기 제2 센서에서 감지된 구조광 패턴의 변화에 따라 상기 산출된 3차원 깊이를 보정하는 제어부;를 포함하고,
   상기 제1 기준 이미지 및 상기 제2 기준 이미지는
   상기 프로젝터에서 투사된 구조광이 상기 객체의 3차원 형상을 산출하는 장치로부터 소정의 거리에 있는 기준 면에서 반사되어, 상기 제1 센서 및 상기 제2 센서에서 각각 감지된 이미지인 것인 것을 특징으로 하는 객체의 3차원 형상을 산출하는 장치.
2. 삭제
3. 제 1 항에 있어서, 상기 제1 센서 및 상기 제2 센서는
   상기 프로젝터를 기준으로 동일한 직선상에 위치하는 것을 포함하는 객체의 3차원 형상을 산출하는 장치.
4. 제 1 항에 있어서, 상기 제1 센서 및 상기 제2 센서는
   상기 프로젝터를 기준으로 서로 다른 직선상에 위치하는 것을 포함하는 객체의 3차원 형상을 산출하는 장치.
5. 제 1 항에 있어서,
   상기 프로젝터를 기준으로 하여, 상기 제1 센서까지의 거리 및 상기 제2 센서까지의 거리와 다른 거리에 위치하는 적어도 하나의 센서;
   를 더 포함하고,
   상기 제어부는 상기 적어도 하나의 센서에서 감지되는 구조광에 부가된 패턴의 변화에 따라 상기 산출된 객체의 3차원 깊이를 보정하는 객체의 3차원 형상을 산출하는 장치.
6. 소정의 패턴이 부가된 구조광을 객체에 투사하는 프로젝터;
   상기 객체에서 반사된 상기 구조광을 감지하는 구조광 센서;
   제1 카메라 모듈;
   제2 카메라 모듈; 및
   소정의 기준 이미지와 비교하여 상기 구조광 센서에서 감지되는 구조광 패턴의 변화에 따라 상기 객체의 3차원 깊이를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈에서 각각 촬영된 영상에 기초하여 산출한 상기 객체의 3차원 깊이를 이용하여, 상기 구조광 센서를 통해 산출된 객체의 3차원 깊이를 보정하는 제어부;를 포함하고,
   상기 기준 이미지는
   상기 프로젝터에서 투사된 구조광이 상기 객체의 3차원 형상을 산출하는 장치로부터 소정의 거리에 있는 기준 면에서 반사되어, 상기 구조광 센서에서 감지된 이미지인 것를 포함하는을 특징으로 하는 객체의 3차원 형상을 산출하는 장치.
7. 삭제
8. 제 6 항에 있어서,
   소정의 형태로 배열된 복수의 카메라 모듈을 구비하는 카메라부;
   를 더 포함하고,
   상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 상기 카메라부에 구비된 카메라 모듈 중 어느 하나인 것을 특징으로 하는 객체의 3차원 형상을 산출하는 장치.
9. 제 8 항에 있어서, 상기 구조광 센서는
   상기 카메라부에 구비되는 것을 포함하는 객체의 3차원 형상을 산출하는 장치.
10. 제 6 항에 있어서,
    적어도 하나의 쌍으로 이루어진 카메라 모듈;
    을 더 포함하고,
    상기 제어부는 상기 적어도 하나의 쌍으로 이루어진 카메라 모듈에서 각각 촬영된 영상에 기초하여 산출한 상기 객체의 3차원 깊이를 이용하여, 상기 구조광 센서를 통해 산출된 객체의 3차원 깊이를 보정하는 객체의 3차원 형상을 산출하는 장치.
11. 삭제
12. 삭제

Images