KR101861393B1

KR101861393B1 - 통합형 저전력 깊이 카메라 및 비디오 프로젝터 장치

Info

Publication number: KR101861393B1
Application number: KR1020137007745A
Authority: KR
Inventors: 사기 카츠; 쉴로모 펠젠쉬테인; 아비샤이 애들러; 지오라 야하브
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2010-09-28
Filing date: 2011-08-29
Publication date: 2018-05-28
Anticipated expiration: 2031-08-29
Also published as: CA2812433A1; WO2012047410A1; CN102510461B; IL225090A; ES2587436T3; CN102510461A; EP2622847B1; EP2622847A1; JP5894600B2; US8681255B2; EP2622847A4; US20120075534A1; JP2013546222A; KR20130138225A; CA2812433C

Abstract

비디오 프로젝터 장치는 표면 또는 물체에 이미지를 투사하는 가시광 프로젝터 및 가시광 센서를 포함하는데, 이는 비행시간 원리를 이용하여 물체에 관한 깊이 데이터를 획득하는데 사용될 수 있다. 센서는 깊이 데이터를 획득할 뿐만 아니라 컬러 이미지를 획득하는 전하 커플링(charge-coupled) 장치일 수 있다. 투사된 광은 연속적인 프레임에서 제공될 수 있다. 프레임은, 비행시간 데이터를 얻기 위해 센서가 게이트되는 동안 연속 광이 후속하는 펄스 광의 게이트 서브프레임, 반사도 데이터를 얻기 위해 센서가 게이트되지 않는 동안 연속 광이 후속하는 펄스 광의 비게이트 서브프레임, 및 배경 광의 수준을 결정하기 위해 센서가 게이트되는 동안 연속 광이 후속하는 무광의 배경 서브프레임을 포함할 수 있다. 컬러 서브프레임은 센서가 활성인 동안 연속 광을 투사한다.

Description

통합형 저전력 깊이 카메라 및 비디오 프로젝터 장치{INTEGRATED LOW POWER DEPTH CAMERA AND PROJECTION DEVICE}

실시간 깊이 카메라(depth camera)는 카메라의 시야에서 사람이나 다른 물체까지의 거리를 결정하고, 카메라의 프레임 레이트에 기초하여 실질적으로 실시간으로 거리를 업데이트할 수 있다. 이러한 깊이 카메라는, 예를 들어, 물리적인 공간에서 인체나 기타 객체의 위치와 움직임에 관한 데이터를 획득하기 위한 모션 캡처 시스템에서 사용될 수 있고, 이 데이터를 연산 시스템에서 애플리케이션의 입력으로 사용할 수 있다. 군용, 엔터테인먼트용, 스포츠용 및 의료용과 같은 많은 애플리케이션이 가능하다. 깊이 카메라는 보통 시야를 조명하는 적외선 조명기와, 이미지를 형성하기 위해 시야로부터 반사광을 감지하는 하나 이상의 적외선 이미지 센서를 포함함다. 또한, 깊이 카메라는 사용자 가정의 텔레비전과 같은 디스플레이 장치와 통신하는 게임 콘솔의 일부로서 제공될 수도 있다. 그러나, 깊이 카메라 기술을 비디오 프로젝터 장치와 같은 휴대용 또는 기타 작은 폼팩터 장치에 적응시키는데 다양한 도전이 존재한다. 이들 도전은 전원 및 공간 제한을 포함한다.

소형의 크기와 감소된 전력 소비 및 비용의 목적을 달성하는 비디오 프로젝터 장치가 제공된다. 비디오 프로젝터 장치의 백라이트는, 가시광 카메라에 의해 검출될 수 있고 시야에 관한 거리/깊이 데이터로 변환될 수 있는 광 펄스를 생성하도록 변조된다. 이러한 종류의 변조는 투사된 광의 이미지 품질에 알아챌 수 있을 정도로 영향을 주지 않고, 장치 상에서 또는 장치에 연결된 호스트 상에서 실행되는 다양한 애플리케이션에 대해 사용되는 다양한 이동 또는 비이동 장치에 포함될 수 있다.

일 실시형태에서, 비디오 프로젝터 장치는 가시 광을 발산하는 프로젝터의 백라이트 등의 광원을 포함한다. 비디오 프로젝터 장치의 프로젝터 부분에서, 광원으로부터 발산되는 가시광을 변조하는 드라이버가 제공된다. 또한, 개별적으로 제어가능한 픽셀을 갖는 하나 이상의 광투과 LCD 패널이 제공될 수 있어서 광원으로부터의 가시광에 컬러 비디오 정보를 준다. 시야에서 컬러 코딩된 가시광을 투사하는 적어도 하나의 광 컴포넌트가 제공된다. 예를 들어, 하나 이상의 렌즈가 사용될 수 있다. 비디오 프로젝터 장치의 센서 부분에, 시야 내 적어도 하나의 물체로부터 반사되는 가시광을 포함하여 가시광을 감지하는 전하 커플링 장치(charge-coupled device)(CCD)와 같은 하나 이상의 센서가 제공되는데, 여기서 센서는 픽셀의 어레이를 포함한다. 바람직하게, 센서는 디지털 카메라에서 사용되는 유형의 종래의 CCD일 수 있다. 비디오 프레임을 투사하는 적어도 하나의 제어 회로가 제공된다. 프레임은 센서가 게이트 모드에서 동작되는 동안 광원이 펄스 모드에서 구동되는 게이트 서브프레임을 포함할 수 있는데, 그 후에 광 강도 값을 획득하기 위해 센서가 판독되는 동안 광원이 연속 모드에서 구동된다. 적어도 하나의 제어 회로는 비행시간 원리를 이용하여 광 강도 값에 기초하여 시야 내 적어도 하나의 물체에 관한 깊이 데이터를 획득한다. 깊이 데이터는 예를 들어 시야의 깊이 맵의 형태로 제공될 수 있다.

본 개요는 아래의 설명에서 더 설명되는 개념 중 선택된 것을 단순화된 형태로 소개하기 위하여 제공된다. 본 개요는 청구된 주제의 핵심 특징 또는 중요 특징을 식별하려는 것이 아니고, 청구된 주제의 범위를 제한하는데 사용되려는 것도 아니다.

도면에서, 동일한 부호의 구성요소는 서로 대응한다.
도 1은 비디오 프로젝터 장치가 관여되는 예시적인 환경의 측면을 도시한다.
도 2는 도 1의 예시적인 환경의 상면을 도시한다.
도 3은 도 1의 비디오 프로젝터 장치의 예시적인 블록도를 도시한다.
도 4(a)는 비디오 프로젝터 장치를 이용하는 프로세스를 도시한다.
도 4(b)는 도 4(a)의 단계 400에서 사용될 수 있는 서브프레임이 관여되는 프로세스의 예를 도시한다.
도 4(c)는 4(a)의 단계400에서 사용될 수 있는 서브프레임이 관여되는 프로세스의 다른 예를 도시한다.
도 5a는 도 4(b)의 단계 410에서 제시되는 바와 같은 게이트(gated) 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 5b는 도 4(b)의 단계 412에서 제시되는 바와 같은 비게이트(ungated) 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 5c는 도 4(b)의 단계 414에서 제시되는 바와 같은 백그라운드 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 5d는 도 4(b)의 단계 416에서 제시되는 바와 같은 컬러 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 6(a)는 도 4(c)의 단계 420에서 제시되는 바와 같은 게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 6(b)는 도 4(c)의 단계 422에서 제시되는 바와 같은 비게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다.
도 7a는 도 4(b)의 프로세스에 대응하는 프로젝터의 출력을 도시한다.
도 7b는 도 7a의 프로젝터 출력에 기초한 센서로의 입력을 도시한다.
도 7c는 연속적인 투사가 일어나는 비-깊이-감지 프레임을 도시한다.
도 7d는 교대로 낮고 높은 광 강도를 갖는 프레임을 제공하는 예시적인 프레임 시퀀스를 도시한다.
도 7e는 교대로 길고 짧은 프레임 길이를 갖는 프레임을 제공하는 예시적인 프레임 시퀀스를 도시한다.
도 8(a)는 도 4(c)의 프로세스에 대응하는 프로젝터의 출력을 도시한다.
도 8(b)는 도 8(a)의 프로젝터 출력에 기초한 센서에 대한 입력을 도시한다.
도 9(a)는 구형파를 이용하는 프로젝터로부터의 출력인 펄스 광을 도시한다.
도 9(b)는 도 9(a)의 프로젝터의 출력에 기초한 센서에 대한 입력인 펄스 광을 도시한다.
도 10(a)는 삼각파를 이용하는 프로젝터로부터의 출력인 펄스 광을 도시한다.
도 10(b)는 도 10(a)의 프로젝터 출력에 기초한 센서에 대한 입력인 펄스 광을 도시한다.

많은 애플리케이션에서 유용한 비디오 프로젝터 장치가 제공된다. 한 가지 예시적 애플리케이션은 표면에 이미지를 투사하는데, 여기서 이미지는 사용자 인터페이스 내 메뉴 아이템과 같은 다수의 선택가능한 이미지 부분을 갖는다. 사용자는 예를 들어 이미지 부분 중 하나를 선택하는데 그의 손을 이용하여 제스처를 취할 수 있다. 대응하는 제어 입력은, 새로운 비디오 또는 정지 이미지 컨텐츠를 선택하거나, 현재 투사되는 비디오 또는 정지 이미지 컨텐츠를 수정하거나, 게임을 플레이하거나, 전화 통화와 같은 통신을 시작하는 등을 위한 애플리케이션에 제공될 수 있다. 한 가지 접근에서, 표면에 투사된 이미지는 터치 디스플레이가 된다. 다른 예시적 애플리케이션에서, 시야 내 물체의 3-D 형태가 감지되고 기록된다. 비디오 프로젝터 장치는 연속적인 광을 시야 내 표면 또는 물체 위 등에 시야 내에서 희망 패턴으로 투사하는 한편 비행시간(time-of-flight) 원리를 이용하여 깊이 데이터를 획득하는데 사용하기 위해 펄스 광(pulsed light)을 또한 제공하기 위해 가시 광 프로젝터를 유용하게 사용한다. 이미지 품질이 현저히 감소되지 않도록, 연속적인 광 출력이 제공되는 기간에 대해 제한된 기간 동안 가시광 펄스를 제공하도록 광 소스를 주기적으로 구동함으로써 깊이 데이터가 획득될 수 있다. 제한된 기간 동안에, 시야로부터 반사된 가시광 펄스를 검출하기 위해 비디오 프로젝터 장치의 센서가 게이트된다(gated). 센서는 또한, 통상의 디지털 카메라와 같이, 정지 이미지, 예를 들어, 사진, 또는 비디오 이미지, 예를 들어 비디오를 획득하는 등을 위하여 시야로부터 컬러 데이터를 획득하는 기능을 가질 수 있다.

비디오 프로젝터 장치에서 보통 사용되는 구성요소는, 장치를 3-D 데이터 검출 장치로 변환함으로써 추가의 기능을 달성하기 위해 새로운 방식으로 사용될 수 있다. 예를 들어, 3-D 깊이 데이터는 비디오 이미지가 투사되는 표면 근처의 물체에 대해 획득될 수 있다.

비디오 프로젝터는 가시광 펄스가 제공되지만 연속 광 출력이 제공되지 않는 감지 전용(sensing-only) 모드에서 동작할 수도 있다. 다른 옵션에서, 색 대비(color contrast)를 증가시키기 위해, 비디오 프로젝터가 투사 및 감지(projection and sensing) 모드에서 동작하는 때에 비디오 프로젝터가 투사 전용(projectoin-only) 모드에서 동작하는 때에 비해 프레임 길이가 길게 되거나 및/또는 광 강도가 감소될 수 있다.

도 1은 비디오 프로젝터 장치가 관여되는 예시적인 환경의 측면을 도시한다. 서도에 언급한 바와 같이, 깊이 카메라는 점차 흔해지고 있다. 깊이 감지 기술은 이동 또는 기타 소형 폼팩터 비디오 프로젝터 장치와 같은 기타 장치에서 사용될 수 있다. 비디오 프로젝터 장치는 피코 프로젝터, 이동 프로젝터 또는 포켓 프로젝터라고도 불리는 소형 핸드헬드 장치를 포함한다. 이와 같은 장치는 편평한 벽이나 테이블 또는 일반적으로 임의의 형태의 표면/물건과 같은 임의의 근처의 보기 표면에 디지털 이미지를 투사할 수 있는 소형화된 하드웨어 및 소프트웨어를 포함할 수 있다. 비디오 프로젝터 장치는, 테이블 위에 놓는 장치와 벽 또는 기타 표면에 설치되는 장치를 포함하여, 반드시 핸드헬드 또는 휴대용일 필요는 없는 기타 장치를 포함할 수 있다.

하나의 애플리케이션은 정지 또는 비디오 이미지를 표시하고, 사용자가 손 제스처를 통해 움직임으로써 이미지를 수정할 수 있도록 하는 것이다. 예를 들어, 손 또는 한 손의 손가락을 벌리는(moving apart) 제스처는 투사된 이미지가 확대/줌인되도록 할 수 있고, 반대의 동작은 투사된 이미지가 축소/줌아웃되도록 할 수 있다. 객체가 선택되는 때에 객체의 투사가 변경되도록 투사된 이미지로부터 물체를 들어올리거나 기타 선택할 수 있다. 손을 옆으로 흔들거나(wave) 휙 움직이는(flick) 제스처는 메뉴의 스크롤 또는 비디오나 정지 이미지 디스플레이를 중지 또는 시작하도록 할 수 있다. 사용자가 투사된 객체가 실제 물리적 객체인 것처럼 객체와 상호작용하는 NUI(natural user interface) 경험이 생성될 수 있다. 많은 다른 애플리케이션이 가능하다. 사람의 일부, 전체 사람 또는 다른 물체를 추적하는 것에 관한 추가의 정보는, 예를 들어, 2010.8.5. 공개된 명칭 "Visual Target Tracking"인 US 2010/0197399 및 2010.8.5. 공개된 명칭 "Body Scan"인 US 2010/0194872에서 찾아볼 수 있으며, 이들 각각은 본 명세서에 참조로 포함된다.

도 1에서, 비디오 프로젝터 장치(100)는 테이블 위(102)에 놓이는 것으로 도시된다. 프로젝터 렌즈(100)는 본 예에서 광선(112 및 114)에 의해 경계 지워지는 시야에서 가시광선을 전송 또는 투사하는데 사용된다. 투사된 광의 일부는, 광선(122 및 124)에 의해 경계지워지는 영역에 의해 도시되는 바와 같이 반사되고, 카메라 렌즈(120)를 통해 비디오 프로젝터 장치(100)에서 센서에 의해 감지된다. 손의 존재와 손의 여하한 움직임이 센서에 의해 감지될 수 있도록 사용자(130)는 그의 팔이나 손(132)을 투사된 시야에 놓는다.

도 2는 도 1의 예시적인 환경의 상면을 도시한다. 테이블 상부(102) 상에 비디오 프로젝터 장치에 의해 이미지 영역(150)이 투사된다. 예를 들어, 이미지 영역(150)은 이미지 부분(152, 154, 156 및 158)을 포함한다. 사용자는 이미지 부분(152) 위에 손(132)을 배치함으로써 이미지 부분(152)을 선택할 수 있다. 이미지 부분(152)의 선택은 다양한 방식으로 트리거될 수 있다. 일 접근에서, 1-2초 등의 최소 시간 기간에 걸친 이미지 부분(152) 위의 손의 존재는 이미지 부분(152)의 선택을 트리거할 수 있다. 다른 접근에서, 사용자는 이미지 부분(152) 위에 손을 배치한 후에 이미지 부분(152) 쪽으로 손을 내리거나 이미지 부분(152)으로부터 멀리 손을 들어올리는 것과 같은 제스처를 수행하도록 요구된다. 많은 다르 가능성이 존재한다. 반드시 편평할 필요는 없는 다른 표면에 또는 수직 표면 상에 이미지가 투사되는 유사한 예가 제공될 수 있다.

도 3은 도 1의 비디오 프로젝터 장치의 예시적인 블록도를 도시한다. 구성요소들은 단일의 하우징 내에 제공될 수 있다. 비디오 프로젝터 장치(300)는 백라이트와 같은 광원(318)을 포함하는데, 이는 연속적인 또는 펄스 가시광을 발산하도록 활성화될(전원공급되거나 켜질) 수 있다. 광원(318)은 전력 소비를 줄이기 위해 가시광을 발산하지 않도록 비활성화될(전원공급중단되거나 꺼질) 수도 있다. 광원은 깊이 감지 동안 변조(modulate)되고 비디오 투사 동안 활성화되도록 유지된다. 꺼진 겨우, 이는 시스템에 컬러 비디오/이미지를 캡처만 할 수 있음을 의미한다. 한 가지 가능한 접근에서, 광원(318)은 하나 이상의 발광 다이오드(LED)를 포함할 수 있다. 도시되지 않은 다양한 다른 광학 컴포넌트도 보통 사용된다. 한 가지 접근에서, 금속 할로겐 램프(metal halide lamp)와 같은 백색 광원이 사용되는 때에, 광원은 프리즘에 의해 3개의 색 요소(예를 들어, 적, 녹 및 청)로 분리되는 백색광을 포하고, 각각의 색 요소는 별도의 변조기를 통과한다. 각 색상의 변조된 광은 이후에 적절한 광학 컴포넌트를 이용하여 결합되고 투사된다. 다른 접근에서, 백색광이 컬러휠(color wheel)과 같은 컴포넌트를 통해 단일 변조기로 제공되어서, 예를 들어, 적, 녹 및 청 성분이 변조기에 시간 다중화 방식(time-multiplexed)으로 제공된다. 다른 접근에서, LED가 사용되는 때 등에, LED의 각 그룹은 적, 녹 및 청과 같은 상이한 색을 발산하고, 각각의 색 성분은 별개의 변조기를 통과하며, 각 색상의 변조된 광은 이후에 적절한 광학 컴포넌트를 이용하여 결합되고 투사된다.

광원에 대한 다른 옵션은 Digital Light Processing (DLP)^® 칩(텍사스 인스트루먼트 社(Texas Instruments, Inc.))인데, 이는 2백만 개에 달하는 힌지로 설치된(hinge-mounted) 마이크로스코픽 미러의 정사각 어레이를 포함하며, 마이크로스코픽 미러는 스크린이나 다른 표면에 디지털 이미지를 반사한다. DLP 칩의 변조는 LCD 칩의 변조와 유사하다. 단일 DLP 칩 구성에서, 백색광은 컬러 필터를 통과하여 적, 녹, 청, 그리고 옐로우(yellow), 시안(cyan), 마젠타(magenta) 등과 같은 추가적 주색(primary color)이 DLP 칩의 표면에서 시퀀스로 빛나게 한다. 미러의 스위칭과 그들이 온 또는 오프인 시간의 비율은 그 위에서 빛나는 색상에 따라 조정된다. 그러면, 투사되는 풀 컬러 이미지를 생성하기 위해 시퀀스 컬러가 조합된다.

LCD 패널(320)은 광원으로부터 발산된 광을 컬러 비디오 정보로 인코딩하여, 투사 렌즈(322)와 같은 적어도 하나의 광 컴포넌트를 통해 투사되는 인코딩된 컬러 가시광을 제공한다. 예를 들어, 광 투과(light-transmissive) LCD 칩을 이용하는 등에 의하여 하나 이상의 광 투과 LCD 패널이 제공될 수 있다. LCD 패널은 프로젝터 제어 회로(310)에 응답하여, 각각의 픽셀이 개별적으로 제어될 수 있는 하나 이상의 광 투과 픽셀의 어레이를 포함할 수 있다. LCD 패널의 픽셀은 투사될 희망 컬러 이미지와 같은 이미지 데이터를 전해주도록 제어될 수 있다.

투사 렌즈(322) 및/또는 센서 렌즈(36)는 센서 제어 회로(340)로부터 프로젝터 제어 회로(310)로 제공되는 깊이 정보에 기초하여, 자동초점(auto-focus) 기능등을 제공하도록 프로젝터 제어 회로(310)에 의해 제어될 수 있다. 시야 내의 하나 이상의 객체의 알려진 깊이 또는 깊이 범위를 이용하여, 최적 초점이 설정될 수 있다.

프로젝터 제어 회로(310)는 프로세서(312)에 의해 표시되는 하나 이상의 프로세서, 메모리 컴포넌트(314)에 의해 표시되는 하나 이상의 메모리 컴포넌트 및 드라이버(316)에 의해 표시되는 하나 이상의 드라이버를 포함할 수 있다. 프로세서는 예를 들어 여기에 설명되는 기능을 제공하기 위해 메모리(314)에 저장되는 명령을 실행하는 마이크로 프로세서일 수 있다. 메모리(314)는 프로세서(312)에 의해 실행되는 명령을 저장할 수 있을 뿐만 아니라, 희망 투사 이미지를 제공하도록 LCD 패널(320)을 제어하기 위해 이미지 데이터를 저장할 수 있다. 예를 들어, 메모리(314)는 RAM(random access memory), ROM(read only memeory), 캐시, 플래시 메모리, 하드 디스크 또는 여하한 기타 적당한 유형의(tangible) 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 메모리 컴포넌트(314)는, 예를 들어, 버스를 통해 프로젝터 제어 회로(310) 및/또는 프로세서(312)와 통신하는 별도의 컴포넌트일 수 있다. 또는, 메모리 컴포넌트(314)는 프로세서(312) 및/또는 프로젝터 제어 회로(310)로 통합될 수 있다. 메모리(314)는 여기 설명된 바와 같이 비디오 프로젝터 장치에서 이미지 데이터를 처리하기 위한 방법을 수행하도록 적어도 하나의 프로세서(312)를 프로그래밍하기 위해 컴퓨터 판독가능 소프트웨어를 포함하는 유형의(tangible) 컴퓨터 판독가능 저장 매체이다.

드라이버(316)는 여기에 설명되는 바와 같이 광원을 구동 또는 변조하기 위해 광원과 통신한다. 예를 들어, 발산된 광이 변조되도록 광원으로의 전류 및/또는 전압은 드라이버에 의해 변조될 수 있다. 드라이버는 고속 펄스(fast pulse) 모드와 연속 조명 모드 모두를 지원하는 커스텀 드라이버일 수 있다. 프로젝터 제어 회로는 LCD 패널의 픽셀의 행과 열을 제어할 수 있다.

사용자 인터페이스(330)는 사용자가 비디오 프로젝터 장치를 제어하라는 명령을 입력할 수 있게 하는 버튼이나 터치 스크린과 같은 제어를 포함할 수 있다. 예시적인 명령은 프레임의 비디오 프로젝터 시퀀스를 시작하거나 중단하는 것, 정지 이미지, 예를 들어, 단일 프레임의 투사를 시작하거나 중단하는 것, 및 깊이 감지 모드를 시작하거나 중단하는 것을 포함한다. 한 가지 접근에서, 사용자는 감지 전용 모드에서 스냅 샷(snap shot)과 유사한 깊이 데이터의 단일 프레임을 캡처하는 옵션을 갖는다. 사용자는 예를 들어, 투사 및 깊이 감지 모드(projecting and depth-sensing mode), 투사 및 비 깊이 감지 모드(projecting and non-depth-sensing mode), 또는 깊이 감지 및 비 투사 모드(depth-sensing but non-projecting mode)를 설정할 수 있다. 사용자는 시야 내 물체를 추적하는데 있어 응답이나 감도에 영향을 주는 설정을 조정할 수도 있다. 상이한 사용자는, 그들이 투사된 이미지와 상호작용하면서, 상이한 상황에서 상이한 추적 감도 레벨을 선호할 수 있다. 사용자는 또한 프로젝터 밝기와 같은 설정을 조정할 수 있다.

비디오 프로젝터 장치(300)의 센서 부분은 시야로부터의 가시광이 통과하여 센서(350)에 의해 표시되는 하나 이상의 센서에 도달하는 센서 렌즈(360)를 포함한다. 가시광은 투사된 광뿐만 아니라, 비디오 프로젝터 장치 외의 인공 광원, 예를 들어 전기 램프로부터, 자연 광원, 예를 들어 방안의 햇빛으로부터 등의 주변 배경 광의 반사를 포함할 수 있다. 센서는 하나 이상의 CCD를 포함할 수 있는데, 예를 들어, 이는 광 감지(light-sensitive) 픽셀을 갖는다. 각각의 픽셀은 전하를 생성하고, 누적 또는 집적된 전하의 양은 픽셀에 도달한 광 강도의 표시로서 판독될 수 있다. 센서는 센서 제어 회로(340)의 제어 하에서 게이트(gated) 또는 비게이트(ungated) 모드에서 동작할 수 있다.

게이트 동작의 일 구현에서 픽셀은 제어된 시퀀스로 교대로 활성 및 비활성된다. 픽셀이 활성화되는 시간은 게이트 기간이라고 불린다. 픽셀이 활성화되는 때에, 픽셀은 광을 감지하고 전하를 누적할 수 있다. 픽셀이 비활성화되는 때에, 광이 픽셀에 입사하는 경우에도 픽셀은 광을 감지하고 전하를 누적할 수 없다. 게이트 동작의 다른 구현에서, 센서(350)와 렌즈(360) 사이에 있고 셔터와 같이 광을 차단하거나 통과시키는 기능을 갖는 별도의 변조기(미도시)가 제공될 수 있다. 변조기나 센서는 희망에 따라 열리거나 닫힐 수 있는 셔터로서 동작할 수 있다.

비게이트 동작의 일 구현에서, 센서 픽셀은 활성화되어 방해되지 않는 시간 기간에 전하를 누적하고, 그 후에 누적된 전하의 양은 센서 제어 회로(340)에 의해 독출된다.

센서 제어 회로(340)는 프로세서(342)에 의해 표시되는 하나 이상의 프로세서와 메모리 컴포넌트(348)에 의해 표시되는 하나 이상의 메모리 컴포넌트를 포함할 수 있다. 프로세서는 마이크로 프로세서일 수 있고, 예를 들어, 이는 여기에 설명되는 기능을 제공하기 위해 메모리(348)에 저장되는 명령을 실행한다. 메모리(348)는 프로세서(312)에 의해 실행되는 명령을 저장할 수 있을 뿐만 아니라, 센서로부터의 판독 및 이미지 데이터를 저장한다. 메모리(348)는 전술한 바와 같은 메모리(314)와 유사하게 구성될 수 있다. 메모리(348)는, 여기에 설명된 바와 같은 비디오 프로젝터 장치에서 이미지 데이터를 처리하기 위한 방법을 수행하도록 적어도 하나의 프로세서(342)를 프로그래밍하기 위해 컴퓨터 판독가능 소프트웨어를 포함하는 유형의(tangible) 컴퓨터 판독가능 저장 매체이다.

프로세서(342)는 센서로부터 판독을 수신하고 이를 센서의 각각의 픽셀에 대한 깊이 데이터로 변환하는 깊이 데이터 처리 부분(344)을 포함할 수 있다. 예를 들어, 픽셀로부터의 판독은 누적된 전하의 양을 나타낼 수 있고, 이는 센서의 특성에 기초하여 광 감도와 상관(correlated)될 수 있다. 또한, 프로젝터가 펄스 모드에서 동작하고 센서가 게이트 모드에서 동작하는 때에, 픽셀의 감지된 광의 타이밍이 프로젝터로부터의 광의 펄스와 상관될 수 있다. 이는 깊이 값이 비행시간(time-of-flight) 원리에 기초하여 픽셀과 연관될 수 있도록 한다. 깊이 값을 얻기 위하여, 게이트 및 비게이트의 2개의 측정이 필요하다. 센서의 픽셀 중 일부 또는 전부로부터의 깊이 값의 세트는 감지된 이미지 데이터의 프레임에 대한 깊이 맵을 제공한다. 예를 들어, 깊이 맵은 메모리(348)에 저장될 수 있다. 센서 제어 회로(340)는 깊이 데이터 처리 부분(344)이 깊이 값을 계산하기 위해 사용하는 타이밍 데이터를 얻기 위해 프로젝터 제어 회로와 통신할 수 있다. 선택적으로, 중앙 제어 회로는, 프로젝터 제어 회로(310)에서 펄스 또는 연속 모드를 설정하기 위한, 그리고 센서 제어 회로(340)에서 게이트 또는 비게이트 모드를 설정하기 위한 타이밍 데이터를 제공하는 것을 포함하여, 프로젝터 제어 회로(310)와 센서 제어 회로(340)를 관리한다.

프로세서(342)는 정지 또는 비디오 카메라 센서가 동작하는 것과 유사한 방식으로 센서로부터 컬러 픽셀 데이터를 수신하는 컬러 데이터 처리 부분(346)을 포함할 수 있다. 이러한 방식으로, 센서의 시야의 컬러 이미지가 획득되고, 예를 들어, 메모리(348)에 저장될 수 있다.

프로세서(342)는 또한, 손 제스처를 포함하여 사용자에 의해 수행될 수 있는 제스처에 관한 정보를 각각 갖는 제스처 필터의 집합과 같은 제스처 라이브러리(347)를 포함할 수 있다. 검출된 움직임을 각각의 필터에 비교함으로서, 사용자에 의해 수행되는 특정한 제스처 또는 움직임이 식별될 수 있다.

도 4(a)는 비디오 프로젝터 장치를 사용하는 프로세스를 도시한다. 단계400은 깊이 데이터를 획득하기 위해 센서를 판독하는 한편 가시광을 시야로 투사함으로서 이미지 데이터의 프레임을 제공하는 것을 포함한다. 단계 402는 깊이 데이터에 기초하여 애플리케이션으로 제어 입력을 제어하는 것을 포함한다. 결정 단계 404는 다음 프레임이 투사되어야 하는지 여부를 결정한다. 다음 프레임이 투사되어야 한다면, 프로세스는 단계 400에서 시작하여 반복된다. 다음 프레임이 투사되어야 하지 않으면, 프로세스는 단계 406에서 종료한다. 단계 400의 예시적인 구현이 아래에 논의된다.

도 4(b)는 도 4(a)의 단계 400에서 사용될 수 있는 서브 프레임이 관여되는 프로세스의 예를 도시한다. 일반적으로, 광원에 의해 발산되는 광은 센서의 게이팅 시퀀스에 따라 변조될 수 있다. 예를 들어, 센서의 한 가지 가능한 구현은 SONY^® 모델 ICX424AQ CCD 센서이다. ICX424AL은 정사각형 픽셀 어레이를 갖는 대각선 6mm (타입 1/3) 인터라인 CCD 솔리드 스테이트 이미지 센서이다. 프로그레시브 스캔은 약 1/60 초 내에 모든 픽셀의 신호가 독립적으로 출력될 수 있도록 한다. 칩은 가변 전하-저장 시간을 갖는 전자 셔터를 갖는데, 이는 기계적인 셔터 없이 풀 프레임 정지 이미지를 실현할 수 있게 한다. 이는 VGA(Video Graphics Array) (640x480 @ 60Hz), QVGA(quarter-VGA) (320x240 @ 120Hz) 및 QQVGA(quarter-QVGA) (160x120 @ 240Hz)를 포함하는 몇 가지 픽셀 해상도/모드를 지원한다. 도 7a 및 7b를 또한 참조하면, QQVGA 모드가 사용된다고 가정하는데, 이는 4개의 섹션이나 서브프레임으로 나누어지는 풀 프레임 기간 또는 33msec. 투사 기간을 포함한다. 각각의 서브 프레임에서, 센서는 광에 노출되고, 광 강도 값이 선택된 서브 프레임에서 판독된다.

풀 프레임은 투사될 픽셀 데이터의 프레임에 의해 정의될 수 있다. 펄스 또는 연속 모드로 픽셀 데이터가 투사되는 다른 서브프레임에서, 프레임의 동일한 픽셀 데이터가 사용될 수 있다. 하지만, 투사된 이미지가 검은 부분을 갖는다면, 펄스 광이 동일한 이미지를 나타내는 경우에 깊이를 측정할 수 없을 것이다. 이는 블랙 레벨을 변경하는 것(그러면 무엇인가를 투사할 것이다)을 포함하여 몇 가지 방법으로 해결될 수 있다. 서브 프레임은 결합되는 때에 프레임의 완전한 출력을 제공하는 이미지이다. 예를 들어, 게이트 및 미게이트 이미지가 서브프레임이다. 우리의 용어사용에서, 프레임은 감지의 한 사이클 내의 모든 서프 브레임을 포함한다. 투사된 픽셀 데이터는 광원 변조에 (동기화되기는 하지만) 독립적이다. 광원의 드라이버는 일반적으로 투사된 픽셀 데이터에 액세스하지 못한다.

단계 410은 연속 광이 후속하는 펄스 광을 이용하여 게이트 서브 프레임을 제공한다. 이 서브 프레임에서, 펄스는 프로젝터에 의해 전송되고 게이트 이미지는 센서에 의해 감지되는데, 예를 들어, 센서는 각각의 전송 펄스에 대응하는 제한된 인터벌 동안에만 광을 감지하도록 허용된다. 프로젝터는 펄스 조명이 사용된 후에 연속 조명 모드를 제공한다. 게이트 서브 프레임은 시야 내의 하나 이상의 물체의 깊이 데이터와 상관되는 광 강도 값을 도출할 수 있다.

단계 412는 연속 광이 후속하는 펄스 광을 이용하여 비게이트 서브프레임을 제공한다. 이 서브프레임에서, 펄스는 다시 프로젝터에 의해 전송되지만 비게이트 이미지는 센서에 의해 감지된다. 보통 비게이트 모드에서, 센서는 게이트 모드와 유사하게 동작하지만, 주요 차이는 셔터가 열리고 닫히는 시간이다. 여하한 경우에, 배경 광에 대한 강건성(tobustness)을 증가시키지 위해, 센서는 각각의 송신 펄스에 대응하는 시간 인터벌에 열린다. 비게이트 서브 프레임은 시야 내 하나 이상의 물체의 반사도 데이터를 도출할 수 있다.

단계 414는 무광(no light) 후 연속 광을 이용하여 배경 서브프레임을 제공한다. 이 서브프레임에서, 초기에 프로젝터에 의해 광이 전송되지 않아 센서에 의해 배경 광이 감지된다. 후속하여, 연속 광이 프로젝터에 의해 제공된다. 배경 서브프레임은 시야에서 배경 광에 관한 데이터를 도출할 수 있다. 배경 광은 비디오 프로젝터 장치로부터 유래하는 것이 아니고, 인공 또는 자연 광원으로부터 유래할 수 있다.

단계 416은 연속 광을 이용하여 선택적인(optional) 컬러 서브프레임을 제공한다. 이 서브프레임에서, 센서는 시야로부터의 컬러 데이터를 감지 및 저장함으로써 카메라로서 동작한다. 컬러 데이터는 예를 들어 표준 RGB 이미지일 수 있다. 컬러 서브프레임에서, 광은 센서가 활성인 동안 연속 모드에서 구동될 수 있다.

서브프레임의 순서는 변할 수 있음을 유의하라. 한 가지 접근에서, 게이트 서브프레임이 제공되고, 그 후에 비게이트 서브프레임, 배경 서브프프레임, 컬러 서브프레임이 후속한다. 그러나, 이 순서가 요구되는 것은 아니다. 또한, 상이한 서브 프레임은 상이한 발생 빈도로 제공될 수 있다. 예를 들어, 만약 사용된다면, 게이트 서브프레임은 n1≥1 프레임마다 제공될 수 있고, 비게이트 서브프레임은 n2≥1 프레임마다 제공될 수 있고, 배경 서브프레임은 n3≥1 프레임마다 제공될 수 있으며, 컬러 서브프레임은 n4≥1 프레임마다 제공될 수 있다. nl, n2, n3 및 n4는 모두 양의 정수이다. 예를 들어, 2 프레임마다 깊이 데이터를 제공하면 충분하다고 가정하면, nl=n2=n3=2 및 n4=l이다. 하나 이상의 서브프레임이 하나의 프레임에서 제공되지 않는 때에, 프레임의 나머지 부분이 프레임 기간을 채우도록 연장될 수 있다. 예를 들어, 컬러 서브프레임만을 포함하는 프레임에 대해, 컬러 서브프레임은 전체 33 msec로 연장된다. 또는, 프레임 기간이 단축될 수 있다. 한 가지 접근에서, 프레임 시간의 나머지는 투사된 비디오의 대비를 증가시키도록 연속 투사를 위해 이용될 수 있다. 깊이 감지를 위해, 노출 시간을 연장하는 것은 바람직하지 않다. 반면 컬러에 대해, 로우 라이트(low light) 장면에서는 바람직할 수 있다.

다른 예에서, 컬러 데이터가 필요 없다면, 프레임이 배경 서브프레임, 게이트 서브프레임, 비게이트 서브프레임 및 배경 서브프레임을 이 순서로 포함하는 제2 배경 감지가 제공될 수 있다.

도 4(c)는 도 4(a)의 단계 400에서 사용될 수 있는 서브프레임이 관여되는 프로세스의 다른 예를 도시한다. 이 경우, 시야에서 연속 투사 없이 깊이 감지만이 수행된다. 단계 420은 연속 광이 후속하지 않는 펄스 광을 이용하여 게이트 서브프레임을 제공하는 것을 포함한다. 단계 422는 다시 연속 광이 후속하지 않는 펄스 광을 이용하여 비게이트 서브프레임을 제공하는 것을 포함한다. 펄스 가시광은 일반적으로 사람의 눈에는 감지될 수 없는데, 조명 기간이 매우 짧기 때문이다. 또한 얻어진 배경 이미지(펄스 없는 이미지)도 있을 수 있다(단계 424). 이 경우, 배경 이미지와 컬러 이미지는 동일한 이미지일 수 있는 광 조건에 차이가 없기 때문이다. 컬러 서브프레임도 제공될 수 있는데(단계 426), 이는 배경 서브프레임과 동일하다. 연속 투사 없이 깊이를 감지하는 것의 장점은 전력 소비가 감소된다는 것이다. 더 상세한 사항에 대해서는 도 8(a) 와 8(b)를 참조하라.

도 5a는 도 4(b)의 단계 410에서 제시된 것과 같은 게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 500은 프로젝터로부터의 연속 광이 후속하는 펄스 광을 이용하는 게이트 서브프레임을 시작한다. 단계 502와 503은 적어도 부분적으로 동시에 일어날 수 있다. 한 가지 접근에서, 광원은 연속적으로 가시광을 발산한다. 단계 502에서, 프로젝터의 광원은 펄스 모드에서 구동되어 펄스 가시광이 시야에서 발산된다. 도 9(a)와 도 10(a)는 펄스 광에 대한 예시적인 파형을 제공한다. 도 7a에서 시간 0-2 msec도 참조하라. 단계 503에서, (배경 광뿐만 아니라) 반사된 펄스가 감지되는 동안 센서는 게이트 모드에서 동작된다. 도 9(b)와 도 10(b)는 감지된 광에 대한 예시적인 파형을 제공한다. 도 7b에서 시간 0-2 msec도 참조하라.

단계 504와 505는 적어도 부분적으로 동시에 일어날 수 있다. 단계 504에서, 광원은 연속 모드에서 구동되어 연속 가시광이 시야에서 발산된다. 도 7a에서 시간 2-8 msec을 참조하라. 단계 505에서, 광 강도 값을 획득하기 위해 센서가 판독된다. 도 7b에서 시간 2-8 msec을 참조하라. 이 독출 기간 동안, 센서에 의해 추가의 광이 감지되지 않는다. 광 강도 값은 깊이 값을 결정하는데 후속하여 사용하기 위해 저장될 수 있다. 예를 들어, 광 강도 값은 광 강도 값에 기초하여 정규화 될 수 있는데, 이는 비게이트 서브프레임에서 획득된다. 이 정규화는 게이트 및 비게이트 서브프레임 모두로부터의 배경 서브프레임을 감산한 후에 이루어질 수 있다. 정규화된 광 강도 값은 그 후 깊이 값을 결정하는데 사용될 수 있다.

도 5b는 도 4(b)의 단계 412에서 제시되는 바와 같은 비게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 510은 프로젝터로부터의 연속 광이 후속하는 펄스 광을 이용하는 비게이트 서브프레임을 시작한다. 단계 512와 513은 적어도 부분적으로 동시에 일어날 수 있다. 단계 512에서, 광원은 펄스 모드에서 구동되어 펄스 가시광이 시야에서 발산된다. 도 9(a)와 도 10(a)는 펄스 광에 대한 예시적인 파형을 제공한다. 도 7a의 시간 8-10 msec도 참조하라. 단계 513에서, (배경 광 뿐만 아니라) 반면 반사된 펄스가 감지되는 동안 센서는 비게이트 모드에서 동작된다. 도 9(b)와 도 10(b)는 감지된 광에 대한 예시적인 파형을 제공한다. 도 7b의 시간 8-10 msec 도 참조하라.

단계 514와 515는 적어도 부분적으로 동시에 일어날 수 있다. 단계 514에서, 광원이 연속 모드에어 구동되어 시야에서 연속 가시광이 발산된다. 도 7a의 시간 10-16 msec을 참조하라. 단계 515에서, 반사도를 나타내는 광 강도 값을 얻기 위해 센서가 판독된다. 도 7b의 시간 10-16 msec을 참조하라. 단계 516에서, 도 5a의 단계 505에서 결정된 광 강도 값은, 단계 515의 광 강도 값에 기초하여 조정, 예를 들어, 정규화된다. 일반적으로, 광의 이동 거리, 물체의 반사도, 그리고 광이 반사되는 물체의 법선 방향을 포함하는 몇몇의 속성이 센서의 각각의 픽셀에 도달하는 광의 양에 영향을 준다. 이 조정은 반사도와 법선 방향을 고려한다. 비게이트 서브프레임 동안에, 각각의 펄스에 대해, 시야에 투사되고 센서로 다시 반사되는 광을 전부 다시 받은 후에 특정 시간에 센서로의 셔터를 닫는다. 반면, 게이트 이미지에 있어, 광 펄스 전부가 센서로 반사되어 돌아오기를 기다리지 않는다. 반사도 및/또는 법선 방향 때문에 상대적으로 많은 양의 광이 반사되어 돌아오면, 상대적으로 높은 비게이트 광 강도 값을 가질 것이다. 단계 515의 대응 광 강도 값으로 나눔으로써 깊이 값을 생성하도록 단계 505의 광 강도 값이 정규화될 수 있다.

도 5c는 도 4(b)의 단계 414에서 제시된 바와 같은 배경 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 520은 프로젝터로부터의 연속 광이 후속하는 무광(no light)을 이용하는 배경 서브프레임을 시작한다. 단계 522와 523은 적어도 부분적으로 동시에 일어날 수 있다. 단계 522에서, 광원은 구동되지 않아서 시야에서 가시광이 발산되지 않는다. 도 7a의 16-18 msec을 참조하라. 단계 523에서, 배경 광이 감지되는 동안 센서가 게이트 모드에서 동작된다. 배경은 비게이트 모드에서도 감지될 수 있다. 게이트 모드는 활성 조명 페이즈 동안 배경 광이 수신되는 방식을 "시뮬레이션(simulate)"한다. 도 7b에서 시간 16-18 msec을 참조하라.

단계 525와 526은 적어도 부분적으로 동시에 발생할 수 있다. 단계 525에서, 광원은 연속 모드에서 구동되어 시야에서 연속 가시광이 발산된다. 도 7a의 시간 18-24를 참조하라. 단계 526에서, 배경 광의 양을 나타내는 광 강도 값을 획득하기 위해 센서가 판독된다. 도 7b에서 시간 18-24 msec을 참조하라. 단계 527에서, 도 5a의 단계 505 또는 도 5b의 단계 516에서 결정된 광 강도 값이 단계 526의 광 강도 값에 기초하여 조정된다. 조정에는 배경 광 강도 값을 감산하는 것이 관여될 수 있다. 반사도에 대한 조정은 배경 광에 대한 조정 후에 이루어져야 함을 유의하라. 비게이트 이미지에 의한 게이트 이미지의 정규화는 깊이 데이터를 제공하기 위해 사용된다. 배경 이미지를 이용하는 정규화는, 예를 들어, 어둠 속에서 프로젝터를 동작시키는 때에 생략될 수 있다. 단계 528에서, 깊이 값은 조정된 광 강도 값에 기초하여 결정된다.

도 5d는 도 4(b)의 단계 416에서 제시된 바와 같은 컬러 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 530은 프로젝터로부터의 연속 광을 이용하는 컬러 서브프레임을 시작한다. 단계 532와 533은 적어도 부분적으로 동시에 일어날 수 있다. 단계 532에서, 프로젝터의 광원은 연속 모드에서 구동되어 연속 가시광이 시야에서 발산된다. 도 7a의 시간 24-26 msec을 참조하라. 단계 533에서, (배경 광 뿐만 아니라) 반사된 광이 감지되는 동안 센서가 컬러 감지 모드에서 동작되고, 이는 표준 디지털 카메라 감지 모드이다. 도 7b에서 시간 24-26 msec을 참조하라. 단계 534에서, 컬러 데이터를 나타내는 광 강도 값을 얻기 위해 센서가 판독된다.

도 6(a)는 도 4(c)의 단계 420에서 제시된 바와 같은 게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 600에서 펄스 광을 이용하는 게이트 서브프레임을 시작한다. 단계 602와 603은 적어도 부분적으로 동시에 일어날 수 있다. 단계 602에서, 프로젝터의 광원은 펄스 모드에서 구동되어 펄스 가시광이 시야에서 발산된다. 도 9(a)와 도 10(a)는 펄스 광에 대한 예시적인 파형을 제공한다. 도 8(a)의 시간 0-2 msec도 참조하라. 단계 603에서, (배경 광뿐만 아니라) 반사 펄스가 감지되는 동안, 센서가 게이트 모드에서 동작된다. 도 9(b)와 도 10(b)는 감지된 광에 대한 예시적인 파형을 제공한다. 도 8(b)에서 시간 0-2 msece도 참조하라.

단계 605와 606은 적어도 부분적으로 동시에 일어날 수 있다. 단계 605에서, 광원이 구동되지 않아서 가시광이 발산되지 않는다. 도 8(a)에서 시간 2-8 msec을 참조하라. 단계 606에서, 광 강도 값을 획득하기 위해 센서가 판독된다. 도 8(b)에서 시간 2-8 msec을 참조하라. 광 강도 값은 깊이 값을 결정하는데 후속하여 사용하기 위해 저장될 수 있다. 예를 들어, 비게이트 서브프레임에서, 그리고 선택적으로는 배경 서브프레임에서 획득되는 광 강도 값에 기초하여 광 강도 값이 조정될 수 있다. 조정된 광 강도 값은 그 후에 깊이 값을 결정하기 위해 사용될 수 있다.

도 6(b)은 도 4(c)의 단계 422에서 제시되는 바와 같은 비게이트 서브프레임을 제공하기 위한 프로세스의 예를 도시한다. 단계 610은 펄스 광을 이용하는 비게이트 서브프레임을 시작한다. 단계 612와 613은 적어도 부분적으로 동시에 일어날 수 있다. 단계 612에서, 광원은 펄스 모드에서 구동되어 시야에서 펄스 가시광이 발산된다. 도 9(a)와 도 10(a)는 펄스 광에 대한 예시적인 파형을 제공한다. 도 8(a)의 시간 8-10 msec도 참조하라. 단계 613에서, (배경 광뿐만 아니라) 반사된 펄스가 감지되는 동안 센서는 비게이트 모드에서 동작된다. 도 9(b)와 도 10(b)는 감지된 광에 대한 예시적인 파형을 제공한다. 도 8(b)에서 시간 8-10 msec도 참조하라.

단계 615와 616은 적어도 부분적으로 동시에 일어날 수 있다. 단계 615에서, 광원은 구동되지 않는다. 결과로, 가시광이 발산되지 않는다. 도 8(a)에서 시간 10-16 msec을 참조하라. 단계 616에서, 반사도를 나타내는 광 강도 값을 획득하기 위해 센서가 판독된다. 도 8(b)에서 시간 10-16 msec을 참조하라. 단계 617에서, 도 6(a)의 단계 606에서 결정된 광 강도 값이 단계 616의 광 강도 값에 기초하여 조정된다. 단계 618에서, 깊이 값이 조정된 광 강도 값에 기초하여 결정된다.

후술하는 도 7a와 7b의 예시적인 구현은 4개의 섹션 또는 서브프레임으로 나누어지는 33 msec. 프레임 기간을 포함하는 QQVGA 모드에 대한 것이다. 이는 깊이 감지, 컬러 감지 및 투사를 포함하는 프레임의 예이다. 많은 다른 구현이 가능하다. 또한, 언급한 바와 같이, 다른 서브프레임이 다른 프레임에서 사용될 수 있다. 예를 들어, 일부 서브프레임은 모든 프레임보다 덜 자주 사용되는 반면 다른 서브프레임은 모든 프레임에서 사용될 수 있다.

도 7a는 도 4(b)의 프로세스에 대응하는 프로젝터의 출력을 도시한다. 33 msec의 예시적인 프레임 기간에서, 4개의 서브프레임이 제공된다. 게이트 서브프레임은 0-8 msec으로부터 연장된다. 0-2 msec으로부터 프로젝터는 펄스 가시광을 출력한다. 2-8 msec으로부터, 프로젝터는 크기(amplitude) 12를 갖는 연속 가시광을 출력한다. 비게이트 서브프레임은 8-16 msec으로부터 연장된다. 8-10 msec으로부터, 프로젝터는 펄스 가시광을 출력한다. 10-16 msec으로부터, 프로젝터 출력은 연속 가시광을 출력한다. 배경 서브프레임은 16-24 msec으로부터 연장한다. 16-18 msec으로부터, 프로젝터는 가시광을 출력하지 않는다. 18-24 msec으로부터, 프로젝터는 연속 가시광을 출력한다. 컬러 서브프레임은 24-33 msec으로부터 연장한다. 24-26 msec으로부터, 프로젝터는 연속 가시광을 출력한다. 26-33 msec으로부터, 프로젝터는 계속하여 연속 가시광을 출력한다.

선 700은 비-깊이 감지 프레임에서, 프로젝터가 연속 출력을 제공하고 감지가 일어나지 않는 프레임의 광 강도 I1를 나타낸다. 한 가지 접근에서, I1>I2이도록 더 낮은 강도 또는 전력 출력이 사용된다. 펄스 광 또는 무광 출력이 사용되는 기간 동안에 보상함으로써, 투사된 이미지의 색대비를 개선하는데 있어 비-깊이 감지 프레임에 비해 깊이 감지 프레임 동안 더 높은 광 출력을 제공하는 것이 유용할 수 있다. 추가로 또는 대체하여 사용될 수 있는 다른 옵션은 깊이 감지 프레임에 비해 비 깊이 감지 프레임에 대해 더 긴 프레임 기간(도 7c에서 프레임 기간 FP로 도시)을 제공하는 것이다. 예를 들어, FP>33 msec인데, 33 msec은 깊이 감지 프레임의 프레임 기간이다. 어떤 접근도 시간 단위 당 프로젝터에 의해 출력되는 광의 양을 증가시킨다. 광 강도 및/또는 프레임 기간을 선택적으로 조정함으로써, 전력 소비 및 투사 이미지 품질이 최적화된다. 더 상세한 사항에 대해서는 도 7d 및 7e를 참조하라.

도 7b는 도 7a의 프로젝터 출력에 기초한 센서에 대한 입력을 도시한다. 각각의 서브프레임은 통합 또는 활성 감지 기간을 포함하는데, 여기서 센서 내 각각의 픽셀에 의해 감지된 광의 양에 비례하여 전하가 생성되고, 그 후에 모든 픽셀로부터 누적된 전하의 양이 판독되는 독출 또는 오버헤드 기간이 후속한다. 독출 동안, 누적기(accumulator)로 불리는 픽셀의 부분이 판독될 수 있고, 누적기는 후속 감지를 위하여 0으로 지워진다. 게이트 서브프레임에서, 프로젝터가 펄스되는 동안 0-2 msec부터 센서가 전하를 집적 또는 누적하고, 2-8 msec부터 누적된 전하가 독출된다. 비게이트 서브프레임에서, 8-10 msec부터 프로젝터가 펄스되는 동안 센서가 전하를 집적하고, 10-16 msec부터 누적된 전하가 독출된다. 배경 서브프레임에서, 16-18 msec부터, 프로젝터가 광을 출력하지 않는 동안 센서가 전하를 집적하고, 18-24 msec 부터 누적된 전하가 독출된다. 컬러 서브프레임에서, 24-26 msec부터 프로젝터 출력이 연속적인 동안 센서가 전하를 집적하고, 26-33 msec 부터 누적된 전하가 독출된다.

도 7d는 단계 720 및 724에서와 같이 더 낮은 광 강도 I1을 이용하는 비-깊이 감지 프레임과 단계 722 및 726에서와 같이 더 높은 광 강도 I2를 이용하는 깊이 감지 프레임을 교대로 제공하는 예시적인 프레임 시퀀스를 도시한다. 여기서, 적어도 하나의 제어 회로는 다른 시간에 다음을 제공한다: (a) 적어도 하나의 제어 회로가 비행시간 원리를 이용하여 센서로부터 판독되는 광 강도 값에 기초하여 시야 내 적어도 하나의 물체에 관한 깊이 데이터를 도출하는 깊이 감지 프레임(단계 722와 726) 및 (b) 적어도 하나의 제어 회로가 시야 내 적어도 하나의 물체에 관한 깊이 데이터를 도출하지 않는 비 깊이 감지 프레임(단계 720과 724). 또한, 적어도 하나의 제어 회로가 광원이 깊이 감지 프레임 동안 비 깊이 감지 프레임 동안 보다 더 높은 조명 전력으로 가시광을 발산하도록 한다.

다른 옵션에는 다른 깊이 감지 모드가 관여된다. 일반적으로, 시야 내 적어도 하나의 물체에 관한 깊이 데이터를 획득하기 위해 적어도 하나의 제어 회로가 하나 이상의 프레임 중 제한된 수를 이용하는 제1 모드에서, 그리고 적어도 하나의 제어 회로가 시야 내 적어도 하나의 물체에 관한 깊이 데이터를 연속적으로 획득하는 제2 모드에서, 선택적으로 동작하도록 적어도 하나의 제어 회로가 제어가능하다. 예를 들어, 제1 모드에서 깊이 데이터를 획득하기 위한 하나 이상의 프레임 중 제한된 수는 단일 프레임이거나 또는, 예를 들어, 1초까지의 기간 내의 프레임 중 적은 수일 수 있다. 이는 사용자 명령에 기초하여 정적인 물체와 같은 시야 내 물체에 대한 깊이 데이터가 획득되는 스냅 샷 깊이 감지 모드를 제공하는데 사용될 수 있다. 예를 들어, 관심 물체에 대한 깊이 데이터가 획득될 수 있다. 제2 모드에서, 움직이는 물체와 같은 관심 물체에 대해 깊이 데이터가 연속적으로 획득된다. 언급된 바와 같이, 프로젝터 모드는 깊이 데이터를 획득하는 때에 사용될 필요가 없다.

도 7e는 단계 730와 734에서와 같이 더 짧은 프레임 기간/길이를 이용하는 비 깊이 감지 프레임과 단계 732와 736에서와 같이 더 긴 프레임 기간을 이용하는 깊이 감지 프레임을 교대로 제공하는 예시적인 프레임 시퀀스를 도시한다.

후술하는 도 8(a)와 도 8(b)의 예시적인 구현은, 2개의 서브프레임으로 나누어지는 33 msec 프레임 기간을 포함하는 QQVGA 모드에 대한 것인데, 여기서 감지만이 수행된다. 이는 깊이 감지 프레임과 비 투사 프레임의 예이다.

도 8(a)는 도 4(c)의 프로세스에 대응하는 프로젝터의 출력을 도시한다. 0-8 msec으로부터 게이트 서브프레임이 연장된다. 0-2 msec으로부터, 프로젝터는 펄스 가시광을 출력한다. 2-8 msec으로부터, 프로젝터는 가시광을 출력하지 않는다. 비게이트 서브프레임은 8-16 msec으로부터 연장한다. 8-10 msec으로부터, 프로젝터는 펄스 가시광을 출력한다. 10-16 msec으로부터, 프로젝터는 가시광을 출력하지 않는다. 유사하게, 프레임의 나머지에서, 16-33 msec으로부터 프로젝터는 가시광을 출력하지 않는다. 이 모드에서, 16-33 msec부터 배경 이미지가 컬러 이미지로부터 획득되는데, 이들이 실질적으로 동일하기 때문이다.

도 8(b)는 도 8(a)의 프로젝터 출력에 기초한 센서로의 입력을 도시한다. 게이트 서브프레임에서, 0-2 msec부터, 프로젝터가 펄스되는 동안 센서가 전하를 집적하고, 2-8 msec부터 누적된 전하가 독출된다. 비게이트 서브프레임에서, 8-10 msec부터 프로젝터가 펄스되는 동안 센서가 전하를 집적하고 10-16 msec부터 누적된 전하가 독출된다. 프레임의 나머지에서, 16-33 msec부터 실질적으로 동일한 배경 서브프레임 및 컬러 서브프레임이 감지될 수 있다. 언급된 바와 같이, 이 모드는 비디오 프로젝터 장치가 투사가 일어나지 않는 감지 전용 모드에서 동작할 수 있도록 하여 전력 소비가 감소된다. 게이트 서브프레임 및 비게이트 서브프레임 동안 외의 시간에서 가시광이 발산되지 않는다. 예를 들어, 광원은 전력 소비를 줄이기 위해 꺼질 수 있다.

도 9(a)는 구형파를 이용하는 프로젝터로부터의 출력인 펄스 광을 도시한다. 비행시간 원리는 시야 내 물체 상의 점의 깊이가, 광이 프로젝터로부터 점까지 이동하고 다시 센서로 반사되어 돌아오는 경과 시간에 기초하여 결정될 수 있도록 한다. 또한, 게이트 기간 동안 센서의 광표면 상의 픽셀에 의해 등록된 광의 양은 픽셀 상에 이미징된 장면의 표면 요소까지의 거리를 결정하는데 사용된다. 예시적인 펄스 레이트는 44 Mhz이다. 시간을 나타내는 x축을 따라, Δt1은 예시적인 펄스 900과 920의 펄스 길이를 나타내고 Δt2는 각 펄스의 시작 사이의 기간을 나타낸다. 이 구현에서, 투사된 광 강도를 나타내는 y축을 따라, 각각의 펄스가 단계별로 올라가고 실질적으로 구형(square) 파형을 갖는다. 한 가지 접근에서, 각각의 펄스는 실질적으로 0 강도의 수준으로부터 최대 수준까지 단계별로 올라간다. 다른 접근에서, 각각의 펄스는 0이 아닌(non-zero) 강도 수준으로부터 최대 수준까지 단계별로 올라간다. 다른 접근에서, 투사된 강도는 별도의 광 펄스를 제공하는 대신에 사인파와 같은 연속파 변조를 따른다. 이 경우, 특정 광 펄스의 전체 여행 시간을 직접 측정하는 것이 아니라, 전송 및 수신된 신호 사이의 위상 차이가 측정된다. 변조 주파수가 알려져 있으므로 이 측정된 위상은 비행시간에 직접 대응한다. 펄스 광원은 광원을 그에 따라 구동함으로써 획득될 수 있다.

도 9(b)는 도 9(a)의 프로젝터 출력에 기초한 센서로의 입력인 펄스 광을 도시한다. 도 9(b)의 x축은 도 9(a)의 x축과 시간 정렬된다. 센서가 게이트 모드에 있을 때, 감지가 일어날 수 있는 게이트 기간 Δt3이 정의된다. 감지된 광은 펄스 910과 930에 의해 표시된다. 통상, Δt3>Δt1이어서, 시간 마진 Δt4f와 Δt4b가 각각의 게이트 기간의 앞과 뒤에 각각 제공된다. 펄스 900와 910에 의해 표시되는 비행시간(TOF)이 도시된다. 감지된 펄스 910과 930은 각각 투사된 펄스 900과 920에 대응한다. 감지된 광의 주변 또는 바닥 수준이 감지에 걸쳐 존재하는 것으로 도시된다.

도 10(a)는 삼각파를 이용하여 프로젝터로부터 출력되는 펄스 광을 도시한다. 삼각파는 다음 중 적어도 하나를 갖는 펄스라고 생각될 수 있다: (a) 변조기의 스텝 업(step up) 레이트 미만인 레이트에서 더 높이 전이하는 리딩 에지(leading edge), 및 (b) 변조기의 스텝 다운 레이트 미만인 레이트에서 더 낮게 전이하는 꼬리 에지(trailing edge). 즉, 리딩 에지는 가능한 가장 빠른 레이트보다 낮은 레이트에서 위로 전이하도록 제어되거나-이는 바로 위 단계임- 및/또는 꼬리 에지는 가능한 가장 빠른 레이트보다 느린 레이트에서 아래로 전이하도록 제어된다-바로 아래 단계임-. 이러한 파형은 대칭 또는 비대칭 리딩 및 꼬리 에지를 가질 수 있다. 한 가지 옵션에서, 파형은 최대 크기에 도달하고 소정 시간 동안 그 수준에서 유지되어 파형은 예시적인 파형 1000과 1010에서와 같이 사다리꼴 모양을 갖는다. 파형 1000은 리딩 에지(1002), 최대 크기(1004) 및 꼬리 에지(1006)를 포함한다. 다른 옵션에서, 파형은 날카로운 피크를 갖는 삼각형이다.

도 10(b)는 도 10(a)의 투사된 출력에 기초한 센서로의 입력인 펄스 광을 도시한다. 감지된 파형(1020과 1030)은 각각 투사된 파형 펄스(1000과 1010)에 대응한다.

여기의 기술의 전술한 상세한 설명은 예시 및 설명의 목적으로 제시되었다. 망라적이거나 개시된 정확한 형태로 기술을 제한하려는 것이 아니다. 위의 교시에 비추어 많은 변형 및 변경이 가능하다. 설명된 실시형태는 본 기술의 원리 및 그의 실질적 애플리케이션을 가장 잘 설명하고 그에 의해 고려되는 특정 용도에 적당한 다양한 실시형태에서 다양한 변경으로 당업자가 기술을 가장 잘 이용할 수 있도록 하기 위해 선택되었다. 본 기술의 범위는 여기 첨부된 청구범위에 의해 정의되려는 의도이다.

Claims

비디오 프로젝터 장치에 있어서,
광원;
상기 광원을 구동하는 드라이버;
시야 내에 상기 광원으로부터 가시광을 투사하는 광 컴포넌트;
가시광을 감지하며 복수의 픽셀들을 포함하는 센서; 및
상기 드라이버 및 상기 센서와 연관된 적어도 하나의 제어 회로
를 포함하고,
상기 적어도 하나의 제어 회로는,
프레임 기간 내에 물체(object) 상에 픽셀 데이터의 프레임을 투사하도록, 상기 프레임 기간을, 게이트(gated) 서브프레임을 포함하는 다수의 서브프레임들로 분할하고, 상기 비디오 프로젝터 장치로 하여금, 상기 게이트 서브프레임 동안, 투사 및 감지 모드와 이에 후속하는 감지(sensing)하지 않는 투사 전용 모드에서 동작하게 하며,
상기 투사 및 감지 모드를 제공하도록, 상기 복수의 픽셀들이 상기 물체로부터의 가시광의 펄스들의 반사들로부터 전하를 집적하도록 상기 센서가 게이트 모드에서 동작하게 하면서, 상기 광원이 가시광의 펄스들을 방출하는 펄스 모드에서, 상기 드라이버가 상기 광원을 구동하게 하며,
상기 감지하지 않는 투사 전용 모드를 제공하도록, 광 강도 값들을 획득하도록 상기 복수의 픽셀들로부터 집적된 전하를 독출하면서, 상기 광원이 연속 가시광을 방출하는 연속 모드에서, 상기 드라이버가 상기 광원을 구동하게 하며,
비행시간(time-of-flight) 원리를 이용하여 상기 광 강도 값에 기초하여 상기 시야 내 상기 물체에 대한 깊이 데이터를 도출하는 것인, 비디오 프로젝터 장치.
제1항에 있어서,
상기 다수의 서브프레임들은 상기 게이트 서브프레임에 후속되는 비게이트(ungated) 서브프레임을 포함하고,
상기 적어도 하나의 제어 회로는, 상기 센서가 비게이트 모드에서 동작되는 동안 상기 드라이버가 상기 광원을 상기 펄스 모드에서 구동되게 한 후, 광 강도 값을 획득하기 위해 상기 센서가 판독되는 동안 상기 드라이버가 상기 광원을 상기 연속 모드에서 구동하게 함으로써, 상기 비게이트 서브프레임을 제공하며,
상기 적어도 하나의 제어 회로는, 상기 시야 내 상기 물체의 반사도를 보상하기 위해, 상기 센서로부터 판독되고 상기 비게이트 서브프레임 동안 획득되는 상기 광 강도 값에 기초하여, 상기 게이트 서브프레임 동안 획득되는 상기 광 강도 값을 조정하는 것인, 비디오 프로젝터 장치.
제1항에 있어서,
상기 다수의 서브프레임들은 상기 게이트 서브프레임에 후속되는 배경(background) 서브프레임을 포함하고,
상기 적어도 하나의 제어 회로는 상기 배경 서브프레임을 제공하고, 상기 배경 서브프레임에서는, 상기 센서가 배경 광을 감지하도록 게이트 모드에서 동작되는 동안 어떠한 가시광도 상기 비디오 프로젝터 장치에 의해 상기 물체 쪽으로 방출되지 않고, 그 후, 광 강도 값을 획득하기 위해 상기 센서가 판독되는 동안 상기 드라이버가 상기 광원을 상기 연속 모드에서 구동하게 하며,
상기 적어도 하나의 제어 회로는, 상기 시야 내 상기 배경 광을 보상하기 위해, 상기 센서로부터 판독되고 상기 배경 서브프레임 동안 획득되는 상기 광 강도 값에 기초하여 상기 게이트 서브프레임 동안 획득되는 상기 광 강도 값을 조정하는 것인, 비디오 프로젝터 장치.
제3항에 있어서, 상기 적어도 하나의 제어 회로는 상기 다수의 프레임들 내에 2 개의 상기 배경 서브프레임들을 제공하는 것인, 비디오 프로젝터 장치.
제1항에 있어서,
상기 다수의 서브프레임들은 상기 게이트 서브프레임에 후속되는 컬러 서브프레임을 포함하고,
상기 적어도 하나의 제어 회로는, 상기 센서가 표준 컬러 감지 모드에서 동작되는 동안 상기 드라이버가 상기 광원을 상기 연속 모드에서 구동하게 하고, 그 후 상기 시야로부터의 컬러 데이터를 포함하는 광 강도 값을 획득하기 위해 상기 센서가 판독되는 동안 상기 드라이버가 상기 광원을 상기 연속 모드에서 구동하게 함으로써, 상기 컬러 서브프레임을 제공하는 것인, 비디오 프로젝터 장치.
제1항에 있어서, 상기 다수의 서브프레임들은 컬러 서브프레임을 포함하고, 이 컬러 서브프레임에서, 상기 적어도 하나의 제어 회로는, 상기 센서가 활성 중인 동안 상기 드라이버가 상기 광원을 상기 연속 모드에서 구동하게 하는 것인, 비디오 프로젝터 장치.
제1항에 있어서, 상기 적어도 하나의 제어 회로는, 상기 게이트 서브프레임 동안 상기 드라이버가 삼각형상(triangular shaped) 펄스를 이용하여 상기 광원을 구동하게 하는 것인, 비디오 프로젝터 장치.
제1항에 있어서, 상기 적어도 하나의 제어 회로는, 상기 드라이버가 펄스들을 이용하여 상기 광원을 구동하게 하며, 상기 펄스들 각각은, (a) 상기 광원의 스텝 업(step up) 레이트 미만인 레이트에서 더 높이 전이하는 리딩 에지(leading edge), 및 (b) 상기 광원의 스텝 다운 레이트 미만인 레이트에서 더 낮게 전이하는 꼬리 에지(trailing edge) 중 적어도 하나를 갖는 것인, 비디오 프로젝터 장치.
제1항에 있어서, 상기 광원은 상기 비디오 프로젝터 장치의 백라이트인 것인, 비디오 프로젝터 장치.
제1항에 있어서, 상기 광원, 상기 광 컴포넌트, 상기 적어도 하나의 제어 회로 및 상기 센서는 공통의 하우징 내에 제공되는 것인, 비디오 프로젝터 장치.
제1항에 있어서, 상기 가시광에 비디오 정보를 인코딩하는 적어도 하나의 광투과(light-transmissive) LCD 패널을 더 포함하고, 상기 적어도 하나의 광투과 LCD 패널은 복수의 픽셀들을 포함하는 것인, 비디오 프로젝터 장치.
제1항에 있어서, 상기 적어도 하나의 제어 회로는 상기 깊이 데이터에 기초하여 상기 광 컴포넌트를 포커싱(focus)하는 것인, 비디오 프로젝터 장치.
제1항에 있어서, 상기 가시광의 펄스들이, 상기 연속 가시광이 제공되는 기간 보다 짧은 기간 동안 제공되어, 상기 물체 상에 투사되는 이미지의 이미지 품질은 감소되지 않는, 비디오 프로젝터 장치.
비디오 프로젝터 장치에 있어서,
광원;
상기 광원을 구동하는 드라이버;
시야 내에 상기 광원으로부터 가시광을 투사하는 광 컴포넌트;
상기 시야 내의 물체로부터 반사되는 가시광을 포함하는 가시광을 감지하고, 복수의 픽셀들을 포함하는 센서; 및
깊이 감지 프레임과 비-깊이 감지 프레임(non-depth-sensing frame)이 교대로 상기 물체 상에 투사되게 하는 적어도 하나의 제어 회로
를 포함하고,
상기 적어도 하나의 제어 회로는,
(a) 상기 깊이 감지 프레임을 제공하도록,
상기 깊이 감지 프레임의 일부분 동안 상기 광원이 가시광 펄스들을 방출하는 펄스 모드에서 상기 드라이버가 상기 광원을 구동하게 하고,
상기 가시광 펄스들을 검출하도록 상기 깊이 감지 프레임의 상기 일부분 동안 상기 센서가 게이트 모드에서 동작하게 하고,
비행시간 원리를 이용하여, 상기 센서로부터 판독되는 광 강도 값에 기초하여 상기 시야 내 상기 물체에 대한 깊이 데이터를 도출하고,
상기 깊이 감지 프레임의 다른 일부분 동안 상기 광원이 연속 가시광을 방출하는 연속 모드에서 상기 드라이버가 상기 광원을 구동하게 하며,
(b) 상기 깊이 감지 프레임과는 다른 시간에서, 상기 비-깊이 감지 프레임을 제공하도록,
상기 광원이 연속 가시광을 방출하는 연속 모드에서 상기 드라이버가 상기 광원을 구동하게 하고,
상기 시야 내의 물체에 대한 깊이 데이터를 도출하지 않는 것인, 비디오 프로젝터 장치.
제14항에 있어서, 상기 적어도 하나의 제어 회로는, 상기 광원이 상기 깊이 감지 프레임 동안 상기 비 깊이 감지 프레임 동안 보다 더 높은 조명 전력으로 가시광을 방출하게 하는 것인, 비디오 프로젝터 장치.
제14항에 있어서, 상기 깊이 감지 프레임은 상기 비 깊이 감지 프레임보다 긴 것인, 비디오 프로젝터 장치.
제14항에 있어서, 상기 적어도 하나의 제어 회로는, 상기 시야 내 물체에 대한 깊이 데이터를 획득하기 위해 상기 적어도 하나의 제어 회로가 제한된 개수의 하나 이상의 프레임들을 이용하는 제1 모드에서, 그리고 상기 적어도 하나의 제어 회로가 상기 시야 내 물체에 대한 깊이 데이터를 연속적으로 획득하는 제2 모드에서, 선택적으로 동작하도록 제어가능한 것인, 비디오 프로젝터 장치.