[go: up one dir, main page]

KR101407818B1 - 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 - Google Patents

텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 Download PDF

Info

Publication number
KR101407818B1
KR101407818B1 KR1020100124762A KR20100124762A KR101407818B1 KR 101407818 B1 KR101407818 B1 KR 101407818B1 KR 1020100124762 A KR1020100124762 A KR 1020100124762A KR 20100124762 A KR20100124762 A KR 20100124762A KR 101407818 B1 KR101407818 B1 KR 101407818B1
Authority
KR
South Korea
Prior art keywords
image
pattern
target object
scene
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020100124762A
Other languages
English (en)
Other versions
KR20110065399A (ko
Inventor
김진웅
블란코 리베라 루제
김태원
장은영
김욱중
허남호
이수인
황승구
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20110065399A publication Critical patent/KR20110065399A/ko
Application granted granted Critical
Publication of KR101407818B1 publication Critical patent/KR101407818B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법이 개시된다. 본 발명의 장치는 타겟 오브젝트에 패턴 영상을 조사하고, 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영하며, 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 동시에 추출할 수 있다.

Description

텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법{APPARATUS AND METHOD FOR EXTRACTING DEPTH IMAGE AND TEXTURE IMAGE}
본 발명은 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법에 관한 것으로, 시간적으로 적분하면 백색광으로되는 패턴 영상을 조사함으로써 텍스쳐 영상과 깊이 영상을 동시에 추출할 수 있는 장치 및 방법에 관한 것이다.
3DTV 등 3D 관련 분야가 발전함에 따라 시간적으로 변화하는 사물의 깊이 정보를 추출하는 요구가 증가하고 있다. 3D 기술에서 깊이 정보를 추출하는 방법은 스테레오 방식을 이용한다. 스테레오 방식이란 3D 디스플레이를 위해 좌영상과 우영상을 이용하는 것을 의미한다. 그러나, 3DTV 서비스를 제공하기 위해 좌영상과 우영상을 모두 전송하는 경우, 전송 채널의 대역폭에 문제가 발생할 수 있다.
이러한 대역폭 문제를 해결하기 위해 깊이 정보를 사용하는 방법이 제안되었다. 구체적으로, 새롭게 제안된 방법은 컬러 영상에 대응하는 텍스쳐 영상과 텍스쳐 영상에 대응하는 깊이 영상을 전송하고, 장면 합성을 통해 스테레오 영상을 합성함으로써 대역폭 문제를 해결할 수 있다.
이 때, 종래의 방법은 타겟 오브젝트가 동적인 경우 효과적으로 텍스쳐 영상과 깊이 영상을 획득하기 어려웠다. 그리고, 타겟 오브젝트가 인간인 경우, 텍스쳐 영상과 깊이 영상을 획득하기 위해 인간에게 조사되는 백색광은 인간의 시각에 불편한 문제가 있었다. 뿐만 아니라, 3D 영상에 포함된 타겟 오브젝트의 표면에 컬러가 존재하거나 타겟 오브젝트에 환경 조명(ambiance illumination)이 존재하는 경우에 텍스쳐 영상의 정확도가 떨어지는 문제가 존재하였다.
본 발명은 시간적으로 적분하면 백색광이 되는 패턴 영상을 타겟 오브젝트에 연속적으로 조사하여 장면 영상을 촬영함으로써 타겟 오브젝트의 텍스쳐 영상과 깊이 영상을 동시에 획득할 수 있는 방법 및 장치를 제공한다.
본 발명은 시간적으로 적분하면 백색광이 되는 패턴 영상을 타겟 오브젝트에 조사함으로써, 백색광을 조사함에 따라 인간의 시각에 불편함을 끼치는 것을 방지할 수 있는 방법 및 장치를 제공한다.
본 발명은 타겟 오브젝트의 텍스쳐 영상을 통해 장면 영상의 컬러를 확인하여 인코딩된 패턴 영상을 디코딩함으로써 타겟 오브젝트의 표면의 컬러와 환경 조명에 강건하게 대응점을 찾을 수 있는 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 장치는 타겟 오브젝트에 패턴 영상을 조사하는 패턴 영상 조사부; 상기 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영하는 영상 촬영부; 및 상기 촬영된 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 추출하는 영상 처리부를 포함할 수 있다.
본 발명의 일실시예에 따른 방법은 패턴 영상 조사부가 타겟 오브젝트에 패턴 영상을 조사하는 단계; 장면 영상 촬영부가 상기 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영하는 단계; 및 영상 처리부가 상기 촬영된 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 추출하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 시간적으로 적분하면 백색광이 되는 패턴 영상을 타겟 오브젝트에 연속적으로 조사하여 장면 영상을 촬영함으로써 타겟 오브젝트의 텍스쳐 영상과 깊이 영상을 동시에 획득할 수 있다.
본 발명의 일실시예에 따르면, 시간적으로 적분하면 백색광이 되는 패턴 영상을 타겟 오브젝트에 조사함으로써, 백색광을 조사함에 따라 인간의 시각에 불편함을 끼치는 것을 방지할 수 있다.
본 발명의 일실시예에 따르면, 타겟 오브젝트의 텍스쳐 영상을 통해 장면 영상의 컬러를 확인하여 인코딩된 패턴 영상을 디코딩함으로써 타겟 오브젝트의 표면의 컬러와 환경 조명에 강건하게 대응점을 찾을 수 있다.
도 1은 본 발명의 일실시예에 따라 텍스쳐 영상과 깊이 영상을 동시에 추출하는 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 패턴 영상의 패턴 배열을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따라 장면 영상으로부터 텍스쳐 영상을 추출하는 과정을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따라 패턴 영상이 시간적으로 적분된 장면 영상을 촬영하는 과정을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따라 빔 스플리터를 이용하여 장면 영상을 촬영하는 과정을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 타겟 오브젝트의 표면과 반사광과의 관계를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따라 CIELab 차트를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 장면 영상의 컬러를 확인하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따라 패턴 조사부와 영상 촬영부 간의 동기 신호를 도시한 도면이다.
도 10은 본 발명의 다른 실시예에 따라 패턴 조사부와 영상 촬영부 간의 동기 신호를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따라 텍스쳐 영상과 깊이 영상을 동시에 추출하는 장치를 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따라 텍스쳐 영상과 깊이 영상을 동시에 추출하는 장치를 도시한 도면이다.
도 1을 참고하면, 장치(101)는 패턴 영상 조사부(102), 영상 촬영부(103) 및 영상 처리부(104)를 포함할 수 있다.
패턴 영상 조사부(102)는 타겟 오브젝트(105)에 패턴 영상을 조사할 수 있다. 구체적으로, 패턴 영상 조사부(102)는 패턴 영상을 버퍼에 저장해 두고, 영상 처리부(104)의 동기 신호에 따라 버퍼에 저장된 패턴 영상을 순차적으로, 그리고 반복적으로 조사할 수 있다. 즉, 패턴 영상 조사부(102)는 구조광 기법에 따라 특정한 정보가 인코딩된 패턴 영상을 타겟 오브젝트(105)에 조사할 수 있다.
이 때, 패턴 영상 조사부(102)는 시간적 또는 공간적인 패턴 배열에 기초하여 패턴 영상을 조사할 수 있다. 여기서, 패턴 영상 조사부(102)는 공간적인 패턴 배열 중 deBruijin 패턴 배열에 기초한 패턴 영상을 조사할 수 있다.
본 발명의 일실시예에 따른 패턴 영상은 패턴 배열에 따라 고속으로 타겟 오브젝트(105)에 조사된다. 이 때, 패턴 영상은 일정 시간동안 적분되면 백색광을 조사한 것과 동일한 효과가 나타날 수 있다. 즉, 패턴 영상은 고속 카메라에서는 R(Red), G(Green), B(Blue)로 구분될 수 있으나, 일반 카메라에서는 R(Red), G(Green), B(Blue)가 결합된 백색광으로 구분될 수 있다. 결국, 본 발명의 일실예에 따르면, 타겟 오브젝트(105)의 픽셀마다 R/G/B로 구성된 패턴 영상을 연속으로 조사함으로써, 하나의 백색광을 조사한 것과 유사한 효과를 나타낼 수 있다. 그러면, 3개의 패턴 영상이 타겟 오브젝트(105)에 반사된 장면 영상으로부터 하나의 텍스쳐 영상(106)과 깊이 영상(107)이 획득될 수 있다.
영상 촬영부(103)는 패턴 영상이 타겟 오브젝트(105)에 의해 반사된 장면 영상을 촬영할 수 있다. 이 때, 영상 촬영부(103)는 영상 처리부(105)의 동기 신호에 따라 패턴 영상이 타겟 오브젝트(105)에 조사되어 반사된 장면 영상을 촬영할 수 있다.
이 때, 영상 촬영부(103)는 적어도 하나의 카메라로 구성될 수 있으며, 카메라의 종류는 일반 카메라 또는 고속 카메라일 수 있다. 앞서 설명하였듯이, 일반 카메라는 패턴 영상을 R(Red), G(Green), B(Blue)로 구분하지 못하고 백색광으로 인식하며, 고속 카메라는 패턴 영상을 R(Red), G(Green), B(Blue)로 구분할 수 있는 카메라를 의미한다.
영상 처리부(104)는 촬영된 장면 영상을 이용하여 타겟 오브젝트(105)에 대한 텍스쳐 영상(106)과 깊이 영상(107)를 추출할 수 있다.
일례로, 영상 처리부(104)는 구조광 기법과 스테레오 매칭 기법을 적용하여 깊이 영상(107)을 추출할 수 있다. 타겟 오브젝트(105)의 깊이 정보를 추출하기 위한 수동적인 접근 방법으로 스테레오 매칭 기법(stereo matching method)이 사용될 수 있다. 그리고, 오브젝(105)의 깊이 정보를 추출하기 위한 능동적인 접근 방법으로 구조광 기법(structured light method)이 사용될 수 있다.
스테레오 매칭 기법은 기본적으로 시점을 달리는 영상을 2장 이상 캡쳐한 후, 캡쳐된 영상 간의 대응점(correspondence points)을 찾는 기법이다. 카메라가 보정되어 있는 경우, 삼각법을 대응점에 적용하여 3D 깊이 정보가 도출될 수 있다. 이 때, 스테레오 매칭 기법에 의하면, 타겟 오브젝트(105)의 표면에 텍스쳐가 없이 균일(Homogenous)한 경우 모호성(ambiguity)이 발생하여 대응점을 찾기 어려울 수 있다.
이 때, 구조광 기법은 타겟 오브젝트(105)의 표면이 균일한 경우에도 특정한 패턴광을 조사하여 모호성을 제거함으로써 대응점을 계산할 수 있다. 구조광 기법은 특정한 정보를 인코딩한 패턴 영상을 타겟 오브젝트(105)에 조사한 후, 타겟 오브젝트(105)에 반사된 장면 영상을 촬영하여 이를 디코딩함으로써 대응점을 찾을 수 있다. 여기서, 장면 영상을 디코딩할 때 장면 영상의 컬러를 확인하는 것이 중요하다. 이 때, 타겟 오브젝트(105)의 텍스쳐 영상에 기초하여 장면 영상의 컬러가 확인될 수 있다. 본 발명의 일실시예에 따라 타겟 오브젝트(105)의 텍스쳐 영상을 이용하는 경우, 타겟 오브젝트(105)의 표면에 존재하는 컬러나 환경 조명에 의한 영향을 제거할 수 있어, 보다 강건하게(Robust) 장면 영상이 디코딩될 수 있다.
또한, 영상 처리부(104)는 다양한 방법으로 타겟 오브젝트(105)의 텍스쳐 영상(106)을 추출할 수 있다. 이 때, 영상 촬영부(103)가 고속 카메라 또는 일반 카메라인 경우에 타겟 오브젝트(105)의 텍스쳐 영상(106)을 추출하는 방식이 달라질 수 있다. 영상 촬영부(103)가 고속 카메라인 경우, 영상 처리부(104)는 영상 촬영부(103)가 촬영한 장면 영상을 평균하여 타겟 오브젝트(105)의 텍스쳐 영상(106)을 추출할 수 있다. 그리고, 영상 촬영부(103)가 일반 카메라인 경우, 영상 촬영부(103)는 셔터 스피드를 길게 유지하여 시간적으로 적분된 장면 영상을 촬영할 수 있다. 그러면, 영상 처리부(104)는 시간적으로 적분된 장면 영상을 이용하여 타겟 오브젝트(105)의 텍스쳐 영상(106)을 추출할 수 있다.
만약, 영상 촬영부(103)가 일반 카메라와 고속 카메라인 경우, 일반 카메라와 고속 카메라는 빔 스플리터를 통해 패턴 영상이 타겟 오브젝트(105)에 반사된 장면 영상을 각각 촬영할 수 있다.
이하에서는, 타겟 오브젝트(105)의 텍스쳐 영상(106)과 깊이 영상(107)을 추출하는 과정에 대해서 구체적으로 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 패턴 영상의 패턴 배열을 도시한 도면이다.
광의 합성에 따라, R(Red), G(Green), B(Blue)가 조합되면 백색광이 생성된다. 이 때, 패턴 영상 조사부(102)는 도 2에 도시된 deBruijin 패턴 배열에 따라 패턴 영상을 조사할 수 있다. 도 2를 참고하면, 공간적으로 패턴 1(201), 패턴 2(202), 패턴 3(203)의 순서에 따라 패턴 영상이 타겟 오브젝트에 조사될 수 있다. 즉, 하나의 stripe 컬러가 패턴 1(201), 패턴 2(202), 패턴 3(203)의 순서에 따라 시간적으로 Red->Green->Blue 순서로 변화할 수 있다. 그러면, 인간의 시각은 일정 시간동안 패턴 영상을 적분하여 최종적으로 백색광으로 느낄 수 있다.
뿐만 아니라, stripe 컬러를 Red->Green->Blue 뿐만 아니라 Red->Blue->Green으로 배치하더라도 동일한 효과를 발휘할 수 있으므로, 공간적인 패턴 배열뿐만 아니라 시간적인 패턴 배열까지 고려하면 인코딩된 패턴 영상에 포함된 정보의 수는 2배로 증가할 수 있다.
결국, 타겟 오브젝트의 텍스쳐 영상을 추출하기 위해 인간의 시각에 불편을 끼치는 백색광을 조사하지 않고 특정한 정보가 인코딩된 패턴 영상을 조사하더라도 동일한 효과를 얻을 수 있다.
도 3은 본 발명의 일실시예에 따라 장면 영상으로부터 텍스쳐 영상을 추출하는 과정을 도시한 도면이다.
도 3을 참고하면, 패턴 영상이 타겟 오브젝트에 반사된 장면 영상으로부터 텍스쳐 영상을 추출하는 과정을 나타낸다. 특히, 도 3은 고속 카메라인 영상 촬영부(103)가 장면 영상(301~303)을 촬영한 경우, 텍스쳐 영상(304)을 추출하는 과정을 나타낸다.
영상 촬영부(103)는 패턴 영상 조사부(102)가 조사한 패턴 영상에 따라 반사된 장면 영상 1(301), 장면 영상 2(302), 장면 영상(303)을 촬영할 수 있다. 그러면, 영상 처리부(104)는 장면 영상 1(301), 장면 영상 2(302), 장면 영상(303)의 평균을 계산하여 타겟 오브젝트에 대한 텍스쳐 영상(304)을 추출할 수 있다.
즉, 텍스쳐 영상(304)은 백색광이 조사된 경우 추출될 수 있으나, 본 발명의 일실시예에 따르면 패턴 영상들이 시간적으로 적분되면 백색광이 추출되는 것을 백색광의 성질을 이용하여 텍스쳐 영상(304)을 추출할 수 있다. 만약, 타겟 오브젝트가 인간인 경우, 백색광을 직접 조사하면 인간의 시각은 불편함을 느끼기 때문에, 패턴 영상을 연속적으로 조사함으로써 백색광을 조사한 것과 동일한 효과를 나타낼 수 있다.
도 4는 본 발명의 일실시예에 따라 패턴 영상이 시간적으로 적분된 장면 영상을 촬영하는 과정을 도시한 도면이다.
도 4는 일반 카메라인 영상 촬영부(103)가 장면 영상을 촬영하는 경우를 나타낸다. 영상 촬영부(103)는 카메라의 셔터 스피드를 길게 유지하여 노출 시간을 길게함으로써 3개의 연속적인 패턴 영상이 시간적으로 적분된 장면 영상을 촬영할 수 있다. 패턴 영상이 시간적으로 적분된 장면 영상은 백색광을 타겟 오브젝트에 조사하여 반사된 장면 영상과 동일한 효과를 나타낸다.
그러면, 영상 처리부(104)는 촬영된 장면 영상으로부터 타겟 오브젝트의 텍스쳐 영상을 추출할 수 있다.
도 5는 본 발명의 일실시예에 따라 빔 스플리터를 이용하여 장면 영상을 촬영하는 과정을 도시한 도면이다.
도 5는 패턴 영상이 타겟 오브젝트(504)에 조사된 후 반사된 장면 영상을 빔 스플리터(503)를 통해 일반 카메라인 영상 촬영부(501)와 고속 카메라인 영상 촬영부(502)가 동시에 촬영하는 것을 나타낸다.
빔 스플리터(503)을 이용하는 경우, 일반 카메라 영상 촬영부(501)을 통해서는 패턴 영상이 시간적으로 적분된 효과에 의해 백색광이 투사된 것과 같은 텍스쳐 영상을 얻게 되고, 고속 카메라를 통해서는 패턴 영상을 얻게 되어서 깊이 정보를 추출하는 데 사용할 수 있다.
도 6은 본 발명의 일실시예에 따라 타겟 오브젝트의 표면과 반사광과의 관계를 도시한 도면이다.
본 발명의 일실시예에 따르면, 구조광 기법에 따라 인코딩된 패턴 영상을 영상 처리부(104)가 디코딩하기 위해서 영상 촬영부(103)가 촬영한 장면 영상의 컬러를 확인하는 것이 필요하다. 이 때, 장면 영상은 패턴 영상이 타겟 오브젝트에 조사되어 반사된 영상을 의미한다.
본 발명의 일실시예에 따르면, 영상 처리부(104)는 타겟 오브젝트의 텍스쳐 영상을 이용하여 장면 영상의 컬러를 확인할 수 있다. 타겟 오브젝트의 텍스쳐 영상을 이용하는 경우, 타겟 오브젝트의 표면의 컬러나 환경 조명에 의한 영향이 제거될 수 있어 보다 강건한 디코딩이 수행될 수 있다.
타겟 오브젝트에 패턴 영상이 조사되면, 타겟 오브젝트의 표면의 컬러나 환경 조명에 따라 반사되는 장면 영상의 컬러가 달라질 수 있다. 도 6의 도면(601)을 참고하면, 타겟 오브젝트의 표면의 컬러가 R(Red)인 경우, 타겟 오브젝트에 조사된 백색광 중 R(Red)이 반사광이 되고, 나머지 컬러는 모두 흡수광이 된다. 이 때, 백색광은 패턴 영상이 순차적으로 조사된 경우와 동일한 효과를 나타낸다. 그러면, 타겟 오브젝트에 반사된 장면 영상은 R(Red)로 구성된다.
그리고, 도 6의 도면(602)을 참고하면, 타겟 오브젝트의 표면의 컬러가 G(Green)인 경우, 타겟 오브젝트에 조사된 백색광 중 G(Green)이 반사광이 되고, 나머지 컬러는 모두 흡수광이 된다. 그러면, 타겟 오브젝트에 반사된 장면 영상을 G(Green)으로 구성된다.
도 7은 본 발명의 일실시예에 따라 CIELab 차트를 도시한 도면이다.
도 7은 타겟 오브젝트의 표면의 컬러가 Reddish, Greenish, Blueish이고, 타겟 오브젝트에 조사되는 광의 컬러가 Red, Green, Blue, White인 경우, 영상 촬영부(103)가 촬영한 장면 영상의 컬러가 어떻게 변화하는 지를 나타내는 CIELab 차트를 도시하고 있다. 타겟 오브젝트에 조사되는 광의 컬러는 타겟 오브젝트에 조사되는 패턴 영상의 컬러와 대응된다.
도 7에서 볼 수 있듯이, 타겟 오브젝트에 조사되는 4개의 광의 좌표가 타겟 오브젝트의 표면의 컬러에 편향(biased)되는 것을 알 수 있다. 그러면, 영상 촬영부(103)가 Red, Green, Blue가 타겟 오브젝트에 조사된 후 반사된 장면 영상을 촬영하고, 영상 처리부(104)가 촬영된 장면 영상의 평균을 계산하면 타겟 오브젝트의 표면의 컬러를 구할 수 있다. 타겟 오브젝트의 표면의 컬러가 구해지면, 장면 영상의 컬러가 확인될 수 있다. 장면 영상의 컬러를 확인하는 과정은 도 8에서 구체적으로 설명하기로 한다.
도 8은 본 발명의 일실시예에 따라 장면 영상의 컬러를 확인하기 위한 도면이다.
도 8을 참고하면, 도면(801)에서 장면 영상의 평균(average) 컬러가 도시된다. 그러면, 도면(802)에서, 평균 컬러에 R(Red), G(Green) 및 B(Blue)를 더하여 생성되는 3개의 전이 컬러(shifted color) 중 장면 영상의 컬러와의 차이가 작은 전이 컬러를 장면 영상의 컬러(c1, c2, c2)로 확인될 수 있다.
도 9는 본 발명의 일실시예에 따라 패턴 조사부와 영상 촬영부 간의 동기 신호를 도시한 도면이다.
연속적으로 패턴 영상을 조사하고, 패턴 영상이 타겟 오브젝트에 반사된 장면 영상을 캡쳐하기 위해서는 패턴 영상 조사부(102)와 영상 촬영부(103) 간에 동기 신호가 필요하다. 도 9를 참고하면, 패턴 영상이 조사되는 패턴 영상 조사부(102)의 트리거 신호에 기초하여 영상 촬영부(103)의 셔터 신호에 대한 time 다이어그램이 도시되어 있다. 이 때, 영상 촬영부(103)가 고속 카메라이거나 일반 카메라인 경우에 서로 다른 time 다이어그램이 나타나는 것을 알 수 있다.
패턴 영상 조사부(102)의 트리거 신호가 발생하는 주기동안 영상 촬영부(103)의 셔터 신호가 유지되는 것을 알 수 있다. 영상 촬영부(103)가 고속 카메라인 경우, 신호의 주기가 짧은 반면에 일반 카메라인 경우 신호의 주기가 긴 것을 알 수 있다. 즉, 도 9를 참고하면, 영상 촬영부(103)가 고속 카메라인 경우, 패턴 영상의 R, G, B가 반사된 3개의 장면 영상을 각각 촬영하는 반면, 영상 촬영부(103)가 일반 카메라인 경우, 패턴 영상의 R, G, B가 반사되어 시간적으로 적분된 1개의 장면 영상을 촬영하는 것을 알 수 있다.
도 10은 본 발명의 다른 실시예에 따라 패턴 조사부와 영상 촬영부 간의 동기 신호를 도시한 도면이다.
도 10은 도 9와 비교했을 때, 패턴 영상 촬영부(102)의 트리거 신호의 주기가 더 짧은 것을 알 수 있다. 즉, 도 10은 타겟 오브젝트의 움직임이 빠른 경우를 나타낸다. 타겟 오브젝트의 움직임이 빠른 경우, 패턴 영상이 보다 빠르게 조사될 필요가 있다. 그래서, 도 10은 도 9보다 트리거 신호의 주기가 짧다.
도 11은 본 발명의 일실시예에 따라 텍스쳐 영상과 깊이 영상을 동시에 추출하는 장치를 도시한 플로우차트이다.
장치(101)의 패턴 영상 조사부(102)는 타겟 오브젝트에 패턴 영상을 조사할 수 있다(S1101). 일례로, 패턴 영상 조사부(102)는 시간적 또는 공간적인 패턴 배열에 기초하여 패턴 영상을 순차적으로 조사할 수 있다. 이 때, 패턴 영상 조사부(102)는 공간적인 패턴 배열 중 deBruijin 패턴 배열에 기초한 패턴 영상을 조사할 수 있다. 본 발명의 일실시예에 따르면, 패턴 영상은 패턴 배열에 따라 고속으로 타겟 오브젝트에 조사되고, 일정 시간동안 적분되면 백색광이 될 수 있다.
장치(101)의 영상 촬영부(103)는 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영할 수 있다(S1102). 일례로, 영상 촬영부(103)는 빔 스플리터(Beam Splitter)를 이용하여 패턴 영상이 타겟 오브젝트에서 반사된 장면 영상을 일반 카메라와 고속 카메라를 통해 촬영할 수 있다.
장치(101)의 영상 처리부(104)는 촬영된 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 추출할 수 있다(S1103).
영상 처리부(104)는 장면 영상에 구조광 기법과 스테레오 매칭 기법을 적용하여 깊이 영상을 추출할 수 있다. 이 때, 영상 처리부(104)는 타겟 오브젝트의 텍스쳐 영상에 따라 장면 영상의 컬러를 확인하고, 구조광 기법에 따라 장면 영상의 컬러를 이용하여 대응점을 추출할 수 있다. 구체적으로, 영상 처리부(104)는 타겟 오브젝트의 장면 영상의 평균 컬러에 R(Red), G(Green) 및 B(Blue) 채널을 적용하여 생성된 전이 컬러와 장면 영상의 원본 컬러의 차이를 이용하여 장면 영상의 컬러를 확인할 수 있다.
그리고, 영상 처리부(104)는 패턴 영상을 평균하여 타겟 오브젝트의 텍스쳐 영상을 추출할 수 있다. 또한, 영상 촬영부(103)가 셔터 스피드를 길게 유지하여 패턴 영상이 시간적으로 적분된 장면 영상을 촬영하는 경우, 영상 처리부(104)는 패턴 영상이 시간적으로 적분된 장면 영상을 이용하여 타겟 오브젝트의 텍스쳐 영상을 추출할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 장치
102: 패턴 조사부
103: 영상 촬영부
104: 영상 처리부
105: 타겟 오브젝트
106: 텍스쳐 영상
107: 깊이 영상

Claims (20)

  1. 타겟 오브젝트에 패턴 영상을 조사하는 패턴 영상 조사부;
    상기 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영하는 영상 촬영부; 및
    상기 촬영된 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 추출하는 영상 처리부
    를 포함하는 장치.
  2. 제1항에 있어서,
    상기 패턴 영상 조사부는,
    시간적 또는 공간적인 패턴 배열에 기초하여 패턴 영상을 순차적으로 조사하는 것을 특징으로 하는 장치.
  3. 제1항에 있어서,
    상기 패턴 영상은,
    패턴 배열에 따라 고속으로 타겟 오브젝트에 조사되고, 일정 시간동안 적분되면 백색광이 되는 것을 특징으로 하는 장치.
  4. 제1항에 있어서,
    상기 영상 처리부는,
    상기 장면 영상에 구조광 기법과 스테레오 매칭 기법을 적용하여 깊이 영상을 추출하는 것을 특징으로 하는 장치.
  5. 제1항에 있어서,
    상기 영상 처리부는,
    상기 패턴 영상을 시간 적분 특징을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상을 추출하는 것을 특징으로 하는 장치.
  6. 제1항에 있어서,
    상기 영상 촬영부는,
    셔터 스피드를 길게 유지하여 패턴 영상이 시간적으로 적분된 장면 영상을 촬영하고,
    상기 영상 처리부는,
    패턴 영상이 시간적으로 적분된 장면 영상을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상을 추출하는 것을 특징으로 하는 장치.
  7. 제4항에 있어서,
    상기 영상 처리부는,
    상기 타겟 오브젝트의 텍스쳐 영상에 따라 상기 장면 영상의 컬러를 확인하고, 상기 구조광 기법에 따라 상기 장면 영상의 컬러를 이용하여 대응점을 추출하는 것을 특징으로 하는 장치.
  8. 제7항에 있어서,
    상기 영상 처리부는,
    상기 타겟 오브젝트의 장면 영상의 평균 컬러에 R(Red), G(Green) 및 B(Blue) 채널을 적용하여 생성된 전이 컬러와 상기 장면 영상의 원본 컬러의 차이를 이용하여 상기 장면 영상의 컬러를 확인하는 것을 특징으로 하는 장치.
  9. 제1항에 있어서,
    상기 장면 영상 촬영부는,
    상기 패턴 영상 조사부에서 조사되는 패턴 영상의 트리거 신호에 기초하여 동기화되는 것을 특징으로 하는 장치.
  10. 제1항에 있어서,
    상기 패턴 영상 조사부는,
    상기 타겟 오브젝트의 움직임 속도에 기초하여 패턴 영상을 조사하는 속도를 제어하는 것을 특징으로 하는 장치.
  11. 텍스쳐 영상과 깊이 영상을 동시에 획득하는 장치에 의해 수행되는 방법에 있어서,
    패턴 영상 조사부가 타겟 오브젝트에 패턴 영상을 조사하는 단계;
    장면 영상 촬영부가 상기 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영하는 단계; 및
    영상 처리부가 상기 촬영된 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 추출하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서,
    상기 패턴 영상을 조사하는 단계는,
    시간적 또는 공간적인 패턴 배열에 기초하여 패턴 영상을 순차적으로 조사하는 것을 특징으로 하는 방법.
  13. 제11항에 있어서,
    상기 패턴 영상은,
    패턴 배열에 따라 고속으로 타겟 오브젝트에 조사되고, 일정 시간동안 적분되면 백색광이 되는 것을 특징으로 하는 방법.
  14. 제11항에 있어서,
    상기 텍스쳐 영상과 깊이 영상을 추출하는 단계는,
    상기 장면 영상에 구조광 기법과 스테레오 매칭 기법을 적용하여 깊이 영상을 추출하는 것을 특징으로 하는 방법.
  15. 제11항에 있어서,
    상기 텍스쳐 영상과 깊이 영상을 추출하는 단계는,
    상기 패턴 영상을 시간 적분 특징을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상을 추출하는 것을 특징으로 하는 방법.
  16. 제11항에 있어서,
    상기 장면 영상을 촬영하는 단계는,
    셔터 스피드를 길게 유지하여 패턴 영상이 시간적으로 적분된 장면 영상을 촬영하고,
    상기 텍스쳐 영상과 깊이 영상을 추출하는 단계는,
    패턴 영상이 시간적으로 적분된 장면 영상을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상을 추출하는 것을 특징으로 하는 방법.
  17. 제14항에 있어서,
    상기 텍스쳐 영상과 깊이 영상을 추출하는 단계는,
    상기 타겟 오브젝트의 텍스쳐 영상에 따라 상기 장면 영상의 컬러를 확인하고, 상기 구조광 기법에 따라 상기 장면 영상의 컬러를 이용하여 대응점을 추출하는 것을 특징으로 하는 방법.
  18. 제17항에 있어서,
    상기 텍스쳐 영상과 깊이 영상을 추출하는 단계는,
    상기 타겟 오브젝트의 텍스쳐 영상의 평균 컬러에 R(Red), G(Green) 및 B(Blue) 채널을 적용하여 생성된 전이 컬러와 상기 텍스쳐 영상의 원본 컬러의 차이를 이용하여 상기 장면 영상의 컬러를 확인하는 것을 특징으로 하는 방법.
  19. 제11항에 있어서,
    상기 장면 영상을 촬영하는 단계는,
    조사된 패턴 영상의 트리거 신호에 동기화하여 타겟 오브젝트에 의해 반사되는 장면 영상을 촬영하는 것을 특징으로 하는 방법.
  20. 제11항에 있어서,
    상기 패턴 영상을 조사하는 단계는,
    상기 타겟 오브젝트의 움직임 속도에 기초하여 패턴 영상을 조사하는 속도를 제어하는 것을 특징으로 하는 방법.
KR1020100124762A 2009-12-08 2010-12-08 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 Active KR101407818B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090120920 2009-12-08
KR1020090120920 2009-12-08

Publications (2)

Publication Number Publication Date
KR20110065399A KR20110065399A (ko) 2011-06-15
KR101407818B1 true KR101407818B1 (ko) 2014-06-17

Family

ID=44146051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100124762A Active KR101407818B1 (ko) 2009-12-08 2010-12-08 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법

Country Status (5)

Country Link
US (1) US20130083165A1 (ko)
EP (1) EP2512142A4 (ko)
KR (1) KR101407818B1 (ko)
CN (1) CN102884798A (ko)
WO (1) WO2011071313A2 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983121B2 (en) 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
KR101346982B1 (ko) * 2010-11-08 2014-01-02 한국전자통신연구원 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
KR101282352B1 (ko) * 2011-09-30 2013-07-04 주식회사 홀코 가변패턴을 이용한 3차원 이미지 촬영장치 및 방법
KR101913317B1 (ko) * 2012-03-20 2018-10-30 삼성전자주식회사 장면 정보를 획득하는 방법 및 그 장치
KR101359099B1 (ko) * 2012-11-14 2014-02-06 재단법인대구경북과학기술원 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002013921A (ja) 2000-06-30 2002-01-18 Fuji Xerox Co Ltd ３次元画像撮像装置および３次元画像撮像方法
JP2005128006A (ja) 2003-09-29 2005-05-19 Brother Ind Ltd ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL127534A (en) * 1996-06-13 2001-08-26 Leuven K U Res & Dev Method and system for acquiring a three-dimensional shape description
US6542185B1 (en) * 1998-01-07 2003-04-01 Intel Corporation Method and apparatus for automated optimization of white and color balance on video camera
JP3855053B2 (ja) * 2003-01-30 2006-12-06 国立大学法人 東京大学 画像処理装置、画像処理方法、及び画像処理プログラム
KR100528343B1 (ko) * 2003-07-14 2005-11-15 삼성전자주식회사 3차원 객체의 영상 기반 표현 및 편집 방법 및 장치
US7421111B2 (en) * 2003-11-07 2008-09-02 Mitsubishi Electric Research Laboratories, Inc. Light pen system for pixel-based displays
DE102004029552A1 (de) * 2004-06-18 2006-01-05 Peter Mäckel Verfahren zur Sichtbarmachung und Messung von Verformungen von schwingenden Objekten mittels einer Kombination einer synchronisierten, stroboskopischen Bildaufzeichnung mit Bildkorrelationsverfahren
CN101466998B (zh) * 2005-11-09 2015-09-16 几何信息学股份有限公司 三维绝对坐标表面成像的方法和装置
KR100806201B1 (ko) * 2006-10-30 2008-02-22 광주과학기술원 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
EP2168096A1 (en) * 2007-07-12 2010-03-31 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
CN101281023A (zh) * 2008-05-22 2008-10-08 北京中星微电子有限公司 一种获取三维目标外形的方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002013921A (ja) 2000-06-30 2002-01-18 Fuji Xerox Co Ltd ３次元画像撮像装置および３次元画像撮像方法
JP2005128006A (ja) 2003-09-29 2005-05-19 Brother Ind Ltd ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム

Also Published As

Publication number Publication date
WO2011071313A2 (ko) 2011-06-16
CN102884798A (zh) 2013-01-16
EP2512142A4 (en) 2014-02-26
EP2512142A2 (en) 2012-10-17
WO2011071313A3 (ko) 2011-10-20
KR20110065399A (ko) 2011-06-15
US20130083165A1 (en) 2013-04-04

Similar Documents

Publication Publication Date Title
US11115633B2 (en) Method and system for projector calibration
US8334893B2 (en) Method and apparatus for combining range information with an optical image
JP3884321B2 (ja) ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
KR101493064B1 (ko) 고도의 정확성으로 결함이 있는 눈을 검출하는 카메라에 기반한 방법
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
CN107395974B (zh) 图像处理系统及方法
KR101407818B1 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
WO2012046181A1 (en) Mapping detecting and tracking objects in an arbitrary outdoor scene using active vision
CN107370951B (zh) 图像处理系统及方法
CN107610080A (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
JP2000065542A (ja) ３次元画像撮影装置
US20150124083A1 (en) Image Processing in a Multi-Channel Camera
CN107493411B (zh) 图像处理系统及方法
JP3818028B2 (ja) ３次元画像撮像装置および３次元画像撮像方法
CN107493412B (zh) 图像处理系统及方法
JP5034927B2 (ja) 情報取得装置、情報取得方法および情報取得プログラム
AU2013308155B2 (en) Method for description of object points of the object space and connection for its implementation
CN107707834B (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
WO2023047643A1 (ja) 情報処理装置、映像処理方法、プログラム
JP7647746B2 (ja) 情報処理装置、合成映像の生成方法およびプログラム
KR101346982B1 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
CN107644439A (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
CN103729824B (zh) 信息交互方法及信息交互系统
US11765309B2 (en) Video capturing subject using IR light
CN117629109A (zh) 三维测量装置、方法、存储介质、系统和物品制造方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

FPAY Annual fee payment

Payment date: 20170605

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

FPAY Annual fee payment

Payment date: 20190610

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000