KR102801801B1

KR102801801B1 - 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치

Info

Publication number: KR102801801B1
Application number: KR1020160117000A
Authority: KR
Inventors: 최병두; 고성제; 송재연; 에릭 입; 이성호; 김성태
Original assignee: 삼성전자주식회사; 고려대학교 산학협력단
Priority date: 2016-09-12
Filing date: 2016-09-12
Publication date: 2025-04-30
Anticipated expiration: 2036-09-12
Also published as: US20190236990A1; EP3511909A4; EP3511909A1; US11244584B2; KR20180029315A; WO2018048287A1

Abstract

본 발명은, 센서 네트워크(Sensor Network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication) 및 사물 인터넷(Internet of Things, IoT)을 위한 기술과 관련된 것이다. 본 발명은, 상기 기술을 기반으로 하는 지능형 서비스(스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에 활용될 수 있다. 본 발명은 가상 현실 컨텐트를 위한 효율적인 영상 처리 방법 및 장치에 대한 것으로서, 본 발명의 실시 예에 따른 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법은, 360도 영상 표현을 위한 구형 영상의 앞 부분과 뒷 부분을 구분하여 투영된 제1 평면 영상을 획득하는 과정과, 픽셀 위치를 근거로 상기 제1 평면 영상을 샘플링하여 투영된 제2 평면 영상을 생성하는 과정과, 상기 제2 평면 영상을 부호화하는 과정을 포함한다.

Description

가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치{IMAGE PROCESSING METHOD AND APPARATUS FOR PROJECTING AN IMAGE OF VIRTUAL REALITY CONTENT}

본 발명은 영상 처리 방법 및 장치에 대한 것으로서, 특히 가상 현실(Virtual Reality : VR) 컨텐트의 영상 처리 방법 및 장치에 대한 것이다.

인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 사물 인터넷(Internet of Things : IoT) 망으로 진화하고 있다. IoE(Internet of Everything) 기술은 클라우드 서버 등과의 연결을 통한 빅데이터(Big data) 처리 기술 등이 IoT 기술에 결합된 하나의 예가 될 수 있다.

IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication) 등의 기술이 연구되고 있다.

IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.

또한 소비자 미디어 컨텐트의 발전이 흑백 컨텐트에서 컬러 컨텐트, 고선명(High Definition : HD), 초고선명(Ultra High Definition Television : UHD), 최근의 HDR(high dynamic range) 컨텐트의 표준화 및 배포로 계속 진화해 감에 따라, 오큘러스(Oculus), 삼성 기어 VR 등과 같은 VR 장치들에서 재생될 수 있는 가상 현실(VR) 컨텐트에 대한 연구가 진행 중이다.

VR 컨텐트의 특징은 기존 2D 컨텐트나 3D 컨텐트의 특징과 매우 상이하다.　VR 컨텐트는 사용자(들)인 시청자(들)에게 전체 360도의 컨텐트 소비를 경험할 수 있게 하여 진정한 몰입적 경험을 줄 수 있다. 그러나 가상 현실 360도 영상 컨텐트의 캡쳐, 부호화 및 전송은 3D, 360도 컨텐트를 위해 특히 설계될 수 있는 차세대 post-HEVC(High Efficiency Video Coding) 코덱의 구현 없이 많은 도전에 직면하고 있다. 상기 가상 현실 360도의 영상은 정지 영상, 동영상 등의 형태로 제공될 수 있다.

가상 현실 시스템의 기본적인 토대는 사용자를 모니터링하여, 사용자가 어떤 종류의 제어기를 사용하여 컨텐트 디스플레이 장치나 프로세싱 유닛으로 피드백 입력을 제공할 수 있게 하면, 그 장치나 유닛이 사용자의 해당 입력을 처리하여 컨텐트를 그에 맞춰 조정함으로써 사용자와 장치 간의 상호 작용(interaction)을 가능하게 하는 시스템이다.

VR 에코시스템 안의 기본 구성들은 대략 다음과 같이 구분될 수 있다:

디스플레이 하드웨어[HMD(head mounted display), 무선, 모바일 VR, TV들, CA VE(cave automatic virtual environment)들]

주변기기 및 햅틱스[VR에 입력을 제공하기 위한 다른 제어기들]

컨텐트 캡처[카메라, 비디오 스티칭]

컨텐트 스튜디오[게임, 라이브, 영화, 뉴스 및 다큐멘터리]

산업적 응용[교육, 건강관리, 부동산, 건설, 여행]

생산 도구 및 서비스[3D 엔진, 프로세싱 파워]

앱 스토어[VR 미디어 컨텐트용]

상기 가상 현실 360도의 영상 처리는 구형 포맷(spherical format)에서 캡쳐된 VR 360도 영상 컨텐트의 영상을 HEVC와 같은 기존 코덱(들)을 이용하여 부호화될 수 있는 평면 영상으로의 투영(projection) 처리 등을 통해 수행될 수 있다. 부호화된 컨텐트가 수신되면, 컨텐트는 재생 장치에 의해 지원되는 구형 포맷으로 다시 투영되며, 그 투영된 영상이 사용자에게 제공된다. 본 명세서에서 영상은 정지 영상, 동영상을 포함하는 의미로 이해될 수 있다.

파노라마 및 360도 영상의 개념이 제안된 이래, 최근에 이용되는 영상 투영 방법은 등장방형 투영(equirectangular projection : ERP) 방법이다. ERP의 광범위한 이용은 구형 360도 영상을 평면 직사각형(장방형) 영상으로 투영하는 간편함에 기인한다. 그러나 ERP는 예를 들어 픽셀들의 전체 행으로 북극 및 남극을 표현하는 ERP 영상의 상단과 하단에 존재하는 불필요한 데이터와 같은 몇 가지 단점들을 가지고 있다. 또한 ERP는 컨텐트의 특정 요구 사항들에 의존하는 사용자 요구에 맞춰진(customized) 영역(예컨대, 360도 영상 컨텐트에서 다른 영역들보다 더 중요한 구체화된 영역 또는 관심 영역과 같은 영역) 기반의 매핑 투영 방법을 지원할 수 없다. 따라서 360도 영상 컨텐트와 같은 VR 컨텐트의 영상을 효율적으로 투영하기 위한 방안이 요구된다. 본 출원발명에 관련된 선행기술로는 미국 특허출원공개공보 US2016/0142697호, 미국 특허공보 US8217956, 및 미국 특허출원공개공보 US2006/0257049호 등이 있다.

본 발명은 가상 현실 컨텐트를 위한 효율적인 영상 처리 방법 및 장치를 제공한다.

또한 본 발명은 불필요한 데이터를 감소시킬 수 있는 가상 현실 컨텐트를 위한 효율적인 영상 처리 방법 및 장치를 제공한다.

또한 본 발명은 영역을 구분할 수 있는 가상 현실 컨텐트를 위한 효율적인 영상 처리 방법 및 장치를 제공한다.

본 발명의 실시 예에 따라 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법은, 360도 영상 표현을 위한 구형 영상의 앞 부분과 뒷 부분을 구분하여 투영된 제1 평면 영상을 획득하는 과정과, 픽셀 위치를 근거로 상기 제1 평면 영상을 샘플링하여 투영된 제2 평면 영상을 생성하는 과정과, 상기 제2 평면 영상을 부호화하는 과정을 포함한다.

또한 본 발명의 실시 예에 따라 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 장치는, 영상 데이터를 부호화하는 부호화기와, 360도 영상 표현을 위한 구형 영상의 앞 부분과 뒷 부분을 구분하여 투영된 제1 평면 영상을 획득하고, 픽셀 위치를 근거로 상기 제1 평면 영상을 샘플링하여 투영된 제2 평면 영상을 생성하는 것을 제어하는 제어기를 포함한다.

도 1은 본 발명의 실시 예에 따른 영상 컨텐트의 미디어 데이터를 처리하는 영상 처리 시스템의 일 구성 예를 나타낸 도면,
도 2는 본 발명의 제1 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면,
도 3 내지 도 6d는 본 발명의 제2 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면들,
도 7 내지 도 12는 본 발명의 제3 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면들,
도 13 내지 도 22는 본 발명의 제3 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면들,
도 23 내지 도 31은 본 발명의 제3 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면들.

하기에서 본 발명의 실시 예들을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

이하 본 개시의 다양한 실시 예들을 첨부된 도면을 참조하여 설명하기로 한다. 실시 예들 및 이에 사용된 용어들은 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성 요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 뿐 해당 구성 요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.

본 개시에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리(저장부)에 저장된 적어도 하나의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.

본 개시의 다양한 실시 예들에 따라 VR 컨텐트의 영상을 투영하는 영상 처리를 수행할 수 있는 전자 장치(이하, 간략히 "전자 장치"라 칭한다.)는, 예를 들면, HMD(head-mounted-device), 각종 VR 장치, 게임 장치, TV, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나에 포함될 수 있다. 또한 상기 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 헤드 착용형 장치(HMD), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나에 포함될 수 있다. 어떤 실시 예(들)에서, 상기 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나에 포함될 수 있다.

다른 실시 예(들)에서, 상기 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나에 포함될 수 있다. 어떤 실시 예에 따르면, 상기 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나에 포함될 수 있다. 다양한 실시 예(들)에서, 상기 전자 장치는 플렉서블(flexible)하거나, 또는 전술한 다양한 전자 장치들 중 둘 이상의 조합일 수 있다.

본 개시의 실시 예들에 따른 전자 장치는 전술한 장치들에 한정되지 않는다. 본 개시에서, 사용자라는 용어는 전자 장치를 사용하는 사용자 또는 전자 장치를 이용하는 다른 장치를 지칭할 수 있다.

이하 본 발명의 실시 예들에서 사용되는 용어들을 아래와 같이 정의한다. 영상은 동영상(video), 정지 영상(image) 등이 될 수 있으며, 영상 컨텐트는 동영상, 정지 영상 등은 물론 관련된 오디오, 자막 등을 포함하는 각종 멀티미디어 컨텐트를 포함할 수 있다. VR 컨텐트는 상기 영상을 360도 영상, 3D 영상 등으로 제공하는 영상 컨텐트를 포함한다. 미디어 파일 포맷은 ISO(International Organization for Standardization) 기반 미디어 파일 포맷(ISOBMFF) 등과 같은 각종 미디어 관련 규격에 따른 미디어 파일 포맷 등이 될 수 있다. 그리고 투영(projection)은 360도 영상 등의 표현을 위한 구형 영상(spherical image)이 평면(planar surface) 상에 투영되는 처리 또는 그 처리 결과에 따른 영상 프레임을 의미한다. 매핑(mapping)은 상기 투영에 따른 평면 상의 영상 데이터가 2D 평면에 매핑되는 처리 또는 그 처리 결과에 따른 영상 프레임을 의미한다. 전방향 미디어(omnidirectional media)는 예컨대, 사용자가 HMD를 이용하였을 때 사용자의 헤드 움직임의 방향에 따라 또는 사용자의 뷰 포트(viewport)에 따라 렌더링될 수 있는 (동)영상(image or video) 및/또는 관련된 오디오를 포함한다. 상기 뷰 포트는 FOV(Field Of View)로 칭해질 수 있으며, 특정 시점에 사용자에게 보여지는 영상의 영역(여기서 상기 영상의 영역은 상기 구형 영상의 영역 등이 될 수 있다.)을 의미한다. 그리고 미디어 데이터는 상기 전방향 미디어의 데이터, 또는 VR 컨텐트에 포함되는 영상 등 각종 멀티미디어 데이터를 포함하는 데이터로 이해될 수 있다.

도 1은 본 발명의 실시 예에 따른 영상 컨텐트의 미디어 데이터를 처리하는 영상 처리 시스템의 일 구성 예를 나타낸 것이다.

도 1의 영상 처리 시스템에서 송신 장치는 영상 스티칭 부(103), 영상 매핑부(105), 영상 부호화부(107), 및 인캡슐레이션 부(109)를 포함한다. 수신 장치는 디캡슐레이션부(113), 영상 복호화부(115), 영상 디매핑부(117) 및 렌더링 부(119)를 포함한다. 또한 상기 송신 장치는 네트워크를 통해 미디어 데이터를 송신하는 송신기(도시되지 않음)를 포함하며, 상기 수신 장치는 상기 네트워크를 통해 상기 미디어 데이터를 수신하는 수신기(도시되지 않음)를 포함한다. 상기 송신 장치와 수신 장치는 각각 VR 컨텐트의 송신/수신을 위한 전자 장치로 칭해질 수 있다.

도 1의 영상 처리 시스템은 미디어 데이터의 일 예로 상기 전방향 미디어를 처리할 수 있으며, 상기 전방향 미디어는 VR 컨텐트 서비스를 위한 전방향 미디어 애플리케이션에서 이용되는 미디어 데이터로 이해될 수 있다.

도 1의 시스템에서 상기 송신 장치의 영상 처리 동작을 설명하면, 다수의 카메라들을 통해 활영된(캡쳐된) 카메라 로우 데이터(raw data)(101)를 포함하는 미디어 데이터를 입력 받은 영상 스티칭 부(103)는 상기 다수의 카메라들을 통해 입력된 영상들을 정해진 방식에 따라 스티칭(stiching)한다. 상기 스티칭된 영상은 예컨대, 360도 영상을 나타낸 구형 영상 등이 될 수 있다. 영상 매핑부(105)는 상기 구형 영상을 평면 영상으로 매핑한다. 상기 매핑 처리에서 구형 영상은 본 발명의 실시 예들에서 제안하는 다양한 투영 방식에 따라 평면 영상으로 투영될 수 있다. 다른 실시 예로 상기 투영 처리는 영상 매핑부(105)의 출력에 대해 수행하고, 상기 투영 처리된 영상을 영상 부호화부(107)에 입력하는 별도의 영상 처리 블록을 구성하는 것도 가능할 것이다. 상기 본 발명에 따른 다양한 투영 방식에 대한 구체적인 설명은 후술하기로 한다. 영상 부호화부(107)는 영상 처리 기술에서 알려진 다양한 부호화 방식에 따라 상기 매핑된 미디어 데이터를 부호화한다. 인캡슐레이션 부(109)는 상기 부호화된 미디어 데이터를 정해진 파일 포맷으로 인캡슐레이션(encapulation)한다. 상기 정해진 파일 포맷은 일 예로 ISO 기반 미디어 파일 포맷(ISOBMFF)을 이용할 수 있다. 상기 인캡슐레이션 부(109)는 ISO 기반 미디어 파일 포맷을 생성하는 파일 생성기로 이해될 수 있으며, 상기 ISO 기반 미디어 파일 포맷은 영상 데이터는 물론 오디오 데이터 등을 함께 포함하며, 상기 미디어 데이터의 렌더링(or 재생)을 위한 메타 데이터를 포함할 수 있다. 또한 상기 메타 데이터는 상기 투영 방식에 따른 매핑과 관련된 정보를 포함할 수 있다.(121, 123) 그리고 본 발명에서 이용될 수 있는 파일 포맷이 상기 ISOBMFF에 한정되는 것은 아니며, 상기 파일 포맷은 미디어 데이터의 전송을 위한 다양한 파일 포맷을 이용할 수 있다. 상기 인캡슐레이션된 미디어 데이터는 송신기를 통해 네트워크로 전송된다(111). 상기 송신 장치에서 영상 스티칭 부(103), 영상 매핑부(105), 영상 부호화부(107), 및 인캡슐레이션 부(109) 중 적어도 하나는 상기한 동작을 수행하기 위한 프로그램을 실행하는 적어도 하나의 제어기(or 프로세서)를 통해 구현될 수 있다.

도 1의 시스템에서 상기 수신 장치의 영상 처리 동작을 설명하면, 상기 수신 장치는 상기 인캡슐레이션된 미디어 데이터를 수신기(도시되지 않음)를 통해 수신한다. 디캡슐레이션부(113)는 정해진 파일 포맷에 따라 상기 인캡슐레이션된 미디어 데이터를 디캡슐레이션하여 부호화된 미디어 데이터를 추출한다. 영상 복호화부(115)는 상기 부호화된 미디어 데이터를 정해진 복호화 방식에 따라 복호화한다. 영상 디매핑부(117)는 상기 송신 장치에서 적용된 투영 방식에 따라 매핑된 평면 영상을 구형 영상으로 디매핑한다. 그리고 렌더링 부(119)는 상기 디매핑된 구형 영상을 랜더링하여 HMD 등과 같은 전자 장치에서 재생되도록 한다. 상기 복호화, 디매핑, 그리고 랜더링 동작 중 적어도 하나에서 상기 메타데이터는 해당 동작의 처리를 위해 이용될 수 있다. 상기 메타데이터는 적용된 투영 방식과 매핑 방식에 대한 제어 정보를 제공할 수 있으며, HMD 등과 같은 전자 장치에서 사용자의 헤드 움직임 등에 따라 해당 뷰 포트의 영상을 재생하기 위한 제어 정보를 제공할 수 있다. 상기 수신 장치에서 디캡슐레이션부(113), 영상 복호화부(115), 영상 디매핑부(117) 및 렌더링 부(119) 중 적어도 하나는 상기한 동작을 수행하기 위한 프로그램을 실행하는 적어도 하나의 제어기(or 프로세서)를 통해 구현될 수 있다. 그리고 상기 수신 장치는 재생되는 영상을 디스플레이 하기 위한 디스플레이 부(예컨대, LED/LCD 패널 등)를 포함하며, 예컨대, HMD 등의 전자 장치를 이용하는 경우, 사용자의 헤드 움직임을 검출하기 위한 검출 장치를 포함하여 구현될 수 있다.

이하 본 발명의 실시 예들에서 제안된, 구형 영상으로부터 평면 영상으로의, 다양한 영상 투영 방식에 대해 설명하기로 한다.

도 2는 본 발명의 제1 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면이다.

도 2를 참조하면, 도 2의 (a)은 3D 360도 영상과 같은 구형 영상의 일 예를 나타낸 것이고, 도 2의 (b)는 그 구형 영상을 등장방형의 평면 영상으로 투영한 예를 나타낸 것이다. 도 2의 (a)와 같이 구형 영상은 앞 부분의 영역1(201), 뒷 부분의 영역2(201)의 두 개 영역들로 구분된다. 도 2의 (a)에서 각도 λ, φ는 각각 구형 영상에서 경도(longitude), 위도(latitude)를 나타낸다. 상기 각도 λ, φ는 각각 구형 영상을 나타내는 구 좌표계에서 경도, 위도를 의미하며, 후술할 실시 예들의 도면 및 설명에서 동일한 의미로 이해될 수 있다. 그리고 사각 등장방형 투영(squared equirectangular projection)을 통해, 상기 구형 영상은 도 2의 (b)와 같이 등장방형 평면 영상으로 변환되며, 도 2의 (b)에서 영역1(201)에 대응되는 영역은 참조 번호 211이고, 영역2(203)에 대응되는 영역들은 참조 번호 213a, 213b이다. 도 2의 (b)의 등장방형의 평면 영상은 부호화되어 수신 장치로 전송된다. 수신 장치는 사용자에게 디스플레이를 위해 상기 등장방형의 평면 영상을 역-투영하여 도 2의 (a)의 구형 영상으로 변환한다. 최근에 기하학적 매핑(일 예로 큐브, 원통, 또는 피라미트 형태의 매핑)을 이용한 360도 영상의 투영 방식에 대한 다양한 연구가 진행 중이다. 상기 기하학적 매핑은 기하학적 형상의 서로 다른 표면들의 영역들에 대한 특정 투영들을 정의하기 전에 먼저 상기 큐브, 원통 등의 기하학적 매핑을 먼저 정의하며, 그리고 나서 그 기하학적으로 매핑된 영상을 부호화를 위해 평면 영상으로 펼친다(unfold). 본 발명의 실시 예들에서 제안하는 투영 방식들은 의사 원통형 투영(pseudocylindrical projections)을 기반으로 하며, 따라서 종래 투영 방식과 같은 기하학적 매핑을 정의할 필요가 없다. 본 발명의 실시 예들에서 360도 영상을 기술하는 극 좌표들은 2D 평면 영상으로 투영될 수 있으며, 이러한 투영 방식은 불필요한 데이터를 감소시키고, 영역 기반 투영을 가능하게 한다. 상기 의사 원통형 기반 투영은 예컨대, 시뉴소이드 투영(sinusoidal projection) 등이 있으며, 다음 1) 내지 3)과 같은 특징을 갖는다.

1) 투영 후에 극들(좌표계에서 북극, 남극)에서 불필요한 데이터의 감소

2) 컨텐트에서 관심 영역(들)에 의존하는 특정 영역 기반 투영

3) 부호화를 위해 2D 평면 영상에서 투영된 영역들의 간결한 재구성과 압축(packing)

도 3은 본 발명의 제2 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면이다.

도 3의 (a)는 상기한 구형 영상으로부터 투영된 등장방형(equirectangular) 영상(이하, ERP(equirectangular projection) 영상)의 일 예를 나타낸 것이고, 도 3의 (b)는 상기 ERP 영상으로부터 변환된 사각 등장방형(squared equirectangular) 영상(이하, SERP(squared equirectangular projection) 영상)의 일 예를 나타낸 것이다. 도 3의 예에서 상기 ERP 영상은 구형 영상으로부터 투영된 앞 부분의 영역(이하, front 영역)(301)과 뒷 부분의 영역(이하, back 영역)(303)으로 구분된다. 상기 ERP 영상의 front 영역(301)은 상기 SERP 영상의 제1 영역(311)으로 변환되고, 상기 ERP 영상의 back 영역(303)은 상기 SERP 영상의 제2 영역(313)으로 변환된다. 상기 제1 및 제2 영역(311, 313)에서 상단 및 하단의 극(pole)에 가까울수록 영상의 픽셀 수는 적어지고, 적도에 가까울수록 영상의 픽셀 수는 많아지도록 영상 변환이 수행된다. 적도 부분의 픽셀 수는 ERP 영상의 픽셀 수와 동일함을 가정한다. 이와 같은 SERP 방식의 영상 투영을 적용하면, 투영된 영상은 ERP 방식에 비해 50% 정도 영상의 샘플링 율(sampling rate)을 줄일 수 있다.

도 4는 본 발명의 제2 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면이다. 도 4의 (a), (b)는 구형 영상으로부터 투영된 ERP 영상의 서로 다른 구성 예를 나타낸 것이다. 도 4의 (a)는 구형 영상의 앞 부분은 하나의 front 영역(401)으로 투영하고, 구형 영상의 뒷 부분은 back 영역(403a, 403b)과 같이 구분된 다수의 서브 영역들로 투영한 예를 나타낸 것이다. 도 4의 (b)는 구형 영상의 앞 부분을 하나의 front 영역(411)으로 투영하고, 구형 영상의 뒷 부분을 하나의 back 영역(413)으로 투영한 예를 나타낸 것이다. 도 4의 (a), (b)의 ERP 영상은 ERP 영상의 다양한 투영 예를 나타낸 것으로, 도 4의 (a), (b)의 ERP 영상은 모두 도 3의 방식과 같이 SERP 영상으로 변환될 수 있다.

도 5는 본 발명의 제2 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 이는 도 3의 실시 예에서 설명한 SERP 영상에서 샘플링 율을 조정하는 방식을 나타낸 것이다.

도 5의 (a)는 구형 영상의 앞 부분을 front 영역(501)으로 투영하고, 구형 영상의 뒷 부분을 back 영역(503)으로 투영한 ERP 영상의 일 예를 나타낸 것이다. 상기 ERP 영상의 적도 부분부터 극 부분까지 영상의 픽셀 수는 균일하게 할당된다. 즉 영상의 샘플링 율이 동일하다(505). 도 5의 (b)는 상기 ERP 영상으로부터 변환된 SERP 영상의 일 예를 나타낸 것이다. 상기 SERP 영상의 제1 및 제2 영역(511, 513)에서는 상단 및 하단의 극(pole)에 가까울수록 영상의 픽셀 수는 적어지고, 적도에 가까울수록 영상의 픽셀 수는 많아진다(515). 즉 도 5의 예에서 상기 SERP 영상은 극에 가까울수록 영상의 샘플링 율이 감소된다.("행 기반 다운 샘플링(row wise down sampling)") 이와 같이 영상의 샘플링 율을 조정하기 위해 픽셀들 간의 중간 지점에 위치된 픽셀 데이터를 샘플링 하기 위한 보간 방법(interpolation method)을 이용할 수 있다. 상기 보간 방법은 예를 들어 잘 알려진 nearest neighbor 방법, linear interpolation 방법, cubic convolution 방법, 또는 B-splines 방법 등을 이용할 수 있다.

그리고 상기 ERP 영상으로부터 SERP 영상으로부터 좌표 변환은 아래 <수학식 1>을 이용하여 수행될 수 있다.

<수학식 1>

상기 <수학식 1>에서 각도 λ, φ는 각각 구형 영상에서 경도(longitude), 위도(latitude)를 나타낸 것이다. 경도 λ, 위도 φ의 범위는 0≤λ≤2π, -π/2≤φ≤π/2 이다.

도 6a 내지 도 6d은 본 발명의 제2 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 도 6a 내지 도 6d의 (a), (b)는 상기한 SERP 영상에서 제1 및 제2 영역을 각각 4 개의 서브 영역들(점선으로 구분된 영역들)로 분할 경우, 각 서브 영역에 배치되는 서브 영상(F1~F4, B1~B4, 여기서 F는 front, B는 back을 나타냄)의 다양한 레이아웃을 예시한 것이다. 도 6a, 도 6c에서 제1 및 제2 영역은 도 6b와 같이 합쳐진 영역으로 투영될 수 있으며, 이 경우 전송될 SERP 영상의 압축 율은 향상될 수 있다. 일 예로 도 6a에서 마름모 형태로 구성된 제1 및 제2 영역에서 마름모의 각 변이 마주보는 비어 있는 영역(정사각형을 가정한 경우)은 패딩 데이터(or null 데이터)로 채워질 수 있다.

도 7 및 도 8은 본 발명의 제3 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 도 8은 도 7의 변형된 실시 예로서, 도 8의 실시 예를 기반으로 본 발명의 제3 실시 예를 설명하기로 한다.

도 7의 (a), (b)는 도 5의 (a), (b)와 같이 ERP 영상을 SERP 영상으로 변환한 동작을 나타내고, 도 7의 (c)는 상기 SERP 영상에서 제1 및 제2 영역을 도 6b와 같이 하나의 사각형 내에 합쳐진 영역으로 재구성한 예를 나타낸 것이다.

도 8의 (a)는 도 4의 (a)와 같이 구형 영상의 앞 부분은 ERP 영상에서 하나의 front 영역으로 투영하고, 구형 영상의 뒷 부분은 ERP 영상에서 다수의 서브 영역들로 분리된 back 영역으로 투영한 예를 나타낸 것이다. 도 8의 (b)는 도 8의 (a)의 ERP 영상을 도 7의 (b)와 같이 사각형 형상의 두 개의 영역들로 변환하지 않고, 하나의 마름모(rhombus) 형상의 영상으로 변환한 후, 도 8의 (c)와 같이 상기 마름모 형상의 영상을 사각형(square) 형상의 영상으로 다시 변환한 투영 방식을 예시한 것이다. 도 8의 (a)에서 영상의 샘플링 율은 동일하며(801), (b)에서 샘플링 율은 적도 부분에서는 도 8의 (a)과 동일하며, 극에 가까울수록 감소된다(811). 그리고 도 8의 (c)에서 샘플링 율은 말굽 형태의 픽셀 배치에 따라 조정된다(821). 도 8의 (c)와 같이 픽셀들의 배치가 변환된 SERP 영상은 앞(front) 부분과 뒷(back) 부분의 경계가 매끄럽게 이어질 수 있으며, 샘플링 율의 조절이 용이한 장점이 있다.

도 9은 본 발명의 제3 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 이는 도 8의 (a), (b)와 같이 ERP 영상을 마름모 형태의 영상으로 변환하는 동작을 설명하기 위한 것이다.

즉 도 9의 (a)는 구형 영상의 앞 부분은 ERP 영상에서 하나의 front 영역으로 투영하고, 구형 영상의 뒷 부분은 ERP 영상에서 다수의 서브 영역들로 분리된 back 영역으로 투영한 예를 나타낸 것이다. 도 9의 (b)는 상기 ERP 영상을 마름모 형상의 SERP 영상으로 변환한 예를 나타낸 것이다. 상기 마름모 형상의 가로 대 세로 비율은 n 대 1(예컨대, 2 대 1)로 설정될 수 있다. 도 9의 (b)와 같은 SERP 방식의 영상 투영을 적용하면, ERP 방식에 비해 50% 정도 영상의 샘플링 율(sampling rate)을 줄일 수 있으며, 적도 부분에서는 ERP 영상과 동일한 샘플링 율을 유지할 수 있다.

도 10은 본 발명의 제3 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 이는 도 8의 (a), (b)와 같이 ERP 영상을 마름모 형태의 SERP 영상으로 좌표 변환 방식의 일 예를 나타낸 것이다.

도 10의 (a)는 ERP 영상의 좌표를 나타낸 것이고, (b)는 SERP 영상의 좌표를 나타낸 것이다. 그리고 상기 ERP 영상으로부터 SERP 영상으로부터 좌표 변환은 아래 <수학식 2>를 이용하여 수행될 수 있다.

<수학식 2>

도 10과 상기 <수학식 2>에서 각도 λ, φ는 각각 구형 영상에서 경도(longitude), 위도(latitude)를 나타낸 것이며, W, H는 각각 SERP 영상의 가로, 세로 길이를 나타낸 것이다.

도 11은 본 발명의 제3 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 이는 도 11의 (a)에서 마름모 형상(포맷)의 SERP 영상을 도 11의 (b)에서 사각형(square) 형상(포맷)의 SERP 영상으로 변환한 투영 방식을 나타낸 것이다. 도 11과 같은 투영 방식에 의하면, SERP 영상에서 비어 있는 영역 없이 영상을 효과적으로 처리할 수 있으며, 영상 압축에 보다 효율적이다.

도 11은 본 발명의 제3 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면이다. 도 8 내지 도 10의 실시 예에 따라 마름모 형상(포맷)의 SERP 영상을 사각형(square) 형상(포맷)의 SERP 영상으로 변환하는 경우, x, y 방향의 샘플링 율의 조정을 위한 알고리즘은 아래 <수학식 3>을 이용할 수 있다.

<수학식 3>

적도 부분의 샘플링 율을 증가시키는 경우, 상기 <수학식 3>에서 가 같이 조정될 수 있다. 상기 S_y(), S_x()로 표현된 샘플링 율 조정을 위한 함수는 샘플링 율 조정을 위한 다양한 공지된 알고리즘을 이용할 수 있다.

도 10과 상기 <수학식 2>에서 각도 λ, φ는 각각 구형 영상에서 각각 경도, 위도를 나타낸 것이며, W, H는 각각 SERP 영상의 가로, 세로 길이를 나타낸 것이다.

도 12는 본 발명의 제3 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면이다. 도 12의 (a)는 마름모 형상의 SERP 영상의 일 예를 나타낸 것이고, 도 12의 (b)는 상기 <수학식 3>을 이용한 샘플링 율의 조정에 따라 마름모 형상의 SERP 영상에서 y 축 샘플링 율이 조정된 일 예를 나타낸 것이다. 도 12의 (b)의 경우 y 축 방향으로 샘플링 율이 증가됨을 알 수 있다. 또한 이 경우 적도 부분의 샘플링 율도 증가된다. 상기한 실시 예와 같이 SERP 영상에서 특정 부분의 영상 데이터를 업 샘플링하는 것도 가능하다.

도 13은 본 발명의 제4 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 이는 타일(tile) 기반의(단위의) SERP 방식의 성능 비교를 나타낸 것이다.

도 13에서 rect, cube, Tinghua는 기존의 영상 투영 방식, SERP, SERP8는 본 발명의 실시 예에 따른 투영 방식이며, 상기 SERP8은 예컨대, 8 타일 기반의 투영 방식을 의미하며, 도 13의 그래프에서 가로 축은 전송율, 세로축은 최대 신호 대 잡음비(peak signal-to-noise ratio : PSNR)이며, 도 13은 각 투영 방식의 압축 효율과 관련된 성능 비교를 나타낸 것이다. 기존 투영 방식은 투영된 영상의 전반적인 기울어짐으로 인해 압축 효율이 저하되는 경우가 있었으며, 이는 투영된 영상 내에 수직 엣지 성분이 많은 경우 비트 율(bit rat)가 증가되기 때문이다. 이 점을 고려하여 본 발명의 실시 예에서는 압축 효율 개선을 위해 타일 단위로 SERP를 수행하는 방안을 제안한다.

도 14 내지 도 18은 본 발명의 제4 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 이는 타일(tile) 기반의(단위의) SERP 방식을 설명하기 위한 것이다.

전술한 실시 예들에서 SERP 방식은 도 8의 (b)와 같이 ERP 영상을 마름모 형상의 SERP 영상으로 변환하여 행 기반의 다운 샘플링을 한다. 그리고 도 8의 (c)와 같이 상기 SERP 영상의 각 행의 중간에서 각 행(row)을 말굽 모양으로 접어 올려 사각형(square) 형상으로 만든다. 도 14의 예에서 타일 기반의 SERP 방식은 도 14의 (a)의 ERP 영상을 도 14의 (b)와 같이 타일 단위(1401)로 나눈다. 이를 전 처리 과정(pre-processing)이라 한다. 도 14의 (b)에서 참조 부호 N은 하나의 타일의 높이이다. 이후 도 15의 예와 같이 각 타일을 SERP 영상의 각 행으로 간주하고, 도 15의 (a)의 ERP 영상을 도 15의 (b)의 마름모 형상의 SERP 영상으로 변환한다. 이후 도 16의 (a), (b)의 예와 같이 마름모 형상의 SERP 영상에서 각 타일을 N*N 크기의 다수의 블록들(1601)로 나눈다. 그리고 도 17의 예와 같이 각 블록(1701)을 픽셀로 간주하여 사각형 형상의 SERP 영상(1703)으로 변환한다. 도 18은 상기 타일 기반의 SERP 방식에 따라 변환 처리된 영상을 순차적으로 나타낸 것으로서, ERP 영상(1801) => 타일 단위로 나누어진 ERP 영상(1803) => 마름모 형상의 SRP 형상(1805, 1807) => 사각형 형상의 SERP 영상(1809)의 순으로 영상 변환이 수행된다.

도 19 내지 도 22는 본 발명의 제4 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 이는 타일 기반의 SERP 방식에서 SERP 영상의 부호화 후에 각 타일의 경계에서 발생될 수 있는 화질 열화 현상인 블록킹 현상(blocking artifact)을 설명하기 위한 도면이다. 일반적으로 영상 처리 과정에서 영상의 각 블록은 독립적으로 처리되는 과정에서 압축률이 높은 경우 블록들 간의 경계에서 불연속성이 나타날 수 있으며, 이는 화질 열화를 초래한다. 상기한 SERP 영상에서도 이러한 블록킹 현상이 발생될 수 있다. 도 19의 (a)는 타일 기반의 SERP 영상에서 타일 구조를 간략히 나타낸 것이고, 도 19의 (b)는 상기 블록킹 현상이 발생될 수 있는 각 타일의 경계를 굵은 실선으로 나타낸 것이다. 도 19의 (c)는 8 타일 기반의 SERP 영상에서 각 타일의 경계를 나타낸 것으로서, 각 타일의 경계에서 부분적으로 불연속성이 존재함을 알 수 있다. 다만 SERP 영상의 적도 부분(중앙 부분)에서는 블록킹 현상이 발생되지 않음을 알 수 있다.

상기한 타일 기반의 SERP 영상에서 블록킹 현상을 방지(저감)하기 위해 본 발명의 실시 예에서는 도 20 및 도 21의 예와 같이 블록킹 현상이 발생되는 타일 단위로 타일 센터 쪽으로 투영 범위를 확장하는 방식을 제안한다.

도 20의 (a)는 8 타일 기반의 SERP 영상에서 각 타일의 경계를 나타낸 것이고, 도 20의 (b)는 8 타일 기반의 SERP 영상에서 블록킹 현상이 발행될 수 있는 타일 단위를 나타낸 것이다. 도 21의 예에서 타일 또는 SERP 영상의 크기를 고정한 상태에서 각 포인트(c, p)가 나타내는 구형 영상의 좌표를 타일 센터 쪽으로 확장하는 경우(즉 overlapping 처리), 도 22의 참조 번호 2201과 같이 SERP 영상의 투영 범위가 확장되어 블록킹 현상의 발생이 감소될 수 있다. 도 22의 (a)는 상기 overlapping 처리 전의 SERP 영상에서 타일 센터 부분의 영상을 나타낸 것이고, 도 22의 (b)는 상기 overlapping 처리 전의 SERP 영상에서 타일 센터 부분의 영상을 나타낸 것이다.

아래 <수학식 4>는 각 포인트(c, p)가 나타내는 구형 영상의 좌표를 타일 센터 쪽으로 확장하기 위한 좌표 변환식의 일 예이다. 아래 <수학식 4>에서 각도 λ, φ는 각각 구형 영상에서 경도, 위도를 나타낸 것이다.

<수학식 4>

상기 <수학식 4>와 도 21에서 각 좌표의 의미는 아래와 같다.

이하 도 23 내지 도 31을 참조하여 본 발명의 제5 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기로 한다.

도 23은 본 발명의 제5 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 이는 사각 시뉴소이드 투영(squared sinusoidal projection)(이하, SSP)의 예를 나타낸 것이다.

도 2의 (a)와 같은 구형 영상으로부터 SERP 영상으로의 좌표 변환은 아래 <수학식 5>을 이용하여 수행될 수 있다. 아래 <수학식 5>에서 각도 λ, φ는 각각 구형 영상에서 경도, 위도를 나타낸 것이다.

<수학식 5>

x = λcosφ

y = φ

도 24는 본 발명의 제5 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 이는 구형 영상으로부터 SSP 영상을 투영하기 위해 구형 영상을 분할하는 방식을 나타낸 것이다.

도 24를 참조하면, 360도 영상과 같은 구형 영상(2401)은 반으로 분할되어 앞 부분의 영역1(2401a), 뒷 부분의 영역2(2401b)의 두 개 영역들로 구분된다. 그러나 전술한 ERP 영상과 다르게 SSP 영상은 구형 영상(2401)에서 영역들(2401a, 2401b)이 정의된 방식에 의존한다. 도 24의 예에서 영역1(2401a)는 참조 번호 2403의 사각형에서 제1 화이트 영역에 투영되고, 영역2(2401b)는 참조 번호 2405의 사각형에서 제2 화이트 영역에 투영된다. 상기 두 개의 사각형들(2403, 2405)에서 영상 데이터는 제1 및 제2 화이트 영역들에만 존재하며, 상기 제1 및 제2 화이트 영역들을 제외한 나머지 영역들(해칭으로 표시)에는 패딩된 데이터(or no 데이터)가 채워진다.

도 24의 예에서 구형 영상의 앞 부분에 해당하는 영역1(2401a)을 상기 제1 화이트 영역에 투영하는 경우, 좌표 변환은 상기 <수학식 5>를 이용할 수 있다. 구형 영상의 뒷 부분에 해당하는 영역2(2401b)를 상기 제2 화이트 영역에 투영하는 경우, 좌표 변환은 아래 <수학식 6>을 이용할 수 있다.

<수학식 6>

x = λ(1-|sinφ|)

y = φ

도 25는 본 발명의 제5 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 이는 구형 영상으로부터 SSP 영상을 투영하는 방식을 나타낸 것이다. 도 25의 (a), (b)는 도 24에서 제2 화이트 영역을 재구성하여 제1 화이트 영역이 속하는 사각형의 비어 있는 영역을 채우는 투영 방식의 일 예를 나타낸 것이다. 도 25의 예에서 제1 및 제2 화이트 영역들은 각각 4 개의 구분된 서브 영역들로 구성되며, 도 25의 (a), (b)에서 서로 대응되는 서브 영역들은 동일한 참조 부호로 표시된다. 그리고 도 25의 (b)와 같이 재구성된 영상은 SSP 영상으로 이용된다.

도 26은 본 발명의 제5 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 도면으로서, 이는 ERP 영상으로부터 SSP 영상을 투영하는 방식을 나타낸 것이다.

도 26의 (a)는 구형 영상의 앞 부분을 front 영역(2601)으로 투영하고, 구형 영상의 뒷 부분을 back 영역(2603)으로 투영한 ERP 영상의 일 예를 나타낸 것이다. 도 26의 (b)는 ERP 영상으로부터 SSP 영상을 투영하기 위한 중간 단계의 변환 영상의 일 예를 나타낸 것이다. 상기 변환 영상은 도 25의 예와 같이 제1 및 제2 화이트 영역들(2611, 2613)을 포함하는 두 개의 사각형들로 변환된 영상이다. 상기 front 영역(2601)은 제1 화이트 영역(2611)에 대응되고, 상기 back 영역(2603)은 제2 화이트 영역(2613)에 대응된다. 그리고 도 26의 (c)는 제2 화이트 영역(2613)을 재구성하여 제1 화이트 영역(2611)이 속하는 사각형의 비어 있는 영역을 채운 SSP 영상의 일 예를 나타낸 것이다. 따라서 도 26의 (a) => (b) => (c)의 과정을 통해 ERP 영상은 SSP 영상으로 투영될 수 있다.

도 27 및 도 28의 예는 구형 영상으로부터 SSP 영상을 투영하기 위한 영상 변환 과정의 일 예를 나타낸 것이고, 도 27은 구형 영상에서 앞 부분의 영역1(2701)을 평면 영상으로 좌표 변환하는 과정을 나타낸 것이며, 도 28은 구형 영상에서 뒷 부분의 영역2(2801)을 평면 영상으로 좌표 변환하는 과정을 나타낸 것이다. 도 27에서 좌표 변환 식은 상기 <수학식 5>를 이용할 수 있으며, 도 28에서 좌표 변환 식은 상기 <수학식 6>을 이용할 수 있다.

상기한 실시 예들에서 투영 방식은 구형 영상 => ERP 영상 => SERP 영상의 순서로 영상 변환을 수행하는 방식, 구형 영상 => ERP 영상 => SSP 영상의 순서로 영상 변환을 수행하는 방식, 구형 영상으로부터 바로 SERP 영상을 투영하는 방식, 그리고 구형 영상으로부터 바로 SSP 영상을 투영하는 방식 등 다양한 형태로 변형 실시될 수 있다. 또한 상기한 실시 예들에서 투영 방식은 편의상 2 개 또는 4 개의 (서브) 영역들로 영상을 분할하여 수행하는 경우를 예시하였으나, 사용자가 관심이 있는 영상 내 포인트들을 고려하여(만족하도록) 그 영상의 분할 개수는 둘 이상의 다양한 개수로 분할될 수 있다.

또한 도 26의 예에서 SSP를 위한 상기 변환 영상(도 26의 (b))의 형상은 ERP와 비교하여 적도 부분(중간 수평선)에서 동일한 픽셀 샘플들의 개수를 유지하도록 변환될 수 있다. SSP를 위한 변환 영상(도 26의 (b))은 SSP의 상단에서 단지 하나의 샘플을 갖도록 하는 시뉴소이드 함수(sinusoidal function)(또는 그 역)에 따라 감소하는 샘플링 비율(sampling fraction)을 이용하며, 그 샘플링 비율은 예컨대, 1/N, N은 ERP 영상에서 수평 샘플들의 원 개수이다. 그리고 상기한 변환 영상의 제1 및 제2 화이트 영역에서 형상의 차이는 시뉴소이드 함수(또는 그 역함수)를 나타낸 수학식(예컨대, <수학식 5> or <수학식 6>)를 이용하여 구현될 수 있다. 이러한 영역들의 형상의 차이는 "관심 영역(들)" 및 "비관심 영역(들)"로 확인될 수 있다. 상기 비관심 영역은 상대적으로 적은 관심을 갖는 영역을 포함한다. 그리고 상기 시뉴소이드 함수를 이용하여 투영된 "관심 영역(들)"은 그 역함수를 이용하여 투영된 "비관심 영역(들)"과 비교하였을 때, 더 많은 데이터를 가지게 된다. 본 발명의 실시 예에서 SSP 방식은 두 개의 영역들을 정의하는 것에 한정되지 않는다. 360도 영상에서 관심 영역(들)과 비관심 영역(들)은 확인(or 구분)될 수 있다. 또한 상기 관심 영역은 구형 영상(or ERP 영상)에서 앞 부분(영역)에 해당될 수 있고, 상기 비관심 영역은 구형 영상(or ERP 영상)에서 뒷 부분(영역)에 해당될 수 있다. 도 29는 SSP를 위해 예컨대, 4 개의 서로 다른 영역들(영역 1 내지 영역 4)로 구분된 ERP 프레임의 예를 나타낸 것이다. 도 29에서 참조 번호 2901, 2903은 관심 영역들에 해당되고, 나머지 영역들은 비관심 영역들에 해당되는 경우를 예시한 것이다.

본 발명의 실시 예에서 투영을 위한 영역들을 정의하는 몇 가지 조건들은 다음 1) 내지 3)과 같다.

1) 정의된 영역들의 개수는 짝수 개임

2) 각 관심 영역은 해당되는 비 관심 영역과 쌍이 될 수 있음

3) 360도 영상 또는 ERP 영상인 경우, 영역들의 쌍들은 동일한 형상을 가질 수 있음

부호화를 위한 입력에 의존하여, SSP 영상의 최종 출력은 도 30의 예와 같이 정사각형일 필요는 없다. 도 30은 ERP 영상에 상응하는 SSP 영상의 최종 출력의 일 예를 나타낸 것이다. 영역들의 쌍은 또한 해상도 스케일링을 통해 SSP 영상에서 서로 다른 크기를 갖는 영역에 매핑될 수 있으며, 영역들의 쌍의 재배열은 유연하며, 각 컨텐트에서 사용자 선호에 맞추어 질 수 있다.

도 31은 본 발명의 제5 실시 예에 따른 가상 현실 컨텐트의 영상 투영 방식을 설명하기 위한 순서도로서, 이는 SSP 영상에서 시뉴소이드 함수 또는 역 함수를 이용하여 영상을 투영하고, 쌍에 해당되는 영역들을 할당하는 방식의 일 예를 나타낸 것이다.

도 31을 참조하면, 3101 단계에 영상 투영을 위한 영역들을 정의한다. 3103 단계에서 영역들의 개수가 짝수 개인지 판단하고, 짝수 개가 아닌 경우 3105 단계로 이동하여 하나의 영역을 더 정의한다. 3103 단계에서 영역들의 개수가 짝수 개인 경우 3017 단계에서 영역들을 쌍(pair)으로 할당하고, 영역들을 예컨대, 관심 영역 과 비관심 영역으로 구분하여 리스트 한다. 이후 3109 단계에서 투영할 영역이 관심 영역에 있는 경우, 3111 단계에서 시뉴소이드 함수를 이용하여 투영하고, 투영할 영역이 비관심 영역에 있는 경우, 3115 단계에서 역 함수를 이용하여 투영한다. 이후 3113 단계에서 쌍에 해당되는 영역들을 재배열하고 결합한다. 그리고 원하는 SSP 영상의 크기와 형상으로 묶여진 영역들의 쌍을 배열한다.

Claims

가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법에 있어서,
360도 영상 표현을 위한 구형 영상의 앞 부분과 뒷 부분을 구분하여 투영된 제1 평면 영상을 획득하는 과정;
픽셀 위치를 근거로 상기 제1 평면 영상을 샘플링하여 투영된 제2 평면 영상을 생성하는 과정;
상기 제2 평면 영상을 구성하는 타일들을 고정하는 과정;
수학식 을 이용하여 상기 구형 영상의 제1 좌표를 상기 타일들의 센터 쪽으로 확장하기 위해 좌표 변환하는 과정; 및
상기 제2 평면 영상을 부호화하는 과정을 포함하며,
는 상기 타일들의 중심 좌표 중 x 좌표, 는 상기 타일들의 중심 좌표 중 y 좌표, 는 상기 구형 영상의 제1 좌표에 대한 x 좌표, 는 상기 구형 영상의 제1 좌표에 대한 y 좌표, 는 좌표 변환된 상기 구형 영상의 제1 좌표에 대한 x 좌표, 는 좌표 변환된 상기 구형 영상의 제1 좌표에 대한 y 좌표이고, 및 는 각각 및 에 대한 가중치인, 영상 처리 방법.
제 1 항에 있어서,
상기 제1 평면 영상은 ERP 영상을 포함하고, 상기 제2 평면 영상은 상기 픽셀 위치가 극에 가까울수록 샘플링 율을 감소시킨 SERP 영상을 포함하는 영상 처리 방법.
제 1 항에 있어서,
상기 샘플링은 영상의 행 기반 다운 샘플링을 이용하는 영상 처리 방법.
제 1 항에 있어서,
상기 제2 평면 영상은 상기 구형 영상의 앞 부분과 뒷 부분에 각각 대응되는 적어도 두 개의 마름모 형상의 투영 영상인 영상 처리 방법.
제 1 항에 있어서,
상기 제2 평면 영상은 상기 구형 영상의 앞 부분과 뒷 부분에 해당되는 서브 영상들이 하나의 사각형 형상의 영상에 채워진 투영 영상인 영상 처리 방법.
제 1 항에 있어서,
상기 제2 평면 영상은 시뉴소이드 함수를 이용하여 상기 구형 영상의 앞 부분에 해당되는 서브 영상들이 투영된 영상인 영상 처리 방법.
제 1 항에 있어서,
상기 제2 평면 영상은 관심 영역과 비관심 영역을 포함하며, 상기 제2 평면 영상은 상기 관심 영역과 상기 비관심 영역에 서로 다른 함수를 적용하여 투영되는 영상 처리 방법.
가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 장치에 있어서,
영상 데이터를 부호화하는 부호화기; 및
360도 영상 표현을 위한 구형 영상의 앞 부분과 뒷 부분을 구분하여 투영된 제1 평면 영상을 획득하고, 픽셀 위치를 근거로 상기 제1 평면 영상을 샘플링하여 투영된 제2 평면 영상을 생성하고, 상기 제2 평면 영상을 구성하는 타일들을 고정하고, 수학식 을 이용하여 상기 구형 영상의 제1 좌표를 상기 타일들의 센터 쪽으로 확장하기 위해 좌표 변환하는 것을 제어하는 제어기를 포함하며, 는 상기 타일들의 중심 좌표 중 x 좌표, 는 상기 타일들의 중심 좌표 중 y 좌표, 는 상기 구형 영상의 제1 좌표에 대한 x 좌표, 는 상기 구형 영상의 제1 좌표에 대한 y 좌표, 는 좌표 변환된 상기 구형 영상의 제1 좌표에 대한 x 좌표, 는 좌표 변환된 상기 구형 영상의 제1 좌표에 대한 y 좌표이고, 및 는 각각 및 에 대한 가중치인, 영상 처리 장치.
제 8 항에 있어서,
상기 제1 평면 영상은 ERP 영상을 포함하고, 상기 제2 평면 영상은 상기 픽셀 위치가 극에 가까울수록 샘플링 율을 감소시킨 SERP 영상을 포함하는 영상 처리 장치.
제 8 항에 있어서,
상기 샘플링은 영상의 행 기반 다운 샘플링을 이용하는 영상 처리 장치.
제 8 항에 있어서,
상기 제2 평면 영상은 상기 구형 영상의 앞 부분과 뒷 부분에 각각 대응되는 적어도 두 개의 마름모 형상의 투영 영상인 영상 처리 장치.
제 8 항에 있어서,
상기 제2 평면 영상은 상기 구형 영상의 앞 부분과 뒷 부분에 해당되는 서브 영상들이 하나의 사각형 형상의 영상에 채워진 투영 영상인 영상 처리 장치.
제 8 항에 있어서,
상기 제2 평면 영상은 시뉴소이드 함수를 이용하여 상기 구형 영상의 앞 부분에 해당되는 서브 영상들이 투영된 영상인 영상 처리 장치.
제 8 항에 있어서,
상기 제2 평면 영상은 관심 영역과 비관심 영역을 포함하며, 상기 제2 평면 영상은 상기 관심 영역과 상기 비관심 영역에 서로 다른 함수를 적용하여 투영되는 영상 처리 장치.