KR100816965B1

KR100816965B1 - 입체시용 영상 제공 방법 및 입체 영상 표시 장치

Info

Publication number: KR100816965B1
Application number: KR1020057019729A
Authority: KR
Inventors: 겐 마시따니; 하루히꼬 무라따; 도시오 노무라; 마사히로 시오이; 히데히꼬 세끼자와; 세이지 사또
Original assignee: 산요덴키가부시키가이샤; 샤프 가부시키가이샤; 소니 가부시끼 가이샤
Priority date: 2003-04-18
Filing date: 2004-04-15
Publication date: 2008-03-26
Anticipated expiration: 2024-04-15
Also published as: CN1778119A; CN1778119B; JP2004336701A; WO2004093466A1; EP1617683A1; JP4324435B2; US20060209183A1; KR20050114278A; EP1617683A4

Abstract

송신측 장치(1)에서는, 입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 송신할 때에, 각 2차원 영상의 데이터마다 부여된 시점 번호 정보와 하나 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 송신한다. 수신측 장치(2)는, 복수 영상 데이터 및 부속 정보를 수신하여, 예를 들면 복수 영상 데이터 중 하나의 영상에 의해 썸네일 표시 등을 행하게 할 때에, 상기 선택하는 정보로서의 시점 번호 정보로부터 영상 데이터를 선택하는 처리를 행한다.

송신측 장치, 복수의 2차원 영상, 데이터, 썸네일 표시, 시점 번호 정보

Description

입체시용 영상 제공 방법 및 입체 영상 표시 장치{THREE-DIMENSIONALLY VIEWED IMAGE PROVIDING METHOD, AND THREE-DIMENSIONAL IMAGE DISPALY APPARATUS}

본 발명은, 입체시(立體視)용 영상 제공 방법 및 입체 영상 표시 장치에 관한 것이다.

입체시 기술로서는, 종래부터 패러렉스 배리어를 이용하는 안경이 필요없는 입체시 방법, 편광 안경이나 액정 셔터 안경 등을 이용하는 안경이 필요한 입체시 방법 등이 알려져 있다. 또한, 입체시시키는 영상에 대해서도, 실사(實寫) 영상뿐만 아니라, 컴퓨터 그래픽스를 이용하여, 가상 공간 상에 배치한 오브젝트를 평면에 투영하여 묘화 처리하는 3D 묘화에 의한 영상이 있다. 또한, 상기 묘화 처리를 2시점에서 행함으로써, 우안 영상과 좌안 영상을 작성할 수 있다. 또한, 2개의 영상을 1 채널의 영상으로서 방송하여, 수신기측에서 입체시를 행할 수 있는 방법이 제안되고 있다(일본 특개평10-174064호 공보 참조). 2개 이상의 영상으로 이루어지는 영상 파일을 작성하면, 이 파일을 개방했을 때에, 입체 영상을 생성할 수 있다.

<발명의 개시>

그러나, 상기 종래 기술에서는, 입체시용 영상의 작성자측(제공측)에서 의도 하는 처리(입체 표시에 한하지 않고, 평면 표시 등도)를 수신측 장치에서 행하게 할 수 없다.

본 발명은, 상기한 사정을 감안하여, 입체시용 영상의 작성자측(제공측)에서 의도하는 처리를 수신인측의 장치(입체 영상 표시 장치)에서 행하게 할 수 있는 입체시용 영상 제공 방법 및 입체 영상 표시 장치를 제공하는 것을 목적으로 한다.

본 발명의 입체시용 영상 제공 방법은, 상기한 과제를 해결하기 위해, 입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 제공할 때에, 각 2차원 영상의 데이터마다 부여된 시점 번호 정보 또는 영상 데이터에서의 각 2차원 영상 영역마다의 시점 번호 정보를 수신측에서 연산에 의해 취득하기 위한 정보와, 하나 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 한다.

또한, 본 발명의 입체시용 영상 제공 방법은, 입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 제공할 때에, 각 2차원 영상의 데이터마다 부여된 시점 번호 정보 또는 영상 데이터에서의 각 2차원 영상 영역마다의 시점 번호 정보를 수신측에서 연산에 의해 취득하기 위한 정보와, 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보와 이들 우선 순위를 나타내는 우선 순위 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 한다.

또한, 본 발명의 입체시용 영상 제공 방법은, 입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 제공할 때에, 각 2차원 영상의 데이터마다 부여된 시점 번호 정보 또는 영상 데이터에서의 각 2차원 영상 영역마다의 시점 번호 정보를 수신측에서 연산에 의해 취득하기 위한 정보와, 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 우선순으로 열거하여 이루어지는 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 한다.

또한, 본 발명의 입체시용 영상 제공 방법은, 입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 제공할 때에, 각 2차원 영상의 데이터마다 부여된 시점 번호 정보 또는 영상 데이터에서의 각 2차원 영상 영역마다의 시점 번호 정보를 수신측에서 연산에 의해 취득하기 위한 정보와, 하나 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보와, 상기 복수의 2차원 영상이 연속성을 갖는 영상인지의 여부를 나타내는 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 한다.

이들 입체시용 영상 제공 방법에서, 상기 선택하기 위한 정보에 의해 선택된 2차원 영상의 데이터를 본래의 입체시용 이외의 보조적 화상으로서 어떠한 양태로 표시할지를 나타내는 표시 양태 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하도록 하여도 된다. 또한, 상기 선택하기 위한 정보에 의해 선택된 2차원 영상의 데이터를 어떠한 목적으로 사용할 것인지를 나타내는 사용 목적 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하도록 하여도 된다. 이 경우, 비트의 배열과 사용 목적의 내용을 대응시킴과 함께, 각 비트의 「O」「1」이 각 사용 목적의 유효/무효를 의미하도록 하여도 된다.

또한, 이들 입체시용 영상 제공 방법에서, 정보의 기술 형식으로서 어떤 기술 형식이 채용되고 있는지를 나타내는 정보를 부속 정보로서 2차원 영상의 데이터와 함께 제공하도록 하여도 된다. 정보의 제공을, 방송, 통신, 기록 매체에의 기록 중 어느 하나에 의해 행하도록 하여도 된다.

또한, 본 발명의 입체 영상 표시 장치는, 시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 취득하는 수단과, 본래의 입체시용의 영상 처리 이외에서 하나 또는 복수의 2차원 영상 데이터를 선택하는 것이 필요하게 되는 처리를 실행하는 경우에, 상기 선택하는 정보로서의 시점 번호 정보에 의해 지정되는 2차원 영상 데이터를 선택하는 수단을 구비한 것을 특징으로 한다.

또한, 본 발명의 입체 영상 표시 장치는, 시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 취득하는 수단과, 본래의 입체시용의 영상 처리 이외에서 소정수의 2차원 영상 데이터를 선택하는 것이 필요하게 되는 처리를 실행하는 경우에, 상기 소정수의 2차원 영상 데이터를 상기 선택하는 정보로서의 시점 번호 정보의 배열순에 따라 선택하는 수단을 구비한 것을 특징으로 한다.

또한, 본 발명의 입체 영상 표시 장치는, 시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보와 이들 우선 순위를 나타내는 우선 순위 정보를 취득하는 수단과, 본래의 입체시용의 영상 처리 이외에서 소정수의 2차원 영상 데이터를 선택하는 것이 필요하게 되는 처리를 실행하는 경우에, 상기 소정수의 2차원 영상 데이터를 상기 선택하는 정보로서의 시점 번호 정보 및 우선 순위 정보에 의해 선택하는 수단을 구비한 것을 특징으로 한다.

또한, 본 발명의 입체 영상 표시 장치는, 시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2차원 영상을 선택하는 정보로서의 시점 번호 정보와 상기 선택하기 위한 정보에 의해 선택된 2차원 영상의 데이터를 본래의 입체시용 이외의 보조적 화상으로서 어떠한 양태로 표시할지를 나타내는 표시 양태 정보를 취득하는 수단과, 본래의 입체시용의 영상 처리 이외에서 하나 또는 복수의 2차원 영상 데이터를 선택하는 것이 필요하게 되는 처리를 실행하는 경우에, 상기 선택하는 정보로서의 시점 번호 정보에 따라 지정되는 2차원 영상 데이터를 선택하는 수단과, 상기 선택한 2차원 영상 데이터와 상기 표시 양태 정보에 기초하여 상기 표시 양태에 의한 영상 표시를 행하는 수단을 구비한 것을 특징으로 한다.

이들 입체 영상 표시 장치에서, 상기 본래의 입체시용의 영상 처리 이외의 처리는, 시점이 상이한 복수의 2차원 영상 데이터의 내용을 나타내기 위하여 하나 또는 복수의 2차원 영상 데이터를 축소 처리하여 화면에 표시하는 처리로 하여도 된다. 또한, 시점이 상이한 복수의 2차원 영상 데이터 중에서 프린트 아웃용 및/또는 화상 배신용으로 하나 또는 복수의 2차원 영상 데이터를 선택하는 처리로 하여도 된다.

또한, 본 발명의 입체 영상 표시 장치는, 시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2차원 영상을 선택하는 정보로서의 시점 번호 정보와 상기 선택하기 위한 정보에 의해 선택된 2차원 영상의 데이터를 어떠한 목적으로 사용할 것인지를 나타내는 사용 목적 정보를 취득하는 수단과, 상기 사용 목적에 대응하는 처리를 실행하는 경우에 상기 선택하는 정보로서의 시점 번호 정보에 의해 지정되는 2차원 영상 데이터를 선택하는 수단을 구비한 것을 특징으로 한다.

또한, 본 발명의 입체 영상 표시 장치는, 시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 취득하는 수단과, 본래의 입체시용의 영상 처리에서 상기 복수의 2차원 영상 데이터의 수보다도 적은 소정수의 2차원 영상 데이터를 선택하는 경우에, 상기 소정수의 2차원 영상 데이터를 상기 선택하는 정보로서의 시점 번호 정보에 기초하여 선택하는 수단을 구비한 것을 특징으로 한다. 이러한 구성에서, 상기 선택된 소정수의 2차원 영상 중에서 상기 시점 번호 정보에 일치하는 시점 번호 정보를 갖는 2차원 영상이 중앙측으로 되도록 입체시용의 영상 처리를 행하도록 하여도 된다. 또한, 상기 부속 정보로부터 상기 복수의 2차원 영상이 연속 영상인 것인지의 여부를 나타내는 정보를 취득하는 수단을 구비하고, 상기 복수의 2차원 영상이 연속 영상인 것을 나타내는 정보를 얻었을 때에는, 상기 소정수의 선택된 2차원 영상에 상기 복수의 2차원 영상에서의 제1번째의 2차원 영상과 최종번째의 2차원 영상이 존재하는 것을 허용하도록 구성되어 있어도 된다. 또한, 상기 부속 정보로부터 상기 복수의 2차원 영상이 연속 영상인 것인지의 여부를 나타내는 정보를 취득하는 수단을 구비하고, 상기 복수의 2차원 영상이 연속 영상이 아닌 것을 나타내는 정보를 얻었을 때에는, 상기 소정수의 선택된 2차원 영상에 상기 복수의 2차원 영상에서의 제1번째의 2차원 영상과 최종번째의 2차원 영상이 존재하는 경우에, 제1번째의 2차원 영상 또는 최종번째의 2차원 영상이 배제되도록 선택 영상의 시프트를 행하여 새롭게 하나 이상의 2차원 영상을 선택하도록 하여도 된다.

또한, 이들 구성에서, 부속 정보로부터 정보의 기술 형식으로서 어떤 기술 형식이 채용되고 있는지를 나타내는 정보를 취득하는 수단을 구비하고, 상기 정보를 취득할 수 있던 경우에는 상기 정보에 의해 나타나는 기술 형식에 기초하여 부속 정보의 내용을 판단하도록 구성되어 있어도 된다.

도 1은 본 발명의 실시예의 입체시용 영상 제공 방법 및 입체 영상 표시 장 치를 도시한 설명도.

도 2는 복수 영상용 포맷예를 도시한 설명도.

도 3은 복수 영상용 포맷예를 도시한 설명도.

도 4는 복수 영상용 포맷예를 도시한 설명도.

도 5a, 도 5b, 도 5c는 각각 화상의 배열의 값과 화상 배열의 관계를 도시한 설명도.

<발명을 실시하기 위한 최량의 형태>

이하, 본 발명의 입체시용 영상 제공 방법 및 입체 영상 표시 장치를 도 1 내지 도 5에 기초하여 설명한다.

도 1에 기초하여 입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 송신하는 것에 대하여 설명한다. 또한, 도 1에서는, 방송국이나 인터넷 상의 서버 등으로서 구성되는 송신측 장치(1)와, 방송 수신 장치나 네트워크 접속 환경을 구비한 퍼스널 컴퓨터나 휴대 전화 등의 수신측 장치(2)로 이루어지는 시스템을 도시하고 있다.

시점이 상이한 복수의 2차원 영상 데이터는, 예를 들면 상호 눈 사이의 거리를 분리하여 설치한 복수의 카메라에 의해 피사체를 촬상함으로써 얻을 수 있다. 또한, 폴리곤(polygon) 화상에 의한 3차원 영상에 대하여 복수의 시선 방향을 설정하여 각각 평면 투영함으로써도 시점이 상이한 복수의 2차원 영상 데이터를 얻을 수 있다. 도시하지 않은 편집 장치를 이용하여, 각 2차원 영상 데이터에 시점 번호 정보를 부여한다. 시점 번호 정보는, 수평 방향 시점수를 M(이 실시예에서는, M은 1 이상의 양수로 함), 수직 방향 시점수를 N(이 실시예에서는, N은 1 이상의 양수로 함)으로 하면, (m, n)으로서 나타낼 수 있다(m은 O ∼ M-1의 범위, n은 O ∼ N-1의 범위). 단, M = 1이고, 또한 N = 1은 하나의 2차원 영상 데이터로 되므로 이러한 경우는 없는 것으로 된다. 여기서, M = 8이고 N = 1로 되는 수평 8 안시의 경우, (0, 0) (1, 0) (2, 0) (3, 0) (4, 0) (5, 0) (6, 0) (7, 0)와 같이 시점 번호 정보가 부여된다.

2차원 영상 데이터는 예를 들면 JPEG 데이터로 할 수 있다. 각 JPEG 데이터는, JPEG 헤더와 압축 화상 데이터와 엔드 오브 이미지로 이루어진다. JPEG 헤더에는, 스타트 오브 이미지나 색 관리 정보 등의 부속 정보가 존재한다. 각 2차원 영상 데이터에서의 상기 시점 번호 정보는, 예를 들면 각각의 JPEG 헤더에 존재시킬 수도 있다. 시점이 상이한 복수의 2차원 영상 데이터를 하나로 통합하기 위하여, 전체에 대한 헤더(이하, 이 헤더를 파일 헤더라고 함)를 부가하는 것으로 해도 되고, 이 경우, 시점이 상이한 복수의 2차원 영상 데이터는, 파일 헤더와 그것에 이은 복수의 JPEG 데이터와 그 전체의 마지막을 나타내는 파일 엔드 정보로 할 수 있다. 전체에 대한 헤더를 존재시키지 않는 경우(결합 화상인 경우)에는, 시점 번호 등의 정보가, JPEG의 헤더 내(어플리케이션 마커/IFD)에 저장된다.

파일 헤더에는, 하기에 기재한 바와 같이, 식별 번호 i, 그룹 사이즈 s, 개수 k, 수평 시점 번호 m, 수직 시점 번호 n 등이 설정된다.

식별 번호 i는 정보의 종류를 나타내는 기술이고, 해당 번호 이후의 기술이 화상 지정에 관한 기술인 것을 나타내고 있다. 수평 시점 번호 m 및 수직 시점 번호 n은 각각 1 바이트로 기술되고, 하나의 화상을 특정하는 정보(1 그룹)로서 2 바이트가 필요하게 되기 때문에, 이 예에서는, 그룹 사이즈 s는 2 바이트로 된다. 또한, 상기한 예에서는, 그룹수는 하나이므로, 개수 k는 하나를 나타내는 것으로 된다. 이러한 기술에 의해, 개수 k가 가변인 경우 등이라도 필드 전체의 사이즈를 산출할 수 있다. 상기한 예에서는 필드 전체의 사이즈는 4 + sk = 6으로 산출된다. 4는 i, s, k의 사이즈 1, 1, 2를 합계한 것이고, sk가 (m, n)군의 사이즈를 나타내는 것으로 된다. 또한, 개수 k가 O일 때에는, 예를 들면 「지정 화상 없음」으로 정의된다.

상기한 예에서는, 도 2에 도시한 바와 같이, 파일 헤더 내의 부속 정보로서, 하나의 2차원 영상을 선택하는 정보로서의 시점 번호 정보가 설정된 것으로 된다. 도 2에 도시하는 예에서는, M = 8이고 N = 1로 되는 수평 8 안시의 경우를 나타내고 있고, 각 2차원 영상의 데이터에는 (0, 0) (1, 0) (2, 0) (3, 0) (4, 0) (5, 0) (6, 0) (7, 0)과 같이 시점 번호 정보가 부여되어 있고, 또한 2차원 영상 데이터를 선택하는 정보로서의 시점 번호 정보는 (3, 0)으로 되어 있다.

이와 같이 함으로써, 입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 송신할 때에, 각 2차원 영상의 데이터마다 부여된 시점 번호 정보와 하나의 2차원 영상을 선택하는 정보로서의 시점 번호 정보가 부속 정보로서 상기 2차원 영상의 데이터와 함께 송신되는 것으로 된다. 하나로 통합된 시점이 상이한 복수의 2차원 영상 데이터는, 그것이 송신 등이 될 때에는, 1차원 비트열로 되고, 소정의 디지털 변조 처리가 실시되어 송신측 장치(1)로부터 출력된다. 또한, 송신뿐만 아니라, 방송이어도 되고, 또한 도시하지 않은 기록 매체에 기록하는 것에 있어서도, 도 2에 도시한 포맷으로 복수의 2차원 영상의 데이터를 기록할 수도 있다. 이하에 기재하는 경우에도, 마찬가지이다.

2차원 영상을 선택하는 정보로서의 시점 번호 정보를 복수 갖게 하는 경우에는, 이하와 같다. 또한, 이하의 예에서는, 위에서부터 (mO, nO), (m1, n1) … (mk - 1, nk - 1)의 순으로 우선 순위가 높은 화상으로 정의한다. 필드 전체의 사이즈는 4 + sk = 4 + 2k 이다.

상기한 예에서는, 도 3에 도시한 바와 같이, 파일 헤더 내의 부속 정보로서, 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 우선순으로 열거하여 이루어지는 정보가 설정되는 것으로 된다. 그리고, 도 3에 도시한 예에서는, 2차원 영상을 선택하는 정보로서의 시점 번호 정보가 (3, 0) 및 (4, 0)으로 되어 있고, (3, 0)이 먼저 기술되고, 그 후에 (4, 0)이 기술되어 있으므로, 우선 순위는(3, 0)이 제1위이고, (4, 0)가 제2위이다. 이와 같이 함으로써, 입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 제공할 때에, 각 2차원 영상의 데이터마다 부여된 시점 번호 정보와 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 우선순으로 열거하여 이루어지는 정보가 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공된다.

또한, 도 3에 도시하는 예에서는, 부속 정보로서 표시 방법 A를 설정하고 있다. 표시 방법은, 이 실시예에서는, 본래의 입체시용 이외의 표시(예를 들면, 썸네일 표시나 아이콘 표시나 벽지 영상 표시 등을 나타낸다. 이 표시를 보조적 화상 표시라고 함)로 하고 있다. 표시 방법 A가 취할 수 있는 값은, 하기의 표 3에도 기재한 바와 같이, 이 실시예에서는 0, 1, 2, 3으로 하고 있다. 또한, 정보의 종류를 나타내는 것인 식별 번호 i에는, 「이하에는 파일의 내용을 나타내는 화상의 표시 방법이 기술되는」것을 나타내는 번호가 기술되고, 필드에는 표시 방법이 기술된다.

「O」은 표시 방법이 평면 화상 표시인 것을 나타내고, 「1」은 보조적 화상 표시가 교차법 배치 표시(간이한 입체시법 중 하나임)인 것을 나타내고, 「2」는 보조적 화상 표시가 평행법 배치 표시(간이한 입체시법 중 하나임)인 것을 나타내고, 「3」은 보조적 화상 표시가 디스플레이 포맷으로 변환한 표시인 것을 나타내고 있다.

「평면 화상 표시」에서는, 하나의 2차원 영상의 데이터를 선택하고(도 3에 도시하는 예에서는, 제1 우선의 (3, 0)의 화상이 선택됨), 화상 표시를 행하는 것을 수신측 장치(2)에 나타내는 것으로 된다.

「평행법 배치 표시」에서는, (3, 0)의 화상과 (4, 0)의 화상의 축소 화상 처리를 행하여, (3, 0)의 화상을 좌측에 배치하고, (4, 0)의 화상을 우측에 배치하는 것을 수신측 장치(2)에 도시하는 것으로 된다. 「교차법 배치 표시」에서는, (3, 0)의 화상과 (4, 0)의 화상의 축소 화상 처리를 행하여, (4, 0)의 화상을 좌측에 배치하고, (3, 0)의 화상을 우측에 배치하는 것을 수신측 장치(2)에 나타내는 것으로 된다.

「디스플레이 포맷으로 변환한 표시」에서는, 예를 들면 수신측 장치(2)가 세로 스트라이프 형상의 패럴랙스 배리어를 채용하고 있는 경우에, 각각 축소된 (3, 0) 화상과 (4, 0) 화상을 수평 방향으로 1 화소씩 교대로 배치하는 것을 수신측 장치(2)에 나타내는 것으로 된다.

또한, 전술한 우선 순위 설정에서는, 시점 번호 정보의 배열순이 우선순을 나타내는 것으로 했지만, 배열과는 무관하게 각 시점 번호 정보에 우선 번호를 부여하도록 하여도 된다. 예를 들면, 2(3, 0), 1(4, 0)과 같다.

또한, 이러한 부속 정보는, 수신측 장치(2)에서, 수신한 영상수가 수신측 장치(2)의 디스플레이(수신측 장치(2)의 구성 등에 대해서는 후술하겠음)의 시점수와 일치하지 않는 경우, 예를 들면 수평8(0 ∼ 7) × 수직1(0)시점의 화상으로부터 4 시점의 화상을 선택하여 4안식 입체 디스플레이로 입체 표시할 때에, 어떤 시점이 기준으로 되고 있는지를 알 수 있는 정보로 된다.

파일 헤더에서, 수평 시점 번호 m이 「3」이고 수직 시점 번호 n이 「0」인 화상, 즉 시점 번호(3, 0)의 화상이 지정되어 있으면, 수신측 장치(2)에서는, 수평 시점 번호가 (2, 0) (3, 0) (4, 0) (5, 0)의 화상을 선택하면 된다. 여기서, 지정된 시점 화상은 4개의 시점의 중앙에 가까운 위치에 배치되는 것이 바람직하다. 즉, 수신측 장치(2)에서는, 디스플레이의 시점수가 L인 경우에, L/2번째로 지정 화상이 배치되도록 선택하면 된다. 시점수가 홀수인 경우에는, L/2의 소수점 이하의 처리를 버리기, 반올림 등으로 정하여 두면 된다. 또한, 버리기와 반올림 중 어느 하나를 선택할지를 나타내는 정보를 파일 헤더에 갖게 해도 된다.

또한, 상기한 바와 같이, 지정된 시점 화상이 중앙에 가까운 위치에 배치되는 것에 한하는 것은 아니고, 이하의 지정 방법도 생각되어진다.

예1. 전체 지정

2시점 방식 디스플레이인 경우이면 2개의 시점 번호(예를 들면 (2, 0)과 (5, 0))를 발송인측에서 지정해 두는 방식

3시점 방식 디스플레이의 경우이면 3가지 시점 번호(예를 들면 (1, 0)과 (3, 0)과 (5, 0))을 발송인측에서 지정해 두는 방식

4 시점 방식 디스플레이의 경우이면 4가지의 시점 번호(예를 들면 (0, 0)과 (2, 0)과 (4, 0)과 (6, 0))을 발송인측에서 지정해 두는 방식

예2. 조건 지정1(반드시 포함시키는 시점을 조건별로 지정)

디스플레이의 눈의 수가 짝수인 경우에는, 시점 번호 (2, 0)과 (3, 0)을 반드시 포함시키는 시점으로서 지정하는 방식(그 이외에는 임의의 시점을 선택)

디스플레이의 눈의 수가 홀수인 경우에는, 시점 번호(3, 0)를 반드시 포함시키는 시점으로서 지정하는 방식(그 이외에는 임의의 시점을 선택)

예3. 지정 조건2(반드시 포함시키는 시점과 함께, 다음과 같은 선택 조건을 지정)

① 디스플레이의 시점수가 임의의 수 미만인 경우에는, 2개 간격으로 화상을 선택한다.

② 디스플레이의 시점수가 임의의 수 이상인 경우에는, 하나 간격으로 화상을 선택한다.

수평 시점 번호 m이「O」이고 수직 시점 번호 n이「O」의 화상, 즉 시점 번호(0, 0)의 화상이 지정되어 있으면, (7, 0) (0, 0) (1, 0) (2, 0)의 화상을 선택하는 것이 가능하지만, 시점 7과 시점 0이 연속하지 않을 가능성이 있는 경우에는, (1, 0) (2, 0) (3, O) (4, O)의 화상을 선택하면 된다. 즉 L/2의 결과로부터는 (-, 0) (0, 0) (1, 0) (2, 0)으로 되고 화상이 존재하지 않는 시점이 발생하므로, 좌측으로 시프트하여 (1, 0) (2, 0) (3, 0) (4, 0)의 화상을 선택한다. 일반적으로 전체 둘레 화상에서는 최후의 시점과 최초의 시점이 연속할 가능성이 있다.

중간 중간의 화상을 표시하는 경우에도 마찬가지다. 예를 들면, 수평 시점 번호 m이「3」이고, 수직 시점 번호 n이 「0」인 화상, 즉, 시점 번호(3, 0)의 화상이 지정되어 있으면, (1, 0) (3, 0) (5, 0) (7, 0)의 화상을 선택한다. 그러나, 화상의 시점수가 7(0∼6)× 1(0)이고, 디스플레이가 4 눈식인 경우에 있어서 시점 번호(3, 0)의 화상이 지정되어 있으면, (1, 0) (3, 0) (5, 0) (-, 0)으로 되어, 4번째의 화상이 존재하지 않는다. 이 경우에는, (0, 2, 4, 6)이라는 선택밖에 존재하지 않기 때문에, 수신측 장치(2)에서는 상기한 화상 선택을 위한 정보를 무시하면 된다.

복수의 화상이 지정되어 있는 경우에는, 그 우선 순위에 따라 표시를 정할 수도 있다. 예를 들면 시점 번호(3, 0)와 시점 번호(2, 0)의 화상이 지정되어 있으면, 이들 2매가 중앙에 배치되도록, (1, 0) (2, 0) (3, 0) (4, 0)의 화상을 선택하여, 표시하여도 된다.

송신측 장치(1)는, 상기한 바와 같이, 복수의 2차원 영상으로부터 몇개의 2차원 영상을 선택하기 위한 기준 번호를 나타내는 정보로서의 시점 번호 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 경우에 있어서, 상기 복수의 2차원 영상이 연속성을 갖는 영상인지의 여부를 나타내는 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하도록 하여도 된다.

연속성을 나타내는 정보(전체 둘레 화상인지의 여부, 즉 양 단의 화상의 시점이 연속하고 있는지의 여부를 나타내는 정보)가 제공되면, 이것을 받은 수신측 장치(2)에서는, 전술한 (7, 0) (0, 0) (1, 0) (2, 0)의 화상을 선택하는 것이 허용되는지의 여부의 판정을 행할 수 있다. 하기의 예에서는, 정보의 종류를 나타내는 것인 식별 번호 i에는, 「이하에는 양 단 화상의 연속성의 유무가 기술된」것을 나타내는 번호가 기술되는 것으로 되고, 연속성의 상태를 나타내는 필드 r에는 연속인지의 여부가 기술된다.

시점(0, 0)과 시점(7, 0)이 연속하는 경우(r = 1)이면, 수신측 장치(2)에서는 (7, 0) (0, 0) (1, 0) (2, 0)의 화상을 선택하고, 연속하지 않은 시점 (r = O)이면 상기 선택은 행하지 않고, 전술한 바와 같이, 좌측으로 시프트하는 처리를 행하여, (1, 0) (2, 0) (3, 0) (4, 0)의 화상을 선택한다. 또한, 수직 방향의 시점수가 2보다 큰 경우에도, 수직 방향의 시점 번호를 j로 하면 시점(0, j)과 시점(7, j)이 연속할지의 여부를 나타내는 정보로 할 수 있다.

이상 설명한 예에서는, 송신측 장치(1)는, 상기 선택하기 위한 정보에 의해 선택된 2차원 영상의 데이터를 어떠한 목적으로 사용할 것인지를 나타내는 사용 목적 정보를 송신하는 것은 하지 않았다. 송신측 장치(1)는, 상기 선택하기 위한 정보에 의해 선택된 2차원 영상의 데이터를 어떠한 목적으로 사용할 것인지를 나타내는 사용 목적 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하도록 되어 있어도 된다. 이 경우, 비트의 배열과 사용 목적의 내용을 대응시켜 두고, 각 비트의 「0」「1」이 각 사용 목적의 유효/무효를 의미하도록 해 두어도 된다.

이하의 표 5에 구체예를 나타낸다. 목적 지정 b는, 각 비트(bit0, bit1, …, bit7)에 용도가 대응되어 있고, 각각이 사용 목적인지의 여부를 나타내는 것으로 된다.

하기의 표 6에 구체예를 나타낸다. 또한, 화상 선택의 기술이 이루어지는 것을 나타내는 식별 번호를 만약 2E(OO1O1110)로 가정하자. 하기의 예에서는 「다시점 화상으로부터 일부를 선택하는 화상」과 「파일의 내용을 나타내는 화상」은 동일한 화상으로 된다. 또한, 제1 우선이 (3, 0)이고, 제2 우선이 (2, 0)이다. 그리고 「폭주 조정 시의 고정 화상의 화상」은 (2, 0)으로서 별도로 지정하고 있다. 그런데, 통상은, 이 예와 같이 동일한 정보를 나타내는 필드가 복수회 나타나지 않으므로, 표 6에 기재하는 예에서는, 「화상 선택」의 경우에는 특례로서, 식별 번호와 목적 지정을 합하여 정보의 종류를 나타내는 것으로 하고 있다.

다음 표 7에 기재하는 예에서는, 목적 지정을 모든 선택 영상에 공통으로 이용하는 것으로 하고 있다. 그룹 사이즈 이하는 생략하고 있다. 또한, 표 7에 나타내는 「목적 지정」에서는 bbit7도 1이므로, 예를 들면 전혀 용도에 관계없이 화상 선택한다고 하는 지정으로서 정의할 수 있다.

표 6의 내용을 다른 기술 형식으로 실현할 수도 있다. 하기의 표 8에 기재하는 예에서는 목적 지정과 시점 번호를 그룹으로 하여, 사용 목적의 분리 사용을 행하고 있다. 표 6과 동일한 지정은 표 9와 같이 행할 수 있다.

표 9의 예에서는, 제1 그룹 및 제2 그룹의 기술에 의해, 「다시점으로부터 일부를 선택하는 화상」 및 「파일의 내용을 나타내는 화상」이라는 목적이 특정되는 것으로 되고, 또한 제1 그룹의 기술에 의해, 제1 우선 화상이 (3, 0), 제2 그룹의 기술에 의해, 제2 우선 화상이 (2, 0)인 것이 특정되는 것으로 된다. 여기서, 제3 그룹의 기술인 「폭주 조정 시의 고정 화상의 화상」으로 특정되는 화상이 「다시점으로부터 일부를 선택하는 화상」 및 「파일의 내용을 나타내는 화상」의 제2 우선 화상과 동일한 (2, 0)이므로, 다음의 표 10에 기재한 바와 같이 기술하여도 된다.

이와 같이 목적 지정을 부가함으로써, 정보를 부가하는 라이터측이 무엇을 의도하여 화상을 선택한지를 수신측 장치(2)측에서 알 수 있다.

표 6과 표 9와 표 10에 기재하는 기술 중 어느 하나를 채용해도 되는 것이지만, 그 선택의 자유도를 갖게 하기 위하여, 어떤 기술(표 6 형식의 기술인지, 표 9 형식 기술인지, 표 10 형식의 기술인지)인지를 나타내는 기술 c를 파일 헤더에 갖게 하는 포맷으로 하도록 하여도 된다.

이상에서 설명한 예에서는 수직 시점수를 1로 했지만, 2보다 큰 값인 경우에는 수직 방향도 포함시켜 화상이 선택된다. 그 방법은 수평 방향과 마찬가지이다.

또한, 선택 화상의 결정 방법은, (1) 정면에 가까운 화상, (2) 2D/3D 변환에 의해 생성한 화상에 대해서는 기준으로 된 화상, (3) 복수의 카메라로 촬영한 경우에 기준으로 되는 화상(특히 카메라의 시점 사이에 성능차가 있는 경우에 유효) 등이 생각되어진다.

[수신측 장치]

수신측 장치(2)는, 송신측 장치(1)로부터 송신된 하나로 통합된 시점이 상이한 복수의 2차원 영상 데이터(1차원 비트열 정보)를 수신부(21) (모뎀, 튜너 등)에 의해 수신한다. 이러한 데이터가 디지털 변조 처리되어 있는 것이면, 도시하지 않은 복조 회로에 의해 복조 신호를 생성한다. 또한, 이러한 정보가 다른 정보와 다중되어 송신되어 올 때에는, 디멀티플렉스(DEMUX) 처리를 행한다. 수신한 2차원 영상 데이터(예를 들면, 전술한 파일 헤더, 각 JPEG 데이터, 엔드 오브 이미지)는, CPU(22)의 제어에 의해 메모리(24)에 저장된다. 영상 재생 시에는, CPU(22)의 처리에 의해 메모리(24)로부터 판독된 데이터가 디코더(23)에 부여된다. 디코더(23)에 의해 디코드된 영상 데이터는 영상 생성부(25)에 부여된다.

입체시 처리 시에는, CPU(22)로부터 제어 정보로서 입체시를 나타내는 제어 정보가 영상 생성부(25)에 부여된다. 영상 생성부(25)는, 복수의 영상(도면에서는, 우안 영상과 좌안 영상으로 하고 있음)을 디코드부(23)로부터 수취하여, 입체시용 영상의 생성 처리를 행한다. 예를 들면, 패럴랙스 배리어를 이용하는 수평 입체시로 할 때에는, 영상 생성부(25)는, 우안 영상(R)의 화소와 좌안 영상(L)의 화소를 수평 방향으로 교대로 배열하는 처리를 각 행에서 행해 가고, R 화소열과 L 화소열이 수평 방향으로 교대로 배열된 화상을, 예를 들면 NTSC 신호로 변환하여 모니터(26)에 부여한다. 모니터(26)는 수취한 NTSC 신호에 기초하여 영상 표시를 행한다. 그리고, 예를 들면 모니터(26)의 표시면 상에 액정 배리어를 구비함으로써, 평면시(平面視) 영상의 표시 및 입체시 영상의 표시의 양방을 행할 수 있는 것으로 된다.

입체시 영상이, 상기한 바와 같이 우안 영상과 좌안 영상을 교대로 세로 스트라이프 형상으로 배치한 것이면, CPU(22)의 제어에 의해, 상기 액정 배리어에서, 세로 스트라이프 형상의 차광 영역이 형성된다. 또한, 우안 영상과 좌안 영상을 교대로 세로 스트라이프 형상으로 배치한 입체시 영상에 한하지 않고, 예를 들면 우안 영상과 좌안 영상을 경사 배치한 입체시 영상으로 하여도 되고(특허 제3096613호 공보 참조), 이 경우에는, 액정 배리어에서 경사 배리어를 형성한다. 물론, 이러한 안경이 필요없는 입체 방식 외에, 안경이 필요한 입체 방식 등의 입체 영상 표시도 채용할 수 있다.

수신측 장치(2)의 CPU(22)는, 전술한 부속 정보에 기초한 영상 생성 처리를 영상 생성부(25)에 실행시킨다. 이하, 이 영상 생성 처리에 대하여 설명한다.

(1) CPU(22)는, 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 데이터마다 부여된 시점 번호 정보와 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 취득한다. 예를 들면, 2차원 영상 데이터로서의 JPEG 데이터의 JPEG 헤더로부터 각 데이터마다 시점 번호 정보(m, n)를 취득한다. 또한, 파일 헤더로부터 2차원 영상을 선택하는 정보로서의 시점 번호 정보(m, n)를 취득한다.

그리고, CPU(22)는, 본래의 입체시용의 영상 처리 이외에서 하나 또는 복수의 2차원 영상 데이터를 선택하는 것이 필요하게 되는 처리가 요구되었을 때에, 상기 선택하는 정보로서의 시점 번호 정보에 의해 지정되는 2차원 영상 데이터를 선택한다. 즉, CPU(22)는, 선택하는 정보로서의 시점 번호 정보에 의해 지정되는 2차원 영상 데이터를 판독하도록, 메모리(24)에 판독 어드레스를 부여하여 해당 선택된 2차원 영상 데이터를 취득하여 디코드부(23)에 부여함과 함께, 상기한 요구된 처리에 대응한 제어 정보를 영상 생성부(25)에 부여한다.

상기의 요구된 처리로서는, 하나로 통합된 시점이 상이한 복수의 2차원 영상 데이터(파일)를 나타내는 썸네일 표시나 아이콘 표시 등이 있다. 전술한 사용 목적을 송신하는 예로 나타내었을 목적의 내용도, 수신측 장치(2)에서의 독자적인 요구된 처리의 내용으로 되는 것이다. 또한, 요구된 처리로서는, 하나로 통합된 시점이 상이한 복수의 2차원 영상 데이터 중 하나의 2차원 영상 데이터를 벽지 영상으로 하는 처리나, 프린트 아웃하는 영상으로 하는 처리나, 송신(예를 들면, 메일 송신 등)하는 영상으로 하는 처리 등이 있다.

CPU(22)는, 각 처리를 나타내는 제어 정보를 영상 생성부(25)에 부여한다. 영상 생성부(25)는, 벽지 영상으로 하는 처리인 경우, 모니터(26)의 화면 사이즈에 대응한 크기로 되도록, 디코드부(23)로부터 부여된 영상 데이터를 처리(화소 보간, 화소 씨닝 등)하여 모니터(26)에 부여한다. 영상 생성부(25)는, 프린트 아웃하는 처리인 경우, 출력 영상 사이즈에 대응한 크기로 되도록, 디코드부(23)로부터 부여된 영상 데이터를 처리하여 프린터(도시 생략)에 부여한다. 프린터와 수신측 영상 표시 장치는 소정의 인터페이스(예를 들면, USB 인터페이스나 IEEE1394 등)에 접속해 두면 된다. 또한, 영상 생성부(25)는, 화상 송신 처리의 경우, 출력 영상 사이즈에 대응한 크기로 되도록, 디코드부(23)로부터 부여된 영상 데이터를 처리하여 화상 송신 처리부(도시 생략)에 부여한다.

(2) CPU(22)는, 파일 헤더의 내용이 예를 들면 표 2에 기재한 기술일 때, 그룹의 배열의 순에 기초하여 각 그룹에서 특정되는 화상의 우선 순위를 판단한다. 또한, 배열순과는 별도로 우선 순위를 나타내는 순위 정보가 각 화상에 부여되어 있는 기술인 경우에는, 해당 순위 정보에 기초하여 화상의 우선 순위를 판단한다.

(3) CPU(22)는, 파일 헤더 내의 부속 정보로서 표시 방법 a를 취득한다. 표 3에 기재한 예에 대응하는 처리예를 이하에 설명한다. CPU(22)는, 파일 헤더 내의 기술에서의 표시 방법 A가 「평면 화상 표시」를 나타내고 있는 경우, 파일 헤더 내의 기술에 따라 제1 우선의 (3, 0)의 화상을 선택한다. 즉, 해당 데이터를 메모리(24)로부터 판독하여, 디코드부(23)에 부여함과 함께, 영상 생성부(25)에는 「평면 화상 표시」인 것을 나타내는 제어 정보를 부여한다. 영상 생성부(25)는 디코드부(23)로부터 수취한 화상을 예를 들면 VRAM 상에 전개한다. 모니터(26)의 소정 화면 위치에는 화상(벽지 등)이 표시되는 것으로 된다.

CPU(22)는, 파일 헤더 내의 기술에서의 표시 방법 A가 「평행법 배치 표시」를 나타내고 있는 경우, (3, 0) 화상과 (4, 0) 화상을 선택한다. 즉, 해당 데이터를 메모리(24)로부터 판독하여, 디코드부(23)에 부여함과 함께, 영상 생성부(25)에는 「평행법 배치 표시」인 것을 나타내는 제어 정보를 부여한다. 영상 생성부(25)는 디코드부(23)로부터 수취한 화상에 대하여 씨닝 처리를 행하여, 예를 들면 VRAM의 소정 위치 상에 (3, 0) 화상의 축소 화상을 전개하고, 그 우측 위치에 (4, 0) 화상의 축소 화상을 전개한다. 모니터(26)의 소정 화면 위치에는 상기 2개의 축소 화상이 좌우로 배열되어 표시되는 것으로 된다.

CPU(22)는, 파일 헤더 내의 기술에서의 표시 방법 A가 「교차법 배치 표시」를 나타내고 있는 경우, (3, 0) 화상과 (4, 0) 화상을 선택한다. 즉, 해당 데이터를 메모리(24)로부터 판독하여, 디코드부(23)에 부여함과 함께, 영상 생성부(25)에는 「교차법 배치 표시」인 것을 나타내는 제어 정보를 부여한다. 영상 생성부(25)는 디코드부(23)로부터 수취한 화상에 대하여 씨닝 처리를 행하여, 예를 들면 VRAM의 소정 위치 상에 (4, 0) 화상의 축소 화상을 전개하고, 그 우측 위치에 (3, 0) 화상의 축소 화상을 전개한다. 모니터(26)의 소정 화면 위치에는 상기 2개의 축소 화상이 좌우로 배열되어 표시되는 것으로 된다.

CPU(22)는, 파일 헤더 내의 기술에서의 표시 방법 A가 「디스플레이 포맷으로 변환한 표시」를 나타내고 있는 경우, (3, 0) 화상과 (4, 0) 화상을 선택한다. 즉, 해당 데이터를 메모리(24)로부터 판독하여 디코드부(23)에 부여함과 함께, 영상 생성부(25)에는 「디스플레이 포맷으로 변환한 표시」인 것을 나타내는 제어 정보를 부여하여, 모니터 상의 액정 배리어를 ON 한다. 영상 생성부(25)는 디코드부(23)로부터 수취한 화상에 대하여 씨닝 처리를 행하고, 각각 축소된 (3, 0) 화상과(4, 0) 화상을 수평 방향으로 1 화소씩 교대로 배치한 화상을 VRAM의 소정 위치 상에 전개한다.

(4) 수신측 장치(2)는, 예를 들면 8개의 화상에 기초하는 8 안시 영상의 표시 처리를 행할 수 있지만, 유저 지정에 기초하여, 4개의 화상을 선택하여 4 안시 영상의 표시 처리를 행할 수 있다. 혹은, 수신측 장치(2)가 최대 4 안식인데, 수신한 재생용 화상이 8 안시 영상인 경우가 발생할 수 있다.

CPU(22)는, 예를 들면 8 시점의 화상으로부터 4 시점의 화상을 선택하여 4안식으로 입체 표시할 때에, 파일 헤더의 기술에 기초하여, 어떤 시점이 기준으로 되어 있는지를 판단한다. 또한, CPU(22)는, 시점수가 L 인 경우에, L/2의 연산 처리를 행한다. 시점수가 4이면 2라는 결과를 얻는다. 수평 시점 번호 m이 「3」이고 수직 시점 번호 n이 「0」인 화상, 즉 시점 번호(3, 0)의 화상이 지정되어 있으면, CPU(22)는, 시점 번호(3, 0)의 화상을 2번째에 (가능한 한 중앙에) 위치시키도록, 수평 시점 번호가 (2, 0) (3, 0) (4, 0) (5, 0)의 화상을 선택한다.

여기서, 4안식 입체 표시가 행하여질 때, 적시 거리 상에, 4개의 시점 화상의 시인 범위가 수평 방향으로, 예를 들면 눈 사이의 거리 피치에 존재하게 된다. 그리고, 관찰자가 모니터 중앙 상에 위치하고 있을 때, 좌안에 (3, 0) 화상이 유도되고, 우안에 (4, 0) 화상이 유도되는 것으로 된다. 시점수가 홀수인 경우에는, CPU(22)는, L/2의 소수점 이하의 처리를 버리고, 또는 반올림 등의 결정된 처리를 행한다.

(5) CPU(22)는, 수평 시점 번호 m이 「0」이고 수직 시점 번호 n이 「O」인 화상, 즉 시점 번호(O, O)의 화상이 지정되어 있으면, (7, 0) (0, 0) (1, 0) (2, 0)의 화상을 선택한다. 혹은, CPU(22)는 시점 번호를 좌측으로 시프트하는 처리를 행하여, (1, 0) (2, O) (3, O) (4, O)의 화상을 선택한다. 즉 L/2의 연산 결과로부터는 (-, 0) (0, 0) (1, 0) (2, 0)으로 되고 화상이 존재하지 않는 시점이 발생하므로, 좌측으로 시프트하여 (1, 0) (2, 0) (3, 0) (4, 0)의 화상을 선택한다. 중간 중간의 화상을 표시하는 경우에도 마찬가지이다.

예를 들면, 수평 시점 번호 m이 「3」이고 수직 시점 번호 n이 「0」인 화상, 즉 시점 번호(3, 0)의 화상이 지정되어 있으면, CPU(22)는, (1, 0) (3, 0) (5, 0) (7, 0)의 화상을 선택한다. 그러나, 화상의 시점수가 7(0∼6) × 1(0)이고, 디스플레이가 4안식인 경우에 있어서 시점 번호(3, 0)의 화상이 지정되어 있으면, 상기 L/2의 연산 결과로 (1, O) (3, O) (5, O) (-, O)으로 되고, 4번째의 화상이 존재하지 않는다. 이 경우에는, (0, 0) (2, 0) (4, 0) (6, 0)이라는 선택 밖에 존재하지 않기 때문에, CPU(22)는 해당 선택을 실행하여, 상기한 화상 선택을 위한 정보를 무시하는 처리를 행한다.

또한, CPU(22)는, 복수의 화상이 지정되어 있는 경우에는, 그 우선 순위에 따라 표시를 정할 수도 있다. 예를 들면 시점 번호(3, 0)과 시점 번호(2, 0)의 화상이 지정되어 있으면, 이들 2매가 중앙에 배치되도록, (1, 0) (2, 0) (3, 0) (4, 0)의 화상을 선택하는 처리를 행하도록 되어 있어도 된다.

(6) CPU(22)는, 파일 헤더 내에 연속성을 나타내는 기술이 존재할 때에는, 이하와 같이 처리한다. CPU(22)는, 연속성을 나타내는 정보를 검출할 수 있던 경우, 전술한 (7, 0) (0, 0) (1, 0) (2, 0)의 화상을 선택한다. 즉, 시점(0, 0)과 시점(7, 0)이 연속하는 경우(r = 1)이면, CPU(22)는 (7, 0) (0, 0) (1, 0) (2, 0)의 화상을 선택하고, 연속하지 않은 시점(r= 0)이면 상기 선택은 행하지 않고, 전술한 바와 같이, 좌측으로 시프트하는 처리를 행하여, (1, 0) (2, 0) (3, 0) (4, 0)의 화상을 선택한다.

(7) CPU(22)는, 파일 헤더 내에 사용 목적을 나타내는 기술이 존재할 때에는, 이하와 같이 처리한다. 이하에 기재하는 예에서는, 파일 헤더 내의 기술이 표 6에 기재된 바와 같은 것으로 한다. CPU(22)는, 8 시점 영상으로부터 4 시점 영상을 선택하는 처리(다시점으로부터 일부 선택)를 행할 때, 파일 헤더 내의 목적 지정 b의 bitbO이 「1」(유효)인지의 여부를 검출한다. 유효할 때에는, 목적 지정 b에 대응하여 기술되어 있는 시점 번호의 화상을 선택한다. 유효하지 않을 때에는, 예를 들면 수신측 장치(2)에 의해 미리 디폴트로 정해져 있는 화상을 선택한다.

CPU(22)는, 파일의 내용을 나타내는 처리(썸네일 등의 표시 처리)를 행할 때, 파일 헤더 내의 목적 지정 b의 bitb1이 「1」(유효)인지의 여부를 검출한다. 유효할 때에는, 목적 지정 b에 대응하여 기술되어 있는 시점 번호의 화상을 선택한다. 유효하지 않을 때에는, 예를 들면 수신측 장치(2)에 의해 미리 디폴트로 정해져 있는 화상을 선택한다.

CPU(22)는, 평면 화상 표시(벽지 영상 표시 등)의 처리를 행할 때, 파일 헤더 내의 목적 지정 b의 bitb2가 「1」(유효)인지의 여부를 검출한다. 유효할 때에는, 목적 지정 b에 대응하여 기술되어 있는 시점 번호의 화상을 선택한다. 유효하지 않을 때에는, 예를 들면 수신측 장치(2)에 의해 미리 디폴트로 정해져 있는 화상을 선택한다.

CPU(22)는, 폭주 조정 시의 화상 어긋남 처리를 행할 때, 파일 헤더 내의 목적 지정 b의 bitb3이 「1」(유효)인지의 여부를 검출한다. 유효할 때에는, 목적 지정 b에 대응하여 기술되어 있는 시점 번호의 화상을 선택한다. 유효하지 않을 때에는, 예를 들면 수신측 장치(2)에 의해 미리 디폴트로 정해져 있는 화상을 선택한다.

또한, 폭주 조정 시의 화상 어긋남 처리에서의 지정 화상은, 입체 표시에서 화상을 좌우로 서로 어긋나게 하여 표시할 때에, 고정하는 측의 화상으로 한다. 각각의 화상을 좌우로 서로 어긋나게 하면, 카메라의 폭주 거리를 변경하는 보정이 가능하고, 화상 전체가 앞뒤로 이동한다. 이러한 처리에서, 위치를 어긋나게 하지 않고 고정하는 화상을 정해 두면 처리가 용이하다. CPU(22)는, 상기 고정 화상으로서 상기 지정 화상을 채용하는 처리를 행한다.

(8) CPU(22)는, 파일 헤더 내에 어떤 기술(표 6 형식의 기술인지, 표 9 형식 기술인지, 표 10 형식의 기술인지)을 나타내는 기술 c가 존재할 때에는, 해당 기술 c에 따라 이후의 기술이 어떤 기술(표 6 형식의 기술인지, 표 9 형식 기술인지, 표 10 형식의 기술인지)인지를 해석하는 처리를 행한다.

(9) 수신측 장치(2)에 도시하지 않은 기록 매체 재생부(예를 들면, CD-ROM 드라이브, DVD 플레이어 등)가 내장되거나 혹은 소정의 인터페이스에 의해 접속되도록 구성하여도 된다. 그리고, 기록 매체로부터 재생된 파일이 전술한 복수의 2차원 영상 데이터를 포함하는 파일일 때, 전술한 바와 마찬가지의 처리에 의해 화상 재생을 행하도록 되어 있어도 된다.

파일에 포함되는 복수의 화상은 파일 내에서 분리하고 있는 경우만을 대상으로 하고 있는 것은 아니다. 복수의 화상은 1매에 결합하고 있는 경우도 포함한다. 즉, 복수의 2차원 화상 데이터는, 결정된 규칙에 따라 결합하여, 하나의 2차원 화상으로 되어 있어도 된다. 이 경우에는, 수신측에서 화상의 사이즈와 시점수의 정보로부터 각각의 시점의 2차원 화상을 특정할 수 있으므로, 각각의 화상에 시점 번호가 실제적으로 부여되어 있지 않아도 수신측에서 시점 번호를 취득할 수 있다. 이하에 구체예를 설명한다.

도 4에서는, 가로로 긴 1매의 화상에 8매분의 화상이 존재하는 경우를 도시하고 있다. 즉, 8매의 화상을 결합시켜 가로로 긴 1매의 화상으로 하고 있다. 이 가로로 긴 1매의 화상에서의 헤더 내에는, 수평 화소수, 수직 화소수, 수평 시점수, 수직 시점수, 화상 배열로 한 부속 정보가 부가되어 있다. 수신측 장치(2)는 송신측으로부터 직접적으로 각 화상의 시점 번호를 수취하는 것은 아니고, 이하와 같이, 상기 부속 정보에 기초하여 각 화상을 잘라냄과 함께 이 잘라낸 화상과 시점 번호와의 대응 관계를 판정한다.

수평 화소 수 8192/8 = 1024

수직 화소 수 768/1 = 768

개시 X 좌표 1024 × q

개시 Y 좌표 768 × r

종료 X 좌표 1024 ×(q + 1) - 1

종료 Y 좌표 768 ×(r + 1) - 1

수신측 장치(2)는, 상기 부속 정보에 기초하여 각 화상의 크기가 수평 화소 수 1024이고 수직 화소 수 768이라고 판단한다. 또한, 도 4에 도시하는 예에서는, 「화상 배열」의 값이 「O」이다. 「O」은 정순(正順)인 것을 나타내고 있다. 따라서, 수신측 장치(2)는, 예를 들면 시점 번호(3, 0)의 화상에 대해서는, q = 3, r = 0으로 하여, 개시 X 좌표를 3072로 하고, 개시 Y 좌표를 O으로 하고, 종료 X 좌표를 4095로 하여, 종료 Y 좌표를 767로 하여 잘라냄으로써 얻을 수 있다. 또한, 「화상 배열」의 값이 「1」일 때에는, 도 5a에 도시한 바와 같이 역순(逆順)으로 하고 있고, 이 경우, 3매째에 잘라내는 화상의 시점 번호는 (5, 0)이라고 판단하게 된다. 또한, 「화상 배열」의 값이 「2」일 때에는, 도 5b에 도시한 바와 같이 상하 배열인 것을 나타내고, 「3」일 때에는, 도 5c에 도시한 바와 같이 (4, 0) (7, 0) (6, 0) (5, 0) (3, 0) (2, 0) (1, 0) (0, 0)의 배열인 것을 나타내고, 또한 선두 화상이 지정 화상인 것을 나타내고 있고, 수신측 장치(2)는 「화상 배열」의 값과 화상 잘라내기 정보에 기초하여 각 잘라낸 화상의 시점 번호 정보를 취득하게 된다.

이상 설명한 바와 같이, 본 발명에 따르면, 입체시용 영상의 작성자측(제공측)에서 의도하는 처리를 수신인측의 장치(입체 영상 표시 장치)에서 행하게 할 수 있다고 하는 효과를 발휘한다.

Claims

입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 제공할 때에, 각 2차원 영상의 데이터마다 부여된 시점 번호 정보 또는 영상 데이터에서의 각 2차원 영상 영역마다의 시점 번호 정보를 수신측에서 연산에 의해 취득하기 위한 정보와, 하나 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 제공할 때에, 각 2차원 영상의 데이터마다 부여된 시점 번호 정보 또는 영상 데이터에서의 각 2차원 영상 영역마다의 시점 번호 정보를 수신측에서 연산에 의해 취득하기 위한 정보와, 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보와, 이들 우선 순위를 나타내는 우선 순위 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 제공할 때에, 각 2차원 영상의 데이터마다 부여된 시점 번호 정보 또는 영상 데이터에서의 각 2차원 영상 영역마다의 시점 번호 정보를 수신측에서 연산에 의해 취득하기 위한 정보와, 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 우선순으로 열거하여 이루어지는 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
입체시용 영상으로서 이용되는 시점이 상이한 복수의 2차원 영상을 데이터로서 제공할 때에, 각 2차원 영상의 데이터마다 부여된 시점 번호 정보 또는 영상 데이터에서의 각 2차원 영상 영역마다의 시점 번호 정보를 수신측에서 연산에 의해 취득하기 위한 정보와, 하나 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보와, 상기 복수의 2차원 영상이 연속성을 갖는 영상인지의 여부를 나타내는 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,

상기 선택하기 위한 정보에 의해 선택된 2차원 영상의 데이터를 본래의 입체시용 이외의 보조적 화상으로서 어떠한 양태로 표시할지를 나타내는 표시 양태 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,

상기 선택하기 위한 정보에 의해 선택된 2차원 영상의 데이터를 어떠한 목적으로 사용할 것인지를 나타내는 사용 목적 정보를 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
제6항에 있어서,

비트의 배열과 사용 목적의 내용을 대응시킴과 함께, 각 비트의 「O」「1」이 각 사용 목적의 유효/무효를 의미하는 것을 특징으로 하는 입체시용 영상 제공 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,

정보의 기술 형식으로서 어떤 기술 형식이 채용되어 있는지를 나타내는 정보를 부속 정보로서 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,

정보의 제공을, 방송, 통신, 기록 매체에의 기록 중 어느 하나에 의해 행하는 것을 특징으로 하는 입체시용 영상 제공 방법.
시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 취득하는 수단과, 본래의 입체시용의 영상 처리 이외에서 하나 또는 복 수의 2차원 영상 데이터를 선택하는 것이 필요하게 되는 처리를 실행하는 경우에, 상기 선택하는 정보로서의 시점 번호 정보에 의해 지정되는 2차원 영상 데이터를 선택하는 수단을 구비한 것을 특징으로 하는 입체 영상 표시 장치.
시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 취득하는 수단과, 본래의 입체시용의 영상 처리 이외에서 소정수의 2차원 영상 데이터를 선택하는 것이 필요하게 되는 처리를 실행하는 경우에, 상기 소정수의 2차원 영상 데이터를 상기 선택하는 정보로서의 시점 번호 정보의 배열순에 따라 선택하는 수단을 구비한 것을 특징으로 하는 입체 영상 표시 장치.
시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보와 이들 우선 순위를 나타내는 우선 순위 정보를 취득하는 수단과, 본래의 입체시용의 영상 처리 이외에서 소정수의 2차원 영상 데이터를 선택하는 것이 필요하게 되는 처리를 실행하는 경우에, 상기 소정수의 2차원 영상 데이터를 상기 선택하는 정보로서의 시점 번호 정보 및 우선 순위 정보에 의해 선택하는 수단을 구비한 것을 특징으로 하는 입체 영상 표시 장치.
시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2차원 영상을 선택하는 정보로서의 시점 번호 정보와 상기 선택하기 위한 정보에 의해 선택된 2차원 영상의 데이터를 본래의 입체시용 이외의 보조적 화상으로서 어떠한 양태로 표시할지를 나타내는 표시 양태 정보를 취득하는 수단과, 본래의 입체시용의 영상 처리 이외에서 하나 또는 복수의 2차원 영상 데이터를 선택하는 것이 필요하게 되는 처리를 실행하는 경우에, 상기 선택하는 정보로서의 시점 번호 정보에 의해서 지정되는 2차원 영상 데이터를 선택하는 수단과, 상기 선택한 2차원 영상 데이터와 상기 표시 양태 정보에 기초하여 상기 표시 양태에 의한 영상 표시를 행하는 수단을 구비한 것을 특징으로 하는 입체 영상 표시 장치.
제10항 내지 제13항 중 어느 한 항에 있어서,

상기 본래의 입체시용의 영상 처리 이외의 처리는, 시점이 상이한 복수의 2차원 영상 데이터의 내용을 나타내기 위하여 하나 또는 복수의 2차원 영상 데이터를 축소 처리하여 화면에 표시하는 처리인 것을 특징으로 하는 입체 영상 표시 장치.
제10항 내지 제13항 중 어느 한 항에 있어서,

상기 본래의 입체시용의 영상 처리 이외의 처리는, 시점이 상이한 복수의 2차원 영상 데이터 중에서 프린트 아웃용 및 화상 배신(配信)용 중 적어도 하나의 용도로 하나 또는 복수의 2차원 영상 데이터를 선택하는 처리인 것을 특징으로 하는 입체 영상 표시 장치.
시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2차원 영상을 선택하는 정보로서의 시점 번호 정보와 상기 선택하기 위한 정보에 의해 선택된 2차원 영상의 데이터를 어떠한 목적으로 사용할지를 나타내는 사용 목적 정보를 취득하는 수단과, 상기 사용 목적에 대응하는 처리를 실행하는 경우에 상기 선택하는 정보로서의 시점 번호 정보에 의해 지정되는 2차원 영상 데이터를 선택하는 수단을 구비한 것을 특징으로 하는 입체 영상 표시 장치.
시점이 상이한 복수의 2차원 영상 데이터에 기초하여 입체시용 영상을 생성하는 입체 영상 표시 장치에서, 상기 2차원 영상 데이터에 부속하는 부속 정보로부터 각 2차원 영상의 시점 번호 정보와 2개 이상의 2차원 영상을 선택하는 정보로서의 시점 번호 정보를 취득하는 수단과, 본래의 입체시용의 영상 처리로 상기 복수의 2차원 영상 데이터의 수보다도 적은 소정수의 2차원 영상 데이터를 선택하는 경 우에, 상기 소정수의 2차원 영상 데이터를 상기 선택하는 정보로서의 시점 번호 정보에 기초하여 선택하는 수단을 구비한 것을 특징으로 하는 입체 영상 표시 장치.
제17항에 있어서,

상기 선택된 소정수의 2차원 영상 중에서 상기 선택하는 정보로서의 시점 번호 정보에 일치하는 시점 번호 정보를 갖는 2차원 영상이 중앙측으로 되도록 입체시용의 영상 처리를 행하는 것을 특징으로 하는 입체 영상 표시 장치.
제17항 또는 제18항에 있어서,

상기 부속 정보로부터 상기 복수의 2차원 영상이 연속 영상인 것인지의 여부를 나타내는 정보를 취득하는 수단을 구비하고, 상기 복수의 2차원 영상이 연속 영상인 것을 나타내는 정보를 얻었을 때에는, 상기 소정수의 선택된 2차원 영상에 상기 복수의 2차원 영상에서의 제1번째의 2차원 영상과 최종번째의 2차원 영상이 존재하는 것을 허용하도록 구성된 것을 특징으로 하는 입체 영상 표시 장치.
제17항 또는 제18항에 있어서,

상기 부속 정보로부터 상기 복수의 2차원 영상이 연속 영상인 것인지의 여부를 나타내는 정보를 취득하는 수단을 구비하고, 상기 복수의 2차원 영상이 연속 영상이 아닌 것을 나타내는 정보를 얻었을 때에는, 상기 소정수의 선택된 2차원 영상에 상기 복수의 2차원 영상에서의 제1번째의 2차원 영상과 최종번째의 2차원 영상 이 존재하는 경우에, 제1번째의 2차원 영상 또는 최종번째의 2차원 영상이 배제되도록 선택 영상의 시프트를 행하여 새롭게 하나 이상의 2차원 영상을 선택하는 것을 특징으로 하는 입체 영상 표시 장치.
제10항 내지 제13항, 또는 제16항 내지 제18항 중 어느 한 항에 있어서,

부속 정보로부터 정보의 기술 형식으로서 어떤 기술 형식이 채용되어 있는지를 나타내는 정보를 취득하는 수단을 구비하고, 상기 정보를 취득하는 것이 가능한 경우에는 상기 정보에 의해 나타내여지는 기술 형식에 기초하여 부속 정보의 내용을 판단하도록 구성된 것을 특징으로 하는 입체 영상 표시 장치.