TWI519125B - A reproducing apparatus and a reproducing method, a data structure, a recording medium, a recording apparatus and a recording method, and a program - Google Patents
A reproducing apparatus and a reproducing method, a data structure, a recording medium, a recording apparatus and a recording method, and a program Download PDFInfo
- Publication number
- TWI519125B TWI519125B TW099126629A TW99126629A TWI519125B TW I519125 B TWI519125 B TW I519125B TW 099126629 A TW099126629 A TW 099126629A TW 99126629 A TW99126629 A TW 99126629A TW I519125 B TWI519125 B TW I519125B
- Authority
- TW
- Taiwan
- Prior art keywords
- packet
- data
- video
- recorded
- offset
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000012545 processing Methods 0.000 claims description 35
- 238000007251 Prelog reaction Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 61
- 239000012769 display material Substances 0.000 description 20
- 230000000149 penetrating effect Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 239000000463 material Substances 0.000 description 17
- 230000035515 penetration Effects 0.000 description 11
- 230000006978 adaptation Effects 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000002834 transmittance Methods 0.000 description 4
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
本發明係有關於再生裝置及再生方法、資料結構、記錄媒體、記錄裝置及記錄方法、以及程式,尤其是有關於,在主影像的串流中配置有副影像的偏置資訊時,使得基於該偏置資訊的副影像之3D顯示能夠容易實現的再生裝置及再生方法、資料結構、記錄媒體、記錄裝置及記錄方法、以及程式。
映像等內容雖然是以2D影像為主流,但最近3D影像正受到矚目。
作為用來讓使用者看到3D影像之手法有,讓所定方向上保持所定距離的2張影像的其中一方影像被使用者的左眼看到,另一方影像被右眼看到。
在此手法中,為了顯示3D影像,不是要準備左眼用影像與右眼用影像雙方,就是要準備所定之影像、和對於該影像的表示左眼用及右眼用影像之偏移方向之組合的方向資訊及偏移量的偏置值。此外,以下係將此方向資訊與偏置值,總稱為偏置資訊。
又,準備左眼用影像與右眼用影像雙方時所使用的影像之編碼方式,係考慮有MVC(Multi-view Video coding)方式(例如參照專利文獻1)等。
於是,為了將連同映像等之主影像一起被顯示之副影像(例如字幕、選單按鈕等)作3D顯示,而考慮在以MVC方式等編碼過的主影像的串流中,配置副影像的偏置資訊。
[先行技術文獻]
[專利文獻]
[專利文獻1]日本特開2009-100070號公報
然而,此情況下,若不作些特別設計,則一旦主影像的串流被TS(Transport Stream)封包化,主影像的串流就無法以一般的解碼器來進行解碼。亦即,必須要從主影像的TS封包分別抽出主影像的視訊資料與偏置資訊並解碼,因此需要準備專用的解碼器。因此,需要開發成本,無法容易地實現副影像的3D顯示。
本發明係有鑑於此種狀況而研發,目的在於,在主影像的串流中配置有副影像的偏置資訊時,使得基於該偏置資訊的副影像之3D顯示能夠容易實現。
本發明之第1側面的再生裝置,係一種再生裝置,其特徵為,當在再生含有:所定之副影像的串流亦即副影像串流的封包;和已被編碼之主影像的串流,且為含有相對於前記所定之副影像的、3D顯示時所被使用之左眼用副影像與右眼用副影像之偏移方向及偏移量所成之偏置資訊的串流亦即視訊串流的封包;且前記視訊串流的封包的資料部中係僅配置有,已被編碼之前記主影像的視訊資料或前記偏置資訊之任一方;在前記視訊串流的封包的標頭中係描述有旗標資訊,其係用來表示被配置在該封包之前記資料部的資料是前記已被編碼之主影像的視訊資料、還是前記偏置資訊用的資訊;之此種資料結構的資料時,具備:讀出手段,係將前記副影像串流及前記視訊串流的封包,予以讀出;和抽出手段,係基於已被前記讀出手段所讀出之前記封包的前記標頭中所描述的前記旗標資訊,而在該封包當中,把前記偏置資訊是被配置在前記資料部的封包,予以抽出;和生成手段,係基於已被前記抽出手段所抽出之前記封包的前記資料部中所被配置的前記偏置資訊,而根據前記副影像串流的封包,生成出前記左眼用副影像的視訊資料與前記右眼用副影像的視訊資料;和解碼手段,係基於已被前記讀出手段所讀出之前記封包的前記標頭中所被描述的前記旗標資訊,而將該封包之前記資料部中所含之前記已被編碼之主影像的視訊資料,予以解碼。
本發明之第1側面的再生方法及程式,係對應於本發明之第1側面的再生裝置。
於本發明之第1側面中,當所定之副影像的串流亦即副影像串流的封包;和已被編碼之主影像的串流,且為含有相對於所定之副影像的、3D顯示時所被使用之左眼用副影像與右眼用副影像之偏移方向及偏移量所成之偏置資訊的串流亦即視訊串流的封包;且視訊串流的封包的資料部中係僅配置有,已被編碼之主影像的視訊資料或偏置資訊之任一方;在視訊串流的封包的標頭中係描述有旗標資訊,其係用來表示被配置在該封包之資料部的資料是已被編碼之主影像的視訊資料、還是偏置資訊用的資訊之此種資料結構的資料被再生時,副影像串流及視訊串流的封包會被讀出,基於已被讀出之封包的標頭中所被描述的旗標資訊,在該封包當中,偏置資訊是被配置在資料部的封包,會被抽出,基於已被抽出之封包的資料部中所被配置的偏置資訊,根據副影像串流的封包,生成出左眼用副影像的視訊資料與右眼用副影像的視訊資料,基於已被讀出之封包的標頭中所被描述的旗標資訊,該封包之資料部中所含之已被編碼之主影像的視訊資料,會被解碼。
於本發明之第2側面之資料結構及記錄媒體中所被記錄之資料的資料結構,係含有:所定之副影像的串流亦即副影像串流的封包;和已被編碼之主影像的串流,且為含有相對於前記所定之副影像的、3D顯示時所被使用之左眼用副影像與右眼用副影像之偏移方向及偏移量所成之偏置資訊的串流亦即視訊串流的封包;且前記視訊串流的封包的資料部中係僅配置有,已被編碼之前記主影像的視訊資料或前記偏置資訊之任一方;在前記視訊串流的封包的標頭中係描述有旗標資訊,其係用來表示被配置在該封包之前記資料部的資料是前記已被編碼之主影像的視訊資料、還是前記偏置資訊用的資訊之資料結構。
於本發明之第2側面中,係含有:所定之副影像的串流亦即副影像串流的封包;和已被編碼之主影像的串流,且為含有相對於所定之副影像的、3D顯示時所被使用之左眼用副影像與右眼用副影像之偏移方向及偏移量所成之偏置資訊的串流亦即視訊串流的封包;且視訊串流的封包的資料部中係僅配置有,已被編碼之主影像的視訊資料或偏置資訊之任一方;在視訊串流的封包的標頭中係描述有旗標資訊,其係用來表示被配置在該封包之資料部的資料是已被編碼之主影像的視訊資料、還是偏置資訊用的資訊。
本發明之第3側面的記錄裝置,係一種記錄裝置,具備:編碼手段,係將主影像的視訊資料予以編碼;和生成手段,係以使得已被前記編碼手段所編碼之前記視訊資料、和相對於所定之副影像的、3D顯示時所被使用之左眼用副影像與右眼用副影像之偏移方向及偏移量所成之偏置資訊不會被包含在同一封包內的方式,而生成封包,在其標頭中描述有旗標資訊其係用來表示前記偏置資訊是被配置在資料部、被配置在該資料部之資料係為前記偏置資訊之事實,並且生成封包,在其標頭中描述有旗標資訊其係用來表示前記已被編碼之視訊資料是被配置在資料部、被配置在該資料部之資料係為前記已被編碼之視訊資料之事實;和記錄控制手段,係使前記封包被記錄在記錄媒體。
本發明之第3側面的記錄方法及程式,係對應於本發明之第3側面的記錄裝置。
於本發明之第3側面中,主影像的視訊資料會被編碼;偏置資訊會被配置在資料部,以使得已被編碼之視訊資料、和相對於所定之副影像的、3D顯示時所被使用之左眼用副影像與右眼用副影像之偏移方向及偏移量所成之偏置資訊不會被包含在同一封包內;用來表示被配置在該封包之資料是偏置資訊之事實用的旗標資訊是被描述在標頭中的封包,會被生成;用來表示已被編碼之視訊資料是被配置在資料部、被配置在該資料部之資料係為已被編碼之視訊資料之事實用的旗標資訊是被描述在標頭中的封包,會被生成;封包會被記錄至記錄媒體中。
如以上,若依據本發明,則在主影像的串流中配置有副影像的偏置資訊時,就能容易實現基於該偏置資訊的副影像之3D顯示。
[再生裝置的構成例]
圖1係適用了本發明之再生裝置的一實施形態之構成例的區塊圖。
圖1的再生裝置20,係由輸入部21、控制部22、及再生部23所構成。
輸入部21,係由鍵盤、滑鼠、麥克風等所成。輸入部21,係受理來自使用者的指令,並供給至控制部22。控制部22,係隨應於來自輸入部21的指令,來控制再生部23。
再生部23,係由:驅動機31、讀出緩衝區32、PID過濾器33、傳輸優先度過濾器34、偏移生成部35、右眼用視訊生成部36、左眼用視訊生成部37、字幕/選單生成部38、3D顯示資料生成部39、BD-J圖形生成部40、及音訊生成部41所構成。
驅動機31,係依照控制部22的控制,而驅動著所被裝入的由BD(Blu-Ray((註冊商標))Disc)等所成之碟片11。藉此,驅動機31係將碟片11中所記錄的索引檔案、影片物件檔案、BD-J物件檔案、播放清單檔案、剪輯資訊檔案、串流檔案等,予以讀出。
此外,所謂索引檔案,係為被描述有碟片11中所被記錄之標題號碼的一覽、和對應於該標題號碼而被執行之物件的種類及號碼的檔案。作為物件的種類,係有影片物件和BD-J物件這2種類。
又,所謂影片物件檔案,係為被描述有複數個影片物件的檔案。在影片物件中係被撰寫有一種稱作導航命令的程式。此外,以下當中,若沒有特別需要區別導航命令時,就單純簡稱為命令。
又,所謂BD-J物件檔案,係為被描述有複數個BD-J應用程式的檔案。播放清單檔案,係只被影片物件或BD-J物件所再生的檔案,係被描述有,被這些物件中所描述之1個命令所再生的AV串流(細節將於後述)的相關資訊。
具體而言,播放清單檔案係由單數或複數個播放項所構成。在各播放項中係被描述有,將再生對象之AV串流所對應的剪輯資訊檔案予以指定用的資訊,和表示AV串流之再生區間用的時間資訊。
AV串流,係以串流檔案的方式而被記錄在碟片11中。AV串流,係由:左眼用視訊串流及右眼用視訊串流、對應於它們的音訊串流、字幕串流、以及選單串流是依照ISO13818-2而被多工化而成的TS(Transport Stream)封包所構成。
此外,左眼用視訊串流係為,以MVC方式而被編碼過的左眼用主影像之串流。右眼用視訊串流係為,以MVC方式而被編碼過的右眼用主影像之串流,是含有偏置詮釋資料(細節將於後述)的串流。又,字幕串流係為含有用來將字幕作2D顯示所需之點陣圖形式或文字形式之資料的串流,選單串流係為含有用來將選單按鈕作2D顯示所需之資料的串流。
所謂偏置詮釋資料,係為用來生成圖像單位之偏置資訊所需的資料。具體而言,偏置詮釋資料,係由:偏置資訊、被設定有該偏置資訊的開頭之圖像的PTS(Presentation Time Stamp)、及表示被設定有該偏置資訊之圖像之間隔的畫格速率所構成。此外,偏置資訊係對每1GOP份的再生區間所對應之字幕、選單按鈕、BD-J圖形之畫面(平面),加以描述。又,在BD-ROM(Blu-Ray Disc-Read Only Memory)規格中,由於選單按鈕和BD-J圖形係呈排它性關係,因此偏置資訊係被適用於字幕的畫面及選單按鈕的畫面,或者是被適用於字幕的畫面及BD-J圖形的畫面。偏置詮釋資料之描述例的細節,係參照後述的圖11及圖12來說明。
所謂剪輯資訊檔案,係將播放清單檔案中所描述的時間資訊、和AV串流的封包號碼建立關連的地圖所被描述的檔案。因此,控制部22係藉由參照剪輯資訊檔案,就可認知各播放項所對應之再生對象的AV串流之封包號碼。串流檔案,係為AV串流的檔案。
驅動機31,係將所讀出的索引檔案、影片物件檔案、BD-J物件檔案、播放清單檔案、剪輯資訊檔案等,供給至控制部22。驅動機31,係將所讀出的串流檔案的AV串流,供給至讀出緩衝區32。
讀出緩衝區32,係依照控制部22的控制,而將從驅動機31所供給之AV串流予以保持,或將所保持的AV串流予以讀出而供給至PID過濾器33等。
PID過濾器33,係基於來自讀出緩衝區32的AV串流的各TS封包的封包ID(PID),從AV串流,分別抽出左眼用視訊串流、右眼用視訊串流、字幕串流、選單串流、及音訊串流的TS封包。此外,所謂的PID,係為隨著構成TS封包之資料的種類而固有的ID,是被描述在封包的標頭裡。
PID過濾器33,係將已被抽出的右眼用視訊串流的TS封包供給至傳輸優先度過濾器34,將左眼用視訊串流的TS封包供給至左眼用視訊生成部37。又,PID過濾器33,係將字幕串流及選單串流的TS封包供給至字幕/選單生成部38,將音訊串流的TS封包供給至音訊生成部41。
傳輸優先度過濾器34,係基於從PID過濾器33所供給之右眼用視訊串流的TS封包的標頭中所描述的傳輸優先度,而將該TS封包當中的所定之TS封包,供給至偏置生成部35。又,傳輸優先度過濾器34,係將從PID過濾器33所供給之右眼用視訊串流的TS封包,供給至右眼用視訊生成部36。
偏置生成部35,係基於從傳輸優先度過濾器34所供給之TS封包的資料部中所被配置的偏置詮釋資料,而生成偏置資訊,供給至3D顯示資料生成部39。
右眼用視訊生成部36,係基於從傳輸優先度過濾器34所供給之右眼用視訊串流的TS封包的標頭中所描述的傳輸優先度,而將該TS封包的資料部中所被配置的右眼用主影像的視訊資料,予以解碼。右眼用視訊生成部36,係將解碼的結果所得之視訊資料,當作右眼用視訊資料,而供給至3D顯示資料生成部39。
又,左眼用視訊生成部37,係將從PID過濾器33所供給之左眼用視訊串流的TS封包中所含之左眼用主影像的視訊資料,予以解碼。左眼用視訊生成部37,係將解碼的結果所得之視訊資料,當作左眼用視訊資料,而供給至3D顯示資料生成部39。
字幕/選單生成部38,係由字幕生成部51和選單生成部52所構成。字幕生成部51,係在影片物件的執行時,將從PID過濾器33所供給之字幕串流的TS封包中所含之字幕資料,供給至3D顯示資料生成部39。
選單生成部52,係在影片物件的執行時,將從PID過濾器33所供給之選單串流的TS封包中所含之選單資料,供給至3D顯示資料生成部39。
3D顯示資料生成部39,係將從右眼用視訊生成部36所供給之右眼用視訊資料、和從左眼用視訊生成部37所供給之左眼用視訊資料,當作3D視訊資料。又,3D顯示資料生成部39,係基於從偏置生成部35所供給之偏置資訊,而將從字幕生成部51所供給之字幕資料所對應之字幕,往所定之偏置方向偏移了所定之偏置值而成的字幕的字幕資料,當作右眼用的字幕資料及左眼用的字幕資料而加以生成。然後,3D顯示資料生成部39,係將右眼用的字幕資料和左眼用的字幕資料,當作用來3D顯示字幕所需之3D字幕資料。
又,3D顯示資料生成部39,係基於從偏置生成部35所供給之偏置資訊,而和3D字幕資料同樣地,根據從選單生成部52所供給之選單資料,生成用來將選單按鈕作3D顯示所需之3D選單資料。
然後,3D顯示資料生成部39,係將3D視訊資料、3D字幕資料、及3D選單資料,對每一左右各眼用資料分別加以合成。具體而言,3D顯示資料生成部39,係將左眼用的視訊資料、左眼用的字幕資料、及左眼用的選單資料加以合成而生成左眼用的顯示資料。又,3D顯示資料生成部39,係將右眼用的視訊資料、右眼用的字幕資料、及右眼用的選單資料加以合成而生成右眼用的顯示資料。
又,3D顯示資料生成部39,係基於從偏置生成部35所供給之偏置資訊,而和3D字幕資料同樣地,根據從BD-J圖形生成部40所供給之、將選單按鈕等所成的BD-J圖形作2D顯示所需之圖形資料,生成用來將BD-J圖形作3D顯示所需之3D圖形資料。
3D顯示資料生成部39,係將3D視訊資料和3D圖形資料,對每一左右各眼用之資料分別加以合成,將左眼用的合成結果當作左眼用的顯示資料,將右眼用的合成結果當作右眼用的顯示資料。然後,3D顯示資料生成部39,係將左眼用的顯示資料和右眼用的顯示資料當作3D顯示資料而供給至顯示部61,令左眼用影像與右眼用影像被顯示在顯示部61。
BD-J圖形生成部40,係在BD-J物件執行時,依照來自控制部22的指示而生成圖形資料,供給至3D顯示資料生成部39。
音訊生成部41,係將從PID過濾器33所供給之音訊串流的TS封包中所含之音訊資料予以解碼,將其結果所得之音訊資料,供給至揚聲器62。
顯示部61,係由3D顯示器等所構成。顯示部61,係基於從3D顯示資料生成部39所供給之3D顯示資料,而顯示左眼用影像與右眼用影像。其結果為,使用者係可看到3D影像。
揚聲器62,係將從音訊生成部41所供給之音訊資料所對應的聲音,予以輸出。
[右眼用視訊串流之構成例]
圖2係右眼用視訊串流的各GOP(Group of Picture)內的顯示順序上最初之依存型單元(圖像)之構成例的圖示。
如圖2所示,右眼用視訊串流的各GOP內的顯示順序上最初的依存型單元裡,從開頭起,依序配置著依存型定界符(Dependent delimiter)、SPS(Sequence Parameter Set)、Subset PPS(Picture Parameter Set)、SEI(Supplemental Enhancement Information)、1個以上的切片(Slice)。
依存型定界符,係為表示依存型單元之開頭的開始符號。依存型定界符中係含有,例如,表示依存型單元中所包含之切片之種類用的資訊。
SPS,係含有關於序列全體之資訊的標頭。在SPS中係含有,例如,表示右眼用視訊串流之設定檔的資訊、或表示右眼用視訊串流之等級的資訊。又例如,SPS中係含有計算POC(Picture Order Count)時所必須之資訊。所謂POC,係用來表示圖像之顯示順序的資訊。
PPS,係含有關於圖像之資訊的標頭。例如,PPS中係含有計算POC時所必須之資訊。
SEI,係為表示VCL(Video Coding Layer)之解碼時非必須之附加資訊用的資訊。SEI係可分類為,碟片11的作成者亦即使用者所自行定義的資訊亦即使用者SEI資訊(BD User data SEI messages in MVC scalable nesting SEI)、和其以外之資訊(Other SEI messages in MVC scalable nesting SEI)。在碟片11中,至少會描述有偏置詮釋資料(offset metadata)來作為使用者SEI資訊。切片係為以MVC方式而被編碼過的右眼用主影像的視訊資料,係為圖像的實際資料。
此外,在1個以上的切片之後,因應需要,而會配置有填空資料(Filler Data)、序列結尾(End of Sequence)、串流結尾(End of Stream)。
填空資料,係用來調整資料大小而被附加的資料。序列結尾,係為表示序列之末端用的資訊。串流結尾,係為表示右眼用視訊串流之末端用的資訊。
圖3係右眼用視訊串流的TS封包之生成方法的說明圖。
如圖3所示,右眼用視訊串流,係使得偏置詮釋資料不會與其他資料一起配置在TS封包的方式,而被TS封包化。
具體而言,如圖3所示,當PPS的最後之TS封包TSn用的資料的資料大小是小於TS封包之資料部的資料大小時,為了使TS封包TSn的資料大小和TS封包的資料大小相同,使用TS封包TSn的標頭的適配欄位而在標頭中插入任意的填充位元組。藉此,偏置詮釋資料的開頭就會被封包化在,與前一個配置有PPS之TS封包TSn不同的另一個TS封包TSn+1中。此外,TSi係表示第i個TS封包。
又,如圖3所示,當偏置詮釋資料的最後之TS封包TSm用的資料的資料大小是小於TS封包之資料部的資料大小時,為了使TS封包TSm的資料大小和TS封包的資料大小相同,使用TS封包TSm的標頭的適配欄位而在標頭中插入任意的填充位元組。藉此,切片的開頭就會被封包化在,與前一個配置有偏置詮釋資料之TS封包TSm不同的另一個TS封包TSm+1中。
然後,如圖3所示,在偏置詮釋資料以外的資料的TS封包的標頭中,係描述了0來作為傳輸優先度。又,偏置詮釋資料的TS封包的標頭中,係描述了1來作為傳輸優先度。
詳言之,如圖4所示,TS封包係由開頭的標頭、和其以後的資料部所構成。
如圖4所示,在標頭中係描述有,8位元的同步位元組(sync_byte)、1位元的傳輸錯誤指示元(transport_error_indicator)、及1位元的酬載單元開始指示元(payload_unit_start_indicator)。又,在標頭中係描述有,1位元的傳輸優先度(transport_priority)、13位元的PID、及2位元的傳輸拌碼控制(transport_scrambling_control)。再者,在標頭中係還描述有,2位元的適配欄位控制(adaptation_field_control)、及2位元的巡迴計數器(continuity_counter)。此外,巡迴計數器,係為每一畫格就會被增加1的資料。
當適配欄位控制是所定的值(在圖4的例子中係為「10」、「11」)時,在標頭中係還會配置有作為擴充標頭的適配欄位。
又,當適配欄位控制是所定的值(在圖4的例子中係為「01」、「11」)時,在資料部係會儲存有酬載。作為酬載,係儲存著例如右眼用視訊串流。
在右眼用視訊串流的TS封包中,若描述有偏置詮釋資料來作為酬載時,則作為該TS封包的標頭的傳輸優先度是描述為1。另一方面,若描述有偏置詮釋資料以外的資料來作為酬載時,則作為含有該酬載之TS封包的標頭的傳輸優先度是描述為0。
亦即,傳輸優先度係被當成用來表示,被配置在資料部的資料是屬於偏置詮釋資料、還是屬於偏置詮釋資料以外之資料用的旗標資訊。
因此,再生裝置20,係可根據傳輸優先度,而在右眼用視訊串流的TS封包當中,將含有偏置詮釋資料的TS封包予以抽出。
[右眼用視訊生成部與偏置生成部的詳細構成例]
圖5係圖1的右眼用視訊生成部36與偏置生成部35之詳細構成例的區塊圖。
如圖5所示,對PID過濾器33係輸入著,含有被描述為0或1來作為傳輸優先度之標頭的TS封包。在圖5的例子中,從開頭起第n乃至第n+3個TS封包,係被輸入至PID過濾器33。第n與第n+3個TS封包的傳輸優先度係為0,第n+1與第n+2個TS封包的傳輸優先度係為1。
PID過濾器33係基於所被輸入之TS封包的標頭中所描述的PID,將該TS封包當中的右眼用視訊串流之TS封包予以抽出,供給至傳輸優先度過濾器34。
傳輸優先度過濾器34,係將從PID過濾器33所供給之TS封包,全部供給至右眼用視訊生成部36,或是僅將傳輸優先度為0的TS封包,供給至右眼用視訊生成部36。
又,傳輸優先度過濾器34,係當從PID過濾器33所供給之TS封包的標頭中所描述的傳輸優先度是1時,則將該TS封包供給至偏置生成部35。藉此,對偏置生成部35係僅供給著傳輸優先度為1之右眼用視訊串流的TS封包,亦即偏置詮釋資料是被配置在資料部的TS封包。
右眼用視訊生成部36係由傳輸緩衝區71、元素緩衝區72、及視訊解碼器73所構成。
傳輸緩衝區71,係將從傳輸優先度過濾器34所供給之TS封包,加以積存。傳輸緩衝區71,係將所積存的TS封包,以所定之位元速率加以讀出,供給至元素緩衝區72。元素緩衝區72,係將從傳輸緩衝區71所供給之TS封包,加以積存。
視訊解碼器73,係由通用的MVC解碼器所構成。視訊解碼器73,係基於元素緩衝區72中所積存的TS封包的傳輸優先度,而在該TS封包當中,將傳輸優先度為0的TS封包的資料部中所被配置的右眼用主影像的視訊資料,以所定之時序予以抽出。然後,視訊解碼器73,係將該右眼用主影像的視訊資料以對應於MVC方式的方式加以解碼,將其結果所得之視訊資料當作右眼用視訊資料而供給至3D顯示資料生成部39(圖1)。
偏置生成部35,係由額外緩衝區81及偏置解碼器82所構成。
額外緩衝區81,係將從傳輸優先度過濾器34所供給之傳輸優先度為1的TS封包,加以積存。
偏置解碼器82,係將額外緩衝區81中所積存的TS封包的資料部中所被配置的偏置詮釋資料,以所定之時序加以抽出。偏置解碼器82,係基於該偏置詮釋資料而生成偏置資訊,供給至3D顯示資料生成部39(圖1)。
[再生裝置的處理]
圖6係再生裝置20的偏置生成處理的說明用流程圖。該偏置生成處理,係例如,當對PID過濾器有輸入著新的TS封包時,就被開始。
於步驟S11中,PID過濾器33係基於所被輸入的TS封包的PID,而判定該TS封包是否為右眼用視訊串流的TS封包。在步驟S11中若判定為,所被輸入的TS封包不是右眼用視訊串流的TS封包時,則結束處理。
另一方面,在步驟S11中若判定為,所被輸入的TS封包是右眼用視訊串流的TS封包時,則PID過濾器33係將該TS封包,供給至傳輸優先度過濾器34。
然後,於步驟S12中,傳輸優先度過濾器34係判定,從PID過濾器33所供給之TS封包的標頭中所被描述的傳輸優先度,是否為1。當步驟S12中判定傳輸優先度不是1時,亦即傳輸優先度為0時,則結束處理。
另一方面,當步驟S12中判定傳輸優先度是1時,則傳輸優先度過濾器34,係將從PID過濾器33所供給之TS封包,供給至傳輸緩衝區71(圖5)和額外緩衝區81。
然後,於步驟S13中,額外緩衝區81係將從傳輸優先度過濾器34所供給之TS封包,加以積存。
於步驟S14中,偏置解碼器82係將額外緩衝區81中所積存的TS封包的資料部中所被配置的偏置詮釋資料,加以抽出。
於步驟S15中,偏置解碼器82係基於步驟S14中所抽出的偏置詮釋資料而生成偏置資訊,供給至3D顯示資料生成部39。然後,處理係結束。
圖7係影片物件執行時的再生裝置20之3D顯示處理的流程圖。該3D顯示處理,係例如,當偏移詮釋資料、左眼用視訊資料、右眼用視訊資料、字幕資料、及選單資料被輸入至3D顯示資料生成部39時,就被開始。
於步驟S31中,3D顯示資料生成部39,係將從偏置生成部35所輸入之偏置資訊、從右眼用視訊生成部36所輸入之右眼用視訊資料、從左眼用視訊生成部37所輸入之左眼用視訊資料、從字幕生成部51所輸入之字幕資料、及從選單生成部52所輸入之選單資料,加以取得。
於步驟S32中,3D顯示資料生成部39,係基於偏置資訊,而由右眼用視訊資料、左眼用視訊資料、字幕資料、及選單資料,生成出3D顯示資料。
於步驟S33中,3D顯示資料生成部39,係基於步驟S32中所被生成的3D顯示資料,而使3D影像被顯示在顯示部61。然後,處理係結束。
此外,BD-J物件執行時的3D顯示處理,係除了字幕資料與選單資料是被取代成圖形資料以外,其餘是和圖7的3D顯示處理相同,因此省略說明。
[記錄裝置的構成例]
圖8係對碟片11記錄右眼用視訊串流之記錄裝置100之構成例的區塊圖。
圖8的記錄裝置100,係由:視訊取得部101、視訊編碼器102、偏移取得部103、緩衝區104、PES封包化部105、TS封包化部106、驅動機107、及控制部108所構成。
視訊取得部101,係將從外部所輸入之右眼用主影像的視訊資料,加以取得,並供給至視訊編碼器102。視訊編碼器102,係將從視訊取得部101所供給之視訊資料,以MVC方式加以編碼,將其結果所得之ES(Elementary Stream),供給至緩衝區104。此外,此ES的SEI中係設有用來配置偏置詮釋資料所需的空白領域。
偏置取得部103,係將從外部所輸入之偏置詮釋資料加以取得,並將偏置詮釋資料供給至緩衝區104。
緩衝區104,係由視訊緩衝區111和偏置緩衝區112所構成。視訊緩衝區111,係將從視訊編碼器102所供給之視訊資料的ES,加以儲存。視訊緩衝區111,係基於來自控制部108之控制,將自己所儲存的ES予以讀出,在該ES的SEI中所被設置的空白領域,配置從偏置緩衝區112所供給的偏置詮釋資料,然後供給至PES封包化部105。
偏置緩衝區112,係將從偏置取得部103所供給之偏置詮釋資料,加以儲存。偏置緩衝區112,係基於來自控制部108之控制,將自己所儲存的偏置詮釋資料予以讀出,供給至視訊緩衝區111。
PES封包化部105,係基於來自控制部108之控制,將從視訊緩衝區111所供給之ES,封包化成PES封包。
TS封包化部106,係基於從控制部108所供給之傳輸優先度,而將從PES封包化部105所供給之PES封包,封包化成TS封包。具體而言,TS封包化部106係生成,含有描述著從控制部108所供給之傳輸優先度的標頭,且PES封包是被配置在資料部的TS封包。此外,此TS封包的標頭中係也描述有對應於右眼用視訊串流的PID。TS封包化部106係將所生成的TS封包,供給至驅動機107。
驅動機107,係基於來自控制部108之控制,將從TS封包化部106所供給之TS封包,記錄至碟片11。
控制部108係監視著,已被儲存在緩衝區104中的視訊資料的ES及偏置詮釋資料。又,控制部108係管理著PTS。再者,控制部108係控制著PES封包化部105、TS封包化部106、及驅動機107之各部。
具體而言,例如,控制部108,係對TS封包化部106係輸入著已被PES封包化的視訊資料時,則將0當作傳輸優先度而供給至TS封包化部106。另一方面,對TS封包化部106係輸入著已被PES封包化的偏置詮釋資料時,則將1當作傳輸優先度而供給至TS封包化部106。
[記錄裝置之處理的說明]
圖9係圖8的記錄裝置100的記錄處理的說明用流程圖。此記錄處理係例如,當從PES封包化部105往TS封包化部106輸入了PES封包時,就被開始。
於步驟S51中,TS封包化部106,係判定是否已被供給了,TS封包之資料部之資料大小份量的PES封包。在步驟S51中若判定為,尚未被供給了TS封包之資料部之資料大小份量的PES封包時,則處理係前進至步驟S52。
於步驟S52中,TS封包化部106,係判定從控制部108所供給之傳輸優先度是否有被變更。當步驟S52中判定傳輸優先度並未被變更時,則處理係返回至步驟S51。然後,直到TS封包之資料部之資料大小份量的PES封包是已被供給、或傳輸優先度有被變更為止,步驟S51及S52之處理會被一直重複。
另一方面,當步驟S52中判定傳輸優先度有被變更時,則處理係前進至步驟S53。於步驟S53中,TS封包化部106,係為了使來自PES封包化部105的PES封包是被配置在資料部中的生成對象之TS封包的資料大小和TS封包的資料大小相同,而會使用適配欄位而在生成對象的TS封包的標頭中,插入填充資料。具體而言,TS封包化部106,係將TS封包之資料部之資料大小減去PES封包之資料大小後的值之份量的填充資料,插入至TS封包的標頭的適配欄位中。然後,處理便進入步驟S54。
又,在步驟S51中若判定為,已被供給了TS封包之資料部之資料大小份量的PES封包時,則處理係前進至步驟S54。
步驟S54中,TS封包化部106,係將從PES封包化部105所供給的PES封包,配置在TS封包的資料部。
於步驟S55中,TS封包化部106,係判定,對於從控制部108所供給之被配置在資料部中之PES封包的傳輸優先度,是否為0。當步驟S55中被判定為傳輸優先度是0時,則處理係前進至步驟S56。
於步驟S56中,TS封包化部106,係將描述為0來作為傳輸優先度的標頭,附加至資料部,生成TS封包。藉此已被PES封包化的右眼用主影像的視訊資料係被配置在資料部,標頭之傳輸優先度係被描述為0的TS封包,就被生成。然後,TS封包化部106,係將已被生成之TS封包,供給至驅動機107,使處理前進至步驟S58。
另一方面,當步驟S55中被判定為傳輸優先度是0時,則處理係前進至步驟S57。於步驟S57中,TS封包化部106,係將描述為1來作為傳輸優先度的標頭,附加至資料部,生成TS封包。藉此,已被PES封包化的偏置詮釋資料係被配置在資料部,標頭之傳輸優先度係被描述為1的TS封包,就被生成。然後,TS封包化部106,係將已被生成之TS封包,供給至驅動機107,使處理前進至步驟S58。
於步驟S58中,驅動機107係將從TS封包化部106所供給之TS封包,記錄至碟片11。然後,處理係結束。
此外,在上述的說明中,雖然是在右眼用視訊串流裡含有偏置詮釋資料,但亦可設計成是被含有在左眼用視訊串流裡。又,亦可設計成是被含有在右眼用視訊串流與左眼用視訊串流之雙方裡。
又,在上述的說明中係為,以右眼用視訊串流是MVC方式的依存型串流、左眼用視訊串流是MVC方式的基本串流的方式來進行編碼,但亦可以左眼用視訊串流是依存型串流、右眼用視訊串流是基本串流的方式來進行編碼。
本發明係亦可適用於,把主影像之2D顯示時所用的視訊串流與主影像的偏置資訊,記錄至碟片的情形。此情況下係為,例如,主影像的2D顯示時所用之視訊串流裡含有副影像的偏置詮釋資料,並且含有主影像的偏置資訊。
上述之一連串處理的至少一部分,係可藉由硬體來執行,也可藉由軟體來執行。以軟體來執行一連串處理之至少一部分時,構成該軟體的程式,是從程式記錄媒體,安裝至內嵌有專用硬體的電腦,或是泛用之個人電腦等。
圖10係以程式來執行上述一連串處理之至少一部分的電腦的硬體之構成例的區塊圖。
CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203,係藉由匯流排204而被彼此連接。
在匯流排204上係還連接有輸出入介面205。輸出入介面205上則連接著,由鍵盤、滑鼠等所成之輸入部206、和由顯示器、揚聲器等所成之輸出部207。又,在匯流排204上係連接有,由硬碟或非揮發性記憶體等所成之記憶部208、由網路介面等所成之通訊部209、驅動可移除式媒體211用的驅動機210。
在如以上構成的電腦中,藉由CPU201而例如將記憶部208中所記憶之程式透過輸出入介面205及匯流排204而載入至RAM203裡並加以執行,就可進行上述一連串處理。
CPU201所執行之程式,係記錄在例如可移除式媒體211,或者是透過區域網路、網際網路、數位播送這類有線或無線之傳輸媒體而提供,然後被安裝在記憶部208中。
圖11及圖12係偏置詮釋資料之描述例的圖示。
如圖11所示,在偏置詮釋資料裡,含有該偏置詮釋資料之右眼用視訊串流的畫格速率(frame_rate)是以4位元而被描述,在該右眼用視訊串流之顯示順序上係為開頭之圖像的PTS(offset_start_PTS)是以33(=3+15+15)位元而被描述。根據該畫格速率與PTS,就能特定出要適用偏置資訊的畫面的再生時刻。又,在偏置詮釋資料裡,該偏置詮釋資料是被含在SEI中的GOP的畫格數(number of frames),是以8位元而被描述。再者,在偏移詮釋資料裡,對應於該GOP而設定的字幕之偏置資訊的種類之數目(number_of_PG_offset_sequences)、及對應於該GOP而設定的選單按鈕之偏置資訊的種類之數目(number_of_IG_offset_sequences),是分別以6位元而被描述。此外,適用於再生對象的偏置資訊之種類,係藉由播放清單等而被指定。
又,如圖11所示,在偏移詮釋資料裡,對字幕的偏置資訊之每一種類,描述有字幕的偏置資訊(PG_offset_sequence),對選單按鈕的偏置資訊之每一種類,描述有選單按鈕的偏置資訊(IG_offset_sequence)。
作為偏置資訊(PG_offset_sequence,IG_offset_sequence),係如圖12的A或圖12的B所示,表示偏置方向的資訊(offset_direction_flag)是以1位元而被描述,並且表示偏置值的資訊(offset_value)是以7位元而被描述。
作為表示偏置方向之資訊,係例如,當偏置方向是相對於顯示面而朝前方側(使用者)使3D影像跳出之方向時則使用「0」,若是往深入側使3D影像凹陷之方向時則使用「1」。又,偏移值,係用例如像素數來表現。
在偏移詮釋資料裡,甚至還如圖11所示,為了防止「0」連續出現8次,而隨處配置著1位元的標記位元(marker_bit)。具體而言,例如,在MVC方式的解碼中,若於解碼對象之資料裡,「0」連續出現8次,則該資料係被判定成開始碼。因此,在偏置詮釋資料裡係含有「1」來作為標記位元,以使該偏置詮釋資料的一部分不會呈現出開始碼的樣態。又,在偏置詮釋資料裡係還配置有空白領域(reserved_for_future_use)。
此外,在圖11的例子中,雖然配置了標記位元而使「0」不會連續出現8次,但標記位元係只要配置成使得解碼時偏置詮釋資料的部分或全部不會被辨認成所定之代碼即可,標記位元的配置方法係不限於圖11的方法。
圖13係圖1的3D顯示資料生成部39之詳細構成例的區塊圖。
圖13的3D顯示資料生成部39,係由字幕平面531、選單平面532、左眼用顯示資料生成部533、及右眼用顯示資料生成部534所構成。
字幕平面531,係將從字幕生成部51(圖1)所供給之字幕資料,加以保持。
選單平面532,係將從選單生成部52(圖1)所供給之選單資料,加以保持。
左眼用顯示資料生成部533,係由:左眼用視訊平面541、穿透部542、偏置附加部543、穿透部544、合成部545、穿透部546、偏置附加部547、穿透部548、及合成部549所構成。
左眼用視訊平面541,係將從左眼用視訊生成部37(t圖1)所供給之左眼用視訊資料,加以保持。
穿透部542,係將左眼用視訊平面541中所保持的左眼用視訊資料,予以讀出。穿透部542,係使左眼用的主影像是以預先設定之穿透率(1-α1L)而穿透的方式,將已被讀出之左眼用視訊資料,加以轉換。穿透部542,係將轉換後的左眼用視訊資料,供給至合成部545。
偏置附加部543,係從字幕平面531讀出字幕資料。偏置附加部543,係基於從圖1的偏置生成部35所供給之字幕資料的偏置資訊,而根據已被讀出之字幕資料,生成出左眼用的字幕資料。偏置附加部543,係將該左眼用的字幕資料,供給至穿透部544。
穿透部544,係將從偏置附加部547所供給之左眼用的字幕資料,轉換成使得左眼用字幕是以預先設定之穿透率α1L而穿透。穿透部544,係將轉換後的左眼用的字幕資料,供給至合成部545。
合成部545,係將從穿透部542所供給之左眼用的視訊資料和從穿透部544所供給之左眼用的字幕資料加以合成,將其結果所得之資料,供給至穿透部546。
穿透部546,係以使得從合成部545所供給之資料所對應之影像是以穿透率(1-α2L)而穿透的方式,將該資料加以轉換,並供給至合成部549。
偏置附加部547,係從選單平面532,讀出選單資料。偏置附加部547,係基於從圖1的偏置生成部35所供給之選單按鈕的偏置資訊,而根據已被讀出之選單資料,生成出左眼用的選單資料。偏置附加部547,係將該左眼用的選單資料,供給至穿透部548。
穿透部548,係將從偏置附加部547所供給之左眼用的選單資料,轉換成使得左眼用的選單按鈕是以預先設定之穿透率α2L而穿透。穿透部548,係將轉換後的左眼用的選單資料,供給至合成部549。
合成部549,係將從穿透部546所供給之資料和從穿透部548所供給之選單資料加以合成,將其結果所得之資料,當作左眼用的顯示資料而輸出。
右眼用顯示資料生成部534,係由:右眼用視訊平面551、穿透部552、偏置附加部553、穿透部554、合成部555、穿透部556、偏置附加部557、穿透部558、及合成部559所構成。右眼用顯示資料生成部534的各部之處理,係除了處理對象是右眼用的資料以外,其餘均和左眼用顯示資料生成部533各部之處理相同,因此省略說明。
圖14係被3D顯示資料生成部39所生成之3D顯示資料中的重疊順序的說明圖。
如圖14的A所示,3D顯示資料當中的左眼用的顯示資料的重疊順序係為,由下往上依序是左眼用視訊資料、左眼用的字幕資料、及左眼用的選單資料之順序。又,如圖14的B所示,右眼用的顯示資料的重疊順序係為,由下往上依序是右眼用視訊資料、右眼用的字幕資料、及右眼用的選單資料之順序。
在本說明書中,雖然描述程式記錄媒體中所被儲存中所被儲存之之的步驟,是按照記載的順序而在時間序列上順序進行之處理,但當然並不一定要是時間序列上的處理,亦包含平行或個別執行之處理。
又,本發明的實施形態係不限定於上述實施形態,在不脫離本發明主旨的範圍內可做各種變更。
11...碟片
20...再生裝置
21...輸入部
22...控制部
23...再生部
31...驅動機
32...讀出緩衝區
33...PID過濾器
34...傳輸優先度過濾器
35...偏置生成部
36...右眼用視訊生成部
37...左眼用視訊生成部
38...字幕/選單生成部
39...3D顯示資料生成部
40...BD-J圖形生成部
41...音訊生成部
51...字幕生成部
52...選單生成部
61...顯示部
62...揚聲器
71...傳輸緩衝區
72...元素緩衝區
73...視訊解碼器
81...額外緩衝區
82...偏置解碼器
100...記錄裝置
101...視訊取得部
102...視訊編碼器
103...偏置取得部
104...緩衝區
105...PES封包化部
106...TS封包化部
107...驅動機
108...控制部
111...視訊緩衝區
112...偏置緩衝區
201...CPU
202...ROM
203...RAM
204...匯流排
205...輸出入介面
206...輸入部
207...輸出部
208...記憶部
209...通訊部
210...驅動機
211...可移除式媒體
531...字幕平面
532...選單平面
533...左眼用顯示資料生成部
534...右眼用顯示資料生成部
541...左眼用視訊平面
542...穿透部
543...偏置附加部
544...穿透部
545...合成部
546...穿透部
547...偏置附加部
548...穿透部
549...合成部
551...右眼用視訊平面
552...穿透部
553...偏置附加部
554...穿透部
555...合成部
556...穿透部
557...偏置附加部
558...穿透部
559...合成部
[圖1]適用了本發明之再生裝置的一實施形態之構成例的區塊圖。
[圖2]右眼用視訊串流的各GOP內的顯示順序上最初之依存型單元之構成例的圖示。
[圖3]右眼用視訊串流的TS封包之生成方法的說明圖。
[圖4]TS封包之詳細構成例的圖示。
[圖5]右眼用視訊生成部與偏置生成部之詳細構成例的區塊圖。
[圖6]再生裝置之偏置生成處理的說明用流程圖。
[圖7]影片物件執行時的再生裝置之3D顯示處理的流程圖。
[圖8]記錄裝置之構成例的區塊圖。
[圖9]記錄裝置之記錄處理的說明用流程圖。
[圖10]電腦硬體之構成例的區塊圖。
[圖11]偏置詮釋資料之描述例的圖示。
[圖12]偏置詮釋資料之描述例的圖示。
[圖13]圖1的3D顯示資料生成部之詳細構成例的區塊圖。
[圖14]3D顯示資料中的重疊順序的說明圖。
Claims (14)
- 一種再生裝置,其特徵為,當在再生含有:所定之字幕或選單鈕亦即字幕選單的串流亦即字幕選單串流的封包;和已被編碼之主影像的串流,且為含有相對於前記所定之字幕選單的、3D顯示時所被使用之左眼用字幕選單與右眼用字幕選單之偏移方向及偏移量所成之偏置資訊的串流亦即視訊串流的封包;且前記視訊串流的封包的資料部中係僅配置有,已被編碼之前記主影像的視訊資料或前記偏置資訊之任一方;在前記視訊串流的封包的標頭中係描述有旗標資訊,其係用來表示被配置在該封包之前記資料部的資料是前記已被編碼之主影像的視訊資料、還是前記偏置資訊用的資訊;之此種資料結構的資料時,具備:讀出手段,係將前記字幕選單串流及前記視訊串流的封包,予以讀出;和抽出手段,係基於已被前記讀出手段所讀出之前記封包的前記標頭中所描述的前記旗標資訊,而在該封包當中,把前記偏置資訊是被配置在前記資料部的封包,予以抽出;和 生成手段,係基於已被前記抽出手段所抽出之前記封包的前記資料部中所被配置的前記偏置資訊,而根據前記字幕選單串流的封包,生成出前記左眼用字幕選單的視訊資料與前記右眼用字幕選單的視訊資料;和解碼手段,係基於已被前記讀出手段所讀出之前記封包的前記標頭中所被描述的前記旗標資訊,而將該封包之前記資料部中所含之前記已被編碼之主影像的視訊資料,予以解碼。
- 如申請專利範圍第1項所記載之再生裝置,其中,前記視訊串流係為,以MVC(Multi-view Video coding)方式編碼過的右眼用或左眼用之任一方的前記主影像之串流;前記資料係還含有另一方前記主影像之視訊串流。
- 如申請專利範圍第1項所記載之再生裝置,其中,在前記偏置資訊中,係為了使該偏置資訊的部分或全部不會呈現所定的代碼,而在一部分中含有所定之資訊。
- 一種再生方法,其特徵為,將含有:所定之字幕或選單鈕亦即字幕選單的串流亦即字幕選單串流的封包;和已被編碼之主影像的串流,且為含有相對於前記所定之字幕選單的、3D顯示時所被使用之左眼用字幕選單與右眼用字幕選單之偏移方向及偏移量所成之偏置資訊的串流亦即視訊串流的封包; 且前記視訊串流的封包的資料部中係僅配置有,已被編碼之前記主影像的視訊資料或前記偏置資訊之任一方;在前記視訊串流的封包的標頭中係描述有旗標資訊,其係用來表示被配置在該封包之前記資料部的資料是前記已被編碼之主影像的視訊資料、還是前記偏置資訊用的資訊;之資料結構的資料進行再生的再生裝置,係含有:讀出步驟,係將前記字幕選單串流及前記視訊串流的封包,予以讀出;和抽出步驟,係基於已被前記讀出步驟之處理所讀出之前記封包的前記標頭中所描述的前記旗標資訊,而在該封包當中,把前記偏置資訊是被配置在前記資料部的封包,予以抽出;和生成步驟,係基於已被前記抽出步驟之處理所抽出之前記封包的前記資料部中所被配置的前記偏置資訊,而根據前記字幕選單串流的封包,生成出前記左眼用字幕選單的視訊資料與前記右眼用字幕選單的視訊資料;和解碼步驟,係基於已被前記讀出步驟之處理所讀出之前記封包的前記標頭中所被描述的前記旗標資訊,而將該封包之前記資料部中所含之前記已被編碼之主影像的視訊資料,予以解碼。
- 一種程式,其特徵為, 用來使執行含有:所定之字幕或選單鈕亦即字幕選單的串流亦即字幕選單串流的封包;和已被編碼之主影像的串流,且為含有相對於前記所定之字幕選單的、3D顯示時所被使用之左眼用字幕選單與右眼用字幕選單之偏移方向及偏移量所成之偏置資訊的串流亦即視訊串流的封包;且前記視訊串流的封包的資料部中係僅配置有,已被編碼之前記主影像的視訊資料或前記偏置資訊之任一方;在前記視訊串流的封包的標頭中係描述有旗標資訊,其係用來表示被配置在該封包之前記資料部的資料是前記已被編碼之主影像的視訊資料、還是前記偏置資訊用的資訊;之資料結構的資料之再生控制的電腦,執行含有以下的處理:讀出步驟,係將前記字幕選單串流及前記視訊串流的封包,予以讀出;和抽出步驟,係基於已被前記讀出步驟之處理所讀出之前記封包的前記標頭中所描述的前記旗標資訊,而在該封包當中,把前記偏置資訊是被配置在前記資料部的封包,予以抽出;和生成步驟,係基於已被前記抽出步驟之處理所抽出之前記封包的前記資料部中所被配置的前記偏置資訊,而根 據前記字幕選單串流的封包,生成出前記左眼用字幕選單的視訊資料與前記右眼用字幕選單的視訊資料;和解碼步驟,係基於已被前記讀出步驟之處理所讀出之前記封包的前記標頭中所被描述的前記旗標資訊,而將該封包之前記資料部中所含之前記已被編碼之主影像的視訊資料,予以解碼。
- 一種資料結構,其特徵為,含有:所定之字幕或選單鈕亦即字幕選單的串流亦即字幕選單串流的封包;和已被編碼之主影像的串流,且為含有相對於前記所定之字幕選單的、3D顯示時所被使用之左眼用字幕選單與右眼用字幕選單之偏移方向及偏移量所成之偏置資訊的串流亦即視訊串流的封包;且前記視訊串流的封包的資料部中係僅配置有,已被編碼之前記主影像的視訊資料或前記偏置資訊之任一方;在前記視訊串流的封包的標頭中係描述有旗標資訊,其係用來表示被配置在該封包之前記資料部的資料是前記已被編碼之主影像的視訊資料、還是前記偏置資訊用的資訊。
- 如申請專利範圍第6項所記載之資料結構,其中,前記視訊串流係為,以MVC(Multi-view Video coding)方式編碼過的右眼用或左眼用之任一方的前記主 影像之串流;還含有另一方前記主影像之視訊串流。
- 如申請專利範圍第6項所記載之資料結構,其中,在前記偏置資訊中,係為了使該偏置資訊的部分或全部不會呈現所定的代碼,而在一部分中含有所定之資訊。
- 一種記錄媒體,其特徵為,係被記錄有,如申請專利範圍第6項乃至第8項之任一項所記載之資料結構的資料。
- 一種記錄裝置,其特徵為,具備:編碼手段,係將主影像的視訊資料予以編碼;和生成手段,係以使得已被前記編碼手段所編碼之前記視訊資料、和相對於所定之字幕或選單鈕亦即字幕選單的、3D顯示時所被使用之左眼用字幕選單與右眼用字幕選單之偏移方向及偏移量所成之偏置資訊不會被包含在同一封包內的方式,而生成封包,在其標頭中描述有旗標資訊其係用來表示前記偏置資訊是被配置在資料部、被配置在該資料部之資料係為前記偏置資訊之事實,並且生成封包,在其標頭中描述有旗標資訊其係用來表示前記已被編碼之視訊資料是被配置在資料部、被配置在該資料部之資料係為前記已被編碼之視訊資料之事實;和記錄控制手段,係使前記封包被記錄在記錄媒體。
- 如申請專利範圍第10項所記載之記錄裝置,其中,前記編碼手段,係以MVC(Multi-view Video coding)方式,將左眼用前記主影像或右眼用前記主影像的視訊資料,予以編碼。
- 如申請專利範圍第10項所記載之記錄裝置,其中,在前記偏置資訊中,係為了使該偏置資訊的部分或全部不會呈現所定的代碼,而在一部分中含有所定之資訊。
- 一種記錄方法,其特徵為,記錄裝置係含有:編碼步驟,係將主影像的視訊資料予以編碼;和生成步驟,係以使得已被前記編碼步驟之處理所編碼之前記視訊資料、和相對於所定之字幕或選單鈕亦即字幕選單的、3D顯示時所被使用之左眼用字幕選單與右眼用字幕選單之偏移方向及偏移量所成之偏置資訊不會被包含在同一封包內的方式,而生成封包,在其標頭中描述有旗標資訊其係用來表示前記偏置資訊是被配置在資料部、被配置在該資料部之資料係為前記偏置資訊之事實,並且生成封包,在其標頭中描述有旗標資訊其係用來表示前記已被編碼之視訊資料是被配置在資料部、被配置在該資料部之資料係為前記已被編碼之視訊資料之事實;和記錄控制步驟,係使前記封包被記錄在記錄媒體。
- 一種程式,其特徵為,係用以令電腦執行含有以下之處理:編碼步驟,係將主影像的視訊資料予以編碼;和生成步驟,係以使得已被前記編碼步驟之處理所編碼 之前記視訊資料、和相對於所定之字幕或選單鈕亦即字幕選單的、3D顯示時所被使用之左眼用字幕選單與右眼用字幕選單之偏移方向及偏移量所成之偏置資訊不會被包含在同一封包內的方式,而生成封包,在其標頭中描述有旗標資訊其係用來表示前記偏置資訊是被配置在資料部、被配置在該資料部之資料係為前記偏置資訊之事實,並且生成封包,在其標頭中描述有旗標資訊其係用來表示前記已被編碼之視訊資料是被配置在資料部、被配置在該資料部之資料係為前記已被編碼之視訊資料之事實;和記錄控制步驟,係使前記封包被記錄在記錄媒體。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009189109 | 2009-08-18 | ||
| JP2010114578A JP4957831B2 (ja) | 2009-08-18 | 2010-05-18 | 再生装置および再生方法、並びに記録装置および記録方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201123845A TW201123845A (en) | 2011-07-01 |
| TWI519125B true TWI519125B (zh) | 2016-01-21 |
Family
ID=43606984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW099126629A TWI519125B (zh) | 2009-08-18 | 2010-08-10 | A reproducing apparatus and a reproducing method, a data structure, a recording medium, a recording apparatus and a recording method, and a program |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8488950B2 (zh) |
| EP (1) | EP2337368B1 (zh) |
| JP (1) | JP4957831B2 (zh) |
| CN (4) | CN103024411A (zh) |
| BR (1) | BRPI1005179A2 (zh) |
| RU (1) | RU2522040C2 (zh) |
| TW (1) | TWI519125B (zh) |
| WO (1) | WO2011021529A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2953336T3 (es) | 2012-09-26 | 2023-11-10 | Sun Patent Trust | Método de decodificación de imagen, dispositivo de decodificación de imagen y medio legible por ordenador |
| US10554981B2 (en) * | 2016-05-10 | 2020-02-04 | Qualcomm Incorporated | Methods and systems for generating regional nesting messages for video pictures |
| US11398077B2 (en) * | 2016-10-06 | 2022-07-26 | Sony Corporation | Reproducing device, reproducing method, recording device, recording method, reproducing/recording device, and reproducing/recording method for display of a 3D model arranged in a space recreated by a free visual point moving image stream |
| TWI595771B (zh) * | 2016-10-20 | 2017-08-11 | 聚晶半導體股份有限公司 | 影像深度資訊的優化方法與影像處理裝置 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11289555A (ja) * | 1998-04-02 | 1999-10-19 | Toshiba Corp | 立体映像表示装置 |
| MXPA04002722A (es) * | 2001-09-26 | 2005-11-04 | Interact Devices Inc | Sistema y metodo para comunicar senales de medios. |
| CN100487807C (zh) * | 2002-10-04 | 2009-05-13 | Lg电子有限公司 | 有管理图形数据再现的数据结构的录制介质及录制与再现方法和装置 |
| US8041179B2 (en) * | 2003-02-24 | 2011-10-18 | Lg Electronics Inc. | Methods and apparatuses for reproducing and recording still picture and audio data and recording medium having data structure for managing reproduction of still picture and audio data |
| JP2004274125A (ja) * | 2003-03-05 | 2004-09-30 | Sony Corp | 画像処理装置および方法 |
| KR100585966B1 (ko) | 2004-05-21 | 2006-06-01 | 한국전자통신연구원 | 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법 |
| CN101053031A (zh) | 2004-10-07 | 2007-10-10 | 松下电器产业株式会社 | 信息存储介质、ts分组判断设备以及数据再现设备 |
| KR100747489B1 (ko) * | 2005-04-13 | 2007-08-08 | 한국전자통신연구원 | 3차원 메쉬 정보의 부호화/복호화 방법 및 장치 |
| CN100377578C (zh) * | 2005-08-02 | 2008-03-26 | 北京北大方正电子有限公司 | 一种电视字幕文字的处理方法 |
| JP4463215B2 (ja) * | 2006-01-30 | 2010-05-19 | 日本電気株式会社 | 立体化処理装置及び立体情報端末 |
| JP2009100070A (ja) * | 2007-10-15 | 2009-05-07 | Victor Co Of Japan Ltd | 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム |
| JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
| WO2009083863A1 (en) | 2007-12-20 | 2009-07-09 | Koninklijke Philips Electronics N.V. | Playback and overlay of 3d graphics onto 3d video |
| JP4985807B2 (ja) * | 2009-04-15 | 2012-07-25 | ソニー株式会社 | 再生装置および再生方法 |
| JP2010268431A (ja) * | 2009-04-15 | 2010-11-25 | Sony Corp | データ構造、記録媒体、再生装置および再生方法、並びにプログラム |
| WO2010143439A1 (ja) * | 2009-06-12 | 2010-12-16 | パナソニック株式会社 | 再生装置、集積回路、記録媒体 |
| ES2649556T3 (es) | 2009-07-10 | 2018-01-12 | Panasonic Intellectual Property Management Co., Ltd. | Dispositivo de reproducción, procedimiento de registro y sistema que comprende un medio de registro y un dispositivo de reproducción |
| US8270807B2 (en) * | 2009-07-13 | 2012-09-18 | Panasonic Corporation | Recording medium, playback device, and integrated circuit |
| KR20110018261A (ko) * | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치 |
| JP2011239169A (ja) | 2010-05-10 | 2011-11-24 | Sony Corp | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
-
2010
- 2010-05-18 JP JP2010114578A patent/JP4957831B2/ja active Active
- 2010-08-10 RU RU2011114117/08A patent/RU2522040C2/ru not_active IP Right Cessation
- 2010-08-10 CN CN2012104593011A patent/CN103024411A/zh active Pending
- 2010-08-10 WO PCT/JP2010/063513 patent/WO2011021529A1/ja not_active Ceased
- 2010-08-10 US US13/122,898 patent/US8488950B2/en not_active Expired - Fee Related
- 2010-08-10 BR BRPI1005179A patent/BRPI1005179A2/pt active Search and Examination
- 2010-08-10 EP EP10809874.0A patent/EP2337368B1/en active Active
- 2010-08-10 TW TW099126629A patent/TWI519125B/zh not_active IP Right Cessation
- 2010-08-10 CN CN201210460940.XA patent/CN103024412B/zh not_active Expired - Fee Related
- 2010-08-10 CN CN201080002896.7A patent/CN102177725B/zh not_active Expired - Fee Related
- 2010-08-10 CN CN2012100458665A patent/CN102611905A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP2337368A1 (en) | 2011-06-22 |
| EP2337368A4 (en) | 2013-06-12 |
| CN102611905A (zh) | 2012-07-25 |
| RU2522040C2 (ru) | 2014-07-10 |
| RU2011114117A (ru) | 2012-10-20 |
| US20110194844A1 (en) | 2011-08-11 |
| JP4957831B2 (ja) | 2012-06-20 |
| JP2011066872A (ja) | 2011-03-31 |
| TW201123845A (en) | 2011-07-01 |
| CN103024412B (zh) | 2015-10-28 |
| CN102177725A (zh) | 2011-09-07 |
| US8488950B2 (en) | 2013-07-16 |
| CN102177725B (zh) | 2014-03-12 |
| EP2337368B1 (en) | 2015-11-04 |
| WO2011021529A1 (ja) | 2011-02-24 |
| CN103024411A (zh) | 2013-04-03 |
| CN103024412A (zh) | 2013-04-03 |
| BRPI1005179A2 (pt) | 2016-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5191020B1 (ja) | 再生装置、記録媒体、および情報処理方法 | |
| TWI428016B (zh) | A playback device, a playback method, and a recording method | |
| TWI458337B (zh) | Information processing apparatus, information processing method, reproducing apparatus, and reproducing method | |
| JP5267886B2 (ja) | 再生装置、記録媒体、および情報処理方法 | |
| JP4957823B2 (ja) | 再生装置および再生方法 | |
| CN103155577A (zh) | 显示装置和信号处理装置及其方法 | |
| JP2013511199A (ja) | ビデオ付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法及びその装置、並びに受信方法及びその装置 | |
| TW201041390A (en) | Recording device, recording method, reproduction device, reproduction method, recording medium, and program | |
| TWI519125B (zh) | A reproducing apparatus and a reproducing method, a data structure, a recording medium, a recording apparatus and a recording method, and a program | |
| TWI479879B (zh) | Data structure and recording medium, and reproducing apparatus, reproducing method, program, and program storage medium | |
| JP4984190B2 (ja) | 再生装置および再生方法、並びに、記録装置および記録方法 | |
| HK1172177A (zh) | 再现设备和再现方法、记录设备和记录方法以及程序 | |
| JP4985893B2 (ja) | 記録方法 | |
| JP4985884B2 (ja) | 再生装置、再生方法、および記録方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |