TWI491245B

TWI491245B - 包括３ｄ串流和３ｄ覆蓋圖形的立體３ｄ視訊資訊之顯示方法及其複製裝置和著作方法及其媒體源器

Info

Publication number: TWI491245B
Application number: TW101102327A
Authority: TW
Inventors: Jobst Hoerentrup
Original assignee: Thomson Licensing
Priority date: 2011-03-01
Filing date: 2012-01-20
Publication date: 2015-07-01
Also published as: EP2681918B1; CN103503445A; EP2495979A1; US9547928B2; WO2012116900A1; US20130335412A1; EP2681918A1; CN103503445B; KR20140020941A; JP5948354B2; TW201238327A; JP2014511625A

Description

包括3D串流和3D覆蓋圖形的立體3D視訊資訊之顯示方法及其複製裝置和著作方法及其媒體源器

本發明係關於一種包括3D視訊串流和3D覆蓋圖形的立體3D視訊資訊之著作方法和裝置。本發明又關於如此立體3D視訊資訊之展示方法和裝置。

邇來立體3D電影票房的成功，也把3D視訊帶進家庭娛樂。第一個可行的解決方案是藍光3D格式。3D電影最好在內部展示所謂舒適區。舒適區的決定仍然是積極研究的區域。典型上，舒適區記載在z-空間內之間距，從顯示幕背後某處，延伸到顯示幕前觀賞者最短距離。決定此舒適區之一選項，是所謂1/3屈光度原則。又，按照1/3屈光度原則，舒適區範圍視觀賞者或使用者與顯示幕間之距離而定。舒適區外的3D元素複製，應限於特殊場景，且應細心為之，以免使用者不舒適。

藍光3D格式不但支持立體3D視訊，亦支持立體3D輔助資訊，諸如立體3D互應用途，像使用者表單，最好以爪哇程式規劃語言書寫。

互應式表單容許使用者選擇某一場景、不同音軌等。又，在立體複製時可增加3D副標題或資訊文本。如此資訊典型上展示在主要視訊串流之前，即稱為覆蓋圖形。

一項技術挑戰以提供愉快3D使用者經驗的是，協調視覺非視訊元素，即覆蓋圖形，諸如上述互應式表單，與z-空間內之主要視訊串流。一般而言，應避免所謂深度衝突，而覆蓋圖形應置於3D主要視訊串流之前。最好是，如有可能，把互應式圖形置於副標題之前。深度衝突發生在例如主要視訊串流和使用者表單之間，若二要素至少有部份在z-空間內取得同樣位置。在如此衝突面積，使用者觀看經驗會不愉快。

WO 2009/083863 A1揭示一種展示在3D主要視訊串流之前的3D覆蓋圖形顯示方法。為防止深度衝突所致之閉塞，把z-空間內之可得深度範圍，分裂成分開之副範圍。z-空間內之各副範圍保存供覆蓋資料、主要視訊串流、副標題等。

本發明之目的，在於提供一種包括3D視訊串流和3D覆蓋圖形的立體3D視訊資訊之顯示方法，複製裝置，包括複製裝置的立體3D視訊資訊之顯示系統，以及得以更舒適且更彈性複製3D視訊資訊之媒體源器。

按照本發明第一要旨，包括3D視訊串流和3D覆蓋圖形的立體3D視訊資訊之顯示方法，包括下列步驟： (a)從包括3D視訊串流和3D覆蓋圖形的媒體源器，檢復與3D視訊串流關聯之衝突間距集合，其中提供衝突間距集合，連同立體3D視訊資訊，又其中衝突間距對於3D視訊串流之某些時間編碼，表示3D視訊串流與3D覆蓋圖形的參考平面間之深度衝突，或在3D覆蓋圖形與著作過程中所界定舒適區之間存在深度衝突；以及 (b)對位於衝突間距之一的3D視訊串流之時間編碼，適應展示3D視訊串流或展示3D覆蓋圖形，以解決相對應之深度衝突。

為實施本發明方法，把包括3D視訊串流和3D覆蓋圖形的立體3D視訊資訊顯示用複製裝置，構成： (a)從包括3D視訊串流和3D覆蓋圖形的媒體源器，檢復與3D視訊串流關聯之衝突間距集合，其中提供衝突間距集合，連同立體3D視訊資訊，又其中衝突間距對於3D視訊串流之某些時間編碼，表示3D視訊串流與3D覆蓋圖形的參考平面間之深度衝突，或在3D覆蓋圖形與著作過程中所界定舒適區之間存在深度衝突；以及 (b)對位於衝突間距之一的3D視訊串流之時間編碼，適應展示3D視訊串流或展示3D覆蓋圖形，以解決相對應之深度衝突。

按照本發明，衝突間距集合交給複製裝置。若z-空間內之深度為了3D視訊串流之任何特點，與z-空間內之參考平面衝突，在3D覆蓋圖形和參考平面之間，即有深度衝突存在。同理，若z-空間內之深度為了3D覆蓋圖形之任何特點，在舒適區之外，在3D覆蓋圖形和舒適區之間，即有深度衝突存在。3D視訊串流或3D覆蓋圖形之複製，適於位在衝突間距之一內的3D視訊串流之時間編碼，以解決3D視訊串流的展示與參考平面間之深度衝突。本發明之解決方案，即可避免展示3D視訊串流或3D覆蓋圖形用之固定深度空間。此靜態解決方案，亦可改為適應展示主要視訊串流或覆蓋圖形，以防使用者不舒適。宜以每圖幅為基礎，或按預定時間間距，避免深度衝突，只要單純核對衝突間距集合即可。

最好是從包括3D視訊串流和3D覆蓋圖形之媒體源器，檢復衝突間距集合。為此目的，媒體源器除3D視訊串流和3D覆蓋圖形外，包括衝突間距集合。衝突間距集合表示在3D視訊串流和3D覆蓋圖形參考平面尖，或3D覆蓋圖形和舒適區間有深度衝突存在之那些間距。宜在著作3D視訊串流和3D覆蓋圖形之際，決定衝突間距集合，並儲存在媒體源器上。

適應展示3D覆蓋圖形之步驟，宜包括決定移動參考平面，與衝突間距的起初參考平面不同，其中為移動參考平面選擇在z-空間內之位置，以解決深度衝突。如此一來，即可避免閉塞和假象，因為覆蓋圖形置於3D視訊串流之前。參考平面最好移動回到其起初位置，如果視訊深度資訊表示主要視訊串流之三維度展示深度，不再超過參考平面。又最好是從衝突間距集合，取消各衝突間距。

適應展示3D覆蓋圖形之步驟，宜包括改變3D覆蓋圖形之z-空間擴充，以解決3D覆蓋圖形與舒適區間之深度衝突。藉動態調節3D覆蓋資料之深度，可衛護最佳使用者體驗。一方面，使用者享受覆蓋資料之3D展示，另方面不超越舒適區，保證可舒適觀看經驗。

另外，適應展示3D覆蓋圖形之步驟，包括交換3D覆蓋圖形或3D視訊串流之展示模態，從立體3D模態換成平攤2D模態。藉交換展示模態，從較佳3D模態成為2D或平攤展示模態，即可避免3D覆蓋圖形和3D視訊串流間之深度衝突。若3D視訊串流之展示模態交換成2D或平攤展示模態，即會犧牲主要視訊串流之3D效果一段時間。然而，此尚可接受，因為主要使用者焦點同樣會在3D覆蓋圖形，而非視訊串流。展示模態最好在視訊串流的稍後轉時(runtime)交換回到3D展示。若各衝突間距表示視訊串流之3D展示不再超過參考平面，或違反舒適區，即如此進行。3D視訊效果只有在必要時才犧牲，即最短時間。使用者盡量享有主要視訊串流之3D展示，以及覆蓋圖形之3D展示。

按照本發明另一要旨，適應展示3D覆蓋圖形之步驟，包括為3D覆蓋圖形之至少一部份，適應透通性數值。透通性數值最好適應造成深度衝突之一部份3D覆蓋圖形。覆蓋圖形之至少衝突部份，宜更具透通性或甚至不可見性，以便不致干擾視訊串流之展示。

適應展示3D覆蓋圖形之步驟，宜包括延遲使用者要求展示3D覆蓋資料，直到衝突間距結束。使用者表單往往組織成所謂上托表單，因使用者命令而作動。在特殊情況下，使用者嘗試開啟此等表單和最好是圖形指示器，諸如沙漏等指示短時間後會開啟各表單。因此，主要視訊串流的全深度和3D表單用之合理深度均屬可能，因為視訊串流的稍後轉時即不會發生任何深度衝突。

按照本發明另一要旨，包括3D視訊串流和3D覆蓋圖形的立體3D視訊資訊之著作方法，包括如下步驟：(a)決定z-空間內深度範圍，為複數時間編碼，立體展示3D視訊串流； (b)決定z-空間內參考平面，供放置3D覆蓋圖形，減少3D視訊串流與參考平面間之深度衝突；(c)界定包圍顯示幕平面並包括參考平面之舒適區，其中舒適區特定z-空間內之深度範圍，供較佳展示立體3D視訊資訊；(d)決定是否為各時間編碼，在參考平面和3D視訊串流之間，保留有深度衝突，和/或是否為各時間編碼，在舒適區和3D覆蓋圖形之間，存在深度衝突；(e)決定各時間編碼所界定之衝突間距集合，該時間編碼係在參考平面和3D視訊串流之間保留深度衝突，和/或在舒適區和3D覆蓋圖形之間存在深度衝突；以及(f)把衝突間距集合儲存在包括3D視訊串流和3D覆蓋圖形之媒體源器上。

同理，包括3D視訊串流和3D覆蓋圖形的立體3D視訊資訊之著作裝置，構成：(a)決定z-空間內深度範圍，為複數時間編碼，立體展示3D視訊串流；(b)決定z-空間內參考平面，供放置3D覆蓋圖形，減少3D視訊串流與參考平面間之深度衝突；(c)界定包圍顯示幕平面並包括參考平面之舒適區，其中舒適區特定z-空間內之深度衝突，供較佳展示立體3D視訊資訊；(d)決定是否為各時間編碼，在參考平面和3D視訊串流之間，保留有深度衝突，和/或是否為各時間編碼，在舒適區和3D覆蓋圖形之間，存在深度衝突；(e)決定各時間編碼所界定之衝突間距集合，該時間編碼係在參考平面和3D視訊串流之間保留深度衝突，和/或在舒適區和3D覆蓋圖形之間存在深度衝突；以及(f)把衝突間距集合儲存在包括3D視訊串流和3D覆蓋圖形之媒體源器上。

在第一步驟中，為複數時間編碼，決定z-空間內之深度範圍，供立體展示3D視訊串流。深度範圍之決定，可從立體成對形像，利用不勻稱估計進行，以電腦發生之內容而言，亦可從3維度虛擬環境衍生。再將參考平面設定於z-空間內某一點。3D覆蓋圖形展示在z-空間內之深度間距，從參考平面至朝向觀看者的上臨限值。參考平面的設定方式是，避免3D視訊串流與參考平面間之深度衝突至某一程度。此外，界定包圍顯示幕平面並包括參考平面之舒適區。舒適區界定z-空間內之深度範圍，供較佳展示立體3D視訊資訊。其次，決定參考平面與3D視訊串流間之剩餘深度衝突，其中若為3D視訊串流的任何特點之z-空間內深度，與z-空間內之參考平面衝突，則3D覆蓋圖形與參考平面間即有深度衝突存在。另外或附加決定舒適區與3D覆蓋圖形間之深度衝突，其中若3D覆蓋圖形之任何特點，在z-空間內與朝向觀看者的舒適區上臨限值衝突，則舒適區與3D覆蓋圖形之間即有深度衝突存在。所測定衝突間距即添加於衝突間距集合。

本發明其他要旨，由如下參照附圖所示具體例之說明，即可明白。

第1圖表示立體3D主要視訊串流VS的深度Z，經時間t之變化。陰影區表示覆蓋圖形OD展示範圍之深度。視訊串流VS的最小深度值Zv,min(t)和最大深度值Zv,max(t)雖然經時間變化，但覆蓋圖形OD展示的深度範圍，卻經時一定不變。展示覆蓋圖形OD之深度範圍，在深度Zref開始，此表示參考平面的z-空間內之深度值，而在舒適區的最小值Zcomfort,min結束。一般而言，視訊資訊之複製，最好位在顯示幕Zscreen深度周圍。3D視訊資訊最好位在舒適區內，即以其在z-空間內之最小深度Zcomfort,min和其最大深度Zcomfort,max界定。

舒適區考慮到愉快的3D觀看經驗之層面。z-空間內舒適區之邊界，可為經驗數值。另一選項是舒適區的界定，借助1/3屈光度原則和參考觀看環境。此旨在限制會聚性-容納性衝突。舒適區說明顯示幕位置Zscreen周圍z-空間內間距，即使用者3D TV。從顯示幕背後某處，延伸到顯示幕前方某處。舒適區又視使用者和顯示幕間之距離而定。3D元素置於舒適區外，應有限制，小心為之，以免使用者不舒適。

雖然在t₁ 前之一段時間，視訊串流VS和覆蓋圖形OD二者均展示在可行之舒適區內，到t₁ 時深度衝突出現。如此深度衝突會導致使用者不舒適。在稍後時間t₂ ，主要視訊串流VS之深度回到參考平面Zref的深度背後，解決了深度衝突。然而，在時間跨距t₁ -t₂ 內，使用者會有不愉快的觀看經驗。又如第1圖所示，在大多數時間，覆蓋圖形OD位在更靠近觀難者，超出必要以上。易言之，在視訊串流VS的最小距離Zv,min(t)和參考平面的深度Zref之間，留下z-空間。在立體3D展示上，需將非視訊圖形元素位在盡量接近顯示幕平面，以減少所謂鬼影假象。從技術觀點，此等為左-右頻道間之串訊效果。

第2圖表示參考平面的時間依賴性定位Zref(t)。此圖又表示主要視訊串流VS和覆蓋圖形OD之深度範圍，視為時間依賴性數值。參考平面Zref定位在更靠近顯示幕深度Zscreen，最好是一致。其優點是減少鬼影效果，且更有利於會聚性-容納性衝突。最後，又容許延伸z-空間以展示3D覆蓋圖形。然而，在t₁ ，覆蓋圖形OD和立體3D主要視訊串流VS之間，發生深度衝突。

參考平面的z-空間位置Zref(t)係經時變化，且適應視訊串流VS複製之深度，在t₁ 和t₄ 之間，是以遵循主要視訊串流VS的最小距離Zv,min(t)之虛線表示。參考平面Zref之適應，例如在著作之際，最好是以按圖幅的基礎進行。然而，在複製之際，同樣可以飛馳進行。在此情況下，深度範圍為覆蓋圖形OD之相對適應頻率和準確性，可因不同系統而異。在即時能力系統內，可以按圖幅的基礎更新，導致最佳使用者經驗。然而，以互應式用途必須在非即時爪哇平台上實施之情況下，深度調節不會與視訊圖幅完美同步。消費者設備內嵌式過程之計算功率，也受到限制。在如此情況下，不可能對主要視訊串流之各圖幅進行深度更新，在時機上不會準確。然而，即使低於按圖幅更新頻率和可能時機不完美的調節，使用者經驗仍然遠比無任何調節為佳。又，程式設計師/著作者可預見參考平面位置Zref(t)和主要視訊串流的最小深度Zv,min(t)間之安全邊緣，考慮到參考平面Zref(t)的更新，不按圖幅基礎為之。

在第2圖t₁ 和t₂ 之間，移動參考平面Zref(t)，避免主要視訊串流VS和覆蓋圖形OD間之深度衝突。然而，在t₂ ，覆蓋資料的最小深度ZOD,min(t)，與舒適區的最小深度Zcomfort,min衝突。為了不超過舒適區，把展示覆蓋區之深度範圍減小，到參考平面Zref(t)和舒適區最小深度Zcomfort,min間之可行深度。因此，在t₂ 和t₃ 之間，供展示覆蓋圖形OD之深度範圍，壓平到較低深度，而在t₃ ，解決了展示覆蓋圖形OD和最小舒適區Zcomfort,min間之深度衝突，而覆蓋圖形可回到其原先深度。在t₄ ，主要視訊串流VS深度退回到參考平面Zref(t)背後，而覆蓋圖形OD之展示回到其原先深度。

為了動態深度調節，可以不同方式檢復必要的資料，利用個別用途或個別複製裝置，以回放立體3D視訊資訊。媒體時間，即主要視訊之轉時或時間編碼，通常可透過應用程式規劃界面(API)檢復。z-空間內參考平面之位置，亦可經由API在應用轉時檢復，或透過資料檔提供給應用。衝突間距表單可遞交給複製單位。對於主要視訊串流之某一轉時，例如在使用者要求展示3D表單時，複製裝置核對衝突間距列表。若必須避免深度衝突，即進行適當抗衡措施。

第3圖表示本發明另一具體例。開始腳本可與第1圖相較，即參考平面Zref和供展示覆蓋資料OD之深度範圍一定不變。在t₁ 之前，展示視訊串流VS和覆蓋資料OD之間，不發生深度衝突。然而，在t₁ 和t₂ 間之一段時間當中，會有深度衝突。為避免此事，視訊串流VS只以平攤(2D)視訊顯示。若主要視訊串流VS的深度資訊，即衝突間距列表，表示目前深度衝突已過去，即在t₂ 的情況，則展示模態切換回到3D模態。當然，同樣可把覆蓋圖形OD的展示模態切換到平攤2D模態。為此目的，複製裝置最好對個別應用提供API，以切換其展示模態。顯然，在t₁ 和t₂ 之間，參考平面之位置Zref，可例如藉選擇內容著作者，而在顯示幕深度Zscreen和舒適區最小深度Zcomfort,min之間自由選擇。最好是經時間一定不變，並接近顯示幕深度Zscreen。t₁ 和t₂ 最好界定為Zv,min(t)等於Zref(t)的時間。然而，t₁ 亦可選用較小，而t₂ 可選用較大。

第3圖具體例之優點是，容易實現，因為z-空間內的參考平面位置Zref不需更新。互應式應用3D深度不必調節。

第4圖表示本發明又一具體例，其中覆蓋圖形OD是所謂上托表單。在時間t_pop-up (此時視訊串流VS仍然以3D模態播放)，由使用者作動所觸發，預計打開上托表單。然而，由第4圖顯示，此舉會造成主要視訊串流VS和覆蓋圖形OD間之深度衝突。按照具體例，使用者命令延遲一段時間t_delay ，此時使用者可顯示圖形指示器、沙漏等，以指示即將來的使用者命令。此項延遲時間到時間t₁ 屆止，此時解決了深度衝突。易言之，選用延遲時間t_delay 大到足以防止時間衝突。衝突間距結束時，上托表單即以3D展示。

按照本發明另一要旨，參照第5和6圖說明二具體例。第5圖表示類似第1和2圖之腳本。在t₁ 和t₂ 之間，呈現主要視訊串流VS與覆蓋圖形OD間之深度衝突。為解決此深度衝突，令至少一部份覆蓋圖形呈透明。最好只有是造成與主要視訊串流呈深度衝突的覆蓋圖形各部份或圖元呈透明。在第5圖中，此係以VS(在t₁ 和t₂ 間)之區域與表示展示覆蓋圖形OD之陰影區域間交叉圖示。最好是覆蓋圖形或其一部份設定完全透明，以便不干擾到主要視訊串流VS之可視性。易言之，覆蓋資料部份或完全消失。主要視訊串流VS之展示為優先。另外，以完全透明方式描繪覆蓋圖形資訊OD，可決定改為全部除去3D圖形輸出之各部份。

按照第6圖，於t₁ 和t₄ 中間，在展示主要視訊串流VS和展示覆蓋圖形OD之間有衝突。在t₂ 和t₃ 之間，發生特別衝突。主要視訊串流VS例如由於需要特殊效果，觸犯舒適區之最小深度Zcomfort,min。因此，絲毫未留有空間供展示覆蓋圖形OD。故覆蓋圖形OD的展示深度會縮減至平攤2D展示，最好是位在舒適區最小深度Zcomfort,min處。另外，覆蓋圖形OD可在各時間間距呈透明。

雖然本發明已參照特定具體例說明如上，惟不限於此具體例，無疑地，凡精於此道之士可在本發明所請求申請專利範圍內，進行進一步變化。

OD‧‧‧覆蓋圖形

t‧‧‧歷經時間

VS‧‧‧立體3D主要視訊串流

Z‧‧‧深度

Zcomfort,max‧‧‧舒適區最大深度

Zcomfort,min‧‧‧舒適區最小深度

ZOD,min(t)‧‧‧覆蓋資料最小深度

Zref(t)‧‧‧參考平面深度

Zscreen‧‧‧顯示幕位置周圍z-空間內之間距

Zv,max(t)‧‧‧視訊串流最大距離

Zv,min(t)‧‧‧視訊串流最小距離

第1圖為表示立體3D視訊串流如何經時變化，以及複製主要3D視訊串流與3D覆蓋圖形之間引起深度衝突之曲線圖；第2圖表示適應參考平面在z-空間內位置，和減少展示覆蓋圖形之深度範圍；第3圖表示主要視訊串流展示從3D模態交換為2D模態之具體例；第4圖表示由於深度衝突延遲3D覆蓋圖形複製之具體例；第5圖表示複製主要3D視訊串流和覆蓋圖形之時間依賴性曲線圖，其中藉改變覆蓋圖形的透明值以解決深度衝突；第6圖表示在特別深度衝突情況下，複製主要3D視訊串流和覆蓋圖形之時間依賴性曲線圖。