TW201043001A - Transferring of 3D viewer metadata - Google Patents

Description

201043001 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種處理三維[3D]影像資料以為一觀看者 顯示於一 3D顯示器上的方法。 本發明進一步關於經配置用於處理三維[3 D ]影像資料以 為一觀看者顯示於3D顯示器上的—種3]：)源裝置與—種3D 顯示裝置及一種3D顯示信號。 本發明係關於處理3D影像資料以顯示於一 3D顯示器上 及用於經由一高速數位介面（舉例來說HDMI)在一源3D影 像裝置與一 3D顯示裝置之間傳送此三維影像資料（舉例來 說3D視訊）的領域。 【先前技術】 已知用於發源2D視訊資料之裝置，例如視訊播放器（諸 如DVD播放器）或視訊轉換器，該等裝置提供數位視訊信 號。該源裝置將耦接至一顯示裝置，諸如一電視機或監視 器。自源裝置經由一適當介面（較佳地為一高速數位介 面，諸如HDMI)傳送影像資料。當前正提議用於發源三維 (3D)影像資料之3D增強型裝置。同樣地，正提議用於顯示 3D影像資料之裝置。為了自源裝置傳送3D視訊信號至顯 不裝置’正（舉例來說）基於及相容於現有HDMI標準開發 新高資料速率數位元介面標準。 文件W02008/038205描述用於顯示於一 3D顯示器上之一 3D影像處理的一實例。3D影像信號經處理以在3D顯示器 之分離深度範圍上與圖形資料組合。 145982.doc 201043001 文件美國US 2005/0219239描述用於處理3D影像之—系 統。該系統自一資料庫中之物件的3D資料產生一 3D影像 信號。該3D資料係關於完全模型化物件，即具有三維、妹 構。該系統基於一電腦模擬環境中之物件將一虛擬相機放 置於一 3D世界中及產生用於一特定觀看組態之一扣信 號。為了產生3D影像信號，使用觀看組態之多種參數，諸 如顯示大小及觀看距離。一資訊獲得單元接收使用者輸 入，諸如使用者與顯示器之間的距離。 ^ 【發咖容】 文件W〇2〇〇8/〇382〇5提供一種3D顯示裝置之一實例，該 3D顯示裝置在處理之後顯示源影像資料以在與其他3D 資料組合時最佳化觀看者體驗。傳統3D影像顯示系統處理 待以一經限制3D深度範圍顯示之源31)影像資料。但是， 當在一特定3D顯示器上顯示源3D影像資料時，3D影像效 果之觀看者體驗可證明為不足，尤其在一不同顯示器上顯 〇 不經配置用於一特定觀看組態之3D影像資料時。 本發月之目的係提供一種系統，該系統用於處理扣影 像資料以在3D影像資料顯示於任何特定3d顯示裝置上時 為觀看者提供一足夠之3d體驗。 對於此目的，根據本發明之一第一態樣，如在[發明所 屬之技術領域]中所描述之方法包括：接收經配置用於— 源空間觀看組態之源3 D影：欠 影像貝料，提供定義3D顯示器之 空間顯示參數的3 D顯千哭；达』.丨 頌不器70資料；提供定義觀看者相對於 3D顯示器之空間觀看來 有/數的觀看者元資料；處理源3D影 145982.doc 201043001 像資料以產生目標3D顯示資料來以一目標空間觀看組態顯 示於3D顯不1§上，該處理包括：取決於3D顯示器元資料 及觀看者元資料而決定目標空間組態；及基於源空間觀看 組態與目標空間觀看組態之間的差異將源3D影像資料轉換 為目標3 D顯示資料。 對於此目的，根據本發明之一進一步態樣，用於處理3 D 影像資料以為一觀看者顯示於一 3D顯示器上的3D影像裝 置包括輸入構件，其用於接收經配置用於一源空間觀看 組態的源3D影像資料；顯示器元資料構件，其用於提供定 義》亥3D顯示器之空間顯示參數的3D顯示器元資料；觀看 者元資料構件，其用於提供定義該觀看者相對於該扣顯示 器之空間觀看參數的觀看者元資料：處理構件，其用於處 理該源3 D影像資料以產生一 3 D顯示信號而以一目標空間 觀看組態顯示於該_貞示器上，該處理構件經配置用於： :二3D...員不器兀貢料及該觀看者元資料而決定該目標 空間組態；及基於該源空間觀看組態與該目標空間觀看組 態之間的差異將該源輝像資料轉換為該目標3D顯示信 -傻二L目的，根據本發明之一進一步態樣，用於提供3C 二貝：以為—觀看者顯示於一3D顯示器上的3D源裝置 “为二入構件，其用於接收經配置用於—源空間觀看組 听/器D影像資料；影像介面構件，其用於與具有該扣 看者二=置介Λ，送，顯示信號;觀 八用於提供疋義該觀看者相對於該3D顯 145982.doc 201043001 示器之空間觀看參數的觀看者元資料；處理構件，其用於 產生4 3D顯示彳s號而以一目標空間觀看組態顯示於該 顯不器上，該處理構件經配置用於使該觀看者元資料包含 於該顯示信號中以可使該3D顯示裝置處理該源3D影像資 料而以一目標空間觀看組態顯示於該31)顯示器上，該處理 包取決於該3D顯示器元資料及該觀看者資料而決定該 目標空間組態；及基於該源空間觀看組態與該目標空間觀 看組態之間的差異將該源卿像資料轉換為該目標3D顯 不信號。 對於此目的，根據本發明之一進—步態樣，卿貝示裝置 包括：一3D顯示器，該3D顯示器用於顯示扣影像資料； 顯不介面構件，其用於與—源扣影像裝置介接以傳送一 3D顯示信號，該源3D影像裝置包括心接收經配置用於 :源空間觀看組態之源卿像資料的輸人構件；觀看者元 資料構件，其用於提供定義該觀看者相對於該3D顯示哭之 ❹ 空間觀看參數的觀看者元資料；處理構件，其用於產生該 糊示信號以顯示於該扣顯示器上，該處理構件經配置 用於經由該顯示介面構件將該犯顯示信號中之該觀看者元 資料傳送至該源卿像裝置，以可使該3DW裝置處理 該影像f料而以—目標空間觀看組態顯示於該则 =上，該處理包括：取決於該扣顯示器元資料及該觀看 ::料而決定該目標空間組態；及基於該源空間觀看組態 =目標空間觀看組態之間的差異將該源3D影像資料轉換 為该目標3D顯示信號。 145982.doc 201043001 對於此目的，根據本發明之一進一步態樣，用於在一 3d 影像裝置與一 3D顯示器之間傳送31)影像資料以為一觀看 者顯不於該3D顯示器上的3D顯示信號包括可使該3D影像 裝置接收經配置用於一源空間觀看組態之源3]〇影像資料及 處理該源3D影像資料而以一目標空間觀看組態顯示於該 3D顯示器上的觀看者元資料，該觀看者元資料係經由—分 離資料通道自該3D顯示器傳送至該3D影像裝置或係包含 於一分離封包中自該3D影像裝置傳送至該3D顯示器，該 處理包括：取決於3D顯示器元資料及該觀看者元資料而決 定該目標空間組態；及基於該源空間觀看組態與該目標空 間觀看組態之間的差異將該源3D影像資料轉換為該3〇顯 示信號。 對於此目的，根據本發明之一進一步態樣用於將31)影 像資料傳送至3D影像裝置以為一觀看者顯示於一 3D顯示 器上的3D影像信號包括經配置用於一源空間觀看組態之源 3D衫像資料及指不該源空間觀看組態之源影像資料以可使 該3D影像裝置處理該源31)影像資料而以一目標空間觀看 組態顯示於該3D顯示器上，該處理包括：取決於3D顯示 器元資料及觀看者元資料而決定該目標空間組態；及基於 該源空間觀看組態與該目#空間觀看組態之間的差異將該 源3D影像資料轉換為該3d顯示信號。 該等方法具有考慮實際顯示器元資料（諸如螢幕尺寸）及 實際觀看者元資料（諸如觀看者之觀看距離及瞳孔間距離） 而處理源卿像資料以為觀看者提供意欲之灣驗的效 145982.doc 201043001 果。特定而言，首先接收經配置用於一源空間觀看組態之 3D影像資料，且接著基於實際觀看組態之實際觀看者元資 料重新配置一不同的目標空間觀看組態。有利的是，提供 , 至人類觀看者之雙眼的影像經調適以與3 D顯示器及觀看者 之實際空間觀看組態相一致來產生意欲之3D體驗。 本發明亦係基於以下認知。傳統源3D影像資料經固有地 配置以用於一特定空間觀看组態，諸如—電影院的一電 影。發明者已認識到此源空間觀看配置可大體上不同於實 際觀看配置，該實際觀看配置涉及具有特定空間顯示參數 (諸如螢幕大小）之一特定3D顯示器及涉及（舉例來說）處於 一實際觀看距離的至少一實際觀看者，該觀看者具有實際 空間觀看參數。同樣，對於最佳3D體驗，觀看者之瞳孔間 距離要求由3D顯示器在雙眼中產生之影像相對於感知為由 人腦輸入之自然3D影像具有一專屬差異。例如，由一兒童 感知之一 3D物件具有小於固有地使用於源3D影像資料中 〇 t瞳孔間距離的-實際瞳孔間距離。發明者已認識到觀看 者之此空間觀看參數影響目標空間觀看組態。特定而古， 此意謂著對於（特定而言在無限範圍處）源（未經處理）3〇影 像内容，兒童的眼睛會發散，此引起眼睛疲勞或噁心。此 外，3D體驗係取決於人們的觀看距離。所提供之解決方案 涉及提供3D顯示器元資料及觀看者元資料，且隨後由基於 3D顯示器元資料及觀看者元資料之計算決定目標空間組 態。基於該目標空間觀看組態，可藉由基於源空間觀看組 態與目標空間觀看組態之間的差異來轉換源扣影像資料而 145982.doc 201043001 產生所需之3D影像資料。 在該系統之一實施例中，觀看者元資料包括以下空間觀 看參數之至少一者··觀看者相對於31)顯示器之_觀看距 離；觀看者之一瞳孔間距離；觀看者相對於3〇顯示器之平 面的一觀看角度；觀看者位置相對於3D顯示器之中線的一 觀看偏移。 效果在於，觀看者元資料容許計算3D影像資料以為實際 觀看者提供-自然灣驗。有利的是，對於實際觀看^ 會發生疲乏或眼睛疲勞。當存在若干觀看者時，考慮多個f 觀看者之平均參數，使得對於所有觀看者存在一全域最佳 化觀看體驗。 < 在該系統之-實施例中，3D顯示器元資料包括提供以下 空間顯示參數之至少一者··該3D顯示器之螢幕大小:、由該 3D顯示器支援之深度範圍；該扣顯示器之使用者^ 度範圍。 效果在於’顯示器元資料容許計算3D影像資料以為實際 顯不器之觀看者提供一自然3D體驗。有利的是對於觀看◎ 者不會引起疲乏或眼睛疲勞。 應'主思，可在源3D影像裝置及/或3D顯示裝置中使用戈 谓測觀看者元資料、顯示器元資料及/或源影像元資料1 同樣’可於3D顯不裝置中的源3〇影像裝置中執行用於目 標空間觀看組態之源3D資料的處理。因此，在處理位置 提供元資料可涉及以下之任_者：偵測、㈣、估計、= 用預设值，產生、計算及/或經由任何適當之外部介面接 145982.doc •10· 201043001 =所需元資料。特定而言，亦在源3D影像裝置與3d顯示 裝置之間傳送3 D顯示信號之介面或提供源影像資料之介面 可用於傳送元資料。此外，若需要，為雙向之影像資料介 面亦可將觀看者元資料自源裝置承載至3〇影像裝置或反之 亦然。I2U匕’在所主張之各自裝置中，取決於系統組態及 可用介面，元資料構件經配置用於與介面協作以接收及/ 或傳送元資料。 效果在於，可實現多種組態，其中將觀看者元資料及顯 示器元資料提供及傳送至處理位置。有利的是，實用裝置 可經組態用於鍵入或偵測觀看者元資料之任務，且隨後取 決於此處理3D源資料。 在該系統之一實施例中，觀看者元資料構件包括用於設 疋作為一空間觀看參數之一兒童模式以提供代表一兒童的 一瞳孔間距離之構件。效果在於，藉由設定兒童模式為兒 童最佳化目標空間觀看組態。有利的是，使用者並不需理 解觀看者元資料之細節。 在該系統之一實施例中，觀看者元資料構件包括用於偵 測存在於該3D顯示器之一觀看區域中的一觀看者之至少一 空間觀看參數的觀看者偵測構件。有利的是，該系統可在 觀看者改變時調適目標空間觀看組態。 在附隨申請專利範圍中給定根據本發明之該方法、 置及#號的進一步較佳實施例，附隨申請專利範圍之揭示 内容將以引用方式併入本文中。 【實施方式】 145982.doc 201043001 本發明之此等及其他態樣將從進一步參考藉由在下文中 描述之實例及參考附圖而變得顯而易見及得以闡明。 在該等圖式中，相對應於已描述之元件的元件具有相同 元件符號。 圖1展示用於處理三維（3D)影像資料（諸如視訊、圖形或 其他視覺資訊）之一系統。一3D影像裝置1〇耦接至一 3〇顯 示裝置13以傳送一 3D顯示信號56。 3D影像裝置具有用於接收影像資訊之一輪入單元51。例 如，輸入單元裝置可包含用於自一光學記錄载體54(諸如 一 DVD或藍光光碟）擷取多種類型影像資訊的一光碟單元 58。或者，輸入單元可包含用於耦接至—網路55(例如網 際網路或一廣播網路）之一網路介面單元59，此等裝置通 常稱作一視訊轉換器。可自一遠端媒體伺服器57擷取影像 資料。3D影像裝置亦可為直接提供顯示信號之一衛星接收 器或一媒體伺服器，即輸出待直接耦接至—顯示單元之一 3D顯示信號的任何適當裝置。 3D影像裂置具有麵接至輸入單元η之—影像處理單元 52，該處理單元52用於處理影像資訊來產生待經由一影像 ”面單元12傳送至顯示裝置的一 3D顯示信號56。處理單元 5 2配置以用於產生包含於3 〇顯示信號5 6中的影像資料來 顯示於顯示裝置13上。影像裝置具有用於控制影像資料之 顯不參數（諸如對比或色彩參數）之使用者控制元件15。諸 如此類之使用者控制元件為熟知，且該等使用者控制元件 可包含具有多種按鈕及/或游標控制功能的一遙控單元， 145982.doc 12 201043001 以控制3D^像裝置之多種功能（諸如播放及記錄功能），且 用以（舉例來說）經由-圖形使用者介面及/或選單而設定該 等顯示參數。 在-實施例中，3D影像裝置具有用於提供元資料之〆元 資料單元U。元資料單元包含：一觀看者元資料單元 111 ’其用於提供定義觀看者相對於3D顯示器之空間觀看 參數的觀看者元資料；及一顯示器元資料單元ιΐ2，其用 於提供疋義3D顯不器之空間顯示參數之3D顯示器元資 V 料。 在一實施例中，觀看者元資料包括以下空間觀看參數之 至少一者： -觀看者相對於3D顯示器之一觀看距離； -觀看者之一瞳孔間距離； -觀看者相對於3D顯示器之平面的一觀看角度； -觀看者位置相對於3 D顯示器之中線的一觀看偏移。 Q 在一實施例中，3D顯示器元資料包括以下空間顯示參數 之至少一者： -3D顯示器之螢幕大小； -由3D顯示器支援之深度範圍； -一原廠建s義深度範圍’即指示提供所需品質之3 〇影像 的一範圍，該範圍可小於最大所支援深度範圍； -3D顯示器之使用者偏好深度範圍。 應注意，對於一深度範圍，亦可指示為視差或像差。以 上參數定義3D顯示器及觀看者之幾何配置且因此容許計算 145982.doc -13- 201043001 ::為人類觀看者之左眼及右眼產生之所需影像。例如，當 a、觀看者眼睛之一所需距離感知一物件時，可报 异左眼影像及右眼影像中之該物件相對於背景之偏移。 3D影像處理單元52經配置用於處理經配置m原空間 料^且態的源聊彡像賴之功能，以產生目標3D顯示資 而以—目標空間組態顯示於3_示器上。該處理包含首 =取決於3D顯示器元資料及觀看者元資料決定目標空間組 態，可自元資料單元u獲得該元資料。隨後，基於源空間 ^ 心與目軚空間觀看組態之間的差異將源3D影像資料 轉換為目標3D顯示資料。 決疋一空間觀看組態係基於實際觀看空間中之實際螢幕 的基本設置(該榮幕具有一預定義實體大小及進一二〇顯 不參數）及實際觀看者之位置及配置（舉例來說顯示螢幕相 對於觀看者眼睛之距離）。請注意，纟當前方法中，在僅 :在：皁個觀看者之情形下討論-觀看者。顯然，可存在 夕個觀看者，且空間觀看組態及3D影像處理之計算可經調 適以舉例來說使用觀看者之__特定觀看區域或類型之平均 值、最佳值等來為該等大眾調節最佳可能的3D體驗。 3D顯不裝置13係用於顯示3D影像資料。該裝置具有一 顯示介面里；14 „ 平7^14’該顯示介面單元14用於接收包含自3D影 象裝置10傳送之3D影像資料的3D顯示信號％。顯示裝置 具有用於攻定顯示器之顯示參數（諸如對比參數或色彩參 數或木度參數）的進—步使用者控制元件16。在處理單元 ；^據來自使用者控制元件之設定命令處理經傳送之影 145982.doc .14· 201043001 像貝枓且該經傳送之影像資料基於3D影像資料產生用於在 3D…上呈⑽影像資料之顯示控制信號。該裝置具 有接收用於顯示經處理之影像資料的顯示器Η(例如 一雙或雙凸LCD)。顯示裝置13可為任何類型之立體顯示 器，亦稱作3〇顯示器，且該顯示裝置13具有由箭頭44指示 之一顯示深度範圍。 在-實施例中，卿像裝置具有用於提供元資料之一元 Ο

資料單元19。it資料單元包含：一觀看者元資料單元 191，其用於提供定義觀看者相料3D顯示器之空間觀看 參數的觀看者元資料；及一顯示器元資料單元.其用 於提供疋義3D顯不n之空間顯示參數的3d顯示器元資 料0 、 3D影像處理單元職配置用於處理經配置用於一源空間 觀看組態的源则像資料之魏，以產生目標扣顯示資 料而以-目標空間組態顯示於3〇顯示器上。該處理包含首 先取決於3Dmf料及觀看者元資料決定目標空間组 態’該元資料可自元資料單元19獲得。隨後，基於源空間 觀看組態與目標㈣觀看組態之間的差異將源则像資料 轉換為目標3D顯示資料。 在一實施例中，（舉例來說）藉由經由使用者介面15設定 各自空間觀看參數而在卿像裝置中執行提供觀看者元資 料。或者，可（舉例來說）藉由經由使用者介面16設定各自 空間觀看參數而在扣顯示裝置中執行提供觀看者元資料。 此外’可在該等裝置之任—者中執行將源空間觀看組態調 145982.doc 201043001 適為目標空間觀看組態之3Df料的該處理。因此在系統 之夕種配置中，在影像裂置或3D顯示裝置中提供該元資料 及卿像處理。同樣，影像裝置與3D顯示裳置可組合為 一單個多功能裝置。因I在該等多種系統配置中之影像 裝^與3Γ顯示裝置的實施例中，影像介面單元12及/或顯 :"面早7G 14可經配置以發送及/或接收該觀看者元資 料。同樣’顯示器元資料可經由介面14自3〇顯示裝置傳送 至3D影像裝置的介面12。 在該等多種系統配置中，用於3D影像資料之傳送的祀 顯示信號包含觀看者元資料。應注意，元資料可具有盥使 "向介面之3D影像資料不同的方向。提供觀看者元資 料（及適當情況下亦提供該顯示資料之信號）使得一扣影像 裝置處理經配置用於一源空間觀看組態之源扣影像資料而 以-目標空間觀看組態顯示於扣顯示器上。該處理相對應 於^文描述之處理。3D顯示信號可經由—適當高速數位視 訊介面（諸如熟知的HDMI介面）（舉例來說，參見“⑽年” 月 10 日的「Hlgh Definition Multimedia Interface Specificati〇n .〗’3a」）傳送，該顯示信號經延伸以定義觀看者 元資料及/或顯示器元資料。 圖1進—步展不作為3D影像資料之一载體的記錄載體 。己錄載體呈碟狀且具有一磁執及—中央孑匕。由一系列 實體可谓測標記構成之該磁軌係根據螺旋或同心旋轉圖案 力以配置’以構成一資訊層上之大體平行之磁軌。記錄載 體可為光學上可讀，稱作一光碟（舉例來說一CD、DVD或 145982.doc •16- 201043001 BD(藍光光碟））。藉由沿著磁軌之光學上可偵測標記（舉例 來說Λ ：k (pit)及軌面（land))而在資訊層上表示資訊。磁轨 了構亦可包括用於指示資訊單元位置的位置資訊，舉例來 說‘頭及位址，通常稱作資訊區塊。記錄載體“承載表示 、預疋義°己錄格式（諸如延伸用於3D之DVD或BD格式） 而數位編碼之3 D影像資料（諸如視訊）的資訊。 ❹

藉由磁軌中之標記體現於記錄載體上或經由網路5 5 操取之叫彡像資料提供用於3Df彡像資料之傳送的一 3〇影 像信號以為一觀看者顯示於一扣顯示器上。在一實施例 中’ 3D影像信號包含指示源空間觀看組態之源影像元資 料’而源影像資料經配置用於源空間觀看組態。如上文所 也述、，源影像元資料使得_3D影像裝置處理源扣影像資 料而以Μ示空間觀看組態顯示於3D顯示器上。 應注意’當沒有提供特定源影像元資料時，可藉由元資 料單兀基於源貝料之—般分類設定該資料。例如，可假咬 =資料已被設想為在平均大小之-電影院觀看並1 (牛对來說)處於-預定義Α小之—螢幕的_預定義距離之 '觀看區域係最佳的。例如，對於電視機廣播源資料， 平均觀看者房間大小及電視機大小。目標空間觀 之顯；：:1來因說一仃動電話3D顯示器)可具有大體上不同 因此，可使用關於源空間觀看組態之假設實 一概觀。 在此意義 下文段落提供三維顯示器及人類感知之深方 则示器可提供對深度的-更為生動的“ I45982.doc -17- 201043001 上’其不同於2D顯示哭。讲·、去> m t '貝丁器此可達成，因為3D顯示器提供 比2 D顯不益更多之潘廢坦— 一 之，衣度如不（cue)，該等2D顯示器僅可顯 不單眼深度提示及基於動作之提示。 _ 單眼自靜態影像獲得單眼（或靜態）深度提 示。畫家通常使用單眼提示在其等畫中建立一深度感覺。 此等提示包含相對大小、相對於水平線之高度、遮蔽、透 視、紋理梯度及照明/陰影。眼球動作提示係可自一觀看 者眼睛肌肉的張力所導出的深度提示。眼睛具有用於轉動 眼睛以及拉伸水晶體的肌肉。水晶體之拉伸及鬆弛稱作適 應且當聚焦於-影像時完成。水晶體肌肉的拉伸或鬆弛量 提供離物件多遠或多近之—提示。轉動眼睛使得雙眼聚焦 於相同物件上’此稱作聚焦，最後，動作視差係離觀看者 近之物件顯得比遠離觀看者之物件移動得更快之效果。 雙眼視差係自雙眼看見一稍微不同影像之事實得到的一 深度提示。單眼深度提示可係任何2D可視顯示器類型並用 於任何2D可視顯示器類型中。為了重新建立一顯示器中之 雙眼像差’需要顯示ϋ可為左眼及右眼分割視圖，以使得 每一個眼睛看見顯示器上稍微不同之影像。可重新建立雙 眼像差之顯示器係專用顯示器，稱之為3D或立體顯示器。 3D顯示器（在本文件中稱作具有顯示深度範圍之一 3〇顯示 器）可沿著實際上由人眼睛感知之一深度尺度來顯示影 像。因此’ 3D顯示器對左眼及右眼提供—不同視圖。 可提供兩種不同視圖之3D顯示器問世已久。大多數3〇 顯示器係基於使用眼鏡以分離左眼視圖及右眼視圖。現 145982.doc •18· 201043001 等 器 在，隨著顯示器技術之進步，新顯示器已進人市場，該 新顯示器可在不使料鏡下提供_立體㈣。此等顯示 稱作自動立體顯示器。 ο

一第一方法係基於容許使㈣在Μ戴眼鏡之情形下觀 看立體視訊之LC_示器。此㈣D顯示關基於兩種技 術之任者.雙凸螢幕及視差屏障式顯示器。對於雙凸顯 示器’該LCD係由-片雙凸透鏡覆蓋。此等透鏡將來自顯 不器之光繞射，使得左眼及右眼純來自不同像素之光。 此容許兩不同影像之一者用於待顯示之左眼視圖且另一者 用於待顯示之右眼視圖。 雙凸螢幕之一替代案係視差屏障式顯示器，該視差屏障 式顯示器在LCD之後方及背光照明之前方使用一視差屏障 物，以分離來自LCD中之像素的光。該視差屏障物使得自 螢幕前之一設定位置，左眼看見不同於右眼之像素。該視 差屏障物亦可介於LCD與人類觀看者之間，使得顯示器之 一列中的像素可交替地由左眼及右眼看見。使用該屏障顯 示器之一問題係亮度及解析度之損耗而另外亦為一非常窄 之視角。這使得在作為一起居室電視機方面，該視差屏障 式顯示器吸引力不及該雙凸透鏡式螢幕，該雙凸透鏡式顯 示器舉例來說具有9個視圖及多個視域區。 另一方法仍係基於組合使用快門眼鏡與高解析度個人視 訊機（beamer)，高解析度個人視訊機可以一高刷新率（例如 120赫茲）來顯示圖框。此高刷新率係因利用該快門雙眼式 眼鏡方法交替顯示左眼及右眼視圖而需要。配戴此雙眼式 145982.doc -19- 201043001 眼鏡之觀察者感知60赫兹之立體視訊。該快門雙眼式眼鏡 方法谷终兩品質視訊及高層級深度。 自動立體顯示ϋ及快門雙眼式眼鏡方法㈣遭受適應性 會聚失配。此確實限制深度量及可使用此等裝置舒適觀察 之時間。存在其他顯示器技術，諸如全像顯示器及體積式 f示器㈣Umetric displays)，其等卻不遭受此問題。應注 意，本發明可用於具有—深度範®之任何_3D顯示器。 欠假設3D顯示器之影像資料可用作電子資料（通常係數位 f料）°本發明係關於此影像資料且在數位域中操縱影像 資料。當自一源（例如藉由使用雙相機）傳送時，該影像資 料可已包含3D資訊，或—專屬預處理系統可涉及自扣影 像建立/重新建立3Df訊。影像資料可為靜態（譬如幻燈片） 或可士括動悲視訊（譬如電影）。其他影像資料（通常被稱為 圖形貧料）可作為經儲存物件儲存，或按一應用程式所需 f即時處理時產生。例如，可將使用者控制資訊（譬如選 早、巡覽項目或文字及說明註解）可增添其他影像資料。 、存在可對立體影像予以格式化之許多不同方式，該格式 被稱為3D影像格式。_些格式係基於使用—扣通道以亦 承載立體資訊。例如’可交錯左視圖及右視圖或可並排與 上:放置左視圖及右視圖。此等方法犧牲解析度來承載立 資訊另it項係犧牲色彩’此方法稱作互補色立體 法互補色立體法使用基於以補色彩顯示兩個分離、覆疊 I像之光4多工。藉由使用具有有色濾光器之眼鏡，每— 眼睛僅看見與該眼睛前方之濾光器相同色彩之影像。因 145982.doc •20- 201043001 此，例如右眼僅看到紅色影像，且該左眼僅看到綠色影 像。 一不同3D格式係基於使用一 2D影像及一額外深度影像 (一所謂深度圖）之兩個視圖，該深度圖傳達關於在2D影像 中之物件之深度的資訊。稱作影像+深度之格式的不同之 處在於，該格式係一 2D影像與一所謂「深度」或像差圖之 一組合。此係一灰階影像，藉此一像素之灰階值指示在相 關聯2D影像中之相對應像素的像差量（或在一深度圖案例 中係深度）。顯示裝置使用像差圖、深度圖或視差圖以計 算將該2D影像作為一輸入之額外視圖。此可以多種方式實 現，最簡單之形式大抵上為取決於與該等像素相關聯之像 差值使此等像素偏移至左邊或右邊。由Christoph Fen發表 之名為「Depth image based rendering, compression and transmission for a new approach on 3D TV」之文獻提供此 技術之一極佳概覽（參見 http://iphome.hhi.de/fehn/Publications/ fehn_EI2004.pdf)。 圖2展示3D影像資料之一實例。影像資料之左部分係通 常經著色之一 2D影像2 1，且影像資料之右部分係一深度圖 22。可以任何適當影像格式表示2D影像資訊。該深度圖資 訊可為一額外的資料串流，對於每個像素具有一深度值， 可能較之於該2D影像，像素的解析度降低。在深度圖中， 灰階值指示在2D影像中之相關聯像素的深度。白色指示接 近於觀看者，且黑色指示遠離觀看者之一大深度。一3D顯 示器可藉由使用來自深度圖之深度值且藉由計算所需像素 145982.doc -21 - 201043001 變換而計算所雲& 體之額外視圖。可使用估計或孔填充技 術解決遮蔽。額外 战〜 卜圖框可包含於資料串流中，舉例來說該 專額外圖框（諸如_ w蔽圖、一視差圖及/或在一背景前方 移動之透明物杜& 的一透明圖）可進一步添加至影像及深度 圖格式。 田自播放器裝置(諸如-藍光光碟播放器)發送視訊至 體顯不器日守，添加立體至視訊亦影響視訊之格式。在 、案例中僅發送一2D視訊串流（經解碼之圖像資料）。對 1體視汛時，此隨目前須發送包含第二視圖（立體）或一 ^ X圖之第一串流增加。此可能加倍在電介面上所需之 位元率。一不同方法係犧牲解析度及格式化該串流，使得 第二視圖或深度圖與2D視訊交錯或與21)視訊並排放置在 一起。 多種家用裝置（DVD/BD/TV)或多種外出用裝置（電話、 可攜式媒體播放器）未來將支援在立體或自動立體顯示器 上顯示3D内容。但是，主要開發3D内容用於一特定螢幕 大小。此意謂著若已為數位電影院記錄了内容，需要重新 配置豕用顯示器。一種解決方案係在播放器中重新配置内 谷。取決於影像資料格式，此需要處理一深度圖，舉例來 "兒’對立體内容之按因數縮放或偏移左視圖或右視圖。此 外’播放器需要已知螢幕大小。為了完成内容之正碟再利 用’不僅螢幕尺寸係重要的’而且需考慮其他因素。例如 對於觀看者而言，例如兒童的瞳孔間距離小於成年人的。 不正確的3D資料（特定而言無限之範圍）要求兒童的眼睛發 145982.doc •22- 201043001 散，而此引起眼睛疲勞或噁心。而且，31)體驗係取決於人 們的觀看距離。關於觀看者之距離及其相對於3〇顯示哭之 位置稱作觀看者元資料。同樣，顯示器可具有_動態顯示 區域、-最佳深度範料等。顯示^之深度範料部’’、，假 #可變的非常高，諸如例如視圖之間的串擾。此亦減少消 費者之觀看舒適度。實際3£)顯示資料稱作顯示器元資料。 當珂解決方案係儲存、散佈及使得元資料可在家用系統中 &多種裝置之間可存取°例> ’可經由顯示器之咖轉 w 送元資料。 · 圖3展示一 3D影像裝置及3D顯示裝置元資料介面。示意 性地展示一 3D影像裝置10與31)顯示裝置13之間的—雙= 介面31上的訊息。3D影像裝置1〇(舉例來說一播放裝置）經 由該介面讀取顯示器13之能力及調整視訊之格式與時序參 數，以發送顯示器在空間上及時間上可處置之最高解析度 的視訊。實務上，使用稱作EDID之一標準。延伸顯示識 Q 別資料（EDID)係由一顯示裝置提供至一影像源（舉例來說 一圖形卡）之一資料結構以描述該顯示裝置的能力。該 EDID可使一現代個人電腦知曉所連接之監視器係何種 類。EDID係由視訊電子標準協會（VESA)發佈之一標準所 疋義。進一步參考可經由http://www vesa 〇rg/獲得之2〇〇8 年1月11日的VESA DisplayPort標準版本i，修訂版ia。 傳統EDID包含製造商名稱、產品類型、磷光體或濾光 器類型、由顯示器所支援之時序、顯示器大小、照度資料 及（僅針對數位顯示器）像素映射資料。用於將ED1D自顯示 145982.doc •23- 201043001 器傳輸至圖形卡之通道通常係所謂之pc匯流排。EDID與 I C之組合係稱作顯示器資料通道版本2或ddc 2。數字2使 其有別於使用一不同串列格式之VESA的原始DDC。edid 通常儲存於監視器中的與Pc匯流排相容之稱作一串列 PROM(可知式化唯讀§己憶體）或EEpR〇M(電可抹除 的一記憶體裝置中。 播放裝置經由DDC2通道發送一 E_EDID請求至顯示器。 顯示器藉由發送E-EDID資訊而作出回應。播放器決定最 佳格式並開始經由視訊通道進行傳輸。在較舊類型顯示器 中，顯不器在DDC通道上連續地發送E_EDID資訊。無請 求被發出。為了進一步定義介面上使用之視訊格式，另一 組織（消費性電子產品協會：CEA)對E-EDID定義了若干額 外限制及延伸，以可使其更適於搭配電視機類型顯示器使 用。該HDMI標準（參考上文）除了支援特定E_EDID要求之 外亦支援針對許多不同視訊格式的識別碼及相關時序資 机。例如’在介面標準HDMI中採納CEA 861-D標準。 HDMI定義實體鏈結且其支援CEA 861-D標準及VESA E_ EDID標準以處置更高層級的信號發送。VESA E-EDID標 準容許顯示器指示該顯示器是否支援立體視訊傳輸及支援 以何種格式傳輸立體視訊。應注意，關於顯示器的能力之 資訊回溯傳回至該源裝置。已知之VESA標準未定義控制 在顯示器中之3D處理的任何正向3D資訊。 在當前系統之一實施例中，顯示器提供實際觀看者元資 料及/或實際顯示器元資料。應注意，實際顯示器元資料 145982.doc -24- 201043001 不同於諸如E-EDID中的現有顯示器大小參數，不同之處 在於實際顯示器元資料定義用於顯示31)影像資料之顯示區 域的實際大小，而此不同於（舉例來說小於）先前包含於E_ EDID中之顯示器大小。E_EDID傳統上自一 pr〇m提供關 於裝置之靜態資訊。所提議之延伸動態地包含可在顯示裝 置處獲得的觀看者元資料及與將源3D影像資料處理成為目 標空間觀看組態相關之其他顯示器元資料。 ο 在—實施例中，將觀看者元資料及/或顯示器元資料（舉 例來說）作為一資料串流中之一分離封包而分離地傳輸， 同時識別各自元資料類型係關於何種類型。該封包可包含 用於調整3D處理之進一步元資料或控制資料。在一實際實 施例中’元資料插入於HDMI資料島内的封包中。 將如HDMI中定義之輔助視訊資訊（AVI)中的元資料包含 在一音訊視訊資料（AV)串流中的一實例如下所示。在自該 源裝置至一數位電視（DTV)監視器之AV串流中承載該avi Q 作為一資訊圖框（Info Frame)。藉由交換控制資料可首先 確定該兩個裝置是否支援該元資料之傳輸。 圖4展示經延伸具有元資料之一AVI資訊圖框的一表格。 AVI資訊圖框係由CEA定義且由HDMI及其他視訊傳輪標準 所採納，以提供關於色彩及色度取樣、過度掃描與掃描不 足及長寬比之圖框信號發送。如下說明，添加額外資訊以 體現兀資料。應注意，元資料亦可經由E_EDID或以一類 似方式之任何其他適當傳送協定進行傳送。該圖展示從源 至收訊器（sink)之通信。一類似通信可藉由任何適當之協 145982.doc -25- 201043001 疋而為雙向的或從收訊器至源。 在圖4之通信實例中，資料位元組1之最後位元：F17及 資料位元組4之最後位元：F47於標準AVI資訊圖框中保 留。在一實施例中’此等資料位元組用於指示黑條（black-bar)資訊中存在元資料。黑條資訊通常包含於資料位元組6 至13中。位元組中通常係保留。表格之語 去係士下所示。若F17被設定（=1),則資料位元組9至13含 有3D元資料參數資訊。預設情況為，當n7未被設定 (=〇) ’則此意謂著不存在3D元資料參數資訊。 如藉由圖4中之實例所示，可將以下資訊添加至avi或 EDID資訊： -由顯示器支援之（建議）最小視差（或深度或像差）； -由顯不器支援之（建議）最大視差（或深度或像差）； -使用者偏好最小深度（或視差或像差）； _使用者偏好最大深度（或視差或像差）； •兒童模式（包含瞳孔間距離）； _最小及最大觀看距離 :應注意，引吏用卩上參數之組合值及/或分離之最小及 最大或平均值。而且，—些f料需存在於經傳送之資訊 中’但可提供資訊、設定資訊及/或分別將資訊儲存於播 放器或顯㈣中’且可由影像處理單元使用資訊以為特定 ==產生最佳3D内容。該資訊亦可在播放器朝著顯示器 0傳迗以可藉由基於所有可用觀看者資訊而在顯示裝置 中應用處理來完成可能最佳的呈現。 145982.doc • 26 * 201043001 可乂自動或-使用者控制方式擷取觀看者元資料。例 可由使用者㈣-使用者選單插人最小及最大觀看 距離。兒童模式可由遙控器上之一按钮控制。在一實施例 t ’顯示器具有一内建相機。經由如所知之影像處理，裝 4可偵_觀看者之臉部且基於此估計觀看距離及可能的瞳 孔間距離。 在顯示器元資料之-實施财，由顯示器製造商提供由 ❹』器支援的所建蟻之最小及/或最大深度。顯示器元資 料可儲存於η己隐體中或可經由一網路（諸如網際網路）擷 取。 總之，協作父換如上文描述之觀看者元資料及顯示器元 資料之3D顯示器或具3D能力播放器具有所有資訊以處理 3D影像資料，來最佳呈現内容且因而給使用者最佳觀看體 驗。 應注意，可使用可程式化組件以硬體及/或軟體實施本 ❹發明。-種用於實施例本發明之方法具有相對應於參考圖 1闡明之3D影像資料之處理的處理步驟。雖然本發明已主 要藉由使用來自光學記錄載體或網際網路而待顯示於家用 3D顯不裝置上的3D源影像資料的實施例而得以解釋，但 本發明亦適於任何影像處理環境，諸如具有一 3D顯示器之 一行動PDA或行動電話，耦接至一無線31)顯示裝置之— 3D個人電腦顯示介面或3D媒體中心。 應注意，在本文件，單詞「包括」並不排除除了該等所 列元件或步驟之外的其他元件或步驟的存在且—元件之前 I45982.doc -27- 201043001 、早Η —」或「一個」並不排除複數個該等元件之存 在，任何參考符號並不限制申請專利範圍之範疇且若干 構件」或「單元」可由硬體或軟體之相同項表示，且一 處理器可與硬體元件協作來實現一或更多個單元之功能。 進一步而言，本發明並不限於此等實施例，且本發明覆蓋 上文描述之特徵的每一特徵或組合。 【圖式簡單說明】 圖1展示用於處理三維（3D)影像資料之—系統， 圖2展示3D影像資料之一實例， 圖3展不一3D影像裝置及3D顯示裝置元資料介面，及 圖4展示經延伸具有元資料之一AVI資訊圖框的一表格。 【主要元件符號說明】 10 3D影像裝置 11 元資料單元 12 影像介面單元 13 3D顯示裝置 14 顯示介面單元 15 使用者控制元件/使用者介面 16 進一步使用者控制元件/使用 17 3D顯示器 18 處理單元 19 元資料單元 21 2D影像 22 深度圖 145982.doc -28- 201043001 Ο 31 44 51 52 54 55 56 57 58 59 111 112 191 192 雙向介面 顯示深度範圍 輸入單元 處理單元/3D影像處理單元/影像處理單元 光學記錄載體 網路 3D顯示信號 遠端媒體伺服器 光碟單元 網路介面單元 觀看者元資料單元 顯示器元資料單元 觀看者元資料單元 顯示器元資料單元 145982.doc -29-

Claims (1)

1. 201043001 七、申請專利範圍： 1· 一種處理三維[3D]影像資料以為一觀看者顯示於一 3〇顯 示器上的方法，該方法包括： 接收經配置用於一源空間觀看組態之源31)影像資料， 提供定義該3D顯示器之空間顯示參數之扣顯示 次 料， °貝 提供定義該觀看者相對於該3〇顯示器之 數的觀看者元資料， *間觀看參 Ο 〇 處理該源3D影像資料以產生目標3D顯示資料來γ 標空間觀看組態顯示於該3D顯示器上該處理包括，目 取決於該3D顯示器元資料及該觀看者 該目標空間組態，及 貪枓而決定 基於該源空間觀看組態與該目標空間 j, ^ η ο 、異將该源3D影像資料轉換為該目標 2·如請求们之方法，其中提供該觀看者元資料=。 以下空間觀看參數之至少一者： 匕括钕供 該觀看者相對於該3D顯示器之一觀看距離； 該觀看者之一瞳孔間距離； 5亥觀看者相對於該3D顯示器之平面的—觀看角产. 。亥觀看者位置相對於該3D顯示器之 移。 涞的—觀看偏 3·如5月求項1之方法’其中提供該3D顯示器元資 供以下空間觀看參數之至少一者： 貝科包括提 該3D顯示器之螢幕大小； 145982.doc 201043001 由該3D顯示器支援之深度範圍； 該3D顯示器之原廠建議深度範圍； 4. —該3D顯示器之使用者偏好深度範圍。 —種用於處理三維[3D1影傻 像身枓以為一觀看者顯示於一 .，，、員不益上的3D影像裝置，該裳置包括： 輸入構件（51)，其用於接 饮叹、、、工配置用於—源空間觀看 組態的源3D影像資料， 顯示器元資料構件 1 192)，其用於提供定義該3D 』不器之諸空間顯示參數的3D顯示器元資料， 硯看者元資料構件（⑴、191)，其用於提供定義該觀 看者相對於該3D顯示器之諸空間觀看參數的觀看者元資 料， j理構件（52、18)，其用於處理該源卿像資料以產 生—3D顯示信號（56)而以一目標空間觀看組態顯示於該 顯示盗上’該處理構件（52)經配置用於： 取決於該3D顯示器元資料及該觀看者元資料而決定 該目標空間組態，及 基於該源空間觀看組態與該目標空間觀看組態之間 的差異將該源3D影像資料轉換為該目標3D顯示信號。 5. 如叫求項4之裝置，其中該裝置係一源3D影像裝置且其 包括用於輪出該3D顯示信號（56)且傳送該觀看者元資料 之影像介面構件（12)。 6. 如請求項4之裝置，其中該裝置係一 3D顯示裝置且其包 括用於顯示3D影像資料之一 3D顯示器（17)及用於接收該 H5982.doc 201043001 3D顯示信號（56)且傳送該觀看者元資料之顯示介面構件 (14)。 7. —種用於提供三維[3D]影像資料以為一觀看者顯示於一 3D顯示器上的3D源裝置，該裝置包括： 輸入構件（5 1)，其用於接收經配置用於一源空間觀看 組態的源3D影像資料， 影像介面構件（12)，其用於與具有該3D顯示器之一 顯示裝置介接，以傳送一3D顯示信號（56), ® 觀看者元資料構件（m)’其用於提供定義該觀看者相 對於該3D顯示器之諸空間觀看參數的觀看者元資料， 處理構件（52)，其用於產生該3D顯示信號（56)而以一 目標空間觀看組態顯示於該3〇顯示器上，該處理構件經 配置用於使該觀看者元資料包含於該顯示信號中以可使 該3D顯示裝置處理該源3〇影像資料而以一目標空間觀看 組態顯示於該3D顯示器上，該處理包括： 〇 取決於該3D顯示器元資料及該觀看者資料而決定該 目標空間組態，及 基於該源空間觀看組態與該目標空間觀看組態之間 的差異將該源3D影像資料轉換為該目標3D顯示信號。 8. 一種3D顯示裝置，其包括： 一3D顯示器（π)，其用於顯示3D影像資料， 顯不介面構件（14)，其用於與一源3D影像裝置介接以 傳达一 3D顯示信號（5 6)，該源3D影像裝置包括用於接收 經配置用於一源空間觀看組態之源3D影像資料的輸入構 145982.doc 201043001 件（51)， 觀看者元資料構件（191)，其用於提供定義該觀看者相 對於該3D顯示器之諸空間觀看參數的觀看者元資料， 處理構件（18)，其用於產生該3D顯示信號（56)以顯示 於該3D顯示器（17)上，該處理構件（18)經配置用於經由 該顯示介面構件（14)將該31)顯示信號（56)中之該觀看者 兀貝料傳送至該源3D影像裝置以可使該3D顯示裝置處理 該源3D影像資料而以一目標空間觀看組態顯示於該扣顯 示器上，該處理包括： 取決於該3D顯示器元資料及該觀看者資料而決定該 目標空間組態，及 基於該源空間觀看組態與該目標空間觀看組態之間 的差異將該源3D影像資料轉換為該目標3D顯示信號。 9. 10. 11. 如請求項4至8中任一項之裝置，其中該等觀看者元資料 構件（111、191)包括用於設定作為一空間觀看參數之一 兒童杈式以提供代表一兒童的—瞳孔間距離之構件。 如請求項4至8中任一項之裝置’其中該等觀看者元資料 構件（111、191)包括用於偵測存在於該3D顯示器之一觀 看區域中的一觀看者之至少一空間觀看參數的觀看者偵 測構件。 一種用於在一 3 D影像裝置與—3 D顯示器之間傳送三維 [3D]影像育料以為一觀看者顯示於該3]〇顯示器上的3〇顯 不仏旒，該3D顯示信號包括可使該3D影像裝置接收經配 置用於一源空間觀看組態之源31)影像資料及處理該源3D 145982.doc 201043001 影像資料而以-目標空間觀看組態顯示於該糊示器上 的觀看者兀齑料’該觀看者元資料係經由一分離資料通 道自該3D顯示器傳送至該扣影像裝置或係包含於一分離 封包中自該3D影像裝置傳送至該3〇顯示器，該處理包 括： 取決於3D顯示器元資料及該觀看者元資料而決定該目 標空間組態，及 基於《玄源空間觀看組態與該目標空間觀看組態之間的 差異將該源3D影像資料轉換為該3D顯示信號。 12. 如印求項11之信號，其中該信號係一 hdmi信號且該觀 看者το資料係經由該顯示資料通道（ddc)自該3D顯示器 傳送至該3D影像裝置或包含於一 HDMI資料島中之一封 包中自該3D影像裝置傳送至該3〇顯示器。 13. —種用於將三維[3D]影像資料傳送至31)影像裝置以為一 觀看者顯不於一 3D顯示器上的3D影像信號，該3D影像 信號包括經配置用於一源空間觀看組態之源31)影像資料 及扣示该源空間觀看組態之源影像資料以可使該3D影像 裝置處理该源3D影像資料而以一目標空間觀看組態顯示 於該3D顯示器上，該處理包括： 取決於3D顯示器元資料及觀看者元資料而決定該目標 空間組態，及 基於該源空間觀看組態與該目標空間觀看組態之間的 差異將該源3D影像資料轉換為該3D顯示信號。 14. 一種記錄載體，其包括代表如請求項13之3£)影像信號的 若干實體上可偵測之標記。 145982.doc