TW200843516A - 3D video encoding - Google Patents

Description

200843516 九、發明說明： 【發明所屬之技術領域】 且更特定言之，係關於 本揭示案係關於數位視訊編碼 用於編碼三維視訊内容之技術。 【先前技術】 、數位視訊能力可併人廣泛範圍之裝置中，包括數位電 視、數位直播系統、無線通信裝置、個人數位助理 (:DAT上膝上型電腦、桌上型電腦、數位音樂及視訊播放 二：裝置、視訊遊戲控制台、數位相機、數位 T錄:置、料式或衛星無線電電話，及其類似者。數位 視訊裝置可在以增加之頻嘗 描供得Μ 率來處理及傳輸視訊序列時 如t、优於習知類比視訊系統之顯著改良。 =立用於^碼數位視訊序収不同視訊編碼標準。舉 mPEGU=旦專業團體（MPEG)已開發包括MPEG]、 ί. 盟(ITU) T HP:4之許多標準。其他實例包括國際電信聯 孟（ITU)-T H.263標準以及117 IS〇/IEC MPEG-4, Part 1〇(亦即.“標率及其對應物 等視訊編石馬標準藉由以壓縮^及視I編碼（AVC))。此 列之改良傳輸效率。視訊編碼;:碼而支援視訊序 由使用者經由具有有限頻、^視訊之應用對於 檢視為所需的。 有線或無線網路來支援三維 視訊内容可以習知二 錄。三維視訊内容可^ 或以三維⑽格式來記 例’三維視訊内容可由立體雙相 ^ 式來獲得及呈現。作為一實 機獲得且由左眼分量及右 129195.doc 200843516 眼/刀里呈現。或者，習知單相機可結合深度相機而用以獲 付又眼λ息匯聚視圖（cycl〇pean 及深度資料兩者。作 為另-替代例，單相機可用於產生雙眼訊息匯聚視圖，其 、、工處理以產生雙眼訊息匯聚視圖及深度資料兩者。不同三 、准視澴源可忐需要不同類型之視訊輸出裝i，諸如，習知 一、准颂不為、由特殊眼鏡輔助之立體顯示器，或自動立體 顯示器。 【發明内容】 本焉示案係針對用於二維視訊編碼之技術。立體三維視 訊：：包括經組合以產生立體影像之左分量及右分量。對 '疋失真里，左分I及右分量可歸因於人眼之失真回應 的不對稱H而對立體影像之知覺視覺品質具有不同影響。 三維視訊編碼器基於圖框層級位元預算及左分量與右分量 之間的加權來调整三維視訊之左分量與右分量之間的編碼 位元配置。 加權可基於人類檢視者對左分量及右分量中之失真的敏 感性。視訊編碼器可使用加權而在rho(p)域中產生位元配 置。經加權位元配置可基於指示由左分量及右分量之作用 (contribution)所產生之總品質的〇口口質度量而被導出。經加 權位元配置補償不對稱失真回應以減小立體影像中之總知 覺失真且藉此增強或維持視覺品質。 在-態樣中’本揭示案提供一種方法，該方法包含：獲 得界定可用於三維視訊圖框之許多編碼位元的圖框預算； 及基於圖框預算及左分量與右分量之間的加權來產生三維 129195.doc 200843516 視況圖框之左分量及右分量内之區塊的位元配置值。 在另一悲樣中，本揭示案提供一種裝置，該裝置包含視 訊編碼器，其經組態以獲得界定可用於三維視訊圖框之許 多編碼位元的圖框預算，且基於圖框預算及左分量與右分 置之間的加權來產生三維視訊圖框之左分量及右分量内之 區塊的位元配置值。 本文中所描述之技術可以硬體、軟體、韌體或其任何組 合來實施。若以軟體來實施，則技術可部分地藉由包含電 腦可讀媒體之電腦程式產品來實現，電腦可讀媒體包含引 起電腦執行本文中所描述之方法中之一或多者的程式碼。 以下在隨附圖式及描述中陳述一或多個實施例之細節。 /、他特彳政、目；f示及優點自描述及圖式且自申請專利範圍將 為顯而易見的。 【實施方式】 本揭不案係針對用於三維視訊編碼之技術。立體三維視 汛圖框包括經組合以產生立體影像之左分量及右分量。對 於給疋失真量，左分量及右分量可歸因於人眼之失真回應 的不對稱性而對立體影像之知覺視覺品質具有不同影響。 二維視矾編碼器基於圖框層級位元預算及左分量與右分量 之間的加權來調整三維視訊之左分量與右分量之間的編碼 位元配置。加權可基於人類檢視者對左分量及右分量中之 失真的敏感性。視訊編碼器可在化“幻域中產生位元配 置。經加權位元配置可基於指示由左分量及右分量之作用 所產生之總品質的品質度量而被導出。經加權位元配置補 129195.doc 200843516 償不對稱失真回應以減小 之總知覺失真且藉此增強 持立體影像中之視覺品質 總知螯I吉 〃，以減小立體影像中 或維持視訊品質且葬 貝且猶此增強或維 圖】為說明三維視訊編碼及解碑系統ι〇之方 所不，系統10包括三維視訊源裝 π ® 14壯$ 2及三維視訊輸出裝置 W。裝置12、14經由傳輸通道 衣置 七仏上 k仏。傳輸通道1 6可為 有線或無線通信媒體。在圖 ”、、 ^ 口之“列，，三維視訊源裝置 u包括三維視訊俘獲裝置， 1 :泌… 次—維視訊保存器（archive)^ 一、准視汛編碼器20。三維視訊輸出 « ^ ®裒置14包括三維視訊解 -、阳22及二維視訊顯示器24。二 一术視訊源裝置12產生用於 傳輸至三維視訊輸出裝置14 之視Λ °然而’在一些態樣 中’ I置12、14可以大體上斜十1 對稱方式來操作。舉例而言， 衣置12、14中之每—者可包括視訊編碼及解碼組件。因 ^系統Η)可支援視訊裝Μ、Μ之間的單向或雙向視訊 傳輸（例如）以用於視訊串流、視訊廣播或視訊電話。儘管 為:易於說明起見而未圖示’但為了支援有線及/或無線 U 4置中之-或兩者可包括適當數據機、慮波器、頻 率轉換及放大組件。 壯三維視訊俘獲裝置/保存器18可包括各種三維視訊俘獲 衣置中之任一者，諸如，立體雙相機、與深度相機組合之 單相機’或與二維至三維轉換器組合之單相機。或者，三 維視訊俘獲裝置/保存器18可為儲存先前俘獲之三維視訊 的保存為裝置。作為其他替代例，三維視訊可自來自内容 提供者之視訊饋入被獲得或自電腦產生之圖形資料被再 129195.doc 200843516 現。在任一狀況下，經俘獲、經預俘獲或經再現之三維視 訊可由三維視訊編碼器20編碼以用於經由傳輸通道16而自 三維視訊源裝置12至三維視訊輸出裝置14之傳輸。作為又 一實例，三維視訊源裝置12可包含廣播裝置，其廣播三維 視訊資料之一或多個通道，以及在一些狀況下廣播二維視 Μ料之通道。 系統10可根據會話起始協定（SIP)、ITU-T Η·323標準、 ITU-T H.324標準或其他標準來支援視訊電話或視訊串 流。又’系統10可支援三維視訊攝錄像機應用。三維視訊 編碼器20可根據諸如MPEG-2、MPEG-4、ITU-丁 H.263或 ITU-T H.264及其對應物ISO/IEC MPEG-4，Part 10(亦即’ 高級視訊編碼）之視訊壓縮標準來產生經編碼視訊資料。 儘管圖1中未圖示，但視訊編碼器20及視訊解碼器22可分 別與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單 元或其 他硬體 及軟體 ，以 處理共 同資料 流或單 獨資料流中之音訊與視訊兩者的編碼。適用時，則MUX-DEMUX單元 可符合ITU H.223多工器 協定， 或諸如 使用者 資料報協定（UDP)之其他協定。 在一些態樣中，對於視訊廣播，本揭示案使用待公開為 技術標準TIA-1099之僅前向鏈路（Forward Link Only，FLO) 空中介面規格 ’’Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast”（f’FLO規格"）來預期對 增強型Η.264視訊編碼之應用以在地面行動多媒體多播 (ΤΜ3)系統中傳遞即時視訊服務。FLO規格包括界定位元 129195.doc -10- 200843516 流語法及語義且解碼適切經由卩 之過程的實例。或者n 中”面而傳遞服務 ^ u们 可輯料DVB•職位視訊 )、ISDB_T(整合服務數位廣播_地面）戈 DMB(數㈣體廣播）之其 /、也面）或 术贋播。因此，源裝置12 可為灯動無線終端機、視 叫 甲，瓜1 J服裔或視訊廣播伺服

裔…、，案中所描述之技術不限於任何特定類型 之廣播、、多播或點對點系統。若用於廣播系統中，則通道 中之-或多者可為三料道且其料道可為二維通道。

視訊編碼器20及視訊解碼器22中之每一者可被實施為一 或多個處理器、數位信號處理器、特殊應用積體電路 (ASIC)、場可程式化閘陣列（FpGA)、離散邏輯、軟體、硬 體、韌體或其任何組合。視訊編碼器2〇及視訊解碼器^中 之每一者可包括於一或多個編碼器或解碼器中，其中之任 者可被整合為各別用戶裝置、廣播裝置、伺服器或其類 似者中之組合式編碼器/解碼器（codec)的一部分。另 外適用日守’二維視訊源裝置12及三維視訊輸出裝置各自 可包括用於經編碼視訊之傳輸及接收的適當調變、解調 變、頻率轉換、濾波及放大器組件，其在無線通信之狀況 下包括射頻（RF)無線組件及天線。然而，為了易於說明起 見’圖1中未圖示此等組件。 為了支援三維視訊，視訊編碼器20編碼三維視訊之左分 ΐ及右分量。左分量對應於視覺上由人類檢視者之左眼所 察覺的分量。右分量對應於視覺上由人類檢視者之右眼所 察覺的分量。共同地，左分量及右分量由人類檢視者視覺 129195.doc 11 200843516

上整合以產生立體影像之總三維視圖。左分量通常可指代 經組態以由左眼檢視之三維視訊圖框的至少一部分。類似 地’右分量通常可指代經組態以由右眼檢視之三維視訊圖 框的至少一部分。每一分量包括界定視訊圖框之至少一部 分的資料’使得與左分量及右分量相關聯之視訊圖框之組 合產生總二維立體視訊圖框。另外，每一分量可包括形成 左圖框或右圖框之一視訊區塊或複數個視訊區塊（諸如， 巨集區塊（MB))。在一些狀況下，對於具有濾色眼鏡之立 體顯示器，左分量可對應於紅色資料且右分量可對應於藍 色及綠色資料（亦即，以補色立體圖（anaglyph)形式）。因 此，左分量可載運來自圖框之紅色資料且右分量可載運來 自圖框之藍色及綠色資料。 視訊編碼器20使用（例如）MPEG 4或η·264編碼來分別編 碼左分量及右分量，且將經編碼分量傳輸至三維視訊輸出 灰置14以由三維視訊解碼器22解碼。經解碼左三維視訊分 里及右二維視訊分量用於驅動三維視訊顯示器以直接產 生或結合諸如立體眼鏡或檢景器之額外顯示附件來產生三 維視訊。視訊顯示器24可包括任何類型之顯示器，諸如， 液晶顯示器（LCD)、有機發光二極體（〇LED)或電漿顯示 裔，以及關聯顯示驅動器硬體、韌體及軟體。三維視气’、 視覺品質可不僅視三維源視訊而定，而且視應用於三維源 視訊之左分量及右分量的編碼過程及顯示 ” ^ 及1您特性而 根據本揭示案，視訊編碼器20可經組態以增強戋維持由 129195.doc 12 200843516 三維視訊圖框之左分量及右分吾 里右刀里所產生之立體三維視訊的 、〜視見口口貝。在一些態樣中，視訊編碼器可經組離以應

用經加權位元配置方案以減小由左分量及右分量所產生I 地見訊中的總知覺失真。經加權位元配置方案可利用加 榷时來預組態，加權因數（例如）對於給錢示裝置而自 左刀里及右刀里中之失真對立體影像中之總知覺失真之相 對作用的分析被導出。加權可基於人類檢視者對左;量及 右分量中之失真的敏感性。給定圖框層級位元預算及加權 因數，視訊編碼器20應用位元配置方案以將編碼位元配置 至左分量及右分量以減小經編碼三維視訊中之總失真。被 配置至各別左分量及右分量之位元的數目支配此等分量之 有效編碼速率。位元配置方案可配置諸如rh〇域值或量化 參數（QP)值之位元配置值以將編碼位元配置至左分量及右 刀里被配置至給定視訊區塊或圖框之編碼位元的數目之 i曰加會增加視訊區塊或圖框之有效編碼速率。舉例而言， =於一分量（諸如，右）之位元的數目之減少與用於另二分 量（諸如，左）之位元的數目之同量增加在一些狀況下可增 加總品質度量。視訊編碼器2〇以可調整之位元配置來支援 立體視吼編碼以增強或維持三維視覺品質。 位7L配置方案可在量化參數（Qp)域、p(rh〇)域或某其他 位錢置域中操作’以配置位元配置值且藉此基於品質度 里來凋整左三維視訊分量及右三維視訊分量之編碼速率。 牛例而s，在rh〇域位元配置的情況下，口參數表示視訊區 塊（諸如，MB)中之非零經量化AC變換係數的數目。巨集 129195.doc -13- 200843516

區塊為形成圖框之一部分的視訊區塊。MB之大小可為i 6 乘1 6像素。然而，其他MB大小為可能的，以及諸如 16x8、8x16、8x8、4x8、8x4、4x4及其類似者之子分割大 小。本文中將為了說明起見而描述巨集區塊，其中靡理 解，巨集區塊或其他視訊區塊可具有各種不同大小。口域 中之速率控制傾向於比QP域中之速率控制更準確。然而， 在一些狀況下，可使用QP域位元配置。p域或位元配 置基於品質度量可用於達成分別被配置至左三維視訊分量 及右三維視訊分量之編碼位元的有效控制，同時遵守經規 疋用於適用視訊圖框之總圖框層級位元預算。在本揭示案 中，通常將為了實例起見而描述(3域位元配置，而不I於 =於在三維影像之左分量與右分量之間配置編碼位元之特 定位元配置域P、QP或其他者。 二維視訊輸出裝置14可被實施為各種有線或無線裝置中 之任-者，諸如，經裝備用於視訊串流、視訊廣播及/或 視電4之無線行動終端機或有線終端機。無線行動終端 狀實例包括行動無線電電話（例如，所謂的相機電話或 :::話:、行動個人數位助理(PDA)、行動電腦、行動遊 =瑪1仃動電視，或裝備有無線通信能力及視訊編碼及/ 5,b力之其他行動裝置。有線終端機之實例包括桌上 型電腦、視訊電話網 ” -)、遊戲控制台、互:式電:：_器— 維視訊輸出裝置類似者。類似於三 哭、視隹視5fi源裝置u可為視訊串流祠服 -視讯廣播伺服器，或有線或無線終端機。任一裝置 129195.doc -14 - 200843516 12、14可經組怨以發送視訊資訊、接收視訊資訊或發送及 接收視訊資訊。 在視讯串流、視訊廣播或視訊電話中，且尤其在藉由無 線通信之行動視訊串流、廣播或電話中，由於通常需要極 低位元率，所以頻寬為顯著關注。詳言之，通信通道“可 具有有限頻寬’從而使得品質視訊序列經由通道丨6之有效 即時傳輸非常有挑戰性。舉例而言，通信通道“可為歸因 於通道1 6中之實體約束或可能歸因於服務品質（Q〇s)限 制L遲約束、緩衝裔狀態或由通信通道1 6之提供者所強 加之頻寬配置約束而具有有限頻寬之無線通信鏈路。另 外，通道條件可歸因於位置或通道訊務而改變，從而導致 頻寬改變。 通道條件、QoS限制、載波需求、延遲約束、緩衝器狀 悲及其他約束可導致圖框層級位元預算，其支配可被配置 至給疋二維視訊圖框之位元的最大數目。給定特定圖框層 級位7〇預算及人類檢視者對左分量及右分量之不對稱失真 回應，三維視訊之左分量與右分量之間的選擇性差異編碼 位70配置可增強或維持三維視訊之視覺品質。舉例而言， 更多編碼位元至左通道或右通道之選擇性配置可導致視覺 品質改良。換言之，而非將位元預算均勻地分裂於左分量 與右分量之間，向一分量配置比另一分量更多的位元可歸 因於人類認知色彩内插機構而增強視覺品質。此外，失真 對左分量對比右分量之視覺效應可歸因於回應於失真在户 眼與右眼之間的不對稱優勢（asymmetric dominance)而為大 129195.doc -15- 200843516 體上不同的。 圖2為說明用於三維視訊產生、編碼及呈現之不同技術 的方塊圖。一般而言，二維視訊内容之源可被分離成三個 種類·（ 1)立體雙相機26 ; (2)具有深度相機之習知單相機 28 ;及（3)具有二維至三維轉換32之習知單相機3〇。立體雙 相機26即時地以兩個相機來同時俘獲立體視訊，且傾向於 在最終檢視者當中產生最佳類三維知覺。單相機及深度相 機28之使用為較不昂貴的解決方案。然而，由單相機及深 度相枝28所執行之視訊俘獲過程通常需要更多時間以估計 每物件之沬度，且可能會不能夠即時地記錄視訊。具有 一維至三維轉換32之單相機3〇的使用提供另一便宜的解決 方案，且與先前俘獲之二維視訊序列為回溯相容的。然 而，一維至二維轉換可歸因於不準確的深度估計而產生不 良的假影。 汝圖2所示，立體雙相機26分別產生左眼視圖34及右眼 視圖36(亦即，左分量及右分量）。單相機及深度相機π之 、且。刀別產生視訊景物之雙眼訊息匯聚視圖3 8及深度資料 〇單相機3〇產生由二維至三維轉換32轉換為雙眼訊息匯 二視圖38及深度資料40之雙眼訊息匯聚視圖42。視訊編碼 阳2〇編碼由立體雙相機26所產生之左分量及右分量34、 由單相機深度相機28所產生之雙眼訊息匯聚視圖 罙度資料40或由單相機30及二維至三維轉換32所產生之 又眼δΤΙ息匯聚視圖38及深度資料40，且產生一或多個類型 之,、、員不貝料以驅動顯示裝置以用於三維視訊内容之視覺呈 129195.doc -16- 200843516 現 舉例而言，視訊編碼㈣可產生二維顯示資料〜、立體 顯不資料46及/或自動立體顯示資料48。立體顯示資料扑 難人類認知色彩内插機構且藉以諸如三維眼鏡或檢景 裔之遽色裝置來展示不同色通道（亦即，以補色立體圖形 式珣形成三維視訊。立體顯示資料46之使用相對便宜且 產生通常為可接受之視覺品質。自動立體顯示器傾向於提 更自且更好。口貝的二維體驗，但為相對昂貴的。二维 顯示資料44之使用與現有二維顯示裳置一起工作良好，作 可能會犧牲視覺品質。 三維視訊編碼㈣可經組態以將由立體雙相機26、單相 機及深度相機28或單相機3〇及二維至三維轉換模㈣所產 生之二維視訊資料變換（亦即，轉換）為圖2所示之顯示資料 ^ 46 48中之任一者（其他顯示資料類型）。對於經 加權位元配置方索，‘ 士 _ Ο 轉換為包含❸且I以產^中所描述’三維視訊應被 乂旦 、、&以產生立體視訊之左視訊分量及右視訊 刀里的立體視訊。在一些實施例甲’三維視訊編碼器20可 ㈣顯f器類型指示，其指示與三維視訊輸出裝置14中之 :’隹視Λ顯不益24相關聯的顯示器類型。舉例而言，若所 私丁之’、、、員不态類型為立體的，則三維視訊編碼器 :魏輸入三維資料，以匹配立體顯示器類型 二：右所指示之顯示器類型為立體的，則三維視訊編碼器 了將雙眼訊息匯聚視圖資料38及深度資料4G轉換為包括 左眼視圖資料及右眼視圖資料之立體顯示資料46。作為另 129195.doc -17- 200843516 、丨若所扎示之顯示器類型為二維的，則三維視訊編 馬叩2〇可將左眼視圖資料34及右眼視圖資料36轉換為二維 顯示資料44。 可以許多方式來獲得顯示器類型指示。舉例而言，三維 視Λ輸出t置！ 4可（例如）使用帶内信號傳輸或帶外信號傳 輸而將顯示器類型指示發送至三維視訊源裝置12。在：狀 況下，三維視訊編碼器2〇直接或間接自三維視訊輸出裝置 Η接收顯示器類型指示。或者，_示器類型指示可由製造 商載運者或使用者提供，或基於諸如源裝置之類型、目 標裝置之類型、源裝置被使用所針對之應用及/或源裝置 被使用所在之區域的因素來假定。顯示器類型指示不僅可 用於選擇三維内容至適當立體輸出格式之任何必要變換， 而且可用於選擇用於產生品質度量及/或應用經加權位元 配置方案之加權因數阿伐（alpha)，如本揭示案中所描述。 儘管三維視訊編碼器20可產生諸如圖2中所描繪之資料 44、46及48之不同類型的三維資料，但為了說明起見，本 揭示案通常將描述包括左分量及右分量之立體顯示資料46 的編碼。 在編碼及立體影像重建階段中，可能出現若干不同類型 之視覺降級。三維視訊内容需要比習知二維視訊更多的資 訊以建構立體影像。舉例而言’三維視訊内容進一步需要 深度資訊或雙視訊源。因此，對於給定頻寬，三維視气通 常將需要更高的壓縮比以滿足適用之圖框層級位元預算。 更高的壓縮比可能引入更嚴重的壓縮假影。另外，此等假 129195.doc -18- 200843516 :之影響可根據用於呈現三維視訊之顯示技術的類型而改 欠舉例而σ，視覺假影在二維顯示器中比在立體顯示器 或自動立㈣μ中可能更顯著。料’由立體影像建構 之過程所引人的若干新假影（例如，楔形如州_)或卡板 (cardboard)效應）可降級所察覺之視覺品質。品質度量之產 生可支援視覓σπ貝之客觀評估及編碼位元之智慧配置以減 少假影。 圖3Α為說明使用雙通技術藉由立體雙相機％之三維視訊 產生以用於經由立體顯示器之呈現的方塊圖。在圖3Α之實 例中，視訊編碼器20比較三維源（輸入）視訊與自經編碼視 汛所重建之視訊以判定經編碼視訊之品質，且產生用於以 可接受品質來編碼視訊之品質反饋。換言之，在第一次通 過中，視訊編碼器20產生具有現有編碼參數集合之經編碼 視訊圖框，重建經編碼圖框且比較其與源視訊。在第二次 通過中，視汛編碼器20基於自比較所導出之品質反饋來重 新編碼視訊圖框。舉例而言，若品質反饋指示需要改良， 則視汛編碼裔20可調整左分量與右分量之間的位元配置。 視訊編碼器20可在逐圖框之基礎上應用此雙通編碼過程以 調整位元配置。 儘管三維視訊可由其他類型之三維視訊俘獲裝置產生或 經電腦產生，但將為了說明起見而描述立體雙相機26之使 用。在圖3之實例中，立體雙相機26產生左三維視訊分量 及右三維視訊分量，且將其儲存於内容資料庫52中。將左 及右視訊對記錄於資料庫52中會允許視訊生產者製造高品 129195.doc •19- 200843516 貝視汛’而不考慮不同顯示器及壓縮問題之效應。視訊編 碼器20可經組態以編碼包括左分量及右分量之立體視訊圖 框，且可處理任何必要變換以產生左分量及右分量。然 而，二維輸入視訊通常將由内容資料庫52以包含左分量及 右分量之立體視訊的形式提#。若三維視訊由立體雙相機 獲得則左分置及右分量為直接可用的。若三維視訊由具 有深度資Λ之單相機獲得，則轉換為產生左分量及右分量 所必要的。同樣地，#單相機獲得三維視訊，則轉換為產 生左刀里及右分1所必要的。三維視訊編碼器包括視訊 編碼引擎56,其使用諸如MPEG^H 264之編碼技術來編 碼來自内容資料庫52之三維視訊内容，且應用經設計以增 強由左分I及右分量所產生之立體影像之知覺視覺品質的 經加權位元配置方案。 在圖3A之實例中，品質度量分析器58分析由三維視訊編 ,、、、擎6所產生之經編碼視訊的視覺品質，且產生視覺品 貝度i作為至二維視訊編碼引擎5 6之品質反饋。詳言之， 口曰口貝度里分析器58可相對於原始源（輸入）三維視訊之左分 量分量而在重建後就分析經編碼三維視訊之左分量及 右^的失真。如將描述’三維視訊編碼引擎％使用品質 度ϊ反饋以根據圖框層級位元預算及基於品質度量之位元 配置方案而在左分量與右分量之間配置編碼位元，且藉此 增強或維持人類檢視者之知覺視覺品質。詳言之，視訊編 馬引擎56可基於品質度量來調整位元配置之加權。因此， 視訊編碼引擎56可配置編碼位元以基於品質度量來調整左 129195.doc -20- 200843516 一、准視汛分罝及右三維視訊分量之編碼速率，且應用經調 整編碼速率以編碼左三維視訊分量及右三維視訊分量。視 訊編碼器20將經編碼左三維視訊分量及右三維視訊分量經 由通道16而傳輸至輸出裝置14，以允許使用者檢視以組合 立體格式之左三維視訊分量及右三維視訊分量。 輸出衣置1 4經由通道16而接收及解碼經編碼三維視訊且 向人類檢視者呈現經重建三維視訊。在圖3之實例中，輸 出裝置14可包括由立體眼鏡6〇、立體檢景器或適合於呈現 立體三維視圖之任何其他設備輔助的立體視訊顯示器。立 體眼鏡60可採取諸如雙色補色立體圖（紅色-藍色/青色）眼 鏡：液晶快門眼鏡、偏光透鏡眼鏡或頭戴式顯示器之各種 式在八他樣中，輸出裝置14可包括二維顯示器或自 動立體顯示器。在每一妝、、兄下，仏山社职 ^狀况下，輸出裝置14可將特定顯示 器類型、-般顯示種類或其他有用資訊傳達至三維視訊編 碼引擎5 6以用於調考L付分献mr +也 π登位兀配置方案，以將其定製用於與輸 出裝置1 4相關聯之顯示器類型。 在圖Μ之實例中，眼鏡60為具有右（藍色）分量透鏡及左 G工色Η里透鏡之濾色眼鏡。濾色眼鏡⑼呈現合理的成本 及口口貝。如此項技術中所熟知，眼鏡Μ之基本操作原理 於：眼鏡將色彩分離至猸☆、s、若* 至獨立通道中且向左眼及右眼分別呈 現紅色及藍色。所得立鞅 體衫像係由分離式色通道及人類固 有視覺機構形成。為了建槿用私目士、占i ^ ~ J逐構用於具有濾色眼鏡6〇 示器的適當影像檔案，自，八旦旦/你# 體^ 工刀里衫像掘取紅色且自太公旦 影像擷取藍色及綠色，发 里 巴其被稱為補色立體圖。人類檢視者 129195.doc 200843516 視覺上整合左分量影像及右分量影像以智力上產生最終立 體三維彩色影像。 ' 顯示器類型（包括顯示器及諸如眼鏡之任何外部硬體）可 對檢視者可見之假影之程度及特性具有影響，且因此可用 於影響位元配置方案以支援更好視覺品質。如將描述，在 —些態樣中，三維視訊編碼引擎56可基於顯示器類型來選 擇加核因數以控制三維視訊之左分量與右分量之間的位元 配置加權。總三維視訊中所呈現之假影可由左視圖或右視 圖更佔優勢地產生。因此，對總視覺品質具有較大效應之 編碼位元向視圖的經加權配置可為所需的。加權可以^元 配置、品質度量或兩者之組合來表達。經加權位元配置與 分量與右分量兩者所作用之失真的總三維視覺 °°貝度里組合可在增強或維持視覺品f時為有效的。 t 在整個本揭示案中，不同特徵作為模組、區塊或組件之 描繪意欲突出視訊編碼器20之不同功能態樣，且未必暗示 此等权組必須藉由單獨硬體及/或軟體組件來實現。更確 切:言:與諸如三維視訊編碼引擎56及品質度量分析器& 或夕個模組相關聯的功能性可整合於共 及/或軟體組件内。在— 更體 經組態以引起電腦執-二 可藉由包括 此等特徵之功能之程式碼的 π或早獨叙體或軟體模組來實現。 7 3BS㈣使用最佳化技術藉由立體雙之三 自立體顯-盗之呈現的方塊圖。圖3B大體上 付&圖3A，f曰含分故士人印 —。月基於攻佳化之位元配置技術。三維視訊 129195.doc -22- 200843516 編碼器職收及編碼包括左分量及右分量之立體視訊圖 框，且可處理任何必要變換以產生左分量及右分量。然 而，如在圖3 A之實例中，三維輸入視訊通常可由内容資料 庫52以包含第一分量及第二分量之立體視訊㈣式提供。 在圖3B之實例中，視訊編碼引擎乂使用經設計以增強由左 刀里及右刀里所產生之立體影像之知覺視覺品質的基於最 仫化之絰加權位元配置方案來編碼來自内容資料庫U之三 維視訊内容。 _ ( 視訊編碼引擎56自内容資料庫52接收三維視訊輸入視訊 例如）自輸出裝置14接收顯示器類型之指示。藉由使用 "、八類1 ^曰示，二維視訊編碼引擎$ 6選擇加權因數且產 生二維輸入視訊之左分量與右分量之間的編碼位元經加權 配置。藉由使用經加權位元配置，三維視訊編碼引擎％編 碼二維輸入視訊且將經編碼視訊（例如）經由通道16而傳輸 至輸出裝置14。給定三維視訊之左分量及右分量的失真作 (J 帛’基於最佳化之位元配置方案可經組態以最小化或至少 j小經編碼三維視訊之總知覺視覺失真。詳言之，適用 時’加權因數可經選擇以補償歸因於人類左眼及右眼之不 對稱失真回應之左分量及右分量的不同相對作用。 • 如在圖3A之實例中’輸出裝置14經由通㈣而接收及解 馬、，二編碼二維視訊且向人類檢視者呈現經重建三維視訊。 此外，如在圖3A中，圖3B之輸出裝置14可包括由立體眼 鏡60立體檢景器或適合於呈現立體三維視圖之任何其他 又備辅助的立體視訊顯不器。若發現包括顯示器及諸如眼 129195.doc -23 · 200843516 鏡之任何外部硬體的顯示器類型對檢視者可見之假影之程 度及特性具有顯著影響，則三維視訊編碼引擎56可=擇= 合於特定顯示裝置或顯示裝置特性之加權因數。在任何= 況下，在選擇適當加權因數後，視訊編碼引擎56就提供= 碼位元向視圖（左或右）之經加權配置，其對總視覺品質具 有較大效應對於增強或維持視覺品質可為所需的。 ” 圖4為說明用於使用基於最佳化之位元配置方案而在三 維視訊編碼器20内產生經編碼三維視訊之視訊編碼引擎^ 的方塊圖。如圖4所示，視訊編碼引擎56可包括左/右分量 加權產生器62、三維rh0域位元配置模組以、圖框層級速 率控制器66、rho至QP映射器68及視訊編碼單元川。視訊 編碼單元70與左/右分量加權產生器62、三維rh〇域位元配 置模組64、圖框層級速率控制器66、rh〇至Qp映射器“一 起形成總視訊編碼器20之一部分，且負責根據諸如MpEG_ 4或Η · 2 6 4之編碼技術來應用編碼位元以產生經編碼視訊。 如圖4所示，視訊編碼單元7〇接收三維輸入視訊且編碼視 訊以產生經編碼三維視訊。左·右分量加權產生器Μ接收 顯^器類型指示且產生由三維rh〇域位元配置模組以及編 碼早兀70所使用之加權因數阿伐。位元配置模組以基於加 權口數而將位元配置至三維視訊圖框之左分量及右分量。 卜不同特徵作為模組、區塊或組件之描、纟會意欲突出 不同力此‘％樣且未必暗示此等模組必須藉由單獨硬體及/ 或車人體組件來實現。在一些狀況下’視訊編碼引擎％之各 種恶樣可被組合、合作或藉由共用硬體及/或軟體來實 129195.doc •24- 200843516 現。因此，圖4中所描給十々仏 . At M "之各種組件可以包含歸功於每- 拉、、且之功此性的各種方 碼器20之^ 。結何情訂，視訊編 各I且件可以硬體、軟體、知 現。舉例而言，此辇έ曰放1 口+貝 數位 π 作為在一或多個微處理器或 (ASIC) 一七夕 } 一或多個特殊應用積體電路 )ί個場可程式化料列（fpga)或其他等效積 體或離政邏輯電路上執行之軟體過程。 中Γ圖4之、Λ例十’左/右分量加權產生器62接收指示與輸 —衣置14或輸出裝置群相關聯之顯示器類型的輸入。如先 雨所提及’顯示器類型輸入可為由來自輸出裝置14之帶内 或π外l號傳輸所傳達的實際顯示器類型輸入。或者，顯 f器類型輸入可由載運者、製造商或使用者規定，或基於 諸士源裝置之類型、輸出裝置之類型、源裝置被使用所針 對之應用及/或源裝置或輸出裝置被使用所在之區域的因 素來假定。基於顯示器類型，左/右分量加權產生器62產 生加權因數α ’其為了失真分析且最終為了位元配置起見 而規定向左分量或右分量之加權優選。舉例而言，左/右 分1加權產生器62可自表中選擇加權因數或計算加權因 數。 視訊編碼單元70接收三維輸入視訊（亦即，原始源三維 視訊）之左分量及右分量。左分量及右分量可作為視訊圖 框而自三維視訊序列之左分量及右分量被接收。藉由使用 加權因數α以及圖框層級位元預算，三維rh〇域位元 配置模組64在三維視訊圖框之左分量及右分量内產生視訊 129195.doc -25- 200843516 區塊（例如， 域值。 巨集區塊）之位元配置值 。位元配置值可為rho

加權因數α可為優勢因數，其表達左分量及右分量對三 維視訊之總視覺品質的相對影響。在此實例中，若紅色: 色藍色（RGB)影像自補色立體圖影像被建構且每—色通道 自不同相機被獲得，則左分量影像及右分量影像中之品質 =級對檢視者之總視覺品質具有不同作用。舉例而言，給 定亡眼之知覺品質，即使相同失真存在於左分量影像與右 分量影像兩者中，影像中之_者仍可歸因於—通道優於另 一通道之不對稱優勢而對視覺品質具有顯著不同的影響。 因此，若第一分量（左或右）中之失真與第二分量中之失真 相比對總視覺品質具有更顯著影響，則三維rh〇域配置模 組64可經組態以藉由配置rh〇域值以使得將額外位元配置 至弟一分量以增強視覺品質來處理差異。

加權因數(X量化特定分量（左或右）影響總視覺品質之程 度。若左分量上之失真更強烈地影響視覺品質，則α將更 高。另一方面，若右分量上之失真更強烈地影響視覺品 質，則α將更低。加權因數α可基於允許左分量及右分量對 立體影像之總知覺視覺品質之相對作用之識別的品質度量 來判定。至少部分地基於加權因數α，三維rho域位元配置 模組64偏置由視訊編碼器20所編碼之視訊圖框之左分量與 右分量之間的rho域位元配置。配置可經指定用於視訊圖 框内之個別視訊區塊（諸如，巨集區塊（MB))或用於圖框内 之所有視訊區塊。配置可在逐區塊之基礎或逐圖框之基礎 129195.doc -26- 200843516 上被更新。

Rho域位元配置模組64自圖框層級速率控制器66接收圖 框層級速率預算rbudget，且自視訊編碼單元7〇接收經編 碼MB之標準差σ。標準差σ可為在運動估計之後所獲得之 實際殘餘的標準差，且可為來自先前圖框之所儲存殘餘統 計。標準差可由左分量及右分量之標準差分量表示。舉例 而言，標準差可被表達為左分量標準差σπ及右分量標準差 σπ。藉由使用加權因數阿伐及標準差以及，為了左分量 與右分量之間的優先rh〇域位元配置起見，rh〇域位元配置 模、，且64區为左分置MB與右分量MB。Rh〇域位元配置模組 64產生在左分量及右分量之每一圖框中之每一MB的p(吐〇) 參數。P參數表示MB中之非零經量化Ac變換係數的數 目p域中之速率控制傾向於比QP域中之速率控制更準 確。 圖框層級速率控制器66產生在視訊序列内位元至個別圖 框之配置。詳言之，圖框層級速率控制器54產生指示可用 於編碼當前圖框内之所有MB之位元的數目之值R_m， 包括圖框之左分量及右分量。圖框層級速率控制器66可為 、般速率控制裔，其基於由通道條件所強加之頻寬需求、 載波需求、服務品質（QoS)限制、延遲約束、緩衝器狀態 或其他需求或條件而將位元配置至圖框。#由使用圖框層 級位凡預算rbudget、標準差σ及加權因數阿伐，域 位70配置杈組64產生左分量及右分量中之區塊的位元配置 •^育 〇 含节上_ ° ’在此實例中’ rho域位元配置模組64產生將 129195.doc -27- 200843516 刀1或右刀iMB之p預算分別指示為ρπ(ρ左影像）及 Pn(P右衫像）的p域輸出。p域輸出應用於口至卩？映射器μ， 其將Pli及pri值映射至每一ΜΒ之相應卩1>值(^"及卩1^。藉由 將QP值QPn及QPri分別用於圖框之左分量及右分量内的 mb視汛編碼單元7〇編碼三維輸入視訊以產生經編碼三 維視訊。 在與編碼相關聯之壓縮及立體影像重建階段中，可引入 由於不同原因之若干降級。因為三維視訊内容通常需要比 白知一維貝汛（例如，影像及深度資訊）或來自雙視訊源之 右貝讯及左貧訊更多的資訊，所以可應用更高的壓縮比以 滿足適用之位元預异。因此，更嚴重的壓縮假影可針對給 疋頻見而由二維編碼引入。另外，其他假影可由立體影像 建構之過程引起，其亦降級所察覺之品質。Rho域位元配 置模組64允許由伴隨三維視訊編碼之壓縮所產生的假影減 少。以下更詳細地描述由rh〇域位元配置模組64用於產生 經加權位元配置之實例方程式。 為了產生品質度量起見，可藉由比較原始輸入視訊乂與 左为里之經重建視訊/且比較原始輸入視訊乂與右分量之 經重建視訊又來分析失真。由於壓縮立體影像之不對稱特 性，藉由均勻地平均來自左影像與右影像兩者之峰值信雜 比（PSNR)來估δ十品質可為誤導的。因此，可修改立體影像 之PSNR，以便更準確地預測總立體影像品質。詳言之， 加權因數α可用於表示由左分量及右分量所產生之不同影 響’且又可用於影響rho域位元配置模組64之位元配置。 129195.doc -28- 200843516 以下陳述例示性最佳化技術之論述，其可由視訊編碼引 擎56之例示性組件且特別為rh〇域位元配置模組“執行， 以便以增強或維持知覺視覺品質之方式而將編碼位元配置 至二維影像之左分量及右分量。在以下論述中，值q及乃 分別表示立體影像之左分量及右分量的正規化每像素失 真。加權因數α指示左眼對比右眼之知覺重要性因數，且 可被表示為在〇與1之間的實數。

Ο ^ 06之值可基於顯示器類型或顯示器類型特性來 選擇’且更特定言之，基於針對特定顯示器類型或顯示哭 類型特性之左分量及右分量之相對失真作用的分析來； 擇。顯著地，若顯示裝置為可僅支援二維顯示資料“列 如類似圖2之二維顯示資料44)的二維顯示器，則可將加 榷因數α設定為—或零，使得左分量及右分量中之僅—者 接收所有編碼位元配置。換言之，若顯示裝置不能支援三 維立體視訊，則位元配置可恢復至僅—通道接收所有編; 一之I"月丨兄亦即，藉由將加權因數α設定為零或一。否 則’右輸出裝置14具有支援立體視訊之顯示器，則加權因 數α之值將為在零與一之間的值，如藉由左分量及右分旦 :立體影像之總知覺視覺品質之相對失真作用的分析所: 定0 若所提及之變數當中的關係被簡化為線性函數，則品質 度量可被表達為視訊序列之總失真，其可由以下表示：貝 D = aDL(MUl~a)DR(frJr) M、 129195.doc -29- 200843516 其中Λ及Λ為原始及經重建左視圖，且^及义為原始及經重 建右視圖。經重建視圖與原始源視訊相比自經編碼視訊分 量被重建。品質度量可藉由以α來加權左三維視訊分量之 所估計品質DL且以ΐ-α來加權右三維視訊分量之所估計品 質D R或反之亦然且基於經加權品質來形成品質度量而被形 成。因數α可為通常在。與丨之間的數。 方程式（1)中之線性關係對於人類視覺知覺透視是否有 效的問題可藉由實驗來驗證。另外，α之適當值可藉由回 歸測試來判定，使得其針對特定輸出顯示震置或顯示裝置 特性之種類而與大多數主觀人類視覺知覺緊密地對準。以 之適當值對於不同輸出顯示裝置、顯示裝置之不同類別、 :同檢視應用或不同使用者可為不同的。因此，左/右分 量加權產生器62可基於用於檢視左及右三維視訊分量之$ =裝置類型來調整加權。舉例而言，左/右分量加權產生 裔62可料不同顯示器類型指示而計算或選擇以之不同 值方私式（1)可在立體視訊編碼及位元配置中起重要作 用，因為左/右經加權品質度量可作為輸入而有 ==體三維視訊之所需主觀知覺品質的最佳編碼參數 遠擇及位元配置方案。 視覺品質中之左分量及右分量之不同作用的 口口貝度Ϊ(例如，如以上在方程式（1)中所表 評估視覺品質 '然而，此品質度量在視訊編二 尤其有㈣，且更特定言之，可尤其用 中/為 元配置模組64之位元配置。用於一維加（Ρ)域位 置②由圖框層級速率控制器66所 129195.doc -30- 200843516 產生之凡《如表示給定雙左分量及右分量圖框之總位元預 算，且7?為用於編碼圖框之位元率，則由位元配置模組64 所處理之位元配置問題可由以下表示： 最小化 ， 使得 RSRbudget 〇 (2) 此袁佳化問題（2)可糟由拉格朗日鬆弛（Lagrangian relaxation)及動態程式化來解決，例如，如η· Wang、G. Μ· Schuster、A. K. Katsaggelos之”Rate-distortion optimal

bit allocation scheme for object-based video codingf, (IEEE

Trans· Circuits System for Video Technology，2005 年 9 月第 15卷第9號第1113至1123頁）中所描述。然而，此方法之計 异複雜性通常將比現有即時系統可承受的複雜性更高。因 此，低複雜性的近最佳解決方案為較佳的。 在立體視訊編碼中，使W表示圖框中之巨集區塊的數 目，{p"}、K}、及⑺"}表示左視圖中之第z•個巨集區塊的 P集合、標準差集合、速率集合及失真集合（平方誤差總 和）’且{p,,}、{%}、{〇及队}表示右視圖中之第〗·個巨集區 塊的P集合、標準差集合、速率集合及失真集合（平方誤差 總和）。失真D//表示經編碼左三維視訊分量之所估計品 貝，且失真Dr/表示經編碼右三維視訊分 基於左失真估計及右失真估計以及加權因數阿 H 可形成由左分量及右分量所形成之立體視訊圖框的總品質 度量。舉例而t ’立體視訊圖框之經加權失真〇可由以下 129195.doc 200843516 表示： D = = k，(//?7/K(l-^U?Z)f2252+384 ^ (3) /=1 因此，給定方程式（3)，為了支援rho域位元配置模組64之 位元配置，問題（2)可被重寫為： 最小化D，使得ΜA初。 （4) 問題（4)可使用基於模型化之位元配置方法來解決。如 f .

Berger之 Rate Distortion Theory(Englewood Cliffs，NJ:Prentice

Hall，1984)中所描述，自然影像中之AC係數的分布可最佳 藉由拉普拉斯分布（Laplacian distribution)尸(1) = &’來近 似。因此，根據 Z· He 及 S· K. Mitra 之’’A linear source model and a unified rate control algorithm for DCT video coding’’（IEEE Trans. Circuits System for Video Technology， 2002年11月第12卷第11號第970至982頁），第/個巨集區塊 ί 之速率及失真可在以下方程式（5)及（6)中作為之函數而被 模型 化， 例如，如下： =APii + 5， (5) 及 Rri = ^Pr ， (6) 其中j及5為恆定模型化參數，且」可被認為編碼非零係數 所需之位元的平均數目，且万可被認為歸因於非紋理資訊 之位元。在以上方程式（5)及（6)中，B之不同值可用於左視 129195.doc -32- 200843516 圖及右視圖。然而，為了簡化 兄 β之相冋值可基於兩 個視圖非常類似之假定而用 工？見圖與右視圖兩者。然 而’重要的是應強調，因為 qβ在方ι王式中為恆定值，所 以簡單性不會影響導出之一般性。 左刀里及右分置之所任斗生古-T·、 汴估汁失真可分別由以下方程式 及（8)表示： ⑺ D, =384σ//2β'^/384 ^ 及

ϋ Ζ^=384σ·Ά,/384， ” (8) 其"為未知常數，但可自歷史統計被估計，例如 位元率曲線之斜率，其中位元率在方程式⑺及⑻ 中’因為假定存在可用於自任何選定片產生適當量化器之 足夠準確的表’所以值ρ"及凡經最佳化而非量化器。 如本揭不案中所描述’方程式（5)至⑻可用於表示速率 失真表示集纟，其被表達為編碼參數⑼之函數。此等方 私式可用於導出用於立體視訊編碼之域中的最佳位元 配置策略。為了說明起見而呈現本揭示案中所描述之如 域位7L配置策略。然而，rh〇域或量化域⑴中之其他速 率失真函數亦可用於使用給定圖框位元預算及左分量與右 分量之間的加權來導出位元配置策略。 一般而言’方程式（4)可使用拉格朗日鬆弛來解決，其 中受約束問題如下被轉換為無約束問題：

MinimizeJ入=又r + d = υ；ι(ι^ + + ，

Pi /=1 n 129195.doc (9) -33- 200843516 外+Ρ")+2+384(ασ"、-θ一4 +(1 —+"、-机/384 )· /=1 其中Γ (方程式（9)中之經最佳化λ)為致能+心=足+之 /=1 解。藉由在方程式（9)中將偏導數設定為零，以下表達式可 被獲得用於經最佳化A : (10) (11) 使$ = 〇，且 dJx ^ dPn 其為： (12) ΛΑ-αθσ^β-^'384 = 0 ^ 因此，由此可見： -φΛ/384 λΑ αθσ. (13) 且：

Pn 384 ~θ~ (14) 且類似地： 户，空 )-14 -a»]。 （15) 另一方面： ^budget = Σ (及1丨 + 心丨）’ (16) /=1 129195.doc -34- 200843516 因此： \η{λΑ) = ^Σΐ^θσ,2)+ \η{θσ^)]~-Νβ)^。（17) 自方程式（14)至（17)，位元配置模組64可經組態以 卜(和"2)+1本^2)—姆如下獲得左分 口 i=\ 量及右分量之位元配置：

Pu 384 θ Θ 76SNAy budget _nb\ Ina-lnil^qy 2

^budget 384 2NA Θ \η{^σΗ Σ1如"

IN (18) 且類似地：

Pn

Rbudget~^B 384

2NA Θ \n (d ί>(<

IN 1⑽+ 1^7(1 - a) ~2 (19) 因此，在此實例中，位元配置模組64可使用以上方程式 (18)及（19)來分別產生左分量及右分量之rh〇(p)值叫及叫。 顯著地，給定加權因數(^以及左分量及右分量中之不同失 真程度，被配置至左三維視訊分量及右三維視訊分量之編 碼位元的量可能為不同的。換言之，若由位元配置模組64 所規定之rho(p)值為不同的，則左分量及右分量之有效編 碼速率為不同的。位元配置模組64可經組態以應用方程式 (18)及（19)以產生左分量及右分量仆〇值卟及〜丨。—旦卟及 pri之值經判定用於三維立體視訊圖框之左分量及右分量中 129195.doc -35- 200843516 的巨集區塊（MB)，則可相應地基於由p至Qp映射器68所提 供之歷史p-QP表來決定相應量化參數（QP)。詳今之 至 QP映射器68將rho值Pli及pH分別映射至每一 Μβ之相應PQp 值QPn及QPri。映射器68可如上所描述使用查找表，以將 rho(p)值轉換為由視訊編碼單元7〇使用之相應Qp值。或 者，映射器68可使用數學函數。 在使用雙相機所記錄且使用紅色藍色眼鏡所檢視之許多 立體影像及視訊上所進行的實驗驗證本揭示案中所描述之 品質度量及位元配置方案的功效。實驗包括三個主要分 量··（1)方程式（1)中所陳述之線性關係滿足，，所預期"正常 人類知覺之驗證；（2)藉由回歸測試在方程式（1)中之適當以 加權因數之判定；及（3)藉由比較最佳位元配置方案與一般 衫像及視訊編碼方法而不考慮自兩個視圖之組合式知覺品 質量測的最佳位元配置方案之評估。 對於方程式⑴中之線性關係的驗證，主觀測試指示線 性關係對應於普通人類知覺。在。與!之間調整α加權因數 時，來自方程式⑴之客觀品質評分與視覺所察覺品質之間 的對應性顯著地改變。評估由具有不同品質等級之經壓縮 左影像及右影像之組合所形成的立體影像。所使用之壓縮 方法為JPEG2000。品質等級控制壓縮效率及關聯輸出品 質，其自】改變至100。更高值指示更好品質及更低壓縮 比。將左分量影像及右分量影像之品質等級分別設定為5 且形成立體影像之不同品質組合。 因為相同品質損失被引入於具有幾乎相同内容但在不同 129195.doc -36- 200843516 及右二二之兩個影像中’所以將預期由左分量影像 類：：=成之立雜影像的人類所察覺品質為非常 之間的_ ’人眼對左影像與右影像 左^…一 冋的敏感性。詳言之，當將 工，V像σ 口質设疋為5且將士旦彡你 換 且將右衫像。口質設定為100時，立體影 :;™ 局5柑好得多。詳言之，告趑 岑 田將左衫像口口處設定為100且將右 〜像口口負設定為5時，立矽旦以会士 » ^ f Α體衫像中之失真為更可觀測的。 因為人眼回應於來自左眼及 勢，所以應用於左影像及右.像=真而具有不對稱優 像及右〜像上之相同失真對於最終檢 =引起顯著不同的影響。因此，可馨於不對稱優勢而 加權因數，應用左分量與右分量之間的不同位元 卩支板所仔立體二維影像中之更好的總視覺品質。 因數α可被認為是人類檢視者對來自左影像及右影像之 的敏感I·生’其中更高α意謂人類對失真具有較小容許

C 又。因此’加權係基於人類檢視者對左分量及右分量中之 =真的敏感性。已執行由具有不同失真組合之左影像及右 影像所形成之立體影像的主觀實驗。輸出為平均意見評分 (Mean-0pinion_Sc〇re ; M〇s)，其在自i至5的範圍内且 中更高值意謂更好品質。為了確保測試之高可靠性，僅將 ⑽貝等級5、15、20、3G、5G及1G0用於左影像與右影像兩 者以避免使測試者疲勞。在此狀況下，立體影像之6χ6, 組合經產生用於每一景物。，，適當"α值可以知覺失真模型 而使用參數擬合方法經判定用於特定三維視訊源及輸出裝 129195.doc -37- 200843516

MOS = α[ηDl ,)+ ^ J+ (1 _a\rrDR(Λ,)+ ^ j , 其中H八及么為用以正規化丨至5内之失直輸出以盘 刪資料擬合的因數。參數藉由回歸測試而以最小平方： 被獲Η外，⑽可根據不同輸出裳置來調整。因此： =前所描述，顯示器類型指示可用於觸發特定以值之選

擇^十异。舉例而纟’α值之經預^表可用於回應於顯 不裔類型來選擇適當加權因數（α)。 對於雙相機立體視訊俘獲以及依賴顯示幕及紅色藍色立 體眼鏡之輸出裝置，已發現’近似(^之碰在產生所需視 覺結果中可為尤其有效的。此結果通常與紅色、綠色及藍 色分量對如以下方程式中所示之像素強度的作用一致：a 亮度=0.257R + 0.504G + 0.098Β + 16， （2〇) 且為合理的，因為左透鏡（紅色透鏡）將大部分紅光引導至 左眼中且右眼鏡（藍色透鏡）將大部分綠光及藍光引導至右 眼中，而人眼對來自右眼之綠光更敏感且對來自左眼之光 較不敏感。眼睛傾向於對來自右視圖之失真比對來自左視 圖之失真更敏感。在彼意義上，α值選擇應對來自左視圖 之失真給定較低加權，其對應於方程式（丨）之基本假定。換 言之，方程式（1)中之α加權因數通常應經選擇，使得為了 產生α口貝度罝且執行左分量與右分量之間的差異位元配置 起見，左分量中之失真比右分量中之失真被給定較小加 129195.doc -38- 200843516 權。 許多結果經考慮用於如本文中所描述由知覺品質度量所 引導之位元配置方案對比不依賴知覺品質度量之位元配置 方案。基於所預期主觀重要性來編碼左分量影像及右分量 影像可藉由花費相同量之編碼位元但將不同量之位元配置 ^ 於左分量與右分量之間而大體上改良品質。與向左分量配 . 置比向右分量更多的編碼位元相比時，向右分量配置比向 左分量更多的編碼位元會導致立體影像中之更高的總視覺 f 品質。依據千位元之數目，左分量及右分量之圖框大小為 近似相等的，但主觀視覺品質影響為完全可觀測的。因 此，如本揭示案中所描述之品質度量及位元配置方案在增 強自左分量影像及右分量影像所產生之立體影像的總視覺 品質中可為有效的。 圖5為說明三維視訊品質度量之產生及基於三維視訊品 質度量之編碼位元配置的流程圖。如圖5所示，視訊編碼 器20獲得三維視訊資料（72)(例如，包括左分量及右分 量），產生左分量與右分量之間的加權（74)，基於加權來調 整左分量影像與右分量影像之間的編碼位元配置（76)，且 . 使用位元配置來編碼三維視訊資料（78)。位元配置可在逐 圖框之基礎或逐區塊之基礎上被更新。以上所描述之操作 可藉由視訊編碼器20之各種組成組件或模組來執行。舉例 而言，位元配置模組64可調整三維視訊之左分量與右分量 之間的位元配置。視訊編碼單元70基於位元配置來編碼左 分量及右分量以產生三維經編碼視訊。 129195.doc -39- 200843516 圖6為說明基於三維視訊品質度 、 里之編碼位元至三维满 訊分量之配置的另一流程圖。如圖 、’ ^ 、 所不，視訊編碼器20 獲得二維視訊資料（8〇)。在此實例中 左/右分量加權彦咮 态62獲得左/右加權因數α(82)，例士 ’作為預設值、使用 者規定值、基於顯示器類型指示所 一 — 』疋之值。顯示器類剞 指示可由輸出裝置14提供，由製诰食 、 一 ,, I1"商、载運者或使用者指 不’或基於諸如源裝置之類型、目伊 不破置之類型、源梦署 被使用所針對之應用及/或源裝置 、、 直戎輸出裝置被使用所在 之區域的因素來假定。位元配置模組 4目圖框層級速率批 制器66獲得圖框層級位元預算（8 位元配置模組64基於 左/右加權因數α及位元預算來調整左 、 工刀里與右分量之間的 編碼位元配置（86)。編碼過程接著靡 錢者應用經更新編碼位元配 置。誶言之，編碼單元7〇使用位元配置以（例如）根據諸如 =G-4或Η.264編碼之視訊編码方法來編碼三維視訊資料 圖7為說明在rho(p)域中編碼仅元至三 隹視汛分I之配置 的“呈圖。Rh〇(P)域中之位元配置為了準確性起 需的。然❿，必要時，可完全在Qp域内執行位心置， 於场)域位元配置’視訊編碼器加獲得三維 ㈣，獲得左/右加權因數α(94)，且獲得圖框層級位元 算⑽。此外，-些或所有此等操作可藉由視訊編碼哭2〇 之組成組件或模組來執行。在獲 D〇 又卞口〒L層級位兀預算（96) 後’位元配置模組64就使用加權因數“及位㈣算來 二維視訊之左分量與右分量之間的h衫彳一 间的rh0域位兀配置（98)。 129195.doc -40- 200843516

Rho至QP映射器68接著將rh〇值映射至相應Qp值（1㈧），且 視I編碼单元7〇應用Qp值以編碼三維視訊（ι〇2卜編碼過 程根據至位S配置之基於圖框或基於區塊之調整而繼續。 在些悲樣中，視訊編碼器20可基於輸出顯示器類型之 指不來支杈二維視訊資料至不同立體格式之變換。舉例而 口視汛編碼裔20可獲得三維視訊資料且判定與輸出裝置 14相關聯之顯示器類型。基於顯示器類型，視訊編碼器2〇

C 判定任何變換（例如，自_立體格式至另_立體格式）是否 為必要的。若變換為必要的，則視訊編碼器20基於所指示 之顯示器類型來選擇適當立體格式，且將三維視訊資料改 變為選定立體格式。 /見訊編碼器20接著可編碼新三維視訊資料。視訊可根據 諸如MPEG.4或H.264編碼之視訊編碼方法來編碼。視訊變 換可視經指定以接收三維視㈣容之輸出裝置_特性而 允許三維視訊内容改變為各種立體格式。舉例而+，若二 維視訊内容作為單相機資訊加深度資訊而記錄㈣容㈣ 庫52中，則視訊變換可在已發現輸出裝置14包括立體顯示 益時將三維視訊内容轉換為適合於經由立體顯示器而呈現 =右分量及左分量。類似地，若輸㈣置14包括二維顯示 盗且三維視訊内容作為立體視訊内容而記錄於資料庫W 中，則變換可將立體資料轉換為適合 _ U < 口 A —維顯不器之二維 ^…般而言’變換可依賴顯示器類型之指示以判定變 ^否為必要的’且若為必要的，則判定應選擇哪一立體 札式用於變換。如本揭示案中所描述，顯示器類型之指示 129195.doc -41 - 200843516 =:出裝置14提供，或由載運者、製造商、使用者、應 、孓、區域、裝置類型或其類似者指示。 、丁案搖述用於二維視訊内容壓縮及再現之構架， =k用於諸如裝備有三維視訊能力之下—代行動電話的 Γ 之褒置°藉由使用考慮三維視訊之左分量及右分 里之:同作用的知覺品質度量以及基於品f度量之位元配 置方案，可使用不同顯示格式及顯示裝置而將類似立體視 机内容提供至不同檢視者。三維源視訊可以不同方式被俘 獲，2 ’但儲存於共同資料庫中，使得視訊生產者可產 β 貝視。凡，而未必處理與編碼相關聯之不同顯示器及 ,細的效應。更確切而言，可提供視訊編碼器以執行源視 ,、’’、二扣疋以接收視讯之輸出裝置相關聯之適當立體格 式的任何必要變換。 另外或其他，視訊編碼器可經裝備以產生品質度量且調 整視訊之左分量與右分量之間的編碼位元配置以處理由假 影及顯示特性所引起之失真。詳言之，如本揭示案中所描 述之視訊解碼器可經由位元配置而動態地調整壓縮比及所 預期檢視者之所察覺視訊品質以滿足位元預算，同時達成 可接受之視覺知覺品質。為了平衡壓縮比及知覺品質，可 如本揭示案中所界定而使用用於立體影像之品質度量。由 度量來引導，可應用由位元配置方案所體現之速率控制機 構以控制編碼位元及由壓縮所引起之品質失真。 本文中所描述之技術可以硬體、軟體、韌體或其任何組 合來實施。若以軟體來實施，則技術可至少部分地藉由電 129195.doc -42- 200843516 腦可讀媒體上之一或多個 所儲存或所傳輸指令或程式碼來 實現。電腦可讀媒體可包括 祜電細儲存媒體、通信媒體或兩 者’且可包括有助於電腦 电钿私式自一位置轉移至另一位置之 任何媒體。儲存媒體可為可由電腦存取之任何可用媒體。 :由實例而非限制’此等電腦可讀媒體可包含諸如ram 之貝枓儲存媒體，諸如，同步動態隨機存取記憶體 (SDRAM)、唯讀記憶體(R0M)、非揮發性隨機存取記憶體 (NVRAM)、R0M、電可抹除可程式化唯讀記憶體 (EEPROM)、EEPR〇M、快閃記憶體、cd rqm或其他光碟 儲存器、磁碟儲存器或其他磁性储存裝置，或可用於以指 令或貧料結構之形式來載運或儲存所要程式碼且可由電腦 存取之任何其他電腦可讀資料儲存媒體。 又，可適當地將任何連接稱作電腦可讀媒體。舉例而 言，若使用同軸電纜、光纖電纜、雙絞線、數位用戶線 (DSL)或諸如紅外、無線電及微波之無線技術而自網站' ϋ 飼服器或其他遠端源傳輸軟體，則同轴電纜、光纖電境、 雙絞線、DSL或諸如紅外、無線電及微波之無線技術包括 於媒體之定義中。如本文中所使用之磁碟及碟片包括緊密 碟片（CD)、雷射碟μ、光碟、數位通用碟片⑺、軟性 磁碟及blu-ray碟片，其令磁碟通常磁性地再現資料，而碟 片（例如）以雷射而光學地再現資料。上文之 於電腦可讀媒體之範•内。 ’括 與電腦程式產品之電腦可讀媒體相關聯的程式碼可由電 腦（例如，由一或多個處理器）執行，諸如，一或多個數位 129195.doc -43- 200843516 信號處理器（DSP)、通用微處理器、特殊應用積體電路 (ASIC)、場可程式化邏輯陣列（FpGA)，或其他等效積體或 離散邏輯電路。在一些態樣中，本文中所描述之功能性可 提心、於經組悲以用於編碼及解碼之專用軟體模組或硬體模 組内’或併入於組合式視訊編碼器解碼器（CODEC)中。 已描述所揭示視訊編碼技術之各種態樣。此等及其他態 樣係在以下申請專利範圍之範_内。 【圖式簡單說明】 圖1為5兒明二維視訊編碼及解碼系統之方塊圖。 圖2為說明用於二維視訊產生、編碼及呈現之不同技術 的方塊圖。 圖3 A為說明使用雙通技術藉由立體雙相機之三維視訊產 生以用於經由立體顯示器之呈現的方塊圖。 圖3B為說明使用最佳化技術藉由立體雙相機之三維視訊 產生以用於經由立體顯示器之呈現的方塊圖。 圖4為說明用於使用最佳化技術來產生經編碼三維視訊 之視訊編碼引擎的方塊圖。 所圖5曰為說明三維視訊品質度量之產生及基於三維視訊品 貝度里之編碼位元配置的流程圖。 圖6為說明基於三維視訊品質度量之編碼位元至三維視 訊分量之配置的另一流程圖。 圖7為說明在rh0(p)域中編碼位元至三維視訊分量之配置 的流程圖。 【主要元件符號說明】 129195.doc -44- 200843516 10 三維視訊編碼及解碼糸統 12 三維視訊源裝置 14 三維視訊輸出裝置 16 傳輸通道 18 三維視訊俘獲裝置/保存器 20 三維視訊編碼器 22 三維視訊解碼器 24 三維視訊顯示器 26 立體雙相機 28 具有深度相機之習知單相機 30 單相機 32 二維至三維轉換 34 左眼視圖 36 右眼視圖 38 雙眼訊息匯聚視圖 40 深度資料 42 雙眼訊息匯聚視圖 44 二維顯示貪料 46 立體顯示資料 48 自動立體顯示資料 52 内容資料庫 56 三維視訊編碼引擎 58 品質度量分析器 60 立體眼鏡 129195.doc -45 - 200843516 62 左/右分量加權產生器 64 三維rho域位元配置模組 66 圖框層級速率控制器 68 rho至QP映射器 70 視訊編碼單元 129195.doc -46-

Claims (1)

1. 200843516 十、申請專利範圍： 1. 一種方法，包含·· 獲知一界定可用於一個三維視訊圖框之許多編碼位元 的圖框預算；及 基於該圖框預算及左分量與右分量之間的一加權來產 生在該三維視訊圖框之該左分量及該右分量内之區塊的 位元配置值。

   2.如請求項1之方法’其中該等位元配置值包括rho域值， 该方法進一步包含·· 將該等rho域值映射至相應量化參數（Qp)值；及 ^於該映射而將許多編碼位元配置至該左分量及該右 勿里中之該等區塊中的每一者。 θ长項2之方法，進一步包含使用該等經配置編碼位 兀來編碼該左分量及該右分量中之該等區塊。 4.々明求項2之方法，進-步包含基於該加權而將不同量 之該等編碼位元配置至該左分量及該右分量。 5 之方法，進一步包含基於-用於檢視該左分 ▲右为量之顯示裝置類型來調整該加權。 6.如請求項5之方法，進一步 輸至之—輸出^_^ ―輕訊圖框所傳 翰出裝置接收該顯示裝置類型之一 7 ·如請求項丨之方 曰不。 、 方去，其中該加權係基於一人類& ^ 8 =左分量及該右分量中之失真的敏感性。人類^見者對 種包含一視訊編碼界 獲得-界定可用於編瑪器經組態以 、個二維視訊圖框之許多編碼位元的 129195.doc 200843516 圖框預算，且基於該圖框預算及左分量與右分量之間的 一加權來產生該三維視訊圖框之該左分量及該右分量内 之區塊的位元配置值。 9·如請求項8之裝置，其中該等位元配置值包括如域值， 且其中該視訊編碼器經組態以將該等rh〇域值映射至相應 量化參數（QP)值，且基於該映射而將許多編碼位元配置 至該左分量及該右分量中之該等區塊中的每一者。

   10·，明求項9之裝置，其中該視訊編碼器經組態以使用該 等經配置編碼位元來編碼該左分量及該右分量中之該等 區塊。 11 ·如請求項9夕姑里 卜、 、置，八中該視訊編碼器經組態以基於該 加權而將不同量 _ J里之違專編碼位疋配置至該左分量及該右 L) 12 ·如請求項8之裝置 用於檢視該左分量 加權。 ’其中该視訊編碼器經組態以基於一 及该右分量之顯示裝置類型來調整該 13. 如請求項12之裝置 維視訊圖框所傳輸 之一指示。 其中该視訊編碼器經組態以自該 至之一輸出裝置接收該顯示裝置類 型 人類檢視者對 14 ·如清求項8之裝置 該左分量及該右分 15. —種裝置，包含： ’其中該加權係基於一 蓋中之失真的敏感性。 用於獲得一界定可用於 位兀之圖框預算的構件； 個二維視訊圖框之 及 許多 編碼 129195.doc 200843516 用於基於該圖框預算及左分量與右分量之間的—加權 來產生該三維視訊圖框之該左分量及該右分量内之區塊 之位元配置值的構件。 6’ 士明求項15之裝置，其中該等位元配置值包括rh〇域值， 該裝置進一步包含： 用於將該等rho域值映射至相應量化參數（Qp)值 件；及 用於基於該映射而將許多編碼位元配置至該左分量及 該:分量中之該等區塊中之每一者的構件。 长員16之裝置’進—步包含用於使用該等經配置編 ::位兀來編碼該左分量及該右分量中之該等區塊的構 18.如請求項16 同量之步包含用於基於該加權而將不 件。4編碼位元配置至該左分量及該右分量的構 Ο 19·如請求項15 、 左分旦月 "，進一步包含用於基於一用於檢視該 件。 μ右刀夏之顯示裝置類型來調整該加權的構 2 0 ·如請求項丨9 所傳輪至之]置進步包含用於自該三維視訊圖框 構件。 輸出裝置接收該顯示裝置類型之一指示的 2 1 ·如請求項工$ 該左分量及^襄置，其中該加權係基於—人類檢視者對 22 该右分量中之失真的敏感性。 以·種包含 电細可％媒體之電腦程式產品，該電腦可讀 129195.doc 200843516 媒體包含用以引起一電腦執行以下各項之程式碼·· 獲得一界定可用於一個三維視訊圖框之許多編碼位元 的圖框預算；及 基於該圖框預算及左分量與右分量之間的一加權來產 生该二維視訊圖框之該左分量及該右分量内之區塊的位 元配置值。 23.如請求項22之電腦程式產品，其中該等位元配置值包括 rho域值，且其中該電腦可讀媒體進一步包含用以引起該 電腦將該等rho域值映射至相應量化參數（Qp)值且基於該 映射而將許多編碼位元配置至該左分量及該右分量中之 該等區塊中之每一者的程式碼。 24·如請求項23之電腦程式產品，其中該電腦可讀媒體進一 步包含用以引起該電腦使用該等經配置編碼位元來編碼 該左分量及該右分量中之該等區塊的程式碼。 25·如請求項22之電腦程式產品，其中該電腦可讀媒體進— 步包含用以引起該電腦基於一用於檢視該左分量及該右 分量之顯示裝置類型來調整該加權的程式碼。 26·如請求項25之電腦程式產品，其中該電腦可讀媒體進— 步包含用以引起該電腦自該三維視訊圖框所傳輸至之— 輸出裝置接收該顯示裝置類型之一指示的程式碼。 27·如凊求項22之電腦程式產品，其中該加權係基於一人類 檢視者對該左分量及該右分量中之失真的敏感性。、 129195.doc