TWI364000B - Stereo graphics system and processing method and storage medium - Google Patents

Description

1364000 九、發明說明： 【發明所屬之技術領域】 ' 本發明有關於一種立體圖形繪製技术，特別有關於 • 基於深度影像繪製之立體圖形系統以及其處理方法。 【先前技術】 一般來說，三維（three-dimensional, 3D)圖形繪製可 藉由硬體3D加速器進行繪製，也可不藉由硬體3D加速 • 器進行繪製。但是，在立體圖形裝置中，一個場景（scene) 通常需要被繪製兩次，一次用於左眼視線（view)，一次用 於右眼視線。 第1圖為立體圖形以及3D影像概念之示意圖。底 部左邊的圓圈和底部右邊的圓圈分別表示人的左眼位置 以及右眼位置。E表示兩眼之間的距離，P表示左眼以及 右眼投射至螢幕平面的視線之間的距離，此距離為人腦 中之視線深度（view depth)之立體視訊之差異。Zi表示從 ❿人眼到螢幕平面之間的視線距離。最高點表示顯示在螢 幕平面上之影像點，Zm表示從螢幕平面至影像點在人腦 形成3D景象的視線深度。 3D立體圖形操作包括3D圖形繪製立體視覺。立體 圖形加速器的設計中包括繪製3D影像以及顯示立體圖 形。即時繪製3D圖形可藉由使用具有3D圖形晶片的影 像加速器而實現，例如3Dlabs提供的GLINT線。設計高 解析度立體圖形加速器之一關鍵則是在立體圖形加速器 0758-A32830TWF;MTKI-06-496 5 1364000 中加入立體顯示功能。 正如前所述，只有在左眼影像、右眼影像（即立體圖 形對，stereo pair)同時顯示時才能看到立體圖形。這樣， 則需要兩個雙缓衝記憶體（double-buffered memory)來進 行立體顯示。也就是說，晝框缓衝器必須被分成4個缓 衝區，包含前左緩衝區，後左緩衝區，前右缓衝區以及 後右缓衝區。每個雙缓衝記憶體儲存左眼影像或是右眼 影像，這種晝框緩衝器結構被稱作是4路緩衝（quad buffering) ° 為了在顯示設備上正確觀看立體圖形，左眼只能觀 看從左緩衝器輸出之影像，右眼只能觀看從右緩衝器輸 出之影像。每只眼所觀看之影像需經常更新以防止閃爍 (flickering)。時分式立體設備（Time multiplexed stereo devices)，如液晶立體眼鏡，一般用以觀看立體圖形。 請參考第2圖所示之NVIDIA 3D立體使用者向導， 圖形應用軟體17決定一觀察點以及圖形資料，圖形管線 (pipeline)23根據觀察點以及影像資料繪製影像，晝框缓 衝器26儲存所繪製之影像，顯示設備29顯示所繪製之 影像。當開啟立體模式時，兩攝影機之觀察點被繪製， 這樣會降低至少一半的晝框率，晝框率的降低常常會導 致無法繼續遊戲或者是晝面品質很差。 在先前技術中，請參見第3圖，為先前技術之立體 圖形系統之方塊圖。當啟動立體模式時，利用多個圖形 管線繪製兩攝影機之觀察點。主管線55接牧圖形資料； 0758-A32830TWF;MTKI-06-496 6 1364000 並且繪製2D圖形資料至晝框緩衝器65,然後發送3D影 像資料至從管線（31&¥6卩丨卩61丨1^)56〜59，從管線56〜59分 別繪製3D影像資料至晝框緩衝器66〜69。合成器76將 來自晝框緩衝器65〜69之資料流合成單一資料流並傳送 至顯示設備83。由於在繪製左眼影像和右眼影像時採用 多於一個之圖形管線，以致其晝框率與2D顯示模式時之 晝框率相等，但是其硬體成本以及交換圖形資料時的頻 寬均有所增加。 【發明内容】 本發明提供一種可降低系統的複雜度並且加速影像 的合成之立體圖形系統以及方法。 本發明實施例提供一種立體圖形系統，包含主管 線，接收圖形資料，繪製第一影像，並根據第一影像獲 得深度影像；繪製單元，自主管線獲得第一影像以及深 度影像並根據第一影像以及深度影像繪製第二影像；第 一晝框緩衝器，獲得並暫存第一影像；第二晝框緩衝器， 獲得並暫存第二影像；以及合成器，從第一晝框緩衝器 以及第二晝框缓衝器獲得第一影像以及第二影像，並將 第一影像和第二影像合成以產生合成影像結果。 本發明實施例還提供一種處理立體圖形之方法，包 含自圖形資料繪製第一影像並獲得與第一影像相關之深 度影像；暫存第一影像；根據第一影像以及深度影像繪 製第二影像；暫存第二影像；以及獲取第一影像以及第 0758-A32830TWF;MTKI-06-496 7 1364000 二影像並將第一影像以及第二影像合併成影像結果。 本發明實施例還提供一種用以處理立體圖形之可讀 計算機儲存媒體，包含利用一計算機完成以下步驟，自 影像資料繪製左眼之第一影像並獲得與第一影像相關之 深度影像；暫存第一影像；根據第一影像以及深度影像 繪製右眼之第二影像；暫存第二影像；以及獲取第一影 像以及第二影像並將第一影像以及第二影像合併成影像 結果。 因此’本發明之立體圖形糸統以及處理立體圖形之 方法，藉由所繪製之影像以及獲得之深度影像得到另一 影像，將影像合成立體圖形，可以降低系統的複雜度並 且加速影像的合成。 【實施方式】 為讓本發明之上述和其他目的、特徵、和優點能更 明顯易懂，下文特舉出較佳實施例，並配合所附圖式， 作詳細說明如下： 第4圖表現人的視覺神經所產生的左眼以及右眼所 觀察到物體之相對位置。第5圖顯示一深度影像繪製之 實施例，根據視覺神經產生的左眼所觀察到之影像繪製 右眼影像。請參考第4圖，左眼視線與右眼視線是相關 的，深度是重要的關係。請參考第5圖，影像L代表左 眼影像，影像R代表右眼影像，DV(display vector)代表 i导.#仓暑，嵚德D仲矣溪疫戡德，；眼戡德妯昔决:给制 , 'ψ -r-~ w — , 、·*ί ^ /一”κν 'jv |/><^ t—* / w , 口外、 0758-A32830TWF;MTKI-06-496 8 1364000 出來’然後計算出與左眼影像有關之深度影像，根據左 眼影像以及深度影像繪製右眼影像。 第6圖為本發明實施例的基於深度之影像繪製之立 體圖形系統之示意圖。立體圖形系統4〇〇包含圖形應用 軟體410 ’主管線（master pipeHne)42〇，繪製單元43〇， 第一晝框缓衝器440 ’第二晝框緩衝器450，以及合成器 (compositor)460。圖形應用軟體410提供圖形資料至主管 線420’主管線420繪製左眼影像並且獲得與左眼影像有 關之深度影像。左眼影像暫時儲存於第一晝框緩衝器 440。主管線420將左眼影像以及深度影像傳送至繪製單 元430。繪製單元430根據左眼影像以及深度影像綠製右 眼影像，並將右眼影像暫存於第二畫框缓衝器45〇中。 合成器460從第一晝框緩衝器440以及第二畫框緩衝器 4 5 0中獲得左眼影像和右眼影像，並將其左眼影像和右眼 影像合成以產生顯示於顯示裝置之影像結果。

如上所述，右眼影像可以從左眼影像以及深度影像 資訊中獲得。但是，由第4圖所示’左眼與右眼的視線 差異造成了遮蔽區域（occluded areas)。如果要求準確的$ 像結果，則繪製單元430對遮蔽區域繪製—定界框 (bounding box)並將此定界框傳送至主管線420。主管線 420再根據此定界框繪製遮蔽區域之右眼影像。遮蔽區域 之右眼影像可藉由内插法（interpolation)或是外插法 (extrapolation)來提高晝面品質。 示 /圓柯个’矿％力一貝ί門列签/rr冰反之利周至少 0758-A32830TWF;MTKI-06-496 9 1364000 兩官線的影⑽製之立體圖形系統之示意圖。 系統谓包含圖形應用軟體51〇,主管線别，從= ⑷ pipellne)525，緣製單元跡第—晝框緩衝器_， 第二晝框緩衝器550’第三畫框緩衝器％，以号 560。主管線520從圖形應用軟體51〇獲得圖形資二，並 且繪製左眼並㈣切影料算深度影像。 眼影像於第—錢緩衝器_進行緩衝，如果左㈣像 中-物體也需要繪製，但其位置遠於—觀察者之左眼、、果 度影像，則從管線525繪製這個物體並將其影像傳送至 第三晝框緩衝器545。主管線52〇將左眼影像以及深度影 像傳送讀製單元53〇。繪製單元53()根據左眼影像以及 深度影像繪製右眼影像，並將右眼影像暫存於第二畫框 緩衝器550。合成器560從第一晝框緩衝器54〇以及第二 晝框緩衝器55G中獲得左眼影像和右眼影像，並從第三 晝框緩衝器545中獲得物體影像，然後將左眼影像和右 眼影像以及物體影像進行合成以產生顯示於顯示裝置之 影像結果。 第8圖為本發明另—實施例之立體圖形系統之示意 圖，基於深度資訊並利用至少兩繪製單元產生立體影 像。立體圖形系統600包含圖形應用軟體61〇，主管線 620’繪製單元630以及635，第一晝框緩衝器64〇，第 二晝框缓衝器650’第三晝框緩衝器655，以及合成器 660。主管線620從圖形應用軟體61〇獲得圖形資料，並 從影像資料情製左㈣像，I根據左㈣像獲得影像 0758-A32830TWF;MTKI-〇6496 10 1364000 深度，然後將左眼影像傳送至第一晝框緩衝器640。如果 左眼影像中一物體也需要繪製，但其位於左眼深度影像 附近，則繪製單元635繪製此物體，並將物體影像傳送 至第三畫框緩衝器655。主管線620將左眼影像以及深度 影像傳送至繪製單元630以繪製右眼影像，並且右眼影 像暫時儲存至第二晝框緩衝器650。合成器660從第一晝 框缓衝器640以及第二晝框緩衝器650中獲得左眼影像 和右眼影像，並從第三晝框緩衝器655中獲得物體影像， • 然後將左眼影像和右眼影像以及物體影像進行合成以產 生顯示於顯示裝置之影像結果。 在其他一些實施例中，立體圖形系統根據兩個以上 視野產生最終影像，例如，包含左，右以及中央視野。 中央視野之影像可由與第5圖結構相似之另外一個圖形 管線而獲得，或由與第6圖結構相似之另外一個繪製單 元而獲得。 第9圖為本發明實施例之立體圖形系統的處理方 ® 法。當圖形應用軟體開始工作時，繪製對應左眼之第一 影像以及與第一影像相關之深度影像（步驟71)。傳送第 一影像至第一晝框缓衝器以及繪製單元，並傳送深度影 像至繪製單元（步驟72)。根據第一影像以及深度影像計 算與右眼相關之第二影像（步驟73)。然後，傳送第二影 像至第二晝框緩衝器（步驟74)。從第一晝框緩衝器以及 第二晝框缓衝器獲得第一影像和第二影像，然後將第一 影像和第二影像合成以產生影像結果（步驟75)，並將影 0758-A32830TWF;MTKI-06-496 11 像結果顯示於顯示設備之上。 因此’基於深度影像繪製之立體圖形系 方法可應用至影後士 ，、、，及處理 形之彦σ ^象卡（graphlcs cards)或其他支援立體圖 萨由利二以，施例所提出之立體圖形系統以及方法 i也貧訊加速影像合成。處理複雜場景的晝框 ^也此保持與僅採用-個圖形管線單元時的晝框率相

中，如，cJ 之方法均可以程式的形式儲存於媒體 體，1中’叙4,’硬碟’韧體，或其他機器可讀儲存媒 0 ，程式碼（例如電腦指令）由機器載入並執行。當 程式碼由機器，例如電腦，載人並執行成; 施上述揭露之内容的裝置。 ㈣成為貫

本發明另一實施例提供一種用以處理立體圖形之可 讀計算機儲存媒體，包含利用用—計算機完成以下步 驟.自圖形資料繪製左眼之第一影像並獲得與第一影像 相關之冰度影像；暫存第__影像；根據第—影像以及深 IV像繪製右眼之第二影像；暫存第二影像；以及獲取 第一影像以及第二影像並將第一影像以及第二影像合併 成一影像結果。如果偵測到第一影像以及第二影像之遮 蔽區域，繪製定界框；以及根據定界框繪製該遮蔽區域。 其中遮蔽區域係藉由内插法緣製。 以上所揭露之方法還可被應用於在傳輸媒體上（例 如，電線，電纜或光纜等）或藉由任何其他傳輸方式傳送 的程式碼。其令，當程式碼由機器（例如電腦）接收並載 0758-A32830TWF;MTKI-06-496 12 1364000 入，機器成為實施上述揭露之内容的裝置。當實施於一 般概念之處理器時，程式碼與處理器結合以提供一特定 ' 裝置來操作特定之電路。 • 雖然本發明已以較佳實施例揭露如上，然其並非用 以限定本發明，任何熟悉此項技藝者，在不脫離本發明 之精神和範圍内，當可做些許更動與潤飾，因此本發明 之保護範圍當視後附之申請專利範圍所界定者為準。 • 【圖式簡單說明】 第1圖為立體圖形以及3D影像概念之示意圖。 第2圖為先前技術之立體圖形系統之方塊圖。 第3圖為先前技術之立體圖形系統之方塊圖。 第4圖表現人的視覺神經所產生的左眼以及右眼所 觀察到物體之相對位置。 第5圖顯示一深度影像繪製之實施例之示意圖。 第6圖為本發明實施例的基於深度之影像繪製之立 • 體圖形系統之示意圖。 第7圖為本發明另一實施例的基於深度之利用至少 兩管線的影像繪製之立體圖形系統之示意圖。 第8圖為本發明另一實施例的基於深度之利用至少 兩繪製單元的影像繪製之立體圖形系統之示意圖。 第9圖為本發明實施例之立體圖形系統的處理方 法0 【主要元件符號說明】 〇758-A32830TWF;MTKI-06-496 13 1364000 17 ： 圖形應用軟體； 26 ： 畫框緩衝器； 55 ： 主管線； 65〜 69 :晝框缓衝器 ， 83 ： 顯示設備； 420 :主管線； 440 :第一晝框緩衝 ES. · ， 460 :合成器； 510 :圖形應用軟體 525 :從管線； 540 :第一晝框緩衝 為， 545 :第三晝框緩衝 ， 500 :立體圖形系統 620 :主管線； 635 :繪製單元； 640 :第一晝框缓衝 裔， 660 :合成器； 71〜75 :步驟。 23 :圖形管線； 29 :顯示設備； 56〜59 :從管線； 76 :合成器； 410 :圖形應用軟體； 430 :繪製單元； 450 :第二晝框緩衝器； 400 :立體圖形系統； 520 :主管線； 530 :繪製單元； 550 :第二晝框緩衝器； 560 :合成器； 610 :圖形應用軟體； 630 :繪製單元； 655 :第三晝框缓衝器； 650 :第二晝框緩衝器； 600 :立體圖形系統； 0758-A32830TWF;MTKI-06-496 14

Claims (1)

1364000 _ 第96140225之申請專利範圍修正本 100年11月9日修正替換頁 十、申請專利範圍： 1. 一種立體圖形系統，包含： - 一主管線，接收圖形資料，繪製一第一影像，並根 ' 據該第一影像獲得一深度影像； 一繪製單元，耦接至該主管線，從該主管線獲得該 第一影像以及該深度影像，並基於該第一影像以及該深 度影像繪製一第二影像； 一第一晝框緩衝器，耦接至該主管線，獲得並儲存 ® 該第-影像； 一第二晝框緩衝器，耦接至該繪製單元，獲得並儲 存該第二影像；以及 一合成器，耦接至該第一晝框緩衝器以及該第二畫 框緩衝器，從該第一晝框緩衝器以及該第二晝框緩衝器 獲得該第一影像以及該第二影像，並將該第一影像和該 第二影像合成以產生一立體影像，其中該第一影像係為 ^ 一左眼影像及一右眼影像之其中一者，且該第二影像係 為該左眼影像及該右眼影像之另一者。 2. 如申請專利範圍第1項所述之立體圖形系統，其 中如果偵測到該第一影像以及該第二影像之一遮蔽區 域，該繪製單元繪製一定界框並將該定界框傳送至該主 管線，該主管線根據該定界框繪製該遮蔽區域。 3. 如申請專利範圍第2項所述之立體圖形系統，其 中該遮蔽區域係藉由内插法繪製。 4. 如申請專利範圍第i項所述之立體圖形系統，更 0758-A32830TWF1(20110713) 15 1364000 1 第96140225之申請專利範圍修正本 100年11月9曰修正替換頁 包含： 一第二繪製單元，從該主管線獲取該第一影像以及 該深度影像，並繪製一第三影像；以及 一第三晝框缓衝器，耦接至該第二繪製單元，獲得 並儲存該第三影像； 其中該合成器藉由合併該第一影像，該第二影像以 及該第三影像產生該立體影像。 5. 如申請專利範圍第1項所述之立體圖形系統，更 包含： ^ 一從管線，接收該圖形資料並繪製一第三影像；以 及 一第三晝框缓衝器，獲得並儲存該第三影像； 其中該合成器藉由合併該第一影像，該第二影像以 及該第三影像產生該立體影像。 6. —種處理立體圖形之方法，包含： 自圖形資料繪製一第一影像並獲得與該第一影像相 < 關之一深度影像； 暫存該第一影像； 根據該第一影像以及該深度影像繪製一第二影像； 暫存該第二影像；以及 獲取該第一影像以及該第二影像並將該第一影像以 及該第二影像合併成一立體影像，其中該第一影像係為 一左眼影像及一右眼影像之其中一者，且該第二影像係 為該左眼影像及該右眼影像之另一者。 0758-A32830丁 WF1(20110713) 16 K64000 100年11月9日修正替換頁 項所述之處理立體圖形之方 第96140225之申請專利範圍修正本 7.如申凊專利範圍第 法’更包含： 、$如f偵測到該第一影像以及該第二影像之一遮蔽區 、 ^ 足界框’根據該定界框繒製該遮蔽區域。 、_8.如申請專利範圍第7項所述之處理立體圖形之方 法，其中該遮蔽區域係藉由内插法繪製。 9·如申請專利範圍第6項所述之處理立體圖形之方 法，更包含： 獲取該第一影像以及該深度影像以繪製一 像；以及 〜 暫存該第三影像； 該第二影像以及該第三影像 其中合併該第一影像 以產生該立體影像。 ’ 1〇.如申请專利範圍第9項所述之處理立體圖形之方 法’其中根據接近該第—影像之—基於深度物體之—物 體繪製該第三影像。 !·如申叫專利範圍第6項所述之處理立 法’更包含： 口〜〈万 接收該圖形資料並緣製一第三影像；以及 暫存該第三影像； 其中合併該第一影像，該第二影像以及 以產生該立體影像。 乐一々像 、12·如申請專利範圍fii項所述之處理立體圖 方去’其中根據接近該第—影像之_基於深度物體之一 〇758-A32830TWF1(2〇h〇713) 1364000 ‘- 第96140225之申請專利範圍修正本 100年11月9日修正替換頁 物體繪製該第三影像。 13. —種用以處理立體圖形之可讀計算機儲存媒 體，包含利用用一計算機完成以下步驟： 自圖形資料繪製左眼之一第一影像並獲得與該第一 影像相關之一深度影像； 暫存該第一影像； 根據該第一影像以及該深度影像繪製右眼之一第二 影像； 暫存該第二影像；以及 1 獲取該第一影像以及該第二影像並將該第一影像以 及該第二影像合併成一立體影像，其中該第一影像係為 一左眼影像及一右眼影像之其中一者，且該第二影像係 為該左眼影像及該右眼影像之另一者。 14. 如申請專利範圍第13項所述之用以處理立體圖 形之可讀計算機儲存媒體，更包含： 如果偵測到該第一影像以及該第二影像之一遮蔽區 < 域，繪製一定界框；以及 根據該定界框繪製該遮蔽區域。 15. 如申請專利範圍第13項所述之用以處理立體圖 形之可讀計算機儲存媒體，其中該遮蔽區域係藉由内插 法繪製。 0758-A32830TWF1 (20110713) 18