TWI566205B - 圖形驅動程式在顯像圖框中近似動態模糊的方法 - Google Patents

Description

圖形驅動程式在顯像圖框中近似動態模糊的方法

本發明係關於一種透過圖形驅動程式在顯像圖框中近似(approximate)動態模糊的方法。

動態模糊是人眼辨識出移動物件的重要線索(cue)。因此在電腦產生影像中，時常需要模擬(simulate)出動態模糊的效果，以增進逼真性。

對此，可參考例如Fernando Navarro,Francisco J.Sern and Diego Guitierrez.Motion Blur Rendering：State of the Art.Computer Graphics Forum Volume 30(2011),number 1,pp.3-26.或是參考同屬申請人的美國專利7362332，標題為『System and method of simulating motion blur efficiently』。

本發明一方面在於提出一種透過圖形驅動程式在顯像圖框中近似(approximate)動態模糊的方法，特別是將一已根據圖形應用程式所需而顯像的圖框再進行後續處理，以產生動態模糊的效果。

相較之下，現有技術中動態模糊的產生係由圖形應用程式預先決定，而圖形處理單元再根據圖形應用程式的物件場景(object-scene)資料而顯像出呈現動態模糊的圖框。許多圖形應用程式著眼於透過高圖框率來顯像出高品質的動態影像，因此 並無提供動態模糊的模擬；然而在某些情況下，相較於高圖框率而無動態模糊，使用者更偏好低圖框率而具有動態模糊，因為其更貼近人眼的視覺習慣。而透過本發明實施例，即可在圖形應用程式無決定動態模糊的情況下，由圖形驅動程式根據其所能取得的資料近似出動態模糊，且圖形驅動程式可藉由在執行緒中插入休眠週期來降低圖框率，以節省耗能。

本發明的一實施例中提出一種透過圖形驅動程式在顯像圖框中近似(approximate)動態模糊的方法，包含：(a)對於一圖框轉換矩陣，取得前一顯像圖框與當下顯像圖框之矩陣值；(b)取得當下顯像圖框的深度值；以及(c)載入一著色器至一圖形處理單元，使得圖形處理單元根據前一顯像圖框之圖框轉換矩陣值、當下顯像圖框之圖框轉換矩陣值、與當下顯像圖框之深度值，以調整當下顯像圖框中一或多個樣本區域之顏色值，以藉此在當下顯像圖框中產生動態模糊效果。

本發明的一實施例中提出一種電腦系統，包含：一圖形處理單元；一中央處理單元，其電性連接於該圖形處理單元，用以執行一圖形驅動程式以執行上述在顯像圖框中近似動態模糊的方法。

本說明書中所提及的特色、優點、或類似表達方式並不表示，可以本發明實現的所有特色及優點應在本發明之任何單一 的具體實施例內。而是應明白，有關特色及優點的表達方式是指結合具體實施例所述的特定特色、優點、或特性係包含在本發明的至少一具體實施例內。因此，本說明書中對於特色及優點、及類似表達方式的論述與相同具體實施例有關，但亦非必要。

參考以下說明及隨附申請專利範圍或利用如下文所提之本發明的實施方式，即可更加明瞭本發明的這些特色及優點。

於以下本發明的相關敘述會參照依據本發明具體實施例之系統、裝置、方法及電腦程式產品之流程圖及/或方塊圖來進行說明。當可理解每一個流程圖及/或方塊圖中的每一個方塊，以及流程圖及/或方塊圖中方塊的任何組合，可以使用電腦程式指令來實施。這些電腦程式指令可供通用型電腦或特殊電腦的處理器或其他可程式化資料處理裝置所組成的機器來執行，而指令經由電腦或其他可程式化資料處理裝置處理以便實施流程圖及/或方塊圖中所說明之功能或操作。

這些電腦程式指令亦可被儲存在電腦可讀取媒體上，以便指示電腦或其他可程式化資料處理裝置來進行特定的功能，而這些儲存在電腦可讀取媒體上的指令構成一製成品，其內包括之指令可實施流程圖及/或方塊圖中所說明之功能或操作。

電腦程式指令亦可被載入到電腦上或其他可程式化 資料處理裝置，以便於電腦或其他可程式化裝置上進行一系統操作步驟，而於該電腦或其他可程式化裝置上執行該指令時產生電腦實施程序以達成流程圖及/或方塊圖中所說明之功能或操作。

請參照圖1至圖4，在圖式中顯示依據本發明各種實施例的電腦系統、方法及電腦程式產品可實施的架構、功能及操作之流程圖及方塊圖。因此，流程圖或方塊圖中的每個方塊可表示一模組、區段、或部分的程式碼，其包含一或多個可執行指令，以實施指定的邏輯功能。另當注意者，某些其他的實施例中，方塊所述的功能可以不依圖中所示之順序進行。舉例來說，兩個圖示相連接的方塊事實上亦可以同時執行，或依所牽涉到的功能在某些情況下亦可以依圖示相反的順序執行。此外亦需注意者，每個方塊圖及/或流程圖的方塊，以及方塊圖及/或流程圖中方塊之組合，可藉由基於特殊目的硬體的系統來實施，或者藉由特殊目的硬體與電腦指令的組合，來執行特定的功能或操作。

<系統架構>

應明白，具體實施例可在許多不同類型的電腦系統100上實施。範例包括但不限於：桌上型電腦、工作站、伺服器、媒體伺服器、膝上型電腦、遊戲控制台、數位電視、PVR、及個人數位助理(PDA)，以及其他具計算及資料儲存能力的電子裝置，諸如無線電話、媒體中心電腦、數位視訊記錄器、數位相機、及數位音訊播放或記錄裝置。

圖1顯示本發明一實施例的電腦系統100方塊圖。電腦系 統100包含一中央處理單元(CPU)102。中央處理單元102經由包含一記憶體橋接器105的匯流排路徑與系統記憶體104通訊。記憶體橋接器105可以係傳統的北橋晶片，經由一匯流排或其它通訊路徑106(例如，一超傳輸鏈結(HyperTransport link))連接至一I/O(輸入/輸出)橋接器107。I/O橋接器107，可以係傳統的南橋晶片，從一或多個使用者輸入裝置108(例如，鍵盤、滑鼠)接收使用者輸入，並經由匯流排106與記憶體橋接器105轉送該輸入至中央處理單元102。視覺輸出係提供於像素式的顯示裝置110(例如，傳統的CRT或LCD式監視器)，運作於圖形處理子系統112的控制下，圖形處理子系統112經由一匯流排或其它通訊路徑113(例如，PCI-E或AGP鏈結)耦接於記憶體橋接器105。一系統磁碟114也連接至I/O橋接器107。切換器116提供I/O橋接器107以及其它元件(諸如：網路配接器118與不同添加卡120、121)之間的連接。其它元件(圖未示出)包含：USB或其它埠連接、CD光碟機、DVD光碟機，與其它類似者，也可以連接至I/O橋接器107。

圖形處理子系統112包含一圖形處理單元(GPU)122以及圖形記憶體124可以實施為，例如，使用一或多個積體電路裝置諸如：可程式處理器、特殊應用積體電路(ASICs)，以及記憶體裝置。圖形處理單元122可以係具有單核心或多核心的圖形處理單元122。圖形處理單元122可以配置為執行不同工作，其係關於從中央處理單元102以及/或系統記憶體104經由記憶體橋接器105與匯流排113提供的圖形資料產生像素資料、與圖形記憶體124互動以儲存並更新像素資料，或其它類似者。例如，圖形處理單元122可以從中央處理單元102執行的不同程式所提供的2D或3D場景資料產生像素資料。圖形 處理單元122也可以將經由記憶體橋接器105所接收的像素資料儲存到圖形記憶體124，並作進一步處理或不作進一步處理。圖形處理單元122也可以包含一掃描輸出模組配置以從圖形記憶體124遞送像素資料至顯示裝置110。應了解的是，圖形處理子單元112的特定配置以及功能對於本發明並不重要，且細節性的描述已被省略。

中央處理單元102運作為系統100的主要處理器，控制以及協調其它系統元件的運作。在系統100的運作中，中央處理單元102執行常駐於系統記憶體104的不同程式。在一實施例中，這些程式包含一或多個作業系統(OS)程式136、一或多個圖形應用程式138、以及一或多個用以控制圖形處理單元122之運作的圖形驅動程式140。應可了解的是，雖然這些程式顯示係常駐於系統記憶體104，但本發明並不限於任何特定機制用以提供程式指令給中央處理單元102執行。例如，在任何給定的時間，任一個這些程式的某些或全部的程式指令可以呈現於中央處理單元102中(例如，在一個晶片上的指令快取以及/或不同緩衝器與暫存器)，在系統磁碟114上的一個頁檔案(page file)或記憶體映射檔，以及/或其它儲存空間中。

作業系統程式136以及/或圖形應用程式138可以係傳統的設計。圖形應用程式138，例如，可以是一個視訊遊戲程式產生圖形資料以及觸發適當的圖形處理單元122功能以轉換圖形資料(graphics data)為像素資料(pixel data)。另一個圖形應用程式138可以產生像素資料以及提供像素資料給圖形記憶體124供圖形處理單元122顯示。應了解的是，產生像素以及/或圖形資料的任何數目之應用程式，可以在中央處理單元102 上同時執行。作業系統程式136(例如，微軟視窗作業系統的圖形裝置介面(GDI)元件)也可以產生像素以及/或圖形資料給圖形處理單元122執行。在某些實施例，圖形應用程式138以及/或作業系統程式136也可以觸發圖形處理單元122的功能，用於一般目的的計算。

圖形驅動程式140致能與圖形處理子系統112的通訊，例如，與圖形處理單元122。圖形驅動程式140有益地實現一或多個標準核心模式驅動介面，諸如微軟D3D。作業系統程式136有益地包含執行時間(run-time)元件，可經由圖形應用程式138與一核心模式圖形驅動程式140的通訊，提供一核心模式圖形驅動器介面。因此，以觸發適當的功能呼叫，作業系統程式136以及/或圖形應用程式138可以指示圖形驅動程式140轉移幾何資料(geometry data)或像素資料到圖形處理子系統112，以控制圖形處理單元122的顯像(rendering)以及/或掃描輸出運作等等。特定命令以及/或資料被圖形驅動程式140傳送到圖形處理子系統112，以回應依據圖形處理子系統112的實施而變動的功能呼叫，而且圖形驅動程式140也可以傳送不是由作業系統程式136或圖形應用程式138控制的命令以及/或資料實現額外的功能(例如，特別的視覺效果)。

應了解的是，在此所顯示的系統係示例性並且可以變更以及修改。匯流排的型態，包含橋接器的數目以及安排，可以依需求作修改。例如，在某些實施例中，系統記憶體104被直接連接到中央處理單元102而不是透過橋接器，且其它裝置經由記憶體橋接器105與中央處理單元102與系統記憶體104通訊。在其它替代的型態中，圖形處理子系統112連接到I/O橋 接器107而不是記憶體橋接器105。在其它實施例，I/O橋接器107以及記憶體橋接器105可以整合於單一晶片。在此顯示的特定元件係選配的(optional)，例如，可以支援任何數目的添加卡或週邊裝置。在某些實施例中，切換器116被排除，而網路配接器118與添加卡120、121直接連接到I/O橋接器107。

圖形處理子系統112到系統100之其它元件的連接也可以被變更。在某些實施例，圖形處理子系統112被實施為一個能被插到系統100的擴充槽的一添加卡。在其它實施例，圖形處理子系統112包含一圖形處理單元被整合在具有匯流排橋接器(例如記憶體橋接器105或I/O橋接器107)的單一晶片上。圖形處理子系統112可以包含任何數量的專用圖形記憶體，包含非專用記憶體，以及可以使用專用的圖形記憶體與系統記憶體於任何組合。此外，圖形處理子系統112可以包含任何數目的圖形處理單元，例如，包含多個圖形處理單元在單一圖形卡，或連接多個圖形卡到匯流排113。

<方法流程>

圖2顯示本發明一實施例中以透過圖形驅動程式140在顯像圖框中近似(approximate)動態模糊的方法。該方法可以應用於如圖1所示之電腦系統100，尤其，可以係由運行圖形驅動程式140的中央處理單元102配合圖形處理單元122加以執行。簡言之，圖2顯示之方法可以在當下顯像圖框中產生或近似出動態模糊效果，以下將進一步說明。

以下說明內容請同時參照圖1與圖2。

步驟S01：圖形驅動程式140對於一圖框轉換矩陣，分別 取得前一顯像圖框與當下顯像圖框之矩陣值。在本發明中，圖形驅動程式140係從圖形應用程式138所維持之固定值緩衝器(constant value buffer)中辨識出圖框轉換矩陣。由於顯示裝置110係輸出2維畫面，因此圖框轉換矩陣中的資料(值)係用來在將顯像圖框時，從圖形應用程式138所提供以3維座標描述的物件資料，轉換成最後螢幕所要呈現所需的2維座標的資料。

一般而言，圖框轉換矩陣係包含16個浮點數值(float value)或類似獨特資料格式(bit patterns)，因此，圖形驅動程式140可掃描固定值緩衝器的資料中是否包含16個連續的浮點數值或特定的資料格式，以辨識出圖框轉換矩陣。

此外，隨著畫面場景或內容的改變，先後不同的顯像圖框其所具有的圖框轉換矩陣值也會隨著改變，因此步驟S01係需要分別取得前一顯像圖框與當下顯像圖框之圖框轉換矩陣值。

步驟S02：圖形驅動程式140取得當下顯像圖框的深度值(depth value)。深度緩衝器係由圖形應用程式138所維持，以儲存顯像圖框上之像素的深度值，而每一深度值係用於表示該像素與一參考平面的距離。需說明的是，圖形應用程式138可能維持多個深度緩衝器(depth buffer)，以對應不同的參考平面。每一顯像圖框在不同深度緩衝器中皆具有深度值，但僅會使用到其中一深度緩衝器的深度值中來進行顯像。

在步驟S02中，圖形驅動程式140係辨識出與當下顯像圖框中所使用之深度緩衝器，並從深度緩衝器中取得該當下顯像 圖框的深度值。

選擇性地，步驟S02中圖形驅動程式140更進一步從當下顯像圖框中所使用之深度緩衝器中取得前一圖框的深度值。但需注意的是，當下顯像圖框中所使用之深度緩衝器可能不是前一顯像圖框在顯像時所使用的深度緩衝器。

選擇性地，步驟S02中圖形驅動程式140更可以從圖形應用程式138所維持的顏色緩衝器(color buffer)中取得當下顯像圖框及/或前一顯像圖框各像素的顏色值。

簡言之，本發明實施例中步驟S02需要取得當下顯像圖框的深度值，但可選擇性地取得前一顯像圖框的深度值、當下顯像圖框及/或前一顯像圖框的顏色值，或其它與像素有關的數值，應用於下文所述的步驟以產生動態模糊效果。

步驟S03：圖形驅動程式140載入一著色器(shader)至圖形處理單元122，使得該圖形處理單元122至少根據前一顯像圖框之圖框轉換矩陣值與當下顯像圖框之圖框轉換矩陣值(參見步驟S01)與當下顯像圖框之深度值(參見步驟S02)，以調整該當下顯像圖框中一或多個樣本區域之顏色值，藉此在該當下顯像圖框中產生或近似出動態模糊效果(motion blur effect)。而著色器所實施的演算法，並非為本發明所欲涵蓋之內容，因此本發明並不欲限定採用特定的演算法，或亦可採用習知中適當的演算法。而隨著演算法的不同，圖形處理單元122可能會需要進一步將前一顯像圖框的深度值、當下顯像圖框及/或前一顯像圖框的顏色值，或其它與像素有關的數值(參見步驟S02)加 入計算。

<動態模糊效果>

圖3顯示本發明一實施例中於當下顯像圖框產生或近似出動態模糊效果示意圖。一般來說，可對圖框中的人物與場景等3維物件實行動態模糊效果，但字幕或訊息提示等2維物件，則不希望有動態模糊效果。為此，在本發明實施例中，圖形驅動程式140會向圖形處理單元122宣告進行3維物件的顯像(例如透過STATE 3D指令)，接著圖形驅動程式140可發出指令要求圖形處理單元122繪製圖框200的3維物件220(例如透過DRAW CHARACTER指令)。接著再向圖形處理單元122宣告進行2維物件的顯像(例如透過STATE 2D指令)，接著圖形驅動程式140可發出指令要求圖形處理單元122繪製圖框200的2維物件240(例如透過DRAW OVERLAY指令)。藉此，圖形處理單元122可辨識出不需要有動態模糊效果的2維物件240。

在繪製出具有3維物件220與2維物件240的圖框200後，圖形處理單元122可以執行由圖形驅動程式140所載入之著色器計算出在顯像圖框200上3維物件220的動態模糊效果(參見步驟S03)。

舉例來說，可透過現有的演算法，堆測或逆投影(reproject)出3維物件220在前一張圖框的參數(例如物件位置、移動向量、與顏色等，圖3中以編號222表示)，接著即可根據3維物件220以及所推測或逆投影出的先前狀況222，決定出樣本區域252與254的位置與大小，並調整顯像圖框220中樣本區 域252與254之顏色值以提供3維物件220視覺上動態模糊的效果，然後將調整後的顯像圖框220輸出予以顯示。但需注意的是，當圖形處理單元122決定樣本區域252與254的位置與範圍時，應不包含2維物件240所在的位置，因為如上所述，一般來說對於字幕或訊息提示等2維物件，需要被清楚的呈現而不需要有動態模糊效果。

另外需說明的是，圖3中的實施例僅例示性地兩個樣本區域252與254，但本發明並不欲侷限於此。圖形驅動程式140可透過著色器中可對樣本區域的數目加以設定。由於樣本區域數目增加固然提供較好的顯示效果，但同時也會增加圖形處理單元122的負載與耗能，因此，本實施例中亦可根據使用者的設定或當下系統的運作模式(例如系統的各式電源模式，包含電池模式、交流供電模式等等)來限定樣本區域的數目。

<輔助顏色緩衝器>

相較於習知技術中圖框在圖形處理單元122顯像後即輸出至顯示裝置110，本發明實施例係對已顯像的圖框進行後續處理(而不是直接輸出)，因此需將此顯像的圖框加以儲存。為了此目的，圖4則顯示本發明一實施例中的輔助顏色緩衝器150。舉例來說，圖形驅動程式140依序發送STATE 3D、DRAW CHARACTER、STATE 2D，及DRAW OVERLAY指令給圖形處理單元122以繪製出如圖3所示的具有3維物件220與2維物件240的圖框200，並儲存於輔助顏色緩衝器150。

接著，圖形處理單元122再執行由圖形驅動程式140所載入之著色器160，從輔助顏色緩衝器150中將圖框200取出以 進行後續處理，也就是調整顯像圖框220中樣本區域252與254之顏色值(如圖3所示)，最後將調整後的顯像圖框220儲存至顯示顏色緩衝器170等待輸出至顯示裝置110。

在不脫離本發明精神或必要特性的情況下，可以其他特定形式來體現本發明。應將所述具體實施例各方面僅視為解說性而非限制性。因此，本發明的範疇如隨附申請專利範圍所示而非如前述說明所示。所有落在申請專利範圍之等效意義及範圍內的變更應視為落在申請專利範圍的範疇內。

100‧‧‧電腦系統

102‧‧‧中央處理單元(CPU)

104‧‧‧系統記憶體

105‧‧‧記憶體橋接器

106、113‧‧‧匯流排

107‧‧‧I/O橋接器

108‧‧‧輸入裝置

110‧‧‧顯示裝置

112‧‧‧圖形處理子系統

113‧‧‧通訊路徑、匯流排

114‧‧‧系統磁碟

116‧‧‧切換器

118‧‧‧網路配接器

120、121‧‧‧添加卡

122‧‧‧圖形處理單元(GPU)

124‧‧‧圖形記憶體

136‧‧‧作業系統(OS)程式

138‧‧‧圖形應用程式

140‧‧‧圖形驅動程式

150‧‧‧輔助顏色緩衝器

160‧‧‧著色器

170‧‧‧顯示顏色緩衝器

200‧‧‧圖框

220‧‧‧3維物件

222‧‧‧先前狀況

240‧‧‧2維物件

252、254‧‧‧樣本區域

為了立即瞭解本發明的優點，請參考如附圖所示的特定具體實施例，詳細說明上文簡短敘述的本發明。在瞭解這些圖示僅描繪本發明的典型具體實施例並因此不將其視為限制本發明範疇的情況下，參考附圖以額外的明確性及細節來說明本發明，圖式中：圖1顯示本發明一實施例的電腦系統方塊圖。

圖2顯示本發明一實施例中的方法流程圖。

圖3顯示本發明一實施例中動態模糊效果的示意圖。

圖4顯示本發明一實施例中的輔助顏色緩衝器的運作。

Claims (10)

1. 一種以透過圖形驅動程式在顯像圖框中近似(approximate)動態模糊的方法，包含：(a)對於一圖框轉換矩陣，取得前一顯像圖框與當下顯像圖框之矩陣值；(b)取得該當下顯像圖框的深度值(depth value)；以及(c)載入一著色器(shader)至一圖形處理單元，使得該圖形處理單元根據該前一顯像圖框之圖框轉換矩陣值、該當下顯像圖框之圖框轉換矩陣值、與該當下顯像圖框之深度值，以調整該當下顯像圖框中一或多個樣本區域之顏色值，以藉此在該當下顯像圖框中產生動態模糊效果(motion blur effect)。
2. 如請求項1之方法，其中：步驟(a)更包含：從一圖形應用程式之固定值緩衝器(constant value buffer)中辨識出該圖框轉換矩陣。
3. 如請求項2之方法，其中：步驟(b)更包含：辨識出與當下顯像圖框中所使用之一深度緩衝器。
4. 如請求項3之方法，其中：步驟(b)更包含：從該深度緩衝器中取得該前一顯像圖框的深度值；步驟(c)更包含：載入該著色器至該圖形處理單元，使得該 圖形處理單元更根據該前一顯像圖框之深度值，以調整該當下顯像圖框中該樣本區域之顏色值。
5. 如請求項1之方法，其中：步驟(b)更包含：取得該當下顯像圖框及/或該前一顯像圖框的顏色值；步驟(c)更包含：載入該著色器至該圖形處理單元，使得該圖形處理單元更根據該當下顯像圖框及/或該前一顯像圖框的顏色值，以調整該當下顯像圖框中該樣本區域之顏色值。
6. 如請求項1之方法，其中步驟(c)更包含：載入該著色器至該圖形處理單元，使得該圖形處理單元更根據該當下顯像圖框之一特定物件之位置，決定該樣本區域，使得該樣本區域不包含該特定物件。
7. 如請求項6之方法，其中該特定物件為一2D物件。
8. 如請求項1之方法，更包含：決定該一或多個樣本區域的數目。
9. 如請求項1之方法，更包含：根據使用者的設定或是當下系統運作模式決定該一或多個樣本區域的數目。
10. 一種電腦系統，包含：一圖形處理單元； 一中央處理單元，其電性連接於該圖形處理單元，用以執行一圖形驅動程式以執行如申請專利範圍第1-9項任一項的方法。