TWI383335B - 三維遞迴動作估測系統及其尋找方法 - Google Patents

Description

三維遞迴動作估測系統及其尋找方法

本發明是有關於一種動作估測(Motion Estimation)系統，且特別是有關於一種經由統計時間域參考移動向量(Temporal Prediction)來進行三維遞迴(3－Dimensional Recursive)動作估測之動作估測系統。

傳統上，經由三維遞迴(3－Dimensional Recursive)動作估測尋找方法可根據空間域參考移動向量(Spatial Prediction)及時間域參考移動向量(temporal Prediction)來找出目前圖框畫面中多個區塊的移動向量。請參照第1圖，其繪示傳統三維遞迴動作估測尋找方法的示意圖。在第1圖中，區塊112之時間域參考移動向量係透過參考前一個圖框畫面100中對應區塊102之左下方與右下方之區塊104與106之移動向量，其中對應區塊102係位於與區塊112對應之位置。

然而，因傳統時間域參考移動向量僅參考對應區塊102之左下方與右下方之區塊104與106之移動向量，一旦其發生錯誤，欲計算之區塊112之移動向量很可能會因為根據不正確之時間域參考移動向量而錯誤。

此外，欲根據上述方法來計算區塊112之移動向量需儲存前一個圖框畫面100中所有區塊之移動向量，如此，將導致應用上述方法之系統之記憶體成本較高。這樣一來，如何找出較為精準且實現成本較低之三維遞迴之動作估測其系統乃業界不斷致力的方向之一。

有鑑於此，本發明係提出三維遞迴(3－Dimensional Recursive)動作估測系統及其尋找方法其可有效地改善上述之問題。

根據本發明提出一種三維遞迴之動作估測系統，用以計算圖框畫面中目前區塊之移動向量。移動量估測系統包括空間域、時間域參考移動向量及動作估測單元。空間域參考移動向量提供單元用以選擇目前區塊周圍相鄰區塊之移動向量來做為並輸出空間域參考移動向量。時間域參考移動向量提供單元用以選擇前一個圖框畫面中對應區域中多個區塊之多個移動向量中最常出現之移動向量來做為並提供時間域參考移動向量。對應區域包含先前區塊，其與目前區塊具有對應之位置。動作估測單元用以根據空間域及時間域參考移動向量來找出移動向量。

根據本發明提出一種三維遞迴之動作估測尋找方法，用以提供目前圖框畫面之區塊之移動向量，動作估測尋找方法包括下列之步驟。首先，選擇目前圖框畫面中相鄰區塊之移動向量做為空間域參考移動向量。接著，提供時間域參考移動向量。之後，根據空間域及時間域參考移動向量來估測移動向量。其中，係以前一個圖框畫面中對應區域之多個區塊之多個移動向量中最常出現之移動向量做為時間域參考移動向量。對應區域包含先前區塊，其與目前區塊具有對應之位置。

為讓本發明之上述內容能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下：

本實施例之三維遞迴(3－Dimensional Recursive)動作估測系統及其方法係劃分圖框畫面為一個或多個區域，並對此些區域中之區塊的移動向量分別進行數量統計。本實施例之三維遞迴動作估測系統及其方法係以統計之時間域參考移動向量，並以其找出目前區塊的移動向量。其中，統計之時間域參考移動向量例如為各區域中之最常出現之移動向量。

請參照第2及第3圖，第2圖繪示依照本發明較佳實施例之三維遞迴動作估測系統的方塊圖，第3圖繪示乃第1圖之三維遞迴動作估測系統的動作示意圖。三維遞迴動作估測系統10包括空間域參考移動向量提供單元210、時間域參考移動向量提供單元240及動作估測單元220。其中動作估測單元220係例如輸出至動作補償單元230以近行動作補償。在本實施例中，如第3圖所示，各圖框畫面，如圖框畫面30或40係被劃分為一個或多個區域，例如圖框畫面30及40分別被劃分為區域310~360及410~460，而其係以2*3之矩陣排列。其中圖框畫面30及40例如分別為先前圖框畫面及目前圖框畫面。此外，亦可將圖框畫面30及40劃分為更多或更少個區域。接下來，以找出區塊32之移動向量之操作為例做說明。

空間域參考移動向量提供單元210用以提供區塊32之空間域參考移動向量PS，本實施例之移動向量記錄單元210例如以與區塊32相鄰之區塊之移動向量來做為其之空間域參考移動向量PS，例如，其係以區塊32左下方及右上方之區塊，亦即區塊34及36之移動向量做為空間域參考移動向量PS。此外，本領域之通常技術者亦可透過其他週知之空間域參考移動向量選擇方法來找出空間域參考移動向量PS。

時間域參考移動向量提供單元240用以分析區域410中所有區塊之移動向量統計結果，並以最常出現之移動向量做為區域310中所有區塊之時間域參考移動向量，亦即為區塊32之時間域參考移動向量PT。本實施例之區域410包括區塊42，而區塊42於區域410中之位置係與區塊32於區域310中之位置相對應。唯有最常出現之移動向量出現之頻率超過一臨界值，例如為50%時以最常出現之移動向量做為時間域參考移動向量PT。

抑或時間域參考移動向量提供單元240僅對區域410中相關於部分區塊之統計結果進行分析，並根據分析結果來找出時間域參考移動向量PT。例如時間域參考移動向量提供單元240僅對區域410中相對於區塊32之一誤差數值夠小的區塊的統計結果進行分析。其中，時間域參考移動向量提供單元240例如經由絕對差值求和(Sum of Absolute Differences，SADs)函數來找出區域410中各區塊相對於區塊32之誤差數值。

此外，時間域參考移動向量提供單元240更可增加區域410中多種特定區塊之權重，以提升時間域參考移動向量PT之精確度。例如，時間域參考移動向量提供單元240可提升位於影像邊界之區塊之權重。

而動作估測單元220用以根據空間域參考移動向量PS及時間域參考移動向量PT來產生其之移動向量MV。例如，動作估測單元220可根據空間域及時間域參考移動向量PS及PT來找出多個對應之區塊，並以其分別與區塊32進行區塊比對(Block Matching)的方式來找出移動向量MV。

請參照第4圖，其繪示本實施例之動作估測方法的流程圖，以得到區塊32之移動向量MV。首先，如步驟402，接收區塊32之空間域參考移動向量PS，其例如為與區塊32相鄰之區塊之移動向量，例如為區塊32之左下方及右下方之區塊34及36。

接著，如步驟404，接收區塊32之時間域參考移動向量PT，其例如根據統計圖框畫面40之區域410中各區塊之移動向量來得到時間域參考移動向量PT。其中區域410例如包括與區塊32具有對應位置之區塊42。例如，以最常出現之移動向量做為時間域移動向量PT。其中，唯有最常出現之移動向量出現之頻率超過一臨界值，例如為50%時以最常出現之移動向量做為時間域參考移動向量PT。

抑或可根據區域410中相關於部分區塊之統計結果來得到時間域參考移動向量PT。例如僅對區域410中相對於區塊32之一誤差數值夠小的區塊的統計結果進行分析。其中，時間域參考移動向量提供單元240例如經由絕對差值求和函數來找出區域410中各區塊相對於區塊32之誤差數值。

此外，亦可透過提升區域410中之特定區塊，例如區域410中位於影像邊界之區塊之權重以提升對應之時間域參考移動向量的精準性。

之後，如步驟406，動作估測單元220根據區塊32之空間域參考移動向量PS及其時間域參考移動向量PT來產生區塊32之移動向量MV。例如，可根據空間域及時間域參考移動向量PS及PT來找出多個對應之區塊，並以其分別與區塊32進行區塊比對(Block Matching)的方式來找出移動向量MV。

本實施例雖僅以位於區塊32之左下方及右下方之區塊34及36之移動向量來做為區塊32之空間域參考移動向量PS為例作說明，然，本實施例之動作估測系統200並不侷限以上述區塊之移動向量來做為空間域參考移動向量PS，而更多、更少或其他位置之區塊的移動向量亦可做為空間域參考移動向量PS。

本實施例雖僅以圖框畫面30及40劃分為以2*3之矩陣排列之區域310~360及410~460之操作為例作說明，然，本實施例之圖框畫面30及40並不侷限於上述之區域劃分方法，而更可將圖框畫面30及40經由其他形式來劃分。例如，可將圖框畫面30及40劃分為以2*4矩陣排列之區域或根據其上之物體來將圖框畫面30及40劃分為不規則型態之區域。

本實施例之三維遞迴動作估測系統及其方法以經由對各區域之移動向量統計結果來得到時間域移動向量PT，並以其找出區塊32之移動向量MV。如此，即便於區塊42周圍之區塊的移動向量估計錯誤，本實施例之時間域移動向量PT及移動向量MV發生錯誤之機率亦可不受影響並具有較高之可靠程度。

此外，由於本實施例之三維遞迴動作估測系統及其方法係將圖框畫面劃分為若干個區域來進行移動向量之統計，並僅需儲存與區域數目實質上相等之時間域參考移動向量來對目標區塊之移動向量進行估測。如此，本實施例之三維遞迴動作估測系統之記憶體成本係可有效地降低。

綜上所述，雖然本發明已以一較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100、110、30、40．．．圖框畫面

102、104、106、112、32、34、36、42．．．區塊

200．．．動作估測系統

210．．．空間域參考移動向量提供單元

220．．．動作估測單元

230．．．動作補償單元

240．．．時間域參考移動向量提供單元

310~360、410~460．．．區域

402~406．．．操作步驟

第1圖繪示傳統時間域之參考移動向量選擇方法操作下之圖框畫面的示意圖。

第2圖繪示依照本發明較佳實施例之動作估測系統的方塊圖

第3圖繪示圖框畫面的示意圖。

第4圖繪示本實施例之動作估測方法的流程圖。

402~406．．．操作步驟

Claims (12)

1. 一種三維遞迴(3－Dimensional Recursive)之動作估測系統，用以計算一圖框畫面中一目前區塊之一移動向量，該移動量估測系統包括：一空間域參考移動向量提供單元，用以選擇該目前區塊周圍至少一相鄰區塊之至少一移動向量來做為並輸出一空間域參考移動向量；一時間域參考移動向量提供單元，用以選擇前一個圖框畫面中一對應區域中複數個區塊之複數個移動向量中至少一最常出現之移動向量來做為並提供一時間域參考移動向量，該對應區域包含一先前區塊，該先前區塊與該目前區塊具有對應之位置；以及一動作估測單元，用以根據該至少一空間域參考移動向量及該至少一時間域參考移動向量來找出該移動向量。
2. 如申請專利範圍第1項所述之三維動作估測系統，其中該至少一相鄰區塊為位於該目前區塊之左下方或右下方之區塊。
3. 如申請專利範圍第1項所述之動作估測系統，其中該時間域參考移動向量提供單元更用以分析該對應區域中全部區塊之移動向量的一統計結果，並選擇該最常出現之移動向量做為該時間域參考移動向量。
4. 如申請專利範圍第1項所述之動作估測系統，其中該時間域參考移動向量提供單元用以分析該對應區域中複數個特定區塊之移動向量的一統計結果，並選擇該最常出現之移動向量做為該時間域參考移動向量，其中該些特定區塊相對於該目前區塊之絕對差值求和(Sum of Absolute Differences，SAD)數值係為夠小。
5. 如申請專利範圍第3或第4項所述之動作估測系統，其中唯有當該最常出現之移動向量之出現頻率夠高時以該最常出現之移動向量做為該時間域參考移動向量。
6. 如申請專利範圍第3或第4項所述之動作估測系統，其中當該時間域參考移動向量提供單元對該統計結果進行分析時係加重位於影像邊緣(Edge)之區塊的權重。
7. 一種三維遞迴(3－Dimensional Recursive)之動作估測尋找方法，用以提供一目前圖框畫面之一區塊之一移動向量，該動作估測尋找方法包括：選擇一目前圖框畫面中之至少一相鄰區塊之至少一移動向量做為一空間域參考移動向量；提供一時間域參考移動向量；以及根據該空間域參考移動向量及該時間域參考移動向量來估測該移動向量；其中，係以前一個圖框畫面中一對應區域之複數個區塊之複數個移動向量中至少一最常出現之移動向量做為該時間域參考移動向量，該對應區域包含一先前區塊，該先前區塊與該目前區塊具有對應之位置。
8. 如申請專利範圍第7項所述之動作估測尋找方法，其中該至少一相鄰區塊為位於該目前區塊之左下方或右下方之區塊。
9. 如申請專利範圍第7項所述之動作估測尋找方法，其中係分析該對應區域中全部區塊之移動向量的一統計結果，並選擇該最常出現之移動向量做為該時間域參考移動向量。
10. 如申請專利範圍第7項所述之動作估測尋找方法，其中係分析該對應區域中複數個特定區塊之移動向量的一統計結果，並選擇該最常出現之移動向量做為該時間域參考移動向量，其中該些特定區塊相對於該目前區塊之絕對差值求和(Sum of Absolute Differences，SAD)數值係為夠小。
11. 如申請專利範圍第9或第10項所述之動作估測尋找方法，其中唯有當該最常出現之移動向量之出現頻率夠高時係以該最常出現之移動向量做為該時間域參考移動向量。
12. 如申請專利範圍第9或第10項所述之動作估測尋找方法，其中當該時間域參考移動向量提供單元對該統計結果進行分析時係加重位於影像邊緣(Edge)之區塊的權重。