TW201322769A - 運動向量改善裝置及其影像改善方法 - Google Patents

Abstract

一種運動向量改善裝置及其影像改善方法。運動向量改善裝置包括運動估測單元、可靠度分析模組以及運動向量混合模組。運動估測單元接收影像信號中不同的多個畫面、或是利用運動估測單元先前所計算出的歷史資訊(例如，鄰近畫面的運動向量)，藉以估測出N個目標運動向量。可靠度分析模組分析N個目標運動向量的空間及時間可靠度因素，動態評估及調整N個可靠度加權值。運動向量混合模組利用可靠度加權值來動態混合目標運動向量而產生改善運動向量。藉此，運動向量改善裝置與使用其之運動插補設備可避免運動向量在運動物件之邊緣的不穩定。

Description

運動向量改善裝置及其影像改善方法

本發明是有關於一種運動插補(motion interpolation)技術，且特別是有關於一種動態改善運動向量的運動向量改善裝置及其影像改善方法。

將影像顯示在顯示設備上的方式目前大致可區分為隔行掃描(interlace)模式(常用於陰極射線管(CRT)型電視)和逐行掃描(progressive scan)模式(常用於數位電視或電影等)。隔行掃描模式每次只傳輸或播放影像中一半的掃描線，亦即將畫面中的奇數條掃描線(稱為基數場(odd field))或偶數條掃描線(稱為偶數場(even field))進行交錯播放。由於每個畫面場(field)僅具有奇數條或偶數條掃描線的資料，因此在播放時垂直方向的影像會有不連續的情況，亦即畫面在垂直方向的解晰度會降低。相對地，逐行掃描模式則是逐條播放影像的掃描線，然而，此種模式的畫面更新率通常遠低於隔行掃描模式，因此亦會產生影像不連續或動作模糊等缺點。

為了提高影像解析度以使影像更加清晰，並減少影像不連續及影像模糊等缺點，以往採用『運動適應性去交錯(motion adaptive deinterlacing)』、『運動補償去交錯(motion compensated deinterlacing)』等技術，藉以使隔行掃描模式的影像增加運動影像垂直部分的解析度。近年來更利用『運動插補(motion interpolation)』技術來增加畫面更新率(frame rate)，如圖1所示，圖1為運動插補技術的示意圖。

請參考圖1，影像信號10中具有多個畫面(例如圖1之第(k-1)個畫面F^k-1、第k個畫面F^k及第(k+1)個畫面F^k+1)。運動插補技術便可估計出畫面F^k及F^k+1中運動物件(例如圖1中圓形的運動物件110)的運動軌跡(亦即運動向量)，進而計算並插補出新的像素資料及插補畫面F^k+0.5，藉以有效地增加每秒所顯示的畫面場，垂直方向的解析度亦可有效保留，讓影像動作更加流暢、清晰，不致於讓觀賞者感受到畫面跳動，並可減少動作不連續及影像模糊等缺陷。對於畫面更新率較低的逐行掃描模式，可利用此種技術來增加輸出影像信號的畫面更新率，對於隔行掃描畫面，亦可透過此技術來增加垂直方向的解析度。

在運動插補技術中，為了使同一個運動物件的運動向量分布能夠更為一致，便會對鄰近區塊的運動向量進行平滑處理，藉以降低運動向量的變動幅度。然而，在兩個動態區域的影像交接處、或是動態及靜態區域的邊緣部份進行上述平滑處理時，則會造成運動向量的估測錯誤，反而產生了影像缺陷(例如光暈狀缺陷、鋸齒狀人為缺陷等)。

為了解決上述問題，相關的運動插補技術通常利用多個運動向量來抓取對應的像素資料，再混合這些像素來形成插補畫面。但是，上述做法卻會大幅提升抓取畫面資料的頻率，必須利用較大的畫面記憶體頻寬才能達成。藉此，許多廠商便希冀尋求可減少影像缺陷、並可降低存取畫面資料頻率的運動插補技術。

本發明提供一種運動向量改善裝置，其利用空間及時間可靠度分析來避免運動向量在運動物件邊緣的不穩定，藉以在進行運動插補時減少影像缺陷，並降低對於畫面資料的存取頻率。

另一方面，本發明提供一種修飾運動向量的影像改善方法，先利用空間及時間可靠度分析來避免運動向量在運動物件邊緣的不穩定，便可依據已改善的運動向量來產生插補畫面，減少因平滑處理造成的影像缺陷。亦即，此發明並不需要藉由讀取大量的像素，便可達成降低影像缺陷的效果，換句話說，便可降低對於畫面資料的存取頻率。

本發明提出一種運動向量改善裝置，其包括有運動估測單元、可靠度分析模組及運動向量混合模組。運動估測單元可接收具有多個畫面的影像信號、或是利用運動估測單元先前所計算出的歷史資訊(例如，鄰近畫面的運動向量)，來估測出許多的總量運動向量。這些總量運動向量包括N個目標運動向量，N為正整數且N=(1+m+n+p)。可靠度分析模組則耦接至運動估測單元，其接收並分析上述N個目標運動向量的空間可靠度因素及時間可靠度因素，藉以動態評估及調整N個目標運動向量所對應的N個可靠度加權值。運動向量混合模組則耦接至運動估測單元及可靠度分析模組，其動態混合上述之目標運動向量與可靠度加權值，藉以產生已改善的運動向量。

於其他角度而言，本發明提供一種修飾運動向量的影像改善方法，其包括下列步驟：接收具有許多畫面的影像信號以估測出多個總量運動向量，其中，這些總量運動向量包括N個目標運動向量。並且，分析上述N個目標運動向量的空間可靠度因素及時間可靠度因素，藉以動態評估及調整N個目標運動向量所對應的N個可靠度加權值。最後，利用可靠度加權值動態混合上述的目標運動向量，從而產生一改善運動向量。

基於上述，本發明實施例針對選定的運動向量(例如同一畫面的運動向量、相鄰畫面的運動向量...等)進行可靠度加權值的評分估計，並利用這些運動向量及對應的加權值以混合成新的運動向量，藉以避免運動向量在運動物件邊緣的不穩定。在進行運動插補時，可利用此單一運動向量來選取插補像素，藉以減少影像缺陷的產生，亦可降低對於畫面資料的存取頻率。另一方面，亦可依據估計結果知曉此運動向量的可靠程度，進而決定是否對插補像素進行像素模糊操作，藉以減少影像缺陷。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

現將詳細參考本發明之示範性實施例，在附圖中說明所述示範性實施例之實例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/符號代表相同或類似部分。

圖2是依照本發明一實施例之運動插補設備200的方塊圖。請參照圖2，運動插補設備200包括有運動向量改善裝置210及像素混合模組250。運動向量改善裝置210則包括了運動估測單元220、可靠度分析模組230及運動向量混合模組240。於本實施例中，運動插補設備200亦可應用於運動補償裝置、或是其他影像處理技術中。

在此說明運動向量改善裝置210的致動方式及硬體架構。運動估測單元220接收影像信號10的多個畫面，藉以估測出每個畫面中各個區塊所對應的多個總量運動向量，熟悉此技術領域者應可輕易知曉運動估測單元220的相關實施方式及硬體架構，在此不予以贅述。此外，運動估測單元220也可以利用運動估測單元220在先前的時刻中，針對不同畫面已經計算得到的歷史資訊。這些歷史資訊例如是不同畫面上先前計算得到的運動向量、運動區塊、相關參數(例如，下述中計算得到的空間可靠度因素及時間可靠度因素)...等等。

可靠度分析模組230則耦接至運動估測單元220。可靠度分析模組230從這些總量運動向量中取得想要參考的運動向量(在此將想要參考的運動向量稱為目標運動向量TMV₁~TMV_N，N為正整數)，並利用這些目標運動向量TMV₁~TMV_N以及相關的歷史資訊來分析諸多可靠度因素藉以進行評分機制(例如，分析空間可靠度、時間可靠度、相鄰區塊的像素差異值、紋理複雜度或靜止資訊...等因素)，動態評估及調整目標運動向量TMV₁~TMV_N所對應的可靠度加權值W₁~W_N。

請繼續參考圖2，運動向量混合模組240耦接至運動估測單元220及可靠度分析模組230，其利用可靠度加權值W₁~W_N可動態混合上述用來參考的目標運動向量TMV₁~TMV_N，藉以產生改善運動向量RMV。藉此，運動向量改善裝置210便可利用評分機制來減少甚至避免運動向量在運動物件之邊緣的不穩定。

此外，於本實施例中，運動向量改善裝置210更包括有畫面緩衝器270及歷史資料記憶單元260。畫面緩衝器270接收並暫存影像信號10中的數個畫面，藉以供運動估測單元220及像素混合模組250存取參照。歷史資料記憶單元260則可接收並儲存每一個運動區塊所對應的像素差異值、紋理複雜度或靜止資訊，上述這些資訊用以提供給可靠度分析模組230作為可靠度加權值的評估參考，並且這些資訊可由其他影像處理裝置提供，例如運動估測單元220、紋理複雜度計算元件等。

於本實施例中，可靠度分析模組230亦會利用可靠度加權值W₁~W_N來評估計算出此次的分析結果WR，分析結果WR的數值愈大，表示此改善運動向量RMV更為可靠準確。相對地，當分析結果WR的數值愈小時，則表示此改善運動向量RMV愈不準確。

藉此，運動插補設備200的像素混合模組250應可利用改善運動向量RMV，從畫面緩衝器270的傳輸匯流排275中取得對應的一目標像素群以及鄰近目標像素群的多個相鄰像素群，並參考分析結果WR的數值來進行像素模糊操作，藉以產生輸出影像信號Vout中的插補畫面F^k+0.5。舉例而言，在此以一目標像素作為上述的目標像素群，而像素混合模組250便以此目標像素為中心在畫面緩衝器270中抓取例如16乘16的像素矩陣，藉以作為上述之相鄰像素群，但不限制於此。

當分析結果WR大於一可靠度門檻值時，表示改善運動向量RMV十分準確，因此像素混合模組250便直接將此目標像素輸出。另一方面，當分析結果WR的數值小於可靠度門檻值、並且可靠度分析模組230正在調升分析結果WR的情況下，像素混合模組250便會降低像素模糊操作的強度，讓輸出的插補像素群較為接近目標像素。相對地，當分析結果WR的數值小於可靠度門檻值、並且可靠度分析模組230正在調降分析結果WR的情況下，像素混合模組250便會提高像素模糊操作的強度，使插補像素群與相鄰像素群的相關性提高(例如，將16乘16的像素矩陣進行平均，以輸出一像素值)，藉以減緩影像缺陷的發生。

在此特別說明的是，上述的目標運動向量為應用本實施例者可依據其設計需求來進行選定的。目標運動向量的來源包括有同一畫面的相鄰運動向量(稱為空間相鄰運動向量)、在相鄰畫面且位在相同或鄰近位置的運動向量(稱為時間相鄰運動向量)、以及零運動向量MV0。在此舉例說明之，如圖3A及圖3B所示，圖3A為符合本實施例之選定目標運動向量的示意圖，圖3B為第k個畫面的運動區塊MB^k(x)、MB^k(x+a₁)~MB^k(x+a_m)及運動向量MV^k(x)的示意圖，其中，k、m、u為正整數，x為位置向量，a₁~a_m為位置向量x的偏移向量(本實施例以m等於8舉例說明之，但不限制於此)。

參數u表示為時間軸上相鄰畫面的偏移量，本發明實施例並不限制相鄰畫面之間的畫面張數。由於在畫面更新率較低時，相鄰畫面的差異時間將會過長而導致時間可靠度較不準確，應用本實施例者便可調整參數u來減少所欲參考之相鄰畫面與第k個畫面之間的畫面張數，藉以提升時間可靠度加權值的準確性。為了方便說明，本實施例於圖3A中將參數u設定為1，但並不限制於此。

請參照圖3A及圖3B，MB^k(x)表示為第k個畫面F^k中位置向量x的運動區塊，而MV^k(x)則為第k個畫面F^k中位置向量x的運動向量。依此類推，MB^k-1(x)表示為第(k-1)個畫面F^k-1中位置向量x的運動區塊，MV^k-1(x)則為MB^k-1(x)對應的運動向量。MB^k(x+a₁)~MB^k(x+a_m)為MB^k(x)相鄰的運動區塊。MV^k(x+a₁)~MV^k(x+a_m)(未繪示)則分別為上述運動區塊MB^k(x+a₁)~MB^k(x+a_m)所對應的運動向量，因此MV^k(x+a₁)~MV^k(x+a_m)亦可稱為MV^k(x)的空間相鄰運動向量。

另一方面，b₁~b_n及c₁~c_p則亦為位置向量x的偏移向量，n及p為正整數。有鑒於此，位在第(k+u)畫面的MV^k+u(x+b₁)~MV^k+u(x+b_n)(未繪示)為MV^k+u(x)的空間相鄰運動向量，第(k-u)畫面上的MV^k-u(x+c₁)~MV^k-u(x+c_p)(未繪示)亦為MV^k-u(x)的空間相鄰運動向量，而MV^k+u(x)及MV^k-u(x)則與MV^k(x)位於相鄰畫面，因此MV^k+u(x+b₁)~MV^k+u(x+b_n)及MV^k-u(x+c₁)~MV^k-u(x+c_p)便為MV^k(x)的時間相鄰運動向量。在此將MV^K(x)、MV^K(x+a₁)~MV^K(x+a_m)、MV^K+u(x+b₁)~MV^K+u(x+b_n)及MV^K-u(x+c₁)~MV^K-u(x+c_p)皆定義為目標運動向量TMV₁~TMV_N，藉此，N便等於(1+m+n+p)。於本實施例中，上述運動向量，例如MV^k+u(x+b₁)~MV^k+u(x+b_n)及MV^k-u(x+c₁)~MV^k-u(x+c_p)，皆可由運動估測單元220在先前的時刻計算得到，因此運動估測單元220也可以將這些運動向量先行暫存，以供後續進行運動估測時循環使用，而不必每次皆要重複運算相同的運動向量以及相關的歷史資訊。

在此詳細說明可靠度分析模組230的致動原理及功能架構，圖4是依照本發明一實施例之可靠度分析模組230的方塊圖。請參照圖4，可靠度分析模組230具有可靠度分析單元410_1~410_N以及可靠度加總單元420。每個可靠度分析單元410_1~410_N皆分別對應目標運動向量TMV₁~TMV_N，藉以依據多種可靠度因素來估計出可靠度加權值W₁~W_N。於本實施例中，可靠度加總單元420可將可靠度加權值W₁~W_N進行加總，藉以計算出此次的分析結果WR。於其他實施例中，可靠度加總單元420亦可選具最大值的可靠度加權值W₁~W_N作為分析結果WR來輸出。應用本實施例者應可依其設計需求來計算此分析結果WR，因而並不限制此。

圖5是依照本發明一實施例之可靠度分析單元410_i的方塊圖，i為正整數且1≦i≦N。為了便於說明下述實施例，在此將第i個目標運動向量TMV_i定義為第L個畫面且位置為y的運動向量MV^L(y)，y亦為位置向量，且L及i為正整數且1≦i≦N，而MB^L(y)則為運動向量MV^L(y)所對應的運動區塊。藉此，MV^L(y+a₁)~MV^L(y+a_m)表示為第i個目標運動向量TMV_i(即為MV^L(y))的空間相鄰運動向量NSMV_i，MV^L+1(x+b₁)~MV^L+1(x+b_n)及MV^L-1(x+c₁)~MV^L-1(x+c_p)亦可表示為第i個目標運動向量TMV_i的時間相鄰運動向量NTMV_i。熟悉此技術領域者應可由上述說明中來推知空間相鄰運動向量NSMV_i及時間相鄰運動向量TSMV_i的定義及其物理意義，在此不再贅述。

可靠度分析單元410_i包括有多種評分機制，本實施例以空間可靠度分析單元510及時間可靠度分析單元520為主要評分機制，並配合區塊差異估測單元530、紋理可靠度分析單元540及靜止資訊分析單元550...等與歷史資訊相關的評分機制來產生許多加權值，在此將每個評分機制所產生的加權值稱為總量加權值，例如空間加權值SW、時間加權值TW、區塊加權值BW、紋理加權值EW、靜止加權值DW...等，這些加權值的評估方式將會於以下描述中說明。可靠度分析單元410_i利用數值混合器580將上述總量加權值進行混合計算，藉以產生目標運動向量TMV_i所對應的可靠度加權值W_i。

在此說明空間可靠度分析單元510的評分機制。空間可靠度分析單元510利用目標運動向量TMV_i及其空間相鄰運動向量NSMV_i來計算空間變異數SVar，藉以利用空間變異數SVar來估測出空間加權值SW。

詳言之，空間可靠度分析單元510的硬體架構可如圖6所示，圖6為空間可靠度分析單元510的方塊圖。於本實施例中，空間可靠度分析單元510包括有差異計算器610_1~610_m、加法器620及可靠度生成器630。每個差異計算器610_1~610_m分別計算出目標運動向量TMV_i(即為MV^L(y))及其空間相鄰運動向量NSMV_i(即為MV^L(y+a₁)~MV^L(y+a_m))之間的數值差異，加法器620並將這些數值差異進行加總，藉以計算出空間變異數SVar。可靠度生成器630則利用空間變異數SVar來估算空間加權值SW。

於本實施例中，空間變異數SVar可分為兩種計算方式：第一種是差異計算器610_1~610_m以運動向量相減後的平方來計算運動向量之間的數值差異，如方程式(1)所示：

另一種空間變異數SVar計算方式則是差異計算器610_1~610_m以運動向量相減後取其絕對值，藉以計算出運動向量之間的數值差異，如方程式(2)所示：

接著，可靠度生成器630可利用查表或其他方式利用空間變異數SVar來估算空間加權值SW。於本實施例中，可靠度生成器630利用圖7A之空間變異數SVar及空間加權值SW的關係圖來進行估算。以圖7A可知，當空間變異數SVar愈小，表示目標運動向量TMV_i可能位於大片運動物件中，因此採用此目標運動向量TMV_i應較為準確，空間加權值SW應愈大。相對地，若空間變異數SVar愈大，表示相鄰的運動向量皆差異過大，可能位於運動物件的邊緣區域，空間加權值SW應愈小。

與上述相比較，時間可靠度分析單元520的硬體架構與上述空間可靠度分析單元510相類似，其不同之處在於時間可靠度分析單元520利用目標運動向量TMV_i(即為MV^L(y))及其時間相鄰運動向量NTMV_i(即為MV^L+1(x+b₁)~MV^L+1(x+b_n)及MV^L-1(x+c₁)~MV^L-1(x+c_p))來計算時間變異數TVar，藉以利用時間變異數TVar來估測出時間加權值TW。時間可靠度分析單元520亦可利用圖7B之時間變異數TVar及時間加權值TW的關係圖來進行估算，在此不予以贅述。

另一方面，請繼續參考圖5，在此說明與歷史資訊相關的評分機制：區塊差異估測單元530、紋理可靠度分析單元540及靜止資訊分析單元550。上述這些評分機制依據圖2之歷史資料記憶單元260中所儲存的歷史資訊(例如，每一個運動區塊所對應的像素差異值、紋理複雜度或靜止資訊)來進行評估，應用此實施例者便可視其設計需求、影像處理技術中可提供的相關資訊...等情況來調整這些評分機制。以下依序說明這些評分機制的致動原理。

區塊差異估測單元530從圖2之歷史資料記憶單元260中取得目標運動向量TMV_i及其對應的像素差異值BDV，並利用圖7C之像素差異值BDV及區塊加權值BW的關係圖來估測區塊加權值BW，藉以進行區塊差異因素的評估。上述像素差異值由第i個目標運動向量TMV_i對應之第i個運動區塊MB^L(y)及其相鄰之運動區塊的像素差異計算求得，藉以得知此運動區塊與相鄰運動區塊是否相似。藉此，如圖7C所示，當像素差異值BDV愈大時，表示運動區塊MB^L(y)與相鄰區塊皆不相似，目標運動向量TMV_i可能較不準確，因此區塊差異估測單元530降低區塊加權值BW。此外，當像素差異值BDV愈小時，表示運動區塊MB^L(y)與相鄰區塊可能為同一運動物件，目標運動向量TMV_i應較準確，因此區塊差異估測單元530便會提高其區塊加權值BW。

紋理可靠度分析單元540則是從歷史資料記憶單元260中取得運動區塊MB^L(y)的紋理複雜度EC，並利用圖7D之紋理複雜度EC及紋理加權值EW的關係圖來估測紋理加權值EW，藉以進行紋理因素的評估。紋理複雜度EC用以定義運動區塊MB^L(y)的紋理分布密度，藉以判斷此運動區塊MB^L(y)是否包含有一定程度以上的紋理資訊。紋理複雜度EC可利用高通濾波器(high pass filter)對運動區塊MB^L(y)進行過濾處理而求得，熟悉此技術領域者應可輕易知曉其致動原理，在此不予以贅述。

進行紋理因素的理由為：在運動估測技術中，運動區塊MB^L(y)的紋理複雜度(紋理分布密度)愈高時，其對應的運動向量MV^L(y)便具有較好的準確性。藉此，如圖7D所示，當紋理複雜度EC愈大時，紋理可靠度分析單元540便調升紋理加權值EW。相對地，當該紋理複雜度EC愈小時，紋理可靠度分析單元540便調降此紋理加權值EW。

此外，靜止資訊分析單元550則是從歷史資料記憶單元260中取得目標運動向量TMV_i及其對應的靜止資訊SI，並利用圖7E之靜止資訊SI、目標運動向量TMV_i及靜止加權值SIW的關係圖來估測靜止加權值SIW，藉以進行靜止區塊因素的評估。靜止資訊可由相鄰畫面且位於相同位置的運動區塊計算而得，舉例而言，靜止資訊是計算MB^L(y)及MB^L+1(y)~MB^L-1(y)的像素差異而得。藉此，靜止資訊SI可表示出在相鄰畫面之間相同位置的運動區塊(例如MB^L(y)及MB^L+1(y)~MB^L-1(y))是否有像素上的變化，也就是相鄰畫面之間相同位置的運動區塊之間的像素差異，藉以了解此運動區塊在時間上是否保持靜止。

舉例而言，請參照圖7E，當靜止資訊SI大於等於最高靜止門檻值STH_max時，表示MB^L(y)可能位於靜止物件或大面積運動物件中，靜止資訊分析單元550便利用圖7E上方的關係圖來根據目標運動向量TMV_i選擇靜止加權值SIW，目標運動向量TMV_i在其數值較大時亦可以具有較高的靜止加權值SIW。

而當靜止資訊SI小於最高靜止門檻值STH_max，且大於等於最低靜止門檻值STH_min時，靜止資訊分析單元550便利用圖7E下方的關係圖來根據目標運動向量TMV_i選擇靜止加權值SIW。由圖7E之上下圖的比較可知，目標運動向量TMV_i具有較高靜止加權值SIW的範圍會依據靜止資訊SI變小而逐漸縮短。當靜止資訊SI小於最低靜止門檻值STH_min時，靜止資訊分析單元550將靜止加權值SIW設定為"0"，藉以表示此目標運動向量TMV_i在靜止區塊因素中已完全不可靠。

於實施上述功能時，運動向量混合模組240可以具備兩種實施方式，其中之一如圖8所示，圖8是依照本發明一實施例之運動向量混合模組240的方塊圖。運動向量混合模組240包括N個乘法器810_1~810_N及加總單元820，第i個乘法器810_i將第i個目標運動向量TMV_i與其對應的可靠度加權值W_i相乘，並利用加總單元820將上述相乘結果加總，便可計算產生改善運動向量RMV。

另一種實施方式則利用多工器作為運動向量混合模組240，其可選擇出具有最大值的可靠度加權值W_i所對應的目標運動向量TMV_i，並將此目標運動向量TMV_i作為改善運動向量RMV輸出，亦可符合本實施例之精神。

此外，像素混合模組250於實施時可如圖9所示，圖9是依照本發明一實施例之像素混合模組250的方塊圖。請參照圖9，像素混合模組250包括有像素快取單元910及像素模糊過濾器920。像素快取單元從圖2之畫面緩衝器270的傳輸匯流排275中接收改善運動向量RMV所對應的目標像素及鄰近目標像素群。耦接至像素快取單元910的像素模糊過濾器920則是利用上述目標像素群及相鄰像素群來進行像素模糊操作，藉以產生輸出影像信號Vout中插補畫面的插補像素群。像素模糊過濾器920並參考上述分析結果WR來調整像素模糊操作的強度。本實施例的其他致動方式則請參考上述諸多實施例，在此不再贅述。

另一方面，本發明實施例亦可提供一種修飾運動向量的影像改善方法，圖10是依照本發明一實施例說明修飾運動向量的影像改善方法之流程圖。請參考圖2及圖10，於步驟S1010中，運動估測單元220接收影像信號10的多個畫面、或是依據已計算得到的歷史資訊，藉以估測總量運動向量，其中，這些總量運動向量包括有多個目標運動向量TMV₁~TMV_N。接著，於步驟S1020中，可靠度分析模組230分別分析目標運動向量TMV₁~TMV_N的空間可靠度因素、時間可靠度因素、區塊差異因素、紋理因素或靜止區塊因素等評分機制，藉以動態評估及調整目標運動向量TMV₁~TMV_N所對應的N個可靠度加權值W₁~W_N。

於步驟S1030中，運動向量混合模組240便動態混合上述目標運動向量TMV₁~TMV_N與可靠度加權值W₁~W_N，藉以產生改善運動向量RMV。之後，進入步驟S1040，可靠度分析模組230利用上述可靠度加權值W₁~W_N來計算並判斷分析結果WR。像素混合模組250便於步驟S1050中取得改善運動向量RMV所對應的目標像素及相鄰像素群。於步驟S1060中，像素混合模組250利用上述目標像素群、相鄰像素群及分析結果WR進行像素模糊操作，並參考分析結果WR來調整像素模糊操作的強度，藉以產生輸出影像信號中插補畫面的插補像素群。本實施例的其他細部流程已包含在上述各實施例中，故在此不予贅述。

綜上所述，本發明實施例針對選定的運動向量(例如同一畫面上的運動向量、相鄰畫面的運動向量...等)進行可靠度加權值的評分估計，並利用這些運動向量及對應的加權值以混合成新的運動向量，藉以避免運動向量在運動物件邊緣的不穩定。在進行運動插補時，可利用此單一運動向量來選取插補像素，藉以減少影像缺陷的產生，亦可降低對於畫面資料的存取頻率。另一方面，運動插補設備亦可依據估計結果知曉此運動向量的可靠程度，進而決定是否對插補像素進行像素模糊操作，減少影像缺陷。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10．．．影像信號

110．．．運動物件

200．．．運動插補設備

210．．．運動向量改善裝置

220．．．運動估測單元

230．．．可靠度分析模組

240．．．運動向量混合模組

250．．．像素混合模組

260．．．歷史資料記憶單元

270．．．畫面緩衝器

275．．．傳輸匯流排

410_1~410_N．．．可靠度分析單元

420．．．可靠度加總單元

510．．．空間可靠度分析單元

520．．．時間可靠度分析單元

530．．．區塊差異估測單元

540．．．紋理可靠度分析單元

550．．．靜止資訊分析單元

580．．．數值混合器

610_1~610_N．．．差異計算器

620．．．加法器

630．．．可靠度生成器

810_1~810_N．．．乘法器

820．．．加總單元

910．．．像素快取單元

920．．．像素模糊過濾器

F^k-1、F^k、F^k+1、F^k-u、F^k+u．．．畫面

MB^k-u(x)、MB^k(x)、MB^k+u(x)、MB^k(x+a₁)~MB^k(x+a₈)．．．運動區塊

F^k+0.5．．．插補畫面

MV^k(x)、MV^k(x+a₁)~MV^k(x+a_m)、MV^k+u(x+b₁)~MV^k+u(x+b_n)、MV^k-u(x+c₁)~MV^k-u(x+c_p)．．．運動向量

MV0．．．零運動向量

TMV₁~TMV_N．．．目標運動向量

NSMV_i．．．空間相鄰運動向量

NTMV_i．．．時間相鄰運動向量

BDV．．．像素差異值

EC．．．紋理複雜度

SI．．．靜止資訊

SVar．．．空間變異數

TVar．．．時間變異數

SW．．．空間加權值

TW．．．時間加權值

BW．．．區塊加權值

EW．．．紋理加權值

SIW．．．靜止加權值

STH_max．．．最高靜止門檻值

STH_min．．．最低靜止門檻值

W₁~W_N．．．可靠度加權值

RMV．．．改善運動向量

WR．．．分析結果

Vout．．．輸出影像信號

x．．．位置向量

S1010~S1060．．．步驟

圖1為運動插補技術的示意圖。

圖2是依照本發明一實施例之運動插補設備的方塊圖。

圖3A為符合本實施例之選定目標運動向量的示意圖。

圖3B為第k個畫面的運動區塊MB^k(x)、MB^k(x+a₁)~MB^k(x+a_m)及運動向量MV^k(x)的示意圖。

圖4是依照本發明一實施例之可靠度分析模組的方塊圖。

圖5是依照本發明一實施例之可靠度分析模組的方塊圖。

圖6為空間可靠度分析單元的方塊圖。

圖7A是空間變異數及空間加權值的關係圖。

圖7B是時間變異數及時間加權值的關係圖。

圖7C是像素差異值及區塊加權值的關係圖。

圖7D是紋理複雜度及紋理加權值的關係圖。

圖7E是靜止資訊、目標運動向量及靜止加權值的關係圖。

圖8是依照本發明一實施例之運動向量混合模組的方塊圖。

圖9是依照本發明一實施例之像素混合模組的方塊圖。

圖10是依照本發明一實施例說明修飾運動向量的影像改善方法之流程圖。

10．．．影像信號

200．．．運動插補設備

210．．．運動向量改善裝置

220．．．運動估測單元

230．．．可靠度分析模組

240．．．運動向量混合模組

250．．．像素混合模組

260．．．歷史資料記憶單元

270．．．畫面緩衝器

275．．．傳輸匯流排

TMV₁~TMV_N．．．目標運動向量

W₁~W_N．．．可靠度加權值

RMV．．．改善運動向量

WR．．．分析結果

Vout．．．輸出影像信號

Claims (27)

1. 一種運動向量改善裝置，包括：一運動估測單元，用以接收一影像信號的多個畫面、或是依據巳計算得到的歷史資訊，來估測多個總量運動向量，其中，該些總量運動向量包括N個目標運動向量，N為正整數；一可靠度分析模組，耦接至該運動估測單元，用以分析N個目標運動向量的一空間可靠度因素及一時間可靠度因素，藉以動態評估及調整N個目標運動向量所對應的N個可靠度加權值；以及一運動向量混合模組，耦接至該運動估測單元及該可靠度分析模組，其利用該些可靠度加權值以動態混合該些目標運動向量以產生一改善運動向量。
2. 如申請專利範圍第1項所述之運動向量改善裝置，其中該些總量運動向量包括MV^k(x)、MV^k(x+a₁)~MV^k(x+a_m)、MV^k+u(x+b₁)~MV^k+u(x+b_n)以及MV^k-u(x+c₁)~MV^k-u(x+c_p)，MV^k(x)為第k個畫面中位置x的運動向量，u為時間軸上的一畫面偏移量，x為一位置向量，a₁~a_m、b₁~b_n及c₁~c_p為該位置向量的多個偏移向量，並且將MV^K(x)、MV^K(x+a₁)~MV^K(x+a_m)、MV^K+u(x+b₁)~MV^K+u(x+b_n)以及MV^K-u(x+c₁)~MV^K-u(x+c_p)定義為N個目標運動向量，K、u、m、n及p為正整數，且N=(1+m+n+p)。
3. 如申請專利範圍第1項所述之運動向量改善裝置，其中該可靠度分析模組包括N個可靠度分析單元，i為正整數且1≦i≦N，並且，第i個可靠度分析單元包括：一空間可靠度分析單元，計算第i個目標運動向量以及鄰近第i個目標運動向量之多個空間相鄰運動向量之間的一空間變異數，以分析該空間可靠度因素，並估測一空間加權值；一時間可靠度分析單元，計算第i個目標運動向量以及鄰近第i個目標運動向量之多個時間相鄰運動向量之間的一時間變異數，以分析該時間可靠度因素，並估測一時間加權值；以及一數值混合器，耦接至該空間可靠度分析單元及該時間可靠度分析單元，用以混合計算多個總量加權值或選擇該些總量加權值之其一以輸出第i個可靠度加權值，其中該些總量加權值包括該空間加權值及該時間加權值。
4. 如申請專利範圍第3項所述之運動向量改善裝置，更包括：一歷史資料記憶單元，用以接收並儲存第i個目標運動向量所對應之第i個運動區塊的一像素差異值、一紋理複雜度或一靜止資訊，其中該像素差異值由該運動估計單元計算求得，該紋理複雜度定義第i個目標運動向量的一紋理分布密度，且該靜止資訊由相鄰畫面且位於相同位置的第i個運動區塊之間的像素差異計算求得。
5. 如申請專利範圍第4項所述之運動向量改善裝置，其中第i個可靠度分析單元更包括：一區塊差異估測單元，取得該像素差異值以分析一區塊差異因素，藉以估計一區塊加權值，當該像素差異值愈大時，調降該區塊加權值，且當該像素差異值愈小時，調升該區塊加權值，其中，該些總量加權值更包括該區塊加權值。
6. 如申請專利範圍第4項所述之運動向量改善裝置，其中第i個可靠度分析單元更包括：一紋理可靠度分析單元，取得該紋理複雜度以分析一紋理因素，藉以估計一紋理加權值，當該紋理複雜度愈大時，調升該紋理加權值，且當該紋理複雜度愈小時，調降該紋理加權值，其中，該些總量加權值更包括該紋理加權值。
7. 如申請專利範圍第4項所述之運動向量改善裝置，其中第i個可靠度分析單元更包括：一靜止資訊分析單元，取得該靜止資訊以分析一靜止區塊因素，藉以估計一靜止加權值，當該靜止資訊大於一最低靜止門檻值時，靜止資訊分析單元依據第i個目標運動向量而選擇該靜止加權值，且當該靜止資訊小於該最低靜止門檻值時，該靜止加權值為零，其中，該些總量加權值更包括該靜止加權值。
8. 如申請專利範圍第1項所述之運動向量改善裝置，其中該些目標運動向量更包括一零運動向量。
9. 如申請專利範圍第1項所述之運動向量改善裝置，其中該運動向量混合模組包括：N個乘法器，第i個乘法器將第i個目標運動向量乘以第i個可靠度加權值以產生第i個加權運動向量；以及一加總單元，加總N個加權運動向量以產生該改善運動向量。
10. 如申請專利範圍第1項所述之運動向量改善裝置，其中該運動向量混合模組包括：一多工器，用以選擇並輸出具最大值之第i個可靠度加權值所對應的第i個目標運動向量，藉以作為該改善運動向量。
11. 如申請專利範圍第1項所述之運動向量改善裝置，更包括：一像素混合模组，耦接至該可靠度分析模組，接收該改善運動向量所對應之一目標像素群以進行一像素模糊操作，藉以產生一插補畫面的一插補像素群，並參考該分析結果來調整該像素模糊操作的強度。
12. 如申請專利範圍第11項所述之運動向量改善裝置，其中該像素混合模组包括：一像素快取單元，用以接收該改善運動向量所對應之該目標像素群及相鄰該目標像素群之多個相鄰像素群；以及一像素模糊過濾器，耦接至該像素快取單元，利用該目標像素群及該些相鄰像素群進行該像素模糊操作，藉以產生該插補像素群，並參考該分析結果來調整該像素模糊操作的強度。
13. 如申請專利範圍第11項所述之運動向量改善裝置，其中該可靠度分析模組利用該些可靠度加權值計算一分析結果，當該分析結果大於一可靠度門檻值時，該像素混合模组輸出該目標像素群作為該改善像素群。
14. 如申請專利範圍第13項所述之運動向量改善裝置，當該分析結果小於該可靠度門檻值，並且該可靠度分析模組調升該分析結果時，該像素混合模组降低該像素模糊操作的效果，以及，當該分析結果小於該可靠度門檻值，並且該可靠度分析模組調降該分析結果時，該像素混合模组提高該像素模糊操作的效果。
15. 如申請專利範圍第11項所述之運動向量改善裝置，其中該可靠度分析模組更包括：一可靠度加總單元，用以加總N個可靠度加權值以產生一分析結果。
16. 一種修飾運動向量的影像改善方法，包括：接收一影像信號的多個畫面、或是依據已計算得到的歷史資訊，來估測多個總量運動向量，其中，該些總量運動向量包括N個目標運動向量，N為正整數；分析N個目標運動向量的一空間可靠度因素及一時間可靠度因素，藉以動態評估及調整N個目標運動向量所對應的N個可靠度加權值；以及動態混合該些目標運動向量與該些可靠度加權值以產生一改善運動向量。
17. 如申請專利範圍第16項所述之影像改善方法，更包括：利用N個可靠度加權值計算一分析結果；取得該改善運動向量所對應之一目標像素群及相鄰該目標像素群之多個相鄰像素群；以及利用該目標像素群及該些相鄰像素群進行一像素模糊操作，藉以產生一改善影像信號的一改善像素群，並參考該分析結果來調整該像素模糊操作的強度。
18. 如申請專利範圍第17項所述之影像改善方法，利用N個可靠度加權值來計算並判斷該分析結果包括下列步驟：加總N個可靠度加權值以產生該分析結果。
19. 如申請專利範圍第17項所述之影像改善方法，參考該分析結果來調整該像素模糊操作的強度包括下列步驟：當該分析結果大於一可靠度門檻值時，輸出該目標像素群以作為該改善像素群。
20. 如申請專利範圍第17項所述之影像改善方法，參考該分析結果來調整該像素模糊操作的強度更包括下列步驟：當該分析結果小於該可靠度門檻值，並且該可靠度分析模組調升該分析結果時，降低該像素模糊操作的效果；以及當該分析結果小於該可靠度門檻值，並且該可靠度分析模組調降該分析結果時，提高該像素模糊操作的效果。
21. 如申請專利範圍第16項所述之影像改善方法，i為正整數且1≦i≦N，並且，動態評估及調整第i個可靠度加權值包括下列步驟：計算第i個目標運動向量以及鄰近第i個目標運動向量之多個空間相鄰運動向量之間的一空間變異數，以分析該空間可靠度因素，並估測一空間加權值；計算第i個目標運動向量以及鄰近第i個目標運動向量之多個時間相鄰運動向量之間的一時間變異數，以分析該時間可靠度因素，並估測一時間加權值；以及混合計算多個總量加權值或選擇該些總量加權值之其一以輸出第i個可靠度加權值，其中該些總量加權值包括該時間加權值及該時間加權值。
22. 如申請專利範圍第21項所述之影像改善方法，更包括：接收並儲存第i個目標運動向量所對應之第i個運動區塊的一像素差異值、一紋理複雜度或一靜止資訊，其中該像素差異值由該運動估計單元計算求得，該紋理複雜度定義第i個目標運動向量的一紋理分布密度，且該靜止資訊由相鄰畫面且位於相同位置的第i個運動區塊之間的像素差異所計算求得。
23. 如申請專利範圍第22項所述之影像改善方法，動態評估及調整第i個可靠度加權值更包括下列步驟：取得該像素差異值以分析一區塊差異因素，藉以估計一區塊加權值，其中，該些總量加權值更包括該區塊加權值；當像素差異值愈大時，調降該區塊加權值；以及當像素差異值愈小時，調升該區塊加權值。
24. 如申請專利範圍第22項所述之影像改善方法，動態評估及調整第i個可靠度加權值更包括下列步驟：取得該紋理複雜度以分析一紋理因素，藉以估計一紋理加權值，其中，該些總量加權值更包括該紋理加權值；當該紋理複雜度愈大時，調升該紋理加權值；以及當該紋理複雜度愈小時，調降該紋理加權值。
25. 如申請專利範圍第22項所述之影像改善方法，動態評估及調整第i個可靠度加權值更包括下列步驟：取得該靜止資訊以分析一靜止區塊因素，藉以估計一靜止加權值，其中，該些總量加權值更包括該靜止加權值；當該靜止資訊大於一最低靜止門檻值時，依據第i個目標運動向量而選擇該靜止加權值；以及當該靜止資訊小於該最低靜止門檻值時，該靜止加權值為零。
26. 如申請專利範圍第16項所述之影像改善方法，其中產生該改善運動向量包括下列步驟：將第i個目標運動向量乘以第i個可靠度加權值以產生第i個加權運動向量；以及加總N個加權運動向量以產生該改善運動向量。
27. 如申請專利範圍第16項所述之影像改善方法，其中產生該改善運動向量包括下列步驟：選擇並輸出具最大值之第i個可靠度加權值所對應的第i個目標運動向量，藉以作為該改善運動向量。