201230816 六、發明說明： 【發明所屬之技術領域】 本發明係有關於一種圖框内插裝置及方法，尤指一種利用移動估算 及移動補償之圖框速率轉換裝置及方法。 【先前技術】 利用移動補償(motion compensation，MC)之圖框(frame)内插法可以 回朔至1980代後期。利用移動補償内插法具有許多優點。為了有效 的在原始的圖框中内插新醜，通常會先估算原始的輸人圖框中標 的的移動1年來，由於半導體及電視技術的發展，_移動估算 補償(motion estimation and motion compensation，MEMC)之圖框速率 轉換(frame mte conversi〇n，FRC)獲得許多注意。利用之 哪通常從組候選者移動向量中選擇—優選移動向量來執行移動 估算。如何建立候選者清單以及如何選紐選者，每―memc方法 各有不同現今技術之演算法在具有—雜移_場景巾具有不錯 2果但在-些困難的狀況，如快速移動之物體的邊界、包藏之 場景(occlusion scene)、以及具有少量細節的區域等，會導致許 。因此’現今的技術存在許多挑戰與改善的空間 乂改善視s扎晝面的品質。 【發明内容】 匕本喪明的眾多目的之一即在提供一種圖框速率轉換裝置及 201230816 種圖框速率轉換方法以改善視訊晝面的品質。 依據本發明之-實施例，其係揭露—種_速率轉換方法。該方法 L3下列v驟·接收至少―輸人圖框；根據該至少二輸人圖框來產 •生，數個移動向量；根據該複數個移動向量來產生-包含區域移動 ，向量及時間移動向量之候選者清單；根據該候選者清單來產生一優 選候選者；以及根據該優選候選者產生至少一輸出圖框。 依據本發明之另一貫施例，其係揭露一種圖框迷率轉換裝置。該圖 框速率轉換裝置，用以接收至少二輸入圖框並產生至少一輸出圖 框包3 . 一移動估舁模組，用以彳貞測一訊源的頻道狀態來產生一 偵測結果自該至少二輸入圖框來產生一包含區域移動向量及時間移 動向量之候選者清單，並自該候選者清單產生一優選移動向量；以 及一移動補償模組，用以依據該優選移動向量來產生該至少一輸出 圖框；其中該優選移動向量係利用一雙向搜尋方式而產生。 【實施方式】 MEMC之功能係用以減少由低圖框速率之視訊(如24 f/s之影片）轉 換至高圖框速率之視訊(如120 Hz TV)所產生 < 急動(judder)現象。 請參考第1圖，第1圖例示應用MEMC在60Hz及24Hz的視訊以 產生120Hz視訊的效果，亦即圖框速率由60Hz及24Hz轉換至120 Hz。如第1圖所示，所產生之120Hz視訊具有較順暢之移動，且 201230816 急動(judder)現象有所降低。 第2圖例示24f/s輸入及在MEMC之後之12_輸出。目標(加㈣ 圖框及參考(reference)圖框為在原始輸入圖框序列中之二相鄰圖 月/主思本實施例雖以一圖框為例，但本發明亦可以使用二個 以上的圖框。 請繼續參考第2圖，根縣㈣之_實_巾之_速率轉換裝 置100 ’其用以接收至少二輸入圖框並產生至少一輸出圖框，其包 ，-移動估算_模組12。以及—移動補償(MC)模組14。。移動估 算模組120用來自該至少二輸入圖框來產生一包含區域(區域)移 動向量及時間移動向量之候選者清單，並自該候選者清單產生一優 選移動向量。該移_償池14㈣以依_優_畅量來產生 違至少-輸出圖框。根據本發明之另—實施例，該區域移動向量為 局部(l〇ca〇移動向量以及該時間移動向量為時間雜別㈣候選 根據本發明之另-實關，框速率轉絲置丨⑻更包含一圖框特 徵萃取模組110以及-控制模組13G。圖框特徵萃取模組⑽用以 自該輸入圖框萃取資訊。控麵組請用以根據來自圖框特徵萃取 模組110或該移動估算_)模組12G之資訊來決定該優選移動向量 201230816 根據本發明之另一實施例’圖框特徵萃取模組110用以從該輸入圖 框萃取出淡入/淡出資訊，而控制模組130根據該淡入/淡出資訊來 決定該優選移動向量的權重。 根據本發明之另一實施例’圖框特徵萃取模組110用以從該輸入圖 框產生標誌偵測資訊，而輸出圖框根據該標誌偵測資訊來產生。 移動估算(ME)模組120偵測輸入圖框中之標的之執跡， 並以移動向量(MV)表示。輸出的(内插的）圖框根據移動向量來產 生’並根據產生的圖框所將顯示(dispiay)的時間將標的置放在適當的 位置。 移動補償(MC)模組140利用]\ 考圖框之間來產生内插的圖框 以及目標與參考圖框在目標與參 ，制模組130彻ME模組12G取得之統計魏以及來自圖框特徵 卞取拉組110之資訊來決定在輸出圖框甲之目標與參考圖框的權 重、優選MV的權重、以及標的的位置。在一些狀況中，如場景⑼㈣ 的變換’控制模組130亦回饋資訊至ME模組12〇以調整_模組 120的動作。 參考第3圖’圖框特徵萃取模組11〇可以包含影像位置偵測單元 ⑴、標·測單元m、以及淡人/淡出偵測單元113。難特徵萃 201230816 取模，組110由輸人圖框分析圖像的内容，並姻影像位置彳貞測單元 ^ ,供圖像位置之f訊、利__單元ιΐ2來提供標言志位 置或“賴測#訊、或利用淡人/淡出偵測單元ιΐ3來提供淡入/淡出 資訊。圖框特徵萃取模組⑽這些將這些資訊輸出至臟㈣ 120以得到更佳之_、或輸出至撕模組M0以幫助確認在輸出 圖框中之内插像素的正確性。其它資訊，如淡人/淡出伽資訊，將 送至控制模組140以控制輸出圖框的結果，如根據淡入/淡出偵測資 訊來決定優選移動向量之權重。 參考第4圖，移動估算_)模組12〇可以包含雙向單元i2i、酬V 偵測單兀122、RMV緩衝if ι23、Μν緩衝^ 124、Mvfbw單元125、 後移動估算單it I26、以及像素Mv單元π。雙向單元ΐ2ι用以 由目標®框1_參考ϋ框及/或自參考酿至目標圖框紐尋或決定 優選MV(優職選者）。·ν _單元m用則貞測並產生區域移 動向量(regional moving vect〇r，rmv)。RMV 緩衝器 123 用以儲存 來自RMV偵測單元122之rmv，並提供RMV候選者至雙向Me 單兀12卜MV緩衝器124用以儲存來自rmv偵測單元122之先 前不同時間的RMV或經後ME單元126修正後之優選移動向量， 並將其儲存為時間移動向量(MV)。時間流(MvF1〇w)單元125，用 以根據MvFlow偵測，在時間Mv中偵測Mvfl〇w候選者，並將 MvFlow候選者輸出至雙向單元121。後移動估算單元126用以執行 一後移動估算偵測以修正優選移動向量，並將輸出至1^乂偵測單 元122、像素MV單元127、及MV緩衝器124’其中後移動估算偵 201230816 測包含跳動(jump)修正、包覆偵測、以及離群值_ier诚波之至少 其中之- ’其中RMV偵測單元122根據優選移動向量之修正來調 整其本身的_。而像素_單元127用以根據(修正後之)優選移 動向量來推導像素之MV。 ME模組⑽將目標圖框分割為固定大小的小區塊，然後在參考圖 框搜尋最佳匹配’並以移動向量(MY)代表區塊由目標圖框至參考圖 框之軌跡(trajectory)。此實施例以絕對差(Sum 〇fAbs〇hjteDifference， SAD)為基準來決疋優選mv或候選者，但本發明不以使用sad為 限。 由於ME包含大量的運算工作，為了避免搜尋整個參考圖框，本發 明可以使快速搜尋並卩、搜尋—些點。在找到每—區塊的優選移動 向量區塊後，將執行後ME偵測以修正錯誤的移動向量，並標示出 包藏(occlusion)發生的區域。然後像素_單元127推導每一像素 之移動向量，再執行MC以產生輸出像素(pixei)。 移動估算(ME)係尋找移動向量(mv)以代表在相臨圖框之標的移動 的過程。ME模組120將整個圖框分割為固定大小的小區塊，如8沾 或16x16，然後在二個圖框間根據一搜尋基準來搜尋最佳匹配。此 實施例以絕對差(Sum of Absolute Difference，SAD)為基準，而亦可以 使用均方差(mean square error，MSE)或中位數絕對誤差(mean absolute distortion，MAD)，本發明不以使用SAD為限。本發明可以 使用固定目標搜尋，亦即在目標圖框固定一區塊，然後再搜尋參考 201230816 * 1。全秘尋騎詳細的搜尋方法。全面搜尋録搜尋範圍内搜 哥所有可能的位置。當圖框很大而搜尋範園也很大，這可能不切實 際。不同於全面搜尋，本發明使用快速搜尋方法，其只搜尋所有可 2候選者的—個子集合。子集合，騎候選者的縣很重要，其將 影響me的效能。通常目前區塊的移動與其相鄰區塊的移動有密切 的關係，這些就可為執行快速搜尋時的好的候選者。 根據本發明之-實施例，本發明提出二種特別型態的候選者。第一 為Flow候選者。藉由記錄標的的移動，本發明可以使用由時 間，-2至W (或更早）的軌跡來推斷標的在時間，的位置。第二種 品戍移動向量(RMV)候選者。當場景平飾anning)時整張圖將往 -致的方向鶴，此種移動向量本發明稱之為總體⑹㈣區域移動 向量(GRMV) ’其可為好的候選者。如果整張圖並未平移本發明 仍可以朗-移動向量來代麵—局部的—致雜，此種移動向量 本發明稱之為局部(LGeal)區域義向量(LRMV)。 有時目前區塊的移動可能與它的候選者有些許的不同。然而，藉由 搜尋候選者_近細可以得到聽塊更精確的移動以改善其效 能。其稱之為小範圍搜尋。 根據本發明之-實施例，其可使用雙向搜尋方式，以在單一方向可 以找到但另-方向無法找到時有所幫助。這種情形包含圖像的邊界 以及包覆/非包覆的狀況。前向搜尋係由目標圖框搜尋至參考圖框， 201230816 而後向搜尋係由參考圖框搜尋至目標圖框。 在搜尋候之後，本發誓料獨使用搜尋絲，如最小㈣， ▲可能無法找到區塊的真正移動或最近似的移動。為了降低這種錯 本發狀-實_，其在触較之前，馳尋基準加入偏 這種偏差(值)每-候選者可以各有不同，其係根據每一候選 者的特徵以及其與臨近區域的相互關係。 最後，執仃-後雜縛偵取修正—些錯糾優選移動向量。 =標的以-朗速度鶴，它的移動向量應幾乎為常數且它的位 心可輕易的自其先前的移動來預測。此種移動向量應為用以搜尋 的好的候妨搜*。本發服ώ卿㈣^法來斟此種候選者。 =第12圖，在前一圖框(inprevi〇usframe)之淡灰色區塊_)具 有一貫、。假設其制定的鶴，淡灰色區塊將移至深灰色 =的位置。故對深灰色區塊的細’本發明可以使用虛線的(即 日、上之前-MV)作為其候選者，本發明稱之為鮮^候選者。 处=13所示’―區塊可能有超過—個時間流胁候選者，也可 能沒有任何時間流MvF/〇w候選者。 =為考慮軸流胁服w之在前—圖框之區塊解超過最大的搜尋 &圍由於可能會有許乡可能的時間流遍^候選者，本發明加 入些限制條件以移除較不可能代表真正移動的候選者。如流程圖 201230816 ί 14圖所示，她可以在計算重㈣，縮小目前區塊的大小及/ 或候選者區塊的大小。本發明排除具有小重叠區域之候選者。因此， 如果所預測的移動沒有在位置或區域上提供足夠的重叠，本發明就 2除此種候選者。仍可能有許多可能的候選者本發明無法全部搜 尋。本發明可以對其根據如重疊區域或移動向量的大小之準則以可 能性來排序’並挑選最大者來作為時間流樹杨候選者。當二候 選者之移躺倾此靠近，本發縣其合併喊少乡餘的搜^如此 以取得更多獨特的候選者，如第14圖所示。 在總體平移場景中，本發明使用一個移動向量來代表整體圖像的移 動。此種MV稱之為總體區域移動向量(GRMV)。相同的現象可以 在較小的區域觀察到’本發明使用一局部移動向量(LRMv)來代表其 移動。例如，LRMV可以代表一6x6區塊之移動向量，如第15圖所 不，但本發明不以6x6區塊為限。由於在搜尋未完成前，本發明可能 無法計算出目前圖框之所有GRMV或LRMV，本發明利用前一圖框" 之GRMV及LRMV作為時間候選者。兩者，亦即目前或時間上之 GRMV及LRMV候選者’在快速搜尋皆為好的候選者。 本發明亦可加一負偏差(negative)至GRMV及LRMV候選者以使其 較佔優勢。此偏差不一定為常數，其取決於GRMV及之可 靠度及區塊之活動(GC如办j。GRMV及LRMV之可靠度由 GRMV/LRMV區域之移動向量之變異(variance)來決定。如變異小， 則可靠度高。 12 201230816 對各別的候選者’本發明執行以候選者為中心之小範圍搜尋，小範 圍可以設定為例如心3"+3心:_3.+3，並搜尋範_的所有位置。 本發明可以使用部份圖雜actionalpel)搜尋，如半圖素(娜㈣或 四分之-圖素(qUarter_pd)搜尋，而最佳匹配位置將代表此候選者為 優選者並在最後決定階段再與其讎選者作比較。 雖臨近各纖選者的小範_財祕更有效麵報快速移動， 但有時即使對屬於同-標的的區塊，其亦會引起游的小量變益。 此種小量變益對大部分的場景並不會有問題，但有時會產生假影。 此^尋準則也可能不精確，明也可能發現—些不相關的區塊 ^目刖區塊更符合其真實的移動。此種現象稱之為他混擾㈣）。 讀現象通常發生在具有進似結構㈣或重覆圖對帅㈣區 域。錯的移動向量將導致假影。 2免姆的小跑，本發明使靠近縣候選者位置的較 範圍搜尋時’本發明根據與原本位置的距 來冲异偏差(bias) ’並將偏差與SAD相加。 在候選者之巾’具有最佳搜尋準則者，如具有最小_ 選為優選移動向量或優選候 區塊之移動搜尋的限制此2動影像的複雜度與基於 真正餘s亦可能無法代表目前區塊的 真正移動’不正確的移動向量將導致假影。 13 201230816 本發明藉由在比較之前加人偏差至SAD來克服此情形。本發明考慮 目月ϋ區塊與其鄰近區塊之空間相_性（spatial c〇rrdati〇n)，以及目前 區塊與Μ -目框t之職區塊(e_terpart)之時間細性(temp〇rai correlation)，而計算空間偏差(spatial bias)與時間偏差細卩㈣ bias)，並將二者與SAD相加以作為新的搜尋準則，優選Mv即為最 小之加總SAD (SAD+空間偏差+時間偏差)者。如有二候選者具有進 似的SADs，具有較強的空間及/或時間相關性者(即較小的空間+ 時間偏差者）將成為優選者。此法可以降低ME混擾(alias)的發生。 偏差與區塊的複雜度有關。區塊結構(texture)越複雜，其sad也可 能越高。因此偏差值要設為高些才能有效。本發明藉由計算區塊的 活動(activity)來估計其複雜度，方法如下，其中(startx，starty)及 (end.x，end.y)代表區塊的起始及結束位置，而bk)ck|y|[x]為(x，y) 位置的晝素值(pixel value): activity = 1; for(y=start.y; y<end.y; y+=4){ for(x=start.x; x<end.x; x+=4){ activity += abs(block[y ][x+l] - block[y ][x+3]) + abs(block[y+l][x ] - block[y+l][x+2]) + abs(block[y+2][x+l] - block[y+2][x+3]) + abs(block[y+3][x ] - block[y+3][x+2]) + abs(block[y ][x ] - block[y+2][x ]) + abs(block[y+l][x+l] - block[y+3][x+l]) + 201230816 abs(block[y ][χ+2] - block[y+2][x+2]) + abs(block[y+l][x+3] - block[y+3][x+3])； 對目前區塊，本發明考慮其3個鄰近之移動向量，即左(L)、上(u)、 以及右上(UR)，如第16圖所示，而其它之鄰近移動向量亦可以使 用，本發明不以此為限。而具有與目前區塊近似活動之鄰近區塊的 移動向量，可以用來計算平均移動向量差值(mv_dif)。 count = mv_dif = 0； if (|ACTL. ACTcur|< thr){ c_t++; mv_dif+= (IMVl.x _ Mvcur X| + |MVL.y_ 咖 y|) } if(|ACTu.ACTcur|<thr){ ⑺imt++; mv_dif+= (|MVu.x _ MVcur_x| + 丨應仏大 } if(|ACTUR.ACTcur|<thr){ cmmt++; mv_dif+= (|MVUR.X - Mvcur.x丨 + 丨MvuR y· MVcur.y|) } if (count!=0) mvdif = mv_dif/count; 其中ACT代表區塊的活動，thr代表定義二個活動相似的臨界值 (threshold) ’而MV.x與MV.y為水平與垂直方向之移動向量值。 15 201230816 |MV.x|+|MV.y|代表移動向量的距離。平均移動向量差值mv_dif用 以查表空間偏差sbias(spatialbias)。第17圖為一個例子。一般當差 值mv_dif較小時，偏差亦較小，這使得此區塊較易成為優選者。偏 差值亦受目前區塊的活動所影響。若活動值較高，此區塊之SAD也 較高，偏差也傾向較高。 當對在第18圖current frame(目前圖框)中之cmTent block(目前區塊) 來計算tbias時’我們假設它來自previ〇us fj*ame(前一圖框)中之(左 邊)區塊。而左邊區塊可能未與前一圖框之區塊格對齊。因此本發明 雙線性内插來計算平均MV值(MVavg)，如下： MVavg = (mvl*sl+mv2*s2+mv3*s3+mv4*s4)/(sl+s2+s3+s4)， 其中si、s2、s3、及S4為左邊區塊之重疊區域，其分別具有mvl、 mv2、. mv3、及mv4之移動向量值。 移動向量差值mv一dif表示目前(cur.)區塊mv值與MVavg之差值， 算法如下： mv_dif = |MVavg.x - MVcur>x| + |MVavg.y- MVcur.y| 然後利用mv_dif來查表偏差值tbias。第19圖為一個例子。 先刚本發明使用二個圖框來顯示移動估算，目標圖框之時間為t而 參考圖框之時間為t_l。但本發明亦可以更多圖框來得到更精確的 16 201230816 ME結果。例如使用三個以上的圖框，而如果標的可以從第 追縱到第二圖框織到第三圖框，對其移動之信心水準自 二圖框搜尋更高。 ^ 本發明增加精確度㈣-實施例係制前向及域後向鱗，亦即雙 向搜尋之方式。搜尋㈣間㈣框辦間t奴酿之搜尋為前向 搜尋，然而本發明亦可以作由時間W之圖框往時間以酸後向搜 尋’兩者皆使用相同的候選者清單，然後比較兩者的結果以決定最 後的優選者，例示如第2G圖。但搜尋的時間亦可以更往前或往後， 不以此為限。 雙向搜尋至少有助於以下兩種情形ϋ區塊因為在參考圖框中 其被包覆或包藏，使用前向搜尋並無法得到良好的匹配_。使用 後向搜尋當該區域於不同時間點沒有被包覆或包藏將可找到其移 動。本發明之包覆及非包覆偵測係根據雙向搜尋方式來進行。 另一種情形為一平移影像之圖像邊界，如第21圖所示，前向搜尋並 未能在參考圖框中找到良好的匹配，因為某些部份尚未移動進入圖 框中。然而從相同位置的後向搜尋便可輕易的發現正確的移動向 里。其優選者將為後向搜尋之MV，而利用移動補償適當的内插此 區塊。 在個別區塊具有其優選MV之後，執行後移動估算偵測以移除或修 正錯誤的優選移動向量。後ME偵測包含跳動(jump)修正、包覆偵 17 201230816 測、以及離群值(outlier)濾波之至少其中之一，說明如下： 1. MV跳動修正’用以降低雙影像假影(d〇uble image artifact) 〇 2. 包覆/非包覆偵測，用以彳貞測包覆(c〇ver或〇cciusi〇n)及非包覆 (uncover或reveal)發生的區域。 3. MV離群值濾波：由於若屬於同一標的(〇bject)，區塊及其鄰近 區塊將一起移動，故若目前區塊的MV與其鄰近區塊的_(如在 3x3之區域）差異很大，則執行_修正（如以鄰近區塊_的中 間值來取代優選MV以作為新的優選Mv)。另—例為前向/後向優 選者，若目前區塊使用前向ΜΥ作為優選者但其鄰近之MV多為後 向MV，可能在此區塊亦使用後向Mv較佳，反之亦然。 MV跳動彳貞測目的之-在用以減少當標的並未隨其背景移動所造成 之在其前或其後的假影，如第22圖所示。 第23圖例示一種假影出現的情況。當進行ME，區塊MV指過字 母τ對於進订MC，該MV將被減半以取得其移動補償之成份， 如第23圖所示假影來自字母τ。區塊_指過字母了的原因可能 為其使用背景之GRMV，_字母τ為靜止，並級f景移動。 2低此種假影’如第24圖所示，待測區塊之Mv(在圖中為實線 :、已被減半）指向點狀區塊。本發明然後比較點狀區塊之 …玄實線MV區塊’若兩者差異报大，則推所使用之 MV不可靠，將置換該MV。 201230816 二影亦常發生在未隨其背景移動的標的之前或之後， 移。該標的移入的背景為包覆或包藏，該標的 多的h為非包覆或非包藏。對於包覆區域，其像素資訊可以在 圖框㈣中得到，但無法在圖框(t)中得到。對於非包覆區域，其像 素資訊可以在®轉巾得到，但無法在圖雖1}巾得I由於· 會比較兩圖框之像素的差異’若像錄訊在兩_之—中消失將有 問題，而所產生的MV將無法表示真正的移動^使用多圖框ME可 以避免上述的問題。當無法在圖框⑴或圖框(Ν1)中發現像素資訊 時，亦可能在圖框㈣或@框(t+i)中發現。當無法在前向με中發 現時’亦可能在後向ME中發ί見，反之亦然。藉由使用前向/後向 ME，可以輕易的偵測出包覆/非包覆區域，而適當的補償方式即可 以施加在標示為包覆/非包覆區域之區塊以減少假影。 根據本發明之一實施例之包覆/非包覆偵測，其藉由比較使用前向及 後向搜尋優選者來前向及後向搜尋所產生的SAD資訊來執行。 bsad =使用後向搜尋優選者進行後向搜尋所得到的SAD; bsad2 =使用後向搜尋優選者進行前向搜尋所得到的SAD; fsad =使用前向搜尋優選者進行前向搜尋所得到的SAD; fsad2 =使用前向搜尋優選者進行後向搜尋所得到的SAD; 若bsad較小而bsad2較大’則該區塊可能為一非包覆區塊，如第25(a) 圖所示。若fsad較小而fsad2較大，則該區塊可能為一包覆區塊， 201230816 如第25(b)圖所示。其他當fsad、fsad2、bsad、及bsad2相近時，其 為正常區塊。 ' 至於標誌偵測，其包覆及非包覆區塊將以群組出現，故其後“^偵 測將移除獨立的包覆及非包覆區塊。 第5圖顯示根據本發明之一實施例之控制模組13〇，其可包含可靠 度偵測單兀131及場景變換偵測單元132。圖框可靠度偵測單元 決定FRC時MEMC施加的強度，亦即Mc一〇ff的層級(levd)或權 重優選移動向量的權重。其使用來自ME模組13G的資訊，如_、 MV、MV的差值等’以及來自圖框特徵萃取模組11〇的資訊，如 淡入/淡出資訊等。若圖框之可靠度高，將使MEMC為全速之圖框 速率並輸出完整的内插的圖框。若圖框之可靠度較低，將降低 MEMC之圖框轉換速率或將原始的圖框與内插的圖框混合。若圖框 之可靠度低’晝面會多急動㈣㈣而少假影。若圖框之可靠度很 低’本發·完全_讓0以敎假影，然而，如此可能會有嚴 重的急動》 場景變換偵測單元132用以根據來自模組i2G之湖及爾 ^資訊來執行場景變換_。當SAD頗大而My不—致，其意味 ^紐在目前(目標)圖框與前—(參考)圖框找到良好的匹配，此時可 ^為場景賴。場景變換偵測單元132並輸出場景變換侧資訊至 (、且12〇以控制候選者之選取，及輸出場景變換偵測資訊至廳 201230816 模組140以控制輸出圖框之產生。 第6圖顯不根據本發明之一實施例之移動補償(MC)模組14〇，其包 含像素處理單元14卜其使用來自ME模組12〇之優選娜並取得 來自原始(輸入)圖框之像素以處理在輸出圖框之内插的像素。其使 用來自圖轉鮮取模組削之邊界或·等資淑處理移動補償 的特殊情形。其使用來自控制模組13G之说等f訊以調整優 選MV之權重及像素。 MC模組140用以在輸入圖框間產生内插的輸出圖框，其使用來自 ME模組120之優選移動向量及輸入圖框之像素，以及區塊⑽、 包覆/非包t、標誌、、場景變換等資訊以適應性控制内插的像素值。 第26圖顯示根據本發明之一實施例之Mc的流程。 第27圖例示如何從前-(參考)與目前(目標)圖框娜像素以進行 ]^〇?01^為在内插的輸出圖框中之輸出(或產生)像素，匚及〇為在 輸入圖框中被MV指到的像素，而AaB像素為在輸入圖框中之對 應_〇C_位置。權重w (0代表内插圖框的位置。根據區塊 層級之MV ’將進而對個別像素指定一卿。假設心，之娜為 v，由對應位置B平移而來，再將v分為V0(辦Mv)及心卞 向 MV): = ω · v ν0 = νΓν 21 201230816 假設心的位置為义。c及的位置為:
Xc=X + vi XD=^ + V〇 内插的像素巧7由像素層級混合所推導，如下： MC_w_avg = (1-wJ^C + w*D, Collocated_w^avg = (l-w)*A + w*B,
Pp- (l-mp)*MC_w_avg + mp*collocated_w avg 以計算個 其中 m;?為濛敍遝合思子(pixel level mixing fact〇]^，用 性像素值。 像素層級混合因子易於反應優選移動向量的可靠声 θ 』罪度右優選移動向 罝不可靠’則降低像素層級混合因子mm咸少由優選移動向量所 指的像素之權重，並增加對應(collocated)像素之靜態混合權重^反 之亦然。根據本發明之-實_，其可根據SAD及優_動向量與 其鄰近者之差異來決定 mp ° 第28圖說明像素層級混合因子的一個例子。首先決定在4個角落 (comer)目前區塊之4區塊層級混合因子。對每一角落，其區塊層級 混合因子係根據其4鄰近區塊來計算，如第29圖所示。 先什算‘細MK」/#、scct/e;及沉a/e2以決定區塊層級混合因子。 22 201230816 swm_vec = 2x2 區塊之總向量長度(|；(^1¥6<^〇1'1611§1;11),· avg_vec_len = sum_vec/4; mv_diff = |mvl-mv2| + |mv2-mv3| + |mv3-mv4| + |mv4-mvl| relativeMV_diff = mv_diff/avg vec len 由於移動向量與其鄰近者之差異，一ί/砍1越大，該移動向 量越不可靠。然後根據平均向量長度(avg_vec—len)與S/J〕將 relativeMV_diff 進一步降低。 農一 #.级沉仏/根據不同之avg_vec_len得： if (avg_vec_len < thl) scalel = si; else if (average一vec一len < th2) scalel = s2; else scalel 二 s3 第一量級scale2考慮區塊SAD而得到。ME的結果越可靠，sad越 低。 sad〖，i=l，2,3,4 及 act!_，M，2,3,4 代表 2x2 區塊(第 3〇 圖)之 SAD 及 活動(activity) 〇 sum_sad = sad 1 + sad2 + sad3 + sad4 sum_act = actl + act2 + act3 + act4 reliability = coef * sum_sad/sum_act; 23 201230816 if (sum_sad < sum_act || sum sad < sad th) { scale2=Sl if (sum_sad < (sum_act/2)) scale2=S2 } else if (reliability <= th) scale2 = reliability/S4; else scale2=S3 其中si〜s2、SI〜S4及c〇ef為可設定值；如、脱、sadJh及 th為臨界值。 接下來可_ 雜—納織/g2推輪緣級混合因 子，第30圖為其例。 子後’ _ _得到目内 素之像素層級混合因子，如第31圖所示。 二法使用目標及參考圖框兩者的像素來產生輸出像 Mc。產假衫。此時可以只使用單邊圖框的像素，亦即單向 -種情況為兩者之移動向量 能會發生。此時可以D 9向邊界，這在區塊靠近邊界時可 '、使用另―移動向量之像素來進行MC。 24 201230816 一個非標誌區塊亦可能具有指向標誌區塊之移動向量，其類似第23 圖之情況。此時假影看起來像標諸由其原始位置跳出來。當發現非 標誌區塊使用一指向標誌區塊之移動向量’本發明將不使用其移動 向量，而使用另一方向的像素來進行MC。 當包藏(包覆/非包覆)發生時，只有兩圖框中之一具有進行MC所需 之正確像素。第32圖所示，中間的灰色點代表將進行内插的目前像 素，旁邊的灰色點代表有效的擷取(effective fetching)而淡色的點代 表無效的擷取(ineffective fetching) ’其由目標圖框⑻或參考圖框 (n-1)。第32 (a)圖為一非包覆之情形，即標的將在下一或未來圖框 中犬然出現’本發明可利用刚向MV來進行其MC。第32 (b)圖為 一包覆之情形，即標的將在下一或未來圖框中突然消失，本發明可 利用後向來進行其MC。此時只可使用單向MC，因為標的只能在 雙向中之一向被發現。 當二相鄰之區塊區塊使用二種不同之MC方式，即-為單向而另- 為雙向，可旎會產生區塊假影(blochess artifact)。此種不一致將在 區塊邊界產生不連續。本發明之—實翻提出—濾波器以去除此種 假影’如下所述： 假設v為像素/之移動向量，而前向移動向量心=6且後向移 動向量V0 = v _ V;。内插的輸出像素為（1_w;*c + v^，其中c 25 201230816 為在參考圖框v7所指的像素值，而Z)為在目標圖框所指的像素 值，如第27圖所示。 如上所述，對正常的區塊K檢查其4鄰近區塊xj、l、f及R， 若其中任一為包覆/非包覆區塊，將取代其兩像素之—用來進行 MC。假設A為-包覆區塊而B為-非包覆區塊。像素在區塊κ 上半區塊之像素將取代像素D以： dy/half—H * D + (half一Η - dy)/half_H * Ρ(參考圖框)(_一 像素在區塊K左半區塊之像素將取代像素c以： dx/half—W W + (half—WW/half—W* P(目標圖框)(—, 其中mv5,為分別為區塊U及L之移動向量，PW(膽）代表 mv指向圖框/r之像素，fWd表前向，而bwd表後向。 若F及R為包覆/非包覆區塊，重覆上述步驟至像素區塊κ最靠R 之右半邊及最靠R之下半邊。由上述方式引進新像素後，區塊假影 將大為降低。 當MEMC未適當執行時’假影可能會出現。當有太多假影時，影像 的品質將變得很差’此時根據本發明之一實施例，其將關閉MEMc 或降低MEMC之強度以避免或降低假影。 26 201230816 根據本發明之一實施例，其偵測確認MEMC未適當執行之p j 場景變換或淡入/淡出等，以決定關閉MEMC的時機。其亦、經由^ 些統計資訊，以判斷ME是否效果良好，兩種主要之圖框層級統叶 資訊如下：
frame—mv一 reliability =[|current frame block MV-previous frame block frame 一 sad—reliability = J]block_SAD/block_ACT
Mvl / Ejcurrent frame block 办量測在兩輸入圖框之對應位置其兩移動向量 之差異度，/rame一一re々fl6z7办量測ME在目前圖框找到匹配區塊 的程度。 然後檢查如以下的一些情況： ⑻ 圖框不可靠情沉：當Frame_mv_reliability及 frame_sad_fe!iability 都很大。 (b) 快速移動情況：太多區塊具有大移動向量且 frame_sad一reliability 也浪大。 (c) 淡入/淡出情況：目前圖框為淡入/淡出。 (d) 場景變換情況：目前圖框為場景變換。總體(Global)區域 移動向量(GRMV) (e) 總體移動情況1 :對許多連續的圖框沒有總體區域移 動，lframe_sad_reUability 也孤大。 27 201230816 (f) 總，移動情況2 :對許多連續的圖框有總體區域移動， 但每一圖框之差異报大。 (g) ^覆/非包覆情況.在—圖框伯測到太多包覆/非包覆區 塊0 (h) 不可靠情況··太多不可靠區塊(SAD>>融·卿）。 這些情況的臨界值可魅客觀之視訊品_定，以決 ffiMC。 關 重覆之兩輸入圖框之一或輸出兩輸入圖 當MEMC關閉時，可以輸出 樞之平均值。 然而只有兩種層級(開及關)的MEMC是不夠順暢的，本發明亦提出 1曰、及的方式以順^切換。令間層級之廳可以將内插的圖框 與原始(輸入)圖框以不同的權重混合而輸出(啤叫： output = wl*X + w2*Y+(1_wl_w2)*Pp 該權重可隨在兩縣(輸入)圖框間的*同内插圖框位置而不同。如 在24Hz轉魅12QHz的情形，其需麵原始(輸人)圖框間插入* 内插圖框。其圖框序列如·· {以，^，0}，其中\與丫為原始 才而a，b，與c為Mc之圖框。而其中間層級之廳·^可以輸 出如{X，(X+b)/2，b，c，(Y+c)/2，Y}。 28 201230816 在不同層級的切換間’需使一層級停留一定的圖框，如此可確保 MEMC順暢的切換。 當標誌出現在影像中，其將增加MEMC的困難度。當一靜止標誌與 一移動的標的或背景重疊時，一些像素(標誌)沒有移動，在相同區 塊的一些像素(標的)會移動。ME要發現在區塊内的每一像素的真正 移動向量是困難的。移動向量不是追隨標誌(靜止)就是追隨標的(非 靜止）。若移動補償(MC)沒有適當執行，標誌假影將出現。根據本發 明之一實施例之標誌偵測方法，其用以區別標誌像素與非標誌像 素。當產生輪出像素時’其對標誌像素進行靜態混合，而對非標誌 像素進行移動補償。第7圖顯示一個標誌的例子。 標έ志區域具有以下的特徵： L標誌的邊緣銳利(sharp)且清楚。 2·才示4的免度(luminance)及/或色度(chrominance)通常與影像 (video)不同。 3.標誌會停留在同一位置一段時間。 因此，在圖框特徵萃取模組11〇中之標誌偵測單元112係用以自輸 入圖框根據上述特徵來偵測標誌區塊或產生標諸、偵測資訊。 如進行ME之情形’將晝面分割為蚊大小的小區塊，而區塊的未 必/、ME時相同。然後檢偵測各別區塊内的各別像素是否具有上述 29 201230816 特徵。若在區塊内的像素大部分具有標誌的特徵丨及/或2，將其標 示為可能的標誌區塊候選者。由於標誌會停留在同一位置一段時 間，進一步利用一计數器來計數該區塊被標示為標誌區塊的時間， 然後利用該計數值來決定是否該將該區塊視為在目前圖框中之標誌 區塊(可與一臨界值比較）。然後考慮標誌區域應為連續的區域，而 一些獨立的標s志區塊應不為標誌區域，可移除之。而若一非標誌區 塊被標誌區塊所全部或部分圍繞’如第9圖及第1〇圖，可將該非標 諸區塊改為標誌'區塊。並將標誌、區域填入孔洞加⑹。 在標誌區塊内的像素皆標為標誌像素。在Mc階段，非標誌像素將 執行正常的MC。而對標誌、像素，將利用正常的妮結果以及在目 前及先前圖框之對應位置的像素值來產生最後的輸出像素值。 接下來’描述如何偵測標總區塊。 以使用8x8區塊為例，但不以此為限。τ為在圖框(t)中之像素，】 為在圖框㈣巾之騎。本發明可咖τ算絲計算在附帥鋼 框(t-i)中相同位置之兩區賴的SAD。對標誌區域，大部分之像4 並未移動，故其SAD應相當小。 '
J^O SAD = ZiK.y+J-Ji 一祕為在8x8區塊中靜止像素的數目 區塊中非靜止像素的數目。計算如下： χ8 di^J =K,,J -Rx+I^\ 30 201230816 stilly = {diffx+i y+. < l〇g〇_thresholdl)?l ： 〇 7 7 num_still = stilly. _/=〇/=〇 not _ still, j = {diffx+i y+J > l〇go_threshold2) ? l ： 〇 7 7 num __ not _ still = Σ - stillu y=0 /=0 ’ 接下來搜集邊緣資訊及。對8χ8區塊中之每—像素 (第8圖中之Pixei[i][i])，對目標及參考圖框兩者檢查像素周圍之3χ3 像素窗(window) ’並計算相鄰之水平(h〇riz〇ntal)及垂直(vertical)2 像素差值。注意：該差值具有方向性，亦即rdiffM、rdiffh2等為代 符號之整數。 然後檢查是否有邊緣(edge)存在verticai 1，2,3,或vertical 4,5,6。以第 8圖中之vertical 4,5,6為例，若有標誌在3x3 wind〇w之第一及第二 攔中，且有背景在第二攔中，則有邊緣在ver^cal Ί6間，而其之 間的像素差值對目標及參考圖框兩者皆大。而因第一及第二欄為標 达像素，其之間的像素差值對目標及參考圖框兩者皆小。亦即利用 以下的方式來決定是否有邊緣在(Vertical)4,5，0 : edgeV @ 4,5,6 = abs(rdiffhl) < logo_PixSmallDiff && abs(rdiffh2) < logoPixSmallDiff && abs(rdiffh3) < l〇g0jPixSmallDiff && abs(tdiffhl) < l〇g〇 PixSmallDiff && 201230816 abs(tdiffh2) < logo_PixSmallDiff && abs(tdiffh3) < logo_PixSmallDiff && rdiffh4 > logo_PixBigDiff && rdiffh5 > logo_PixBigDiff && rdiffh6 > logo_PixBigDiff && tdiffh4 > logo_PixBigDiff && tdiffh5 > logo_PixBigDiff && tdiffh6 > logo PixBigDiff 其中logo_PixSmallDiff及logoJPixBigDiff為適應性之臨界值。 以相同的方法，本發明檢查是否有邊緣在vertical 1，2,3, horizontal 1，2,3及horizontal 4,5,6。然後決定在8x8區塊中之邊緣像素 pixel)。若為邊緣像素’其edgeH或edgeV需不為零，而像素值需 大於臨界值。 接下來亦可檢查當在標誌後的影像在正交方向具有總體區域移動向 量其是否有邊緣(ei/geJQ存在。當發現時，此為該邊緣屬於一標誌之 強烈的指標。 然後計數有多少及在8x8區塊中。及 6办6义越夕’本此區塊為標誌、區域之一部分的機會越大。然後可以 由 edge pixel、edgeX、Num 一still、num_not一 still、SAD、反色標 及參考圖框兩者中之鄰近區塊2MV來決定其是否為標誌。 32 201230816 接下來’睛參考第34圖’其顯示根據本發明之一實施例之圖框速率 轉換方法之錄圖。拉意，假設大體上可獲得相同結果，第％ 圖所示之流賴中的步驟不—定遵照此排序來連續執行，亦即，其 他的步驟亦簡人其巾。财法包含有町轉： 、 步驟502 :接收至少二輸入圖框。 步驟5G4 .根據該至少二輸入圖框來產生複數個移動向量。 步驟506:根據該複數個移動向量來產生—包含區域移動向量 及時間移動向量之候選者清單。 >驟508.根據5錄選者清單來產生—優選候選者。 步驟5H):根據該優選候選者產生至少一輸出圖插。 根據本發明之另一實施例，步驟506包含： 步驟512:產生包含局部區域移動向量之該候選者清單。 步驟514:產生包含MvFlow候選者之該候選者清單。 根據本發明之另一實施例，步驟508包含： 步驟516:自該候選者料選擇-具有最小_之移動向 為該優選候選者。 ° $ 根據本發明之另一實施例，步驟508包含： 量來選擇 步驟518:根據一移動向量之時間及空間鄰近的移動向 33 201230816 該移動向量作為該優選候選者。 根據本發明之另—實施例，步驟5G8包含： 步驟520:自該候選者清單選擇一 1古具， 疋擇具有最小SAD、空間偏差、以 及時間偏差之總和的移動向量作為該優選候選者。 根據本發明之另—實施例，步驟5G8包含： 步驟522.糊一雙向搜尋方式自該候選者清單選擇該優選候選 者。 根據本發明之另—實_，該_速輪換方法更包含： ’驟524.執行—後移動估算(ME)侧以修正該優選移動向量， 其中該後ME偵測包含一 MV跳躍修正、一包覆偵 測、以及一離群值濾波之至少其中之一。 根據本發明之另-實關，棚框速轉換方法更包含： 步驟526:根據一區塊是否在該至少二輸入圖框間移動、該區塊 是否靜止、以及該區塊之邊緣資訊來偵測一標誌區塊。 根據本發明之另一實施例，該圖框速率轉換方法更包含： 步驟528:執行一圖框可靠度偵測來決定該優選候選者之一權重 以產生該至少一輸出圖框。 34 201230816 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍 所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。 【圖式簡單說明】 '第1圖例示MEMC。 •第2圖顯示根據本發明之一實施例的圖框速率轉換裝置。 第3圖顯示根據本發明之一實施例的圖框特徵萃取模組。 第4圖顯示根據本發明之一實施例的me模組。 第5圖顯示根據本發明之一實施例的控制模組。 第6圖顯示根據本發明之一實施例的mc模組。 第7圖顯示一個標誌的例子。 第8圖顯示垂直及水平相鄰像素的差異。 第9圖顯示一個填充標誌、的空洞的例子。 第W圖顯示一個孤立的標認的例子。 第U圖例示標誌區域的擴張。 第12圖例示Mvflow候選者。 苐U圖顯示Mvflow候選者的例子。 第W圖顯示根據本發明之一實施例的Mvflow流程圖。 第15圖例示GRMV以及LRMV。 第16圖顯示用以尋找空間偏差的相鄰標的。 卓17圖顯不空間偏差的查表圖。 第18圖例示時間偏差。 第19圖顯示時間偏差的例子。 35 201230816 第20圖例示前向及後向搜尋。 第21圖顯示在平移視訊的雙向搜尋。 第22圖顯示雙影像假影的例子。 第23圖顯示假影的示例。 第24圖顯示MV差異的比較。 第25圖顯示包覆以及非包覆的雙向搜尋。 第26圖顯示根據本發明之一實施例的MC流程圖。 第27圖顯示由先前(參考）以及目前（目標)圖框之。 第28圖顯示像素層級之混合因子。 第29圖顯示考慮區塊層級混合因子之2x2區塊。 第30圖顯示區塊層級混合因子之映射函數。 第31圖顯示由區塊層級混合因子内插之像素層級混合因子的例子 第32圖顯示包覆/非包覆區域之MC。 第33圖顯示顯示根據本發明之一實施例的濾波器。 第34圖示顯示根據本發明之一實施例之圖框迷率轉換方法的流程 圖。 【主要元件符號說明】 100 圖框速率轉換裴置 110 圖框特徵萃取模組 120 移動估算模組 130 控制模組 140 移動補償模組 36