TWI865181B

TWI865181B - 影像處理裝置及方法

Info

Publication number: TWI865181B
Application number: TW112144355A
Authority: TW
Inventors: 喻仲平
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2023-11-16
Filing date: 2023-11-16
Publication date: 2024-12-01
Also published as: TW202522396A; US20250166207A1

Abstract

一種影像處理裝置用以執行以下運作：以至少一第一標記標記一縮小後當下影像中具有一週期性特徵的至少一第一週期圖像區塊；基於該至少一第一標記對該縮小後當下影像以及一縮小後參考影像進行一第一次運動估測以產生複數個第一運動向量；以至少一第n標記標記一當下影像中具有另一週期性特徵的至少一第n週期圖像區塊；基於該至少一第n標記對該當下影像以及一參考影像進行一第n次運動估測以產生複數個第n運動向量；基於該些第n運動向量進行一運動補償以產生一補幀影像。

Description

影像處理裝置及方法

本揭露有關於一種影像處理裝置及方法，特別是有關於一種運動估測(motion estimation，ME)及運動補償(motion compensation，MC)的影像處理裝置及方法。

在影像處理的領域中，進行圖框速率轉換(frame rate conversion，FRC)時，可透過運動估測計算出運動向量(motion vector)，經過處理後再交由運動補償來產生兩張原始影像之間的內插影像，以使得影像更為平順。

然而，在執行運動估測時，若影像中如果有重複性的圖像出現，例如：百葉窗、條紋襯衫、辦公大樓的窗戶、碼頭的貨櫃等，將造成運動估測誤判而產生週期性破碎(periodic broken)或重複性破碎(repeat broken)的現象，進而計算出錯誤的運動向量。當此現象發生時，影像中會出現不自然的破碎圖像導致觀影體驗降低。進一步地，在偵測影像中是否出現重複性圖像時，若須偵測各種尺寸、範圍的週期性圖像，將增加運算負擔。

有鑑於此，執行運動估測時如何偵測影像中重複性圖像出現的位置並加以修正運動估測的結果，同時兼顧各種尺寸、範圍的週期性圖像以及運算效率，乃業界亟需努力之目標。

為了解決上述問題，本揭露提出一種影像處理裝置，包含一儲存器以及一處理器。該儲存器用以儲存一當下影像以及一參考影像。該處理器耦接該儲存器，用以執行以下運作：縮小該當下影像以及該參考影像以分別產生一縮小後當下影像以及一縮小後參考影像；將該縮小後當下影像中的複數個第一區塊的至少一者，以至少一第一標記分別標記為至少一第一週期圖像區塊，其中該至少一第一週期圖像區塊具有一第一週期性特徵；基於該至少一第一標記對該縮小後當下影像以及該縮小後參考影像進行一第一次運動估測以產生複數個第一運動向量；將該當下影像中的複數個第n區塊的至少一者，以至少一第n標記分別標記為至少一第n週期圖像區塊，其中該至少一第n週期圖像區塊具有一第n週期性特徵；基於該些第一運動向量以及該至少一第n標記對該當下影像以及該參考影像進行一第n次運動估測以產生複數個第n運動向量；以及基於該些第n運動向量對該當下影像以及該參考影像進行一運動補償以產生該當下影像及該參考影像之間的一補幀影像。

本揭露還提出一種影像處理方法，適用於一電子裝置，其步驟包含：縮小一當下影像以及一參考影像以分別產生一縮小後當下影像以及一縮小後參考影像；將該縮小後當下影像中的複數個第一區塊的至少一者，以至少一第一標記分別標記為至少一第一週期圖像區塊，其中該至少一第一週期圖像區塊具有一第一週期性特徵；基於該至少一第一標記對該縮小後當下影像以及該縮小後參考影像進行一第一次運動估測以產生複數個第一運動向量；將該當下影像中的複數個第n區塊的至少一者，以至少一第n標記分別標記為至少一第n週期圖像區塊，其中該至少一第n週期圖像區塊具有一第n週期性特徵；基於該些第一運動向量以及該至少一第n標記對該當下影像以及該參考影像進行一第n次運動估測以產生複數個第n運動向量；以及基於該些第n運動向量對該當下影像以及該參考影像進行一運動補償以產生該當下影像及該參考影像之間的一補幀影像。

應該理解的是，前述的一般性描述和下列具體說明僅僅是示例性和解釋性的，並旨在提供所要求的本揭露的進一步說明。

Fk-1,FC1~FC4,Fk:影像

1:影像處理裝置

12:處理器

14:儲存器

200:影像處理方法

S21~S26:步驟

Ff1~Ffn:影像

F1~Fn:影像

MEP:運動估測運作

MV1~MVn:運動向量

1ME~nME:運動估測

S221~S224:步驟

P,P1,P2,P3:圖形

MN:平均值

S225,S226:步驟

S231~S234:步驟

S251~S254:步驟

S2531~S2534:步驟

為讓本揭露之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖為運動估測及運動補償運作於兩張影像之間產生補償影像的示意圖；第2圖為本揭露部分實施例中影像處理裝置的示意圖；第3圖為本揭露部分實施例中影像處理方法的流程圖；第4圖為本揭露部分實施例中運動估測運作的示意圖；第5圖為本揭露部分實施例中將影像縮小的示意圖；第6圖為本揭露部分實施例中標記週期圖像區塊運作的流程圖；第7圖為本揭露部分實施例中平移並比對影像中像素的示意圖；第8圖為本揭露部分實施例中另一標記週期圖像區塊運作的流程圖；第9圖為本揭露部分實施例中運動估測中掃描運作的流程圖；第10圖為本揭露部分實施例中運動估測中另一掃描運作的流程圖；以及第11圖為本揭露部分實施例中自候選向量選擇運動向量運作的流程圖。

為了使本揭露之敘述更加詳盡與完備，可參照所附之圖式及以下所述各種實施例，圖式中相同之號碼代表相同或相似之元件。

運動估測及運動補償用以在兩張影像之間產生補償用的影像以提升幀率。舉例來說，請參考第1圖，影像 Fk-1和影像Fk為影片中相鄰的兩幀影像，運動估測及運動補償用以在影像Fk-1和影像Fk之間產生補幀影像FC1~FC4。執行運動估測時，可以將影像Fk-1和影像Fk切割為i乘j個區塊(block)，並利用三維遞迴搜尋(3D recursive search)找出每個區塊的最佳運動向量(best motion vector)。

更詳細地說，三維遞迴搜尋包含多次的掃描(scan)運作。每次掃描運作會針對整張影像的每一個區塊，根據該區塊的初始向量與各種影像變化的特性，在搜尋視窗(search window)的範圍內產生各種運動向量的候選者(candidate)，例如：零(zero)、空間(spatial)、時間(temporal)、隨機(random)、全域(global)等候選向量，並從中計算出匹配度最高者作為此區塊的運動向量。接著，當再次執行掃描運作時，掃描運作會將前次掃描所取得的每個區塊的運動向量再加上一個隨機向量作為該區塊的初始向量。藉此，經由多次的掃描得以收斂出每個區塊的最佳運動向量(例如後述的運動向量MV1~MVn)。

之後，運動補償基於影像Fk-1、影像Fk和每個區塊的最佳運動向量產生影像Fk-1和影像Fk之間的補幀影像FC1~FC4。例如，若最佳運動向量大致為由左下至右上的向量，則根據位於影像Fk-1中左下角的圓形和位於影像Fk中右上角的圓形，補幀影像FC1~FC4中的多個圓形會依序由左下至右上排列。換言之，透過運動估測以及運動補償的運作，可以基於影像Fk-1及影像Fk產生補幀影像FC1~FC4。

為了避免運動估測時因為影像中重複性的圖像導致補償影像產生破碎，在執行運動估測及運動補償前可以先判斷影像中是否存在具有週期性圖像的區塊。舉例來說，首先利用一處理器計算影像Fk-1中多個相鄰像素之間的多個灰階差值以確認像素值的變化並找出像素值的多個峰像素和多個谷像素。在一些實施例中，峰像素指的是連續排列的多個像素中，位於灰階值由逐漸升高轉為逐漸降低的轉折處的畫素。在一些實施例中，谷像素指的是連續排列的多個像素中，位於灰階值由逐漸降低轉為逐漸升高的轉折處的畫素。接著，該處理器計算該些峰像素之間的多個峰間距離以及該些谷像素之間的多個谷間距離，並且統計該些峰間距離及該些谷間距離之間是否具有週期性(例如：該些峰間距離彼此相似並且該些谷間距離彼此相似)。最後，該處理器標記影像Fk-1中該些峰間距離及該些谷間距離之間具有週期性的區塊。

為了進一步偵測影像中是否具有週期性圖像，並且針對影像執行運動估測及運動補償，本揭露提出一種影像處理裝置，請參照第2圖，其為本揭露第一實施方式中影像處理裝置1的示意圖。如第2圖所示，影像處理裝置1包含處理器12以及儲存器14，其中處理器12耦接儲存器14。

在一些實施例中，處理器12可包含中央處理單元 (central processing unit，CPU)、圖形處理器(graphics processing unit)、多重處理器、分散式處理系統、特殊應用積體電路(application specific integrated circuit，ASIC)和/或合適的運算單元。

儲存器14用以儲存當下影像Fn及參考影像Ffn。在一些實施例中，儲存器14可包含半導體或固態記憶體、磁帶、可移式電腦磁片、隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、硬磁碟和/或光碟。

請進一步參考第3圖，其為本揭露一實施方式中影像處理方法200的流程圖，其中影像處理方法200包含步驟S21至S26。影像處理裝置1用以執行影像處理方法200以執行運動估測以及運動補償，其中影像處理裝置1產生運動向量前，將先偵測影像中是否有週期性圖像出現以及週期性圖像出現的位置。

在步驟S21中，影像處理裝置1的處理器12縮小當下影像Fn以及參考影像Ffn，以分別產生不同解析度的多個縮小後當下影像F1~Fn-1以及不同解析度的多個縮小後參考影像Ff1~Ffn-1。

具體而言，請參考第4及5圖，第4圖為本揭露一實施方式中運動估測運作MEP的示意圖，第5圖為本揭露一實施方式中將影像縮小的示意圖。影像Fn-1和影像Ffn-1分別為當下影像Fn和參考影像Ffn經過一次縮小尺寸後的影像。依此類推，影像F1和影像Ff1分別為經過n-1次縮小尺寸後的影像。舉例來說，縮小尺寸的倍率可為1/2倍或1/4倍，但本案不以此為限。在一實施例中，當下影像Fn為第1圖的影像Fk-1，參考影像Ffn為第1圖的影像Fk，亦即參考影像Ffn和當下影像Fn可為連續影像(例如：影片)中相鄰的兩幀影像，但本案不以此為限。

在步驟S22中，影像處理裝置1的處理器12會將縮小後當下影像F1的複數個第一區塊的至少一者，以至少一第一標記標記為至少一第一週期圖像區塊，其中該至少一第一週期圖像區塊具有一第一週期性特徵。

具體而言，處理器12在執行第一運動估測1ME前，會先在影像F1中標記具有週期性圖像(例如：百葉窗、條紋襯衫、辦公大樓的窗戶、碼頭的貨櫃等出現重複圖騰的影像)的區塊(即，第一週期圖像區塊)，其中第一標記表示影像F1中具有週期性圖像的區塊。

在一些實施例中，步驟S22還包含步驟S221至S224。處理器12可以透過步驟S221至S224標記第一週期圖像區塊。為方便說明，步驟S221至S224的流程圖請參考第6圖。第7圖為依據本揭示文件一實施例的多個圖形的灰階示意圖。以下將配合第7圖說明第6圖的步驟S221至S224。在步驟S221中，處理器12比對影像F1中的圖形P以及複數個平移後圖形P1、P2和P3以計算複數個灰階差值。詳細而言，圖形P由影像F1中連續排列的多個像素所形成。處理器12將圖形P沿著同一方向移動不同的複數個平移量，以得到複數個平移後圖形P1、P2和P3。在一些實施例中，平移後圖形P1、P2和P3對應的平移量分別是M個像素、2M個像素以及3M個像素，其中M為正整數。處理器12分別計算圖形P和圖形P1、P2和P3每一者之間重疊部分的像素的灰階差值。

舉例來說，在M為1的情況下，圖形P和平移後圖形P1之間的灰階差值的計算方式為：(1)計算圖形P第2個像素的灰階減去平移後圖形P1第1個像素的灰階的絕對值，且計算圖形P第3個像素的灰階減去平移後圖形P1第2個像素的灰階的絕對值，依此類推；以及(2)將前述多個絕對值加總並平均以獲得圖形P和平移後圖形P1之間的灰階差值。圖形P與平移後圖形P2和P3之間的灰階差值的計算方式與上述相似，為簡潔起見，在此不重複贅述。如此一來，圖形P和平移後圖形P1、P2及P3每一者之間的灰階差值，可以反映圖形P與平移後圖形P1、P2及P3每一者的相似程度。

接著在步驟S222中，處理器12選擇平移後圖形P1、P2及P3所對應的灰階差值中的一最小灰階差值(例如：圖形P和平移後圖形P3之間的灰階差值)，並判斷最小灰階差值是否小於一閾值。若最小灰階差值不小於該閾值，則處理器12判斷圖形P和平移後圖形之間的相似度過低並執行步驟S223，以忽略將圖形P所在的區塊標記為第一週期圖像區塊。反之，若最小灰階差值小於該閾值，處理器12判斷圖形P和平移後圖形之間具有一定的相似度且具有週期性特徵，故處理器12可以執行步驟S224以將圖形P所在的區塊標記為第一週期圖像區塊，其中最小灰階差值對應的平移量為圖形P的圖形變化週期。換言之，假設圖形P和平移後圖形P3之間具有最小灰階差值，則表示圖形P的灰階變化以每3M個像素為一週期性。

進一步地，在一些實施例中，步驟S22還包含步驟S225及S226。請參考第8圖所繪示的流程圖，在第8圖的實施例中，處理器12除了可以執行前述的步驟S221至S224，還可執行步驟S225及S226以進一步確認圖形P的週期性特徵。第8圖中的步驟S221至S224相似於第6圖中的對應步驟，為簡潔起見，在此不重複贅述。

如第8圖所示，在步驟S225中，處理器12計算圖形P中每個像素對應於圖形P的平均灰階值的交錯頻率，請一併參考第7圖，由第7圖可知，代表圖形P灰階的曲線和代表其平均灰階值MN的直線之間交錯次數為10，而由於每1次圖形P的週期性圖像變化皆會使上述曲線和直線交錯2次，因此處理器12可以計算出圖形P的交錯頻率為5，即表示圖形P中出現了5次週期性變化。

在一實施例中，處理器12計算交錯次數的流程為：(1)將圖形P中大於平均值的像素值以1表示，並將圖形P中小於平均值的像素值以-1表示；(2)對每兩個相鄰的像素進行互斥或(XOR)運算；以及(3)加總所有互斥和運算的結果以得到交錯次數。

為方便說明，以下的敘述將最小灰階差值對應的平移量稱為「最相似平移量」。例如，在M為1的實施例中，由於圖形P與平移後圖形P3之間具有最小灰階差值，故「最相似平移量」即為平移量為3。接下來，在步驟S226中，處理器12可以將交錯頻率和最相似平移量相乘的乘積，減去圖形P的總像素數量以計算差值，並且將差值和一第二閾值比較。若差值高於或等於第二閾值，則處理器12會執行步驟S223。若差值低於第二閾值，表示透過步驟S221計算出圖形P的圖形變化週期(即最相似平移量)和步驟S225計算出的交錯頻率彼此相符，則處理器12會執行步驟S224。

舉例來說，在M為1的實施例中，前述最小灰階差值對應圖形P3的平移量為3(即，最相似平移量)且步驟S225中計算出的交錯頻率為5。假設圖形P中包含16個像素且第二閾值為3，則處理器12可以計算出最相似平移量和交錯頻率的乘積(即，15)和像素數量相減後的絕對值為1，並且將計算出相減後的絕對值作為差值，而由於差值小於第二閾值，則處理器12可以執行步驟S224，將圖形P所位於的區塊標記為第一週期圖像區塊。相對地，若處理器12透過前述運作計算出的差值不小於第二閾值，則處理器12執行步驟S223，忽略將圖形P所位於的區塊標記為第一週期圖像區塊。

綜上所述，在第8圖的實施例中，處理器12可以透過額外的步驟S225和S226提升判斷圖形P是否具有週期性特徵的準確度。需要注意的是，第8圖所繪示有關步驟S221、S222、S225及S226的順序是其中一種實施態樣，而本揭露技術不以此為限，實際上處理器12可以按照其他順序執行該些步驟，例如處理器12可以同時執行步驟S221及S225，並同時執行步驟S222及S226，再根據步驟S222及S226的結果選擇執行步驟S223或S224。

需要說明的是，在上述多個實施例中，雖然圖形P被向右平移以產生平移後圖形P1、P2和P3，但圖形P的平移方向與平移後圖形的數量不以上述為限。在其他實施例中，影像處理裝置1還可以不同方向平移圖形P後進行相似的比對運作，以偵測不同方向分布的週期性圖像，為了說明簡潔則不再贅述。

請回到第3圖，在步驟S23中，影像處理裝置1的處理器12基於該至少一第一標記對影像F1以及影像Ff1進行第一運動估測1ME以產生運動向量MV1。

具體而言，處理器12執行第一運動估測1ME並產生運動向量MV1時，會針對影像F1中具有第一標記的區塊(即，第一週期圖像區塊)調整對應該些區塊的運動向量MV1以避免後續產生的補償影像出現破碎的情形。

在一些實施例中，請參考第9圖，步驟S23中的第一運動估測1ME中的多個掃描運作進一步包含步驟S231至S234，而處理器12可以透過執行步驟S231至S234調整對應第一週期圖像區塊的搜尋視窗。

在步驟S231中，處理器12產生對應影像F1中該些第一區塊各者的一搜尋視窗。在步驟S232中，處理器12基於步驟S22中標記的第一週期圖像區塊各者中週期性特徵的一延伸方向(例如，第7圖的圖形P向右延伸)及最相似平移量調整對應的搜尋視窗。在步驟S233中，處理器12於搜尋視窗內產生複數個候選向量。在步驟S234中，處理器12自該些候選向量選擇第一週期圖像區塊對應的第一運動向量MV1。

具體而言，若處理器12執行第一運動估測1ME的掃描運作時，在週期性特徵的延伸方向上產生第一週期圖像區塊的搜尋視窗，則搜尋視窗可能重疊於第一週期圖像區塊的週期性圖像，進而可能使第一運動估測1ME產生錯誤的運動向量，並最終導致影像破碎。故處理器12在步驟S232可以避免在各第一週期圖像區塊的週期性特徵的延伸方向上產生搜尋視窗。又，處理器12在步驟S232還可以避免將搜尋視窗的大小設置為最相似平移量(即週期性特徵的圖形變化週期)的倍數。在一些實施例中，步驟S232可以省略。

接下來，如第4圖所示，在完成第一運動估測1ME後(亦即，完成步驟S23後)。處理器12可以接續對其他尺寸的影像F2~Fn的每一者，先標記具有週期性特徵的區塊，接著執行運動估測。由於處理器12對影像F2~Fn的每一者執行相似的運作，為簡潔起見，本揭露僅使用步驟S24及S25說明處理器12對影像Fn執行的運作。

請回到第3圖，在步驟S24中，影像處理裝置1 的處理器12透過相似於步驟S22的運作，將影像FN中的複數個第n區塊的至少一者，以至少一第n標記標記為至少一第n週期圖像區塊，其中該至少一第n週期圖像區塊具有一第n週期性特徵，其中n可以是不小於2的正整數。

需要注意的是，針對不同尺寸(解析度)的影像F2~Fn，在判斷影像中各個區塊是否具有週期性特徵時，用於比對的圖形P可以由相同數量的像素形成。

由於尺寸較小的影像(例如：影像F1、F2)解析度較低，其圖形P可用於辨識出影像Fn中分布範圍較廣的週期性特徵。相對地，由於尺寸較大的影像(例如：影像Fn-1、Fn)解析度較高，其圖形P可用於辨識出影像Fn中分布範圍較窄的週期性特徵。如此一來，透過階層式的標記運作，處理器12則可以產生對應不同分布範圍的週期性特徵的第一至第n標記。

在一些實施例中，每一次產生標記時，處理器12會合併先前產生的標記以保留先前運動估測中判斷出具有週期性圖像的區塊。「合併」可以理解為邏輯或(OR)運算。換言之，處理器12產生一或多個第二標記後，會再將第二標記分別與對應的一或多個第一標記進行邏輯或運算以更新第二標記；處理器12產生一或多個第n標記後，會將第n標記分別與對應的一或多個第n-1標記進行邏輯或運算，以更新第n標記，依此類推。

進一步地，在步驟S25中，影像處理裝置1的處理器12基於複數個運動向量MVn-1以及該至少一第n標記對影像Fn以及影像Ffn進行第n運動估測nME以產生複數個運動向量MVn，其中n可以是不小於2的正整數。

和步驟S23相似地，步驟S25中處理器可以透過相同的運作產生運動向量MVn。步驟S25中針對第n週期圖像區塊調整對應的搜尋視窗之搜尋運作請參考第10圖，步驟S25可以包含步驟S251~S254，其中步驟S251對應步驟S231，步驟S252對應步驟S232，步驟S253對應步驟S233，步驟S254對應步驟S234。在一些實施例中，和步驟S232相同地，步驟S252可以省略。

然而和步驟S23不同的是，處理器12執行第二至第n運動估測2ME~nME時會參考先前產生的運動向量，例如將前一次運動估測中所產生對應同一區塊的運動向量作為本次運動估測中的初始向量以加速掃描運動向量時的收斂速度。

在一些實施例中，處理器12自候選向量中選擇對應週期圖像區塊的運動向量時，還可以參考先前運動估測中產生的運動向量。請參考第11圖，其為步驟S253所包含的步驟S2531~S2534。

在步驟S2531中，響應於該些候選向量對應該至少一第n週期圖像區塊其中一者，處理器12計算該至少一第n週期圖像區塊其中該者對應的複數個參考運動向量其中之一和該些候選向量各者之間的一差值。

在步驟S2532中，處理器12基於對應該些候選向量各者的該差值計算該些候選向量各者的一懲罰值，其中該差值和該懲罰值呈正相關。

在步驟S2533中，處理器12基於該些候選向量各者的該懲罰值降低該些候選向量各者的一權重。

在步驟S2534中，處理器12基於該些候選向量各者的該權重自該些候選向量選擇該些第n運動向量MVn其中之一。

具體而言，當處理器12選擇對應第n週期圖像區塊的運動向量時，會先執行步驟S2531以計算候選向量和參考運動向量之間的差值(例如：兩者向量相減後的絕對值)。

在一些實施例中，參考運動向量為先前運動估測(例如：第n-1次運動估測)中對應同一區塊的運動向量。如此則可以參考前一次運動估測的結果以選擇本次運動估測所產生的運動向量。

在一些實施例中，參考運動向量為先前運動估測(例如：第n-1次運動估測)中對應同一區塊的區域運動向量(regional motion vector)。區域運動向量可以是該區塊和位置相近的其他週期圖像區塊所對應的運動向量加總後平均計算得出。如此則可以參考前一次運動估測中相鄰區塊中具有週期性特徵的區塊所對應的運動向量以選擇本次運動估測所產生的運動向量。

接下來，當候選向量對應的差值越大，代表候選向量和前次運動估測的結果差異越大，則處理器12執行步驟S2532時將給予越高的懲罰值；反之，當候選向量對應的差值越小，代表候選向量和前次運動估測的結果差異越小，則處理器12執行步驟S2532時將給予越小的懲罰值。

接著，處理器12執行步驟S2533，基於懲罰值調整候選向量的權重，懲罰值越高則權重降低的幅度越大，反之，懲罰值越低則權重降低的幅度越小。

最後，處理器12執行S2534，基於調整後的權重自候選向量選擇第n運動向量MVn。

如此一來，處理器12可以根據候選向量和前次運動估測產生的運動向量之間的差異，調整候選向量的權重。如此一來，可以同時引入前次運動估測結果作為判斷因素，另一方面若出現某個候選向量具有相對其他候選向量極高的權重，即便和前次運動估測產生的運動向量具有一定的差異，仍有機會獲選為運動向量，而不會直接被剔除。

在一些實施例中，處理器12自候選向量中選擇對應週期圖像區塊的運動向量時，還可以直接剔除部分候選向量並在剩餘的其他候選向量中選擇運動向量。

舉例來說，空間候選向量為參考鄰近區塊的運動向量後產生的候選向量，而當區塊被標記為週期圖像區塊時，鄰近區塊運動向量的參考性較低，因此處理器12可以剔除候選向量中的空間候選向量。

在另一個例子中，時間候選向量為參考前一個時間幀的運動向量後產生的候選向量，而當區塊被標記為週期圖像區塊時，前一個時間幀運動向量的參考性較低，因此處理器12可以剔除候選向量中的時間候選向量。

在又一個例子中，隨機候選向量為隨機產生的候選向量，而當區塊被標記為週期圖像區塊時，使用隨機候選向量作為運動向量而產生破碎影像的風險較高，因此處理器12可以剔除候選向量中的隨機候選向量。

最後，在步驟S26中，影像處理裝置1的處理器12基於第n運動估測所產生的運動向量MVn對影像Fn以及影像Ffn進行一運動補償以產生影像Fn以及影像Ffn之間的一補幀影像。

綜上所述，本揭露提供的影像處理裝置1可以基於較小尺寸影像的運動估測結果提供較大尺寸影像的運動估測作為參考，其中在運動估測運作產生運動向量前，影像處理裝置1還可以偵測影像中是否具有週期性圖像，進而調整運動估測的輸出。此外，透過針對不同尺寸影像的偵測運作，影像處理裝置1可以偵測不同範圍比例的週期性圖像。在偵測週期性圖像時，影像處理裝置1可以基於平移比對和計算像素變化頻率兩種面向確認是否符合週期性特徵。在產生候選向量時，影像處理裝置1可以參考週期性特徵調整搜尋視窗以避免搜尋至錯誤的區塊。在選擇運動向量時，影像處理裝置1可以針對具有週期性圖像的區塊調整候選向量的權重以引入前次運動估測的因素。如此一來，影像處理裝置1可以在執行運動估測時偵測影像中重複性圖像出現的位置並加以修正運動估測的結果，同時兼顧各種尺寸、範圍的週期性圖像以及運算效率。

雖以數個實施例詳述如上作為示例，然本揭露所提出之影像處理裝置及方法亦得以其他系統、硬體、軟體、儲存媒體或其組合實現。因此，本揭露之保護範圍不應受限於本揭露實施例所描述之特定實現方式，當視後附之申請專利範圍所界定者為準。

對於本揭露所屬技術領域中具有通常知識者顯而易見的是，在不脫離本揭露的範圍或精神的情況下，可以對本揭露的結構進行各種修改和變化。鑑於前述，本揭露之保護範圍亦涵蓋在後附之申請專利範圍內進行之修改和變化。

200:影像處理方法

S21~S26:步驟

Claims

一種影像處理裝置，包含：一儲存器，用以儲存一當下影像以及一參考影像；以及一處理器，耦接該儲存器，用以執行以下運作：縮小該當下影像以及該參考影像以分別產生一縮小後當下影像以及一縮小後參考影像；將該縮小後當下影像中的複數個第一區塊的至少一者，以至少一第一標記分別標記為至少一第一週期圖像區塊，其中該至少一第一週期圖像區塊具有一第一週期性特徵；基於該至少一第一標記對該縮小後當下影像以及該縮小後參考影像進行一第一次運動估測以產生複數個第一運動向量；將該當下影像中的複數個第n區塊的至少一者，以至少一第n標記分別標記為至少一第n週期圖像區塊，其中該至少一第n週期圖像區塊具有一第n週期性特徵；基於該些第一運動向量以及該至少一第n標記對該當下影像以及該參考影像進行一第n次運動估測以產生複數個第n運動向量；以及基於該些第n運動向量對該當下影像以及該參考影像進行一運動補償以產生該當下影像及該參考影像之間的一補幀影像。
如請求項1所述之影像處理裝置，其中標記該至少一第一週期圖像區塊的運作進一步包含：比對該縮小後當下影像中的複數個像素以及複數個平移後像素以計算複數個差值，其中該些平移後像素為該些像素基於不同的複數個平移量平移後的結果，並且該些差值各者對應該些平移量其中之一；以及基於該些差值其中一最小差值以及一閾值，判斷是否標記該些像素為該至少一第一週期圖像區塊。
如請求項2所述之影像處理裝置，其中標記該至少一第一週期圖像區塊的運作進一步包含：計算該些像素對應於該些像素的一平均值的一交錯頻率；以及基於該些差值其中該最小差值、該閾值、該交錯頻率以及該最小差值對應的一最相似平移量，判斷是否標記該些像素為該至少一第一週期圖像區塊。
如請求項2所述之影像處理裝置，其中該第一次運動估測包含複數個掃描運作，並且該些掃描運作進一步包含：產生對應該縮小後當下影像中該些第一區塊各者的一搜尋視窗；基於該至少一第一週期圖像區塊各者的一平移方向及該最小差值對應的一最相似平移量調整對應的該搜尋視窗；於該搜尋視窗內產生複數個候選向量；以及自該些候選向量選擇該至少一第一週期圖像區塊各者對應的該些第一運動向量。
如請求項1所述之影像處理裝置，其中該第n次運動估測包含複數個掃描運作，並且該些掃描運作進一步包含：產生對應該當下影像中該些第n區塊各者的一搜尋視窗；於該搜尋視窗內產生複數個候選向量；以及自該些候選向量選擇該至少一第n週期圖像區塊各者對應的該些第n運動向量。
如請求項5所述之影像處理裝置，其中選擇該些第n運動向量其中之一的運作進一步包含：響應於該些候選向量對應該至少一第n週期圖像區塊其中一者，計算該至少一第n週期圖像區塊其中該者對應的一參考運動向量其中之一和該些候選向量各者之間的一差值；基於對應該些候選向量各者的該差值計算該些候選向量各者的一懲罰值，其中該差值和該懲罰值呈正相關；基於該些候選向量各者的該懲罰值降低該些候選向量各者的一權重；以及基於該些候選向量各者的該權重自該些候選向量選擇該些第n運動向量其中之一。
如請求項6所述之影像處理裝置，其中該參考運動向量為該至少一第n週期圖像區塊其中該者對應的複數個第n-1運動向量其中之一。
如請求項6所述之影像處理裝置，其中該參考運動向量為該至少一第n週期圖像區塊其中該者對應的一區域運動向量，其中該區域運動向量係基於該至少一第n週期圖像區塊其中該者的運動向量以及和該至少一第n週期圖像區塊其中該者位置相近的至少一週期圖像區塊的運動向量計算得出。
如請求項1所述之影像處理裝置，其中將該當下影像中的該些第n區塊的至少一者，以該至少一第n標記分別標記為該至少一第n週期圖像區塊包含：將該至少一第n標記分別與該至少一第一標記進行邏輯或運算，以更新該至少一第n標記。
一種影像處理方法，適用於一電子裝置，其步驟包含：縮小一當下影像以及一參考影像以分別產生一縮小後當下影像以及一縮小後參考影像；將該縮小後當下影像中的複數個第一區塊的至少一者，以至少一第一標記分別標記為至少一第一週期圖像區塊，其中該至少一第一週期圖像區塊具有一第一週期性特徵；基於該至少一第一標記對該縮小後當下影像以及該縮小後參考影像進行一第一次運動估測以產生複數個第一運動向量；將該當下影像中的複數個第n區塊的至少一者，以至少一第n標記分別標記為至少一第n週期圖像區塊，其中該至少一第n週期圖像區塊具有一第n週期性特徵；基於該些第一運動向量以及該至少一第n標記對該當下影像以及該參考影像進行一第n次運動估測以產生複數個第n運動向量；以及基於該些第n運動向量對該當下影像以及該參考影像進行一運動補償以產生該當下影像及該參考影像之間的一補幀影像。