TWI542201B

TWI542201B - 降低視訊畫面抖動的方法與裝置

Info

Publication number: TWI542201B
Application number: TW102148490A
Authority: TW
Inventors: 何修維; 蔣和毅
Original assignee: 智原科技股份有限公司
Priority date: 2013-12-26
Filing date: 2013-12-26
Publication date: 2016-07-11
Also published as: CN104754180B; TW201526616A; US9332185B2; CN104754180A; US20150189182A1

Description

降低視訊畫面抖動的方法與裝置

本發明是有關於一種處理視訊畫面(video frame)的方法與裝置，且特別是有關於一種降低視訊畫面抖動的方法與裝置。

數位相機、數位攝影機或行動電話之類的手持裝置所拍攝的視訊，因為人的手不穩定，其畫面難免會抖動；此外，車用的行車記錄器也會因車子行駛時穩定度不夠，造成拍攝的視訊畫面抖動；目前有兩種解決方案可解決視訊抖動的問題。

第一種解決方案是光學影像穩定技術(OIS：optical image stabilization)。就是用陀螺儀(gyroscope)之類的移動感應器(motion sensor)來偵測攝影裝置的移動，然後使用音圈馬達(VCM：voice coil motor)之類的制動器(actuator)來移動鏡片或影像感應器(image sensor)以補償攝影裝置的移動。

第二種解決方案是電子影像穩定技術(EIS：electronic image stabilization)。就是用軟體或硬體執行演算法(algorithm)來估計並補償攝影裝置的移動。由於省去了移動感應器和制動器，電子影像穩定技術的成本低於光學影像穩定技術。

本發明提供一種降低視訊畫面抖動的方法與裝置，以解決攝影裝置的視訊畫面抖動問題。

本發明的降低視訊畫面抖動的方法包括以下步驟：將一畫面分割為多個區塊(block)；根據每一上述區塊的一變異值(variance)選取至少一上述區塊；根據上述被選取區塊決定上述畫面在一方向的整體移動向量(global motion vector)；並根據整體移動向量在上述方向對上述畫面進行移動補償(motion compensation)。

本發明的降低視訊畫面抖動的裝置包括儲存裝置與處理器。儲存裝置儲存上述畫面。處理器耦接儲存裝置，執行上述的降低視訊畫面抖動的方法。

基於上述，本發明提出一種更有效率而且更實際的解決方案，可以使攝影裝置拍攝的視訊畫面更穩定。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧降低視訊畫面抖動的裝置

120‧‧‧儲存裝置

140‧‧‧處理器

210~250、320~343‧‧‧方法步驟

410~440‧‧‧畫面中的區塊或區域

510、610、620、630‧‧‧移動估計的搜尋位置

615、625、635‧‧‧移動估計的搜尋區域

810‧‧‧分布圖中的峰值

910~980‧‧‧方法步驟

1010、1020‧‧‧畫面位置

d、r‧‧‧預設參數

圖1是依照本發明的一實施例的一種降低視訊畫面抖動的裝置的示意圖。

圖2與圖3是依照本發明的一實施例的一種降低視訊畫面抖動的方法的流程圖。

圖4、圖5與圖6是依照本發明的一實施例的區塊移動估計的示意圖。

圖7與圖8是依照本發明的一實施例的整體移動向量的示意圖。

圖9是依照本發明的一實施例的一種降低視訊畫面抖動的方法的流程圖。

圖10是依照本發明的一實施例的視訊畫面的移動補償的示意圖。

圖1是依照本發明的一實施例的一種降低視訊畫面抖動的裝置100的示意圖。裝置100包括儲存裝置120與處理器140。處理器140耦接儲存裝置120。處理器140可執行圖2、圖3與圖9所示的方法以降低一個視訊中的畫面的抖動。此視訊可以是數位相機、數位攝影機或行動電話之類的手持裝置所拍攝的視訊，或是行車記錄器之類的攝影裝置所拍攝的視訊。儲存裝置120可儲存上述視訊以及上述方法所需的或所產生的各種數值與資料。

圖2是依照本發明的一實施例的一種降低視訊畫面抖動的方法的流程圖。處理器140對視訊中的每一畫面執行圖2所示的流程。以下將上述視訊中正在被圖2流程處理的畫面稱為目前畫面。為了降低計算與儲存的需求，圖2的降低視訊畫面抖動的方法可以只使用目前畫面的強度分量(intensity component，或稱為luminance component)，而不使用目前畫面的其餘分量。

以下說明圖2流程。首先，在步驟210縮小目前畫面，以降低計算與儲存的需求。每一個畫面都是多個畫素(pixel)組成的二維陣列(array)，上述的二維包括水平與垂直兩個方向。步驟210可在這兩個方向上使用相同比例或不同比例縮小目前畫面。若不需要降低計算與儲存的需求，則可省略步驟210。在步驟220，將目前畫面分割為互不重疊的多個區塊(block)。例如每一區塊可以是邊長為16個畫素的正方形。

在步驟230，使用下列的公式(1)計算每一個區塊的變異值(variance)。

公式(1)之中，σ _i是第i個區塊的變異值，m、n分別是該區塊的長度與寬度，y _p是該區塊的位置p的強度值，也就是上述的強度分量，是該區塊的強度分量的平均值。上述的位置，是指畫素在畫面中的位置。接下來，比較每一區塊的變異值和一個預設的門檻值，選取變異值大於或等於門檻值的每一個區塊。未被選取的區塊會被丟棄，不在後續的方法步驟中使用。步驟230的目的是去除位於目前畫面的平坦區(flat region)的區塊，因為平坦區在移動估計(motion estimation)中容易產生不可靠的移動向量(motion vector)。

接下來，在步驟240根據被選取的區塊決定目前畫面的整體移動向量(global motion vector)。在步驟250，根據整體移動向量對目前畫面進行移動補償(motion compensation)。

圖3是步驟240的詳細流程圖。步驟240可分為兩部分，也就是區塊移動估計(block motion estimation)320與整體移動估計(global motion estimation)340。區塊移動估計320包括步驟321~324，整體移動估計340包括步驟341~343。

區塊移動估計320是根據上述視訊中的目前畫面和前一畫面，對每一個被選取區塊進行移動估計，以取得每一個被選取區塊的移動向量。以下將正在進行區塊移動估計320的被選取區塊稱為目前區塊。由於視訊中的畫面是依照時間順序排列，所以上述的前一畫面的時間順序在目前畫面之前。

以下說明區塊移動估計320。首先，在步驟321，在前一畫面中的目前區塊周圍的一個大小為2r×2r畫素的區域中進行粗略搜尋(coarse search)，r是預設參數。例如圖4所示，若以目前區塊410的左上端點為原點，則上述區域420的左上端點座標為(-r,-r)，右下端點座標為(r-1,r-1)。步驟320的粗略搜尋僅在區域420中搜尋間距為d的多個位置，以找出上述多個位置之中的k個最佳匹配位置(best matched position)，d與k都是預設參數。圖 5以菱形繪示上述的多個搜尋位置，例如位置510，這些位置依照固定間距d呈棋盤狀排列。

在某一位置的搜尋意謂著比對目前畫面中的目前區塊與前一畫面中以該位置為左上端點的同等大小區塊。例如在位置(-r,-r)的搜尋就是比對目前畫面中的目前區塊410與前一畫面中的區塊430，而在位置(r-1,r-1)的搜尋就是比對目前畫面中的目前區塊410與前一畫面中的區塊440。上述兩區塊的比對可使用任何現有的演算法，例如絕對差值總和(SAD：sum of absolution difference)或區域二元圖案(LBP：local binary pattern)。

接下來是步驟322的詳細搜尋(fine search)。例如圖6所示，假設k=3，位置610、620和630是圖5的多個搜尋位置中的3個最佳匹配位置。步驟322的詳細搜尋就是搜尋區域615、625與635中的每一個位置(也就是每一個畫素的位置)，以找出區域615、625與635中的kd ²個位置之中的一個最佳匹配位置。區域615、625與635各自對應位置610、620和630，而且各自包括位置610、620和630。區域615、625與635都是邊長為d個畫素的正方形，所以每一個區域615、625或635各包括d ²個可搜尋的位置。

步驟321的粗略搜尋與步驟322的詳細搜尋可使用相同或不同的區塊比對演算法。例如步驟321的粗略搜尋可使用SAD以加快比對速度，而步驟322的詳細搜尋可使用LBP以提高比對的準確度。

接下來，在步驟323取得目前區塊的移動向量(u,v)，此移動向量就是從目前區塊左上端點指向步驟322的詳細搜尋最終所得的最佳匹配位置的向量。

接下來，在步驟324檢查是否目前畫面仍有未處理的被選取區塊。如果有，則流程返回步驟321，並以下一個未處理的被選取區塊做為目前區塊。如果沒有，則流程進入整體移動估計340。

整體移動估計340是在目前畫面的水平與垂直兩個方向分別進行，這兩個方向的整體移動估計340互不相關。若有特殊的應用環境是只有一個方向會發生視訊畫面的抖動，則可以只對該方向進行整體移動估計340。下面說明僅以水平與垂直其中一個方向為範例(以下稱為目前方向)，另一個方向可依此類推。

進入整體移動估計340之後，在步驟341產生上述的被選取區塊的移動向量在目前方向的分布圖(histogram)。此分布圖有2r個槽位(bin)。由圖4的區域420可知，所有被選取區塊的移動向量在目前方向的分量的數值範圍是從-r到r-1，總共2r個不同數值。此分布圖中的每一個槽位就是對應其中一個數值，用來累計對應數值的出現次數。步驟341檢查每一個被選取區塊的移動向量。若第i個區塊的移動向量(u _i,v _i)的目前方向的分量為u _i，則將數值u _i所對應的該槽位的累計值加一。如此檢查過每一個被選取區塊後，即可得到目前方向的分布圖。例如圖7所示的一個分布圖的範例，圖7的橫軸是上述的數值範圍，縱軸表示各槽位的累計值。

接下來，在步驟342對分布圖使用低通濾波器以減少雜訊，使分布圖平滑化，例如可使用高斯濾波器(Gaussian filter)或均值濾波器(mean filter)之類的低通濾波器，圖8是對圖7的分布圖使用高斯濾波器所得的分布圖。

接下來，在步驟343根據分布圖中的峰值(peak value)位置決定目前畫面在目前方向的整體移動向量。所謂峰值就是分布圖的各槽位的累計值其中的最大值。以圖8的分布圖為例，目前方向的整體移動向量就是峰值810在橫軸上的對應數值。這樣的整體移動向量其實只是目前畫面真正的整體移動向量在目前方向的分量。合併兩個方向的分量即可得到目前畫面的真正的整體移動向量。

圖9是依照本發明的一實施例的步驟250的詳細流程圖。圖9的移動補償是對視訊中的每一個畫面執行一次。圖9的移動補償也是在目前畫面的水平與垂直兩個方向分別進行，這兩個方向的移動補償互不相關。若有特殊的應用環境是只有一個方向會發生視訊畫面的抖動，則可以只對該方向進行圖9的移動補償。下面說明僅以水平與垂直其中一個方向為範例(以下稱為目前方向)，另一個方向可依此類推。

首先，在步驟910檢查目前畫面在目前方向的整體移動向量是否無效。先用以下的公式(2)計算目前方向的分布圖的變異值。

公式(2)之中的σ _h就是目前方向的分布圖的變異值，N是被選取區塊的數量，h _j是分布圖的第j個槽位的累計值，。如果分布圖的變異值σ _h大於一個預設的門檻值，而且分布圖的峰值小於另一個預設的門檻值，則判定目前畫面在目前方向的整體移動向量無效，否則判定上述的整體移動向量有效。整體移動向量無效通常發生在有大片平坦區或有重複的材質圖案(texture pattern)的畫面，這種畫面的分布圖通常沒有明顯的峰值，因此可用分布圖的變異值來偵測這種畫面。

如果整體移動向量無效，則流程進入步驟920，在目前方向對目前畫面進行和前一畫面相同的移動補償(也就是用同一個移動補償向量進行移動補償)，或在目前方向不對目前畫面進行移動補償。如果整體移動向量有效，則在步驟930檢查視訊是否在目前畫面發生場景改變。所謂場景改變是指目前畫面和前一畫面相差甚大的情況，例如有車輛等大型物體從攝影鏡頭前方通過，或攝影鏡頭急速橫移(panning)，此時不應該進行移動補償。場景改變可根據目前畫面在目前方向的整體移動向量的數值來偵測。如果上述整體移動向量大於一個預設的門檻值，則判定有場景改變，否則判定沒有場景改變。若發生場景改變，則流程進入步驟940，在目前方向不對目前畫面進行移動補償。若未發生場景改變，則流程進入步驟950。

在步驟950，依照目前畫面在步驟210在目前方向的縮小比例，放大目前畫面在目前方向的整體移動向量，並且在後續步驟中使用經過上述放大的整體移動向量進行目前畫面的目前方向的移動補償。如果步驟210被省略，則步驟950也應該省略。

在步驟960，計算一個連續畫面集合其中的每一個畫面在目前方向的第一相對位置。第一相對位置就是對應的該畫面相對於移動補償之前的攝影鏡頭的位置。上述視訊自第一個畫面開始，目前畫面為上述視訊的第i個畫面，上述的連續畫面集合由上述視訊的自第i-s個畫面至第i+t個畫面的每一個畫面組成，s與t為預設正整數。上述的連續畫面集合也包括目前畫面。目前畫面的第一相對位置l _i可用下面的公式(3)計算，其餘畫面可依此類推。

公式(3)之中的l _i-1是前一畫面在目前方向的第一相對位置，g _i是目前畫面在目前方向的整體移動向量，g _j是視訊中的第j個畫面在目前方向的整體移動向量。由公式(3)可知，一個畫面的第一相對位置是視訊中的第一個畫面至該畫面的每一個畫面的目前方向的整體移動向量的累計結果。

接下來，在步驟970用下面的公式(4)計算目前畫面在目前方向的第二相對位置l _i'。第二相對位置就是對應的該畫面相對於移動補償之後的攝影鏡頭的位置。

公式(4)中的l _j是視訊中的第j個畫面在目前方向的第一相對位置。由公式(4)可知目前畫面在目前方向的第二相對位置l _i'就是上述的連續畫面集合其中的每一個畫面在目前方向的第一相對位置l _j的平均值。

接下來，在步驟980使用目前畫面在目前方向的移動補償向量(motion compensation vector)進行目前畫面的移動補償，也就是依照移動補償向量平移(shift)目前畫面的切割視窗(cropping window)。上述的移動補償向量等於l _i'-l _i，也就是目前畫面在目前方向的第二相對位置減去第一相對位置。

圖10是依照本發明的一實施例的視訊畫面的移動補償的示意圖。圖10的橫軸是視訊中的畫面編號，也可以視為時間軸，縱軸則是視訊畫面的位置。移動補償之前的畫面位置標示為1010，移動補償之後的畫面位置標示為1020。由圖10可看出本發明的移動補償確實可降低視訊畫面的抖動。

綜上所述，本發明只選取非平坦區的區塊以避免不可靠的移動向量，本發明對移動向量的分布圖進行平滑濾波以取得穩定的整體移動向量，本發明利用分布圖的變異值偵測無效的整體移動向量，因此本發明可降低視訊畫面的抖動，使視訊畫面更穩定。另外，本發明在區塊的移動估計中使用粗略至詳細的兩階段搜尋，有助於更有效率且更實際可行的硬體設計。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

210~250‧‧‧方法步驟

Claims

一種降低視訊畫面抖動的方法，包括：將一第一畫面分割為多個區塊；根據每一上述區塊的一變異值選取至少一上述區塊，其中該至少一被選取區塊位於該第一畫面的非平坦區；根據該至少一被選取區塊決定該第一畫面在一方向的一整體移動向量；以及根據該整體移動向量在該方向對該第一畫面進行移動補償。
如申請專利範圍第1項所述的降低視訊畫面抖動的方法，其中該降低視訊畫面抖動的方法僅使用該第一畫面的一強度分量，而不使用該第一畫面的其餘分量。
如申請專利範圍第1項所述的降低視訊畫面抖動的方法，在分割該第一畫面之前更包括：在該方向上依照一比例縮小該第一畫面；而且對該第一畫面進行移動補償的步驟包括：依照該比例放大該整體移動向量；以及根據放大後的該整體移動向量在該方向對該第一畫面進行移動補償。
如申請專利範圍第1項所述的降低視訊畫面抖動的方法，其中根據每一上述區塊的該變異值選取至少一上述區塊的步驟包括：選取該變異值大於或等於一門檻值的每一上述區塊。
如申請專利範圍第1項所述的降低視訊畫面抖動的方法，其中根據該至少一被選取區塊決定該整體移動向量的步驟包括：根據該第一畫面和一第二畫面對每一上述被選取區塊進行移動估計，以取得每一上述被選取區塊的一移動向量，其中該第二畫面的時間順序在該第一畫面之前；產生該至少一被選取區塊的該移動向量在該方向的一分布圖；以及對該分布圖使用一低通濾波器，然後根據該分布圖決定該整體移動向量。
如申請專利範圍第5項所述的降低視訊畫面抖動的方法，其中對於每一上述被選取區塊，取得該移動向量的步驟包括：搜尋該第二畫面中的該被選取區塊周圍的一第一區域中的多個第一位置，以找出上述多個第一位置之中的一預設數量的最佳匹配位置，其中上述多個第一位置依照一固定間距呈棋盤狀排列；以及對於每一上述最佳匹配位置，搜尋包括該最佳匹配位置的一第二區域中的每一第二位置，以找出上述多個第二位置之中的最佳匹配位置，其中該第二區域的邊長為該固定間距；以及根據上述多個第二位置之中的該最佳匹配位置取得該被選取區塊的該移動向量。
如申請專利範圍第5項所述的降低視訊畫面抖動的方法，在對該分布圖使用該低通濾波器之後更包括：根據該分布圖中的峰值位置決定該整體移動向量。
如申請專利範圍第5項所述的降低視訊畫面抖動的方法，更包括：若該分布圖的一變異值大於一第一門檻值而且該分布圖的一峰值小於一第二門檻值，則在該方向對該第一畫面進行和該第二畫面相同的移動補償，或在該方向不對該第一畫面進行移動補償。
如申請專利範圍第5項所述的降低視訊畫面抖動的方法，更包括：若該整體移動向量大於一門檻值，則在該方向不對該第一畫面進行移動補償。
如申請專利範圍第1項所述的降低視訊畫面抖動的方法，其中該第一畫面為一視訊的多個畫面之一，該視訊自一第二畫面開始，而且對該第一畫面進行移動補償的步驟包括：計算該視訊中包括該第一畫面的一連續畫面集合中的每一第三畫面在該方向的第一相對位置，其中該第一相對位置是根據該視訊中自該第二畫面至該第三畫面的每一畫面的該整體移動向量而產生；根據每一上述第三畫面的該第一相對位置計算該第一畫面在該方向的第二相對位置；以及根據該第一畫面的該第一相對位置和該第二相對位置進行該第一畫面的移動補償。
一種降低視訊畫面抖動的裝置，包括：一儲存裝置，儲存一第一畫面；以及一處理器，耦接該儲存裝置，將該第一畫面分割為多個區塊，根據每一上述區塊的一變異值選取至少一上述區塊，根據該至少一被選取區塊決定該第一畫面在一方向的一整體移動向量，並根據該整體移動向量在該方向對該第一畫面進行移動補償，其中該至少一被選取區塊位於該第一畫面的非平坦區。
如申請專利範圍第11項所述的降低視訊畫面抖動的裝置，其中該降低視訊畫面抖動的裝置僅使用該第一畫面的一強度分量，而不使用該第一畫面的其餘分量。
如申請專利範圍第11項所述的降低視訊畫面抖動的裝置，其中該處理器在分割該第一畫面之前在該方向上依照一比例縮小該第一畫面，而且該處理器依照該比例放大該整體移動向量，並根據放大後的該整體移動向量在該方向對該第一畫面進行移動補償。
如申請專利範圍第11項所述的降低視訊畫面抖動的裝置，其中該處理器選取該變異值大於或等於一門檻值的每一上述區塊。
如申請專利範圍第11項所述的降低視訊畫面抖動的裝置，其中該處理器根據該第一畫面和一第二畫面對每一上述被選取區塊進行移動估計，以取得每一上述被選取區塊的一移動向量，該第二畫面的時間順序在該第一畫面之前，該處理器產生該至少一被選取區塊的該移動向量在該方向的一分布圖，對該分布圖使用一低通濾波器，然後根據該分布圖決定該整體移動向量。
如申請專利範圍第15項所述的降低視訊畫面抖動的裝置，其中該處理器搜尋該第二畫面中的該被選取區塊周圍的一第一區域中的多個第一位置，以找出上述多個第一位置之中的一預設數量的最佳匹配位置，上述多個第一位置依照一固定間距呈棋盤狀排列；該處理器對於每一上述最佳匹配位置，搜尋包括該最佳匹配位置的一第二區域中的每一第二位置，以找出上述多個第二位置之中的最佳匹配位置，該第二區域的邊長為該固定間距；該處理器根據上述多個第二位置之中的該最佳匹配位置取得該被選取區塊的該移動向量。
如申請專利範圍第15項所述的降低視訊畫面抖動的裝置，其中該處理器在對該分布圖使用該低通濾波器之後，根據該分布圖中的峰值位置決定該整體移動向量。
如申請專利範圍第15項所述的降低視訊畫面抖動的裝置，其中若該分布圖的一變異值大於一第一門檻值而且該分布圖的一峰值小於一第二門檻值，則該處理器在該方向對該第一畫面進行和該第二畫面相同的移動補償，或在該方向不對該第一畫面進行移動補償。
如申請專利範圍第15項所述的降低視訊畫面抖動的裝置，其中若該整體移動向量大於一門檻值，則該處理器在該方向不對該第一畫面進行移動補償。
如申請專利範圍第11項所述的降低視訊畫面抖動的裝置，其中該第一畫面為一視訊的多個畫面之一，該視訊自一第二畫面開始，該儲存裝置儲存該視訊，該處理器計算該視訊中包括該第一畫面的一連續畫面集合中的每一第三畫面在該方向的第一相對位置，該第一相對位置是根據該視訊中自該第二畫面至該第三畫面的每一畫面的該整體移動向量而產生；該處理器根據每一上述第三畫面的該第一相對位置計算該第一畫面在該方向的第二相對位置，並根據該第一畫面的該第一相對位置和該第二相對位置進行該第一畫面的移動補償。