TW201811018A - 影像濾波方法及其影像濾波裝置 - Google Patents

Abstract

一種影像濾波方法，包含：擷取目標影像值以及包含輸入像素值的輸入影像；決定欲輸出影像的濾波響應值與目標影像值間的差值函數，其中濾波響應值為欲輸出影像的欲輸出像素值經由特徵濾波係數進行濾波產生；根據差值函數，藉由與特徵濾波係數相關的線性方程式計算欲輸出影像之欲輸出中心像素值的最佳解，其中最佳解使差值函數的值最小；由最佳解中求取欲輸出中心像素值以及輸入像素值間的對應關係，以根據對應關係計算最佳化濾波係數；以及使濾波器電路根據最佳化濾波係數，對待處理影像的每一像素進行濾波。

Description

影像濾波方法及其影像濾波裝置

本發明是有關於一種影像處理技術，且特別是有關於一種影像濾波方法及其影像濾波裝置。

在影像處理中，最常見的處理方法是使用濾波器。濾波器不僅能針對影像訊號中的不同成分進行處理，濾波響應的結果也有效地代表影像中某種特徵的強度。然而，在某些應用上，現存的濾波技術並無法有效地達到強化所需特徵的目的。舉例而言，在錯色消除的應用中常使用中值濾波(median filter)。雖然中值濾波在移除銳利邊緣的錯誤顏色很有效，但是在較緩的邊界卻容易導致效果減弱。此外，中值濾波器無法預期高頻訊號變化，無法確保輸出影像能否維持清晰度。

因此，如何設計一個新的影像濾波方法及其影像濾波裝置，以解決上述的問題，乃為此一業界亟待解決的問題。

本發明之一態樣是在提供一種影像濾波方法，包含：擷取複數個目標影像值以及包含複數個輸入像素值的輸入影像；決定欲輸出影像的複數個濾波響應值與目標影像值間的差值函數，其中濾波響應值為欲輸出影像的複數個欲輸出像素值經由至少一組特徵濾波係數進行濾波產生；根據差值函數，藉由與該組特徵濾波係數相關的線性方程式計算欲輸出影像之欲輸出中心像素值的最佳解，其中最佳解使差值函數的值最小；由最佳解中求取欲輸出中心像素值以及輸入像素值間的對應關係，以根據對應關係計算至少一組最佳化濾波係數；以及使濾波器電路根據該組最佳化濾波係數，對待處理影像的每一像素進行濾波。

本發明之另一態樣是在提供一種影像濾波裝置，包含：計算模組以及濾波器電路。計算模組配置以：擷取複數個目標影像值以及包含複數個輸入像素值的輸入影像；決定欲輸出影像的複數個濾波響應值與目標影像值間的差值函數，其中濾波響應值為欲輸出影像的複數個欲輸出像素值經由至少一組特徵濾波係數進行濾波產生；根據差值函數，藉由與該組特徵濾波係數相關的線性方程式計算欲輸出影像之欲輸出中心像素值的最佳解，其中最佳解使差值函數的值最小；以及由最佳解中求取欲輸出中心像素值以及輸入像素值間的對應關係，以根據對應關係計算至少一組最佳化濾波係數。濾波器電路配置以根據該組最佳化濾波係數，對待處理影像的每一像素進行濾波。

應用本發明之優點在於藉由影像濾波裝置的計算模組產生最佳化濾波係數，以使欲輸出影像中，待輸出像素的濾波響應與對應的目標影像值愈接近，而具有希望輸出的特徵。接著，濾波器電路即可依據這些最佳化濾波係數對待處理影像進行處理，達到依需求進行濾波的目的。

1‧‧‧影像濾波裝置

100‧‧‧計算模組

102‧‧‧濾波器電路

A_low‧‧‧低通濾波係數

A_high‧‧‧高通濾波係數

f_opt,low、f_opt,high‧‧‧最佳化濾波 係數

I‧‧‧待處理影像

PI‧‧‧輸入影像

T_i‧‧‧目標影像值

300‧‧‧影像濾波方法

301-305‧‧‧步驟

第1圖為本發明一實施例中，一種影像濾波裝置之方塊圖；第2圖為本發明一實施例中，以矩陣乘法形式表現的低通濾波係數和高通濾波係數的示意圖；以及第3圖為本發明一實施例中，一種影像濾波方法的流程圖。

請參照第1圖。第1圖為本發明提出之影像濾波裝置一實施例的方塊圖。影像濾波裝置1可用以對包含複數個像素(pixel)之待處理影像I進行濾波，以產生濾波後的影像。

於本實施例中，影像濾波裝置1包含：計算模組100以及濾波器電路102。

計算模組100擷取包含複數個目標影像值T_i以及複數個輸入像素值P_in的輸入影像PI，輸入影像PI包含N×N個像素，N為奇數且小於或等於5。舉例來說，輸入影像 PI可為包含3×3個像素的影像。並且，輸入影像PI的輸入像素值P_in可包括紅色輸入像素值P_in,R、藍色輸入像素值P_in,B以及綠色輸入像素值P_in,G，但不以此為限。

計算模組100決定欲輸出影像PO(未繪示於圖中)的複數個濾波響應值A_i×P_out與目標影像值T_i間的差值函數E。濾波響應值A_i×P_out為欲輸出影像PO的複數個欲輸出像素值P_out經由至少一組特徵濾波係數A_i進行濾波產生。其中，欲輸出像素值P_out包括紅色欲輸出像素值P_out,R、藍色欲輸出像素值P_out,B以及綠色欲輸出像素值P_out,G。

以錯色消除(false color reduction)的應用為例，為了符合人眼特性，用以擷取影像的攝像裝置的顏色濾波陣列(color filter array；CFA)中，綠色像素通道的取樣率較高，具有較為可靠的高頻資訊。因此，理想的濾波結果是輸出在紅色、藍色像素通道的低通濾波響應接近原始值，而在高通濾波響應接近綠色像素通道高通濾波響應值的影像，以去除錯誤的顏色。

基於上述，由於所感興趣的影像特徵是局部強度趨勢及紋理，因此所用以濾波的特徵濾波係數A_i可採用低通濾波係數A_low和高通濾波係數A_high擷取。對於上述3×3個像素的影像來說，在將其向量化為9×1的向量後，使用濾波係數進行捲積(convolution)的運算可表示為矩陣乘法。

請參照第2圖。第2圖為本發明一實施例中，以矩陣乘法形式表現的低通濾波係數A_low和高通濾波係數A_high的示意圖。其中，每列係數是在各像素不同的邊界條 件，例如位於影像中央或是影像邊緣的情形下，對向量化為9×1向量的欲輸出像素值P_out進行濾波。

如上所述，對於欲輸出像素值P_out，以紅色欲輸出像素值P_out,R為例，理想的濾波結果是在低頻表現接近於紅色輸入像素值P_in,R，並在高頻表現接近於綠色輸入像素值P_in,G。因此，上述的需求可以下二式表示：A _low ×P _out,R =A _low ×P _in,R (運算式一)

A _high ×P _out,R =A _high ×P _in,G (運算式二)

根據上二式，A_low×P_out,R以及A_high×P_out,R分別為紅色欲輸出像素值P_out,R在低頻及高頻的濾波響應值。而A_low×P_in,R和A_high×p_in,G則為目標影像值T_i。

於一實施例中，計算模組100所決定的差值函數E可為濾波響應值A_i×P_out與目標影像值T_i間的加權平方誤差。當特徵濾波係數A_i對應的權重係數為λ_i時，差值函數E可以下式表示：

當特徵濾波係數A_i為低通濾波係數A_low和高通濾波係數A_high，欲輸出像素值P_out為紅色欲輸出像素值P_out,R，濾波響應值A_i×P_out為A_low×P_out,R以及A_high×P_out,R，目標影像值T_i為A_low×P_in,R和A_high×P_in,G，且低通濾波係數A_low和高通濾波係數A_high對應的權重係數分別為λ_low和λ_high時，運算式三可進一步表示為：E=λ _low ∥A _low P _out,R -A _low P _in,R ∥²+λ _high ∥A _high P _out,R -A _high P _in,G ∥² (運算式四)

計算模組100進一步根據差值函數E，藉由與該組特徵濾波係數A_i(亦即低通濾波係數A_low和高通濾波係數A_high)相關的線性方程式，計算欲輸出像素值P_out的最佳解。詳細而言，欲輸出像素值P_out最佳解將使差值函數E的值最小。由線性代數理論可以計算得知，對於欲輸出像素值P_out來說，最佳解是下述的線性方程式的解：

因此，當欲輸出像素值P_out為紅色欲輸出像素值P_out,R且低通濾波係數A_low和高通濾波係數A_high對應的權重係數分別為λ_low和λ_high時，最佳解可進一步表示為：(λ _low A _low ^T A _low +λ _high A _high ^T A _high )P _out,R =λ _low A _low ^T (A _low P _in,R )+λ _high A _high ^T (A _high P _in,G ) (運算式六)

於一實施例中，對所有的紅色欲輸出像素值P_out,R求解將造成運算量龐大。若是以滑動視窗(sliding window)的方式處理，則僅需求取欲輸出影像PO的視窗中心像素值的最佳解。以3×3個像素的欲輸出影像PO為例，其欲輸出中心像素是第5個像素。因此，最佳解可表示為P_out,R,5，並由克拉瑪法則(Cramer’s rule)求解後以下式表示：P _out,R,5=det(B)/det(A) (運算式七)

其中，矩陣A為，更詳細的說即為λ _low A _low ^T A _low +λ _high A _high ^T A _high 。矩陣B為為矩陣A的第5行取代為，更詳細的說即為λ _low A _low ^T (A _low P _in,R )+λ _high A _high ^T (A _high P _in,G )所產生。因此，矩陣A實際上與輸入影像I的內容無關，可直接 計算。另一方面，當矩陣B中，沿著第n個行(column)所得到的2n-1個餘因子(cofactor)為B ₁...B _(2n-1)，則det(B)可改寫為：

其中，矩陣D為。

若令矩陣C_k為為將矩陣A的第5行取代為向量V_k的矩陣，其中向量V_k為只有第k個維度數值為1，其他維度為0，則det(B)可改寫為：det(B)=[det(C ₁)...det(C ₉)]λ _low A _low ^T (A _low P _in,R )+[det(C ₁)...det(C ₉)]λ _high A _high ^T (A _high P _in,G ) (運算式九)

上述的det(C_k)亦可直接計算而得。因此，計算模組100接著由最佳解P_out,R,5中求取欲輸出中心像素值P_out,R,5以及輸入像素值P_in,R及P_in,G間的對應關係，以根據對應關係計算最佳化濾波係數f_opt,low及f_opt,high：f _opt,low =([det(C ₁)...det(C ₉)]λ _low A _low ^T A _low )/det(A) (運算式十)

f _opt,high =([det(C ₁)...det(C ₉)]λ _high A _high ^T A _high )/det(A) (運算式十一)

由於最佳化濾波係數f_opt,low及f_opt,high均為1×9的向量矩陣，因此在排列為3×3的形式後，將成為可對3×3的影像進行濾波的濾波係數。

濾波器電路102可從例如，但不限於任意攝像裝置或是其他影像源接收待處理影像I。濾波器電路102接 著根據最佳化濾波係數f_opt,low及f_opt,high，對所接受的待處理影像I的每一像素進行濾波。

本發明的優點在於藉由影像濾波裝置1的計算模組100產生最佳化濾波係數f_opt,low及f_opt,high，以使欲輸出影像PO中，待輸出像素P_out的濾波響應與對應的目標影像值T_i愈接近，而具有希望輸出的特徵。接著，濾波器電路102即可依據這些最佳化濾波係數對待處理影I像進行處理，達到依需求進行濾波的目的。

需注意的是，上述的計算模組100可經由其他硬體元件如資料庫、一般處理器、計算機、伺服器、或其他具特定邏輯電路的獨特硬體裝置或具特定功能的設備來實作，如將程式碼和處理器/晶片整合成獨特硬體。計算模組100所執行的方法可實作為一電腦程式，並儲存於一電腦可讀取記錄媒體中，而使電腦讀取此記錄媒體後執行即時地點推薦方法。電腦可讀取記錄媒體可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。濾波器電路102則可經由例如，但不限於電容、電阻、電感等被動式濾波元件，及/或電晶體或運算放大器等主動式濾波元件形成。

此外，於一實施例中，輸入影像PI所包含的N×N個像素，N亦可能大於5，但是計算量將會十分龐大。由於濾波響應通常具有局部性，所響應的數值主要和區域性的區塊的像素數值相關，因此採用N小於或等於5將可大幅減 少運算量。並且，於其他實施例中，差值函數E的定義可隨使用者需求選定為其他函數，目標影像值亦可隨使用者需求選用其他數值，而不為上述實施例的範例所限。

於另一實施例中，由於藍色欲輸出像素值P_out,B的特性與紅色欲輸出像素值P_out,R相近，理想的濾波結果是在低頻表現接近於藍色輸入像素值P_in,B，並在高頻表現接近於綠色輸入像素值P_in,G。因此，亦可採用類似的方式產生相關於藍色欲輸出像素值P_out,B的最佳化濾波係數。

在又一實施例中，除了錯色消除的應用外，上述的濾波技術亦可應用於時間域去雜訊(temporal denoise)上。更詳細地說，在此應用情境下，欲輸出像素值經由低頻濾波係數濾波產生的頻率響應值，將被期待接近輸入影像的低通濾波結果。欲輸出像素值在經由高頻濾波係數濾波產生的頻率響應值，則將被期待接近前一張經過時間域去雜訊處理後的影像的高通濾波結果。因此，在這樣的狀況下，低通濾波的目標影像值為輸入影像的輸入像素值經由低通濾波係數進行濾波產生。而高通濾波的目標影像值為前一張經過時間域去雜訊處理後的影像經由高通濾波係數進行濾波產生。

請參照第3圖。第3圖為本發明一實施例中，一種影像濾波方法300的流程圖。影像濾波方法300可應用於例如，但不限於第1圖所繪示的影像濾波裝置1中。影像濾波方法300包含下列步驟(應瞭解到，在本實施方式中所提及的步驟， 除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行)。

於步驟301，由計算模組100接收目標影像值T_i以及包含輸入像素值P_in的輸入影像PI。

於步驟302，由計算模組100決定欲輸出影像PO的濾波響應值A_i×P_out與目標影像值T_i間的差值函數E，其中濾波響應值A_i×P_out為該欲輸出影像PO的欲輸出像素值P_out經由特徵濾波係數A_i進行濾波產生。

於步驟303，由計算模組100根據差值函數E，藉由與特徵濾波係數A_i相關的線性方程式計算欲輸出影像PO之欲輸出中心像素值的最佳解P_out,R,5，其中最佳解P_out,R,5使差值函數E的值最小。

於步驟304，由計算模組100從最佳解P_out,R,5中求取欲輸出中心像素值以及輸入像素值P_in間的對應關係，以根據對應關係計算最佳化濾波係數f_opt,low及f_opt,high。

於步驟305，使濾波器電路102根據最佳化濾波係數f_opt,low及f_opt,high，對待處理影像I的每一像素進行濾波。

雖然本案內容已以實施方式揭露如上，然其並非配置以限定本案內容，任何熟習此技藝者，在不脫離本案內容之精神和範圍內，當可作各種之更動與潤飾，因此本案內容之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (10)

1. 一種影像濾波方法，包含：擷取複數個目標影像值以及包含複數個輸入像素值的一輸入影像；決定一欲輸出影像的複數個濾波響應值與該等目標影像值間的一差值函數，其中該等濾波響應值為該欲輸出影像的複數個欲輸出像素值經由至少一組特徵濾波係數進行濾波產生；根據該差值函數，藉由與該組特徵濾波係數相關的一線性方程式計算該欲輸出影像之一欲輸出中心像素值的一最佳解，其中該最佳解使該差值函數的值最小；由該最佳解中求取該欲輸出中心像素值以及該等輸入像素值間的一對應關係，以根據該對應關係計算至少一組最佳化濾波係數；以及使一濾波器電路根據該組最佳化濾波係數，對一待處理影像的每一像素進行濾波。
2. 如請求項1所述之影像濾波方法，其中該輸入影像以及該欲輸出影像分別包含N×N個像素，N為奇數且小於或等於5。
3. 如請求項1所述之影像濾波方法，其中該差值函數為該等濾波響應值以及該等目標影像值間之一加權平方誤差。
4. 如請求項3所述之影像濾波方法，其中該組特徵濾波係數為矩陣A_i，該等輸出像素值為向量P_out，該 目標像素值為向量T_i，且該組特徵濾波係數對應之一組權重係數為λ_i，則該差值函數為，且當一第一矩陣A為，一第二矩陣B為該第一矩陣A的第n行取代為所產生，則該欲輸出中心像素值的該最佳解為det(B)/det(A)。
5. 如請求項4所述之影像濾波方法，其中當該第二矩陣B的一餘因子為B ₁...B _(2n-1)，且一第三矩陣D為，則該組最佳化濾波係數為。
6. 一種影像濾波裝置，包含：一計算模組，配置以：擷取複數個目標影像值以及包含複數個輸入像素值的一輸入影像，決定一欲輸出影像的複數個濾波響應值與該等目標影像值間的一差值函數，其中該等濾波響應值為該欲輸出影像的複數個欲輸出像素值經由至少一組特徵濾波係數進行濾波產生；根據該差值函數，藉由與該組特徵濾波係數相關的一線性方程式計算該欲輸出影像之一欲輸出中心像素值的一最佳解，其中該最佳解使該差值函數的值最小；以及由該最佳解中求取該欲輸出中心像素值以及該等輸入像素值間的一對應關係，以根據該對應關係計算至少一組最佳化濾波係數；以及一濾波器電路，配置以根據該組最佳化濾波係數，對一待處理影像的每一像素進行濾波。
7. 如請求項6所述之影像濾波裝置，其中該輸入影像以及該欲輸出影像分別包含N×N個像素，N為奇數且小於或等於5。
8. 如請求項6所述之影像濾波裝置，其中該差值函數為該等濾波響應值以及該等目標影像值間之一加權平方誤差。
9. 如請求項6所述之影像濾波裝置，其中該組特徵濾波係數包含一組特徵低通濾波係數以及一組特徵高通濾波係數。
10. 如請求項9所述之影像濾波裝置，其中該等欲輸出像素值包含對應於一第一顏色的複數個第一顏色欲輸出像素值，該等濾波響應值包含該等第一顏色欲輸出像素值經由該組特徵低通濾波係數進行濾波產生的複數低通濾波第一顏色欲輸出像素值，以及該等第一顏色欲輸出像素值根據該組特徵高通濾波係數進行濾波產生的複數高通濾波第一顏色欲輸出像素值，且該等目標影像值包含複數低通濾波目標值以及複數高通濾波目標值。