TWI463861B - 消除蚊狀雜訊裝置及方法 - Google Patents

Description

消除蚊狀雜訊裝置及方法

本發明係有關於影像處理，尤指一種消除蚊狀雜訊(mosquito noise)裝置及方法。

為了提供更高的影像壓縮比，大多數的影像壓縮技術會將影像中的高頻部分捨棄。但是，這樣會使影像在解壓縮回來時，於高頻區(如影像邊緣)附近產生一點一點的雜訊，稱為蚊狀雜訊(mosquito noise)，如第1圖所示。在先前技術中，係利用低通濾波器來消除此種雜訊。然而，若使用的濾波器效果太強，會造成影像模糊，破壞影像細節；反之，若使用的濾波器效果太弱，則無法去除蚊狀雜訊。

有鑑於此，本發明之一目的，在於提供一種消除蚊狀雜訊裝置及方法，可依據影像的複雜度，適應性地(adaptively)決定適當的消除蚊狀雜訊強度，以兼顧去除雜訊的效果與影像細節的品質。

本發明揭露一種消除蚊狀雜訊裝置，包含：緩衝器，用以接收輸入影像訊號並暫存相關於目標像素之像素陣列；查詢表，用以儲存複數個強度係數；以及去雜訊強度決定單元，耦接至緩衝器與該查詢表，用以偵測像素陣列之第一影像複雜度與第二影像複雜度，並依據第一影像複雜度與第二影像複雜度查詢該查詢表，以輸出去雜訊強度係數，舉例而言，像素陣列包含第一像素陣列與第二像素陣列，第一影像複雜度與第二影像複雜度分別相關於第一像素陣列與第二像素陣列，第二像素陣列大於該第一像素陣列且皆以目標像素為中心；去雜訊電路，對該輸入影像訊號執行一去蚊狀雜訊動作，以輸出對應於該目標像素之一調整像素；以及混合單元，耦接至去雜訊電路及去雜訊強度決定單元，用以依據去雜訊強度係數，對目標像素及調整像素執行混合運算，以產生輸出像素。

本發明亦揭露一種消除蚊狀雜訊的方法，包含步驟：偵測相關於目標像素之像素陣列之第一影像複雜度與第二影像複雜度；以及依據該像素陣列之該第一影像複雜度與該第二影像複雜度，決定該目標像素所對應之一去雜訊強度係數；舉例而言，像素陣列包含第一像素陣列與第二像素陣列，第一影像複雜度與第二影像複雜度分別相關於第一像素陣列與第二像素陣列，第二像素陣列大於該第一像素陣列且皆以目標像素為中心。

第2圖係本發明一較佳實施例之消除蚊狀雜訊裝置20之方塊圖，包含去雜訊電路21、去雜訊強度控制器22及混合單元23。由於去除蚊狀雜訊的動作可能會同時損及影像的細節，於此實施例中，消除蚊狀雜訊裝置20對於畫面影像中所出現之蚊狀雜訊，依據其所在影像區域的特性，適應性地決定適當的消除蚊狀雜訊強度，以兼顧去除雜訊的效果與影像細節的品質。去雜訊強度控制器22包含緩衝器221、查詢表222及去雜訊強度決定單元223。緩衝器221接收一輸入影像訊號，並將其中所包含之第一像素陣列與第二像素陣列暫存起來。第一像素陣列與第二像素陣列分別對應畫面影像的一部份，兩者皆包含同一目標像素，較佳地，第二像素陣列大於且包含第一像素陣列，例如目標像素是陣列的中心點。舉例而言，第一像素陣列可為3×3之陣列，內含9個像素，而目標像素可為位於陣列中心之像素；第二像素陣列可為17×3之陣列，內含51個像素，而目標像素可為位於陣列中心之像素。第一與第二像素陣列的大小以及目標像素的位置可依據實際需要調整。查詢表222儲存複數個強度係數。去雜訊強度決定單元223分別偵測第一像素陣列與第二像素陣列之影像複雜度，再根據查詢表222決定出目標像素所對應的去雜訊強度係數。去雜訊強度決定單元223對於輸入影像訊號所包含之每個像素，決定出對應之去雜訊強度係數，以供混合單元23執行混合運算之用(後詳)。

第一像素陣列與第二像素陣列可視為記憶視窗(window)，透過記憶視窗分別看到畫面影像中相關於目標像素之不同範圍的像素。舉例而言，第一像素陣列涵蓋目標像素週邊較小範圍的像素，第二像素陣列則涵蓋目標像素週邊較大範圍的像素。藉由第一與第二像素陣列之影像複雜度，可判斷目標像素是位於影像的平坦區或複雜區，以及目標像素是否接近高頻的影像區域。第一與第二像素陣列之影像複雜度有多種方式可以偵測，舉例而言，第一像素陣列之影像複雜度可依據第一像素陣列之各像素值之平均值與各像素值之差而決定，例如，可表示為平均值與各像素值之差的絕對值強度總和；第二像素陣列之影像複雜度可依據第二像素陣列中之最大像素值與最小像素值之差而決定。熟知此技術領域之人士根據以上揭示，當能對於第一像素陣列與第二像素陣列之影像複雜度的偵測，做出諸多可能變化，仍不跳脫本發明之範圍。

去雜訊電路21可利用如濾波器之電路，將輸入影像訊號進行濾波以去除蚊狀雜訊，而輸出一調整影像訊號。此調整影像訊號包含經去雜訊處理之目標像素(下文稱為調整像素)。在一實施例中，去雜訊電路21可為任何類型之低通濾波器，例如中值濾波器(median filter)、均值濾波器(mean filter)等。

混合單元23耦接至去雜訊電路21及去雜訊強度控制器22，可依據去雜訊強度控制器22所產生之去雜訊強度係數(稱為α)，對輸入影像訊號及去雜訊電路21所產生之調整影像訊號執行一α混合(alpha blending)運算，以產生輸出影像訊號。因此，混合單元23可依據去雜訊強度係數，對目標像素及調整像素執行α混合運算，以產生一輸出像素。舉例而言，混合單元23包含乘法器231、232及加法器233。乘法器231將去雜訊電路21所產生之調整像素乘上去雜訊強度決定單元22所產生之去雜訊強度係數α，而乘法器232則將目標像素乘上互補係數(1-α)，加法器233再將乘法器231、232之輸出相加，完成α混合運算。因此，當去雜訊強度係數越大時，調整影像訊號在α混合運算中所佔的比例就越大，亦即輸入影像訊號的比例越小，代表越傾向於去除蚊狀雜訊，因此消除蚊狀雜訊的強度就越高；反之，當去雜訊強度係數越小時，調整影像訊號在α混合運算中所佔的比例就越小，亦即輸入影像訊號的比例越大，代表越傾向於維持輸入影像訊號的原狀，因此消除蚊狀雜訊的強度就越低。應注意到，混合單元23所執行之混合運算並不限於α混合運算，熟知此技術領域之人士可了解多種混合運算變化，使最後產生之輸出影像訊號中，輸入影像訊號與調整影像訊號各自所佔之比例可隨著去雜訊強度係數之變動而改變，仍應屬於本發明之範疇。

以下敘述如何依據第一與第二像素陣列之影像複雜度，來決定目標像素所對應的去雜訊強度係數。於此實施例中，第一像素陣列涵蓋目標像素週邊較小範圍的像素，因此當第一像素陣列之影像複雜度偏高時，代表目標像素處於影像之複雜區；而偏低時，則代表處於平坦區。在複雜區的影像中若出現蚊狀雜訊，其看起來較不明顯，甚至可強化影像細節，較佳地，當目標像素處於複雜區時，亦即第一像素陣列之影像複雜度偏高，去雜訊強度控制器22所產生之去雜訊強度係數要降低，以產生較低的消除蚊狀雜訊強度，保留較多影像細節。

另一方面，當目標像素處於平坦區時，則需進一步依據目標像素附近是否出現高頻的影像區域，例如複雜區或影像邊緣，來決定去雜訊強度係數。可藉由第二像素陣列之影像複雜度高低進行判斷，較佳地，第二像素陣列涵蓋目標像素週邊較大範圍的像素，因此，當第一像素陣列之影像複雜度低且第二像素陣列之影像複雜度高時，表示從較小範圍來看，目標像素處於平坦區，但從較大範圍來看，目標像素附近有出現複雜區或影像邊緣。亦即，此時目標像素係位於影像邊緣旁的平坦區，因而會產生蚊狀雜訊。在平坦區的影像中若出現蚊狀雜訊，會顯得非常突兀，因此需使用較大的去雜訊強度係數，以產生較高的消除蚊狀雜訊強度，避免蚊狀雜訊影響視覺效果。另一種情況是，當第一與第二像素陣列之影像複雜度兩者皆低時，表示目標像素處於平坦區且附近亦無出現複雜區或影像邊緣，此時並不會產生蚊狀雜訊，或者僅產生少量的蚊狀雜訊，因此使用較小的去雜訊強度係數，以產生較低的消除蚊狀雜訊強度。

進一步言，當第一像素陣列之影像複雜度越高時，去雜訊強度係數所對應之消除蚊狀雜訊強度就越低，亦即，目標像素所處之影像區域越複雜，蚊狀雜訊看起來越不明顯，此時需要越低的消除蚊狀雜訊強度，以保留更多的影像細節；而當第一像素陣列之影像複雜度越低時，第二像素陣列之影像複雜度與去雜訊強度係數間之關聯性越大，亦即，消除蚊狀雜訊強度的大小越依賴第二像素陣列之影像複雜度的高低來做決定。於一實施例中，如第3圖所示，其中，x軸與y軸分別代表第一像素陣列與第二像素陣列之影像複雜度C1與C2，其範圍皆為從1至8；z軸則代表對應之去雜訊強度係數α值，其範圍為從0至1。由第3圖可看出，當C1越高時，α值就越低；當C1越低時，α值隨著C2而變動的範圍就越大，此即代表C2與α的關聯性越大。

應注意到，查詢表222可依據第3圖來建構，例如，查詢表222可為二維的表格，水平與垂直方向分別代表C1與C2的大小，因此去雜訊強度決定單元223藉由一組C1與C2的值，可從查詢表222中查詢出一個對應的去雜訊強度係數α。另一方面，當實施二維的查詢表222之水平與垂直方向的解析度較低以節省硬體成本時，去雜訊強度決定單元223可利用內插(interpolation)運算，以取得更精確的去雜訊強度係數，並減少查詢表222所需的硬體儲存空間需求；或者，第2圖中，查詢表222亦可設置於去雜訊強度控制器22之外部。

第4圖係本發明另一較佳實施例之消除蚊狀雜訊裝置40的方塊圖，與第2圖之消除蚊狀雜訊裝置20所包含的元件類似，而主要差異在於元件的連接方式，使得在混合單元23所執行的α混合運算中，輸入影像訊號係直接與去雜訊強度控制器22所產生之去雜訊強度係數α相乘，而去雜訊電路21所輸出之調整影像訊號則與(1-α)相乘。因此，消除蚊狀雜訊裝置50可藉由調整去雜訊強度係數α的大小，來調整最後所產生之輸出影像訊號中，調整影像訊號與輸入影像訊號各自所佔的比例，而達到所要的消除蚊狀雜訊的效果。應注意到，在第2圖之較佳實施例中，去雜訊強度係數α的大小與對應之消除蚊狀雜訊強度的高低成正比；在第4圖之較佳實施例中，去雜訊強度係數α的大小則與對應之消除蚊狀雜訊強度的高低成反比。本發明可兼顧消除蚊狀雜訊之效果與畫面細節的表現。

第5圖係本發明較佳實施例之消除蚊狀雜訊方法的流程圖。步驟50中，分別偵測第一像素陣列與第二像素陣列之影像複雜度。第一與第二像素陣列分別對應畫面影像的一部份，兩者皆包含同一目標像素，於此實施例中，第二像素陣列大於且包含第一像素陣列。第一像素陣列之影像複雜度可依據第一像素陣列中各像素值之平均值與各像素值之差而決定，舉例而言，可表示為平均值與各像素值之差的絕對值強度總和；第二像素陣列之影像複雜度可依據第二像素陣列中之最大像素值與最小像素值之差而決定。

步驟51中，依據所偵測之第一與第二像素陣列之影像複雜度，來決定目標像素對應之去雜訊強度係數。舉例而言，可預先建構一個二維的查詢表，內存複數個強度係數，並可使用第一與第二像素陣列之影像複雜度作為索引來進行查詢，快速取得去雜訊強度係數。

當第一像素陣列之影像複雜度越高時，去雜訊強度係數所對應之消除蚊狀雜訊強度就越小；當第一像素陣列之影像複雜度越低時，第二像素陣列之影像複雜度與去雜訊強度係數間之關聯性就越大。較佳地，當第一像素陣列之影像複雜度低且第二像素陣列之影像複雜度高時，去雜訊強度係數對應於高消除蚊狀雜訊強度；當第一與第二像素陣列之影像複雜度兩者皆低時，去雜訊強度係數對應於低消除蚊狀雜訊強度。

步驟52中，對輸入影像訊號執行一消除蚊狀雜訊動作，例如執行低通濾波，以輸出經去雜訊處理之目標像素，即調整像素。

步驟53中，依據所決定之去雜訊強度係數，對目標像素及調整像素執行一混合運算，以產生一輸出像素。此混合運算可為α混合運算，但不限於此。只要步驟53所執行之混合運算能使最後產生之輸出影像訊號中，輸入影像訊號與調整影像訊號各自所佔之比例可隨著去雜訊強度係數之變動而改變，仍屬於本發明之範圍。

綜上所述，本發明揭露一種消除蚊狀雜訊裝置，包含：緩衝器，用以接收輸入影像訊號並暫存相關於目標像素之像素陣列；查詢表，用以儲存複數個強度係數；以及去雜訊強度決定單元，耦接至緩衝器與該查詢表，用以偵測像素陣列之第一影像複雜度與第二影像複雜度，並依據第一影像複雜度與第二影像複雜度查詢該查詢表，以輸出去雜訊強度係數，舉例而言，像素陣列包含第一像素陣列與第二像素陣列，第一影像複雜度與第二影像複雜度分別相關於第一像素陣列與第二像素陣列，第二像素陣列大於第一像素陣列且皆以目標像素為中心；去雜訊電路，對該輸入影像訊號執行一去蚊狀雜訊動作，以輸出對應於該目標像素之一調整像素；以及混合單元，耦接至去雜訊電路及去雜訊強度決定單元，用以依據去雜訊強度係數，對目標像素及調整像素執行混合運算，以產生輸出像素於輸出影像訊號。

本發明亦揭露一種消除蚊狀雜訊的方法，包含步驟：偵測一相關於目標像素之像素陣列之第一影像複雜度與第二影像複雜度；以及依據該像素陣列之該第一影像複雜度與該第二影像複雜度，決定該目標像素所對應之一去雜訊強度係數；舉例而言，像素陣列包含第一像素陣列與第二像素陣列，第一影像複雜度與第二影像複雜度分別相關於第一像素陣列與第二像素陣列，第二像素陣列大於該第一像素陣列且皆以目標像素為中心。

以上所述係利用較佳實施例詳細說明本發明，而非限制本發明之範圍。凡熟知此類技藝人士皆能明瞭，可根據以上實施例之揭示而做出諸多可能變化，仍不脫離本發明之精神和範圍。

20、40．．．消除蚊狀雜訊裝置

21．．．去雜訊電路

22．．．去雜訊強度控制器

221．．．緩衝器

222．．．查詢表

223．．．去雜訊強度決定單元

23．．．混合單元

231、232．．．乘法器

233．．．加法器

第1圖係顯示影像經壓縮與解壓縮後產生蚊狀雜訊的示意圖。

第2圖係本發明一較佳實施例之消除蚊狀雜訊裝置之方塊圖。

第3圖係顯示第一與第二像素陣列之影像複雜度與去雜訊強度係數間關係之一實施例。

第4圖係本發明另一較佳實施例之消除蚊狀雜訊裝置之方塊圖。

第5圖係本發明較佳實施例之消除蚊狀雜訊方法的流程圖。

20．．．消除蚊狀雜訊裝置

21．．．去雜訊電路

22．．．去雜訊強度控制器

221．．．緩衝器

222．．．查詢表

223．．．去雜訊強度決定單元

23．．．混合單元

231、232．．．乘法器

233．．．加法器

Claims (21)

1. 一種消除蚊狀雜訊裝置，包含：一緩衝器，用以接收一包含一像素陣列之輸入影像訊號、並暫存該像素陣列，該像素陣列又包含一第一像素陣列與一第二像素陣列，且該第一像素陣列與該第二像素陣列又包含一目標像素；一查詢表，用以儲存複數個強度係數；一去雜訊強度決定單元，耦接至該緩衝器與該查詢表，用以偵測該第一像素陣列之一第一影像複雜度與該第二像素陣列之一第二影像複雜度，並依據該第一影像複雜度與該第二影像複雜度查詢該查詢表，以自該查詢表中之該複數個強度係數中選擇輸出一去雜訊強度係數；一去雜訊電路，對該輸入影像訊號執行一去蚊狀雜訊動作，以輸出一調整影像；以及一混合單元，耦接至該去雜訊電路及該去雜訊強度決定單元，用以依據該去雜訊強度係數，對該輸入影像之一輸入像素與該調整影像之一調整像素執行一混合運算，以產生一輸出影像；其中，該查詢表中之該複數個強度係數乃相對該第一像素陣列之該第一影像複雜度與該第二像素陣列之該第二影像複雜度呈一曲面分佈型態。
2. 如申請專利範圍第1項所述之消除蚊狀雜訊裝置，其中該去雜訊電路係一低通濾波器。
3. 如申請專利範圍第1項所述之消除蚊狀雜訊裝置，其中該混合運算係一α混合運算。
4. 如申請專利範圍第1項所述之消除蚊狀雜訊裝置，其中當該第一影像複雜度越高時，該去雜訊強度係數所對應之一去蚊狀雜訊強度越低。
5. 如申請專利範圍第1項所述之消除蚊狀雜訊裝置，其中該第二像素陣列大於該第一像素陣列且皆以該目標像素為中心，該第一影像複雜度係依據該第一像素陣列之各像素值之一平均值與各像素值之差而決定。
6. 如申請專利範圍第5項所述之消除蚊狀雜訊裝置，其中該第一影像複雜度係依據該平均值與該各像素值之差的絕對值總和而決定。
7. 如申請專利範圍第5項所述之消除蚊狀雜訊裝置，其中該第二影像複雜度係依據該第二像素陣列中之最大像素值與最小像素值之差而決定。
8. 如申請專利範圍第5項所述之消除蚊狀雜訊裝置，其中當該第一影像複雜度越低時，該第二影像複雜度與該去雜訊強度係數間之關聯性越大。
9. 如申請專利範圍第5項所述之消除蚊狀雜訊裝置，其中當該第一影像複雜度低且該第二影像複雜度高時，該去雜訊強度係數對應於一高去蚊狀雜訊強度。
10. 如申請專利範圍第5項所述之消除蚊狀雜訊裝置，其中當該第一影像複雜度與該第二影像複雜 度兩者皆低時，該去雜訊強度係數對應於一低去蚊狀雜訊強度。
11. 一種消除蚊狀雜訊的方法，包含：偵測一相關於一目標像素之一第一像素陣列之一第一影像複雜度與相關於該目標像素之一第二像素陣列之一第二影像複雜度；依據該第一影像複雜度與該第二影像複雜度，藉由查詢一查詢表，決定該目標像素所對應之一去雜訊強度係數；接收一輸入影像訊號，該輸入影像訊號包含一像素陣列；暫存該像素陣列，該像素陣列係包含該第一像素陣列與該第二像素陣列；對該輸入影像訊號執行一去蚊狀雜訊動作，以輸出一調整影像；以及依據該去雜訊強度係數，對該輸入影像訊號之一輸入像素與該調整影像之一調整像素執行一混合運算，以產生一輸出影像；其中，該查詢表中之該複數個強度係數乃相對該第一像素陣列之該第一影像複雜度與該第二像素陣列之該第二影像複雜度呈一曲面分佈型態。
12. 如申請專利範圍第11項所述之方法，其中該去蚊狀雜訊動作係對該輸入影像訊號執行低通濾波。
13. 如申請專利範圍第11項所述之方法，其中該混合運算係一α混合運算。
14. 如申請專利範圍第11項所述之方法，其中當該第一影像複雜度越高時，該去雜訊強度係數所對應之一去蚊狀雜訊強度越低。
15. 如申請專利範圍第11項所述之方法，其中該第二像素陣列大於該第一像素陣列且皆以該目標像素為中心，而該第一影像複雜度係依據該第一像素陣列之各像素值之一平均值與各像素值之差而決定。
16. 如申請專利範圍第15項所述之方法，其中該第一影像複雜度係依據該平均值與該各像素值之差的絕對值總和而決定。
17. 如申請專利範圍第15項所述之方法，其中該第二像素陣列包含該第一像素陣列。
18. 如申請專利範圍第15項所述之方法，其中該第二影像複雜度係依據該第二像素陣列中之最大像素值與最小像素值之差而決定。
19. 如申請專利範圍第11項所述之方法，其中當該第一影像複雜度越低時，該第二影像複雜度與該去雜訊強度係數間之關聯性越大。
20. 如申請專利範圍第11項所述之方法，其中當該第一影像複雜度低且該第二影像複雜度高時，該去雜訊強度係數對應於一高去蚊狀雜訊強度。
21. 如申請專利範圍第11項所述之方法，其中當該第一影像複雜度與該第二影像複雜度兩者皆低時，該去雜訊強度係數對應於一低去蚊狀雜訊強度。