TW202046698A

TW202046698A - 影像調整方法以及相關的影像處理電路

Info

Publication number: TW202046698A
Application number: TW108120422A
Authority: TW
Inventors: 邱仲毅; 黃文聰; 劉楷
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2019-06-13
Filing date: 2019-06-13
Publication date: 2020-12-16
Also published as: US20200394760A1; TWI698124B; US10922792B2

Abstract

一種影像調整方法，包含：針對至少一畫面中複數個畫素依序進行處理，其中處理中的畫素為當前畫素，該當前畫素與多個鄰近畫素構成當前區塊，且每一當前區塊被進行以下操作：讀取該當前區塊中每一畫素的灰階值；根據該些畫素的灰階值來決定出該當前區塊的區域灰階值以及區域變異量；透過一變異量調整函數來產生一變異量調整參數，其中該區域灰階值係為該變異量調整函數的一變數；依據該變異量調整參數以及該區域變異量來產生調整後區域變異量；以及將該調整後區域變異量與變異量門檻值進行比較，以決定是否對該當前畫素進行雜訊抑制操作。

Description

影像調整方法以及相關的影像處理電路

本發明係關於一種影像處理技術，尤指一種消除畫面中雜訊（或稱高頻雜訊）的方法。

視訊系統是否能抑制雜訊是提昇影像品質的關鍵，然而，通常在抑制影像雜訊的同時，真實的畫面部份（或實際上不屬於雜訊的部份）也會被削弱，造成影像不清楚，並且遺失很多細節或邊緣特徵，諸如使用者臉部的紋路、文字等重要資訊，都有可能隨著雜訊被一併消除。

現有的影像處理技術會統計區域的梯度或是變異量，以判斷該區域屬於邊緣特稱或是或雜訊，判斷條件通常會透過一或多個門檻值來對該區域進行分區，然而上述作法不盡理想，事實上，影像亮度對於梯度或變異量的計算有決定性的影響，亦即亮度較高的區域所計算出來的梯度或變異量也相對較高，這導致習知技術在消除畫面雜訊的時候很容易一併將畫面的一些細節也移除，因而大幅降低使用者的體驗。

舉例來說，請參考第1圖，第1圖係為影像經使用習知技術進行優化後的影像的示意圖，第1圖左側係為尚未經調整的影像，畫面主要包含人物的頭部與天花板，其中天花板的部份具有一些非理想雜訊（諸如雜訊），這是比較想要消除的部份。接著，第1圖右側係為使用習知技術進行優化後的影像，可看出雖然天花板的雜訊得到改善，但也同時造成一些具備邊緣特徵的細節的損失，例如人物的頭髮看起來不再條理分明，而是以比較模糊的方式呈現，這樣的現象在文字上的影響會更為嚴重，導致辨識度被大幅降低。

綜上所述，習知技術對影像進行優化的方式同時也會造成影像流失大量的細節資訊，這是因為非理想雜訊和畫面細節部份（例如邊緣特徵）皆具有較高的梯度或變異量。因此，實有需要一種新穎的方式，使上述問題能夠無副作用地（或以較無副作用的方式）得到改善。

本發明的一目的在於提供一種影像調整方法以及相關的影像處理電路，能夠在無副作用的情況下改善上述問題。

本發明的一實施例提供一種影像調整方法，該影像包含至少一畫面，該至少一畫面具有複數個畫素，該方法包含：針對畫面中複數個畫素依序進行處理，其中處理中的畫素為當前畫素，該當前畫素與多個鄰近畫素構成一當前區塊，且每一當前區塊被進行以下操作：讀取該當前區塊中每一畫素的灰階值；根據該些畫素的灰階值來決定出該當前區塊的一區域灰階值以及一區域變異量；透過一變異量調整函數來產生一變異量調整參數，其中該區域灰階值係為該變異量調整函數的一變數；依據該變異量調整參數以及該區域變異量來產生一調整後區域變異量；以及將該調整後區域變異量與一變異量門檻值進行比較，以決定是否對該當前畫素進行一雜訊抑制操作。

本發明的一實施例提供一種影像處理電路，包含一處理器。該處理器用以針對該影像的至少一畫面中複數個畫素依序進行處理，其中處理中的畫素為當前畫素，該當前畫素與多個鄰近畫素構成一當前區塊，且該處理器對每一當前區塊進行以下操作：讀取該當前區塊中每一畫素的灰階值；根據該些畫素的灰階值來決定出該當前區塊的一區域灰階值以及一區域變異量；透過一變異量調整函數來產生一變異量調整參數，其中該區域灰階值係為該變異量調整函數的一變數；依據該變異量調整參數以及該區域變異量來產生一調整後區域變異量；以及將該調整後區域變異量與一變異量門檻值進行比較，以決定是否對該當前畫素進行一雜訊抑制操作。

在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，硬體製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語，故應解釋成「包含但不限定於」。另外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電氣連接於該第二裝置，或透過其他裝置或連接手段間接地電氣連接至該第二裝置。

在本發明實施例中，在進行影像優化的一開始會先行判斷當前影像區塊是否具備邊緣特徵，以判斷區塊是屬於雜訊畫面或是細節畫面，而上述判斷步驟可透過統計區塊的梯度或變異量來實現，其中處理中的畫素為當前畫素，該當前畫素與多個鄰近畫素構成所述當前影像區塊。接著，本發明著重於針對亮度來修正梯度以及變異量，以改善習知技術的缺點，從第1圖的例子可知，當畫素的灰階較高（例如接近白色）時，例如第1圖所示的白色天花板部份，雖然所圈選的雜訊部份具有極高的梯度或變異量（顯示雜訊（黑點）的畫素與顯示白色天花板的鄰近畫素之間的灰階差距），但實際上屬於非理想的雜訊。反之，圖中人物的頭髮細節具有極高的梯度或變異量，這屬於想要保留的細節，卻因為灰階較低而被視同雜訊而消除了。習知技術在進行影像優化時，因為沒有考慮到亮度（或灰階）的影響，導致許多細節隨著雜訊被消除。

一般影像處理會統計區域的梯度或是變異量，以判斷該區域是否為邊緣或雜訊程度大小，判斷條件通常會有一個或數個門檻值，對該區域進行分區，然而實驗發現影像亮度對於梯度或變異量具有一定的影響，即在亮度較高的區域其計算出來的數值也相對較高。以下將描述如何對影像中的至少一（例如：一或多個）畫面進行處理，其中該至少一畫面的每一者具有複數個畫素，而這些畫面可被同時或個別地進行處理。

區域梯度計算 I

首先，計算區域梯度以決定區塊（如下第2圖所示的3x3畫面區塊）屬於邊緣特徵或是雜訊成分。如第1圖所示，左側區塊中共有畫素a0~a8，而中間的區塊係為分別對應畫素a0~a8的灰階值，而右側區塊係為對應分別對應畫素a0~a8所呈現的色彩，其中灰階60會呈現比較暗的顏色，而灰階225呈現接近白色的顏色。

當偵測到垂直邊緣時，會將畫素a1、a4、a7的灰階平均值與全部畫素a0~a8的灰階平均值相減後再取絕對值以得到一判斷值（其計算方式如下），最後再將此判斷值與一門檻值進行比較，以取得一高頻響應（|(60×3)/3 – (225×6+60×3)/9 |= 110），藉此判斷畫素a1、a4、a7是否共同地構成垂直邊緣。

請接著參見第3圖、第4圖，其分別描述具有不同灰階值的區塊，從第3圖的灰階可知其不具有邊緣特徵，故可歸類為雜訊畫面；而從第4圖的灰階可知其具有垂直邊緣特徵，而在對畫面進行雜訊過濾時，這樣的細節期望能夠不被濾除。以下說明影像亮度對於邊緣偵測的影響：

首先，將具有相同平均亮度的第2圖、第3圖作為對照，其中第2圖的高頻響應為110而平均亮度為170，第3圖的高頻響應約為40而平均亮度同樣為170，由於第2圖的區塊的垂直邊緣期望能夠被顯示出來，而第3圖的雜訊特徵希望被濾除，藉由設一門檻值來只對高頻響應40（或更低）的進行雜訊濾除操作，確實能夠保留住第2圖的區塊所要呈現的細節部份。然而，若單純只考量高頻響應來決定是否進行過濾，在一些情況下會造成不當的判斷，亦即，在整張影像都採用同一門檻值的情況下勢必會影響到其他區塊。舉例來說，第4圖所示的區塊具有強烈的垂直邊緣特徵但其整體亮度較暗（其高頻響應為40，平均亮度則為100），而這樣的邊緣特徵也會因為設定上述高頻響應門檻值（40）而遭到濾除。換言之，第4圖與第2圖同樣具備垂直邊緣特徵，卻因為平均亮度較低而具備較低的高頻響應。

考量上述問題，本發明提出一種動態的校正方法，能根據影像的不同場景（即不同灰階值）來設置一特定曲線，使得上述門檻值、畫素之間的變異量（例如畫素之間的梯度值）能夠隨著影像的亮度有所變化，能針對不同亮度區域進行有效的邊緣偵測或雜訊抑制。以第2圖～第4圖的邊緣偵測為例，為了能完整呈現各種亮度下的邊緣特徵，本發明將隨著亮度的改變來動態地給定門檻值。也就是說，對於亮度低的區塊（或單一畫素）額外地給予較低的門檻值，使其邊緣特徵能更容易地保留下來；而對於亮度高的區塊則額外給予較高的門檻值，使其更容易被濾除。

此外，本發明可根據不同場景、使用環境，使用者模式、感測器類型而採用不同的曲線來進行不同的分段調整，以達到最佳的雜訊抑制效果。

本發明主要是針對影像中不同區域亮度進行邊緣特徵門檻值及變異量的調整，並且可搭配各種雜訊抑制技術來改善畫面的品質，詳細方法如下：

區域梯度計算 II

以上提到的變異量可用梯度來表示（但不限於此），舉例來說，本發明的區域梯度計算可採用索伯運算子(Sobel)，其中索伯運算子又分為水平及垂直方向梯度計算濾波器，分別如第5圖的左半部份以及右半部份所示，其給定了當前畫素（即正中央畫素）和其鄰近的畫素在梯度的計算上所要乘上的加權值，其中Gx 為水平梯度，Gy 為垂直梯度，梯度大小可用以下公式計算：G = |Gx | + |Gy |

接著，進一步搭配第6圖所示的畫素灰階值來作說明：

最後，梯度總值G = |Gx | + |Gy | = 210 + 70 = 280

區域亮度計算

區域亮度Brightness_local 的計算可用n×n大小均值濾波器(但本發明不限於此，亦可使用高斯濾波器)作為區域亮度估計，以第6圖的3×3矩陣作為舉例，其平均亮度為76（（120+100+120+80+50+30+60+40+90）÷ 9）。

根據區域亮度調整最終區域梯度

最終區域梯度G_final 可根據區域亮度進行調整，如以下方程式所示：

其中 f 1為區域梯度調整函數，是一種線性分段調整函數；線性分段調整函數可分為m段，其中b 1~b m 對應到各個亮度區間，v 1~v m為調整函數對應值f 1(b 1)~f 1(b m)，而區域梯度調整函數的計算方式可如以下方程式和第7圖所示：

第7圖係為基於以上概念的梯度調整函數f1 與區域亮度之間的對照表，其中每個菱形點代表對應當前亮度調整係數，而點與點之間的調整係數可用線性內插方式取得。從第7圖可知，當亮度為76時，梯度調整函數f1 的值為0.475，如以下方程式所示：

=＞

= 0.475

根據最終區域梯度調整雜訊抑制強度

雜訊抑制可搭配任一習知雜訊抑制濾波器進行處理，舉例來說，本發明可採用均值濾波器（Mean filter），最終灰階值可透過以下方程式來取得：

其中P_in 為原始灰階值、P_lpf 為經過濾波器處理的灰階值、P_out 為最終灰階值，且α為雜訊抑制強度（α越高雜訊抑制強度越強）。雜訊抑制強度α可根據最終梯度的大小來作調整，其詳細計算方式可如以下方程式和第8圖所示：

其中，edge_thd1 、 edge_thd2 分別為邊緣特徵門檻值上下限，coef1 、 coef2 為使用者自訂之雜訊抑制強度上下限。由於梯度越大越有可能是邊緣紋理，故對應地選用較小的α值（即使用較弱的雜訊抑制）可避免紋理遭到大幅度的破壞，舉例來說，當最終區域梯度G_final 越大時，α值會隨之變小（但可設計為不小於coef2 ，以免完全失去雜訊抑制效果）；反之，當最終區域梯度G_final 很小時，所選用的α值會極大，但可設計為不大於1，其中α = 1代表不對雜訊抑制作任何減弱的動作），而本發明便是透過α來動態調整雜訊抑制的程度。

請參見第9圖，第9圖係為根據本發明一實施例的影像調整方法900的示意圖，請注意，假若可獲得實質上相同的結果，則這些步驟並不一定要遵照第9圖所示的執行次序來執行（例如步驟909跟904的執行順序可以互相調換），且其他的步驟可插入其中。第9圖所示之方法可被第12圖所示之影像處理電路1200所採用，並可簡單歸納如下：

步驟902：計算區域梯度；

步驟904：計算區域亮度；

步驟906：根據區域亮度以及區域梯度來產生最終區域梯度（調整後的區域梯度）；

步驟908：根據最終區域梯度來調整雜訊抑制強度。

根據區域亮度調整門檻值

以上作法係藉由α來動態調整雜訊抑制的程度，以下將介紹一種替代式的作法，其中門檻值會根據區域亮度提高而增加

其中edge_thd1_final 、 edge_thd2_final 分別為調整後的邊緣特徵門檻值上下限，

係為對應亮度變化的偏移值，跟前一實施例同樣也是根據區域亮度變化，可為線性分段調整函數。edge_thd1_final 、 edge_thd2_final 隨亮度變化的趨勢可參考第10圖的曲線，然而這只作為舉例的目的，並不用以限定本發明的範疇。此外，上述替代式作法除了可置換第9圖影像調整方法900，也可與影像調整方法900一併使用，以達到更多元的畫面改善效果。

以上替代式作法可用第11圖來表示，第11圖係為根據本發明另一實施例的影像調整方法1100的示意圖，請注意，假若可獲得實質上相同的結果，則這些步驟並不一定要遵照第11圖所示的執行次序來執行（例如步驟1102跟1104的執行順序可以互相調換），且其他的步驟可插入其中。第11圖所示之方法可被第12圖所示之影像處理電路1200所採用，並可簡單歸納如下：

步驟1102：計算區域梯度；

步驟1104：計算區域亮度；

步驟1106：根據區域亮度來調整門檻值；

步驟1108：根據區域梯度來調整雜訊抑制強度。

如第12圖所示，影像處理電路1200包含一處理器1250，用以執行影像調整方法900及/或1100，舉例來說，處理器1250會將收到的影像資料進行處理以產生具有低雜訊、高邊緣特徵的輸出影像。

實際效果

舉例來說，請參考第13圖，第13圖係為影像經本發明影像調整方法900或1100進行優化後的示意圖，其中第13圖左側係為尚未經調整的影像，第13圖右側係為經過本發明優化後的影像。從第13圖可看出不但天花板的雜訊得到改善，一些邊緣特徵仍得以保存，例如人物的頭髮仍可看出條理。

綜上所述，本發明所提供的影像調整方法以及相關影像處理電路可在沒有副作用（例如不損失畫面細節）的情況下有效地抑制畫面中的雜訊，此外，本發明的技術亦可應用至於不同色彩空間，如Gray、Raw、RGB、YUV等。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

902～908、1102～1108:步驟 900、1100:影像調整方法 1200:影像處理電路 1250:處理器

第1圖係為影像經使用習知技術進行優化後的影像的示意圖。第2圖係為一範例的3x3畫面區塊的索引、灰階值以及呈現色彩的示意圖。第3圖係為另一範例的3x3畫面區塊的灰階值以及呈現色彩的示意圖，其中畫面區塊的索引與第2圖相同。第4圖係為另一範例的3x3畫面區塊的灰階值以及呈現色彩的示意圖，其中畫面區塊的索引與第2圖相同。第5圖係為索伯運算子用於計算梯度加權值的示意圖。第6圖係為另一範例的3x3畫面區塊的灰階值的示意圖，其中畫面區塊的索引與第2圖相同。第7圖係為梯度調整函數-區域亮度的對照圖。第8圖係為雜訊抑制強度的轉換對照圖。第9圖係為根據本發明一實施例的影像調整方法的示意圖。第10圖係為區域亮度-亮度偏移的對照圖。第11圖係為根據本發明另一實施例的影像調整方法的示意圖。第12圖係為根據本發明一實施例的影像處理電路的示意圖。第13圖係為影像經本發明影像調整方法進行優化後的示意圖。

902~908:步驟

900:影像調整方法

Claims

一種影像調整方法，該影像包含至少一畫面，該至少一畫面具有複數個畫素，該方法包含：針對該至少一畫面中複數個畫素依序進行處理，其中處理中的畫素為當前畫素，該當前畫素與多個鄰近畫素構成一當前區塊，且每一當前區塊被進行以下操作：讀取該當前區塊中每一畫素的灰階值；根據該些畫素的灰階值來決定出該當前區塊的一區域灰階值以及一區域變異量；透過一變異量調整函數來產生一變異量調整參數，其中該區域灰階值係為該變異量調整函數的一變數；依據該變異量調整參數以及該區域變異量來產生一調整後區域變異量；以及將該調整後區域變異量與一變異量門檻值進行比較，以決定是否對該當前畫素進行一雜訊抑制操作。
如請求項1所述的影像調整方法，其中該當前區塊的該區域灰階值係為該當前區塊中所有畫素的灰階平均值。
如請求項1所述的影像調整方法，其中該變異量調整函數係為一梯度調整函數，該變異量調整參數係為一梯度調整參數，以及該區域變異量係為一區域梯度值。
如請求項3所述的影像調整方法，其中該區域梯度值包含一垂直梯度以及一水平梯度，並且用以下方程式來表示：G = |Gx | + |Gy | 其中Gx 為水平梯度，Gy 為垂直梯度。
如請求項4述的影像調整方法，其中依據該變異量調整參數以及該區域變異量來產生該調整後區域變異量的步驟用以下方程式來表示：

其中G_final 係為該調整後區域變異量、f1 係為該梯度調整函數、Brightness_local 係為該區域灰階值，以及G 係為該區域梯度值。
如請求項5所述的影像調整方法，其中該區域梯度調整函數係為一線性轉換函數，並且用以下方程式來表示：
其中b 1~b m 係對應到不同亮度區間，v 1~v m係根據f 1(b 1)~f 1(b m)來產生。
如請求項1所述的影像調整方法，其中將該調整後區域變異量與該變異量門檻值進行比較以決定是否對該當前畫素進行該雜訊抑制操作的步驟包含：當該當前區塊的該調整後區域變異量低於該變異量門檻值時，不對該當前畫素進行該雜訊抑制操作。
如請求項1所述的影像調整方法，另包含：使用一濾波器來對該區域灰階值進行調整，以產生一調整後灰階值，其中該調整後灰階值用以下方程式表示：
其中P_in 為原始灰階值，P_lpf 係為經過濾波器處理的灰階值，P_out 該調整後灰階值，α 係為雜訊抑制強度。
如請求項8所述的影像調整方法，其中該雜訊抑制強度用以下方程式來表示：
其中edge_thd1 、 edge_thd2 分別為第一、第二邊緣特徵門檻值，coef1 、 coef2 分別為使用者自訂之雜訊抑制強度。
一種影像處理電路，包含：一處理器，用以針對該影像的至少一畫面中複數個畫素依序進行處理，其中處理中的畫素為當前畫素，該當前畫素與多個鄰近畫素構成一當前區塊，且該處理器對每一當前區塊進行以下操作：讀取該當前區塊中每一畫素的灰階值；根據該些畫素的灰階值來決定出該當前區塊的一區域灰階值以及一區域變異量；透過一變異量調整函數來產生一變異量調整參數，其中該區域灰階值係為該變異量調整函數的一變數；依據該變異量調整參數以及該區域變異量來產生一調整後區域變異量；以及將該調整後區域變異量與一變異量門檻值進行比較，以決定是否對該當前畫素進行一雜訊抑制操作。