TWI459325B - 數位影像處理裝置及其處理方法 - Google Patents

Description

數位影像處理裝置及其處理方法

本發明是有關於一種數位影像處理，且特別是有關於一種超解析度(super-resolution)影像放大技術。

高解析度影像可應用至許多不同領域，包括數位相機、衛星影像、醫學影像、監視攝影機、以及犯罪調查等。舉例來說，具有高解析度的醫學影像能提高醫生診斷的準確率以及手術的成功率，而在監視攝影機方面，增強攝影機的解析度以提高追蹤辨識率，更可有效提供警方更多的辦案線索。

因此，將低解析度影像放大產生高解析度影像一直是數位影像處理中一項重要的研究課題，而影像內插(image interpolation)則是一種有關影像放大技術的方法。一般影像內插僅從單一影像放大來完成，因此影像品質受到很大的限制，舉例而言，目前常見的單一影像放大方法包括多項式內插法(polynomial interpolation)、沿著邊緣方向內插法(edge-directed interpolation)以及以樣本為基礎的超解析技術(exampled-based for super-resolution)。

多項式內插法雖然簡單且運算速度快，但是因缺乏影像高頻資訊而導致放大後的影像模糊，且會產生區塊效應(block effect)。沿著邊緣方向內插法則是為了解決多項式內插法在高頻資訊無法有效呈現的問題，高頻資訊所指的是影像的紋理和邊緣區域，此方法重點在於影像邊緣的保留，然而須要龐大的運算量才可完成。以樣本為基礎的超解析技術需要建立龐大的高低頻對應資料庫，且如何快速地從龐大的高低頻對應資料庫中找出相匹配的資料，亦為待解決之問題。

有鑑於此，本發明提供一種數位影像處理裝置，可將多張低解析度影像放大產生高解析度影像，並混合多張校正後影像以輸出超解析度影像。

本發明另提供一種數位影像處理方法，採用影像放大方法產生高解析度影像，且可混合多張校正後影像以產生超解析度影像。

本發明提出一種數位影像處理裝置，其包括數位影像擷取模組、影像放大模組、影像校正模組以及影像混合模組。其中，數位影像擷取模組用以擷取多數個第一解析度影像。影像放大模組耦接至數位影像擷取模組，針對第一解析度影像的解析度進行放大，並產生多數個第二解析度影像。影像校正模組耦接至影像放大模組，選擇第二解析度影像其中之一作為目標影像，剩餘之第二解析度影像為未選擇影像，影像校正模組針對未選擇影像分別執行位移量校正，並藉以產生校正後影像。影像混合模組耦接至影像校正模組，對目標影像之每一像素點與校正後影像之每一像素點分別執行方向梯度運算，影像混合模組並依據方向梯度運算產生的梯度差值，對目標影像之每一像素點與校正後影像之每一像素點進行比重和，以輸出第三解析度影像。其中，第三解析度影像之解析度高於第二解析度影像之解析度。

在本發明之一實施例中，所述之影像混合模組執行方向梯度運算用以產生方向梯度值，方向梯度值包括水平方向梯度值、垂直方向梯度值以及對角線方向梯度值。

在本發明之一實施例中，上述之水平方向梯度值為像素點與相鄰水平方向像素點之灰階差絕對值之和。上述之垂直方向梯度值為像素點與相鄰垂直方向像素點之灰階差絕對值之和。上述之對角線方向梯度值包括像素點與相鄰第一對角線方向像素點之灰階差絕對值之和以及像素點與相鄰第二對角線方向像素點之灰階差絕對值之和。

在本發明之一實施例中，所述之影像混合模組針對目標影像之每一像素點與校正後影像之每一像素點更選擇相對應的方向梯度值中之數值最大者作為最大梯度值，並選擇相對應的方向梯度值中之數值最小者作為最小梯度值，各梯度差值為最大梯度值與最小梯度值相減所得。

在本發明之一實施例中，所述之影像校正模組包括位移量估測單元以及位移量校正單元。位移量估測單元耦接至影像放大模組，用以產生全域位移量。位移量校正單元耦接至位移量估測單元，依據相對應的全域位移量對未選擇影像執行位移量校正，以產生校正後影像。

在本發明之一實施例中，上述之位移量估測單元包括區塊位移量估測器以及全域位移量估測器。區塊位移量估測器用以分割目標影像與未選擇影像為多數個區塊，估測目標影像與未選擇影像之間的區塊位移量。全域位移量估測器耦接至區塊位移量估測器，依據區塊位移量執行全域位移量估測以獲得全域位移量。

在本發明之一實施例中，所述之位移量校正利用仿射矩陣(Affine transformation matrix)將未選擇影像之起始點位置校正至與目標影像之起始點位置相同。

從另一觀點來看，本發明提出一種數位影像處理方法，用於具有多數個第一解析度影像的數位影像處理裝置，此數位影像處理方法包括下列步驟：採用影像放大方法對第一解析度影像的解析度進行放大，並產生多數個第二解析度影像。此外，選擇第二解析度影像其中之一作為目標影像，剩餘之第二解析度影像為未選擇影像，針對未選擇影像分別執行位移量校正，並藉以產生校正後影像。再者，對目標影像之每一像素點與校正後影像之每一像素點分別執行方向梯度運算，依據方向梯度運算產生的梯度差值，對目標影像之每一像素點與校正後影像之每一像素點進行比重和，以產生第三解析度影像。其中，第三解析度影像之解析度高於第二解析度影像之解析度。

在本發明之另一實施例中，所述之依據該些方向梯度運算產生多數個梯度差值的步驟包括選擇方向梯度值中之數值最大者作為最大梯度值，並且選擇方向梯度值中之數值最小者作為最小梯度值，並將最大梯度值與最小梯度值相減得到梯度差值其中之一。

在本發明之另一實施例中，所述之執行多數個影像校正於未選擇影像的步驟包括產生多數個全域位移量，且未選擇影像依據相對應的全域位移量執行位移量校正，藉以產生校正後影像。

在本發明之另一實施例中，所述之產生多數個全域位移量的步驟包括：分割目標影像與未選擇影像為多數個區塊，並且估測目標影像與未選擇影像之間的多數個區塊位移量，又依據區塊位移量執行全域位移量估測藉以產生全域位移量。

基於上述，本發明能將單張或是多張低解析度影像放大產生高解析度影像，比一般單一影像放大方法能得到更多的影像資訊，並利用多張影像混合以產生出一張具有高品質且富有豐富細節資訊的超解析度影像，由於做影像混合時加入了銳利度的考量，使超解析度影像能保持影像銳利度且可同時去除區塊效應。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

首先請參照圖1，圖1是依照本發明之一實施例所繪示之數位影像處理裝置的方塊圖。數位影像處理裝置10包括數位影像擷取模組100、影像放大模組200、影像校正模組300以及影像混合模組400。其中，數位影像擷取模組100用以擷取多數個第一解析度影像，數位影像擷取模組100例如是數位相機、數位攝影機(Digital Video,DV)等具有數位影像擷取功能的產品，其中，本實施例可使用CMOS感應器之數位影像擷取裝置，因為CMOS感應器的特點是能高速連拍，因此能對一個場景連續拍攝多數個第一解析度影像。

影像放大模組200耦接至數位影像擷取模組100。影像放大模組200針對第一解析度影像的解析度進行放大，並產生多數個第二解析度影像。影像放大模組200所採用之影像放大方法包括利用多項式內插方法、沿著邊緣方向內插方法或以樣本為基礎的超解析方法等等來達成。其中，上述之影像放大方法應為本領域具有通常知識者所熟知，因此，本領域具有通常知識者可視實際需求選擇影像放大模組200所採用之影像放大方法，在此不加以限制。

影像校正模組300耦接至影像放大模組200。影像校正模組300選擇第二解析度影像其中之一作為目標影像，而未被選為目標影像的剩餘之第二解析度影像則為未選擇影像。影像校正模組300並針對未選擇影像分別執行位移量校正，並藉以產生校正後影像。影像混合模組400耦接至影像校正模組300，用以針對目標影像之每一像素點與上述的校正後影像之每一像素點分別執行方向梯度運算。此外，影像混合模組400還依據方向梯度運算來產生的梯度差值，並針對目標影像之每一像素點與校正後影像之每一像素點進行比重和(weighting sum)，以輸出第三解析度影像。其中，第三解析度影像之解析度高於第二解析度影像之解析度。

以下請同時參照圖1及圖2，其中，圖2是依照本發明實施例之影像校正模組300的一實施方式。影像校正模組300可包括位移量估測單元310以及位移量校正單元320。位移量估測單元310耦接至影像放大模組200，用以產生全域位移量。位移量校正單元320耦接至位移量估測單元310，依據相對應的全域位移量對未選擇影像執行位移量校正，以產生校正後影像。

此外，圖3是依照本發明實施例之位移量估測單元310的一實施方式，請同時參照圖2及圖3。位移量估測單元310可包括區塊位移量估測器312以及全域位移量估測器314。區塊位移量估測器312用以分割目標影像與未選擇影像為多數個區塊，並且估測目標影像與未選擇影像之間的區塊位移量。全域位移量估測器314耦接至區塊位移量估測器312，依據區塊位移量執行全域位移量估測以獲得全域位移量。

為了使本發明之內容更為明瞭，以下特舉另一實施例作為本發明確實能夠據以實施的範例。圖4是依照本發明之另一實施例所繪示之數位影像處理裝置的方塊圖，請參照圖4。

首先，數位影像擷取模組100用以擷取4個第一解析度(本實施例舉例為低解析度)影像Img1_LR、Img2_LR、Img3_LR以及Img4_LR，在此實施例中以4個低解析度影像為例作說明，但本發明並未限制擷取影像之個數。值得注意的是，手持數位影像擷取裝置100連續拍攝多張影像，會有手振現象產生，而手振會造成影像間有次像素(sub-pixel)移動。

影像放大模組200採用影像放大方法對第一解析度影像的解析度進行放大，並產生多數個第二解析度影像，在本實施例中有4個第二解析度(舉例為高解析度)影像Img1_HR、Img2_HR、Img3_HR以及Img4_HR。接著，影像校正模組300選擇第二解析度影像其中之一作為目標影像，剩餘之第二解析度影像為未選擇影像，針對未選擇影像分別執行位移量校正，並藉以產生校正後影像。目標影像的選擇可由使用者自行決定，在此，將4個高解析度影像其中之一設定為目標影像Img1_HR，剩餘之高解析度影像則設定為未選擇影像Img2_HR、Img3_HR以及Img4_HR。

選定目標影像Img1_HR後，區塊位移量估測器312即可估算未選擇影像Img2_HR、Img3_HR以及Img4_HR相對於目標影像Img1_HR的位移量。詳細地說，區塊位移量估測器312會將目標影像Img1_HR與未選擇影像Img2_HR、Img3_HR以及Img4_HR以相同方法分割成多數個區塊。舉例而言，若目標影像與未選擇影像大小為P×Q，則可將目標影像與未選擇影像分割成M×N個區塊，其中M、N、P、Q為大於1的整數，且M小於等於P，N小於等於Q。因此，分割方法可依實際需求做設定並不加以限制。

接著，區塊位移量估測器312做區塊位移量估測，將未選擇影像Img2_HR、Img3_HR以及Img4_HR的每一區塊分別與目標影像Img1_HR做比較，例如以區塊比對方式等，因此可得到每一未選擇影像Img2_HR、Img3_HR以及Img4_HR相對於目標影像Img1_HR的多數個區塊位移量。於是，全域位移量估測器314便能利用上述區塊位移量進行全域位移量估測。舉例來說，全域位移量估測的方法可對多數個區塊位移量取眾數，也就是先將區塊位移量進行統計，選擇出現最多次的區塊位移量作為全域位移量，或是將所有的區塊位移量做平均而得到全域位移量等等。因此，每一未選擇影像Img2_HR、Img3_HR以及Img4_HR有各自的全域位移量。

位移量校正單元320則根據上述之全域位移量執行移動校正，移動校正係利用仿射矩陣將未選擇影像Img2_HR、Img3_HR以及Img4_HR之起始點位置校正至與目標影像Img1_HR之起始點相同位置。仿射矩陣可以作旋轉與移動校正，其中矩陣的係數由全域位移量所得。仿射矩陣公式如下：

其中，θ為未選擇影像與目標影像的旋轉角度，d _x 為未選擇影像與目標影像的水平方向位移量，d _y 為未選擇影像與目標影像的垂直方向位移量，x 及y 為原像素之水平及垂直軸上的座標值，x ^' 及y ^' 則為校正後像素之水平及垂直軸上的座標值。

基於上述可得到校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR。接下來，影像混合模組400將目標影像Img1_HR與校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中的每一個像素進行混合(blend)，以產生第三解析度(本實施例舉例為超解析度)影像Img1_SR。

目標影像Img1_HR與校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中的每一個像素皆執行下列運算：以R×R遮罩分別執行方向梯度運算，R為大於1的整數，例如可為3×3或5×5遮罩，如圖5所示，圖5是依照本發明之一實施例所繪示之R×R遮罩的示意圖，(a)3×3遮罩(b)5×5遮罩。方向梯度運算用以產生多數個方向梯度值，其包括水平方向梯度值H_Gra，垂直方向梯度值V_Gra，以及二對角線方向梯度值D-_Gra、D+_Gra，方向梯度運算公式如下，請配合參照圖5：

H _Gra =|SR [1][0]-SR [1][1]+|SR [1][2]-SR [1][1]

V _Gra =|SR [0][1]-SR [1][1]+|SR [2][1]-SR [1][1]

D -_Gra =|SR [0][0]-SR [1][1]+|SR [2][2]-SR [1][1]

D +_Gra =|SR [0][2]-SR [1][1]+|SR [2][0]-SR [1][1]

其中，如圖5所繪示的數值SR[1][0]~SR[2][2]是代表所遮罩之影像像素的灰階值。

得到上述方向梯度值後，接著選擇方向梯度值中之數值最大者作為最大梯度值，並選擇方向梯度值中之數值最小者作為最小梯度值，將此最大梯度值與此最小梯度值相減得到梯度差值。梯度差值的物理意義代表了此像素周圍是否有紋理或影像邊緣的存在，當梯度差值愈大，表示其周圍愈可能存在紋理變化或影像邊緣，據此，我們將梯度差值作為比重。將目標影像Img1_HR與校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中同一位置的像素，依據此梯度差值做比重和，因此可得到混合後的影像。其中的比重和FV的計算公式如下：

其中，n代表第n張影像，Weight [n ]代表第n張影像其中之一像素的梯度差值，img [n ]代表第n張影像其中之一像素的灰階值。

影像混合模組400將目標影像Img1_HR與校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中的每一個像素做上述方向梯度運算及混合後，即可輸出超解析度影像Img1_SR。在影像平坦區域中，目標影像Img1_HR與校正後影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR所計算出的梯度差值都很小，因此混合會有平均的效果，亦可達到降低雜訊的功效。

整理上述並推演可得一數位影像處理方法，如圖6所示，其適用於具有多數個第一解析度影像的數位影像處理裝置。圖6是依照本發明之一實施例所繪示之數位影像處理方法的流程圖，請參照圖6。步驟S610採用影像放大方法對第一解析度影像的解析度進行放大，並產生多數個第二解析度影像。步驟S620選擇第二解析度影像其中之一作為目標影像，剩餘之第二解析度影像為未選擇影像，針對未選擇影像分別執行位移量校正，並藉以產生校正後影像。步驟S630對目標影像之每一像素點與校正後影像之每一像素點分別執行方向梯度運算，依據方向梯度運算產生的梯度差值，對目標影像之每一像素點與校正後影像之每一像素點進行比重合，以產生第三解析度影像。至於本實施例的其他細部流程已包含在上述各實施例中，故在此不予贅述。

綜上所述，本發明能將單張或是多張低解析度影像放大產生高解析度影像，比一般單一影像放大方法能得到更多的影像資訊，並利用多張影像混合以產生出一張具有高品質且富有豐富細節資訊的超解析度影像。由於做影像混合時加入了方向梯度運算的方法，因此可以判斷每張影像的銳利度，銳利度愈高的影像在做混合時所佔的比重愈重，如此可使混合後的超解析度影像保持影像銳利度，且可同時去除區塊效應達到降低雜訊的功效。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10．．．數位影像處理裝置

100．．．數位影像擷取模組

200．．．影像放大模組

300．．．影像校正模組

310．．．位移量估測單元

312．．．區塊位移量估測器

314．．．全域位移量估測器

320．．．位移量校正單元

400．．．影像混合模組

Img1_LR~Img4_LR．．．低解析度影像

Img1_HR~Img4_HR．．．高解析度影像

CorrImg2_HR~CorrImg4_HR．．．校正後影像

Img1_SR．．．超解析度影像

圖1是依照本發明之一實施例所繪示之數位影像處理裝置的方塊圖。

圖2是依照本發明實施例之影像校正模組300的一實施方式。

圖3是依照本發明實施例之位移量估測單元310的一實施方式。

圖4是依照本發明之另一實施例所繪示之數位影像處理裝置的方塊圖。

圖5是依照本發明之一實施例所繪示之R×R遮罩的示意圖，(a)3×3遮罩(b)5×5遮罩。

圖6是依照本發明之一實施例所繪示之數位影像處理方法的流程圖。

10．．．數位影像處理裝置

100．．．數位影像擷取模組

200．．．影像放大模組

300．．．影像校正模組

400．．．影像混合模組

Claims (14)

1. 一種數位影像處理裝置，包括：一數位影像擷取模組，用以擷取多數個第一解析度影像；一影像放大模組，耦接至該數位影像擷取模組，針對該些第一解析度影像的解析度進行放大，並產生多數個第二解析度影像；一影像校正模組，耦接至該影像放大模組，選擇該些第二解析度影像其中之一作為一目標影像，剩餘之該些第二解析度影像為多數個未選擇影像，該影像校正模組針對該些未選擇影像分別執行多數個位移量校正，並藉以產生多數個校正後影像；以及一影像混合模組，耦接至該影像校正模組，對該目標影像之每一像素點與該些校正後影像之每一像素點分別執行多數個方向梯度運算，該影像混合模組並依據該些方向梯度運算產生的多數個梯度差值，對該目標影像之每一像素點與該些校正後影像之每一像素點進行比重和，以輸出一第三解析度影像，其中，該第三解析度影像之解析度高於該些第二解析度影像之解析度。
2. 如申請專利範圍第1項所述之數位影像處理裝置，其中該影像混合模組執行該些方向梯度運算用以產生多數個方向梯度值，該些方向梯度值包括一水平方向梯度值、一垂直方向梯度值以及二對角線方向梯度值。
3. 如申請專利範圍第2項所述之數位影像處理裝置，其中該水平方向梯度值為每一像素點與二相鄰水平方向像素點之灰階差絕對值之和，該垂直方向梯度值為每一像素點與二相鄰垂直方向像素點之灰階差絕對值之和，該些對角線方向梯度值包括每一像素點與二相鄰第一對角線方向像素點之灰階差絕對值之和以及每一像素點與二相鄰第二對角線方向像素點之灰階差絕對值之和。
4. 如申請專利範圍第2項所述之數位影像處理裝置，其中該影像混合模組針對該目標影像之每一像素點與該些校正後影像之每一像素點，更選擇該些方向梯度值中之數值最大者作為一最大梯度值，及選擇該些方向梯度值中之數值最小者作為一最小梯度值，各該梯度差值則為該最大梯度值與該最小梯度值相減所得。
5. 如申請專利範圍第1項所述之數位影像處理裝置，其中該影像校正模組包括：一位移量估測單元，耦接至該影像放大模組，用以產生多數個全域位移量；以及一位移量校正單元，耦接至該位移量估測單元，依據相對應的該些全域位移量對該些未選擇影像執行該些位移量校正，以產生該些校正後影像。
6. 如申請專利範圍第5項所述之數位影像處理裝置，其中該位移量估測單元包括：一區塊位移量估測器，分割該目標影像與該些未選擇影像為多數個區塊，估測該目標影像與該些未選擇影像之間的多數個區塊位移量；以及一全域位移量估測器，耦接至該區塊位移量估測器，依據該些區塊位移量執行多數個全域位移量估測以獲得該些全域位移量。
7. 如申請專利範圍第1項所述之數位影像處理裝置，其中該些位移量校正利用仿射矩陣將該些未選擇影像之起始點位置校正至與該目標影像之起始點位置相同。
8. 一種數位影像處理方法，用於具有多數個第一解析度影像的一數位影像處理裝置，該數位影像處理方法包括：採用一影像放大方法對該些第一解析度影像的解析度進行放大，並產生多數個第二解析度影像；選擇該些第二解析度影像其中之一作為一目標影像，剩餘之該些第二解析度影像為多數個未選擇影像，針對該些未選擇影像分別執行多數個位移量校正，並藉以產生多數個校正後影像；以及對該目標影像之每一像素點與該些校正後影像之每一像素點分別執行多數個方向梯度運算，依據該些方向梯度運算產生的多數個梯度差值，對該目標影像之每一像素點與該些校正後影像之每一像素點進行比重和，以產生一第三解析度影像，其中，該第三解析度影像之解析度高於該些第二解析度影像之解析度。
9. 如申請專利範圍第8項所述之數位影像處理方法，其中該些方向梯度運算用以產生多數個方向梯度值，該些方向梯度值包括一水平方向梯度值、一垂直方向梯度值以及二對角線方向梯度值。
10. 如申請專利範圍第9項所述之數位影像處理方法，其中該水平方向梯度值為每一像素點與二相鄰水平方向像素點之灰階差絕對值之和，該垂直方向梯度值為每一像素點與二相鄰垂直方向像素點之灰階差絕對值之和，該些對角線方向梯度值包括每一像素點與二相鄰第一對角線方向像素點之灰階差絕對值之和以及每一像素點與二相鄰第二對角線方向像素點之灰階差絕對值之和。
11. 如申請專利範圍第9項所述之數位影像處理方法，其中“依據該些方向梯度運算產生該些梯度差值”的步驟包括：選擇該些方向梯度值中之數值最大者作為一最大梯度值；選擇該些方向梯度值中之數值最小者作為一最小梯度值；以及使該最大梯度值與該最小梯度值相減得到該些梯度差值其中之一。
12. 如申請專利範圍第8項所述之數位影像處理方法，其中執行該些影像校正於該些未選擇影像的步驟包括：產生多數個全域位移量；以及該些未選擇影像依據相對應的該些全域位移量執行該些位移量校正，以產生該些校正後影像。
13. 如申請專利範圍第12項所述之數位影像處理方法，其中產生該些全域位移量的步驟包括：分割該目標影像與該些未選擇影像為多數個區塊；估測該目標影像與該些未選擇影像之間的多數個區塊位移量；依據該些區塊位移量執行多數個全域位移量估測，並藉以產生該些全域位移量。
14. 如申請專利範圍第8項所述之數位影像處理方法，其中該位移量校正利用仿射矩陣將該些未選擇影像之起始點位置校正至與該目標影像之起始點位置相同。