TWI736112B - 像素值校正方法以及像素值校正裝置 - Google Patents

Abstract

像素值校正方法包含：取得複數個像素所產生之輸入影像資料，其包含該複數個像素的第一部份及第二部份各自輸出之第一色彩平面的第一組像素值及第二色彩平面的第二組像素值；決定複數組濾波響應值與複數組目標值之間的差值函數，該複數組濾波響應值是利用複數組特徵濾波係數對估測影像資料在該第一、第二色彩平面分別對應之複數個第一、第二估測像素值進行濾波而產生；藉由求取使該差值函數具有最小值時該估測影像資料的解，決定一組校正濾波係數；以及使濾波器電路採用該組校正濾波係數，對該輸入影像資料進行濾波，以校正該第一組像素值。

Description

像素值校正方法以及像素值校正裝置

本揭示內容係關於影像處理技術，尤指一種利用濾波器電路來進行像素值校正的方法及裝置。

藉由彩色濾光片，影像感測器可擷取不同的色彩資訊。舉例來說，採用拜爾彩色濾光片陣列（Bayer color filter array）的互補式金屬氧化物半導體影像感測器（complementary metal-oxide-semiconductor image sensor，CMOS image sensor）可具有紅色、綠色及藍色通道，其中各像素可提供紅色（R）、綠色（G）與藍色（B）通道的其中之一的色彩資訊。藉由影像內插（interpolation）/去馬賽克處理（demosaicing），可根據各通道的色彩資訊重建出全彩影像。

然而，像素串擾（pixel crosstalk）會嚴重影響影像內插/去馬賽克處理的結果。以拜爾彩色濾光片陣列為例，綠色濾光片的個數是紅色濾光片和藍色濾光片的兩倍，其中左右均為紅色像素（對應紅色濾光片來設置；可稱作R像素）的綠色像素（對應綠色濾光片來設置；可稱作Gr像素）所受到的像素串擾，不同於左右均為藍色像素（對應藍色濾光片來設置；可稱作B像素）的綠色像素（對應綠色濾光片來設置；可稱作Gb像素）所受到的像素串擾。如此一來，兩個綠色像素會提供不同干擾程度的色彩資訊，產生Gb-Gr不平衡（Gb-Gr imbalance）的現象，進而降低成像品質。

因此，需要一種影像處理方案，來解決Gb-Gr不平衡的問題。

本揭示的實施例提供一種利用濾波器電路來進行像素值校正的方法及裝置。

本揭示的某些實施例包含一種像素值校正方法。該像素值校正方法包含以下步驟：取得複數個像素所產生之一輸入影像資料，該輸入影像資料包含該複數個像素的一第一部份所輸出之一第一色彩平面的一第一組像素值，以及該複數個像素的一第二部份所輸出之一第二色彩平面的一第二組像素值；決定一估測影像資料的複數組濾波響應值與複數組目標值之間的一差值函數，其中該估測影像資料包含在該第一色彩平面與在該第二色彩平面之中該複數個像素分別對應的複數個第一估測像素值與複數個第二估測像素值；該複數組濾波響應值是利用複數組特徵濾波係數對該複數個第一估測像素值與該複數個第二估測像素值進行濾波而產生；該複數個像素的該第二部份中各像素在該第一色彩平面之中的預估像素值作為該複數組目標值之一第一組目標值；藉由求取使該差值函數具有最小值時該估測影像資料的解，來決定至少一組校正濾波係數；以及使一濾波器電路採用該至少一組校正濾波係數，對該輸入影像資料進行濾波，以校正該第一組像素值。

本揭示的某些實施例包含一種像素值校正裝置。該像素值校正裝置包含一計算模組以及一濾波器電路。該計算模組用以：取得複數個像素所產生之一輸入影像資料，該輸入影像資料包含該複數個像素的一第一部份所輸出之一第一色彩平面的一第一組像素值，以及該複數個像素的一第二部份所輸出之一第二色彩平面的一第二組像素值；決定一估測影像資料的複數組濾波響應值與複數組目標值之間的一差值函數，其中該估測影像資料包含在該第一色彩平面與在該第二色彩平面之中該複數個像素分別對應的複數個第一估測像素值與複數個第二估測像素值；該複數組濾波響應值是利用複數組特徵濾波係數對該複數個第一估測像素值與該複數個第二估測像素值進行濾波而產生；該複數個像素的該第二部份中各像素在該第一色彩平面之中的預估像素值作為該複數組目標值之一第一組目標值；以及藉由求取使該差值函數具有最小值時該估測影像資料的解，來決定至少一組校正濾波係數。該濾波器電路耦接於該計算模組，用以採用該至少一組校正濾波係數對該輸入影像資料進行濾波，以校正該第一組像素值。

以下揭示內容提供了多種實施方式或例示，其能用以實現本揭示內容的不同特徵。下文所述之元件與配置的具體例子係用以簡化本揭示內容。當可想見，這些敘述僅為例示，其本意並非用於限制本揭示內容。舉例來說，若將一元件描述為與另一元件「連接（connected to）」或「耦接（coupled to）」，則兩者可直接連接或耦接，或兩者之間可能出現其他中間（intervening）元件。此外，本揭示內容可能會在多個實施例中重複使用元件符號和/或標號。此種重複使用乃是基於簡潔與清楚的目的，其本身不代表所討論的不同實施例和/或組態之間的關係。再者，當可理解，本揭示的實施例提供了許多可應用的概念，其可廣泛地實施於各種特定場合。以下所討論的實施例僅供說明的目的，並非用來限制本揭示的範圍。

藉由適當/最佳化的濾波器設計方式，本揭示所提供的像素值校正方案可在保留不同色彩平面（color plane）（諸如Gb平面和Gr平面）各自的紋理特徵的情形下，根據即時影像資料來重建色彩平面，估測不同色彩平面之間的像素值落差/像素值修正量，並據以進行像素值校正。進一步的說明如下。

圖1繪示了本揭示的像素值校正裝置的一實施例的功能方塊示意圖。像素值校正裝置100可實施為（但不限於）成像系統、顯示系統或影像處理系統之中的電路晶片。在此實施例中，像素值校正裝置100可藉由對複數個像素（圖1未繪示）所產生之一輸入影像資料IM進行濾波處理，以校正輸入影像資料IM所包含的像素值。

像素值校正裝置100可包含（但不限於）一計算模組110以及一濾波器電路120。計算模組110用以取得輸入影像資料IM，並可根據輸入影像資料IM決定複數組目標值{T}之至少一部份。此外，計算模組110可決定一估測影像資料EM的複數組濾波響應值{R}與複數組目標值{T}之間的一差值函數f({R},{T})。藉由求取差值函數f({R},{T})滿足一預定條件時估測影像資料EM的解，計算模組110可決定出至少一組校正濾波係數{C}。舉例來說，計算模組110可藉由求取使差值函數f({R},{T})具有最小值時估測影像資料EM的解，來決定至少一組校正濾波係數{C}。

濾波器電路120耦接於計算模組110，用以根據至少一組校正濾波係數{C}對輸入影像資料IM進行濾波，以校正輸入影像資料IM之中的至少一部份的像素值。舉例來說，在處理Gr-Gb不平衡的應用中，濾波器電路120可根據至少一組校正濾波係數{C}來重建Gr平面與Gb平面之至少其一，以及根據Gr平面與Gb平面之間的像素值落差來校正輸入影像資料IM之中Gr像素與Gb像素之至少其一所輸出的像素值。

圖2繪示了圖1所示之輸入影像資料IM的一實施例的示意圖。在此實施例中，輸入影像資料IM包含複數個像素P ₀～P ₂₄所輸出的複數個像素值，其中複數個像素P ₀～P ₂₄可對應於拜爾彩色濾光片陣列的設計來設置，而排列成5列與5行的像素陣列。複數個像素P ₁、P ₃、P ₁₁、P ₁₃、P ₂₁與P ₂₃（可稱作R像素）用以提供紅色通道的色彩資訊，並分別輸出一色彩平面（即R平面）之複數個像素值R ₁、R ₃、R ₁₁、R ₁₃、R ₂₁與R ₂₃。複數個像素P ₅、P ₇、P ₉、P ₁₅、P ₁₇與P ₁₉（可稱作B像素）用以提供藍色通道的色彩資訊，並分別輸出一色彩平面（即B平面）之複數個像素值B ₅、B ₇、B ₉、B ₁₅、B ₁₇與B ₁₉。

此外，複數個像素P ₀、P ₂、P ₄、P ₆、P ₈、P ₁₀、P ₁₂、P ₁₄、P ₁₆、P ₁₈、P ₂₀、P ₂₂與P ₂₄用以提供綠色通道的色彩資訊，其中與R像素位於同一列的複數個像素P ₀、P ₂、P ₄、P ₁₀、P ₁₂、P ₁₄、P ₂₀、P ₂₂與P ₂₄（即Gr像素）分別輸出一色彩平面（即Gr平面）之複數個像素值Gr ₀、Gr ₂、Gr ₄、Gr ₁₀、Gr ₁₂、Gr ₁₄、Gr ₂₀、Gr ₂₂與Gr ₂₄，與B像素位於同一列的複數個像素P ₆、P ₈、P ₁₆與P ₁₈（即Gb像素）分別輸出一色彩平面（即Gb平面）之複數個像素值Gb ₆、Gb ₈、Gb ₁₆與Gb ₁₈。

為便於理解本揭示的內容，以下基於重建Gr平面與Gb平面以校正Gr像素與Gb像素所輸出的像素值的實施例，來說明本揭示所提供的像素值校正方案。然而，本揭示並不以此為限。舉例來說，將本揭示所提供的像素值校正方案應用於重建至少一色彩平面以估測不同色彩平面之間的像素值落差（或像素值修正量），進而校正像素值的實施方式，亦遵循本揭示的精神而落入本揭示的範疇。

請一併參閱圖1與圖2。在取得輸入影像資料IM之後，計算模組110可根據輸入影像資料IM來決定複數組目標值{T}，其中複數組目標值{T}可指示出重建後的色彩平面（Gr平面或Gb平面）被期待具有的影像特性。舉例來說，若希望重建後的Gr平面可具有細緻的紋理特徵，複數組目標值{T}可包含Gb像素在Gr平面之中的預估像素值。因此，在重建後的Gr平面之中，可預期相鄰的像素行（或像素列）相對應的像素值能夠表現出像素行（或像素列）之間的亮暗變化。

此外，計算模組110可利用複數組特徵濾波係數對估測影像資料EM進行濾波以產生複數組濾波響應值{R}，進而決定複數組濾波響應值{R}與複數組目標值{T}之間的差值函數f({R},{T})。

在此實施例中，估測影像資料EM可包含在一色彩平面G ₀’與一色彩平面G ₁’之中複數個像素P ₀～P ₂₄分別對應的複數個估測像素值G ₀’(0)～G ₀’(24)與複數個估測像素值G ₁’(0)～G ₁’(24)。色彩平面G ₀’與色彩平面G ₁’的其中之一可以是Gr平面，色彩平面G ₀’與色彩平面G ₁’的其中之另一可以與Gb平面。舉例來說，在複數個像素P ₀～P ₂₄中的一感興趣像素是Gr像素的情形下，色彩平面G ₀’是Gr平面，色彩平面G ₁’則是Gb平面，其中該感興趣像素於色彩平面G ₀’與色彩平面G ₁’中各自的像素值，可用來估測色彩平面G ₀’與色彩平面G ₁’之間的像素值誤差。又例如，在該感興趣像素是Gb像素的情形下，色彩平面G ₀’是Gb平面，色彩平面G ₁’則是Gr平面。在此實施例中，該感興趣像素可以是（但不限於）複數個像素P ₀～P ₂₄的中心像素，因此色彩平面G ₀’與色彩平面G ₁’分別是Gr平面與Gb平面。

該複數組特徵濾波係數可根據重建後的色彩平面被期待具有的影像特性來設計，使複數組濾波響應值{R}可接近（或大致等於）複數組目標值{T}。請連同圖2參閱圖3。圖3是用來對圖2所示之複數個估測像素值G ₀’(0)～G ₀’(24)與G ₁’(0)～G ₁’(24)進行濾波的複數組特徵濾波係數的一實施例的示意圖。在此實施例中，為使重建後的Gr平面與Gb平面的影像特性包含（但不限於）影像平滑性、結構相似性、資料吻合性與紋理細緻性，複數組目標值{T}可包含指示出影像平滑性的複數組目標值T _smooth,g0與T _smooth,g1、指示出結構相似性的一組目標值T _struct、指示出資料吻合性的複數組目標值T _subraw,g0與T _subraw,g1，以及指示出紋理細緻性的一組目標值T _approx。此外，可採用複數組特徵濾波係數M _smooth、M _struct、M _subraw,g0、M _subraw,g1與M _approx來對複數個估測像素值G ₀’(0)～G ₀’(24)與G ₁’(0)～G ₁’(24)進行濾波，以產生複數組濾波響應值R _smooth,g0、R _smooth,g1、R _struct、R _subraw,g0、R _subraw,g1與R _approx，其可作為圖1所示之複數組濾波響應值{R}之一實施例。各組濾波響應值及其相對應之一組目標值的某些實施方式說明如下。值得注意的是，由於影像濾波操作可藉由利用濾波係數（捲積核）對像素值進行捲積運算的方式來實施，為方便說明，圖3所示之實施例係以矩陣乘法來表示捲積運算，其中複數個估測像素值G ₀’(0)～G ₀’(24)可向量化為25×1的行向量，以及複數個估測像素值G ₁’(0)～G ₁’(24)可向量化為25×1的行向量。

影像平滑性是指自然影像通常不具有極高頻的特徵，而具有訊號連續的相對平滑特性。因此，可預期重建後的Gr平面與Gb平面不具有極高頻的特徵。舉例來說，可根據輸入影像資料IM在色彩平面G ₀’中的高頻成分來決定該組目標值T _smooth,g0。該組特徵濾波係數M _smooth可用來對色彩平面G ₀’中的複數個估測像素值G ₀’(0)～G ₀’(24)進行高通濾波，使該組濾波響應值R _smooth,g0可反映出估測影像資料EM在色彩平面G ₀’中的高頻成分。也就是說，該組特徵濾波係數M _smooth可由高通濾波係數陣列來實施，諸如25×25的濾波係數矩陣。在估測影像資料EM在色彩平面G ₀’不具有（或幾乎不具有）高頻成分的情形下，該組目標值T _smooth,g0可等於或近似於零，以及該組濾波響應值R _smooth,g0可被預期為等於或近似於零。

相似地，可根據輸入影像資料IM在色彩平面G ₁’中的高頻成分來決定該組目標值T _smooth,g1。該組特徵濾波係數M _smooth可用來對色彩平面G ₁’中的複數個估測像素值G ₁’(0)～G ₁’(24)進行高通濾波，使該組濾波響應值R _smooth,g1可反映出估測影像資料EM在色彩平面G ₁’中的高頻成分。在估測影像資料EM在色彩平面G ₁’不具有（或幾乎不具有）高頻成分的情形下，該組目標值T _smooth,g1可等於或近似於零，以及該組濾波響應值R _smooth,g1可被預期為等於或近似於零。

值得注意的是，雖然以上是以同一組特徵濾波係數M _smooth來對色彩平面G ₀’之複數個估測像素值G ₀’(0)～G ₀’(24)與色彩平面G ₁’之複數個估測像素值G ₁’(0)～G ₁’(24)進行濾波，然而，採用不同組特徵濾波係數來進行濾波也是可行的。

結構相似性是指重建後的不同色彩平面可具有相似的結構。因此，雖然重建後的Gr平面與Gb平面兩者之間可能存在某個程度的像素值落差，但是均可表現出複數個像素P ₀～P ₂₄相應的G通道紋理特徵，故可預期各像素在重建後的Gr平面與Gb平面之中各自的預估像素值的結構特徵之間的差距很小。舉例來說，可根據複數個像素P ₀～P ₂₄中各像素在色彩平面G ₀’與色彩平面G ₁’之間像素值的落差變化來決定該組目標值T _struct。該組特徵濾波係數M _struct可用來對各像素在色彩平面G ₀’與色彩平面G ₁’中各自的估測像素值之間的像素值落差進行高通濾波，使該組濾波響應值R _struct可反映出估測影像資料EM在色彩平面G ₀’與色彩平面G ₁’之間高頻結構的落差變化。也就是說，該組特徵濾波係數M _struct可由高通濾波係數陣列來實施，諸如25×25的濾波係數矩陣。在色彩平面G ₀’與色彩平面G ₁’具有相同/相似紋理結構的情形下，該組目標值T _struct可等於或近似於零，以及該組濾波響應值R _struct可被預期為等於或近似於零。

資料吻合性是指複數個像素P ₀、P ₂、P ₄、P ₁₀、P ₁₂、P ₁₄、P ₂₀、P ₂₂與P ₂₄（Gr像素）在重建後的Gr平面中相對應的像素值，可分別與輸入影像資料IM中複數個像素值Gr ₀、Gr ₂、Gr ₄、Gr ₁₀、Gr ₁₂、Gr ₁₄、Gr ₂₀、Gr ₂₂與Gr ₂₄相等或相近，以及複數個像素P ₆、P ₈、P ₁₆與P ₁₈（Gb像素）在重建後的Gb平面中相對應的像素值，可分別與輸入影像資料IM中複數個像素值Gb ₆、Gb ₈、Gb ₁₆與Gb ₁₈相等或相近。

舉例來說，在色彩平面G ₀’與色彩平面G ₁’分別是Gr平面與Gb平面的實施例中，可根據複數個像素值Gr ₀、Gr ₂、Gr ₄、Gr ₁₀、Gr ₁₂、Gr ₁₄、Gr ₂₀、Gr ₂₂與Gr ₂₄來決定該組目標值T _subraw,g0，以及根據複數個像素值Gb ₆、Gb ₈、Gb ₁₆與Gb ₁₈來決定該組目標值T _subraw,g1。該組特徵濾波係數M _subraw,g0可用來對複數個像素P ₀、P ₂、P ₄、P ₁₀、P ₁₂、P ₁₄、P ₂₀、P ₂₂與P ₂₄於色彩平面G ₀’中相對應的估測像素值進行取樣，使該組濾波響應值R _subraw,g0可反映出各Gr像素在色彩平面G ₀’中相對應的像素值。此外，該組特徵濾波係數M _subraw,g1可用來對複數個像素P ₆、P ₈、P ₁₆與P ₁₈於色彩平面G ₁’中相對應的估測像素值進行取樣，使該組濾波響應值R _subraw,g1可反映出各Gb像素在色彩平面G ₁’中相對應的像素值。

在某些實施例中，可直接將輸入影像資料IM中各Gr像素的像素值作為該組目標值T _subraw,g0，以及直接將輸入影像資料IM中各Gb像素的像素值作為該組目標值T _subraw,g1：

；以及

。

紋理細緻性可反映出像素行與像素行之間的訊號變化資訊，和/或像素列與像素列之間的訊號變化資訊。例如，在影像處理的內插操作中，可將Gr平面與Gb平面之像素值視為同一色彩通道的像素資訊，使相鄰的像素行（或像素列）在重建後的Gr平面/Gb平面中的像素值，可以表現出像素行之間（或像素列之間）的亮暗變化/影像紋理。舉例來說，在色彩平面G ₀’與色彩平面G ₁’分別是Gr平面與Gb平面的實施例中，可將Gb像素在Gr平面之中的一組預估像素值G _0,sub’’（複數個像素值Gb ₆、Gb ₈、Gb ₁₆與Gb ₁₈相對應之複數個預估像素值G ₀’’(6)、G ₀’’(8)、G ₀’’(16)、G ₀’’(18)）作為該組目標值T _approx，使重建後的Gr平面可被預期表現出像素行之間（或像素列之間）的亮暗變化。此外，該組特徵濾波係數M _approx可用來對色彩平面G ₀’之複數個估測像素值G ₀’(6)、G ₀’(8)、G ₀’(16)與G ₀’(18)進行取樣，使該組濾波響應值R _approx可反映出在色彩平面G ₀’中各Gr像素相對應的估測像素值。

值得注意的是，複數個預估像素值G ₀’’(6)、G ₀’’(8)、G ₀’’(16)與G ₀’’(18)可由多種預估方式來取得。以預估像素值G ₀’’(6)為例，在某些實施例中，圖1所示之計算模組110可根據像素P ₆於Gb平面的像素值Gb ₆以及像素P ₆周圍的四個像素P ₀、P ₂、P ₁₀與P ₁₂於Gr平面的複數個像素值Gr ₀、Gr ₂、Gr ₁₀與Gr ₁₂來決定。舉例來說（但本揭示不限於此），圖1所示之計算模組110可將(Gr ₀+Gr ₂)/2、(Gr ₁₀+Gr ₁₂)/2、(Gr ₀+Gr ₁₀)/2與(Gr ₂+Gr ₁₂)/2之中與Gb ₆最接近的一個值，作為預估像素值G ₀’’(6)。

圖4是圖3所示之複數組特徵濾波係數M _subraw,g0、M _subraw,g1與M _approx的實施例的示意圖。在此實施例中，複數組特徵濾波係數M _subraw,g0、M _subraw,g1與M _approx可用來圖2所示之估測影像資料EM進行跳點取樣。例如，在圖2所示之色彩平面G ₀’與色彩平面G ₁’分別是Gr平面與Gb平面的實施例中，該組特徵濾波係數M _subraw,g0可由9×25的取樣矩陣來實施，以取樣出複數個估測像素值G ₀’(0)、G ₀’(2)、G ₀’(4)、G ₀’(10)、G ₀’(12)、G ₀’(14)、G ₀’(20)、G ₀’(22)與G ₀’(24)，以及該組特徵濾波係數M _subraw,g1可由4×25的取樣矩陣來實施，以取樣出複數個估測像素值G ₁’(6)、G ₁’(8)、G ₁’(16)與G ₁’(18)。此外，該組特徵濾波係數M _approx可由4×25的取樣矩陣來實施，以取樣出複數個估測像素值G _0'’’(6)、G ₀’’(8)、G ₀’’(16)與G ₀’’(18)。

圖5是根據圖3所示之各組濾波響應值與相對應之一組目標值所決定之差值函數的一實施例的示意圖。圖1所示之差值函數f({R},{T})可由圖5所示之差值函數fd來實施。於此實施例中，差值函數fd可由複數組濾波響應值R _smooth,g0、R _smooth,g1、R _struct、R _subraw,g0、R _subraw,g1和R _approx與複數組目標值T _smooth,g0與T _smooth,g1、T _struct、T _subraw,g0、T _subraw,g1與T _approx之間的一加權平方誤差來實施，其中

、

、

與

分別是影像平滑性、結構相似性、資料吻合性與紋理細緻性相對應的權重。舉例來說，在對低光源下所擷取的輸入影像資料進行濾波處理時，可提高影像平滑性的權重（即

）以減少輸出影像資料受到雜訊成分的影響。

於此實施例中，可利用最小平方法來求取使差值函數fd具有最小值時（以min(fd)表示）複數個估測像素值G ₀’(0)～G ₀’(24)與G ₁’(0)～G ₁’(24)（即圖2所示之估測影像資料EM）的解，來決定圖1所示之濾波器電路120採用的至少一組校正濾波係數。例如，複數組濾波響應值R _smooth,g0、R _smooth,g1、R _struct、R _subraw,g0、R _subraw,g1與R _approx可表示為複數組特徵濾波係數M _smooth、M _struct、M _subraw,g0、M _subraw,g1與M _approx相關的一數據矩陣U（諸如92×50的矩陣）乘以複數個估測像素值G ₀’(0)～G ₀’(24)與G ₁’(0)～G ₁’(24)相關的一估測向量G（諸如50×1的行矩陣），複數組目標值T _smooth,g0與T _smooth,g1、T _struct、T _subraw,g0、T _subraw,g1與T _approx可表示一目標向量V（諸如92×1的行矩陣）。因此，使差值函數fd具有最小值時複數個估測像素值G ₀’(0)～G ₀’(24)與G ₁’(0)～G ₁’(24) 的解，可表示為矩陣(U ^TU) ^-1、矩陣U ^T與目標向量V的乘積，其中矩陣U ^T是數據矩陣U的轉置矩陣，而矩陣(U ^TU) ^-1是矩陣U ^T與數據矩陣U的乘積的反矩陣。至少一組校正濾波係數便可根據矩陣(U ^TU) ^-1與矩陣U ^T的乘積來決定。例如，矩陣(U ^TU) ^-1與矩陣U ^T的乘積可作為濾波矩陣F，其中f _0,g0～f _24,g0表示濾波矩陣F的第0列～第25列的列向量，f _0,g1～f _24,g1表示濾波矩陣F的第26列～第50列的列向量。由於濾波矩陣F與目標向量V均為已知，可根據濾波矩陣F與目標向量V來重建色彩平面G ₀’與色彩平面G ₁’，以校正圖2所示之複數個像素P ₀～P ₂₄中感興趣像素（pixel of interest）的像素值。

圖6是根據圖5所示之濾波矩陣F與目標向量V來重建圖2所示之色彩平面G ₀’與色彩平面G ₁’的一實施例的示意圖。請連同圖1及圖5來參閱圖6。於此實施例中，色彩平面G ₀’與色彩平面G ₁’可分別對應於（但不限於）Gr平面與Gb平面。各Gr像素與各Gb像素的像素值可被校正到的資料平面DP。以感興趣像素是複數個像素P ₀～P ₂₄的像素P ₁₂（中心像素）為例，像素P ₁₂於色彩平面G ₀’之估測像素值G ₀’(12)可表示為f _12,g0V，中心像素P ₁₂於色彩平面G ₁’之估測像素值G ₁’(12)可表示為f _12,g1V。像素P ₁₂於Gr平面與Gb平面之間的像素值落差可表示為(f _12,g0−f _12,g1)V。在像素P ₁₂之像素值Gr ₁₂的像素值修正量等於上述像素值落差的一半的情形下，計算模組110可決定一組校正濾波係數

。濾波器電路120可採用該組校正濾波係數

對輸入影像資料IM進行濾波，以決定像素P ₁₂之像素值Gr ₁₂的像素值修正量

接下來，濾波器電路120可根據像素值修正量

將像素值Gr ₁₂校正為(Gr ₁₂−

)。

值得注意的是，上述根據至少一組校正濾波係數進行像素值校正的方式僅供說明的目的，並非用來限制本揭示的內容。在某些實施例中，像素值修正量不限於同一像素之像素值在色彩平面G ₀’與色彩平面G ₁’之間的像素落差值的一半。在某些實施例中，濾波器電路120可採用兩組校正濾波係數f _12,g0與f _12,g0分別對輸入影像資料IM進行濾波，得到估測像素值G ₀’(12)與估測像素值G ₁’(12)。接下來，濾波器電路120可根據估測像素值G ₀’(12)與估測像素值G ₁’(12)之間的差決定像素值修正量（諸如

），並據以校正像素值Gr ₁₂。

在某些實施例中，計算模組110可決定一組校正濾波係數

。濾波器電路120可採用該組校正濾波係數

對輸入影像資料IM進行濾波，以將像素值Gr ₁₂校正為在色彩平面G ₀’與在色彩平面G ₁’之中像素P ₁₂分別對應的估測像素值G ₀’(12)與估測像素值G ₁’(12)的平均值

。在某些實施例中，濾波器電路120可採用兩組校正濾波係數f _12,g0與f _12,g0分別對輸入影像資料IM進行濾波，得到估測像素值G ₀’(12)與估測像素值G ₁’(12)。接下來，濾波器電路120可將像素值Gr12校正為估測像素值G ₀’(12)與估測像素值G ₁’(12)的平均值

。

雖然以上是基於複數個像素P ₀～P ₂₄的中心像素來說明像素值校正的實施方式，然而，本揭示所提供的像素值校正方案可應用於其他感興趣像素，諸如其他Gr像素或Gb像素，而不會悖離本揭示的精神。

以上所述僅供說明的目的，並非用來限制本揭示的內容。在某些實施例中，圖1所示之差值函數f({R},{T})並不限於加權平方誤差的實施方式。舉例來說，圖5所示之影像平滑性、結構相似性、資料吻合性與紋理細緻性相對應的權重可彼此相等。也就是說，圖1所示之差值函數f({R},{T})可由圖3所示之複數組濾波響應值R _smooth,g0、R _smooth,g1、R _struct、R _subraw,g0、R _subraw,g1和R _approx與複數組目標值T _smooth,g0與T _smooth,g1、T _struct、T _subraw,g0、T _subraw,g1與T _approx之間的誤差平方和來實施。又例如，圖1所示之差值函數f({R},{T})可由各組濾波響應值與相對應之一組目標值之間的誤差絕對值的總和來實施。

在某些實施例中，濾波器電路的設計不一定要同時考量影像平滑性、結構相似性、資料吻合性與紋理細緻性。舉例來說，省略影像平滑性、結構相似性、資料吻合性與紋理細緻性其中的一個或多個影像特性來設計濾波器電路也是可行的。

在某些實施例中，本揭示所提供的像素值校正方案也可應用於RYYB彩色濾光片陣列（採用一個紅色濾光片、一個藍色濾光片搭配兩個黃色濾光片的濾光片設計）、CYYM彩色濾光片陣列（採用一個青色濾光片、一個洋紅色濾光片搭配兩個黃色濾光片的濾光片設計）或其他類型的彩色濾光片陣列。舉例來說，於RYYB彩色濾光片陣列的應用中，本揭示所提供的像素值校正方案可用於校正兩個黃色像素（分別與紅色像素與藍色像素位於同一像素列）因為像素串擾所引起的誤差。又例如，於CYYM彩色濾光片陣列的應用中，本揭示所提供的像素值校正方案可用於校正兩個黃色像素（分別與青色像素與洋紅色像素位於同一像素列）因為像素串擾所引起的誤差。

只要是可決定包含不同色彩平面之一估測影像資料的複數組濾波響應值與複數組目標值之間的一差值函數，並藉由求取使該差值函數具有最小值時該估測影像資料的解以決定至少一組校正濾波係數，使濾波器電路可即時估測不同色彩平面之像素值落差（或像素值修正量）以進行像素值校正的方案，設計上相關的變化均遵循本揭示的精神而落入本揭示的範疇。

圖7是本揭示的像素值校正方法的一實施例的流程圖。為了方便說明，以下搭配圖1所示之像素值校正裝置100、圖2所示之輸入影像資料IM以及圖5所示之差值函數fd來說明像素值校正方法700。然而，這並非用來限制本揭示的內容。此外，在某些實施例中，可安插某些步驟於像素值校正方法700之中。像素值校正方法700可簡單歸納如下。

於步驟702中，取得複數個像素所產生之一輸入影像資料，該輸入影像資料包含該複數個像素的一第一部份所輸出之一第一色彩平面的一第一組像素值，以及該複數個像素的一第二部份所輸出之一第二色彩平面的一第二組像素值。舉例來說，計算模組110可取得複數個像素P ₀～P ₂₄所產生之輸入影像資料IM，其包含複數個像素P ₀、P ₂、P ₄、P ₆、P ₈、P ₁₀、P ₁₂、P ₁₄、P ₁₆、P ₁₈、P ₂₀、P ₂₂與P ₂₄所輸出之Gr平面的一第一組像素值（即複數個像素值Gr ₀、Gr ₂、Gr ₄、Gr ₁₀、Gr ₁₂、Gr ₁₄、Gr ₂₀、Gr ₂₂與Gr ₂₄），以及複數個像素P ₆、P ₈、P ₁₆與P ₁₈所輸出之Gb平面的一第二組像素值（即複數個像素值Gb ₆、Gb ₈、Gb ₁₆與Gb ₁₈）。

於步驟704中，決定一估測影像資料的複數組濾波響應值與複數組目標值之間的一差值函數，其中該估測影像資料包含在該第一色彩平面與在該第二色彩平面之中該複數個像素分別對應的複數個第一估測像素值與複數個第二估測像素值。該複數組濾波響應值是利用複數組特徵濾波係數對該複數個第一估測像素值與該複數個第二估測像素值進行濾波而產生。該複數個像素的該第二部份中各像素在該第一色彩平面之中的預估像素值作為該複數組目標值之一第一組目標值。舉例來說，計算模組110可決定估測影像資料EM的複數組濾波響應值{R}與複數組目標值{T}之間的一差值函數，諸如差值函數fd。在某些實施例中，複數組濾波響應值{R}可利用複數組特徵濾波係數M _smooth、M _struct、M _subraw,g0、M _subraw,g1與M _approx對估測影像資料EM在色彩平面G ₀’之中的複數個估測像素值G ₀’(0)～G ₀’(24)以及在色彩平面G ₁’之中的複數個估測像素值G ₁’(0)～G ₁’(24) 進行濾波而產生。在色彩平面G ₀’與色彩平面G ₁’分別是Gr平面與Gb平面的某些實施例中，為使重建後的Gr平面之中相鄰的像素行（或像素列）相對應的像素值能夠表現出像素行（或像素列）之間的亮暗變化，各Gb像素在Gr平面之中的預估像素值可作為複數組目標值{T}之中的一組目標值。

於步驟706中，藉由求取使該差值函數具有最小值時該估測影像資料的解，來決定至少一組校正濾波係數。舉例來說，計算模組110可藉由求取使差值函數fd具有最小值時估測影像資料EM的解，來決定至少一組校正濾波係數{C}。在某些實施例中，計算模組110可利用最小平方法來求取使差值函數fd具有最小值時估測影像資料EM的最佳解，來決定至少一組校正濾波係數{C}。

於步驟708中，使一濾波器電路採用該至少一組校正濾波係數，對該輸入影像資料進行濾波，以校正該第一組像素值。舉例來說，濾波器電路120可採用至少一組校正濾波係數{C}對輸入影像資料IM進行濾波，以校正複數個像素值Gr ₀、Gr ₂、Gr ₄、Gr ₁₀、Gr ₁₂、Gr ₁₄、Gr ₂₀、Gr ₂₂與Gr ₂₄。在某些實施例中，濾波器電路120可採用該組校正濾波係數

對輸入影像資料IM進行濾波，以決定像素值Gr ₁₂的像素值修正量

，並據以修正像素值Gr ₁₂。

在某些實施例中，於步驟702中，該第一組像素值可以是Gb像素所輸出的像素值（諸如複數個像素值Gb ₆、Gb ₈、Gb ₁₆與Gb ₁₈），而該第二組像素值可以是Gr像素所輸出的像素值（諸如複數個像素值Gr ₀、Gr ₂、Gr ₄、Gr ₁₀、Gr ₁₂、Gr ₁₄、Gr ₂₀、Gr ₂₂與Gr ₂₄）。也就是說，待校正的像素值可以是輸入影像資料IM中Gb像素之像素值。

在某些實施例中，於步驟702中，該複數個像素的該第一部份中的每一像素是與一第一顏色之像素位於同一列的具有一第二顏色之像素，該複數個像素的該第二部份中的每一像素是與一第三顏色之像素位於同一列的具有該第二顏色之像素。舉例來說，在複數個像素P ₀～P ₂₄是對應RGGB彩色濾光片陣列來設置情形下，該第一顏色、該第二顏色及該第三顏色可分別由紅色、綠色及藍色來實施，或可分別由藍色、綠色及紅色，以校正兩個綠色像素（即Gr像素和Gb像素）因為像素串擾所引起的誤差。也就是說，待校正的該第一組像素值可以是輸入影像資料IM中Gr像素之像素值或Gb像素之像素值。又例如，在複數個像素P ₀～P ₂₄可對應RYYB彩色濾光片陣列來設置，其中該第一顏色、該第二顏色及該第三顏色可分別由紅色、黃色及藍色來實施，或可分別由藍色、黃色及紅色，以校正兩個黃色像素（分別與紅色像素與藍色像素位於同一像素列）因為像素串擾所引起的誤差。

由於所屬領域中的通常知識者在閱讀圖1～圖6相關的段落說明之後，應可瞭解像素值校正方法700中的每一步驟的細節，因此進一步的說明在此便不再贅述。

藉由適當/最佳化的濾波器設計方式，本揭示所提供的像素值校正方案可根據即時影像資料重建出不同的色彩平面（諸如完整的Gb平面和Gr平面），估測並修正不同色彩平面之間的像素值誤差（或同一像素在不同色彩平面中相對應的像素值之間的誤差）。

上文的敘述簡要地提出了本揭示某些實施例之特徵，而使得本揭示所屬技術領域具有通常知識者可更全面地理解本揭示的多種態樣。本揭示所屬技術領域具有通常知識者當可明瞭，其可輕易地利用本揭示作為基礎，來設計或更動其他製程與結構，以實現與此處所述之實施方式相同的目的和/或達到相同的優點。本揭示所屬技術領域具有通常知識者應當明白，這些均等的實施方式仍屬於本揭示之精神與範圍，且其可進行各種變更、替代與更動，而不會悖離本揭示之精神與範圍。

100:像素值校正裝置 110:計算模組 120:濾波器電路 700:像素值校正方法 702, 704, 706, 708:步驟 IM:輸入影像資料 EM:估測影像資料 {R}:複數組濾波響應值 R _smooth,g0, R _smooth,g1, R _struct, R _subraw,g0, R _subraw,g1, R _approx:一組濾波響應值 M _smooth, M _struct, M _subraw,g0, M _subraw,g1, M _approx:一組特徵濾波係數 {T}：複數組目標值 T _smooth,g0, T _smooth,g1, T _struct, T _subraw,g0, T _subraw,g1, T _approx, [G _0,subraw], [G _1,subraw]:一組目標值 f({R},{T}):差值函數 {C}:至少一組校正濾波係數 P ₀～P ₂₄:像素 R ₁, R ₃, R ₁₁, R ₁₃, R ₂₁, R ₂₃, Gr ₀, Gr ₂, Gr ₄, Gr ₁₀, Gr ₁₂, Gr ₁₄, Gr ₂₀, Gr ₂₂、, Gr ₂₄, Gb ₆, Gb ₈, Gb ₁₆, Gb ₁₈, B ₅, B ₇, B ₉, B ₁₅, B ₁₇, B ₁₉:像素值 G ₀’ , G ₁’:色彩平面 G ₀’(0)～G ₀’(24), G ₁’(0)～G ₁’(24):估測像素值 G ₀’’(2), G ₀’’(6), G ₀’’(8), G ₀’’(16):預估像素值 G _0,sub’’:一組預估像素值

,

:權重 U:數據矩陣 U ^T:矩陣 F:濾波矩陣 V:目標向量 G:估測向量 f _0,g0～f _24,g0, f _0,g1～f _24,g1:列向量 DP:資料平面

搭配附隨圖式來閱讀下文的實施方式，可清楚地理解本揭示的多種態樣。應注意到，根據本領域的標準慣例，圖式中的各種特徵並不一定是按比例進行繪製的。事實上，為了能夠清楚地描述，可任意放大或縮小某些特徵的尺寸。 圖1是本揭示的像素值校正裝置的一實施例的功能方塊示意圖。 圖2是圖1所示之輸入影像資料的一實施例的示意圖。 圖3是用來對圖2所示之複數個估測像素值進行濾波的複數組特徵濾波係數的一實施例的示意圖。 圖4是圖3所示之複數組特徵濾波係數的實施例的示意圖。 圖5是根據圖3所示之各組濾波響應值與相對應之一組目標值所決定之差值函數的一實施例的示意圖。 圖6是根據圖5所示之濾波矩陣與目標向量來重建圖2所示之複數個色彩平面的一實施例的示意圖。 圖7是本揭示的像素值校正方法的一實施例的流程圖。

100:像素值校正裝置 122:計算模組 120:濾波器電路 IM:輸入影像資料 EM:估測影像資料 {R}:複數組濾波響應值 {T}:複數組目標值 f({R},{T}):差值函數 {C}:至少一組校正濾波係數

Claims (10)

1. 一種像素值校正裝置，包含：一計算模組，用以：取得複數個像素所產生之一輸入影像資料，該輸入影像資料包含該複數個像素的一第一部份所輸出之一第一色彩平面的一第一組像素值，以及該複數個像素的一第二部份所輸出之一第二色彩平面的一第二組像素值；決定一估測影像資料的複數組濾波響應值與複數組目標值之間的一差值函數，其中該估測影像資料包含在該第一色彩平面與在該第二色彩平面之中該複數個像素分別對應的複數個第一估測像素值與複數個第二估測像素值；該複數組濾波響應值是利用複數組特徵濾波係數對該複數個第一估測像素值與該複數個第二估測像素值進行濾波而產生；用以輸出該第二色彩平面之該第二組像素值的該複數個像素的該第二部份之中的各像素，其在該第一色彩平面之中各自的預估像素值作為該複數組目標值之一第一組目標值；以及藉由求取使該差值函數具有最小值時該估測影像資料的解，來決定至少一組校正濾波係數；以及一濾波器電路，耦接於該計算模組，用以採用該至少一組校正濾波係數對該輸入影像資料進行濾波，以校正該第一組像素值。
2. 如請求項第1項所述之像素值校正裝置，其中該複數個像素排列為多 列；該複數個像素的該第一部份中的每一像素是與一第一顏色之像素位於同一列的具有一第二顏色之像素，該複數個像素的該第二部份中的每一像素是與一第三顏色之像素位於同一列的具有該第二顏色之像素。
3. 如請求項第1項所述之像素值校正裝置，其中該計算模組用以利用最小平方法來求取使該差值函數具有最小值時該估測影像資料的解，該複數組濾波響應值表示為該複數組特徵濾波係數相關的一數據矩陣乘以該複數個第一估測像素值與該複數個第二估測像素值相關的一估測向量；該計算模組另用以根據該數據矩陣來決定該至少一組校正濾波係數。
4. 如請求項第3項所述之像素值校正裝置，其中該複數個像素之中一感興趣像素所對應之一第一估測像素值與一第二估測像素值分別位於該估測向量中的一第一列與一第二列；該計算模組用以將該數據矩陣之一轉置矩陣與該數據矩陣兩者的乘積的反矩陣，乘上該轉置矩陣以決定一濾波矩陣，並根據該濾波矩陣中對應於該估測向量之該第一列的一列以及對應於該估測向量之該第二列的另一列來決定該至少一組校正濾波係數。
5. 如請求項第1項所述之像素值校正裝置，其中該計算模組用以決定該複數組濾波響應值與該複數組目標值之間的一加權平方誤差，作為該差值函數。
6. 如請求項第1項所述之像素值校正裝置，其中該濾波器電路用以採用該至少一組校正濾波係數對該輸入影像資料進行濾波，以決定該第一組像 素值中一像素值的一像素值修正量，並根據該像素值修正量來校正該像素值。
7. 如請求項第1項所述之像素值校正裝置，其中該濾波器電路用以採用該至少一組校正濾波係數對該輸入影像資料進行濾波，以將該第一組像素值中一像素的像素值校正為在該第一色彩平面與在該第二色彩平面之中該像素分別對應的一第一估測像素值與一第二估測像素值的平均值。
8. 如請求項第1項所述之像素值校正裝置，其中該複數組特徵濾波係數包含一第一組特徵濾波係數，用以對該複數個像素的該第一部份中各像素相對應的第一估測像素值進行取樣，以產生該複數組濾波響應值中與該第一組目標值相對應的一第一組濾波響應值。
9. 如請求項第8項所述之像素值校正裝置，其中該複數組目標值還包含一第二組目標值與一第三組目標值，該第二組目標值是根據該第一組像素值來決定，該第三組目標值是根據該第二組像素值來決定；該複數組特徵濾波係數還包含一第二組特徵濾波係數與一第三組特徵濾波係數，該第二組特徵濾波係數用以對該複數個像素的該第一部份中各像素相對應的第一估測像素值進行取樣，以產生該複數組濾波響應值中與該第二組目標值相對應的一第二組濾波響應值，該第三組特徵濾波係數用以對該複數個像素的該第二部份中各像素相對應的第二估測像素值進行取樣，以產生該複數組濾波響應值中與該第三組目標值相對應的一第三組濾波響應值。
10. 如請求項第9項所述之像素值校正裝置，其中該複數組目標值還包含一第四組目標值、一第五組目標值與一第六目標值；該第四組目標值是根據該輸入影像資料在該第一色彩平面中的高頻成分來決定，該第五組目標值是根據該輸入影像資料在該第二色彩平面中的高頻成分來決定，該第六組目標值是根據該複數個像素中各像素在該第一色彩平面與該第二色彩平面之間像素值落差的變化來決定；該複數組特徵濾波係數還包含一第四組特徵濾波係數、一第五組特徵濾波係數與一第六組特徵濾波係數；該第四組特徵濾波係數用以對該複數個第一估測像素值進行高通濾波，以產生該複數組濾波響應值中與該第四組目標值相對應的一第四組濾波響應值；該第五組特徵濾波係數用以對該複數個第二估測像素值進行高通濾波，以產生該複數組濾波響應值中與該第五組目標值相對應的一第五組濾波響應值；該第六組特徵濾波係數用以對該複數個像素中各像素相對應的第一估測像素值與第二估測像素值之間的像素值落差進行高通濾波，以產生該複數組濾波響應值中與該第六組目標值相對應的一第六組濾波響應值。

Images