TWI568270B - 影像校正系統及其方法 - Google Patents

Description

影像校正系統及其方法

本案係關於一種影像處理系統，特別係關於一種影像校正系統及其方法。

目前的影像校正，係依據現場光源亮度與光源中紅、綠以及藍成分的比重來進行影像校正模式的選擇。然而此種方法存在一定誤判的可能性，例如影像裝置將室外傍晚或陰天等低色溫場景誤判為室內，從而對照片進行錯誤的顏色補償或修正，不僅無法真實地還原影像場景，更可能造成影像的大幅失真。藉由改善白平衡校正系統中的光源偵測電路，雖然可降低其誤判的可能性，但是卻也會大幅提升系統設計的複雜度。

因此，如何在追求影像真實還原的前提下，兼顧系統設計的複雜度，對於影像校正系統的設計是一大挑戰。

本案揭露的一態樣是關於一種影像校正系統包含儲存裝置以及處理器。儲存裝置儲存複數個參考圖形，且每一 參考圖形對應於一色溫，處理器用以執行以下操作：接收輸入影像，將輸入影像轉換成對應的複數個輸入色域點；依據輸入色域點的分佈產生輸入圖形，且輸入圖形包圍此複數個輸入色域點；將輸入圖形與複數個參考圖形進行比對，據以產生比對結果；以及依據比對結果，估算輸入影像對應的色溫，進而為輸入影像進行調整。

本案揭露的另一態樣是關於一種影像校正方法包含預載複數個參考圖形，且每一參考圖形對應於一色溫；接收輸入影像，將輸入影像轉換成對應的複數個輸入色域點；依據輸入色域點的分佈產生輸入圖形，且輸入圖形包圍此複數個輸入色域點；將輸入圖形與參考圖形進行比對，據以產生比對結果；以及依據比對結果，估算輸入影像對應的色溫，進而為輸入影像進行調整。

綜上所述，本案之技術方案與現有技術相比具有明顯的優點和有益效果。藉由上述技術方案，可達到相當的技術進步，並具有產業上的廣泛利用價值。本案透過將輸入影像轉換成對應的複數個輸入色域點以及輸入圖形，並將其與複數個參考圖形進行比對，藉由將僅需少數參數即能表示的參考圖形作為色溫的參考基準，大幅減少儲存參考基準所需的容量。另一方面，藉由將輸入影像轉換成複數個輸入色域點，並以輸入圖形包圍複數個輸入色域點，降低雜訊對於色溫估算的影響，且能更直覺地反應輸入影像於色彩的運用狀況。

100‧‧‧影像校正系統

102‧‧‧處理器

104‧‧‧儲存裝置

106‧‧‧影像偵測裝置

108‧‧‧顯示裝置

202‧‧‧輸入圖形

204、204a、204b、204c、204d‧‧‧參考圖形

206‧‧‧輸入色域點

212‧‧‧正響應區域

214‧‧‧負響應區域

402、404‧‧‧距離

502、504、506、508、510‧‧‧步驟

第1圖為依據本案揭露的實施例所繪製的影像校正系統的方塊圖。

第2圖為依據本案揭露的一實施例所繪製的影像校正的示意圖。

第3圖為依據本案揭露的實施例所繪製的影像校正系統加速比對的示意圖。

第4圖為依據本案揭露的實施例所繪製的影像校正系統加速比對的示意圖。

第5圖為依據本案揭露的實施例所繪製的影像校正方法的運作流程圖。

下文係舉實施例配合所附圖式作詳細說明，以更好地理解本案的態樣，但所提供的實施例並非用以限制本揭露所涵蓋的範圍，而結構操作的描述非用以限制其執行的順序，任何由元件重新組合的結構，所產生具有均等功效的裝置，皆為本揭露所涵蓋的範圍。此外，依據業界的標準及慣常做法，圖式僅以輔助說明為目的，並未依照原尺寸作圖，實際上各種特徵的尺寸可任意地增加或減少以便於說明。下述說明中相同元件將以相同的符號標示來進行說明以便於理解。

在全篇說明書與申請專利範圍所使用的用詞(terms)，除有特別註明外，通常具有每個用詞使用在此領域中、在此揭露的內容中與特殊內容中的平常意義。某些用以描述本案揭露的用詞將於下或在此說明書的別處討論，以提供本領域技術人員在有關本案揭露的描述上額外的引導。

此外，在本案中所使用的用詞『包含』、『包括』、『具有』、『含有』等等，均為開放性的用語，即意指『包含但不限於』。此外，本案中所使用的『及/或』，包含相關列舉項目中一或多個項目的任意一個以及其所有組合。

第1圖為依據本案揭露的實施例所繪製的影像校正系統的方塊圖。影像校正系統100包含處理器102以及儲存裝置104。儲存裝置104連接至處理器102，處理器102更連接至影像偵測裝置106以及顯示裝置108。

舉例而言，影像校正系統100可適用於數位相機、照相手機、電腦或其他電子裝置。處理器102可為中央處理器(Central Processing Unit，CPU)或圖形處理器(Graphics Processing Unit，GPU)，儲存裝置104可為硬碟(Hard Disk Drive，HDD)或記憶體，影像偵測裝置106為感光元件，顯示裝置108可為液晶顯示器、發光二極體顯示器或任何可顯示影像的裝置。

儲存裝置104儲存複數個參考圖形(如，第2圖的參考圖形204)，且每一參考圖形皆對應於一色溫，影像偵測裝 置106於偵測到影像輸入時，將此輸入影像傳送至處理器102，顯示裝置108接收並顯示由處理器102校正後的輸入影像。

具體而言，處理器102接收來自影像偵測裝置106的輸入影像，並依據預設的轉換關係，將此輸入影像轉換成對應的複數個輸入色域點(如，第2圖的輸入色域點206)。處理器102依據輸入色域點的分佈，為輸入影像產生對應的輸入圖形(如，第2圖的輸入圖形202)，且輸入圖形包圍複數個輸入色域點；處理器102隨後將輸入圖形與儲存裝置104中的複數個參考圖形逐一進行比對，據以產生比對結果。處理器102依據此比對結果，估算輸入影像對應的色溫，並依據此估算色溫為輸入影像進行調整，隨後將校正後的輸入影像輸出至顯示裝置108。於一實施例中，處理器依據此估算色溫為輸入影像進行的調整可為白平衡校正、顏色修正或任何相關於色溫之影像處理技術。

關於上述將輸入圖形與複數個參考圖形進行比對的方式，於一實施例中，處理器102分析輸入圖形與儲存裝置104中的複數個參考圖形的交集區域，並依據處理器102轉換輸入影像所產生的輸入色域點落於此交集區域內的數量與落於此交集區域之外的另一數量計算相似度。

於一實施例中，相似度計算方法可為計算輸入色域點落於交集區域內的數量與落於該交集區域之外的另一數 量的比值、差值或任何相關於輸入色域點數量的數值關係，並於相似度計算結束後，自複數個參考圖形中選擇相似度最接近輸入圖形的一個參考圖形，以此參考圖形以及其對應的色溫作為比對結果，進而估算輸入影像的色溫。

第2圖為依據本案揭露的一實施例所繪製的影像校正的示意圖。影像校正系統100中的處理器102將來自影像偵測裝置106的輸入影像轉換成對應的複數個輸入色域點206，並以輸入圖形202包圍此複數個輸入色域點206，隨後處理器102將輸入圖形202與儲存裝置104中的複數個參考圖形204進行比對。

於一實施例中，輸入圖形202與複數個參考圖形204的形狀可為橢圓形。舉例來說，若將輸入影像劃分為16x16的座標格顯示，處理器102即能透過下述關係式，將輸入影像轉換成複數個輸入色域點206：x=f _R,Y(R,R+G+B)、y=f _B,Y(B,R+G+B)、

每一座標格具有像素座標(R,G,B)，R、G與B分別代表子像素紅、子像素綠與子像素藍。於本案實施例中，處理器102將輸入影像中每一座標格的像素座標(R,G,B)透過數學函式f _R,Y與f _B,Y進行轉換，藉以產生對應的複數個色域點 座標(x,y)，x與y分別代表色域點的橫軸座標與縱軸座標，其中數學函式f _R,Y為子像素紅R與子像素紅R、綠G、藍B加總之函式，數學函式f _B,Y為子像素藍B與子像素紅R、綠G、藍B加總之函式。

為了將轉換後的複數個色域點映射到參考圖形204所在的維度，藉以方便進行比對，處理器102更將複數個色域點透過上述關係式轉換為輸入色域點206，與分別為輸入色域點206的橫軸座標與縱軸座標。於此實施例中，上述關係式中的參數θ、參數u與參數v的值域分別為θ [-20,11]、u [0,15]、v [0,15]。

隨後處理器102再透過下述關係式，產生橢圓形狀的輸入圖形202包圍複數個輸入色域點206，用以界定複數個輸入色域點206所佔據的範圍：(-u)²/a ²+(-v)²/b ² 1。

舉例而言，上述關係式中的參數a與參數b的值域分別為a [0,7]、b [0,7]。

此外，若將輸入影像劃分為128x128的座標格顯示，並維持以橢圓形狀的輸入圖形202包圍輸入影像轉換後產 生的複數個輸入色域點206的設定，舉例而言，參數θ、參數u、參數v、參數a與參數b的值域分別為θ [-20,11]、u [0,127]、v [0,127]、a [0,63]、b [0,63]。

於此實施例中，除輸入影像的轉換外，複數個參考圖形204的表示亦依據上述關係式中的參數θ、參數u、參數v、參數a以及參數b進行，因此複數個參考圖形204於儲存時所需的位元數可由上述參數的值域進行推算。若將輸入影像劃分為16x16的座標格顯示，則對應的橢圓形狀參考圖形204於儲存裝置104中即須以19位元數(即5+4+4+3+3=19)的資料形式進行儲存。若將輸入影像劃分為128x128座標格顯示，則對應的橢圓形狀參考圖形204於儲存裝置104中即須以31位元數(即，5+7+7+6+6=31)的資料形式進行儲存。應瞭解到，上述實施例中揭露的各種參數所對應的值域僅用以配合實施例說明，並不用以限制本案的實施方式。

於一實施例中，色域點座標(x,y)不需再額外透過上述關係式映射到參考圖形204所在的維度，意即色域點可直接作為輸入色域點206使用，並繼續執行後續流程。

雖然第2圖中，輸入圖形202與複數個參考圖形 204的形狀為橢圓形，但此不限制本發明，於另一實施例中，於本案實施例中包圍輸入色域點206的輸入圖形202亦可為圓形狀。舉例來說，若將輸入影像劃分為16x16的座標格顯示，處理器102即能透過下述關係式，將輸入影像轉換成複數個輸入色域點206：x=f _R,Y(R,R+G+B)、y=f _B,Y(B,R+G+B)、x’=c．x、

每一座標格具有像素座標(R,G,B)，R、G與B分別為子像素紅、子像素綠與子像素藍，x與y分別為色域點的橫軸座標與縱軸座標，x’為色域點的橫軸座標x經由縮放因子c縮放後的橫軸座標，與分別為輸入色域點206的橫軸座標與縱軸座標。詳細的符號意義已於先前範例說明，故於此不詳加敘述。舉例而言，上述關係式中的參數θ、參數u與參數v的值域分別為θ [-20,11]、u [0,15]、v [0,15]。

隨後處理器102再透過下列關係式，產生圓形狀的輸入圖形202包圍複數個輸入色域點206，用以界定複數個 輸入色域點206所佔據的範圍：。

舉例而言，上述關係式中的參數a的值域為a [0,7]。於此實施例中，複數個參考圖形204的表示依據上述關係式中的參數u、參數v以及參數a進行，因此若將輸入影像劃分為16x16的座標格顯示，對應的圓形狀參考圖形204於儲存裝置104中即須以11位元數(即，4+4+3=11)的資料形式進行儲存。應瞭解到，上述實施例中揭露的各種參數所對應的值域僅用以配合實施例說明，並不用以限制本案的實施方式。

於一實施例中，色域點座標(x,y)不需再額外透過上述關係式映射到參考圖形204所在的維度，意即色域點可直接作為輸入色域點206使用，並繼續執行後續流程。

隨後，處理器102將輸入圖形202與儲存裝置104中的複數個參考圖形204進行比對。於一實施例中，處理器102分析輸入圖形202與複數個參考圖形204中每一者的交集區域，並依據複數個輸入色域點206落於此交集區域之內的數量與落於此交集區域之外的數量，計算該相似度。因此，輸入圖形202與參考圖形204之間存在一交集區域為正響應區域212，而輸入圖形202中未與參考圖形204有交集的另一區域則為負響應區域214。

具體來說，處理器102依據輸入色域點206分別落於正響應區域212與負響應區域214的數量比值、差值或任何相關於輸入色域點206數量的數值關係，進一步計算輸入圖形 202與參考圖形204之間的相似度，並於相似度計算結束後，自複數個參考圖形204中選擇相似度最接近輸入圖形202的一個參考圖形204，以此參考圖形204以及其對應的色溫作為比對結果，進而估算輸入影像的色溫。

第3圖為依據本案揭露的實施例所繪製的影像校正系統加速比對的示意圖。如第3圖所示，輸入圖形202與參考圖形204a、204b之間存在面積差異。於一實施例中，參考圖形204a與輸入圖形202之間的面積差異均低於預設差異範圍，此代表參考圖形204a與輸入圖形202差異較小，因此需進一步做相似度比對；輸入圖形202與參考圖形204b之間的面積差異高於預設差異範圍，此代表參考圖形204a與輸入圖形202差異較大，因此無需進一步做相似度比對。實作上，預設差異範圍為影像校正系統100的預設參數。於一實施例中，影像校正系統100可因應室內光、室外光的改變，動態調整該預設差異範圍。

於一實施例中，處理器102能由儲存裝置104中預先選擇一組候選參考圖形，且此組候選參考圖形中每一個參考圖形204a與輸入圖形202之間的面積差異均低於預設差異範圍，藉此預先過濾掉面積差異過大的參考圖形204b。處理器102將輸入圖形202與此組候選參考圖形進行相似度比對，藉以產生相似度比對結果。相對地，輸入圖形202與另一組非候選參考圖形(即參考圖形204b)不進行相似度比對，藉以加速進 行輸入圖形202與複數個參考圖形204的相似度比對。關於相似度比對的進行已於先前實施例中說明，故於此不再重複贅述之。

第4圖為依據本案揭露的實施例所繪製的影像校正系統加速比對的示意圖。如第4圖所示，輸入色域點206與參考圖形204c之間存在距離402，輸入色域點206與參考圖形204d之間存在距離404。於一實施例中，距離402小於預設距離範圍，此輸入色域點206較接近或落入參考圖形204c，因此相關程度較高，需進一步做相似度比對；相對地，距離404大於預設距離範圍，此輸入色域點206較遠離參考圖形204d，因此相關程度較低，無需進一步做相似度比對。實作上，預設距離範圍為影像校正系統100的預設參數。於一實施例中，影像校正系統100可因應室內光、室外光的改變，動態調整該預設距離範圍。

於一實施例中，處理器102由儲存裝置104中預先選擇一組候選參考圖形，且此組候選參考圖形中每一個參考圖形204c與輸入色域點206之間的距離402均小於預設距離範圍，藉此預先過濾掉距離較遠的參考圖形204d。處理器102將輸入圖形202與此組候選參考圖形進行相似度比對，藉以產生相似度比對結果。相對地，輸入圖形202與另一組非候選參考圖形(即參考圖形204d)不進行相似度比對，藉以加速進行輸入圖形202與複數個參考圖形204的相似度比對。關於相似度比 對的進行已於先前實施例中說明，故於此不再重複贅述之。

第5圖為依據本案揭露的實施例所繪製的影像校正方法的運作流程圖。於一實施例中，此影像校正方法可由上述的影像校正系統100執行，但本發明不以此為限。如第5圖所示，首先於步驟502中，系統預載複數個參考圖形，這些參考圖形分別對應於不同色溫，作為稍後進行色溫估算的參考基準。於步驟504中，系統接收輸入影像，並藉由預設的轉換關係將輸入影像轉換成複數個輸入色域點。於步驟506中，系統依據輸入色域點的分佈，產生包圍此複數個輸入色域點的輸入圖形。於步驟508中，系統將輸入圖形與預載的複數個參考圖形進行比對，並產生比對結果，其中輸入圖形與複數個參考圖形的形狀可為圓形、橢圓形或方形。最後於步驟510中，依據此比對結果，系統估算輸入影像所對應的色溫，並根據此系統估算色溫為輸入影像進行調整。於一實施例中，系統依據此系統估算色溫為輸入影像進行的調整可為白平衡校正、顏色修正或任何相關於色溫之影像處理技術。

於一實施例中，於步驟508，系統將輸入圖形與預載的複數個參考圖形進行比對的方法包含：分析輸入圖形與預載的每一個參考圖形的交集區域，並依據輸入色域點落於交集區域內的數量與落於交集區域之外的另一數量計算相似度。

於一實施例中，相似度計算的方法可為計算輸入色域點落於交集區域內的數量與落於該交集區域之外的另一 數量的比值、差值或任何相關於輸入色域點數量的數值關係。隨後，自預載的複數個參考圖形中選擇相似度最接近輸入圖形的一個參考圖形，以此參考圖形以及其對應的色溫作為比對結果，進而估算輸入影像的色溫。

本案上述的實施例中，透過將輸入影像轉換成對應的輸入色域點以及輸入圖形，並將輸入圖形與參考圖形進行比對，藉以估算輸入影像的色溫，進而為輸入影像進行白平衡校正。於本案實施例中，藉由將僅需少數參數即能表示的參考圖形作為色溫的參考基準，大幅減少儲存參考基準所需的容量。另一方面，藉由將輸入影像轉換成複數個輸入色域點，並以輸入圖形包圍輸入色域點，降低雜訊對於色溫估算的影響(少數雜訊色域點不易改變輸入圖形的形成)，且能更直覺地反應輸入影像於色彩的運用狀況(輸入色域點的密集程度反應色彩運用狀況)。

技術領域通常知識者可以容易理解到揭露的實施例實現一或多個前述舉例的優點。閱讀前述說明書之後，技術領域通常知識者將有能力對如同此處揭露內容作多種類的更動、置換、等效物以及多種其他實施例。因此本發明之保護範圍當視申請專利範圍所界定者與其均等範圍為主。

100‧‧‧影像校正系統

102‧‧‧處理器

104‧‧‧儲存裝置

106‧‧‧影像偵測裝置

108‧‧‧顯示裝置

Claims (16)

1. 一種影像校正系統，包含：一儲存裝置，儲存複數個參考圖形，該些參考圖形分別對應於不同色溫；一處理器，用以執行以下操作：接收一輸入影像，將該輸入影像轉換成對應的複數個輸入色域點；依據該些輸入色域點的分佈產生一輸入圖形，該輸入圖形包圍該些輸入色域點；將該輸入圖形與該些參考圖形進行比對，據以產生一比對結果；以及依據該比對結果，估算該輸入影像對應的色溫，進而為該輸入影像進行調整。
2. 如請求項1所述之影像校正系統，其中該處理器將該輸入圖形與該些參考圖形進行比對，據以產生該比對結果之操作包含：計算該輸入圖形與該些參考圖形中每一者的相似度，自該些參考圖形中選擇最近似該輸入圖形之一參考圖形及其色溫以做為該比對結果。
3. 如請求項2所述之影像校正系統，其中該處理器計算該輸入圖形與該些參考圖形中每一者的相似度之操 作包含：分析該輸入圖形與該些參考圖形中每一者的一交集區域；以及依據該些輸入色域點落於該交集區域之內的一數量與落於該交集區域之外的另一數量，計算該相似度。
4. 如請求項1所述之影像校正系統，其中將該輸入圖形與該些參考圖形進行比對，據以產生該比對結果之操作包含：依據該輸入圖形的面積，自該些參考圖形中預先選擇一組候選參考圖形，其中該組候選參考圖形中每一者的面積與該輸入圖形的面積之間的差異均低於一預設差異範圍；以及將該輸入圖形與該組候選參考圖形進行比對，據以產生該比對結果。
5. 如請求項1所述之影像校正系統，其中將該輸入圖形與該些參考圖形進行比對，據以產生該比對結果之操作包含：依據該些輸入色域點的位置，自該些參考圖形中預先選擇一組候選參考圖形，其中該組候選參考圖形中每一者與該些輸入色域點之間的距離均小於一預設距離範圍；以及將該輸入圖形與該組候選參考圖形進行比對，據以產生該比對結果。
6. 如請求項4或5所述之影像校正系統，其中將該輸入圖形與該組候選參考圖形進行比對，據以產生該比對結果之操作包含：計算該輸入圖形與該組候選參考圖形中每一者的相似度，自該組候選參考圖形中選擇最近似該輸入圖形之一參考圖形及其色溫以做為該比對結果。
7. 如請求項6所述之影像校正系統，其中該處理器計算該輸入圖形與該組候選參考圖形中每一者的相似度之操作包含：分析該輸入圖形與該組候選參考圖形中每一者的一交集區域；以及依據該些輸入色域點落於該交集區域之內的一數量與落於該交集區域之外的另一數量，計算該相似度。
8. 如請求項1所述之影像校正系統，其中該輸入圖形與該些參考圖形皆屬於同一類型圖案，該類型圖案為圓形或橢圓形。
9. 一種影像校正方法，包含：預載複數個參考圖形，該些參考圖形分別對應於不同色溫；接收一輸入影像，將該輸入影像轉換成對應的複數個輸 入色域點；依據該些輸入色域點的分佈，產生一輸入圖形，該輸入圖形包圍該些輸入色域點；將該輸入圖形與該些參考圖形進行比對，據以產生一比對結果；以及依據該比對結果，估算該輸入影像對應的色溫，進而為該輸入影像進行調整。
10. 如請求項9所述之影像校正方法，其中將該輸入圖形與該些參考圖形進行比對，據以產生該比對結果之步驟包含：計算該輸入圖形與該些參考圖形中每一者的相似度，自該些參考圖形中選擇最近似該輸入圖形之一參考圖形及其色溫以做為該比對結果。
11. 如請求項10所述之影像校正方法，其中計算該輸入圖形與該些參考圖形中每一者的相似度之步驟包含：分析該輸入圖形與該些參考圖形中每一者的一交集區域；以及依據該些輸入色域點落於該交集區域之內的一數量與落於該交集區域之外的另一數量，計算該相似度。
12. 如請求項9所述之影像校正方法，其中將該輸入圖形與該些參考圖形進行比對，據以產生該比對結果之步驟包含：依據該輸入圖形的面積，自該些參考圖形中預先選擇一組候選參考圖形，其中該組候選參考圖形中每一者的面積與該輸入圖形的面積之間的差異均低於一預設差異範圍；以及將該輸入圖形與該組候選參考圖形進行比對，據以產生該比對結果。
13. 如請求項9所述之影像校正方法，其中將該輸入圖形與該些參考圖形進行比對，據以產生該比對結果之步驟包含：依據該些輸入色域點的位置，自該些參考圖形中預先選擇一組候選參考圖形，其中該組候選參考圖形中每一者與該些輸入色域點之間的距離均小於一預設距離範圍；以及將該輸入圖形與該組候選參考圖形進行比對，據以產生該比對結果。
14. 如請求項12或13所述之影像校正方法，其中將該輸入圖形與該組候選參考圖形進行比對，據以產生該比對結果之步驟包含：計算該輸入圖形與該組候選參考圖形中每一者的相似度，自該組候選參考圖形中選擇最近似該輸入圖形之一參考 圖形及其色溫以做為該比對結果。
15. 如請求項14所述之影像校正方法，其中計算該輸入圖形與該組候選參考圖形中每一者的相似度之步驟包含：分析該輸入圖形與該組候選參考圖形中每一者的一交集區域；以及依據該些輸入色域點落於該交集區域之內的一數量與落於該交集區域之外的另一數量，計算該相似度。
16. 如請求項9所述之影像校正方法，其中該輸入圖形與該些參考圖形皆屬於同一類型圖案，該類型圖案為圓形或橢圓形。