TW201101814A - Method of compensating for backlight image and photograph apparatus with backlight image compensation system - Google Patents

Description

201101814 六、發明說明： 【發明所屬之技術領域】 ^日^有關於1影像修補方法及具有影像修補機 制之攝衫裝置，且特別是有關於一種背 具有背光影像補償機制的攝影裝置。 〜^貝4 【先前技術】 ❹ ❹ 隨著科技的發展’人類對生活品質的要求漸漸提升， : = 的隨ί電子產品’更要求同-個電子產品 月b、、、〇 S夕種功月b，以提升使用上的便利性。 近年來，内建的攝影裝置為手機或 的必備功能。但手機或PDA的攝 則助（A) 能，如防手震、補光、物件對 相機，導致使用者利用手機或PDA拍=不$ 透過電腦的修圖軟體進行修補，反而造成使用、 性’失去了原先將攝影裝置内建在手機或PDA的用意。 【發明内容】 因此’本發明之一態樣是在提供一種 旦 償機制之攝影裝置，較时可直接;;衫像補 參與德m腺固u #置接於攝衫裝置中修補背 “像❿不而將圖片上傳至電腦，再透過 軟體來修補背光影像。 ® 依據本發明一實施方★、，担处 機制之攝影裝置，包含1像取：/、有背光影像補償 S影像擷取模組、一類神經模糊網 4 201101814 路處理模組以及一背光補償模組。影像擷取模組用來攝錄 至少一影像。類神經模糊網路處理模組用來計算一補償 值，且由背光補償模組接收補償值，進而修補影像之亮度。 其中，類神經模糊網路處理模組包含一預處理單元、一輸 入單元、一運算單元以及一輸出單元。預處理單元用以自 該影像提出至少一背光因子。輸入單元用以接收背光因 子，而運算單元利用背光因子計算出一補償值，並透過輸 出單元輸出補償值。 藉此，使用者可直接於攝影裝置中修補背光影像，增 加拍攝上的便利性。 本發明之另一態樣是在提供一種背光影像補償方法， 其應用於一攝影裝置，其可將使用者所拍攝的影像直接在 攝影裝置中執行影像亮度修補，提升了攝影裝置所拍攝出 的影像品質。 依據本發明另一實施方式，提供一種背光影像補償方 法，係應用於一攝影裝置，其步驟如下：利用攝影裝置拍 攝一影像，並將影像進行亮度分群。利用亮度分群可提出 至少一背光因子，並將該背光因子輸入一類神經模糊網 路，以計算出一補償值。將該補償值轉化為一補償曲線， 並利用補償曲線對影像進行亮度補償。 藉此，將上述背光影像補償方法運用於具有拍照功能 之手機或PDA上，提升攝影裝置的拍照性能，也增加了拍 攝影像上的便利性。 【實施方式】 5 201101814 請參照第1圖，其繪示依照本發明一實施例的一種具 有背光影像補償機制之攝影裝置之方塊結構圖。第i圖 中’具有背光影像補償機制之攝影裝置100可為手機或 PDA等數位行動裝置，其包含一影像擷取模組2〇〇，一類 神經模糊網路處理模組300及一背光補償模組4〇〇。 影像擷取模組200可為攝影裝置100之鏡頭，用來攝 錄、捕捉一影像； 類神經模糊網路處理模組300接收影像擷取模組2〇〇 0 所拍攝之影像，並分析出影像的背光程度，再運算出一補 償值； 接著，背光補償模組400與類神經模糊網路處理模組 300連接’利用補償值對影像做出背光補償處理。 藉此，改善拍攝時，攝影裝置100與光源位置所造成 影像的背光問題。 值得一提的是’前述類神經模糊網路處理模組300可 為一處理晶片，係内嵌於攝影裝置；而其另可為一影像處 〇理程式，且攝影裝置1〇〇具有一作業系統，以執行影像處 理程式。類神經模糊網路處理模組3〇〇包含一預處理單元 t 31〇 ，而類神經模糊網路3:2以及因子， 322及輸出單元323 : 3 =單70 321、運异單元 *間。真产八廳色祕換層用以轉換影像之色彩 :二=:33;32用以r!中各個像素之亮度進行 光因子。輸入單元321用群的結果計算出兩個背 用以接收兩月光因子。運算單元322 6 201101814 利用兩背光因子計算出一補償值。輸出單元323用以輸出 補償值。 此外，前述背光補償模組400用來接收補償值，並修 補影像之凴度，其包含曲線轉換單元41〇及影像修補單元 420。曲線轉換單元41〇用以將補償值轉換成一補償曲線。 影像修補單元420利用補償曲線修補影像之亮度。藉此， 使用者可直接在攝影裝置上對影像進行背光補償。 本實施例之具體原理與達成功效茲解釋如下： ❹ 一般而s，拍攝的影像皆為彩色影像，而影像中的每 個像素皆由RGB的色彩空間》但彩色影像較為複雜，亦較 難分類、處理。因此，透過色彩轉換層311，將影像中的 每個像素由RGB轉換為YIQ的色彩空間，即是將彩色影 像轉為灰階影像。灰階影像中，γ代表亮度，而I及Q則 代表彩色資訊。每個像素只包含一個灰階度，而γ即可用 來代表灰階影像中每個像素的灰階值。雖然將亮度與彩色 資訊分開表示可提升影像分析的便利性，但只使用Y來代 Q 表灰階值可能會遺失一些影像的色彩資訊。因此，色彩轉 換層311中’使用特徵權重轉換演算法(Feature-weighted transformation algrothm)將彩色影像轉成灰階影像，如下列 公式（1): F(iJ) = R(iJ)(l + ^^Mi))

N - +G(i，j)(1+^EM) ……⑴ N 、’ - +B(i；j)(1+Am〇uiffl(iJ)) 7 201101814 其中’ R(1，J)、G(i，j)和B(i，j)分別代表影像中(i，j)位置之 像素之 RGB 值 ° AmountR(i，j)、 Am_tG(i，j)和

Am〇UntB(i，j)則分別代表整個影像與影像位置（i，j)之像素具 有相同RGB值的像素數目代表影像的總像素數。最後 算出每個像素的_值F後，正規化其數值，使其介於 0〜255間。藉此，即獲得影像中每個像素之灰階值。 党度分群層312主要是用來將影像中的物件與背景物 件或背景進行分離。在色彩轉換層311中所得到每個像素 〇的灰階值F，即代表各個像素的亮度。因此，在亮度分群 層中，使用Fuzzy C-mean(fcm)演算法進行亮度分群的動 作。分群公式如下列公式(2):

FCM V. Z|；uk(ij)q|F(iJ)-vk|2 F(i，j)-vn ZyUk(i,j)qxF(i,j) Σ

l<：k<C (2)

l<k^C

附件1是背光影像補償方法及具有背光影像補償機制 之攝影裝置之技術論文’參考附件1第5頁的圖3，左方 的背光影像經過亮度分群層312的計算，可匯出右方的分 群示意圖。由該分群示意圖可知，位於影像中間的物件， 即為背光的物件，相較於背光物件兩側後方背景的亮度， 背光物件的亮度遠小於背景的亮度。 因子計算層313利用了上述亮度分群層312所做出影 像分群的結果，計算出兩個背光因子B_hist313a及 201101814 B_fcm313b。Hist被定義為高於某亮度門檻值的像素佔總像 素的比例，它可偵測出圖片亮度分布的狀態。而B_hist313a 則是取整張影像各階層亮度Hist的平均。:Bj*cm3l3b則用 來代表影像的背光程度。 請參照第2圖，其為第1圖實施例中利用亮度分群後 的結果，所繪出之Hist直方圖。 在因子計算層313中，可先利用亮度分群層312對影 像所做出的亮度分群，續出一 Hist直方圖，其中，Hist直 Ο 方圖之橫軸為亮度，縱軸則為Hist值。為了量測附件t第 6頁的圖4中，背景與背光物件的亮度分群直方圖的梯度， 因子計算層312使用Sliding Window(SW)以拍屮昔本 B—咖。配合第2圖，當Hist的累積量小於〇2時，我3 异出最大的SW,即swmax。經由觀察我們可發現到背光程 度會提升SWmax。所以我們定義B—hist經由下^列方程式（3) Ο

SW B-hiSt = Thist^) ……Ο) 其中，T*一轉換聽，可以將B〜hist轉換為模 度。轉換函數T為下列函數(4): ，if 0.6 > χ > Q j ，if x >= 0.6 ,otherwise (4) (X - 0.3)/(0.6 - 0.3) T (X) = i 1 hist 0 請參照第3圖，其為另一實施例利用亮度分群結果 9 201101814 緣出之Hist直方圖。由第3圖所示，mst直方圖之橫轴為 亮度’縱韩則為Hist值，而B_hist則是取整個影像各階層 亮度Hist的平均值。 請參照第4圖，其為第1圖實施例中，利用亮度分群 結果所繪出的直方圖。 因子計鼻層313中亦使用了亮度分群層中Fuzzy C-mean(fcm)演算法所分群的結果—背景與背光物件在背光 影像中分別代表著明亮區域與灰暗區域。為了分割背景與 〇 背光物件’因子計算層313將分群數目設置為2。經過Fuzzy C-mean(fcm)演算法’可得兩個亮度群5〇0、51〇的群中心 C1和C2，其中，C1和C2分別代表經亮度分群層312進 行分群後’最暗的兩個亮度群500、51〇的群中心。很明顯 的，背景與背光物件間，沒有明顯亮度累積。換句話說， 背景與背光物件間的亮度累積越低，其背光程度越高。因 此，可定義另一背光因子B—fcm313b，其用以決定一個影 像的背光程度，換言之，B—fcm313b可代表背光物件與背 景的對比程度，如下公式（5): ” ( Σ p(r ) B fcm p(c ) + p(c ) (5) 其中，~ = ΐ為第i灰階的百分比，代表著當 的總像素❼n i為影像中i灰階值的總數々$ 為办像 其可將B—fcm轉換為模糊程度。轉換函數τ為下列函二):’ 201101814 (x - 0.3；/(0.6 - 0.3) ,if 0.6 > x > 〇 3 ^ (x) ~ < ^ Jf x >= 〇 6 (6) hist 〇 ,otherwise V» 其中，背光因子B一fam313b代表兩個群中心Cl和C2 之間的累積亮度，而背光程度則跟B_fcm 313b —起增大。 利用Fuzzy C_mean分群結果，以最暗的兩個亮度群5〇〇、 510作為補償的基準，因此，只取最暗兩個亮度群5⑼、51〇 的群中心C1及C2之絕對距離當作B_fcm 313b，並正規化 〇 值域於0〜1間，其公式(7)如下： B fcm 二 C2 _ Cl _ 255 ⑺ 請參照第5圖’其為第1圖之類神經模糊網路320之 運作流程示意圖。其中，X!代表背光因子B_hist 313a，χ2 代表背光因子B_fcm 313b。 將上述因子計算層313推算出的兩個背光因子B_hist 313a及B_fcm 313b ’丟入類神經模糊網路320中進行運 算。類神經模糊網路320為一種函數型的類神經模糊網路 O (FNFN)，並搭配一個以免疫系統為基礎的粒子群最佳化演 算法(IPSO)，類神經模糊網路320中包含輸入單元321、運 算單元322及輸出單元323。其中，運算單元322包含歸 屬函數層322a、法則層322b以及推論層322c。 輸入單元321用來接收背光因子B_Hist 313a(即第5 圖中的叉1)及3_&1113131)(即第5圖中的\2)，而此輸入單元 321中，每個節點稱為輸入項節點(input term node)，每個 輪入項節點分別對應一個接收的背光因子，即： wf} = xi ......⑻ 201101814 並將其傳輸至類神經模糊網路320中。 歸屬函數層322a中每個節點稱為輸入語意識的節點 (input linguistic node)’本歸屬函數層322a主要功能相當於 模糊控制中之模糊化介面，其歸屬值表示一輸入值（即一 背光因子)屬於一模糊集合的程度。在歸屬函數層322a中， 我們採用尚斯歸屬函數（Gaussian membership function)， 即： ,(2) exp ]2 (9) Ο ο

V 其中，气·和表不高斯歸屬函數之中心點（center)及寬度 (width) ° 法則層322b中每個節點稱為法則節點（_加㈣，而 每個法則節點代表-個模糊法則。法則層322b完成模糊邏 輯法則前鑑部匹m所叫㈣點完成模糊且(fuzzy AND)或積(product)動作： ……do 推論層322C中每個節點稱為後鑑部節點（consequent node)，各個後鑑部節點是法則層322b的輸出乘上輸出單元 之'和連結權重的線性組合，如下： ur=uT(w〇j+p^ ...··.(11) 其中，線性組合流程600中，先將〜及义2作歸一化 (Nonnalizati〇n)6〇l ，並進行函數擴展（f刪— expanSi〇n)602 ’而產生輪出單元之^和連結權重的線性組 12 201101814 合0 輸出單元323中的每個節點 node)，其完成解模糊化的動作，如下輸出節點（〇Utput

(12) 其中 Be。 y即為補償值B_c，並利用 輪出單元323輸出補償值 Ο 在運算單元322中’以非線性 方式的模糊法則如下（13)表示之： "為推論 部，此種

IF

lSAiJ and

XN

is A

(13) ο

Rule-y: x\isAlj^dx2kA2r^ndx.

其中，Rule-j指出第j個法則，Aij是模糊集合，xi為網 路輸入變數，推論部是利用函數型的類神經模糊網路32〇 的局部輸出j>;表示出一連串非線性組合。 藉由類神經模糊網路320的推論後，可得到影像的補 償值B_c。而輸出單元323可將補償值B_c自類神經模糊 網路320輸出。 、、 請參照第6圖，係為第1圖之曲線轉換單元41〇所繪 出的補償曲線。背光補償模組400用來接收補償值B c， 並修補影像之亮度’其包含曲線轉換單元410及影像;^補 13 201101814 單元420。為了降低影俊 b 異，曲線轉換· 41Q /^4\物件與背景間的明暗差 曰地方可以獲得補償，而亮的地方可以獲 付抑制，，、補彳員曲線方程式（1句如下： -if a < Cl f(X) =飞(X-a)2 +b f(X) = S^(x'a)2+b — ……(14) …補償曲線絲式(9)巾，下拋曲線對影像巾暗的地方做 〇補ϋ的動作ffij上抛曲線則對亮的地夺做抑制的動作。其 中’a和b為曲線的調整點(τρ)，其取決於影像亮度群的中 心以及補償值B-C。而調整點(ΤΡ)的定義如下公式（15): TP(a, b) = (C1, c 1+B_fcm* B_c) (15) ，由第6圖了知，曲線412為—比較例，其代表背光影 像尚未補償的曲線，而利用方程式（14)所緣出的補償曲線 411可對曲線412進行補償，以改善背光影像的亮度。 〇 最後，影像修補單元420利用將影像中每個像素都套 2補償曲線411 i ’即可修補影像的亮度，而得到補償 β參照附件1第13頁圖12 ’其為-PDA影像操作介面 ^桑作流程。當使用者湘PDA之攝影裝置拍攝—影像， 7從，作介面上選擇背光補償系統，並選擇此影像是否是 $光影像。當使用者選擇此影像非背光影像時，影像不會 :任何變更；反之’當使用麵擇此影像為背光影像時， 刼作介面即進入下一步，並可供使用者選擇是否對該影像 201101814 進行背光補償。當使用者選擇不對此影像進行背光補償 時’此影像即不會受任何變更；反之當使用者選擇對此影 像進行背光補償時’此影像則可透過第丨圖之類神經模糊 網路處理模組300及背光補償模組400來進行背光補償。 附件 1 第 16-19 頁的圖 n(a)、18(a)、19(a)及 20(a)皆 為背光影像’而這些影像在攝影裝置中，可直接透過上述

❹ 的類神經模糊網路320，將影像進行背光補償，而其結果 分別如附件1第16-19頁的圖i7(b)、18(b)、19(b)及20(b) 的補償後影像。很明顯的，經過背光補償後的影像，其物 件與方厅、的凴度較為協調，且物件也較為清晰。 綜上所述，實施例之具有背光影像補償機制之攝影 置及其背光影像補償方法，具有下列優點： 收於2二Ϊ函數型的類神經模糊網路具有較少的計算量且 定本發明，任』=揭::二離然”非用以限 範圍内，當可作各種之更動與潤 本發明之精神和 圍當視後附之申請專利範圍所界^者^本發明之保護範 圖式簡單說明】 、特徵、優點與實施例 為讓本發明之上述和其他目的 15 201101814 能更明顯易懂，所附圖式之說明如下： 第1圖係繪示依照本發明一實施例的一種具有背光影 像補償機制之攝影裝置之方塊結構圖。 第2圖為第1圖實施例中，利用亮度分群後的結果所 繪出之Hist直方圖。 第3圖為另一實施例中，利用亮度分群結果而繪出之 Hist直方圖。 第4圖為第1圖實施例中，利用亮度分群結果所繪出 0 的直方圖。 第5圖為第1圖之類神經模糊網路320之運作流程示 意圖。 第6圖為第1圖之曲線轉換單元410所繪出的補償曲 線。 附件1為背光影像補償方法及具有背光影像補償機制 之攝影裝置之技術論文 〇 【主要元件符號說明】 影像擷取模組 預處理模組 亮度分群層 313a : B_hist 320 :類神經模糊網路 322 :運算單元 322b :法則層 323 :輸出單元 100:攝影裝置 200 300 :類神經模糊網路處理模組310 311 :色彩轉換層 313 :因子計算層 313b : B fcm 321 :輸入單元 322a :歸屬函數層 322c :推論層 312 16 201101814 400 ： 曲線轉換單元 410 411 ： 曲線 412 420 ： 影像修補單元 500 510 ： 亮度群 600 601 ： 步驟 602 曲線轉換單元 曲線 亮度群 線性組合流程 步驟

17

Claims (1)

1. 201101814 七、申請專利範圍： .1.一種具有背光影像補償機制之攝影裝置，包含： 一影像擷取模組，用以攝錄至少一影像； 一類神經模糊網路處理模組，用以接收該影像，其包 含： 一預處理單元，用以自該影像提出至少一背光因 子； 一輸入單元，用以接收該背光因子； 〇 一運算單元，利用該輸入單元取得的背光因子計 算出一補償值；以及 一輸出單元，用以輸出該補償值；以及 一背光補償模組，用以接收該補償值，進而修補該影 像之亮度。 2. 如請求項1所述之具有背光影像補償機制之攝影裝 置，該預處理單元更包含： 〇 —色彩轉換層，用以轉換該影像之色彩空間。 3. 如請求項1所述之具有背光影像補償機制之攝影裝 置，該預處理單元更包含： 一亮度分群層，用以將該影像中各個像素之亮度進行 分群。 4. 如請求項3所述之具有背光影像補償機制之攝影裝 18 201101814 置，該預處理單元更包含： 一因子計算層，利用亮度分群的結果計算出兩背光因 ^ 0 5. 如請求項1所述之具有背光影像補償機制之攝影裝 置，該背光補償模組更包含： 一曲線轉換單元，用以將該補償值轉換成一補償曲 線；以及 〇 一影像修補單元，利用該補償曲線修補該影像之亮度。 6. 如請求項1所述之具有背光影像補償機制之攝影裝 置，其中該類神經模糊網路處理模組為一處理晶片，並内 嵌於該攝影裝置。 7. 如請求項1所述之具有背光影像補償機制之攝影裝 置，其中該類神經模糊網路處理模組為一影像處理程式， 〇 且該攝影裝置具有一作業系統，以執行影像處理程式。 8. 如請求項1所述之具有背光影像補償機制之攝影裝 置，其中該攝影裝置是手機。 ' 9.如請求項1所述之具有背光影像補償機制之攝影裝 置，其中該攝影裝置是個人數位助理(PDA)。 19 201101814 10. —種背光影像補償方法，係應用於一攝影裝置，包 含下列步驟： - 拍攝一影像； 、將該影像進行亮度分群； 利用亮度分群提出至少一背光因子； 將該背光因子輸入一類神經模糊網路，以計算出一補 償值； 將該補償值轉化為一補償曲線；以及 Ο 利用該補償曲線對該影像進行亮度補償。 11. 如請求項10所述之背光影像補償方法，更包含： 將該影像由彩色空間轉為灰階空間，並可得複數個灰 階值。 12. 如請求項11所述之背光影像補償方法，其中利用 該些灰階值將該影像進行亮度分群。 Ο 20