TW201308251A - 水下影像強化系統 - Google Patents

Abstract

色散及色偏現象為造成水下影像失真最重要兩個原因，其中色散現象為物體反射光線經水中粒子吸收與多次漫射所造成，色散現象將衍生為霧化效應導致水下影像能見度與對比降低，而色偏現象則是光線於水中傳播時，因不同波長遭受不同程度之能量衰減，而令水下環境呈現偏藍色調。本案發明針對水下影像之色散與色偏失真提出結合除霧及波長能量補償並考慮人造光源照射效應之水下影像強化演算法，首先以Dark Channel Prior估測物體至相機距離，並產生物體至相機距離深度圖(Depth Map)，再依水下影像之前景與背景平均亮度差值據以判斷水下影像拍攝時是否經人造光源照射。於移除人造光源照射的影響後，透過除霧演算法移除物體至相機距離所造成之霧化效應及色偏現象，再依水下背景光之各波長能量剩餘比率估測拍攝場景之水下深度，最後根據光線於水中傳播之能量衰減程度進行補償水下深度造成之各波長能量衰減差異，以校正水下影像之色偏失真。

Description

水下影像強化系統

本發明係關於一種影像強化之方法，特別針對水下影像進行強化，以增強水下影像之能見度與色彩真實度，使水下影像經處理後呈現猶如於空氣中拍攝之樣貌。

如何於水下環境擷取清晰影像為海洋工程學之重要議題，水下航行監控、環境評估與礦物探勘等應用之有效性，均端視水下攝影畫質優劣，然而擷取清晰水下影像面臨眾多挑戰，其中最主要原因源於色散導致之霧化效應及光線於水中傳播時其各波長能量衰減不一致所造成之色偏現象。

已知水下影像強化技術僅單獨針對色散造成之霧化效應或各波長能量衰減不一致造成之色偏失真加以校正，並無可同時克服色偏及色散現象之解決方案；為使本案之新穎性及進步性更行明確，先就現有水下影像強化相關之專利及公開發表之期刊論文進行分析與討論。

一、移除色散造成之霧化效應：

1. W. Hou and A. Weidemann,“Automated Underwater Image Restoration Via Denoised Deconvolution,”US 20090252430A1,2009。此方法為一種結合點擴散函數(point spread functions,PSF)與調制轉換函數(modulation transfer function,MTF)強化水下影像對比以減輕霧化效應，雖可提高水下場景之對比度及影像能見度，但因各波長能量衰減不一致造成之色偏現象仍存在於影像中。

2. Y. Y. Schechner and N. Karpel,“Enhanced underwater imaging,”US 7,804,518,2010。此方法為利用偏光鏡之偏振及極化特性來估測物體至相機距離，並根據水下影像成像之物理特性以除霧演算法來彌補影像能見度之衰減，達成影像強化之功效，但至少需兩張以上不同偏振角度之影像方可估測物體至相機距離，與本案發明僅需單張影像即可進行強化之特性並不相同，且單單透過除霧演算法並無法消除影像色偏現象，處理後色偏現象仍存在於影像中。

3. V. K. Asari and L. Tao,“Visibility improvement in color video stream,”US 7,428,333,2008。此方法為結合增強亮度及對比度之方法，首先將水下影像分離為彩度圖及亮度圖，再針對亮度圖進行非線性強化，最後再將彩度圖及亮度圖合成為輸出影像，雖可增強影像之對比及強化暗部細節，但對影像之色偏現象則毫無幫助。

二、影像色偏現象之改善：

Yamashita等人考慮光線衰減程度來估計水下環境參數並進行能量補償以校正影像色偏現象(Intl. Conf. Robotics and Automation,2007)、Iqbal等人採用直方圖等化於RGB和HSI顏色空間進行色彩亮度分佈平衡(Intl. Journal of Computer Science,2007)及Vasilescu等人以距離為基礎之動態混合照明技術補償各波長損失差異，藉由使用一個可控制之多色光源來評估各波長色光之衰減程度(Proc. of Robotics: Science and Systems,2010)，以上方法雖可改善色彩平衡程度，但均無法移除色散所造成之霧化現象。

本系統考量水下影像存有之霧化效應、色偏失真以及人造光源照射效應等因素並未見於先前技術，因此本案發明具新穎性、進步性、實用性以及產業利用性。

本案發明鑑於僅單一功能之水下影像強化技術並無法滿足海洋工程學對水下影像品質之要求，且已知之水下影像強化演算法均未考慮人造光源對感測之影像亮度所造成之影響，經多方評估及研究後，發展一套可同時校正色偏及色散現象並去除人造光源影響之水下影像強化演算法，僅需單張輸入影像即可有效提升影像能見度與色彩真實度，使水下拍攝影像及影片均獲得良好視覺效果，呈現於空氣中觀賞之原有色調，清晰度及細節保真度。

本案發明之水下影像強化系統包括一資料擷取裝置、一資料傳輸介面、一資料處理裝置以及一影像顯示裝置，其中該資料處理裝置所進行之該強化處理係一結合除霧及波長能量補償並考慮人造光源照射之水下影像強化演算法，可針對受霧化、色偏及人造光源影響之水下影像進行強化，以恢復水下影像能見度及亮度、色彩真實度，使水下影像呈現猶如於空氣中觀賞之原有色調，清晰度及細節保真度。首先以資料擷取裝置擷取靜態水下影像或動態水下影像序列，並暫存於一資料儲存裝置，利用資料傳輸介面將該擷取靜態水下影像或動態水下影像序列，由資料儲存裝置傳輸至資料處理裝置並進行強化處理，最後將處理後之水下影像顯示於影像顯示裝置中供使用者觀察。

為達成本發明上述之各項目的，以下配合本發明結合除霧及波長能量補償並考慮人造光源照射之水下影像強化演算法之流程圖(第二圖)，將依各部分組件分別說明：

(一)前言

本案發明之水下影像強化系統同時考慮拍攝場景所涵蓋之水下深度D至D+R、物體至相機距離d(x)及人造光源L等因素，並逐一克服及解決水下影像之色散及色偏現象，以提升水下影像之清晰度及細節保真度。

本水下影像強化系統循水下成像模型進行逆向補償，如第一圖所示，水下拍攝影像可表示為自空氣入射之均勻一致自然光線A(101)經水下深度D(x)(104)之衰減而形成水下環境光W(x)，其中D＜D(x)＜D+R，自然光線A與水下環境光W(x)之能量分別為(x)及(x)，其彼此之關係可依據波長能量衰減模型表示為：

其中λ代表光線中各色光之波長，Nrer(λ)為正規化能量剩餘比率：

經水深衰減之水下環境光W(x)照射至拍攝場景中一點x後，其反射光線行經距離d(x)(105)至相機(107)成像，成為所拍攝之水下影像I _λ (x),λ {red,green,blue}。物體反射光線行經距離d(x)時會同時遭受色散及色偏失真，其中色偏現象不僅存於水下深度D(x)之衰減，也會發生於物體反射光於距離d(x)之傳播，而色散現象則是物體反射光線行進至相機過程中，部分反射光線擊中水中懸浮粒子(108)而造成吸收與散射現象，使原本應直線行進至相機之反射光線因與懸浮粒子碰撞而散射。於不具黑體輻射之環境，散射現象通常會擴展成多重散射，進而使散射光形成均勻一致之背景光B _λ ，因此經散射程序之水下模糊影像可依「模糊影像成像原理」(R. Fattal,“Single Image Dehazing,”Intl. Conf. on Computer Graphics and Interactive Technique,No. 72,Pages 1-9,2008.)表示為直接傳導之反射光線與經懸浮粒子散射之背景光加權總和，如公式3所示：

其中直接傳導之物體反射光線(x)‧Nrer(λ) ^{D ( x )}‧ρ _λ (x)為自然光線A經深度D(x)之衰減後，照射至拍攝場景中之物體，再經由物體表面反射率ρ _λ (x)反射所形成。

此外，於水下環境拍攝時為克服環境光源亮度不足，多添加人造光源L輔助拍攝，因此於補償水下深度D(x)造成之能量衰減差異及進行水下影像除霧前，必須移除人造光源貢獻之亮度以避免過度補償。假設人造光源為設置於相機旁之點狀光源，則人造光源散發之能量於照射至拍攝物體前，需先經過距離d(x)之衰減，因此物體反射光線可修正為經物體至相機距離d(x)衰減之人造光源殘餘能量‧Nrer(λ) ^{d ( x )}與經水深D(x)衰減之水下環境光(x)‧Nrer(λ) ^{D ( x )}加總後，一起照射至拍攝物體並經由物體表面反射率ρ _λ (x)反射所形成，因此公式3可進一步修正為：

公式4為本案發明提出之水下影像成像模型之完整數學表示式，其與第一圖互相呼應，本案發明之水下影像強化系統同時考慮霧化效應，波長衰減及人造光源等變因，針對受霧化及色偏影響之水下影像I _λ (x)能有效消除人造光源影響並移除距離d(x)所導致之色偏及色散現象，最後補償水下深度D(x)造成之色偏現象。因此於下列部分將分別介紹：1.估測物體至相機距離d(x)(210)、2.分割水下影像之前景與背景(220)、3.判斷水下拍攝場景是否存有人造光源(230)、4.偵測並移除人造光源所照射之亮度(240)、5.移除距離d(x)造成之色偏及色散現象(250)、6.估測拍攝場景之水下深度D(x)(260)最後7.補償拍攝場景之水下深度D(x)造成之色偏現象(270)，使水下拍攝影像獲得良好視覺效果。

(二)估測物體至相機距離 d(x) (210)

常用於預估水下影像中物體到相機距離之方法，一般都需要透過至少兩張以上之水下影像以視差方式進行估測，但仍有僅需透過單張水下影像進行拍攝距離估測之方法，其中包含Dark-Channel估測法、消失點估測法或DFD(Depth-from-defocus)估測法等。然而於有霧環境中，霧之濃度將隨著距離之增加而增加，因此可利用場景中霧濃度資訊來預測拍攝場景中物體至相機距離d(x)，本案發明以He提出之Dark-Channel估測法為實施例(K. He,J. Sun and X. Tang,“Single image haze removal using Dark Channel Prior,”Proc. of IEEE CVPR,vol. 1,pp. 1956-1963,2009)搭配Laplacian matrix matting技術可有效估測及優化物體至相機距離，Dark-Channel估測法表示於無霧之水下影像中扣除影像之背景部分後，剩餘之前景部份任一點x所構成之局部區域Ω(x)中，至少存有一個像素具有極低且趨近於零之亮度值，造成這種低亮度值之主要原因為：

1.　陰影：生物陰影，浮游生物，植物或海床岩石所造成。

2.　物體本身豐富色彩：綠色植物，黃色沙灘，五彩繽紛岩石與礦物質…等，於色彩空間中缺乏任一顏色均會導致於Dark Channel處理時，造成一個極低數值。

3.　較暗物質：黑色生物及岩石表面。

Dark-Channel估測法源於拍攝物體表面之某一色彩通道具有低反射率ρ_λ(x)，若於影像前景部分之局部區域Ω(x)經Dark Channel運算後不存在較低亮度值，則表示此局部區域中存有霧，因此可藉由Dark Channel評估拍攝場景中霧濃度分佈範圍，並進一步提供物體至相機距離d(x)，針對水下影像中每一像素點進行距離d(x)估測後，即可獲得物體至相機距離深度圖(302)。但Dark Channel為一以區塊為基礎之運算方式，因此所產生之深度圖較不精確且易產生馬賽克失真，所以尚需搭配Laplacian matrix matting技術優化經Dark Channel估測之物體至相機距離深度圖，第三圖(303)表示經優化後之深度圖，與第三圖(302)相較其馬賽克現象已獲得大幅度改善。

(三)分割水下影像之前景及背景(220)

於取得物體至相機距離深度圖(303)後，可進一步以物體至相機距離深度圖為基準搭配一可調參數進行影像之前景與背景分割，其分割公式如下：

其中d(x)代表物體至相機距離，而σ是一個可調參數，初步取得水下影像之前景與背景分割圖後，還需使用連通元件過濾面積較小之背景區域，以降低單純使用可調參數σ以二分法分割所造成之誤判現象。

(四)判斷水下拍攝場景是否存有人造光源(230)

水下影像拍攝場景中是否存有人造光源，主要是根據水下影像之前景與背景平均亮度差值做為是否水下影像中使用人照光源輔助照射之判斷根據，於無人造光源照射之水下影像中，其背景部分並未經物體反射，而由水下環境光W(x)直接傳遞，因此屬於水下影像中亮度較高部分。若水下影像之前景平均亮度高於背景平均亮度時，則代表水下影像拍攝場景存有人造光源，反之，則於水下影像擷取時並未使用人造光源。

(五)偵測並移除人造光源所照射之亮度(240)

若水下影像中存有人造光源照射，則物體反射光線J _λ (x)可表示為人造光源與水下背景光之能量總和照射至物體表面，經物體表面反射率ρ _λ (x)反射後所感測之能量，所以於物體反射光線之中，人造光源可為點狀、線狀或面狀光源，發射出紅色、綠色及藍色波長能量一致之白色光源或特定波長強度較其於波長強度大之有色光源，本案發明以各波長能量均等之白色光源並以點狀球面方式放射為實施例，因水下影像受人造光源影響與物體至相機距離平方成反比(物體距離相機越近則受到人造光源影響越多，反之則越少)，位於相同距離上之所有物體，其所受人造光源照射亮度相等，故可利用此一特性求解於相同距離d(x)之所有像素點其對應人造光源照射能量及各波長之物體表面反射率ρ _λ (x)。

於物體反射光中求解、ρ _red (x)、ρ _green (x)及ρ _blue (x)為一過度定義(over-determined)方程式，因此需依賴下列最小平方差法求解。

若於獲得人造光源照射能量及各波長之物體表面反射率ρ _λ (x)後(見第五圖)，可進一步依下列公式將人造光源從水下影像中移除，如第三圖(305)所示。

若未將人造光源之照射能量移除，則於後續補償水下深度D(x)造成之能量衰減差異及水下影像除霧時，會造成影像過度補償之狀況，如第四圖(402)所示。

(六)移除距離 d(x) 造成之色偏及色散現象(250) 於移除人造光源照射之能量‧Nrer(λ) ^{d ( x )}後，可將因散射所形成之霧化項(1-Nrer(λ) ^{d ( x )})‧B _λ 移除，表示為下式：

其中經移除霧化效應之水下影像仍存有波長能量衰減不一致所造成之色偏現象，故尚需補償各波長間能量衰減之差異。將公式8等號兩邊同時除以波長能量衰減比率Nrer(λ) ^{d ( x )}以校正色偏現象，於移除距離d(x)所造成之色偏及色散現象後物體反射光J _λ (x)可表示為：

第三圖(306)為移除距離d(x)所造成色偏及色散現象之結果，可以發現影像中仍存有偏藍色調之色偏現象，這是因為空氣中自然光線A穿透水深D(x)達到水下影像拍攝場景時，由於各波長能量衰減不一致而導致水下環境光W(x)存有色偏現象所造成。因此若要獲得沒有霧化及色偏現象影響之影像(x)‧ρ _λ (x)，還需估測於公式9中唯一未知變數：水下深度D(x)。

(七)估測拍攝場景之水下深度 D(x) (260)

假設自空氣入射之自然光線A為各波長能量均勻一致之白光，則位於一點x之各波長能量可表示為；入射之自然光線於穿入水中深度D(x)後，其能量遞減而形成水下環境光W(x)，其各波長能量分別為。由公式1可得，入射之自然光線A與水下環境光W(x)具有下列關係：

因此可依水下環境光之各波長剩餘能量比率據以估測拍攝場景之水下深度D(x)。

首先取得於任一點x之水下環境光W(x)，接著以最小平方法求解，使得自空氣入射光線經深度k衰減後所剩餘能量與水下環境光之各波長能量彼此之誤差最小值：

水下拍攝場景之深度涵蓋範圍從D延伸至D+R，倘若針對整張影像僅以單一水下深度D進行各波長之能量差異補償，則會因深度涵蓋範圍R而導致影像下方仍存有色偏現象，如第三圖(307)所示，因此若要獲得一致之色偏失真校正結果，則必須完整估測水下影像中各處之水下深度D(x)並予以補償。但是水下環境光W(x)代表未經過物體表面反射率ρ _λ (x)反射之成分，即為水下影像之背景部分，若根據水下環境光之剩餘能量來估測水下深度，則於水下影像之前景部分並無法適用，為克服此一問題，本發明以線性內插法加以解決，如此即可預估於水下影像中任一點x之水下深度D(x)。

令水下影像最頂端之背景像素其對應至拍攝場景之水下深度為D，最底端之背景像素點為D+R，R代表影像場景中深度涵蓋範圍，其中水下深度D與D+R可由公式10估測得之，則位於場景中任一點x對應之水下深度D(x)均介於D至D+R之間，因此於水下影像中各處之水下深度D(x)可由最頂端及最底端之背景像素點透過線性內插法獲得。假設任一個像素x、最頂端和最底端背景像素分別位於影像第a _x 、b和c條掃描線，則任一像素點x所代表之水下深度D(x)均可由下式之線性內插法推得：

(八)補償拍攝場景之水下深度 D(x) 造成之色偏現象(270)

取得任一點之水下深度D(x)後，可根據公式12校正自然光線A沿著水下深度D(x)傳播時所造成之色偏現象：

經補償任一點之水下深度D(x)造成之各波長能量衰減差異後，可得第三圖(308)之結果，由第三圖(308)及第四圖(403)可以發現本案發明之水下影像強化系統能有效還原影像顏色及移除霧化效應與人造光源造成之影響，使原水中色偏及霧化影像經強化後呈現猶如於空氣中觀賞之色調及清晰度。

101．．．空氣中之自然光線

102．．．拍攝場景中水下深度之最短距離

103．．．相機旁輔助拍攝之人造光源

104．．．拍攝場景中一點x至水面之距離

105．．．拍攝場景中一點x至相機之距離

106．．．拍攝場景之水下深度涵蓋範圍

107．．．取像用相機

108．．．於水中含有砂、礦物質、浮游生物等懸浮粒子

210．．．估測物體至相機距離

215．．．物體至相機距離深度圖

220．．．分割影像後之前景與背景

230．．．判斷於拍攝場景中是否存有人造光源照射

240．．．移除人造光源照射之能量

250．．．移除距離d(x)造成之色偏及色散現象

260．．．估測拍攝場景之水下深度D(x)

270．．．補償拍攝場景之水下深度D(x)造成之色偏現象

301．．．真實水下場景拍攝之水下影像(一)

302．．．經Dark-channel估測之物體至相機距離深度圖

303．．．經Laplacian matrix matting優化後之物體至相機距離深度圖

304．．．真實水下場景拍攝之水下影像(二)

305．．．移除人造光源照射能量後之水下影像

306．．．移除距離d(x)造成之色偏及色散後影像

307．．．僅以水下深度D補償整張影像之色偏結果

308．．．補償水下各點深度D(x)之色偏結果

401．．．真實水下場景拍攝之水下影像(二)

402．．．水下影像過度補償之結果

403．．．水下影像正確補償之結果

501．．．影像受人造光源照射之分佈圖

502．．．紅色波長之物體反射率分佈圖

503．．．綠色波長之物體反射率分佈圖

504．．．藍色波長之物體反射率分佈圖

圖一為水下影像之成像模型

圖二為本發明水下強化系統之文字系統流程

圖三為本發明水下強化系統之影像系統流程

圖四為介紹影像存有人造光源造成之影響

圖五為人造光源及物體表面反射率之分佈

101．．．空氣中之自然光線

102．．．拍攝場景中水下深度之最短距離

103．．．相機旁輔助拍攝之人造光源

104．．．拍攝場景中一點x至水面之距離

105．．．拍攝場景中一點x至相機之距離

106．．．攝場景之水下深度涵蓋範圍

107．．．取像用相機

108．．．於水中含有砂、礦物質、浮游生物等懸浮粒子

Claims (12)

1. 一種水下影像強化系統，係用於強化受霧化、色偏及人造光源影響之水下影像，該水下影像強化系統包含：-資料擷取裝置，用於擷取靜態水下影像或動態水下影像序列，並暫存於一資料儲存裝置；-資料傳輸介面，用於將該擷取靜態水下影像或動態水下影像序列傳輸至資料處理裝置；-資料處理裝置，用於進行接收之該擷取靜態水下影像或動態水下影像序列之強化處理；-影像顯示裝置，顯示處理後影像以供使用者觀察；其中該資料處理裝置所進行之該強化處理係一結合除霧及波長能量補償並考慮人造光源照射之水下影像強化演算法，可針對受霧化、色偏及人造光源影響之水下影像進行強化，以恢復水下影像能見度及亮度、色彩真實度。
2. 如請求項1項所述之水下影像強化系統，其中該結合除霧及波長能量補償並考慮人造光源照射之水下影像強化演算法更包含：-水下環境中被拍攝物體至相機距離之估測步驟；-拍攝場景水下深度之估測步驟；-水下影像人造光源照射能量之估測步驟；-水下影像人造光源照射能量之移除步驟；-影像除霧步驟；-波長能量補償步驟。
3. 如請求項2項所述之水下影像強化系統，其中該水下環境中被拍攝物體至相機距離之估測步驟，係依單張水下影像據以進行被拍攝物體至相機距離之估測，產生對應水下環境中被拍攝物體至相機距離之深度圖。
4. 如請求項3項所述之水下影像強化系統，其中透過單張水下影像進行拍攝距離估測之方法可為Dark Channel估測法、消失點估測法或DFD(Depth-From-Defocus)估測法。
5. 如請求項2項所述之水下影像強化系統，其中該拍攝場景水下深度之估測步驟係根據光線於水中傳播之能量衰減程度進行計算，最小化自空氣入射光線經衰減後能量與水下環境光能量彼此間差異，以估測拍攝場景之水下深度。
6. 如請求項3所述之水下影像強化系統，其中該拍攝場景水下深度之估測步驟係根據該對應水下環境中被拍攝物體至相機距離之深度圖進行水下影像之前景與背景分割，分別推導水下影像之背景部分最頂點像素與最底點像素之水下深度後，再以線性內插法計算場景中其餘各點之水下深度。
7. 如請求項2項所述之水下影像強化系統，其中該水下影像人造光源照射能量之估測步驟中，該人造光源可為點狀、線狀或面狀光源，並發射出紅色、綠色及藍色波長能量一致之白色光源或特定波長強度較大之光源。
8. 如請求項7項所述之水下影像強化系統，其中更依水下影像之前景與背景平均亮度差值做為水下影像中是否使用人照光源輔助照明之判斷根據，若水下影像存有人造光源照射，則透過物體反射光線與照射至物體表面入射光線(即人造光源加水下環境光線)間之最小平方差計算，分別推導人造光源所貢獻亮度及物體表面反射率分佈資訊。
9. 如請求項8項所述之水下影像強化系統，其中該水下影像人造光源照射能量之移除步驟係於取得該人造光源所貢獻亮度與物體表面反射率分佈資訊後，進一步將人造光源所貢獻之能量自水下影像中移除。
10. 如請求項3項所述之水下影像強化系統，其中該影像除霧步驟係於取得該對應水下環境中被拍攝物體至相機距離之深度圖後，進一步依據除霧演算法將水下環境中被拍攝物體至相機距離中產生之霧化效應自水下影像中移除。
11. 如請求項10項所述之水下影像強化系統，其中於該影像除霧步驟後，進一步包括一波長能量補償步驟，對光線於水下環境中被拍攝物體至相機距離中各波長能量之衰減差異加以補償。
12. 如請求項2項所述之水下影像強化系統，其中該波長能量補償步驟係於取得拍攝場景距離水面之水下深度資訊及深度範圍資訊後，對空氣光線自水面至場景之傳播途徑中各波長能量之衰減差異加以補償。