水下圖像的顏色校正及對比度增強算法研究?

朱恒軍 王天落 馬利浩

（齊齊哈爾大學通信與電子工程學院 齊齊哈爾 161006）

1 引言

神秘的海洋世界蘊藏著豐富的資源，令人心向往之。但水會先吸收長波光，導致水下以紅、綠和藍光為主；水的散射特性及光源不足又降低可見性。這讓采集的水下圖像呈現(xiàn)對比度差、色偏嚴重和模糊問題。因此，校正色偏和提高圖像對比度是水下圖像的研究熱點，也為后續(xù)水下科學研究提供真實水下信息。隨著研究深入，單幅水下圖像去霧方法被廣泛應用，有以下幾種方法。

圖像恢復方法，通過構建退化模型來進行圖像恢復。水下圖像和去霧圖像類似，He等人［1］提出的暗通道先驗去霧算法（DCP）被應用到水下圖像的恢復中。Galdran 等［2］提出使用紅色通道方法（ARC）來恢復圖像顏色和提高對比度，并降低人造光源影響；Peng等［3］提出基于圖像模糊和光吸收的深度估計方法（IBLA），解決基于暗通道或最大強度先驗方法對水下場景深度估計不準確問題；Marques 等［4］提出的L2UWE 算法，從局部對比度信息中推導出一種高效的大氣照明模型來恢復低光照水下圖像。但這類方法嚴重依賴模型，在極端水體中恢復效果差。

深度學習方法，通過大量數(shù)據(jù)集訓練，深度學習方法在簡單圖像處理中效果喜人。李微等［5］改進的U-Net 網(wǎng)絡可將圖像的目標部分和背景部分進行對比度增強，能夠有效提升水下圖像清晰度；Liu 等［6］提出一種基于條件生成對抗網(wǎng)絡（GAN）的深度多尺度特征網(wǎng)絡來校正水下圖像顏色。然而這類方法數(shù)據(jù)集大，訓練時間長。

圖像增強方法，通過簡單的像素調整，便可得到清晰圖像。Hummel［7］提出的HE 算法，通過全局拉伸對失真圖像進行全局增強，但造成局部細節(jié)不清晰；Zuiderveld［8］在HE 算法基礎上提出的CLAHE算法，將圖片劃分多區(qū)域來增強局部對比度，但存在偽影。

由于各種算法都存在一定局限性，融合算法便受到重視，它結合不同算法的優(yōu)勢提高圖像質量。Rajni 等［9］將直方圖均衡圖像和對比度拉伸圖像進行融合得到良好的效果。在本文中，為解決色偏問題，提出一種統(tǒng)計學方法恢復顏色；為增強圖像細節(jié)，使用CCI［10］來改進ACE［11］算法；為調整圖像的亮度，采用CLAHE算法對圖像進行處理；最后使用多尺度融合的方法解決輸出圖像的偽影問題。結果表明，本文提出的方法，不需要先驗信息和構建物理模型，便能夠大幅度提升水下圖像的質量。

2 算法原理

2.1 顏色校正

有研究者考慮到水下圖像易出現(xiàn)藍綠色畸變，提出白平衡的方法進行顏色補償。陳浩等［12］提出對圖像的每一個通道都進行補償。但這種方法只是簡單的對顏色通道進行輸入補償，其結果會受到全局對比度低和藍色通道衰減的影響。考慮到渾濁泥沙水體中存在著同沙塵暴天氣類似的大量懸浮顆粒，在Fu 等［13］使用的顏色矯正方法基礎上，本文提出使用統(tǒng)計學方差的辦法來矯正水下圖像顏色。

將水下圖像定義為I，并計算顏色通道中的最大值和最小值，最終校正后圖像為。

其中c?{R，G，B}，是顏色通道均值，是顏色通道的方差。β是飽和度參數(shù)，經(jīng)過實驗取值在（0～0.15）之間，如果取值太小，雖色彩上會有較好的外觀，但會過度曝光；取值太大，圖像會變模糊。幾種不同取值的實驗結果如圖1 所示，在本文中對β取值為0.085。

圖1 實驗結果

2.2 改善曝光圖像

在進行顏色矯正時，圖像進行了全局處理，使得校正后圖像出現(xiàn)局部的曝光現(xiàn)象，這會造成圖像的亮度失衡和對圖像細節(jié)丟失的問題。為改善此類問題，本文中使用CLAHE 算法來對顏色矯正后圖像進行改善，抑制圖像噪聲干擾，平衡亮度。該算法通過局部區(qū)域的對比度限幅來調整圖像中過于明亮或者過于黑暗的區(qū)域和提高圖像的局部對比度。

2.3 對比度代碼圖像

在圖像處理過程中通常使用單一大小的鄰域。較小的鄰域雖然突出更多圖像細節(jié)，但會使亮度過飽和（非自然色）；較大的鄰域能夠很好地估計和消除霧霾，但是在強度不連續(xù)的部分會出現(xiàn)光暈問題。因此，為確定顏色矯正后圖像ICR每個像素的最佳鄰域尺寸，因此引入對比度代碼圖像CCI，計算過程為

其中σ代表鄰域Ωa內(nèi)部強度間的標準差；Ωa(x)?ICR代表以像素x為中心的正方形鄰域，其尺寸大小表示為 (2a+1) ×(2a+1)，其中的a={1，2，...，7}。

2.4 改進的局部自適應對比度增強算法

獲取信息時，人眼更關注高頻信號。因此，虞等［11］通過提高高頻信息來獲得更多圖像細節(jié)，但該算法的鄰域大小影響著處理結果的好壞。為此，本文提出使用CCI來改進ACE算法。

ACE 算法可分為低頻的反銳化掩模部分和高頻部分。實際應用中，通常取局部的像素平均值表示低頻部分。定義x(i，j)為圖像某點灰度值，局部區(qū)域定義為：以(i，j)為中心，則(2n+1) ×(2n+1)為局部區(qū)域，n為整數(shù)，通常為定值。本文中對ACE 算法的改進是局部區(qū)域的大小通過CCI 來確定，即n=CCI(x)。圖像的低頻部分為式（5），局部方差為式（6）：

其中σx(i，j)代表局部標準差；f(i，j)表示為x(i，j)增強后的像素值：

其中的函數(shù)G(i，j)表示高頻放大系數(shù)（CG）。為保證高頻成分[x(i，j)-mx(i，j)]得到增強，CG 應大于1。通常CG 為常量，但此時，圖像中的高頻部分放大程度一樣。因此在本文中采用自適應方法：

其中D為常數(shù)，表示圖像的全局平均值；而α作用是控制高頻部分的增強程度，文中設置為1.5。

通過CCI 對ACE 算法改進的實驗結果如圖2所示。普通的ACE 算法對水下圖像進行處理時，會提高圖像的目標區(qū)域和背景區(qū)域的對比度，使得圖像顯現(xiàn)出來更多的目標輪廓，但是該算法使用單一大小鄰域處理，也使得圖像的輪廓出現(xiàn)光暈，破壞了圖像本身的細節(jié)信息；經(jīng)過改進后的ACE 算法，提高了圖像的細節(jié)對比度，恢復更多有用信息的同時也解決了圖像目標出現(xiàn)的光暈問題。

圖2 通過CCI對ACE算法改進的實驗結果

2.5 多尺度融合

進行多尺度融合時需對三個權重圖進行計算：顯著性權重圖、亮度權重圖、局部對比度權重圖。其能夠保證輸入圖像的顯著性和對比度高的區(qū)域，或者有邊緣和紋理變化的區(qū)域，在融合輸出過程中得到強化。

顯著權重圖：作用是突出顯著區(qū)域，可由輸入圖像的高斯平滑圖像減去輸入圖像的平均強度值來得到：

其中x表示輸入圖像Pk的一個空間坐標，k={1，}2。Gs是對每個輸入的圖像進行高斯平滑操作時用的5×5 高斯核：

亮度權重圖：該權重圖為良好的可視性像素分配高值，可通過輸入圖像的RGB 顏色通道和亮度間的偏差來獲得，可由式（10）表示。其中Rk，Gk，Bk代表每個輸入圖像的三通道。而Tk為輸入圖像中每一像素x處的三通道平均值。

局部對比權重圖：作用是突出輸入圖像局部強度變化大的地方。具體方法可通過使用為的拉普拉斯核對Tk計算獲得。

將獲得的三個權重圖進行合并得到；通過歸一化得到歸一化權重圖----。為保證歸一化過程中分母不為零［14］，引入δ，設其值為0.001。

最終用多尺度融合的辦法解決融合過程中的偽影問題，計算過程為

其中的O為融合后圖像；l為高斯金字塔和拉普拉斯金字塔的層數(shù)，本文中設置為5層。

3 仿真結果與討論

在本文中，實驗處理器為Intel（R）Core（TM）i7-7500U CPU @ 2.70GHz 2.90GHz；軟件環(huán)境是MATLAB R2018b、PyCharm2020.1 和Python3.7；實驗的數(shù)據(jù)集是Li 等［15］提出的UIEB 數(shù)據(jù)集中的890幅可參考圖像；對比算法為ARC 算法、IBLA 算法、L2UWE算法和HE算法。

3.1 圖像定性評估

在顏色矯正方面，如圖3 所示的（a）、（b）兩行圖像。考慮到水下圖像常出現(xiàn)藍綠色畸變，選擇兩張以藍色和綠色的為主的圖像進行實驗?？梢悦黠@看出IBLA 和L2UWE 矯正藍綠色圖像的效果最差；ARC 次之；HE 雖突出圖像各區(qū)間的色彩對比，但改變原來圖像的色彩，造成圖像失真；本文算法效果更接近于文獻［15］中的參考圖像，色彩校正效果最好。如圖3 所示的（c）、（d）兩行圖像；對于泥沙較多的水下圖像，ARC的效果為全局的高亮不清晰，HE 也出現(xiàn)局部的高亮，使局部模糊；L2UWE 會對水體中的懸浮顆粒過度增強，嚴重影響圖像外觀；IBLA 雖能夠抑制懸浮物的影響，但整體的區(qū)分度較低，不易獲得有效信息；本文算法的效果圖同參考圖像相近，能夠恢復出來清晰的水下圖像，可以達到去除霧霾模糊的效果。

圖3 不同方法的顏色校正和霧霾去除效果對比圖

如圖4 所示的（a）、（b）兩行圖像，L2UWE 對水下微光圖像的增強效果更符合人眼對圖像增強的評價體系；ARC、IBLA 和HE 都存在對原始圖像的明亮區(qū)域過度增強和較暗區(qū)域增強較弱的問題；本文算法，對明亮區(qū)域增強較弱，不會出現(xiàn)過度曝光，對暗區(qū)域進行亮度均衡，使圖像整體亮度一致。如圖4 所示的（c）、（d）兩行圖像，對細節(jié)增強效果進行對比。L2UWE 能夠有效地將圖片中的細節(jié)紋路凸顯出來，但圖像邊緣會出現(xiàn)光暈；本文算法不僅將紋路細節(jié)刻畫清晰，且圖像邊緣沒有光暈，較之參考圖像也能顯示更多細節(jié)；反觀HE和IBLA則會丟失部分細節(jié)。ARC 會使得圖像的內(nèi)容和背景不易區(qū)分，細節(jié)凸顯度低。

圖4 不同方法的亮度提升和細節(jié)增強效果對比圖

3.2 圖像定量評估

在定量評估時，一類是需要參考圖像的評價指標：峰值信噪比（PSNR）、結構相似度（SSIM）、基于patch 的對比度質量（PCQI）指標［16］；另一類是不需要參考圖像的評價指標：水下圖像質量測度（UIQM）指標［17］和水下彩色圖像質量指標（UCIQE）［18］。表格中加粗的數(shù)據(jù)是五種算法中的最好結果。

PSNR指標是基于像素誤差求取的，其值越大，圖像失真越小。SSIM 指標通過對比度、曝光度和結構信息三方面計算獲得的，其值越大，圖像的相似性越高。如表1所列，在PSNR指標和SSIM指標評比中，本文算法的結果都獲得了很高的的數(shù)值，表明本文算法處理后的圖像同參考圖像的結構相似。

表1 利用PSNR、SSIM指標對不同水下圖像增強方法進行定量評價

PCQI 指標采用局部的方法來對數(shù)據(jù)進行統(tǒng)計。PCQI 是由兩圖象相同局部間的平均強度、結構改變和對比度變化三部分組成，是評價圖像對比度變化的優(yōu)秀指標。其結果越大，圖像的對比度越為明顯。如表2所列，本文算法能獲得更高的PCQI值，更能提高圖像對比度。

表2 利用PCQI對水下圖像增強方法進行定量評價

UIQM 指標是由圖像色彩度（UICM）、圖像清晰度（UISM）和圖像對比度（UIConM）組成。UIQM 的值越大，表明圖像的視覺效果越好。而UCIQE 指標是由水下圖像的色度、對比度和飽和度進行線性組合得到，其值越大，則圖像恢復效果越好。實驗結果如表3所列，在進行UIQM指標實驗時，本文算法和L2UWE 算法都采用CCI 引導圖像，都對局部細節(jié)進行增強，使圖像對比度更明顯圖像更加清晰，所以獲得最優(yōu)結果。IBLA 算法的UCIQE 值是最好的，其原因是該算法采用基于圖像模糊和光吸收的水下場景深度估計方法，對水下圖像去霧效果好些，但整體視覺效果較差；本文使用的是一種簡便的統(tǒng)計學方法，勝在計算簡單，并且本文算法獲得的UICQE指標和其余幾種算法是較為接近的。

表3 利用UIQM、UCIQE指標對不同水下圖像增強方法進行定量評價

在進行定量評估時，僅展現(xiàn)圖3 和圖4 中8 張圖片的指標數(shù)據(jù)，考慮到實驗的個異性，又展示890 張圖片的指標均值，結果如表4 所列。本文算法的UIQM 指標排列第一，表明圖像在細節(jié)提升、色彩度恢復方面最好；PSNR、SSIM、PCQI 指標排列第二，極接近最好算法所得結果，說明同真實圖像間有更高的相似度且引入更少噪聲；但UCIQE 平均值卻差強人意，雖然IBLA 算法有較高的UCIQE值，但是由圖3和圖4不難看出IBLA處理的圖片有較多的紅色偏移和偽影存在；也可能較高的UCIQE不符合人類的視覺系統(tǒng)。

表4 五種定量評價方法的平均值

4 結語

從渾濁泥沙水體中采集到的圖像特點出發(fā)，提出使用方差的統(tǒng)計學辦法來恢復圖像色彩；針對圖像對比度低及通常算法的領域大小固定問題，本文提出由對比度代碼圖像（CCI）來確定ACE 算法的最佳鄰域大小，這種改進方法能顯示更多圖像細節(jié)；對曝光圖像進行適當調整；為更好地解決以上問題及輸出偽影問題，采用了多尺度融合算法進行處理。通過實驗證明，所提出的算法在圖像的對比度方面遠遠優(yōu)秀于現(xiàn)有算法，能夠顯示更多細節(jié)；對渾濁水體圖像和嚴重的色偏圖像有很好的色彩恢復效果。