面向智能船舶的霧天圖像去霧方法*

唐云鳶 馮 輝 徐海祥

(武漢理工大學交通學院1) 武漢 430063) (高性能船舶技術教育部重點實驗室2) 武漢 430063)

0 引 言

航行環(huán)境智能感知與分析作為智能航行的關鍵技術之一，通過目標檢測、目標識別以及目標跟蹤使智能船舶實現自主航行與避障[1-2].智能船舶通過視覺成像系統(tǒng)獲取的周邊環(huán)境信息對近景進行監(jiān)視，主要由可見光攝像頭組成.因惡劣天候因素的影響，海上常常伴有海霧出現.攝像頭拍攝出的景物受到懸浮顆粒的散射作用，可見度與對比度發(fā)生大幅度降低，嚴重影響了智能船舶視覺系統(tǒng)的性能.提高霧氣環(huán)境下所獲圖像的清晰度是智能船舶實現智能感知周邊目標與障礙物等技術手段的重要前提.

單幅圖像去霧方法包括基于圖像增強的方法和基于物理模型的方法[3].Land等[4]提出了視網膜皮層理論(Retinex理論).此類方法未考慮霧的形成原理以及對圖像影響的物理學基礎，從而導致恢復出的圖像部分信息缺失，或因過度處理而產生失真的現象.隨后幾年基于物理模型的方法逐漸成為研究主流.Tan[5]基于大氣光的顏色與亮度相互獨立的假設，提出基于馬爾科夫隨機場的去霧方法.Fattal[6]假設物體對光的反射率與其表面光強照度不相關推算透射率，但該方法需要足夠的物理色彩信息，不適用于濃霧場景.He等[7]提出了基于暗通道的先驗算法，但該方法對不滿足暗通道先驗理論的明亮區(qū)域的恢復結果會出現明顯的圖像失真.文獻[8]提出用引導濾波算法代替Soft Matting算法對傳輸圖進行優(yōu)化，極大的減少了運算時間.然而已有的去霧算法普遍應用于陸地場景如城市道路監(jiān)控，針對海霧這種特殊場景的較為少見.

為此，文中提出適用于海霧環(huán)境下考慮組合權重的暗亮通道先驗協同去霧方法，并對結果進行了仿真實驗對比分析.優(yōu)化大氣模型的物理結構；通過暗亮通道原理預估透射率與大氣光值；通過快速引導濾波算法優(yōu)化透射率，并針對失效區(qū)域適當校正透射率；通過改進后的大氣物理模型恢復清晰圖像.

1 霧天圖像的物理模型

在霧天環(huán)境下，由于懸浮顆粒致使大氣透明度影響了光學傳感器的探測距離和成像質量.Narasimhan等[9-11]給出了大氣散射物理模型：

I(x)=J(x)t(x)+A[1-t(x)]

(1)

式中：I(x)為含霧圖像；J(x)為無霧圖像；t(x)為透射率；A為大氣光值.假設大氣是均勻的，則透射率可為

t(x)=e-βd(x)

式中：β為大氣散射系數；d為景深.

文獻[7]在對有霧圖像進行去霧處理時，假設圖像中各個像素點的大氣光值相同，并通過選取圖像中最亮的像素點的強度作為全局大氣光值進行去霧處理.然而通過觀察有霧圖像，能夠發(fā)現不同區(qū)域具有不同的大氣光值，即全局大氣光值的假設并不合理，見圖1.因此，為了充分考慮圖像不同區(qū)域大氣光值的影響，本文將全局大氣光值A用每個像素點的大氣光值A(x)代替.于是，改進的大氣散射模型為

I(x)=J(x)t(x)+A(x)[1-t(x)]

(2)

圖1 不同區(qū)域不同的大氣光強度

2 考慮組合權重的暗亮通道去霧方法

由于海上圖像具有大面積天空等不符合暗通道先驗原理的部分，故恢復出的圖像經常會有部分區(qū)域發(fā)生失真和過度處理.因此，本文提出了一種適用于海霧環(huán)境下考慮組合權重的暗亮通道先驗協同去霧方法，流程見圖2.

圖2 霧天圖像去霧算法流程圖

2.1 暗通道和亮通道介紹

在絕大多數的非天空區(qū)域中，有一些像素點總會存在至少有一個顏色通道的值是非常小的數甚至幾乎為零.該結論即為暗通道原理.其表達式為

(3)

式中：Jc為圖像J的某一個顏色通道；c為通道的顏色(r,g,b)；Ω(x)為窗口區(qū)域.根據暗通道原理，在不存在大面積明亮區(qū)域的清晰圖像中，Jdark約等于零，即

Jdark(x)=0

(4)

類似的，對于任意圖像I，其亮通道表達式為

(5)

式中：Ic(y)為圖像I的某個顏色通道.

對式(2)進行最大值運算可得：

(6)

亮通道先驗原理依賴于以下假設：在圖像中的局部范圍內，總會存在某個像素點的顏色通道反射率接近100%[12].由于光照在圖像中大部分區(qū)域是均勻傳播的，因此這個像素點的像素值，近似于這個局部區(qū)域的光照強度：

Jlight(x)→Alight(x)

(7)

結合式(5)～(7)，能夠得到：

(8)

2.2 估計透射率

根據A是全局大氣光值的假設，基于暗通道原理，將式(1)的等式兩邊取顏色通道最小，即：

(9)

對上式進行最小運算，并同時除以A可得：

(10)

將式(3)～(4)帶入式(10)中，可得介質透射率為

(11)

通常會在式(11)中添加一個常數參數ω(0<ω<1)以保證去霧后的圖像不會因過度處理而丟失真實感：

(12)

根據改進的大氣散射物理模型式(2)與亮通道先驗原理式(8)，將式(12)改寫為

(13)

為了使去霧算法更加適合于海上環(huán)境，本文對透射率的計算進行了改進.文獻[13]將200張光照充足圖片的亮通道圖像的直方圖進行了歸一化，發(fā)現亮通道值只要集中在灰度255處.考慮到海上環(huán)境常常是以海天作為背景，并結合暗通道圖像的常值化屬性，可以認為海上有霧圖像的亮通道圖像在光照充足的情況下趨近于最大灰度級，即：

(14)

結合式(4)、式(6)、式(9)和式(14)可得：

同樣引入一個常數參數ω(0<ω<1)：

(15)

將式(13)與式(15)得到的透射率進行加權計算得到最終的透射率.

tz(x)=γt1(x)+θt2(x)

2.3 大氣光值的估計

式中：A(x)與Ac分別為亮通道與暗通道計算的大氣光；α，β為權重系數.考慮到海上圖像大面積為天空海水等不滿足暗通道原理的區(qū)域，因此將亮通道獲取的大氣光值設置為較大權重，暗通道獲取的大氣光值設置為較小權重，并滿足α+β≤1.

文獻[9]通過在暗通道圖像中找到像素值最大的像素點坐標，并在霧天圖像中的同一位置選取該點的像素值作為全局大氣光值.為了盡可能減少因圖像中的白色區(qū)域影響而造成大氣光值選取的偏差，通過選擇暗通道圖像中前0.1%像素并將它們的平均值作為Ac.

2.4 優(yōu)化透射率

引導濾波是通過引導圖像指導濾波過程，平滑并保留輸入圖像細節(jié)特征的一種基于局部線性模型的邊緣保持算法.快速引導濾波[14]做出的改進是，對輸入圖像和引導圖像進行降采樣，利用降采樣得到的圖像計算局部線性系數，再根據升采樣系數得到最終的輸出圖像.相較于引導濾波，快速引導濾波的運算量大大減小，大幅度的降低了運算時間而且不會引入明顯的失真.快速引導濾波包含的主要參數有輸入圖像p、引導圖像I及輸出圖像q.文獻[8]認為輸出圖像和引導圖像間存在如下線性關系：

qi=akIi+bk?i∈ωk

(16)

式中：q為輸出圖像；I為引導圖像；ωk為半徑為r的窗口；ak,bk為當窗口中心位于k時該線性函數的不變系數.

快速引導濾波算法通過將無約束圖像復原的方法轉化為求最優(yōu)化問題，并采用最小二乘法擬合式(16)求取系數ak,bk.其代價函數為

式中：正則化參數ε用來防止ak過大.式(17)可以通過以下方法解出：

(18)

2.5 失效區(qū)域的處理

海上圖像去霧相較于陸上去霧，其背景多為大面積的海天等景物強度接近大氣光強的場景，這恰恰是暗通道先驗原理通常發(fā)生失效的區(qū)域.針對失效區(qū)域的上述特點，通過大氣光的估計來減弱失效區(qū)域對透射率估計的干擾，使其能夠自然地處理含天空等明亮區(qū)域的有霧圖像，從而得到理想的去霧效果.

在對圖像進行去霧處理之前，引入參數K對原始圖像進行失效區(qū)域的劃分.通過設置閾值的限定來調整暗通道先驗原理失效區(qū)域的透射率：

(19)

(20)

2.6 還原清晰圖像

3 仿真結果與分析

3.1 合成圖像去霧結果對比

圖3～5為有霧圖像及各算法的去霧結果.能夠看出經各算法處理后的圖像質量都有明顯提高.由于海上有霧圖像多是以海天為背景，場景信息較少且不滿足暗通道先驗原理，故多數陸地去霧算法所恢復出的圖像經常出現色彩失真等現象.經文獻[7]算法、文獻[13]算法和文獻[14]算法處理后的圖片普遍存在亮度較暗的情況，且在天空區(qū)域的還原上均存在不同程度的偏差.盡管文獻[15]算法去霧后保留了一部分亮度，但在天空區(qū)域的處理依舊不盡如人意，可以看到圖3中天空的云層由于處理過當而產生了色偏現象，且遠景的山脈恢復的也不夠清晰；在對圖4進行去霧處理后整幅圖像的色彩恢復的過于艷麗，導致去霧后的圖像缺乏足夠的真實度；在圖5中同樣對于天空區(qū)域處理的不夠細致，能夠看到有暈輪偽影的效應出現.而經本文提出的算法進行去霧后的圖像，在亮度和對比度上實現了平衡，不僅目標物體的輪廓信息都更加清晰，背景里的山、港口以及空中的云層均得到了不錯的增強效果，色彩上也更自然真實，層次感也更強.

圖3 有霧圖像及各算法的去霧結果

圖4 有霧圖像及各算法的去霧結果

圖5 有霧圖像及各算法的去霧結果

客觀評價指標是模擬人類視覺系統(tǒng)的感知機制來衡量圖像質量，本文主要采用峰值信噪比(PSNR)、結構相似性(SSIM)以及去霧時間進行定量評價，結果見表1.其中，PSNR通常是衡量圖像失真的指標，峰值信噪比越大，圖像失真越少.SSIM用于描述復原圖像與原始圖像之間的結構相似程度，值越大越好.

表1 采用不同算法去霧后定量評價指標

由表1可知，經本文算法處理后圖像的PSNR與SSIM兩個指標均好于其他算法，這也符合對去霧后圖像的主觀視覺感受，也驗證了評價指標的準確性.在算法處理的時間方面，所提出的算法不具備優(yōu)勢，但也有著不錯的運算效率，在可接受的范圍內.

3.2 真實海霧圖像去霧結果

通過一組海上有霧圖像的仿真實驗，將現有算法及本文提出的算法的去霧性能進行比較，實驗結果見圖6～9.

圖6 有霧圖像及各算法的去霧結果

圖7 有霧圖像及各算法的去霧結果

圖8 有霧圖像及各算法的去霧結果

圖9 有霧圖像及各算法的去霧結果

與針對合成有霧圖像得出的結論相類似，文獻[7]算法、文獻[13]算法和文獻[14]算法在去霧后圖像的亮度方面依舊存在著過暗的情況，雖然在一定程度上去除了一些霧氣的遮蔽效果，但整體可視性過低，不能很好的實現去霧的目的.文獻[15]算法的表現要好上一些，圖像整體的能見度與對比度都有部分提升，但在圖6～7和圖9中對于天空上方的處理則顯得不夠細膩，有些像素點甚至出現了大于255的情況，導致天空區(qū)域顏色轉變的不夠平滑；在圖8中，處理后的圖像不僅亮度偏暗，且在色彩還原度上出現了一定程度的偏差，使得圖像整體效果有所折扣.經本文方法處理后的圖像，天空區(qū)域的色彩純正，海面目標輪廓清晰，相較之下擁有最佳的視覺效果經本文算法去霧后的圖像在水面以及天空區(qū)域均未出現大面積的色彩失真及過飽和處理，視覺效果相對更好，在色調上基本實現了一致.

4 結 束 語

針對海上惡劣的天氣環(huán)境影響，本文提出了適用于海霧環(huán)境下的暗亮雙通道協同去霧算法.首先根據暗通道和亮通道先驗原理，分別估計出透射率和大氣光值，使用快速引導濾波對透射率進行優(yōu)化，根據閾值判斷是否進行透射率失效修正，而后通過大氣物理散射模型還原出清晰的圖像，最后通過仿真實驗對各算法的去霧效果進行對比，并采用PSNR、SSIM等客觀指標評價圖像質量，驗證了本文算法對海上圖像去霧的有效性和可靠性，為霧天情況下的智能船舶航行提供了更安全的保證.下一步的研究可以將圖像去霧算法拓展為實時的視頻圖像去霧，并在保證復原圖像質量的同時提高運算效率.