基于矩陣復原和暗通道理論的單色遙感圖像去霧算法

劉紀偉， 王曉東， 李云輝

（中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033）

1 引 言

在遙感圖像的成像過程中，大氣云層和空氣中的水汽、粉塵等懸浮粒子形成的霧霾通常會使目標物的反射光發(fā)生散射、被吸收、增加雜散光，造成圖像對比度下降、細節(jié)丟失、色彩失真，從而降低圖像質(zhì)量。同時，在下傳過程中，惡劣的工作環(huán)境使得遙感圖像容易引入強噪聲、丟失信息，由此得到信息不全的帶霧遙感圖像，影響地物目標的識別、分類、觀測等?，F(xiàn)有的圖像去霧算法主要針對RGB三通道圖像，而遙感圖像多是全色單通道圖像，且霧氣分布呈白色，導致單色遙感圖像去霧具有較高的挑戰(zhàn)性。因此，針對單色遙感圖像復原去霧的研究具有重要意義。

現(xiàn)有的圖像去霧算法主要可以分為以下3類：（1）基于圖像增強的去霧算法。根據(jù)圖像的灰度分布，通過拉伸補償對比度、亮度、色彩飽和度等突出圖像的細節(jié)信息，提升圖像的視覺觀感，常用方法包括直方圖均衡化、小波變換以及基于Retinex理論的算法等［1-3］。從另一角度而言，基于圖像增強的算法又可分為全局增強和局部增強算法［4-7］，其中前者的主要作用是提升圖像整體的對比度；后者針對圖像的局部紋理特征，通過對圖像的局部區(qū)域等細分單元進行變換處理，突出圖像的細節(jié)特征，提升抗噪能力。（2）基于圖像復原的去霧算法。可以分為兩類，一類是基于先驗統(tǒng)計信息，通過統(tǒng)計高低質(zhì)量圖像的亮度等信息，復原出高質(zhì)量的無霧圖像［8-9］。另一類是基于物理模型，研究相機成像過程中的大氣擾動的影響，分析霧霾等引起圖像質(zhì)量下降的原因，構(gòu)建相應(yīng)的數(shù)學模型，以觀測到的霧霾圖像為輸入，通過估算透射率等未知參數(shù)，反演計算復原出無霧圖像［10-16］。由于依據(jù)的是大氣散射機理模型，該類方法具有較強的魯棒性，效果較為顯著。（3）基于深度學習的去霧算法。近年來隨著人工智能的發(fā)展，越來越多的研究人員使用深度學習的方法實現(xiàn)圖像去霧，主要分為端對端和非端對端的網(wǎng)絡(luò)模型。Dong等人提出了一種基于U-Net架構(gòu)的多尺度特征融合去霧網(wǎng)絡(luò)，成功恢復了高分辨率圖像的空間信息［17］。Pang等人提出了一種雙目圖像去霧網(wǎng)絡(luò)，通過左右兩幅圖像的相關(guān)性得到去霧損失函數(shù)，達到更好的去霧效果［18］。Zheng等人提出了多導向雙邊濾波卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了高分辨率4K圖像去霧［19］。

綜上所述，現(xiàn)有去霧算法多是針對特定場景下的彩色圖像去霧，對于單色且可能存在信息丟失的遙感圖像去霧研究尚不充分，因此本文提出了一種基于矩陣復原和暗通道理論的單色遙感圖像復原去霧算法。為了解決圖像在成像和傳輸過程中噪聲過大和圖像信息丟失的問題，首先采用交替方向乘子法（Alternating Direction Method of Multipliers， ADMM）對圖像進行去噪復原，隨后將去噪復原后的圖像采用單色暗通道算法去霧，最后對實驗圖片進行主觀評價，同時采用對比度、信息熵、峰值信噪比和結(jié)構(gòu)相似性等指標進行客觀評價。結(jié)果表明，與其他去霧算法相比，本文所提方法具有優(yōu)越性。

2 ADMM方法及暗通道理論基礎(chǔ)

2.1 ADMM方法

ADMM主要用于解決凸優(yōu)化問題，引入一致性約束方法實現(xiàn)優(yōu)化問題的解耦，將集中式問題并行求解，其主要思想是將原函數(shù)等價地分解成若干個可求解的子函數(shù)并求解全部子函數(shù)，然后通過協(xié)調(diào)全部子函數(shù)，從分塊的數(shù)據(jù)集中獲得相同的全局參數(shù)解，得到全局變量最優(yōu)解［20-23］。

ADMM算法針對二決策域分塊問題可以用如式（1）所示的表示方式：

該表達式也被稱為解耦約束式，其中x∈Rn，z∈Rm，x、z分別屬于“x子函數(shù)”和“z子函數(shù)”，為共享變量，n與m可以不相等，即子函數(shù)的參數(shù)維度不同。A、B、b為共享變量的約束矩陣。將目標函數(shù)L(x，z，y)代入解耦約束式，可得：

其中：M為乘子向量、ω為常數(shù)懲罰因子。由此其中一個子函數(shù)的一個共享變量作為未知變量，其余視為已知變量，便可得到全局迭代方程：

每完成一輪迭代，則更新乘子向量M，其迭代公式如式（4）所示：

最后根據(jù)實際問題，設(shè)置ADMM的收斂判據(jù)，其收斂判據(jù)的表達形式如式（5）所示：

其中：rk+1、sk+1為第k+1次迭代后的原始殘差和對偶殘差，ρ為對偶殘差公式系數(shù)，εpri、εdual為兩殘差容忍最大值［24-26］。

2.2 暗通道理論基礎(chǔ)

暗通道去霧理論最早由何凱明博士在2009年提出，他提出了一個基本假設(shè)，認為在絕大多數(shù)非天空的局部區(qū)域內(nèi)，某一些像素點至少會有一個通道的灰度值較低，即比較暗的狀態(tài)，由RGB三通道中取最小值組成灰度圖，再對這張灰度圖進行濾波，即暗通道去霧理論，其主要是基于如式（6）所示的物理模型：

其中：I(x)為去霧前圖像，J(x)為理想無霧圖像，t(x)為介質(zhì)透射率，A為大氣光成分。

何凱明博士對5 000多幅無霧圖像進行統(tǒng)計，發(fā)現(xiàn)約75%的像素值為0，90%的像素值處于非常低的區(qū)間，由此提出暗通道理論，即對于一幅無霧圖像，其暗通道可以表示為：

其中：Jc(y)為J的任意一個顏色通道，Ω(x)為像素點x處的窗口。根據(jù)暗通道理論，Jdark→0。

由式（6）和式（7）可以得到透射率的理想模型表達式如式（8）所示：

在現(xiàn)實生活中，無論多晴朗的天氣，大氣中的懸浮粒子也會是遙感圖像產(chǎn)生一定的霧氣的感覺，因此為在去霧的同時保留一定程度的自然效果，引入了一個［0，1］之間的模糊系數(shù)ω，ω通常取0.95，對理想透射率進行修正，即：

對于大氣光值A(chǔ)，通常取暗通道圖中亮度前1‰的像素，在原始霧圖中取對應(yīng)亮度最高的像素點灰度值作為大氣光值A(chǔ)。

在實際處理圖像的過程中，如果透射率值過低，會使得推導出的無霧圖像偏白，因此要對透射率設(shè)一個下限值t0，t0通常取值為0.1，由此可得出無霧圖像表達式如式（10）所示：

3 本文算法

現(xiàn)有圖像去霧算法大多針對RGB三通道的圖像。本文針對單色遙感圖像去霧及其在傳輸過程中存在的噪聲過大和信息丟失問題，在傳統(tǒng)的暗通道理論基礎(chǔ)上結(jié)合ADMM算法，實現(xiàn)了單色遙感圖像的復原去霧。

遙感圖像在成像和傳輸過程中存在的噪聲、信息丟失及霧氣干擾，可以解耦為去噪復原和去霧兩個子問題。由此，可以將問題描述成如式（11）所示的形式：

其中：Y為信息丟失帶霧圖像，X為帶霧圖像，N為加性噪聲。由上文給出的帶霧圖像成像過程可以得出：

則帶霧圖像X可通過最小化如下問題求得：

其中：rank（·）為矩陣的秩，λ為系數(shù)。由上文提到的ADMM的計算方法可以得出X，具體如式（14）所示：

再由上文中暗通道理論的計算方法，可以得出：

本文的算法流程如圖1所示。將單色遙感圖像變換為三通道圖像，采用基于ADMM的復原去噪算法進行去噪復原，將復原去噪的圖像進行去霧處理。首先根據(jù)灰度值計算出灰度圖像的暗通道值，隨后根據(jù)計算結(jié)果估算透射率和大氣光值，最后計算得到復原后的無霧圖像。

圖1 本文算法流程框圖Fig.1 Flow chart of the algorithm in this paper

4 實驗及結(jié)果分析

本文從長光衛(wèi)星網(wǎng)站中分別選取了衛(wèi)星和無人機遙感圖像，選擇多種不同應(yīng)用場景，包括農(nóng)田、城市、建筑、海洋、河流、山脊，驗證本文算法的普適性和魯棒性。分別進行了去霧實驗、圖像信息丟失去霧實驗以及不同程度圖像信息丟失去霧實驗，驗證方法的有效性。模擬霧圖的成像機理，通過人工合成霧的方式得到帶霧圖像，然后對比原始圖像、帶霧圖像及去霧圖像的結(jié)果。

4.1 評價指標和對比算法

分別從主觀評價和客觀指標評價的角度與經(jīng)典算法對比。本文根據(jù)算法應(yīng)用場景，選取了基于圖像增強的算法1、算法3、算法4、算法5以及基于圖像復原的算法2、算法6作為對照，驗證本文算法的優(yōu)越性。本文選取的算法1為AGCWD（Adaptive Gamma Correction with Weighting Distribution），該方法通過伽馬校正和亮度像素的概率分布來提高調(diào)灰暗圖像亮度的自動變換；算法2為DCTSVD（Discrete Cosine Transform Pyramid and Singular Value Decomposition），該方法將低頻子帶圖像的奇異矩陣與其全局直方圖均衡化的奇異矩陣結(jié)合起來，估計均衡化后的低子帶圖像的奇異值矩陣，實現(xiàn)去噪和增強圖像對比度；算法 3為GIHE（Gradient and Intensity Histogram），該方法將梯度引入強度直方圖均衡化中，有效保護了圖像的亮度信息，實現(xiàn)圖像的去霧增強；算法4為IMSVD（Image Enhancement based on Singular Value Decomposition），該方法通過圖像分解、可調(diào)對比度增強、降噪、圖像合成4個步驟，結(jié)合亮度和顏色分量，有效實現(xiàn)了圖像的去噪和去霧增強；算法5為RHESVD（Regularized-Histogram Equalization），該方法利用正則直方圖均衡化和離散余弦變換來提高圖像質(zhì)量；算法6為 NPIE（Naturalness Preserved Image Enhancement），該方法利用高質(zhì)量圖像獲取的先驗多層亮度統(tǒng)計信息，有效實現(xiàn)圖像去霧增強。選擇的客觀評價指標有對比度、結(jié)構(gòu)相似性、峰值信噪比以及信息熵。

圖像對比度計算公式為：

其中：h為圖像的高度，w為圖像的寬度，X(i，j)為圖像的像素點，C為標準差，μX為像素灰度均值。

圖像結(jié)構(gòu)相似性計算公式為：

其中：l(x，y)為亮度比較，c(x，y)為對比度比較，s(x，y)為結(jié)構(gòu)比較，SSIM為結(jié)構(gòu)相似性。

圖像峰值信噪比計算公式為：

其中：I(i，j)為無噪聲原始圖像，J(i，j)為噪聲圖像，PSNR為峰值信噪比。

圖像信息熵計算公式為：

其中：p(i)為灰度值為i的像素所占比例，S為信息熵。

4.2 圖像去霧結(jié)果對比

4.2.1 主觀評價

對于7種不同算法進行去霧實驗，對于帶霧圖像的去霧處理結(jié)果如圖2所示?？梢钥闯觯惴?在多種場景下顏色偏亮，使得局部區(qū)域出現(xiàn)過度飽和，細節(jié)丟失；算法2在農(nóng)田和城市兩個場景下具有一定的去霧增強效果，但是在河流場景下，去霧效果并不顯著；算法3去霧效果較為顯著，但是存在著部分區(qū)域過亮；算法4可以有效增強對比度，提升視覺感知效果，但是整體色澤偏暗；算法5去霧效果不明顯，圖像依然存有薄霧效果；算法6有一定的去霧效果，但是從海洋去霧圖中可以看出，圖中依然存有微量霧氣干擾；本文算法相較于其他算法，可以有效去除霧氣干擾，較為徹底地去除整張圖像中的霧氣效果，在增強視覺感知效果的同時，盡可能地保留圖像的細節(jié)。因此，本文算法普遍適用于多種應(yīng)用場景。

圖2 圖像去霧結(jié)果圖Fig.2 Image dehazing result map

從上面的分析可以看出，算法3的去霧處理效果相對顯著。圖3為本文算法與無霧原圖、帶霧圖像以及算法3處理結(jié)果的對比。可以看出，本文算法的處理結(jié)果與無霧原圖基本可以保持一致，能夠?qū)崿F(xiàn)高效去霧。然而，算法3在圖像右上部分的去霧結(jié)果偏亮，與原圖差別較大。

圖3 農(nóng)田場景細節(jié)展示圖Fig.3 Details of the farmland scene

4.2.2 客觀評價

本文通過對比不同算法的峰值信噪比、結(jié)構(gòu)相似性、對比度，客觀評價圖像去霧效果的優(yōu)越性，計算結(jié)果如表1所示。結(jié)合主觀評價結(jié)果，可以看出，算法1可以有效提升圖像的對比度，但與原圖像具有較差的結(jié)構(gòu)相似性，圖像細節(jié)信息丟失較為嚴重；算法2對圖像的對比度提升并不顯著，去霧增強效果不明顯；算法3對圖像的對比度增強較為明顯，但在部分場景下，圖像的結(jié)構(gòu)相似性和峰值信噪比較差，算法適用范圍具有局限性；算法4在多個評價指標中都有較好的表現(xiàn)，可以有效實現(xiàn)圖像的去霧；算法5和算法6均能實現(xiàn)一定程度的對比度拉伸，實現(xiàn)圖像的部分去霧，但與原圖的結(jié)構(gòu)相似性、細節(jié)信息存在差異；本文算法相對于原始輸入霧圖，6個場景的平均對比度提升14.748 9、平均峰值信噪比提升8.278 9，平均結(jié)構(gòu)相似性提升0.149 1，在一定程度上有效提升了霧圖的對比度，同時相對于原始圖像具有極高的峰值信噪比和結(jié)構(gòu)相似性，在提升視覺效果的同時，兼顧了圖像的細節(jié)信息。

表1 圖像去霧客觀評價指標計算結(jié)果Tab.1 Calculation results of objective evaluation index for image dehazing

4.3 圖像信息丟失復原去霧實驗

模擬圖像傳輸?shù)纫饒D像信息丟失的過程，將人工合成霧圖信息丟失30%，即隨機將30%的像素值置為0，然后對原始圖像、細節(jié)丟失帶霧圖像及復原去霧圖像進行對比。

4.3.1 主觀評價

圖像信息丟失復原去霧的結(jié)果如圖4所示，結(jié)合圖2中的原始霧圖，可以看出當圖像信息丟失30%后，不同場景下圖像的大部分細節(jié)信息丟失，很難從圖像中捕獲有用信息。從圖4可以看出，算法1、2和算法4、5、6均不能有效去除噪聲，復原圖像的基本信息，實現(xiàn)復原去霧；算法3可以復原部分圖像的細節(jié)信息，降低一部分噪聲，去除原始霧圖中的部分霧氣，但其噪聲干擾依然嚴重，視覺效果較差；對比圖2中實驗結(jié)果，本文算法可以有效地復原出絕大部分圖像的細節(jié)信息，同時實現(xiàn)了圖像有效去霧，因此具有很高的實際應(yīng)用價值。

圖4 信息丟失30%霧圖復原去霧結(jié)果Fig.4 Restoration and dehazing results of 30% information loss haze image

4.3.2 客觀評價

信息丟失遙感霧圖的復原去霧主要是為了復原圖像中細節(jié)信息，提升圖像的應(yīng)用價值，增強圖像的視覺觀感。因此本文選擇信息熵以及對原始信息完整無霧圖像的峰值信噪比和結(jié)構(gòu)相似性來客觀評價算法的復原去霧效果。

圖像的復原去霧客觀評價指標結(jié)果如表2所示。結(jié)合主觀視覺效果，從計算結(jié)果可以看出，算法1、2、5、6的3個指標均未明顯提升，圖像復原去霧效果不顯著；算法3的結(jié)構(gòu)相似性有一定提升，恢復了部分圖像細節(jié)，但是與原始圖像依然有較大差距，信息恢復完整性較差；算法4的信息熵有小幅提升，但是結(jié)構(gòu)相似性變化很小，圖像信息恢復較少；本文算法相對于信息丟失30%的霧圖，6個場景的平均信息熵提升1.665 2、平均峰值信噪比提升11.702 9，平均結(jié)構(gòu)相似性提升0.814 6，均有明顯提高，可以有效復原出原圖像的細節(jié)信息，且與表1中信息完整霧圖相比，本文算法可以實現(xiàn)有效去霧，圖像結(jié)構(gòu)信息更接近原始無霧圖像。

表2 圖像復原去霧客觀評價指標計算結(jié)果Tab.2 Calculation results of objective evaluation indexes for image restoration and dehazing

4.4 不同比例圖像信息丟失復原去霧實驗

將帶霧圖像的圖像信息分別保留50%、60%、70%和80%，使用本文算法對其進行復原去霧，將所得結(jié)果應(yīng)用信息熵以及對原始信息完整無霧圖像的峰值信噪比和結(jié)構(gòu)相似性來客觀評價本文算法在不同惡劣情況下的復原去霧效果，驗證本文算法具有較寬的適用范圍。

4.4.1 主觀評價

對不同比例信息丟失的圖像復原去霧結(jié)果如圖5所示?？梢钥闯觯疚乃惴ㄔ趫D像信息不全，原始圖像信息不同比例丟失的情況下，均可以有效復原出圖像的主要信息，同時消除圖像中的霧氣分布。在僅保留50%圖像信息的圖像中，圖像中的景物可辨識性極低，本文算法可以有效復原出圖像中的大部分景物，同時相較于圖中左側(cè)信息完整的霧圖，本文算法處理后的圖像很好地去除了圖中的霧氣，提升了圖像的視覺觀感。

圖5 不同比例信息丟失圖像復原去霧結(jié)果Fig.5 Restoration and dehazing results of images with different proportions of information lost

4.4.2 客觀評價

針對不同比例霧圖信息丟失的復原去霧結(jié)果客觀評價指標如表3所示。可以看出，在信息丟失20%的情況下，可以觀測到的圖像與原圖的結(jié)構(gòu)相似性也僅為0.035 4，峰值信噪比極低，信息熵較小，可辨識信息較少。通過本文算法處理后，信息丟失20%的輸入圖像相對于原圖的結(jié)構(gòu)相似性提升到了0.596 4，圖像的信息熵和峰值信噪比也明顯提升，可捕獲信息明顯增多，算法具有較強的復原去霧效果。

表3 不同比例信息丟失霧圖復原去霧客觀評價指標計算結(jié)果Tab.3 Calculation results of objective evaluation indexes for restoration and dehazing of fog images with different proportions of information loss

5 結(jié) 論

本文提出了一種基于ADMM矩陣復原和暗通道理論的單色遙感圖像去霧算法，實現(xiàn)了信息丟失情況下的圖像復原去霧。通過主觀評價與客觀指標分析相結(jié)合，綜合評判信息完整和信息丟失情況下的圖像去霧結(jié)果。對比了6種經(jīng)典圖像去霧算法在多場景下的去霧效果以及在不同比例信息丟失情況下的復原去霧結(jié)果，實驗結(jié)果表明，本文算法對于信息丟失30%的霧圖，6個場景的平均信息熵提升1.665 2，平均峰值信噪比提升11.702 9，平均結(jié)構(gòu)相似性提升0.814 6，指標提高顯著，具有較好的復原去霧效果，能夠在去除噪聲恢復原圖像有用結(jié)構(gòu)信息的同時，提升圖像的視覺效果，有利于圖像的觀測和信息獲取，同時證明本文算法具有寬適性和較好的魯棒性。