基于低秩分解與像素置亂的圖像去霧方法

王國(guó)棟，邵鵬，王國(guó)宇，劉少禹，張建濤

（中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)部 電子工程學(xué)院，山東青島 266100）

0 概述

在濃霧、霾等惡劣天氣條件下，受空氣中懸浮粒子的影響，圖像中的目標(biāo)信息被嚴(yán)重遮擋，場(chǎng)景能見度相比晴朗天氣大幅降低，對(duì)主觀視覺效果和后續(xù)的處理應(yīng)用都會(huì)產(chǎn)生很大的影響。因此，對(duì)霧天降質(zhì)圖像的清晰化處理具有重大的科研價(jià)值和廣泛的應(yīng)用前景。使用合適的圖像去霧算法對(duì)霧霾天氣中拍攝得到的降質(zhì)圖像進(jìn)行處理，可以去除其中因后向散射產(chǎn)生的霧化背景，恢復(fù)出被掩蓋的目標(biāo)圖像細(xì)節(jié)信息和色彩紋理信息，進(jìn)而提高圖像質(zhì)量，便于后續(xù)處理。

近年來，眾多研究者提出了許多霧天圖像清晰化方法，這些方法大致分為兩個(gè)方向：一是圖像增強(qiáng)，二是圖像復(fù)原?；趫D像增強(qiáng)的常見算法主要有直方圖均衡化［1］、小波變換［2］、偏微分方程［3］、Retinex［4-5］等，這些算法不考慮有霧場(chǎng)景下圖像退化的物理模型，而是對(duì)圖像整體或細(xì)節(jié)進(jìn)行增強(qiáng)以改善視覺效果，從而實(shí)現(xiàn)圖像去霧?；趫D像復(fù)原的去霧方法本質(zhì)上是基于散射介質(zhì)成像模型，依據(jù)霧天圖像降質(zhì)的物理成因，描述圖像降質(zhì)與光在霧氣中傳輸產(chǎn)生的散射效應(yīng)之間的關(guān)系，逆向恢復(fù)出清晰的目標(biāo)場(chǎng)景圖像。典型的基于圖像復(fù)原的去霧方法包括文獻(xiàn)［6］提出的暗通道先驗(yàn)方法以及其他基于先驗(yàn)的算法［7-9］，在很多場(chǎng)景下取得了良好的去霧效果。文獻(xiàn)［10］基于中值濾波思想求出大氣耗散函數(shù)，進(jìn)而得到透射率，恢復(fù)出無霧圖像。文獻(xiàn)［11］利用改進(jìn)的窗口大小計(jì)算出雙透射率圖，消除了霧圖邊緣處的光環(huán)狀偽影，使得恢復(fù)圖像中的景觀更加真實(shí)自然。區(qū)別于傳統(tǒng)的圖像去霧方法，近年來隨著計(jì)算機(jī)性能的提升，大量基于深度學(xué)習(xí)的新興圖像去霧方法被陸續(xù)提出。文獻(xiàn)［12］提出一種神經(jīng)網(wǎng)絡(luò)模型用以估計(jì)透射率圖，然后結(jié)合已知的先驗(yàn)信息計(jì)算出質(zhì)量更好的清晰目標(biāo)圖像。文獻(xiàn)［13］提出一種不以先驗(yàn)信息作為恢復(fù)約束的去霧網(wǎng)絡(luò)，可以直接得到清晰的無霧圖像。文獻(xiàn)［14］提出一種輕型多導(dǎo)向雙邊學(xué)習(xí)的霧天圖像清晰化方法，能夠?qū)崿F(xiàn)實(shí)時(shí)高分辨率圖像的去霧。雖然上述方法可以在一定程度上實(shí)現(xiàn)常見有霧圖像的清晰化，但是在濃霧場(chǎng)景中卻難以取得較好的效果。

隨著稀疏分解［15］與壓縮感知理論［16］的提出，低秩矩陣分解在文本主題分析［17］、圖像去非均勻光照［18］、壓縮感知信號(hào)的分離重構(gòu)［19］等方面得到廣泛的應(yīng)用，然而在圖像去霧中的應(yīng)用仍然比較少。本文將低秩分解與像素置亂結(jié)合，提出一種針對(duì)濃霧場(chǎng)景的圖像去霧方法。為解決直接低秩分解會(huì)產(chǎn)生水平和豎直條紋的問題，先對(duì)原始圖像進(jìn)行像素置亂，在去除場(chǎng)景相關(guān)性的同時(shí)保持霧化背景的低秩屬性，再對(duì)置亂后的圖像低秩分解，最后將高秩成分像素歸位，獲得去霧后的復(fù)原場(chǎng)景。

1 相關(guān)工作

1.1 低秩矩陣分解模型

自然場(chǎng)景中圖像像素的相關(guān)性使得圖像矩陣本身存在一定的低秩特性，根據(jù)文獻(xiàn)［20］提出的低秩矩陣分解模型，原始圖像矩陣D可以被分解為一個(gè)低秩矩陣L與一個(gè)稀疏矩陣S，該模型的求解過程可以表示為：

其中：rank(L)代表低秩矩陣L的秩；‖‖S0代表矩陣S的l0范數(shù)；λ是控制低秩部分與稀疏部分比例的參數(shù)，取值范圍是（0，1］。

式（1）中的最小化秩問題并不能直接求解，常用方法是將其轉(zhuǎn)化為求解核范數(shù)的問題［21］，變換后的表達(dá)式如下：

其中：‖L‖*為矩陣L的核范數(shù)；‖S‖1為矩陣S的l1范數(shù)。

通常使用增廣拉格朗日乘子法（Augmented Lagrange Multiplier，ALM）作為式（2）的求解算法［22］，ALM 又可以進(jìn)一步分為精確的拉格朗日乘子法（Exact ALM，EALM）和非精確的拉格朗日乘子法（Inexact ALM，IALM）。由于IALM 在運(yùn)算過程中只需要執(zhí)行替代關(guān)系運(yùn)算就可以得到低秩矩陣L和稀疏矩陣S，收斂速度比EALM 算法更快［23］，因此本文使用IALM 作為低秩矩陣求解的算法。

1.2 散射介質(zhì)成像模型

光在霧、霾等散射介質(zhì)中傳輸時(shí)，受介質(zhì)中微小雜質(zhì)粒子的影響會(huì)產(chǎn)生散射效應(yīng)，這種散射效應(yīng)產(chǎn)生的雜散光被傳感器接收后，會(huì)在目標(biāo)物體表面形成一種霧化背景，降低拍攝所得圖像的對(duì)比度，影響后續(xù)的圖像處理。散射介質(zhì)中成像的經(jīng)典模型可以用下式描述：

其中：E代表總輻射強(qiáng)度，對(duì)應(yīng)霧天降質(zhì)圖像；Ed代表入射光，對(duì)應(yīng)清晰目標(biāo)場(chǎng)景；Eb代表散射光，對(duì)應(yīng)霧化背景。提取并消除霧天降質(zhì)圖像中的霧化背景，提高圖像的對(duì)比度和視覺效果，始終是主流的研究方向。

2 基于低秩分解結(jié)合像素置亂的圖像去霧

2.1 低秩分解與圖像去霧

結(jié)合前面提到的兩個(gè)模型，將霧天降質(zhì)圖像看成兩部分的疊加：一部分是具有低秩特性的霧化背景，另一部分是具有高秩特性的清晰目標(biāo)場(chǎng)景。利用IALM 算法進(jìn)行優(yōu)化求解，可實(shí)現(xiàn)目標(biāo)場(chǎng)景與霧化背景的分離，最終得到清晰的目標(biāo)場(chǎng)景圖像。

直接應(yīng)用IALM 算法對(duì)霧天降質(zhì)圖像進(jìn)行低秩分解的結(jié)果如圖1 所示。由圖1 可以看出，直接進(jìn)行低秩分解能夠在一定程度上去除霧圖中分布較為均勻的霧化背景，但是也存在明顯的缺陷，比如在分解結(jié)果中出現(xiàn)了位置不定的水平和豎直條紋，這主要是由于目標(biāo)場(chǎng)景本身含有一定的低秩成分，對(duì)霧化背景的去除造成了干擾。

圖1 直接使用低秩分解去霧的結(jié)果Fig.1 Defogging results by directly using low-rank decomposition

2.2 結(jié)合像素置亂的去霧方法

為消除低秩分解后出現(xiàn)的水平和豎直條紋，最大限度保留目標(biāo)場(chǎng)景信息，本文提出一種基于低秩分解結(jié)合像素置亂的霧天圖像去霧方法。

在霧天降質(zhì)圖像中，目標(biāo)場(chǎng)景本身具有局部相關(guān)性和非局部相似性，從而含有一定程度的低秩成分，因此，在進(jìn)行低秩分解的過程中，一部分目標(biāo)場(chǎng)景會(huì)被當(dāng)做霧化背景分離出去，進(jìn)而導(dǎo)致低秩分解結(jié)果中出現(xiàn)豎直和水平條紋。本文考慮對(duì)原始霧天圖像進(jìn)行像素置亂，以破壞目標(biāo)場(chǎng)景的局部相關(guān)性和非局部相似性，增加目標(biāo)場(chǎng)景的秩，從而達(dá)到場(chǎng)景去相關(guān)的目的。同時(shí)，霧化背景因其全局緩變特性而仍保持低秩屬性，這樣在進(jìn)行低秩分解時(shí)就可以最大限度地保留場(chǎng)景信息。最后，對(duì)低秩分解所得的高秩成分進(jìn)行像素歸位，即可獲得去霧后的復(fù)原場(chǎng)景。

對(duì)圖像的置亂操作需要達(dá)到增大圖像秩的目的，因此，不能使用初等變換對(duì)圖像置亂。本文采用抽取重放的置亂方法，對(duì)原始圖像矩陣進(jìn)行隨機(jī)無規(guī)律打亂。像素置亂結(jié)合低秩分解的具體操作步驟如下：

步驟1生成隨機(jī)列向量R。設(shè)原始霧天圖像矩陣D的大小為m×n，將1～mn共mn個(gè)整數(shù)隨機(jī)打亂，得到一個(gè)長(zhǎng)度為mn的列向量R。

步驟2像素置亂。將矩陣D按列展開為一個(gè)列向量D'，使D'中的元素與列向量R中的元素一一對(duì)應(yīng)，取R的元素值作為矩陣D'打亂和復(fù)原的索引，即選取D'中的第R[i]個(gè)元素作為置亂后新矩陣Y的第i個(gè)元素，得到置亂后的矩陣Y。

步驟3低秩分解及像素歸位。對(duì)置亂后的矩陣Y進(jìn)行低秩分解，得到低秩矩陣L和稀疏矩陣S，遍歷矩陣S，選取其中的第i個(gè)元素作為重建矩陣Sr的第R[i]個(gè)元素，所得的重建矩陣Sr即為去霧后的清晰目標(biāo)圖像。

在實(shí)際操作中，先對(duì)原始霧天圖像矩陣的R、G、B 3 個(gè)通道分別進(jìn)行像素置亂，再根據(jù)原始霧天圖像的霧氣濃度選擇不同的參數(shù)λ，使用IALM 算法對(duì)3 個(gè)通道分別進(jìn)行低秩分解，最后將3 個(gè)通道所得的去霧結(jié)果合并，即可得到無霧的彩色清晰目標(biāo)圖像。值得注意的是，由于低秩分解去霧本質(zhì)上是將霧化背景作為低秩部分直接從原始霧圖中去除，相較于其他算法，恢復(fù)后圖像存在亮度降低的問題，因此本文對(duì)結(jié)果圖像的亮度進(jìn)行了調(diào)整。

結(jié)合像素置亂后的低秩分解去霧結(jié)果如圖2 所示。對(duì)比圖1 可以看出，像素置亂后的去霧結(jié)果與直接進(jìn)行低秩分解所得結(jié)果相比有顯著提升，其在有效去除霧化背景的同時(shí)，消除了原始霧圖中目標(biāo)物體局部結(jié)構(gòu)信息對(duì)霧化背景估計(jì)造成的干擾，去除了直接低秩分解結(jié)果中的水平和豎直條紋，更完整地保留了圖像的細(xì)節(jié)。

圖2 像素置亂后使用低秩分解去霧的結(jié)果Fig.2 Defogging results by using low-rank decomposition after pixel scrambling

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)環(huán)境為Windows 10 操作系統(tǒng)、AMD Ryzen5 4600H 處理器、16 GB內(nèi)存、使 用Matlab R2019a 的PC 機(jī)。為驗(yàn)證本文所提方法的有效性，從RESIDE 數(shù)據(jù)庫(kù)［24］、O-HAZE 數(shù)據(jù)庫(kù)［25］以及網(wǎng)絡(luò)中選取了不同場(chǎng)景下的濃霧霾天降質(zhì)圖像，使用文獻(xiàn)［6，11］圖像復(fù)原去霧方法和文獻(xiàn)［12，14］深度學(xué)習(xí)去霧方法進(jìn)行去霧測(cè)試實(shí)驗(yàn)，并與本文方法作定性與定量對(duì)比。為達(dá)到良好的去霧效果，本文實(shí)驗(yàn)中根據(jù)霧天降質(zhì)圖像的實(shí)際霧氣濃度選取控制低秩部分與稀疏部分比例的參數(shù)λ。

3.1 主觀評(píng)價(jià)

圖3 所示為各方法分別對(duì)消防員圖、摩天輪圖、環(huán)衛(wèi)工人圖和機(jī)場(chǎng)圖這4 幅真實(shí)霧天圖像的去霧效果。由圖3 可知：對(duì)于消防員圖，其目標(biāo)信息被濃霧嚴(yán)重遮擋，文獻(xiàn)［12，14］方法未能去除霧氣，文獻(xiàn)［6］方法的去霧結(jié)果出現(xiàn)大面積的過飽和現(xiàn)象，文獻(xiàn)［11］雖然在一定程度上實(shí)現(xiàn)了去霧，但是消防員身體部分的去霧結(jié)果存在塊狀效應(yīng)，而本文方法較為清晰地恢復(fù)出消防員及水槍的細(xì)節(jié)和色彩信息；對(duì)于摩天輪圖，文獻(xiàn)［12，14］方法未能有效去霧，文獻(xiàn)［6，11］方法雖然在一定程度上去除了霧化背景，但是產(chǎn)生了嚴(yán)重的塊狀色偏現(xiàn)象，并未真實(shí)還原場(chǎng)景信息，而本文方法而效去除霧化背景，同時(shí)整體去霧結(jié)果更加清晰自然；對(duì)于環(huán)衛(wèi)工人圖，文獻(xiàn)［12］方法的去霧效果不明顯，文獻(xiàn)［6，11］方法雖然去除了場(chǎng)景中的霧氣，但是產(chǎn)生了大面積的色偏現(xiàn)象，而本文方法能在去除場(chǎng)景中霧氣的同時(shí)，更真實(shí)自然地還原圖像的色彩信息；對(duì)于機(jī)場(chǎng)圖，文獻(xiàn)［6，11］方法都產(chǎn)生了一定程度的色偏現(xiàn)象，文獻(xiàn)［14］方法雖然去除了近景中的霧氣，但在遠(yuǎn)景中產(chǎn)生了團(tuán)狀色斑，文獻(xiàn)［12］方法和本文方法在未產(chǎn)生大面積顏色失真的同時(shí)，去除了圖像中的霧氣成分，但本文方法在全局霧氣濃度不一致的情況下會(huì)出現(xiàn)一定的失真，比如去霧后摩天輪圖中的座艙與機(jī)場(chǎng)圖中的人物存在一定程度的失真，消防員圖中有一圈黑色的環(huán)繞光暈。

圖3 各方法對(duì)真實(shí)霧天圖像的去霧效果Fig.3 Defogging effects of each method on the real foggy images

圖4 所示為各方法對(duì)游樂場(chǎng)圖和滑梯圖這2 幅模擬霧天圖像的去霧效果。由圖4 可知：對(duì)于游樂園圖，場(chǎng)景中的霧氣濃度很高，文獻(xiàn)［12，14］方法未能有效去除霧氣，文獻(xiàn)［6，11］方法雖然一定程度上去除了濃霧，但是所得圖像顏色偏暗，且存在色偏現(xiàn)象，而本文方法能有效去除場(chǎng)景中的霧氣且未產(chǎn)生色偏，去霧效果更好；對(duì)于滑梯圖，文獻(xiàn)［12，14］方法未能去除霧氣，文獻(xiàn)［6，11］方法的去霧結(jié)果存在很大的色偏，而本文方法的去霧結(jié)果真實(shí)自然，效果優(yōu)于其他方法，但存在少量霧氣殘留。

圖4 各方法對(duì)模擬霧天圖像的去霧效果Fig.4 Defogging effects of each method on the imitated foggy images

3.2 客觀評(píng)價(jià)

針對(duì)主觀視覺評(píng)價(jià)易受評(píng)估者專業(yè)知識(shí)等主觀因素影響、可靠性差的缺點(diǎn)，本文選取包括新增可見邊緣比e、可見邊緣的梯度均值rˉ、過飽和程度σ、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural Similarity，SSIM）這5 個(gè)評(píng)價(jià)指標(biāo)對(duì)最終去霧結(jié)果進(jìn)行對(duì)比。對(duì)于真實(shí)霧天圖像，由于無法獲取其對(duì)應(yīng)的無霧圖像作為對(duì)比，因此采用e、σ指標(biāo)對(duì)其去霧結(jié)果進(jìn)行評(píng)價(jià)，e值和值越大，σ值越小，去霧后的圖像恢復(fù)質(zhì)量就越好。表1 為各方法對(duì)真實(shí)霧天圖像的去霧結(jié)果。由表1 可知：文獻(xiàn)［12，14］方法的e和值偏小，未能有效去除濃霧場(chǎng)景中的霧氣；文獻(xiàn)［6，11］方法雖然新增可見邊緣最多，但是去霧后的圖像顏色失真過大，場(chǎng)景恢復(fù)不夠真實(shí)自然；本文方法雖然在細(xì)節(jié)上有一定失真，但在濃霧場(chǎng)景下具有較大的e值，較好地實(shí)現(xiàn)了霧景分離。

表1 各方法對(duì)真實(shí)霧天圖像的去霧結(jié)果Table 1 Defogging results of each method on the real foggy images

對(duì)于模擬霧天圖像，可以獲得對(duì)應(yīng)的無霧圖像作為對(duì)比，因此，使用PSNR 和SSIM 比較各方法的去霧結(jié)果，這2 個(gè)指標(biāo)的值越大，去霧效果越理想。同時(shí)，本文比較了各個(gè)方法的去霧速度，以便從時(shí)間角度衡量各方法的性能。表2 為各方法對(duì)模擬霧天圖像的去霧結(jié)果對(duì)比。

表2 各方法對(duì)模擬霧天圖像的去霧結(jié)果Table 2 Defogging results of each method on the imitated foggy images

由表2 可知：在濃霧場(chǎng)景下，本文方法可以獲得比其他方法更高的PSNR 值和SSIM 值，其中最佳PSNR 值較文獻(xiàn)［6］方法從18.42 dB 提高到20.36 dB，且SSIM 值均高于對(duì)比算法；雖然文獻(xiàn)［14］方法在游樂園圖中的PSNR 值高于本文方法，但其所需去霧時(shí)間更長(zhǎng)；本文方法的去霧速度相比其他方法提升了約70%。綜合看來，本文方法在去除濃霧圖像中的霧化背景上具有較好的表現(xiàn)。

4 結(jié)束語

本文提出一種基于低秩分解結(jié)合像素置亂的霧天圖像去霧方法。將霧天降質(zhì)圖像看成低秩霧化背景和高秩目標(biāo)場(chǎng)景的疊加，先對(duì)原始霧天圖像進(jìn)行像素置亂，再對(duì)置亂后的霧天圖像進(jìn)行低秩分解，最后將所得的高秩成分進(jìn)行像素歸位，得到去霧后的清晰目標(biāo)圖像。實(shí)驗(yàn)結(jié)果表明，該方法可以消除直接使用低秩分解進(jìn)行圖像去霧時(shí)產(chǎn)生的水平和豎直條紋，且恢復(fù)出的無霧圖像真實(shí)自然，霧景分離效果更佳。本文僅以像素灰度值在圖像中的整體分布情況作為去霧標(biāo)準(zhǔn)，未考慮霧天圖像成像和退化機(jī)制，所提方法更適合濃霧及全局霧氣相對(duì)均勻的場(chǎng)景。下一步將對(duì)此進(jìn)行改進(jìn)，提高算法在霧氣濃度劇烈變化場(chǎng)景下的圖像去霧質(zhì)量。