基于融合編碼算法的圖像去霧方法研究

張浩 朱海杰 孔斌瑤 張梓宜 馮恒棟

摘要：與使用大氣散射模型的去霧方法不同，基于輪廓和顏色的融合編碼算法模擬了含霧場景中的視覺感知特征，通過主動融合輪廓特征來平衡模糊圖像中的顏色信息量，從而防止了去霧過程中出現(xiàn)的扭曲或暈效應(yīng)。實驗結(jié)果表明，該方法的魯棒性和去霧效果較好，為圖像去霧的研究提供了新的思路。

關(guān)鍵詞：圖像去霧;卷積神經(jīng)網(wǎng)絡(luò);計算機視覺

1.引言

在有霧或煙霧的復雜環(huán)境中拍攝的圖像可能質(zhì)量較差，包括能見度、對比度、銳度等指標都較差，這是大氣粒子的反射、折射和散射的綜合光學效果。通過圖像去霧技術(shù)來對這種環(huán)境中拍攝的圖像進行增強，是自動駕駛和視頻監(jiān)控等領(lǐng)域研究的熱點問題。目前的圖像去霧方法主要包括傳統(tǒng)方法和深度學習方法，傳統(tǒng)方法又可以分為基于數(shù)學模型的方法和基于物理模型的方法。

對模糊圖像或弱視覺場景的一些研究表明，人類視神經(jīng)系統(tǒng)通常提取場景的主要輪廓，并添加顏色等其他特征，然后通過腦神經(jīng)的記憶功能進行物體重組。這里需要考慮兩個因素。首先，在端到端的去霧算法中，由于標簽圖像是一個清晰的彩色圖像，并且由于卷積神經(jīng)網(wǎng)絡(luò)通常根據(jù)標簽的顯著特征（顏色特征）進行表征，因此提取的低層次特征主要是顏色特征，從而導致去霧圖像有明顯的色差。其次，霧霾等噪聲信息導致圖像輪廓模糊，提取的輪廓和紋理特征是稀疏的。

由于顏色特征量的不平衡和輪廓紋理特征的差異，因此在反向傳播過程中邊緣不能很好地擬合，從而使去除圖像的邊緣顯得模糊。對于這兩個問題，假設(shè)在特征提取中結(jié)合了大量的輪廓特征和紋理特征，這樣就可以平衡特征提取過程中顏色特征提取過多的問題，進而建立一個合理的網(wǎng)絡(luò)模型來去除色差和暈的問題。

2.基于輪廓和顏色的融合編碼算法簡述

如前所述，大氣散射在傳統(tǒng)機器學習方法和深度學習方法中都起著重要的作用，因為大氣散射可以解釋去霧前后圖像之間的關(guān)系。這種模型的原理是，如果光被霧或霧霾的粒子阻擋，光的散射會減弱成像的效果。

許多去霧方法依賴于大氣散射模型來實現(xiàn)單圖像去霧。例如，將清晰圖像中的每個顏色簇定義為RGB空間中的一行，利用深度邊緣感知平滑算法優(yōu)化局部先驗生成的初始傳輸圖，然后利用梯度殘差最小化來實現(xiàn)圖像去霧;在假設(shè)傳輸圖和圖像表面陰影是局部不相關(guān)的情況下估計了一個場景的反照率，并用大氣散射模型實現(xiàn)了圖像去霧。

首先，本文方法解決了暈和色差問題。以前的工作僅限于使用WB、CE和伽馬校正（GC）來補償由霧和低能見度造成的圖像中的顏色變化。如果沒有正確地選擇對比度和亮度，可能會產(chǎn)生不同類型的色差。在自動特征提取中，CNN對顏色特征的提取距離太遠，導致其冗余，進而導致暈和色差。可以通過平衡顏色特征的數(shù)量和可控特征輪廓的數(shù)量來解決這些問題。

其次，本文方法的性能更加穩(wěn)定。其他方法主要使用光學特性來解決去霧問題，如WB、CE和GC，但值得注意的是，WB、CE和GC的提取是由參數(shù)控制的。因此，對于不同濃度的霧，對應(yīng)的三個子圖的獲取是不穩(wěn)定的，這將會影響到去霧的效果。我們使用信息量來解決穩(wěn)定性的問題。只要霧圖不是完全看不見的，就可以穩(wěn)定地獲得主要的輪廓來平衡顏色，從而提高了圖像去霧系統(tǒng)的穩(wěn)定性。

最后，在網(wǎng)絡(luò)的設(shè)計中，經(jīng)過多次驗證發(fā)現(xiàn)設(shè)置三層來進行低級特征提取效果較好。本文直接融合了多維特征，以確保深度特征信息更加豐富，且生成式對抗網(wǎng)絡(luò)模型被用于改善圖像去霧模型。

3.融合編碼算法原理

本文給出了一種基于等高線和顏色融合編碼的端到端圖像去模糊處理方法，模擬了一個由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成的視覺信息處理的生物機制。該算法提取輸入圖像的輪廓，提取低級特征編碼區(qū)域的顏色，同時按層添加輪廓，深度編碼結(jié)果為低級特征編碼區(qū)域。最后，該算法將低級特征編碼結(jié)果與高級語義編碼結(jié)果相結(jié)合，對融合結(jié)果進行分層解碼，生成去霧后的圖像。然后，算法將待去霧圖像和相應(yīng)的樣本標簽輸入判別網(wǎng)絡(luò)，計算圖像的相似度，生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)交替進行，優(yōu)化兩個網(wǎng)絡(luò)，從而提升系統(tǒng)的去霧能力。

構(gòu)建深度卷積神經(jīng)網(wǎng)路的主要目的是訓練出最優(yōu)的網(wǎng)絡(luò)參數(shù)，因此可選擇VGG網(wǎng)絡(luò)預訓練模型的前三個特征提取模塊，構(gòu)建七層卷積神經(jīng)網(wǎng)絡(luò)，作為低級特征提取器。然而，去霧網(wǎng)絡(luò)需要輪廓特征的融合，而為深度網(wǎng)絡(luò)選擇特征提取器可能會導致過多的信息被編碼，在這種情況下，顏色可能會失去其原始值，無法與輪廓正確融合，影響編碼效果。本文采用了VGG的特征提取思想，但僅使用三層卷積作為顏色特征提取器。本文將感知到的輪廓結(jié)果依次添加到三層顏色中，以增加輪廓的體積比。此外，與圖像分割和圖像識別不同的是，圖像去霧只減弱與真實像素相關(guān)的噪聲，但不會很大程度地改變圖像結(jié)構(gòu)，這樣可以避免過度學習和提高效率。為了消除低層次特征編碼區(qū)域的信息冗余，本文將第三個卷積層的步長設(shè)置為2，類似于池化操作。并且為了提高網(wǎng)絡(luò)的通用化性，每個卷積操作都經(jīng)過標準化操作。

4.結(jié)論

本文利用深度編碼模擬視覺感知，給出了一種用于圖像去霧的端到端神經(jīng)網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成，包括輪廓特征提取器、低級特征編碼、高級語義編碼和特征解碼。本文方法模擬了深度視覺感知系統(tǒng)的編碼過程，給出了一種從低級特征編碼到高級語義編碼的新型圖像編碼方法。該方法在圖像去霧方面取得了較好的效果，且對減少卷積神經(jīng)網(wǎng)絡(luò)的黑盒特征具有重要意義。進一步模擬含霧場景中光學神經(jīng)系統(tǒng)的響應(yīng)，通過模擬生物視覺系統(tǒng)，對視野中圖像的輪廓和顏色特征進行融合編碼，進而創(chuàng)建圖像去霧系統(tǒng)。同時，該方法改進了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，允許對合成和自然含霧圖像進行去霧實驗，得到了定性和定量的結(jié)果。

本文方法對煙霧環(huán)境中的含霧圖像去霧效果較好，對自然圖像去霧效果更好，具有較強的魯棒性。本文給出的基于輪廓和顏色融合編碼的圖像去霧方法，為圖像去霧提供了一種新的解決方案和發(fā)展方向。

參考文獻：

[1] M. Li， J. Liu， W. Yang， X. Sun， and Z. Guo. Structure-revealing low-light image enhancement via robust Retinex model. IEEE Trans. Image Process.， 2018， 27（6）： 2828-2841.

[2] C. Li， J. Guo， F. Porikli， H. Fu， and Y. Pang. A cascaded convolutional neural network for single image dehazing. IEEE Access， 2018， 6： 24877-24887.

[3] Q. Zhu， J. Mai， and L. Shao. A fast single image haze removal algorithm using color attenuation prior. IEEE Trans. Image Process.， 2015， 24（11）： 3522-3533.

張浩：衢州學院2020級數(shù)據(jù)科學與大數(shù)據(jù)技術(shù)專業(yè)本科生。資助項目：國家級大學生科技創(chuàng)新項目（項目編號：202111488030）