基于多尺度特征結(jié)合細(xì)節(jié)恢復(fù)的單幅圖像去霧方法

張世輝 路佳琪 宋丹丹 張曉微

①(燕山大學(xué)信息科學(xué)與工程學(xué)院 秦皇島 066004)

②(河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室 秦皇島 066004)

1 引言

近年來，隨著工業(yè)化進(jìn)程的加快，大量廢氣排放致使大氣污染較為嚴(yán)重，使得霧天等惡劣天氣越發(fā)頻繁出現(xiàn)。因此，去霧方法成為一個(gè)廣受學(xué)者關(guān)注的重要研究課題[1]。與良好天氣下拍攝的圖像相比，有霧天氣下拍攝的圖像往往呈現(xiàn)出模糊不清、對比度下降以及顏色失真等現(xiàn)象，并且對目標(biāo)跟蹤[2]、場景理解[3]等諸多后續(xù)任務(wù)的執(zhí)行有較大影響，同時(shí)嚴(yán)重阻礙了計(jì)算機(jī)視覺系統(tǒng)發(fā)揮效用。因此，對有霧圖像進(jìn)行去霧處理具有十分重要的研究意義和應(yīng)用價(jià)值。

圖像去霧可分為多幅圖像去霧和單幅圖像去霧，但多幅圖像去霧問題需要同一場景下的多幅圖像信息，在實(shí)際中較難獲得，局限性較大，故目前學(xué)者更多地進(jìn)行單幅圖像去霧方法研究?，F(xiàn)有的單幅圖像去霧方法主要分為以下3類：

(1) 基于圖像增強(qiáng)的去霧方法。該類方法沒有考慮有霧圖像的退化機(jī)理，僅通過增強(qiáng)其對比度、飽和度和清晰度等，使圖像更符合人類的視覺感受。常用的基于圖像增強(qiáng)的去霧方法有直方圖均衡化算法[4]、Retinex算法[5]、同態(tài)濾波[6]和小波變換[7]等。雖然該類算法有較好的適用性，但會對圖像的細(xì)節(jié)信息和顏色等方面造成損害，整體去霧效果一般。

(2) 基于先驗(yàn)知識的去霧方法。該類方法主要基于手工設(shè)計(jì)的先驗(yàn)知識或假設(shè)進(jìn)行圖像去霧，去霧效果相對自然。Fattal[8]假設(shè)在局部區(qū)域內(nèi)，圖像的反射率是恒定不變的，且場景中的顏色與空氣介質(zhì)之間相互獨(dú)立，并利用獨(dú)立成分分析和馬爾可夫模型達(dá)到去霧目的，但此方法僅能在薄霧場景中取得良好效果。He等人[9]通過對大量室外無霧圖像進(jìn)行實(shí)驗(yàn)分析后，發(fā)現(xiàn)無霧圖像的局部區(qū)域內(nèi)至少一個(gè)顏色通道的值接近于0，將其命名為暗通道先驗(yàn)理論，并基于此理論結(jié)合大氣散射模型實(shí)現(xiàn)圖像去霧。但當(dāng)圖像中場景物體與大氣光相似時(shí)，會造成此先驗(yàn)信息失效。隨后，針對暗通道先驗(yàn)去霧算法的不足，學(xué)者提出了一系列的改進(jìn)算法[10,11]。Zhu等人[12]通過觀察發(fā)現(xiàn)霧的存在會導(dǎo)致圖像飽和度降低和亮度增加，并據(jù)此提出了顏色衰減先驗(yàn)，進(jìn)而構(gòu)建回歸模型估計(jì)景深以實(shí)現(xiàn)對圖像中霧的去除。雖然基于先驗(yàn)知識的去霧方法取得了一定程度的成功，但該類方法并不能很好地處理所有情況，當(dāng)假定的先驗(yàn)不成立時(shí)，去霧后圖像會存在偽影現(xiàn)象，去霧效果較差。

(3) 基于學(xué)習(xí)思想的去霧方法。該類方法可分為應(yīng)用大氣散射模型的方法以及端到端的方法。早期工作集中于應(yīng)用大氣散射模型的方法，即直接利用深度卷積神經(jīng)網(wǎng)絡(luò)估計(jì)待去霧圖像的透射圖和大氣光值，然后應(yīng)用大氣散射模型實(shí)現(xiàn)圖像去霧。Cai等人[13]結(jié)合現(xiàn)有的先驗(yàn)知識與假設(shè)提出DehazeNet，該網(wǎng)絡(luò)用于估計(jì)有霧圖像的透射圖，隨后使用大氣散射模型實(shí)現(xiàn)清晰圖像的重構(gòu)。Li等人[14]重新設(shè)計(jì)大氣散射模型，把透射圖t(x)和 大氣光值A(chǔ)集成到新變量k中，構(gòu)建了一個(gè)輕量級的去霧網(wǎng)絡(luò)。然而，上述應(yīng)用大氣散射模型的去霧方法由于需要對透射圖t(x)和 大氣光值A(chǔ)同時(shí)進(jìn)行預(yù)測，故容易形成誤差的累積，導(dǎo)致去霧不徹底或出現(xiàn)偽影現(xiàn)象。為克服以上問題，學(xué)者提出端到端去霧框架以直接從輸入的有霧圖像預(yù)測清晰的無霧圖像。Qu等人[15]將圖像去霧問題簡化為圖像到圖像的翻譯問題進(jìn)而提出了增強(qiáng)的pix2pix去霧網(wǎng)絡(luò)(Enhanced Pix2pix Dehazing Network, EPDN)，該去霧網(wǎng)絡(luò)由多分辨率生成器模塊、增強(qiáng)器模塊和多尺度判別器模塊組成，其增強(qiáng)器可以進(jìn)一步增強(qiáng)去霧效果。Liu等人[16]基于可訓(xùn)練的預(yù)處理模塊、主干模塊和后處理模塊提出了一種端到端的網(wǎng)格去霧網(wǎng)絡(luò)Griddehazenet。Das等人[17]針對非均勻有霧圖像提出一種快速的深度多patch分層網(wǎng)絡(luò)，該方法可以較快地還原非均勻有霧圖像。Qin等人[18]提出了特征融合注意力網(wǎng)絡(luò)(Feature Fusion Attention Network,FFA-Net)，應(yīng)用注意力機(jī)制自適應(yīng)學(xué)習(xí)不同特征信息的權(quán)重以實(shí)現(xiàn)圖像去霧。雖然上述端到端方法可以在一定程度上去除有霧圖像中的霧，但在去霧過程中由于過度專注圖像去霧，易將原圖像中的某些細(xì)節(jié)信息一同去除，缺乏保持原有細(xì)節(jié)紋理信息的能力。

針對上述問題，本文提出一種端到端的單幅圖像去霧方法。與現(xiàn)有方法所依據(jù)的在一個(gè)統(tǒng)一網(wǎng)絡(luò)框架內(nèi)實(shí)現(xiàn)去霧和保留細(xì)節(jié)的思路不同，本文將去霧和細(xì)節(jié)恢復(fù)視為兩個(gè)獨(dú)立的任務(wù)，使用基于多尺度特征的去霧網(wǎng)絡(luò)進(jìn)行圖像去霧，并結(jié)合細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)恢復(fù)因去霧而丟失的細(xì)節(jié)信息，從而得到具有更清晰紋理細(xì)節(jié)的去霧圖像。

2 方法概述

本文所提基于多尺度特征結(jié)合細(xì)節(jié)恢復(fù)的單幅圖像去霧方法總體思想如下。首先，設(shè)計(jì)并構(gòu)建基于多尺度特征提取和融合的去霧網(wǎng)絡(luò)，將有霧圖像輸入至去霧網(wǎng)絡(luò)獲得初步去霧結(jié)果。其次，構(gòu)造基于圖像分塊的細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)，將有霧圖像及初步去霧結(jié)果輸入至細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)以進(jìn)一步提取細(xì)節(jié)信息。最后，融合提取出的細(xì)節(jié)信息和初步去霧結(jié)果得到最終清晰的去霧圖像。所提去霧方法總體流程如圖1所示。

圖1 所提單幅圖像去霧方法流程

3 基于多尺度特征結(jié)合細(xì)節(jié)恢復(fù)的單幅圖像去霧方法

3.1 利用去霧網(wǎng)絡(luò)獲取初步去霧結(jié)果

為實(shí)現(xiàn)初步圖像去霧，本文首先提出多尺度特征提取模塊(Multi-Scale Feature Extraction Module, MSFEM)及多尺度特征融合模塊(Multi-Scale Feature Fusion Module, MSFFM)。其中，MSFEM通過使用不同膨脹率的平滑擴(kuò)張卷積[19]調(diào)整感受野大小，從而實(shí)現(xiàn)多尺度特征的提??；MSFFM利用殘差塊和雙重注意力機(jī)制以促進(jìn)不同尺度特征之間的非線性加權(quán)融合。然后，基于所提出的MSFEM與MSFFM構(gòu)建并訓(xùn)練端到端的去霧網(wǎng)絡(luò)，利用訓(xùn)練好的去霧網(wǎng)絡(luò)即可獲取初步去霧結(jié)果。

3.1.1 提出多尺度特征提取模塊(MSFEM)

由于不同尺度的圖像特征具有不同的語義信息，因此充分提取、利用多尺度特征可提高去霧圖像的質(zhì)量。提取多尺度特征可通過不同卷積核調(diào)整感受野大小來實(shí)現(xiàn)，然而過大的卷積核會降低模型的計(jì)算效率。膨脹率為r的擴(kuò)張卷積通過在卷積核中相鄰元素間插入r?1個(gè)0以達(dá)到擴(kuò)大感受野的目的，而且沒有引入其他的計(jì)算量和參數(shù)。但由于擴(kuò)張卷積核需插入大量的0，致使相鄰像素間的相關(guān)性變?nèi)?，會?dǎo)致產(chǎn)生“網(wǎng)格效應(yīng)”現(xiàn)象并降低去霧性能。為了緩解這種情況，MSFEM引入平滑擴(kuò)張卷積以擴(kuò)大感受野。平滑擴(kuò)張卷積與擴(kuò)張卷積不同的是其在擴(kuò)張卷積之前插入了卷積核大小為2r ?1的可分離共享卷積，增加了距離較近的像素之間的相互影響，從而加強(qiáng)了輸入單元間的依賴關(guān)系，擴(kuò)大感受野的同時(shí)緩解了“網(wǎng)格效應(yīng)”現(xiàn)象，有利于獲得更平滑的去霧效果。因此MSFEM采用不同膨脹率的平滑擴(kuò)張卷積以獲得具有不同感受野大小的特征，在不增加計(jì)算復(fù)雜度和參數(shù)規(guī)模的情況下，實(shí)現(xiàn)了多尺度特征的提取操作。

所提的MSFEM結(jié)構(gòu)如圖2所示。MSFEM為2行4列的結(jié)構(gòu)，每行表示不同的深度，每列對應(yīng)不同膨脹率的平滑擴(kuò)張卷積，用于提取不同尺度的特征。將每列標(biāo)記為C∈{1,2,3,4}，其對應(yīng)的膨脹率為r=2C ?1 。C值越小的列感受野越小，小尺度感受野更多保留局部細(xì)節(jié)信息，C值越大的列感受野越大，大尺度感受野更多保留全局上下文信息。圖2中為MSFEM的輸入特征，為MSFEM的輸出特征。

圖2 MSFEM結(jié)構(gòu)

其次，為進(jìn)一步提高網(wǎng)絡(luò)的表達(dá)能力，同時(shí)促進(jìn)不同尺度特征的集成，本文使用了層間多尺度特征融合。分別通過其局部相鄰的不同尺度平滑擴(kuò)張卷積層，從而進(jìn)一步提取多尺度特征，公式定義為

其中，c at為特征連接操作。

最后，引入局部殘差連接以增強(qiáng)模型性能，防止訓(xùn)練不穩(wěn)定，最終提取出豐富的多尺度特征，公式定義為

所提MSFEM具有足夠的靈活性，可充分提取多尺度特征，有利于實(shí)現(xiàn)對有霧圖像中霧的良好去除。

3.1.2 提出多尺度特征融合模塊(MSFFM)

通過MSFEM提取出大量多尺度特征后，若不同尺度的特征相互獨(dú)立且無法相互作用，則會顯著降低模型的性能，故本文設(shè)計(jì)了MSFFM，旨在促進(jìn)多尺度特征的交互和融合。

由于暗通道先驗(yàn)指出無霧圖像的局部區(qū)域內(nèi)至少一個(gè)顏色通道的值接近于0，這說明在圖像去霧任務(wù)中不同通道特征具有不同的權(quán)重。同時(shí)，考慮到通道注意力機(jī)制(Squeeze-and-Excitation, SE)首先通過全局平均池化操作將每個(gè)2維的特征圖轉(zhuǎn)變成一個(gè)實(shí)數(shù)，代表當(dāng)前通道的全局信息，然后通過兩個(gè)全連接層及sigmoid函數(shù)學(xué)習(xí)各通道之間的依賴關(guān)系并生成權(quán)重，最后將該權(quán)重與其對應(yīng)的特征通道進(jìn)行相乘，以實(shí)現(xiàn)加強(qiáng)包含有用信息的通道特征并抑制對當(dāng)前任務(wù)用處不大的通道特征。而有效通道注意力(Efficient Channel Attention, ECA)[20]模塊對通道注意力模塊進(jìn)行改進(jìn)，通過一種不降維的局部跨通道交互策略在對不同通道分配不同權(quán)重的同時(shí)，提高了模塊的效率及性能。故本文將有效通道注意力模塊引入到圖像去霧領(lǐng)域，使用ECA機(jī)制指導(dǎo)多尺度特征的加權(quán)融合。

此外，分析已有去霧后圖像可知，霧的濃度會對去霧問題產(chǎn)生較大影響。同時(shí)，考慮到像素注意力機(jī)制(Pixel Attention, PA)[18]首先將C×H×W的輸入特征通過兩個(gè)卷積層以及sigmoid函數(shù)變?yōu)?×H×W的輸出特征，其代表了各像素點(diǎn)的權(quán)重信息，然后將輸入特征與其對應(yīng)像素權(quán)重相乘，以實(shí)現(xiàn)對不同的像素分配不同的權(quán)重，使?jié)忪F區(qū)域像素得到更多的注意，以達(dá)到更好的去霧效果。故進(jìn)一步引入像素注意力機(jī)制指導(dǎo)多尺度特征的加權(quán)融合。

圖3 MSFFM結(jié)構(gòu)

其中， Conv(·) , R B(·), E CA(·)和 P A(·)分別為卷積、殘差塊、有效通道注意力機(jī)制及像素注意力機(jī)制對應(yīng)函數(shù)。

MSFFM在進(jìn)行多尺度特征融合時(shí)為在提取出重要特征的同時(shí)減少計(jì)算量，首先使用核大小為1×1的卷積層減小特征維數(shù)，其次采用殘差塊實(shí)現(xiàn)多尺度特征的非線性融合，再次通過雙重注意力機(jī)制ECA和PA指導(dǎo)多尺度特征的加權(quán)融合，最后使用局部殘差連接提升模型的性能以及訓(xùn)練的穩(wěn)定性。

所提MSFFM可將不同尺度特征包含的不同信息進(jìn)行充分的交互和融合，有利于提高去霧圖像的質(zhì)量。

3.1.3 構(gòu)建去霧網(wǎng)絡(luò)

為實(shí)現(xiàn)對有霧圖像中霧的有效去除，本文基于所提多尺度特征提取模塊和多尺度特征融合模塊設(shè)計(jì)了一種去霧網(wǎng)絡(luò)架構(gòu)，其結(jié)構(gòu)如圖4所示。去霧網(wǎng)絡(luò)的輸入是一個(gè)有霧圖像，該有霧圖像首先經(jīng)過由卷積層組成的淺層特征提取結(jié)構(gòu)，然后輸入至兩個(gè)組結(jié)構(gòu)中，通過3 ×3卷積將組結(jié)構(gòu)的輸出特征進(jìn)行融合，再通過可變形卷積以擴(kuò)展具有自適應(yīng)形狀的感受野，最后使用重構(gòu)部分及全局殘差連接獲得初步去霧圖像。

圖4 去霧網(wǎng)絡(luò)的整體結(jié)構(gòu)

在去霧網(wǎng)絡(luò)中，每個(gè)組結(jié)構(gòu)由5個(gè)串行的基礎(chǔ)塊組成，提取的特征可表示為

（1）內(nèi)部審計(jì)評價(jià)與監(jiān)督不力。《內(nèi)部控制規(guī)范》第六十一條明確規(guī)定，內(nèi)部審計(jì)部門或崗位應(yīng)當(dāng)定期或不定期檢查單位內(nèi)部管理制度和機(jī)制的建立與執(zhí)行情況，以及內(nèi)部控制關(guān)鍵崗位及人員的設(shè)置情況。這說明內(nèi)審部門應(yīng)側(cè)重評價(jià)相關(guān)控制活動(dòng)在評價(jià)期內(nèi)的運(yùn)行情況，實(shí)施控制的人員是否有必要的權(quán)限和能力。但是在內(nèi)部審計(jì)時(shí)，審計(jì)重點(diǎn)是在經(jīng)費(fèi)指標(biāo)、審批權(quán)限、發(fā)票或財(cái)務(wù)收支等業(yè)務(wù)上，而沒有注重在評價(jià)期內(nèi)實(shí)施控制人員的資質(zhì)審查，不相容崗位分離是否實(shí)質(zhì)分離等等，對內(nèi)控的監(jiān)督力度遠(yuǎn)遠(yuǎn)不夠。

其中，fi,j為 第i∈{1,2}個(gè) 組結(jié)構(gòu)中第j ∈{1,2,...,5}個(gè)基礎(chǔ)塊提取出的特征，Bi,j(·)為 第i個(gè) 組結(jié)構(gòu)中第j個(gè)基礎(chǔ)塊進(jìn)行的操作，fin為第1個(gè)組結(jié)構(gòu)中第1個(gè)基礎(chǔ)塊輸入的淺層特征。基礎(chǔ)塊由多尺度特征提取模塊(MSFEM)、多尺度特征融合模塊(MSFFM)以及局部殘差連接組成，具體結(jié)構(gòu)如圖5所示。

圖5 基礎(chǔ)塊結(jié)構(gòu)

此外，為使網(wǎng)絡(luò)學(xué)習(xí)有霧圖像Ihaze與對應(yīng)清晰圖像Igt之 間的映射關(guān)系，促使去霧網(wǎng)絡(luò)生成較為清晰的初步去霧圖像，需通過最小化損失函數(shù)Lh來訓(xùn)練去霧網(wǎng)絡(luò)。本文基于L1損失構(gòu)造的損失函數(shù)定義為

其中，N表示樣本訓(xùn)練數(shù)目，D(·)表示去霧網(wǎng)絡(luò)。利用訓(xùn)練好的去霧網(wǎng)絡(luò)，即可得到初步去霧圖像Ide。

3.2 利用細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)提取細(xì)節(jié)信息

由于去霧網(wǎng)絡(luò)存在去霧不足或過度去霧等不可避免的誤差，因此初步去霧圖像存在顏色信息偏差及紋理信息丟失的現(xiàn)象。因此本文構(gòu)建了基于圖像分塊的細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)，通過聚合圖像不同空間區(qū)域多個(gè)圖像塊的特征，從而獲得圖像各區(qū)域的細(xì)節(jié)信息，包括顏色信息及紋理信息。

所構(gòu)建的細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。首先，將有霧圖像與初步去霧結(jié)果在通道維度上進(jìn)行連接并作為細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)的輸入，該操作一方面可以獲取有霧圖像中潛在細(xì)節(jié)信息，另一方面可促使細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)尋找并提取初步去霧結(jié)果中由于去霧而丟失的細(xì)節(jié)信息。其次，將連接結(jié)果分割為,4個(gè)等大的圖像塊，并將4個(gè)來自不同區(qū)域的圖像塊分別輸入至編碼器中得到各自區(qū)域的特征。再次，將4部分中空間相鄰的特征水平連接后，進(jìn)行垂直連接得到最終聚合后的特征表示。最后，將聚合后的特征表示輸入至解碼器中得到最終提取的細(xì)節(jié)信息。

細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)中的編碼器由卷積層和卷積塊組成，具體結(jié)構(gòu)如圖6所示。卷積塊中包含2個(gè)卷積層和1個(gè)ReLU層，且添加了跳躍連接以保留更多的細(xì)節(jié)信息，同時(shí)可將其傳遞至更深的層次。解碼器結(jié)構(gòu)上與編碼器相似，但其中用反卷積層替換一個(gè)卷積層，并在解碼器中添加一個(gè)增強(qiáng)模塊[15]，該模塊采用金字塔池化來集成不同尺度下的細(xì)節(jié)特征。其輸入特征通過平均池化層按4倍, 8倍, 16倍, 32倍的因子進(jìn)行下采樣，從而構(gòu)建一個(gè)4尺度的金字塔。然后通過 1×1卷積層降維，再對4個(gè)輸出進(jìn)行上采樣恢復(fù)至原始大小，并將其與原始特征進(jìn)行連接。最后，對連接后的特征圖進(jìn)行3 ×3卷積操作。

圖6 細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)的整體結(jié)構(gòu)

此外，本文通過最小化損失函數(shù)Ld來訓(xùn)練細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)，以進(jìn)一步提取出丟失的細(xì)節(jié)信息。將基于L1損失構(gòu)造的損失函數(shù)定義為

其中，Ide表示通過去霧網(wǎng)絡(luò)獲得的初步去霧圖像，R(·)為細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)。利用訓(xùn)練好的細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)，即可得到細(xì)節(jié)信息。

3.3 融合獲取最終去霧圖像

為了生成清晰的最終去霧圖像，需對去霧網(wǎng)絡(luò)獲取的初步去霧結(jié)果Ide及細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)提取出的細(xì)節(jié)信息進(jìn)行融合，由于像素級的相加融合可以直接利用各網(wǎng)絡(luò)提取出來的特征，從而對特征信息做到最大限度的保留，同時(shí)可以更多地保留細(xì)節(jié)信息，使最終去霧圖像的細(xì)節(jié)呈現(xiàn)比較豐富，故本文將初步去霧結(jié)果Ide與 細(xì)節(jié)信息通過相加操作進(jìn)行融合。融合公式定義為

融合后即可得到最終清晰的去霧圖像Iclear。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)設(shè)置及數(shù)據(jù)集

所提方法的實(shí)驗(yàn)硬件環(huán)境為Intel? Xeon(R)Gold-5118 CPU @ 2.30 GHz、內(nèi)存64 GB、顯卡型號NVIDIA RTX 2080 Ti。實(shí)驗(yàn)軟件環(huán)境為Ubuntu14.0,CUDA9.0, Python3.6.7和Pytorch1.0.0。實(shí)驗(yàn)參數(shù)設(shè)置上，將初始學(xué)習(xí)率設(shè)置為1 ×10?4，采用余弦退火策略來調(diào)整學(xué)習(xí)率。使用Adam優(yōu)化器進(jìn)行優(yōu)化，batchsize設(shè)置為4。訓(xùn)練時(shí)使用總體損失函數(shù)Ltotal=Lh+Ld對去霧網(wǎng)絡(luò)及細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)進(jìn)行并行訓(xùn)練。

本文選用圖像去霧領(lǐng)域有代表性的RESIDE[21]數(shù)據(jù)集中的室內(nèi)訓(xùn)練集(Indoor Training Set,ITS)和室外訓(xùn)練集(Outdoor Training Set, OTS)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，合成客觀測試集(Synthetic Objective Testing Set, SOTS)對網(wǎng)絡(luò)進(jìn)行測試。室內(nèi)訓(xùn)練集ITS共包含1399幅清晰圖像及由其生成的13990幅合成有霧圖像。室外訓(xùn)練集OTS共包含8477幅清晰圖像及其生成的296695幅合成有霧圖像。測試集SOTS包含500幅室內(nèi)有霧圖像及500幅室外有霧圖像。同時(shí)，為了測試模型的泛化能力，本文直接使用ITS上訓(xùn)練的模型在Middlebury[22]數(shù)據(jù)集上進(jìn)行測試，該數(shù)據(jù)集包含23幅有霧圖像。此外，選用NTIRE 2018-Dehazing challenge數(shù)據(jù)集對提出的模型進(jìn)行評估，該數(shù)據(jù)集包括室內(nèi)數(shù)據(jù)集I-HAZE[23]及室外數(shù)據(jù)集O-HAZE[24]，分別包含30幅真實(shí)有霧圖像和45幅真實(shí)有霧圖像用于訓(xùn)練與測試。本文將從定性和定量兩個(gè)角度，對所提方法進(jìn)行消融實(shí)驗(yàn)與分析，并將本文方法與現(xiàn)有代表性的去霧方法DCP[9], DeHazeNet[13], AOD-Net[14],GridDehazeNet[16], FFA-Net[18]及MSBDN[25]進(jìn)行對比實(shí)驗(yàn)與分析。

4.2 消融實(shí)驗(yàn)

為驗(yàn)證所提方法中各個(gè)組件的有效性，分別從定性和定量角度對提出的多尺度特征提取模塊(MSFEM)、多尺度特征融合模塊(MSFFM)以及細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)進(jìn)行了消融實(shí)驗(yàn)，具體包括以下3組實(shí)驗(yàn)：(1)僅使用去霧網(wǎng)絡(luò)且該網(wǎng)絡(luò)中基本塊僅包含MSFEM及局部殘差連接(MSFEM)；(2)僅使用去霧網(wǎng)絡(luò)，但該網(wǎng)絡(luò)中基本塊包含MSFEM, MSFFM及局部殘差連接(MSFEM + MSFFM)；(3)本文所提方法，即同時(shí)使用完整的去霧網(wǎng)絡(luò)和細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)，并將細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)提取出的細(xì)節(jié)信息與去霧網(wǎng)絡(luò)得到的初步去霧結(jié)果進(jìn)行融合(MSFEM + MSFFM +細(xì)節(jié)恢復(fù)網(wǎng)絡(luò))。消融實(shí)驗(yàn)結(jié)果對比如圖7所示，其中圖7(a)是有霧圖像，圖7(b)是Ground Truth，圖7(c)至圖7(e)分別對應(yīng)上述3組實(shí)驗(yàn)。從圖7可以看出，圖7(c)的去霧結(jié)果仍有少量霧的殘留，尤其在各圖像的標(biāo)框放大區(qū)域最為明顯，其中第1行圖像凳子把手周圍墻面顏色偏暗，出現(xiàn)輕微的顏色失真現(xiàn)象，第3行圖像紅色沙發(fā)靠背區(qū)域去霧不徹底。圖7(d)的去霧結(jié)果雖然相對較為徹底，但細(xì)節(jié)信息模糊且色彩恢復(fù)不足，如第2行圖像標(biāo)框放大區(qū)域紅色墻面顏色偏暗。與圖7(c)和圖7(d)相比，圖7(e)的去霧效果最接近于Ground Truth，且標(biāo)框處顯示的細(xì)節(jié)信息最為清晰，因此可驗(yàn)證所提方法中各個(gè)組件的有效性。

圖7 消融實(shí)驗(yàn)結(jié)果比較

此外，選取峰值信噪比(Peak Signal to Noise Ratio, PSNR)和結(jié)構(gòu)相似性(Structural SIMilarity index, SSIM)對實(shí)驗(yàn)結(jié)果進(jìn)行定量分析，這兩個(gè)客觀評價(jià)指標(biāo)值越大，表明圖像去霧效果越好。表1展示了不同配置消融實(shí)驗(yàn)在3種數(shù)據(jù)集上的量化評估結(jié)果，其中加粗字體為最優(yōu)值。根據(jù)表1可知，其中第3組實(shí)驗(yàn)，即本文所提方法在SOTS及Middlebury數(shù)據(jù)集上均取得了最好的去霧效果，且MSFEM,MSFFM及細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)這3個(gè)結(jié)構(gòu)均對網(wǎng)絡(luò)性能有重要的影響，它們的組合對于提升網(wǎng)絡(luò)性能有明顯作用。

表1 不同配置消融實(shí)驗(yàn)的PSNR和SSIM指標(biāo)對比

4.3 與已有去霧方法實(shí)驗(yàn)對比與分析

4.3.1 基于合成圖像與已有去霧方法實(shí)驗(yàn)對比與分析

為進(jìn)一步驗(yàn)證本文方法對合成有霧圖像的有效性，圖8展示了所提方法與現(xiàn)有代表性去霧方法比較的實(shí)驗(yàn)結(jié)果。分析圖8可知，由于DCP屬于基于先驗(yàn)知識的去霧方法，其恢復(fù)的圖像中一些區(qū)域存在嚴(yán)重的顏色失真問題，這導(dǎo)致去霧圖像整體視覺效果較差，尤其在圖8(b)中第1行圖像的天花板、桌面及第2行圖像的左側(cè)墻面和右下角的桌面最為明顯。DeHazeNet及AOD-Net屬于基于學(xué)習(xí)思想且應(yīng)用大氣散射模型的去霧方法，沒有受到先驗(yàn)信息的約束，故基本不存在顏色失真問題，但去霧不徹底。其中，DeHazeNet方法的去霧結(jié)果有大量霧的殘留且在細(xì)節(jié)上呈現(xiàn)出模糊現(xiàn)象，如圖8(c)中第1行圖像的墻面和柜子。AOD-Net方法的去霧結(jié)果也存在大量霧無法去除，且去霧圖像整體亮度偏低，圖8(d)中第1行圖像的墻面及吊燈和第3行圖像的人都因?yàn)殪F的殘留而無法顯示出細(xì)節(jié)信息。GridDehazeNet, FFA-Net及MSBDN屬于基于學(xué)習(xí)思想的端到端去霧方法，不受先驗(yàn)信息的約束且無需對大氣散射模型中的兩個(gè)變量同時(shí)進(jìn)行估計(jì)，減少了誤差累積，故整體去霧效果優(yōu)于前幾種方法，但去霧結(jié)果仍然存在處理不到位的地方。其中，GridDehazeNet方法的去霧結(jié)果部分區(qū)域存在偏色現(xiàn)象，如圖8(e)中第1行圖像左上角天花板區(qū)域顏色過暗，第2行圖像墻面變色。FFA-Net方法整體去霧效果良好，但部分區(qū)域較模糊導(dǎo)致細(xì)節(jié)不明顯，如圖8(f)中第3行圖像中間人頭部上方的樹葉及第4行圖像左上角的紅色高樓區(qū)域都有霧的殘留，亮度較低且細(xì)節(jié)信息不明顯。MSBDN方法去霧不徹底，如圖8(g)中第2行圖像中桌子的左側(cè)以及第3行圖像中間人頭部上方的樹葉及墻面都有霧的殘留。本文所提方法在去霧過程中同時(shí)考慮到圖像去霧和細(xì)節(jié)恢復(fù)，所得去霧結(jié)果最為清晰且細(xì)節(jié)信息保留完整，視覺效果明顯優(yōu)于其他幾種方法。由此可以驗(yàn)證本文方法對合成圖像去霧的有效性。

圖8 本文方法與已有方法在合成圖像上的比較

為進(jìn)一步評估本文方法的性能，依舊選取PSNR和SSIM兩個(gè)客觀評價(jià)指標(biāo)對實(shí)驗(yàn)結(jié)果進(jìn)行定量分析。表2給出了不同方法在5種數(shù)據(jù)集上的量化評估結(jié)果，其中加粗字體為最優(yōu)值，加下劃線字體為次優(yōu)值。由表2可以看出，在SOTS(Outdoor),Middlebury及O-HAZE數(shù)據(jù)集上本文方法的PSNR和SSIM達(dá)到最優(yōu)值，在SOTS(Indoor)及IHAZE數(shù)據(jù)集上本文方法達(dá)到次優(yōu)值。在SOTS(Indoor)數(shù)據(jù)集上，F(xiàn)FA-Net方法的值略高于本文方法，其原因在于，F(xiàn)FA-Net方法通過大量基礎(chǔ)塊的堆疊形成較深的網(wǎng)絡(luò)結(jié)構(gòu)，使其對具有大量樣本數(shù)量的ITS和OTS訓(xùn)練集有較好的數(shù)據(jù)擬合能力，因此對與訓(xùn)練樣本數(shù)據(jù)分布相同的合成數(shù)據(jù)去霧效果較好，故在測試集SOTS上取得了較高的指標(biāo)。但過深的網(wǎng)絡(luò)結(jié)構(gòu)往往會造成過擬合現(xiàn)象，使其對數(shù)據(jù)分布不同的合成數(shù)據(jù)集Middlebury以及真實(shí)有霧圖像的去霧效果一般，故整體而言所提方法略優(yōu)于FFA-Net方法。在I-HAZE數(shù)據(jù)集上，MSBDN方法的值略高于本文方法，由于I-HAZE數(shù)據(jù)集樣本數(shù)量較少，網(wǎng)絡(luò)模型訓(xùn)練難度較大，故在該數(shù)據(jù)集上指標(biāo)普遍較低。相比之下，MSBDN方法基于boosting和誤差反饋的體系結(jié)構(gòu)對該數(shù)據(jù)集更為有效，但對于除I-HAZE數(shù)據(jù)集外，本文方法在其他數(shù)據(jù)集上及真實(shí)有霧圖像上的去霧效果優(yōu)于MSBDN方法。故客觀指標(biāo)進(jìn)一步驗(yàn)證了所提方法的有效性。

表2 各算法的PSNR和SSIM指標(biāo)對比

4.3.2 基于真實(shí)圖像與已有去霧方法實(shí)驗(yàn)對比與分析

為驗(yàn)證本文方法對真實(shí)有霧圖像的有效性，圖9展示了所提方法與上述代表性去霧方法的對比結(jié)果(注：由于真實(shí)圖像沒有Ground Truth，故只能進(jìn)行定性分析)。從圖9可以看出，DCP方法的去霧結(jié)果中存在顏色失真的情況，尤其在圖9(b)中第1行圖像及第3行圖像的天空區(qū)域最為明顯。De-HazeNet方法去霧不徹底，圖9(c)中第2行圖像路面以及第3行圖像的天安門區(qū)域最為明顯。AOD-Net方法的去霧結(jié)果存在細(xì)節(jié)丟失的問題，圖9(d)中第1行圖像和第3行圖像整體亮度較暗，細(xì)節(jié)不明顯。GridDehazeNet方法的去霧結(jié)果部分區(qū)域存在偏色現(xiàn)象，如圖9(e)中第3行圖像的天空區(qū)域。FFA-Net方法去霧不徹底且細(xì)節(jié)模糊，圖9(f)中第2行圖像的垃圾桶明顯丟失細(xì)節(jié)信息以及樹枝部分有大量霧的殘留，第3行圖像天安門以及天空區(qū)域顏色偏暗，有大量的霧沒有去除。MSBDN方法對于景深較大的地方去霧效果較差，如圖9(g)中第1行圖像遠(yuǎn)方的天空區(qū)域和右上角的塔樓以及第2行圖像景深較大處的樹枝都存在大量霧的殘留，第3行圖像由于過度去霧導(dǎo)致整體顏色偏暗，對比度降低，細(xì)節(jié)不明顯。本文所提方法的去霧圖像清晰自然且細(xì)節(jié)信息保存良好，能夠基本保持圖像整體較好的視覺效果。由此驗(yàn)證了本文方法對真實(shí)圖像去霧的有效性。

圖9 本文方法與已有方法在真實(shí)圖像上的比較

4.4 方法運(yùn)行時(shí)間及參數(shù)量分析

為對所提方法的運(yùn)行時(shí)間和參數(shù)量進(jìn)行分析，本文選擇與去霧效果較好的3個(gè)現(xiàn)有代表性去霧方法進(jìn)行了對比。運(yùn)行時(shí)間是指在包含500幅620×460有霧圖像的SOTS(Indoor)數(shù)據(jù)集上進(jìn)行圖像去霧的平均時(shí)間。為便于進(jìn)行對比實(shí)驗(yàn)，我們使用GridDehazeNet[16], FFA-Net[18]以及MSBDN[25]所公布的源碼對各方法進(jìn)行復(fù)現(xiàn)，并在相同的實(shí)驗(yàn)環(huán)境下運(yùn)行，對比結(jié)果如表3所示。由表3可知所提方法對單幅圖像進(jìn)行去霧需要約0.22 s，在所有對比方法中排第2位，模型參數(shù)量為4.89 M，在所有對比方法中排第3位。由于本文方法在去霧過程中不僅需要圖像去霧還需進(jìn)行細(xì)節(jié)恢復(fù)，故運(yùn)行時(shí)間略長于MSBDN方法，但參數(shù)量低于MSBDN，而Grid-DehazeNet及FFA-Net方法雖有較少的參數(shù)量但運(yùn)行時(shí)間較長，即本文方法較為綜合，整體性能略優(yōu)于3種對比方法。

表3 不同算法的運(yùn)行時(shí)間和參數(shù)量對比

5 結(jié)論

本文提出一種基于多尺度特征結(jié)合細(xì)節(jié)恢復(fù)的單幅圖像去霧方法。所提方法的貢獻(xiàn)主要體現(xiàn)在3個(gè)方面：(1) 提出多尺度特征提取模塊及多尺度特征融合模塊，使用不同膨脹率的并行平滑擴(kuò)張卷積獲得多尺度特征，并應(yīng)用殘差塊和雙重注意力機(jī)制對提取到的多尺度特征進(jìn)行非線性加權(quán)融合，實(shí)現(xiàn)更好的特征提取和利用，從而達(dá)到較好的去霧效果；(2)基于所提出多尺度特征提取模塊及多尺度特征融合模塊，設(shè)計(jì)了去霧網(wǎng)絡(luò)以解決單幅圖像去霧問題，該網(wǎng)絡(luò)可以對圖像中霧特征進(jìn)行深層次的提取，從而保證對有霧圖像中霧的初步去除；(3) 將細(xì)節(jié)恢復(fù)融入到圖像去霧問題中，構(gòu)建了細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)用于提取細(xì)節(jié)信息，并將細(xì)節(jié)信息融入初步去霧圖像，在對單幅圖像進(jìn)行有效去霧的同時(shí)，更好地保留了圖像中的細(xì)節(jié)信息，該思路是一種有益的嘗試。實(shí)驗(yàn)結(jié)果表明，所提方法實(shí)現(xiàn)了對霧的有效去除，且細(xì)節(jié)信息得到優(yōu)化，視覺效果真實(shí)自然。