基于FMLNet 的光學(xué)成像雨（霧）信息自主消除算法*

李廷鋒，李 涵

（1.鄭州職業(yè)技術(shù)學(xué)院，鄭州 450121；2.河南大學(xué)軟件學(xué)院，河南 開封 475000）

0 引言

隨著神舟十二號(hào)載人航天順利著陸、神舟十三號(hào)載人航天成功發(fā)射，各類珍貴的圖像信息在各大媒體頻頻出境。然而，航天發(fā)射和回收任務(wù)中，通過(guò)運(yùn)載火箭以及無(wú)人機(jī)獲取的光學(xué)圖像易受雨霧的影響導(dǎo)致成像質(zhì)量下降。在戶外條件下拍攝的光學(xué)圖像，往往會(huì)受到雨（霧）氣象的影響，從而改變圖像視場(chǎng)，阻礙或扭曲需要拍攝的內(nèi)容［1］。雨（霧）氣象使得光學(xué)成像視場(chǎng)的可見性下降，雨（霧）成像往往會(huì)丟失大量的視場(chǎng)特征及細(xì)節(jié)信息，影響計(jì)算機(jī)視覺方面如目標(biāo)檢測(cè)、目標(biāo)跟蹤和圖像識(shí)別等任務(wù)的性能。因此，雨（霧）信息消除已成為圖像處理方面的一個(gè)重要步驟，近年在光學(xué)成像、模式識(shí)別和計(jì)算機(jī)視覺等領(lǐng)域得到了廣泛關(guān)注。

近年來(lái)，針對(duì)光學(xué)成像雨（霧）消除需求，涌現(xiàn)了各種各樣的算法［2-6］，但大多都是只針對(duì)雨紋消除或除霧的，能夠同時(shí)運(yùn)用于兩種場(chǎng)景的算法還較少。例如，文獻(xiàn)［7］針對(duì)雨圖中背景誤判和雨痕殘留問題，加入網(wǎng)絡(luò)訓(xùn)練的雨線修正系數(shù)，構(gòu)建選擇卷積網(wǎng)絡(luò)，提出一種基于自適應(yīng)選擇卷積網(wǎng)絡(luò)深度學(xué)習(xí)的單幅圖像去雨算法，自適應(yīng)地選擇不同卷積核對(duì)應(yīng)維度的信息，進(jìn)一步學(xué)習(xí)、融合不同卷積核的信息，從而改進(jìn)了現(xiàn)有雨圖模型、提高了網(wǎng)絡(luò)的表達(dá)力，能夠更精確地描述圖像像素受到雨線的影響。文獻(xiàn)［8］為了能夠有效去除圖像中的雨水信息，提出了一種基于殘差塊網(wǎng)絡(luò)的海面圖像去雨算法，將兩種類型的殘差塊網(wǎng)絡(luò)相結(jié)合，用于提取有雨圖像的深層次信息，進(jìn)一步縮小圖像目標(biāo)函數(shù)噪聲值，獲得更清晰的去雨圖像。文獻(xiàn)［9］為解決傳統(tǒng)暗通道不適用于大面積天空區(qū)域、容易造成去霧圖像失真的問題，利用改進(jìn)的二維Otsu 圖像分割算法，建立暗亮通道融合模型，采用基于視覺感知的亮度/顏色補(bǔ)償模型對(duì)圖像進(jìn)行修正，提出了一種結(jié)合暗亮通道先驗(yàn)的遠(yuǎn)近景融合去霧算法，使得復(fù)原的圖像更加清晰、細(xì)節(jié)信息和結(jié)構(gòu)更加明顯，更適于人眼觀察。文獻(xiàn)［10］將深度圖作為圖像透射率的引導(dǎo)，采用殘差網(wǎng)絡(luò)學(xué)習(xí)高頻雨痕特征，引入條件生成對(duì)抗網(wǎng)絡(luò)對(duì)圖像局部細(xì)節(jié)進(jìn)行精細(xì)化修復(fù)，設(shè)計(jì)了一種基于先驗(yàn)知識(shí)的三階段單幅圖像去雨霧框架，提出了一種新型單幅圖像去雨霧方法，從而能將霧濃度各異和雨分布變化情況下的圖像恢復(fù)至細(xì)節(jié)豐富的干凈視場(chǎng)圖像。

為了能夠同時(shí)應(yīng)對(duì)圖像雨紋消除和除霧需求，本文探索了一種將特征提取、多尺度映射、局部極值以及非線性回歸處理相結(jié)合的雨（霧）信息自主消除網(wǎng)絡(luò)（FMLNet）架構(gòu)，即能進(jìn)行圖像雨紋消除又能進(jìn)行圖像去霧處理，讓圖像恢復(fù)至細(xì)節(jié)豐富的干凈場(chǎng)景圖，使圖像復(fù)原度更高、視覺效果更好。

1 光學(xué)成像中的雨（霧）信息建模

1.1 雨（霧）圖層建模

首先，構(gòu)建雨（霧）圖像模型：

式中，F(xiàn) 為光學(xué)成像的雨（霧）圖像；B 為圖像視場(chǎng)圖層；R 為雨（霧）信息圖層。

在式（1）的基礎(chǔ)上，將雨（霧）圖像視為一個(gè)雙信號(hào)分離問題，即：給定觀測(cè)值F，如何依靠圖像視場(chǎng)圖層B 和雨霧信息圖層R 的獨(dú)特特性將其分離。針對(duì)式（1）現(xiàn)有的除雨（霧）方法存在以下兩個(gè)不足：其一，圖像中R 的信息密度未必均勻，這意味著一些區(qū)域可能比其他區(qū)域擁有更密集的雨（霧）信息，從而導(dǎo)致很難用統(tǒng)一的稀疏性假設(shè)來(lái)對(duì)雨（霧）信息圖層建模。其二，在不區(qū)分雨（霧）區(qū)和非雨（霧）區(qū)的情況下，直接對(duì)式（1）采取信號(hào)分離會(huì)導(dǎo)致非雨區(qū)的過(guò)度平滑。

為了進(jìn)一步彌補(bǔ)這些不足，在式（1）的基礎(chǔ)上構(gòu)建一種廣義雨（霧）模型：

式中，I 為二進(jìn)制值，其中“1”表示雨（霧）區(qū)域，“0”表示無(wú)雨（霧）區(qū)域。

1.2 光學(xué)成像中的雨（霧）積聚

對(duì)式（2）引入與雨（霧）圖像模型捕獲區(qū)域相關(guān)的雨（霧）條紋。從光學(xué)成像的照片來(lái)看，雨（霧）圖像的形成可認(rèn)為是由不同顆粒度水滴降落軌跡積累而形成的。當(dāng)空間水滴顆粒很小且大量時(shí)，便形成了霧氣；當(dāng)光學(xué)成像空間雨滴顆粒較大時(shí)，便在圖像視場(chǎng)中呈現(xiàn)降雨氣象，再當(dāng)雨滴密集度較高時(shí)便形成大雨氣象。

光學(xué)成像空間中，當(dāng)水滴較大、雨水蓄積密集時(shí)，個(gè)別雨滴軌跡將無(wú)法清晰辨別。這種雨滴的大量積累，造成了視場(chǎng)圖像的整體遮蔽、模糊效果，其視覺效果便與霧相似。

為同時(shí)適用雨、霧氣象，基于Kosc-hmieder 模型［1］創(chuàng)建一種新的降雨（霧）模型：

式中，每一組Rt都是一層有相同方向的水滴條紋；x為圖像視場(chǎng)點(diǎn)位置；t 為水紋層數(shù)指數(shù)；s 為最大水紋紋層數(shù)；A（x）為視場(chǎng)光照情況；α 為光線透射率，即視場(chǎng)雨、霧成分。

視場(chǎng)光照情況A（x）描述了沒有散射并到達(dá)相機(jī)的光照情況。將A（x）定義為：

式中，d（x）為視場(chǎng)點(diǎn)到相機(jī)的距離；β 為大氣散射系數(shù)。

將式（4）與式（3）結(jié)合，可獲得α 與F（x）的正相關(guān)關(guān)系：

在實(shí)際遠(yuǎn)距離的光學(xué)成像中，d（x）可以是一個(gè)相對(duì)較長(zhǎng)的距離但并不能無(wú)窮大，否則將使視場(chǎng)光照傳輸A（x）非常低。相對(duì)于依賴式（5）獲得光線透射率α，采取以下規(guī)則將能夠更穩(wěn)定地估計(jì)α：

由此，基于式（3）可以生成比式（1）更能代表降雨或起霧視場(chǎng)的合成圖像，并以此來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

2 雨（霧）信息消除FMLNet 網(wǎng)絡(luò)

如圖1 所示，構(gòu)建一種將特征提?。╢eature extraction）、多尺度映射（multi-scale mapping）、局部極值（local extremum）以及非線性回歸（non-linear regression）處理相結(jié)合的圖像雨（霧）自動(dòng)消除網(wǎng)絡(luò)（FMLNet）。圖中，16 Conv3×5×5 代表3 通道大小為5×5 的16 階卷積濾波器，4 Maxout 4×1×1 代表采用四特征向量表示的前饋非線性激活函數(shù)，MaxPool 代表最大池化。

圖1 雨（霧）信息消除FMLNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 FMLNet network structure of eliminating rain（fog）information

2.1 特征提取

針對(duì)雨或霧消除問題，現(xiàn)有的方法提出了各種假設(shè)，并基于這些假設(shè)在圖像雨（霧）信息密集處提取暗通道、色相視差、顏色衰減等相關(guān)特征。雨（霧）相關(guān)特征提取其實(shí)質(zhì)相當(dāng)于用適當(dāng)?shù)臑V波器對(duì)輸入的雨（霧）圖像進(jìn)行卷積處理，然后再進(jìn)行非線性映射。受顏色通道中那些與雨（霧）相關(guān)特征信息處理的啟發(fā)，本文采用Maxout 激活函數(shù)［14］作為對(duì)圖像信息降維的非線性映射。多層感知器或CNN 神經(jīng)網(wǎng)絡(luò)通常采用一種前饋非線性Maxout 激活函數(shù)，通過(guò)對(duì)k 個(gè)仿射特征映射進(jìn)行像素最大化操作來(lái)獲得新的特征映射?；诖?，設(shè)計(jì)了FMLNet 的第1 層網(wǎng)絡(luò)：

2.2 多尺度映射

文獻(xiàn)［15］對(duì)多尺度特征去除雨（霧）的有效性進(jìn)行了有效證明，是實(shí)現(xiàn)尺度不變性的有效方法。例如，GoogLeNet［16］在初始架構(gòu)中使用了不同大小濾波器并進(jìn)行卷積處理，從而更好地解決了輸入圖像的對(duì)齊問題。鑒于這些成功的多尺度特征提取，本文在FMLNet 第2 層網(wǎng)絡(luò)采取并行卷積操作，在卷積濾波器中采取3×3、5×5 和7×7 三種尺度，其輸出模型為：

2.3 局部極值

為了實(shí)現(xiàn)空間不變性，Ilan 等人提出將復(fù)雜細(xì)胞的空間整合特性用一系列池化操作來(lái)進(jìn)行描述［17］。依據(jù)經(jīng)典CNN 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，為克服局部敏感問題，對(duì)每個(gè)像素考慮鄰域最大值，對(duì)FMLNet 的第3 層網(wǎng)絡(luò)使用了局部極值運(yùn)算處理：

式中，Ω（x）是一個(gè)以x 為中心的g3×g3鄰域，且第3 層輸出尺寸為n3=n2。

經(jīng)典CNN 網(wǎng)絡(luò)中的最大池化通常會(huì)降低特征圖譜的分辨率，此處的局部極值運(yùn)算將被密集地應(yīng)用到圖像中的每個(gè)特征圖譜像素，從而能夠在保持分辨率的同時(shí)便于圖像視場(chǎng)的恢復(fù)。

2.4 非線性回歸

Sigmoid 和ReLU 是最常用的非線性激活函數(shù)。但是，Sigmoid 存在消失梯度現(xiàn)象，致使收斂速度較慢且局部最優(yōu)值較差。為了避免這一問題，學(xué)者提出了具有稀疏表示的ReLU。然而，ReLU 是為分類問題而設(shè)計(jì)的，不完全適合圖像消除與恢復(fù)問題。特別是當(dāng)用于神經(jīng)網(wǎng)絡(luò)最后一層時(shí)，ReLU 的處理規(guī)則是針對(duì)小于0 的值進(jìn)行控制，這樣容易造成溢出。為此，如圖1 所示，本文采用一種雙邊矯正線性單元（BReLU）作為激活函數(shù)以克服上述限制。BReLU 作為一種新的線性單元，承接Sigmoid 和ReLU 特性，可以很好地兼顧雙邊約束和局部線性?；贐ReLU，將FMLNet 第4 層網(wǎng)絡(luò)設(shè)計(jì)為：

式中，W4={W4}為包含一個(gè)n3×g4×g4大小的濾波器；δ4={δ4}為偏差；tmin，max為BReLU 的邊際值，其中，tmin=0、tmax=1。

根據(jù)式（10），可以將該激活函數(shù)的梯度可表示為：

3 圖像雨（霧）信息自主消除

上一節(jié)所構(gòu)建的FMLNet 網(wǎng)絡(luò)可以理解為雨（霧）檢測(cè)和自動(dòng)訓(xùn)練的級(jí)聯(lián)，以漸進(jìn)式檢測(cè)和消除圖像視場(chǎng)中的雨（霧）信息，并能夠很好地恢復(fù)圖像視場(chǎng)的可見度。

為實(shí)現(xiàn)這一效果，該網(wǎng)絡(luò)首先檢測(cè)圖像視場(chǎng)中的雨（霧）區(qū)域，以進(jìn)一步明確雨（霧）的消除區(qū)域。然后，在不丟失圖像視場(chǎng)局部細(xì)節(jié)信息的情況下，利用更多的圖像視場(chǎng)信息以有效解決圖像的對(duì)齊問題。最后，通過(guò)局部極值和非線性回歸實(shí)現(xiàn)對(duì)雨（霧）的自主消除。

3.1 雨（霧）信息檢測(cè)與參數(shù)估計(jì)

根據(jù)式（3），對(duì)于給定的雨（霧）圖像F，其目標(biāo)是估計(jì)B、R 和I。由于參數(shù)估計(jì)問題所特有的不確定性，通常采用最大后驗(yàn)概率進(jìn)行估計(jì)：

式中，Pb（B）、Pr（R）和Pi（I）分別是對(duì)B、R 和I 的先驗(yàn)信息。其中，對(duì)于B 和R 的先驗(yàn)信息包括圖像紋理分解［12］和一些數(shù)據(jù)驅(qū)動(dòng)的相關(guān)特征信息［13］。

具體來(lái)說(shuō)，我們認(rèn)為，從非遺的行動(dòng)者到非遺的“自覺”行動(dòng)者，民俗學(xué)者可以扮演如下兩種角色，這是其他人無(wú)法替代的。

對(duì)于深度神經(jīng)網(wǎng)絡(luò)，可從大量的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)B、R 和I 的先驗(yàn)信息，并隱式嵌入到網(wǎng)絡(luò)模型中。在FMLNet 網(wǎng)絡(luò)中，利用特征提取網(wǎng)絡(luò)提取雨（霧）圖像F，根據(jù)F 來(lái)預(yù)測(cè)B、R 和I，這意味著對(duì)圖像視場(chǎng)中雨（霧）信息的檢測(cè)、估計(jì)和消除過(guò)程是一個(gè)連續(xù)的過(guò)程：I 通過(guò)對(duì)F 卷積進(jìn)行估計(jì)；R 通過(guò)圖像信息M 與I 級(jí)聯(lián)的卷積進(jìn)行預(yù)測(cè)；B 通過(guò)［F，I，R，F(xiàn)-RI］級(jí)聯(lián)的卷積進(jìn)行預(yù)。

通過(guò)計(jì)算F 與B 的差值，生成殘差圖像T（·）。循環(huán)雨（霧）檢測(cè)與去除工作如下：

式中，εt為預(yù)測(cè)誤差，且在每次迭代t 中通過(guò)更新Fi和Bt獲得。

估計(jì)過(guò)程中，雖然估計(jì)的It和Rt沒有直接被轉(zhuǎn)換到下一個(gè)遞歸過(guò)程中，但它們的正則化損失實(shí)際上為學(xué)習(xí)T（·）提供了強(qiáng)有力的側(cè)面信息。于是，可將最終的估計(jì)表示為：

式中，Γ 為總迭代次數(shù)。

3.2 FMLNet 網(wǎng)絡(luò)訓(xùn)練

用Prr（·）、Prs（·）和Pbg（·）訓(xùn)練FMLNet 網(wǎng)絡(luò)用以生成式（2）中的二進(jìn)制估計(jì)I，使用Θ 集體代表所有網(wǎng)絡(luò)的參數(shù)，生成基于輸入雨（霧）圖像F 的雨（霧）信息映射R 和背景圖像B。

FMLNet 網(wǎng)絡(luò)為式（15）中的損失函數(shù)L（Θ）引入了一個(gè)額外的時(shí)間變量t，并給出L（Θt，t），其中L（Θ0，0）=L（Θ0）。當(dāng)t＆gt;1 時(shí)，L（Θt，t）=L（Θ），L（Θ）分別用Fi，t和Θt 替換Fi和Θ，其中Fi，t由式（16）對(duì)初始Fi進(jìn)行第t 次迭代生成。于是，對(duì)于訓(xùn)練T（·）的總損失函數(shù)Liter為：

4 實(shí)驗(yàn)分析

通過(guò)與現(xiàn)有算法進(jìn)行比較，以證明本文所提算法對(duì)圖像雨（霧）信息自主消除的有效性。

在訓(xùn)練數(shù)據(jù)方面，由于缺乏大規(guī)模的數(shù)據(jù)集可用于圖像雨（霧）信息消除的訓(xùn)練及評(píng)估，從互聯(lián)網(wǎng)上收集的圖像中抽取了1 000 張，運(yùn)用式（3）模型添加不同強(qiáng)度的雨（霧）信息，生成多樣化的訓(xùn)練集。例如，圖2 為合成的降雨場(chǎng)景圖像，依據(jù)式（3）中的，設(shè)置不同的水紋層數(shù)指數(shù)，可以像圖2（b）和圖2（c）那樣合成不同密度的降雨圖像。

圖2 降雨圖像場(chǎng)景合成Fig.2 Precipitation image scene synthesis

在測(cè)試數(shù)據(jù)方面，采用光學(xué)成像數(shù)據(jù)集：一個(gè)是Li S 等收集的185 張真實(shí)世界的降雨圖像［18］，另一個(gè)是Li S 等發(fā)布的34 張降霧圖像［19］。

下頁(yè)圖3 對(duì)比顯示了FMLNet 網(wǎng)絡(luò)與經(jīng)典神經(jīng)網(wǎng)絡(luò)在降雨信息提取階段的效果，隨著非線性回歸與特征提取的結(jié)合使用，F(xiàn)MLNet 網(wǎng)絡(luò)能夠更好地提取降雨區(qū)域及相關(guān)結(jié)構(gòu)，使其與經(jīng)典神經(jīng)網(wǎng)絡(luò)具有較為明顯的應(yīng)用差異。

圖3 FMLNet 網(wǎng)絡(luò)與經(jīng)典神經(jīng)網(wǎng)絡(luò)對(duì)降雨信息提取的效果比對(duì)Fig.3 Comparison of rainfall information extraction effect between FMLNet network and classical Neural Network

將本文提出的算法與GCANet［20］、RESCAN［21］和SPANet［22］這3 種最新算法進(jìn)行比較。所有算法都使用已發(fā)表文獻(xiàn)中指定的源代碼和默認(rèn)參數(shù)。采用峰值信噪比（PSNR）和結(jié)構(gòu)相似指數(shù)測(cè)度（SSIM）來(lái)對(duì)結(jié)果進(jìn)行評(píng)價(jià)［23］。其中，PSNR 值越高，表明在雨（霧）圖像中消除雨（霧）信息的性能越好；最接近1 的SSIM 值越大，說(shuō)明原圖與雨（霧）信息消除圖像的視場(chǎng)信息保留性越高。如表1 所示，對(duì)比了不同算法針對(duì)同一圖像的雨（霧）信息消除的平均評(píng)價(jià)值。從表1 中可以看出，本文算法在所有測(cè)試數(shù)據(jù)中獲得的PSNR 和SSIM 值最大，反映了本文FMLNet 網(wǎng)絡(luò)具有較好的魯棒性和通用性。

表1 不同算法的PSNR 和SSIM 值Table 1 PSNR and SSIM values of different algorithms

除了定量指標(biāo)評(píng)價(jià)的結(jié)果外，分別對(duì)降雨圖像和降霧圖像進(jìn)行了雨（霧）信息消除的視覺觀察比對(duì)。對(duì)于不同算法的處理圖，能夠直觀地區(qū)分圖像雨（霧）消除的視覺差異。如圖4 所示，GCANet 在信息消除的圖像中留下了許多明顯的降雨條紋；RES CAN 在比較中主要顯現(xiàn)的缺點(diǎn)是使得原圖的顏色像素下降，除雨后仍有一些條紋殘留。顯然，SPANet和本文算法能夠針對(duì)不同的降雨圖像去除絕大部分雨紋。

為了評(píng)估同一算法對(duì)除霧應(yīng)用的有效性，同樣分別運(yùn)用上述GCANet、RESCAN 和SPANet 算法對(duì)降霧圖像進(jìn)行處理。下頁(yè)圖5 展示了4 組真實(shí)光學(xué)成像圖像示例，盡管GCANet、RESCAN 和SPANet 大致實(shí)現(xiàn)了除霧效果，但在不同的空間和細(xì)節(jié)中，它們都在一定程度上殘留霧的痕跡并在某種程度上加重了原圖色彩的對(duì)比度。特別是，在雨紋消除效果上本文算法相似的SPANet 算法，在除霧應(yīng)用中卻存在明顯不足。因此，通過(guò)對(duì)比可以看出，本文算法無(wú)論是在雨紋消除還是在除霧方面，對(duì)圖像視場(chǎng)細(xì)節(jié)和顏色的還原均具有較好的表現(xiàn)。

圖5 除霧效果算法比對(duì)Fig.5 Algorithm comparison of defogging effects

5 結(jié)論

本文提出了一種基于FMLNet 的光學(xué)成像雨（霧）信息自主消除算法。在傳統(tǒng)的雨（霧）關(guān)特征和雨（霧）信息消除算法的啟發(fā)下，將特征提取、多尺度映射、局部極值以及非線性回歸處理相結(jié)合，設(shè)計(jì)了一種新的雨（霧）信息自主消除網(wǎng)絡(luò)（FMLNet），使得非線性回歸以及特征提取與經(jīng)典神經(jīng)網(wǎng)絡(luò)具有明顯的不同。在網(wǎng)絡(luò)第1 層，Maxout 單元被證明與先驗(yàn)方法相似，能夠更有效地學(xué)習(xí)雨（霧）信息的相關(guān)特征。在網(wǎng)絡(luò)最后一層，嘗試了新的激活函數(shù)BReLU 來(lái)代替ReLU 或Sigmoid，從而保持了光學(xué)圖像的雙邊約束和局部線性恢復(fù)。此外，對(duì)雨（霧）圖像模型引入光線透射率，在不同的顏色通道和空間分布中具有更強(qiáng)的適應(yīng)性。通過(guò)真實(shí)圖片測(cè)試和算法比對(duì)表明，本文算法能夠滿足雨紋消除和除霧應(yīng)用需求，相比目前算法具有一定的對(duì)比優(yōu)勢(shì)。在未來(lái)研究中，將進(jìn)一步把FMLNet 網(wǎng)絡(luò)應(yīng)用到半/無(wú)監(jiān)督場(chǎng)景和其他一些低視力任務(wù)中。