道路交通模糊圖像多尺度清晰化復(fù)原方法研究

吳 蘭，范晉卿，文成林

（1.河南工業(yè)大學(xué) 電氣工程學(xué)院，河南 鄭州 450001；2.廣東石油化工學(xué)院 自動(dòng)化學(xué)院，廣東 茂名 525000）

0 引 言

近些年科技的不斷發(fā)展使人們逐步進(jìn)入智能化時(shí)代，智慧交通的出現(xiàn)為城市發(fā)展增添了新的活力，然而智慧交通中道路交通監(jiān)控圖像由于成像距離、成像設(shè)備分辨率、相機(jī)抖動(dòng)等因素的影響，圖像在獲取的過程往往發(fā)生退化，也就導(dǎo)致圖像模糊的發(fā)生。其中最常見的當(dāng)屬運(yùn)動(dòng)模糊，嚴(yán)重限制了交通成像和交通監(jiān)控等領(lǐng)域的發(fā)展，這給道路交通管理帶來極大不便，因此對道路交通模糊圖像進(jìn)行復(fù)原顯得格外重要。

日常生活中模糊圖像的模糊核往往是未知的，只能基于退化圖像的一些先驗(yàn)信息，使用數(shù)學(xué)模型對原始圖像進(jìn)行最優(yōu)估計(jì)，這種復(fù)原方法稱為盲復(fù)原。文獻(xiàn)[4]基于Hough 變換原理估計(jì)離焦模糊圖像的模糊核半徑的方法，能夠有效應(yīng)用在圖像復(fù)原的參數(shù)估計(jì)中，然而該方法僅在信噪比低的圖像中能得到理想效果。文獻(xiàn)[5]提出了一種借助強(qiáng)大的TV?L1 模型即可同時(shí)估計(jì)物體運(yùn)動(dòng)光流場和模糊核，但是內(nèi)容相對不豐富的圖像復(fù)原效果往往不好。文獻(xiàn)[6]基于交替最大后驗(yàn)（Maximum A Posteriori，MAP）估計(jì)框架下，利用低秩先驗(yàn)約束對模糊圖像分步迭代進(jìn)行盲去卷積，但是該方法步驟繁瑣復(fù)雜且模糊核的估計(jì)往往不穩(wěn)定。

近些年，深度學(xué)習(xí)因較強(qiáng)的學(xué)習(xí)和適應(yīng)能力得到了較好的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)開始逐漸應(yīng)用于圖像處理領(lǐng)域，使圖像復(fù)原的過程和結(jié)果得到了較大突破。文獻(xiàn)[7]提出一種能夠有效提取清晰圖像強(qiáng)邊緣的卷積神經(jīng)網(wǎng)絡(luò)，該模型包括抑制多余細(xì)節(jié)和增強(qiáng)恢復(fù)圖像邊緣兩個(gè)階段，能夠快速高效地進(jìn)行圖像復(fù)原，但局限于均勻模糊圖像。文獻(xiàn)[8]提出DeblurGAN 的去模糊網(wǎng)絡(luò)，使用生成對抗的思想并結(jié)合多重?fù)p失函數(shù)的端到端學(xué)習(xí)法，去除圖像上因?yàn)槲矬w運(yùn)動(dòng)而產(chǎn)生的模糊，由于結(jié)構(gòu)簡單，因此對于尺度較大的模糊圖像復(fù)原細(xì)節(jié)較平滑。文獻(xiàn)[9]采用尺度循環(huán)網(wǎng)絡(luò)SRN 去模糊的思路，由粗到細(xì)設(shè)計(jì)不同分辨率的模型結(jié)構(gòu)，該方法在非均勻的模糊數(shù)據(jù)集上有較好的復(fù)原結(jié)果，然而整體邊緣復(fù)原效果往往不夠理想。

目前，使用深度學(xué)習(xí)思想處理道路交通場景下的模糊圖像相對較少，但該領(lǐng)域?qū)χ腔劢煌ǖ陌l(fā)展意義重大?；诰矸e神經(jīng)網(wǎng)絡(luò)淺層特征包含豐富的空間信息，深層特征包含豐富的語義信息，本文根據(jù)ResNet 的階段性特征圖譜搭建特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN），充分利用多尺度的特征映射，通過對特征金字塔的融合，提出了基于特征金字塔的道路交通模糊圖像盲復(fù)原方法，并引入多尺度結(jié)構(gòu)相似性損失函數(shù)作為生成器網(wǎng)絡(luò)的約束項(xiàng)，進(jìn)而穩(wěn)定得到高質(zhì)量的道路交通圖像輸出。

1 相關(guān)理論

1.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的基本網(wǎng)絡(luò)模型如圖1 所示，主要由生成模型和判別模型共同組成，剛一出現(xiàn)就在計(jì)算機(jī)視覺領(lǐng)域展現(xiàn)出強(qiáng)大的圖像處理能力。生成器不斷學(xué)習(xí)真實(shí)清晰圖像的數(shù)據(jù)分布，負(fù)責(zé)將模糊圖像生成相對清晰的圖像()，判別器則判別送進(jìn)來的圖片是真實(shí)圖片還是生成器生成的虛假圖片，兩個(gè)模型相互博弈共同學(xué)習(xí)，最終生成器的欺騙能力和判別器的鑒別能力都很強(qiáng)，此時(shí)達(dá)到平衡狀態(tài)。

圖1 生成對抗網(wǎng)絡(luò)的基本模型

生成對抗網(wǎng)絡(luò)在圖像盲去模糊中，通常目標(biāo)函數(shù)為：

式中：為生成器；為判別器；表示期望；~表示清晰圖像取自清晰圖像數(shù)據(jù)集；~表示模糊圖像取自模糊圖像數(shù)據(jù)集。在固定生成器訓(xùn)練判別器時(shí)盡量最大化目標(biāo)函數(shù)，固定判別器訓(xùn)練生成器時(shí)盡量最小化目標(biāo)函數(shù)。

1.2 特征金字塔網(wǎng)絡(luò)原理

利用網(wǎng)絡(luò)對圖片信息進(jìn)行特征提取時(shí)，金字塔結(jié)構(gòu)中不同次數(shù)的卷積處理就可以得到不同的特征層信息，圖2 展示了不同類型的FPN 結(jié)構(gòu)對比。

圖2 三種不同的多維度特征組合方法

1）只用單一維度的圖片作為輸入，然后經(jīng)CNN 模型處理后，僅采用網(wǎng)絡(luò)的最后一層特征圖作為最終的特征集。優(yōu)點(diǎn)是計(jì)算簡單，然而對圖像中小物體細(xì)節(jié)信息檢測的性能不是很好。

2）用單一維度的圖片作為輸入，針對目標(biāo)需要從上到下將這些不同層次的特征簡單合并起來用于最終的特征組合輸出。然而讓不同深度的特征圖去學(xué)習(xí)同樣的語義信息，往往沒有用到足夠低層的特征，因此獲得的特征都是一些弱特征，魯棒性較差。

3）輸入一張模糊圖像，基于先特征提取后特征上采樣，最終進(jìn)行特征融合的策略。根據(jù)不同尺度圖像中底層特征具有高分辨率，高層特征具有多語義信息，改變網(wǎng)絡(luò)的特征提取和融合策略，大幅度提升了模糊圖片整體和細(xì)節(jié)的復(fù)原性能。

本文使用方法3）進(jìn)行模糊圖像清晰化復(fù)原。自上而下的過程是對更抽象、語義更強(qiáng)的高層特征圖進(jìn)行上采樣，然后與自底向上具有相同尺寸的特征圖橫向連接操作，進(jìn)而保證每一層預(yù)測的結(jié)果充分融合了高分辨率和強(qiáng)語義的特征，更加有利于圖像清晰化復(fù)原。

2 網(wǎng)絡(luò)模型

針對圖像盲復(fù)原問題，基于生成對抗網(wǎng)絡(luò)的思想，提出多尺度和多特征融合的特征金字塔去模糊方法，并且設(shè)計(jì)了多尺度鑒別器，整體的道路交通模糊圖像盲復(fù)原網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。通過對多尺度特征金字塔生成器模塊和多尺度判別器模塊的交替訓(xùn)練，達(dá)到平衡點(diǎn)后輸入模糊圖像就可以對其進(jìn)行清晰化復(fù)原。

圖3 整體網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1 多尺度特征金字塔生成器

多尺度特征金字塔構(gòu)成的生成器網(wǎng)絡(luò)如圖4所示，分為特征提取和特征融合兩個(gè)部分。使用ResNet?101模型對模糊圖像進(jìn)行多尺度特征提取，在網(wǎng)絡(luò)前向傳播計(jì)算過程中，圖像依次經(jīng)過ResNet?101 網(wǎng)絡(luò)的Conv1_x，Conv2_x，Conv3_x，Conv4_x，Conv5_x 到達(dá)頂層，分別將不同等級的特征層記為，，，，，直接將作為特征金字塔的最上層，然后通過自上往下的方式進(jìn)行上采樣操作，每層上采樣后分別與卷積層中，，相同尺寸的特征圖進(jìn)行融合，融合后的特征層記為，，，由于層的空間維度較高，為了不影響網(wǎng)絡(luò)的搭建效率，故上采樣過程中不使用該層。

圖4 特征金字塔生成器網(wǎng)絡(luò)結(jié)構(gòu)

自下而上的路徑是由不同尺寸的殘差結(jié)構(gòu)組成的模塊，負(fù)責(zé)對圖像進(jìn)行特征提取。自上而下的路徑將強(qiáng)語義信息的抽象特征和低層細(xì)節(jié)特征融合，通過將高層特征映射圖2 倍上采樣還原成與自下而上支路特征映射圖對應(yīng)的分辨率，并與其逐像素點(diǎn)相加，使得特征金字塔的每個(gè)特征層的輸出都融合了不同尺度、不同語義強(qiáng)度的特征。這里1×1 的卷積核的主要作用是減少了Feature Map 的個(gè)數(shù)，并不改變其尺寸的大小。在特征金字塔提取的每個(gè)特征圖后都附加一個(gè)3×3 的卷積以模擬抗混疊濾波器，使網(wǎng)絡(luò)在訓(xùn)練中自適應(yīng)地消除上采樣帶來的混疊效應(yīng)影響。

特征提取后需要將5 個(gè)不同尺度的特征進(jìn)行最終整合。首先將經(jīng)過3×3 卷積后的，，，分別進(jìn)行不同倍數(shù)的上采樣，然后將相同分辨率的特征進(jìn)行逐個(gè)元素相加、連接、合并得到，合并后的特征再次進(jìn)行2 倍上采樣得到。同理，相同尺寸的和逐個(gè)元素相加并2 倍上采樣分別得到和。另外，在模糊圖片和預(yù)測的輸出結(jié)果間加入跳躍連接，最終使生成器模塊更加精準(zhǔn)地學(xué)習(xí)模糊和清晰圖像之間的殘差，輸入模糊圖像與殘差之和為最終的復(fù)原圖像。

2.2 多尺度判別器

多尺度判別器是基于卷積神經(jīng)網(wǎng)絡(luò)搭建的，網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。對于高度非均勻模糊圖像，尤其是包含復(fù)雜目標(biāo)運(yùn)動(dòng)的圖像，全局判別器有助于判別器集成全空間256×256 圖像上下文信息，而局部判別器對尺寸為64×64 的隨機(jī)補(bǔ)丁進(jìn)行操作，有助于判別器集成重要細(xì)節(jié)紋理的信息。另外，對原始清晰圖像和生成器生成的圖像分別進(jìn)行2 倍和4 倍的下采樣，訓(xùn)練兩個(gè)多尺度判別器和，分別在128×128 和64×64 多個(gè)尺度上進(jìn)行判別，更加嚴(yán)格地區(qū)分真實(shí)圖像和生成圖像，以幫助生成器提升性能，使復(fù)雜的模糊圖像也能更加接近真實(shí)的復(fù)原。

圖5 多尺度判別器網(wǎng)絡(luò)結(jié)構(gòu)

全局判別器是由6 個(gè)卷積塊和1 個(gè)全連接層共同組成，中間4 個(gè)卷積塊分別由卷積層、InstanceNorm 層和斜率為0.2 的LeakyReLU 激活函數(shù)組成，將整體圖像壓縮為256×256作為輸入，以1 024維向量作為輸出，使用5×5大小的卷積核，步長設(shè)置為2 來降低圖像的分辨率。多尺度判別器和局部判別器的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置和全局判別器比較相似，對128×128 的圖像對進(jìn)行鑒別，因此使用5 個(gè)卷積層，和都是對64×64 的圖像對進(jìn)行鑒別，因此判別器網(wǎng)絡(luò)結(jié)構(gòu)相同，且卷積層的數(shù)量相應(yīng)減少一層。全局判別器、多尺度判別器和局部判別器中網(wǎng)絡(luò)細(xì)節(jié)參數(shù)如表1~表3 所示。

表1 全局判別器DG 參數(shù)

表2 多尺度判別器DM1 參數(shù)

表3 多尺度判別器DM2 和局部判別器DL 參數(shù)

最終，將整體、局部圖像以及不同分辨率下判別器的輸出連在一起，即可得到2 048 維的向量，最終經(jīng)過Sigmoid 激活函數(shù)輸出0~1 之間的一個(gè)數(shù)值，就是該圖像判別為真實(shí)圖像的概率。

2.3 損失函數(shù)

損失函數(shù)部分由對抗損失、內(nèi)容損失和多尺度結(jié)構(gòu)相似性損失組成。對抗損失部分包含全局和局部的損失，全局表示整個(gè)圖片的損失，局部則表示64×64 的局部圖片的損失。使用感知損失代替內(nèi)容損失函數(shù)，使用多尺度結(jié)構(gòu)相似性損失傾向于產(chǎn)生和原始清晰圖像相似的像素空間輸出，和表示損失函數(shù)之間的權(quán)重，總體損失函數(shù)定義如下：

1）對抗損失

對抗式網(wǎng)絡(luò)常用來生成高逼真的清晰圖像，WGAN（Wasserstein GAN）模型使用Wasserstein?1距離(,)估計(jì)Jensen?Shannon 散度。對抗損失（多尺度和局部的損失）用梯度懲罰損失計(jì)算，定義評價(jià)函數(shù)為：

式中I為生成圖片。

2）內(nèi)容損失

內(nèi)容損失主要用來衡量生成圖像和原始清晰圖像之間的距離，常使用（Mean Absolute Error，MAE）損失或者（Mean Square Error，MSE）損失。本文使用生成圖像和目標(biāo)圖像CNN 特征圖差異的正則化損失作為內(nèi)容損失的計(jì)算形式，公式為：

式中：φ為在VGG?19 網(wǎng)絡(luò)中的第個(gè)最大層數(shù)之前的第個(gè)卷積（在激活函數(shù)之后）獲得的特征圖；W 和H為特征圖的維度；為模糊圖像；和為像素的位置。

3）多尺度結(jié)構(gòu)相似性損失

原始GAN 在生成圖像時(shí)是沒有約束的，故生成器很容易失去訓(xùn)練方向，導(dǎo)致訓(xùn)練不穩(wěn)定，因此引入多尺度結(jié)構(gòu)相似性損失函數(shù)（Multi?Scale SSIM，MS?SSIM），除了綜合考慮照明度、對比度、結(jié)構(gòu)外，還額外考慮了分辨率這一主觀因素，基于SSIM 的損失函數(shù)的定義為：

計(jì)算損失函數(shù)時(shí)，其實(shí)只用計(jì)算中央像素的損失，即：

通過上述中央像素?fù)p失函數(shù)訓(xùn)練所得的卷積核，仍將應(yīng)用于圖像中的每個(gè)像素。同理，得MS?SSIM 的損失函數(shù)為：

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

本實(shí)驗(yàn)在Linux 操作系統(tǒng)下基于TensorFlow深度學(xué)習(xí)框架下實(shí)現(xiàn)，計(jì)算機(jī)硬件環(huán)境為3.9 GHz 的i7 處理器臺(tái)式機(jī)，NAVIDA GeForce RTX208TI，32 GB RAM?？紤]到樣本數(shù)據(jù)量比較小，初始學(xué)習(xí)率設(shè)為0.000 1，然后使用指數(shù)衰減法逐步減小學(xué)習(xí)率，衰減系數(shù)為0.3，使用ADAM 優(yōu)化器對損失函數(shù)進(jìn)行優(yōu)化，將batchsize 設(shè)置為1，直到網(wǎng)絡(luò)訓(xùn)練收斂為止，模型訓(xùn)練細(xì)節(jié)流程如圖6 所示。

圖6 特征金字塔圖像去模糊訓(xùn)練過程

圖像復(fù)原結(jié)果綜合使用經(jīng)典客觀評價(jià)指標(biāo)峰值信噪比（Peak Signal to Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural Similarity Index，SSIM）以及主觀評價(jià)指標(biāo)平均意見得分（Mean Opinion Score，MOS）對圖像進(jìn)行多方位評估。

1）峰值信噪比通過生成圖像和真實(shí)圖像對應(yīng)像素點(diǎn)的均方誤差（Mean Square Error，MSE）進(jìn)行圖像質(zhì)量客觀定義，其公式如下：

式中：為圖像的高度；為圖像的寬度；為每像素的比特?cái)?shù)。PSNR 數(shù)值越大表示失真越小，即圖像質(zhì)量越高。

2）結(jié)構(gòu)相似性分別從亮度、對比度和結(jié)構(gòu)信息三方面整體度量圖像的相似性，其公式如下：

式中：u表示圖像的均值；u表示圖像的均值；σ表示圖像的方差；σ表示圖像的方差；σ表示圖像和的協(xié)方差；，是用于維持穩(wěn)定的常量。SSIM 取值范圍在[0，1]之間，值越大代表生成圖像與真實(shí)圖像在結(jié)構(gòu)上相似度更高，復(fù)原效果更好。

3）本實(shí)驗(yàn)還依據(jù)人眼的直觀感知，使用平均意見得分（Mean Opinion Score，MOS）衡量圖像的質(zhì)量，基于16 個(gè)評分員來評價(jià)同一數(shù)據(jù)集不同場景下得到的復(fù)原圖像，按照5 分制定義，分值從1~5 分別代表圖像質(zhì)量非常差、差、一般、好和非常好，不同復(fù)原結(jié)果得分先求和再取平均即為最終MOS 值。

式中y表示每個(gè)評分員對圖像質(zhì)量的直觀視覺打分。

3.2 實(shí)驗(yàn)對比及分析

GoPro 數(shù)據(jù)集是經(jīng)典的模糊圖像數(shù)據(jù)集，包含車輛、行人和街景等分辨率為720×1 280 的多個(gè)場景。由于目前公開能下載到的道路交通模糊圖像數(shù)據(jù)集相對較少，為了能夠更好地訓(xùn)練網(wǎng)絡(luò)模型，從GoPro 數(shù)據(jù)集和網(wǎng)絡(luò)圖片庫中共挑選收集整理了4 500 對道路交通數(shù)據(jù)集，每對數(shù)據(jù)集都包含清晰圖像和與之對應(yīng)的模糊圖像。使用4 000 對用來訓(xùn)練，剩下的500 對用來測試，訓(xùn)練時(shí)將數(shù)據(jù)集剪裁為256×256 像素的圖像塊，測試時(shí)保持原來圖片尺寸大小不變。

為了驗(yàn)證本文方法的有效性，首先使用預(yù)訓(xùn)練的YOLO模型進(jìn)行目標(biāo)檢測，采用去模糊前后圖像中物體被檢測的概率來檢驗(yàn)去模糊效果，如圖7 所示?？梢悦黠@發(fā)現(xiàn)，經(jīng)本文處理后的圖像中被檢測到的物體明顯增多，間接證明在道路交通場景去模糊的有效性。

圖7 去模糊前后目標(biāo)檢測對比圖

為了對本文網(wǎng)絡(luò)模型進(jìn)行對比分析，使用收集的道路交通數(shù)據(jù)集與文獻(xiàn)[8?9]模型的輸出結(jié)果對比，見圖8。使用的幾種不同模糊復(fù)原方法的評價(jià)結(jié)果見表4。不同指標(biāo)均值對比柱狀圖如圖9 所示。

圖8 實(shí)驗(yàn)結(jié)果對比圖

圖9 實(shí)驗(yàn)結(jié)果不同指標(biāo)對比圖

表4 圖像質(zhì)量評價(jià)結(jié)果

結(jié)果表明，本文算法模型在道路交通數(shù)據(jù)集上的去模糊效果比文獻(xiàn)[8?9]在細(xì)節(jié)方面有較大提升，場景1 放大區(qū)域去模糊后的圖像沒有明顯偽影存在，在去除模糊的同時(shí)還保存了清晰的邊緣細(xì)節(jié)，場景2 和場景3 放大區(qū)域去模糊后明顯發(fā)現(xiàn)車牌和車標(biāo)文字內(nèi)容得到較好復(fù)原，圖像的局部細(xì)節(jié)和整體輪廓得到了較好的復(fù)原，然而其他兩種方法得到的圖像仍較為平滑。

從表4 和圖9 可以發(fā)現(xiàn)：本文方法用在3 個(gè)測試集場景下都可得到較高的評價(jià)指標(biāo)，相比于文獻(xiàn)[8?9]，PSNR 平均值分別提高了11.1%和3.8%；SSIM 平均值分別提高了15.1%和7.7%；MOS 平均值分別提高了7.4%和4.5%。穩(wěn)定的復(fù)原效果很好地解決了道路交通模糊圖像對城市智慧交通發(fā)展的影響。

4 結(jié) 語

本文以道路交通模糊圖像為研究對象，在分析傳統(tǒng)算法的缺點(diǎn)以及當(dāng)今深度學(xué)習(xí)方法不足的基礎(chǔ)上，設(shè)計(jì)了多尺度鑒別器，并加入了多尺度結(jié)構(gòu)相似性損失函數(shù)，提出了一種多尺度和多特征融合的特征金字塔網(wǎng)絡(luò)盲復(fù)原方法。實(shí)驗(yàn)結(jié)果表明，經(jīng)本文方法處理后的圖像在多項(xiàng)評價(jià)指標(biāo)上都高于近些年的主流方法，能夠較好地復(fù)原出細(xì)節(jié)和紋理清晰的高質(zhì)量圖像。未來工作的研究重點(diǎn)將集中在模型結(jié)構(gòu)的簡化設(shè)計(jì)上，確保道路交通模糊圖像高質(zhì)量復(fù)原的同時(shí)具有較高的效率。