基于生成對抗網(wǎng)絡(luò)去除車輛圖像運動模糊模型

安 祺，姜麗芬，孫華志，梁 妍，馬春梅

（天津師范大學 計算機與信息工程學院，天津 300387）

隨著云計算、大數(shù)據(jù)和物聯(lián)網(wǎng)等技術(shù)的發(fā)展，我國城市智能交通市場規(guī)模呈持續(xù)高速增長態(tài)勢，包含智能公交、電子警察、交通信號控制、卡口和交通監(jiān)控等項目，其中交通監(jiān)控是減少交通安全事故的一道重要防線.監(jiān)控圖像包含豐富的信息，是非常重要的信息來源，然而，由于車速過快或不良照明等因素，容易造成抓拍圖像出現(xiàn)模糊退化等問題，這些問題不僅嚴重影響了圖像信息的價值，也給圖像信息的進一步處理，如特征提取與分析等帶來一定困難.因此，監(jiān)控圖像的去模糊處理尤為重要.通過縮短曝光時間可以減少運動模糊，但代價是噪聲更高、景深更淺，對成像傳感器質(zhì)量要求更高，或者需要更強的照明，所以這種方法并不總是可行的，并且需要較高的成本.近些年來，隨著數(shù)值計算設(shè)備的改進，深度學習技術(shù)快速發(fā)展.卷積神經(jīng)網(wǎng)絡(luò)具有良好的容錯和自學能力，在樣本數(shù)據(jù)存在一定缺損的情況下，它可以處理圖像模糊、背景信息復(fù)雜等情況的模式識別問題.因此，在車輛識別系統(tǒng)中卷積神經(jīng)網(wǎng)絡(luò)算法具有優(yōu)勢[1].模糊圖像一般被看作由清晰圖像卷積模糊核得到：文獻[2]提出了單獨估計模糊核的方法；文獻[3]基于該方法結(jié)合貝葉斯最小均方誤差采樣算法進行反卷積，去除圖像的運動模糊；文獻[4]使用基于最大后驗估計的盲去模糊模型處理模糊車輛圖像.上述方法能夠在一定程度上去除噪聲，增強細節(jié)，有效改善運動模糊圖像的質(zhì)量，但對于未知模糊核的運動模糊圖像，它們需要進行復(fù)雜的計算來估計模糊核，從而使模型計算開銷增大，響應(yīng)時間變長，一旦模糊核估計錯誤還會影響圖像處理的質(zhì)量，出現(xiàn)振鈴偽像.文獻[5]使用一個僅由卷積層和Relu 層組成的15 層卷積神經(jīng)網(wǎng)絡(luò)來處理車牌圖像的運動模糊，但該網(wǎng)絡(luò)僅適用于處理模糊程度一般的模糊圖像，對于模糊程度比較高的圖像則顯得比較乏力.文獻[6]基于深度CNN 去噪器處理圖像的運動模糊，這種模型在處理模糊程度較高的圖像時得到的峰值信噪比較低.文獻[7]基于由粗到精的模式提出了一種尺度遞歸網(wǎng)絡(luò)，這種方法在去除圖像運動模糊方面取得了較好的效果，但是由于訓(xùn)練模型時使用的數(shù)據(jù)集不具有針對性，所以在處理車輛圖像運動模糊時效果欠佳.

本文基于生成對抗網(wǎng)絡(luò)[8]，引入多尺度遞歸網(wǎng)絡(luò)作為生成對抗網(wǎng)絡(luò)的生成器，提出一種去除圖像運動模糊的網(wǎng)絡(luò)模型.該模型在專門的車輛數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)，實驗結(jié)果顯示，去除運動模糊后的圖像比較清晰，處理后的車輛圖像峰值信噪比達到了29.52.

1 模型搭建

1.1 生成對抗網(wǎng)絡(luò)模型

模型的基本框架如圖1 所示.模糊圖像B 經(jīng)生成器G 得到生成圖像G（B），判別器D 以清晰圖像S 和生成圖像G（B）作為輸入得到一個概率值表示置信度，置信度表示生成圖像G（B）是清晰圖像S 的概率，以此來判斷生成器G 的性能優(yōu)劣.生成器G 的目標是盡量生成真實的圖像去欺騙判別器D，而判別器D 的目標是盡量把G 生成的圖像與清晰圖像區(qū)分開，當判別器D 無法區(qū)分清晰圖像S 和生成圖像G（B）時，認定此時生成器G 的性能達到最優(yōu).

圖1 生成對抗網(wǎng)絡(luò)模型框架Fig.1 Framework of genarative adversarial network

1.2 生成器模型結(jié)構(gòu)

本文生成器的模型包含3 層網(wǎng)絡(luò)結(jié)構(gòu)，由粗糙到精細.為了在保留精細級別信息的同時利用粗糙級別的信息，網(wǎng)絡(luò)采用高斯金字塔的形式，更精細級別的去模糊由較粗級別的特征輔助，由粗到精級別的網(wǎng)絡(luò)分別由不同分辨率的圖像作為輸入.生成器模型結(jié)構(gòu)如圖2 所示.

在生成器模型中，本文引入了多尺度遞歸網(wǎng)絡(luò).該網(wǎng)絡(luò)以3 個不同尺寸的模糊圖像作為輸入，輸出去模糊后的清晰圖像，每個尺寸的輸出都經(jīng)過訓(xùn)練，整個網(wǎng)絡(luò)的最終輸出是原始比例的圖像.在生成器網(wǎng)絡(luò)的3 個不同尺度結(jié)構(gòu)中，每個尺度上都產(chǎn)生該尺度對應(yīng)的清晰圖像，產(chǎn)生的清晰圖像經(jīng)過圖像上采樣與下一尺寸的模糊圖像作為輸入再次產(chǎn)生清晰圖像.在訓(xùn)練時，3 個尺寸模糊圖像的大小設(shè)置為64×64，128×128 和 256×256.

圖2 生成器模型Fig.2 Model of generator

生成器的第1 層網(wǎng)絡(luò)是最粗糙的網(wǎng)絡(luò)，第3 層網(wǎng)絡(luò)是最精細的網(wǎng)絡(luò).為了實現(xiàn)更深層的網(wǎng)絡(luò)架構(gòu)，本文使用了殘差子網(wǎng).最粗糙網(wǎng)絡(luò)的第1 層卷積層將1/4 分辨率、64 ×64 大小的輸入圖像處理為64 個特征映射.生成器每個級別的網(wǎng)絡(luò)分為7 個模塊，包括1個輸入塊、2 個編碼塊、1 個 LSTM 塊、2 個解碼塊以及1 個輸出塊.每個編碼塊都由1 個卷積層和3 個殘差模塊組成，編碼塊將輸入的特征映射下采樣為原來的1/2.解碼塊與之相對應(yīng)，每個解碼塊包括3 個殘差模塊和1 個反卷積層，反卷積層將輸入的特征映射上采樣到原來的2 倍.輸出塊將上采樣后的特征映射作為輸入生成圖像.在生成器的第1 層網(wǎng)絡(luò)運行結(jié)束時，生成最粗糙的潛在清晰圖像，第2 層和第3 層網(wǎng)絡(luò)將上一層生成的清晰圖像與下一級別尺寸的模糊圖像作為輸入，為了使上一層網(wǎng)絡(luò)的輸出圖像適應(yīng)下一層網(wǎng)絡(luò)的輸入尺寸，需要對圖像進行上采樣.

1.3 改進的殘差網(wǎng)絡(luò)模型

在殘差模塊中，本文將傳統(tǒng)殘差進行修改，在傳統(tǒng)殘差網(wǎng)絡(luò)中去掉了BN 層，每個殘差塊中包含2 個CNN 層，這樣可以擴展感受野，也可以提高網(wǎng)絡(luò)訓(xùn)練的收斂速度.改進后的殘差模型結(jié)構(gòu)如圖3 所示.

圖3 改進的殘差模型Fig.3 Improved residual block

1.4 判別器模型結(jié)構(gòu)

在生成對抗網(wǎng)絡(luò)中，生成器的參數(shù)更新不是直接來自于數(shù)據(jù)樣本，而是來自于判別器的反向傳播，因此，生成對抗網(wǎng)絡(luò)往往可以生成比其他模型更接近真實清晰圖像的樣本[8-9].本文采用生成對抗網(wǎng)絡(luò)的判別器層次結(jié)構(gòu)如表1 所示.

該判別器模型共有9 層卷積層，每一層卷積層都使用LeakyRelu 激活層，之后連接全連接層，最后經(jīng)過Sigmoid 層輸出置信度.判別器以生成器最精細網(wǎng)絡(luò)的輸出圖像與清晰圖像作為輸入，輸出的值是置信度.若置信度值大于0.5，則判定該輸入圖像為清晰圖像.

表1 判別器模型參數(shù)Tab.1 Model parameters of discriminator

1.5 損失函數(shù)

在優(yōu)化網(wǎng)絡(luò)參數(shù)時，本文采用多尺度內(nèi)容損失和對抗性損失這2 種損失函數(shù)，將2 種損失函數(shù)進行組合，訓(xùn)練模型.

由粗到精的方法希望輸出的圖像都是該尺度下清晰度最高的圖像.為了防止過擬合同時獲得更好的效果，本文使用l2范數(shù)，定義多尺度內(nèi)容損失函數(shù)為

其中：Ii、Ji分別為在尺度水平i 下模型輸出圖像和對應(yīng)的清晰圖像；ki為每個尺度的權(quán)重；Ni為Ii中需要標準化的元素數(shù)量.對抗性損失函數(shù)為

在訓(xùn)練時，生成器試圖最小化對抗損失，而判別器則試圖最大化對抗損失.結(jié)合以上2 種損失函數(shù)，總的損失函數(shù)為

其中λ為權(quán)重系數(shù)，經(jīng)過對比實驗結(jié)果，確定λ=10-4.

2 實驗

2.1 數(shù)據(jù)預(yù)處理與數(shù)據(jù)集建立

本文使用PKU-VD 公開數(shù)據(jù)集，選取其中的13 516 張帶有車輛牌照的汽車圖像，這些圖像均為由交通監(jiān)控設(shè)備采集到的清晰圖像.數(shù)據(jù)集中訓(xùn)練集占總數(shù)的80%，測試集占總數(shù)的20%.數(shù)據(jù)集部分樣本如圖4 所示.

利用Matlab 為所有圖像添加運動模糊效果來模擬汽車在運動中被拍攝時產(chǎn)生的運動模糊，具體方法為使用Matlab 的IPT 函數(shù)fspecial 對圖像進行模糊建模，

PSF=fspecial（′motion′，len，theta）fspecial 函數(shù)返回PSF，motion 為選用的濾波器，len為移動的像素個數(shù)，theta 為移動的角度.本文使用len值為9，theta 值為0，即在水平方向上對圖像進行9個像素的移動產(chǎn)生運動模糊效果.清晰圖像和添加模糊效果的圖像如圖5 所示.

圖4 數(shù)據(jù)集部分樣本Fig.4 Part of examples of datasets

圖5 原清晰圖像（左）和添加模糊效果的圖像（右）Fig.5 Ground clear image（left）and blurred image（right）

為了防止網(wǎng)絡(luò)過擬合，本文對數(shù)據(jù)集中的圖像進行了擴增，包括對圖像進行幾何翻轉(zhuǎn)，為圖像添加高斯噪聲等操作.

2.2 實驗環(huán)境及參數(shù)設(shè)置

在以上數(shù)據(jù)集上訓(xùn)練模型，模型采用深度學習框架TensorFlow，訓(xùn)練模型時使用Adam 求解器，通過實驗并結(jié)合經(jīng)驗進行參數(shù)調(diào)整，以使模型性能達到最優(yōu)，最終確定參數(shù)設(shè)置為 β1=0.9，β2=0.999，ε=10-8.模型訓(xùn)練在配備有英特爾i7CPU 以及NVIDIAGTX1080Ti GPU 的計算機上進行.

2.3 實驗結(jié)果

模型在訓(xùn)練集上訓(xùn)練2 ×105次后收斂，在測試集中測試模型效果.針對車輛圖像的去運動模糊效果如圖6 所示.由圖6 可見，去除車輛運動模糊后的圖像比較清晰，可以分辨細節(jié)內(nèi)容.另外，本文還利用該模型處理了一些其他場景的運動模糊圖像，也取得了較好的效果，如圖7 所示.

此外，本文還采用了峰值信噪比PSNR（peak signalto-noise ratio）來衡量圖像恢復(fù)的效果.峰值信噪比PSNR 表示信號最大可能功率與影響它表示精度的破壞性噪聲功率的比值.由于許多信號都有非常寬的動態(tài)范圍，PSNR 常用對數(shù)分貝單位來表示.PSNR 越高代表恢復(fù)后的圖像與原圖像相似度越高.在測試集中利用本文算法與相關(guān)文獻的去模糊算法針對峰值信噪比做了比對實驗，包括文獻[4]中的CNN-15 算法和文獻[10]中基于l0范數(shù)的去模糊方法，實驗結(jié)果如表2 所示.由表2 結(jié)果可見，本文算法的PSNR 相比CNN-15 和基于l0范數(shù)的方法獲得了一定的提升.

圖6 車輛去運動模糊效果Fig.6 Results of removing image motion blur for vehicle

圖7 其他場景去運動模糊效果Fig.7 Result of removing image motion blur on other sences

表2 不同方法的峰值信噪比結(jié)果Tab.2 PSNR results of different methods

3 結(jié)語

基于生成對抗網(wǎng)絡(luò)，使用多尺度卷積神經(jīng)網(wǎng)絡(luò)作為生成器去除車輛圖像運動模糊，實驗結(jié)果表明，處理后的圖像可以分辨細節(jié)內(nèi)容，模型處理每張模糊圖像僅需1.7 s，可以用于交通監(jiān)控圖像的處理.下一步將繼續(xù)提升模型性能，以適用于車輛或車牌的自動識別.