基于對抗生成網(wǎng)絡的瀝青路面紋理圖像修復方法

鄧海斌 魏唐中 杜銀飛

(湖州市公路與運輸管理中心1) 湖州 313000) (南京興佑交通科技有限公司2) 南京 210008) (中南大學土木工程學院3) 長沙 410083)

0 引 言

瀝青路面性能檢測是維持道路服役性能、保證行車安全的重要手段[1].傳統(tǒng)的人工巡查的方式較為主觀，人力成本高，逐步被數(shù)字化技術所替代[2].隨著傳感技術的發(fā)展，攝像頭、激光雷達、探地雷達等感知裝備被應用于道路檢測中.其中，圖像數(shù)據(jù)由于其低成本、輕便化的特點，得到了最為廣泛的應用[3].

隨著人工智能技術的發(fā)展，卷積神經(jīng)網(wǎng)絡(convolutional neural network，CNN)在圖像處理問題中得到了廣泛應用.許多學者采用目標識別算法進行道路病害自動識別，包括裂縫、坑槽、網(wǎng)裂等[4-7].在此基礎上，為了更精細地獲得路面病害如寬度、面積等信息，對病害進行語義分割也成了研究熱點[8-10].為了對瀝青路面進行更細致地觀察，通過調(diào)整攝像頭角度和清晰度，可獲取到路面集料形態(tài)清晰的路面紋理圖像，并嘗試通過解析路面紋理圖像來分析路面的表觀構造特性.Du等[11]利用路面紋理圖像，構建基于領域學習的深度神經(jīng)網(wǎng)絡，預估路面的抗滑性能.

在圖像處理中，圖像數(shù)據(jù)質(zhì)量是關鍵的影響因素之一.然而在獲取過程中，感知裝備往往會受到設備質(zhì)量、設備調(diào)試、拍攝距離和運動速度等諸多因素的干擾，導致路面紋理圖像的分辨率不夠或圖像模糊[12].

圖像分辨率不足主要是受制于成像設備的硬件條件.Dong等[13]將CNN與圖像超分辨率(super resolution，SR)融合，提出了SRCNN網(wǎng)絡模型.Kim等[14]提出基于殘差網(wǎng)絡的超分辨率重建深度網(wǎng)絡(VDSR)和循環(huán)超分辨率神經(jīng)網(wǎng)絡模型(DRCN)，重點關注和學習低分辨率圖像與高分辨率圖像差異較大的高頻細節(jié)信息，而無需過多學習相似度較高的低頻信息.Lim等[15]提出了EDSR模型，降低了模型計算資源的消耗.生成對抗網(wǎng)絡(generative adversarial networks，GAN)創(chuàng)新的生成器與判別器相互學習和對抗的方式提升了模型的性能.Ledig 等[16]提出的SRGAN模型首次將GAN應用到了圖像超分辨率重建的問題中，并取得了較好的效果.丁明航[17]設計了基于注意力機制的GAN超分辨率重建方法，可用于路面裂縫圖像清晰化的處理，提高了路面裂縫的識別精度.目前的超分辨率算法在紋理細節(jié)上仍不夠真實自然，且比較適用于有清晰輪廓和邊界的圖片.

圖像模糊問題分為對焦模糊和運動模糊.對焦模糊主要是由焦距調(diào)試不到位或是拍攝環(huán)境改變導致的對焦不準而引起的.運動模糊是指由拍攝設備與場景的相對運動造成的光學介質(zhì)與目標場景的相對運動，產(chǎn)生圖像偏移，導致圖像模糊.運動圖像修復包括了非盲運動圖像修復和盲運動圖像修復.非盲運動圖像修復是原始圖像已知，模糊核可以通過參數(shù)估計計算得到；盲運動圖像修復是模糊核和原始圖像都是未知的[18].盲運動圖像修復難度更大，但是應用則更為廣泛，在視頻動態(tài)監(jiān)控[19]、車載圖像采集等場景中較為普遍.盲運動圖像修復的研究包括基于模糊核估計和基于深度學習網(wǎng)絡.Rav等[20]提出多方向模糊核的多幅盲運動圖像修復方法，該方法僅局限于模糊核為勻速直線運動的情況，不適用于復雜運動情況.Chun等[21]采用交替迭代的方法同時將圖像進行框架變換，利用框架的冗余性導致的魯棒性，使得該算法能夠更好地控制多幅運動模糊圖像之間的配準誤差.在深度學習方面，樊晶華[22]采用基于條件的GAN進行多種模糊情況的圖像復原.王曉紅等[23]采用卷積神經(jīng)網(wǎng)絡獲得模糊圖像的高維特征，利用深度強化學習結合多種CNN去模糊工具建立去模糊框架.

上述研究中的圖像大部分是具有清晰輪廓的物體，但路面紋理圖像的輪廓無序且復雜，目前尚未有研究對其特點提出針對性的圖像修復方法.文中針對路面紋理圖像分辨率低、成像模糊等問題，構建了面向路面紋理的基于GAN的圖像修復模型.采集了3 456張路面紋理圖像，對原圖像進行處理，構建了低分辨率、高斯模糊和運動模糊的數(shù)據(jù)集，并分別設計網(wǎng)絡結構.為了更好地還原路面紋理的細節(jié)特征，在生成器損失函數(shù)中，加入基于紋理特征的損失項，通過圖像質(zhì)量還原評價指標衡量對抗生成模型的效果.

1 數(shù)據(jù)集構建

1.1 路面紋理圖像數(shù)據(jù)獲取

在構建訓練數(shù)據(jù)集時，在原圖像的基礎上加上擾動因子來模擬有質(zhì)量問題的圖像.為了采集高質(zhì)量的原數(shù)據(jù)，本文采用攝像機在靜止情況下獲取圖像數(shù)據(jù).因為鏡頭角度、拍攝距離等原因，圖像會出現(xiàn)輕微的傾斜、變形.因此需要對圖像數(shù)據(jù)進行圖像矯正、分辨率統(tǒng)一、圖像分割、灰度均衡化等操作.在路面框選出300 mm×300 mm的區(qū)域，并標記上控制點，采用透視變換，利用式(1)的變換公式，實行對圖像畸形校正.

(1)

式中：(u,v)為原始圖像像素坐標；(x=x′/w′，y=y′/w′)；為變換之后的圖像像素坐標aij，為矩陣系數(shù).文中選擇1 mm內(nèi)10個像素點的圖像精度作為后續(xù)原圖像的一個標準.通過透視變換和圖像像素點統(tǒng)一，每張圖片都能獲得3 000×3 000分辨率的路面紋理圖像.在此基礎上，可以根據(jù)數(shù)據(jù)集的要求對圖像進行分割.

由于在不同時期、不同光照和不同路面拍攝的路面的顏色和亮度有較大的差異，因此采用灰度均衡化的方式改變圖像中各像素的灰度，以增強動態(tài)范圍偏小的圖像的對比度.具體地，把原始圖像的直方圖變換為均勻分布的形式，增加了像素之間灰度值差別的動態(tài)范圍，對圖像中像素個數(shù)多的灰度值進行展寬，而對像素個數(shù)少的灰度值進行歸并，從而達到增強圖像整體對比度的效果.具體的圖像預處理流程見圖1.

圖1 圖像數(shù)據(jù)預處理流程

1.2 圖像修復問題定義

將圖像質(zhì)量問題分為三類，分別是低分辨率、對焦問題引起的失焦模糊以及運動過程中引發(fā)的運動模糊.對于圖像低分辨率的問題，直接采用下采樣進行圖像壓縮.圖像尺寸為M×N，對其進行s倍下采樣，即得到(M/s) ×(N/s)尺寸的分辨率圖像.文中的圖像壓縮的倍數(shù)s為4.

對于失焦引起的模糊，采用高斯模糊對圖像進行處理.其過程是圖像二維矩陣與正態(tài)分布做卷積，生成失焦成像效果.高斯模糊的表達式為

(2)

式中：x,y為像素點坐標；δ為標準差，文中采用δ為1的高斯模糊函數(shù)對圖像進行處理.

對于攝像頭的快速移動產(chǎn)生的動態(tài)模糊，主要影響因素是初始位置和初始速度矢量，考慮位移長度、時間間隔、角度等因素.勻速直線運動模糊核的PSF數(shù)學表達式為

(3)

勻速直線運動PSF影響因素是模糊長度標量(L)和運動軌跡與水平面夾角θ，模糊核矩陣表示物體位移矢量.圖2為對原圖像進行處理后的低分辨率、高斯模糊和運動模糊的低質(zhì)量圖片.

圖2 低質(zhì)量圖片示例

以目標區(qū)域面積25 mm×25 mm的圖像為一個樣本，通過圖像處理和切割，共有3 456張圖像作為原圖像的數(shù)據(jù)集.并通過圖像變換的方法，獲得了低分辨率、高斯模糊和運動模糊的路面紋理圖像數(shù)據(jù)各3 456張.

2 模型設計

2.1 整體框架設計

文中設計了基于對抗生成網(wǎng)絡的圖像修復神經(jīng)網(wǎng)絡框架，對抗生成網(wǎng)絡由生成器和判別器組成.生成器的輸入為低質(zhì)量的圖像數(shù)據(jù)集，輸出是生成的高質(zhì)量圖像，在訓練生成器時,將判別器的參數(shù)固定，通過計算生成的圖像和原高質(zhì)量圖像之間的損失值來優(yōu)化生成器的參數(shù)，為了能更好地讓生成器學習到路面紋理的特征，在生成器損失函數(shù)中，除了判別器評分外，還添加了感知損失值和基于灰度共生矩陣的(gray-level co-occurrence matrix，GLCM)紋理特征[24]的計算.在訓練判別器時，固定生成器的參數(shù)，訓練判別器.在得到修復的圖像后，采用綜合評價指標對修復效果進行衡量.整體框架設計見圖3.

圖3 整體框架設計

2.2 生成器網(wǎng)絡結構設計

鑒于不同低質(zhì)量圖像的大小和干擾不同，因此生成器的網(wǎng)絡結構針對不同的輸入類型，進行差異化設計.運動模糊和高斯模糊的修復采用一致的網(wǎng)絡結構，超分辨率的生成器結構略有不同.為了增加網(wǎng)絡深度，引入了殘差模塊[25]，殘差模塊由三部分組成，兩個卷積層(卷積-歸一化-激活)和一個恒等映射，即將輸入的特征在輸出層進行融合.每個殘差模塊的結構見圖4.

圖4 殘差模塊結構

模糊修復生成器的網(wǎng)絡架構是先通過卷積層進行下采樣，提取圖像特征，在通過多個殘差塊加深網(wǎng)絡深度，再通過上采樣恢復原來的圖像大小，模糊修復的生成器網(wǎng)絡結構見圖5.超分辨率生成器的輸入的長寬分別是和輸出圖像的1/4，因此網(wǎng)絡架構沒有下采樣，通過卷積層和多個殘差模塊提取圖像特征，再通過上采樣恢復原來的圖像大小，整體網(wǎng)絡架構參考SRGAN的生成器而設計的，超分辨率的生成器網(wǎng)絡結構見圖6.

圖5 模糊修復生成器的網(wǎng)絡模型

圖6 超分辨率生成器的網(wǎng)絡模型

2.3 生成器損失函數(shù)優(yōu)化

生成器損失函數(shù)中包含了對抗損失、感知損失和紋理特征損失.對抗損失是判別模型對生成的圖像評判的分值產(chǎn)生的損失，計算式為

(4)

式中：x為數(shù)據(jù)集中的輸入圖像；n為數(shù)據(jù)樣本量；G為生成器；D為判別器.

感知損失是生成圖和原圖像之間在成熟的預訓練的網(wǎng)絡架構提取的特征的損失計算，可以使生成器學習和原始圖像在深層內(nèi)容細節(jié)上的差異，有助于對圖像紋理細節(jié)的重構.文中所用的感知損失網(wǎng)絡的預訓練模型是 VGG-19，選用VGG19網(wǎng)絡中第9層的特征參數(shù)作為感知損失的計算特征，其計算公式為

(5)

式中：C、H、W分別為通道、寬和高；CjHjWj為第j層的特征圖大??；φj為第j層的特征數(shù)值.

紋理特征損失是生成圖和原圖像之間紋理特征指標計算的損失.文中利用GLCM方法提取圖像紋理的高階特征，并選擇其中最為顯著的熵和能量兩個特征.熵值(Entropy)測量了圖像紋理分布的隨機性.復雜的紋理成分傾向于產(chǎn)生高熵值，而紋理成為單調(diào)的成分則表現(xiàn)為低熵值.能量(Energy)表示了紋理分布的均勻性.基于GLCM紋理特征的損失項計算式為

(0≤i≤255,0≤j≤255)

(6)

(7)

(8)

(9)

(10)

式中：i為像素灰度值；j為鄰域的平均像素灰度值；f(i,j)為二進制數(shù)(i,j)出現(xiàn)的頻率；Pij(x)為出現(xiàn)(i,j)的概率，可以反映像素位置的灰度值和周圍像素的灰度分布的綜合特征.

優(yōu)化后的生成器損失函數(shù)表達式為

Loss_G=Loss_DG+Loss_Perceptual+

Loss_Entropy+Loss_Energy

(11)

2.4 判別器模型設計

判別器的結構均一致，判別器的輸入是圖像，真實圖像的標簽為1，生成圖像的標簽為0.網(wǎng)絡結構的設計以深度卷積神經(jīng)網(wǎng)絡設計原則為主，用步長代替池化進行下采樣，最后通過全連接層和softmax函數(shù)輸出0～1的分值，越接近1則表明圖像越接近真實圖像.判別器的網(wǎng)絡架構見圖7.

圖7 模糊修復網(wǎng)絡和超分辨率網(wǎng)絡判別器網(wǎng)絡模型

判別器的損失值即對原圖像和生成圖像的判別損失，是原圖像和生成圖像判別得分的期望差，計算式為

(12)

3 訓練與結果

3.1 模型訓練與結果

對于三類問題分別構建模型進行訓練，訓練的總步數(shù)epoch為10 000.批大小batch_size為1，采用keras框架進行訓練，優(yōu)化器采用adam，在訓練過程中保存生成器的損失值、辨別器的損失值和準確率.以超分辨率模型為例，圖8為訓練過程中各指標的變化情況.

圖8 超分辨率網(wǎng)絡模型訓練過程

由圖8可知：盡管訓練過程中存在波動，模型的判別器和生成器損失值都呈下降趨勢，不同的是生成器的損失值在訓練初期下降非?？?，然后基本趨于平緩，判別器的損失值下降較為緩慢.對于判別器的準確率，在訓練初期上升很快，并一直維持高準確率，呈逐漸收斂趨勢，由此可見判別器訓練的比生成器更好.圖9為三個模型的結果.

圖9 模型生成結果

3.2 基于圖像質(zhì)量的模型評估

引入全參考評價方法，選取峰值信噪比(peak signal to noise ratio，PSNR)和結構相似性(structural similarity， SSIM)兩個指標.PSNR衡量圖像所有像素點間直接的差異，SSIM則衡量圖像間特定的結構差異.計算公式為

(13)

(14)

(15)

式中：R(m,n)和I(m,n)為灰度值，M×N指圖像的長、寬；L為圖像能夠表示的最大灰度，L=255.C1=(k1L)2，C2=(k2L)2，k1=0.01，k2=0.03.當SSIM的計算值向1偏移時，說明圖像間相似性越來越大，而計算值向0偏移時，代表圖像間越來越不相似.為了更方便比較，將PSNR、SSIM兩指標進行賦予權重，整合成綜合評價指標I進行評價，計算公式為

(16)

文中對三類模型生成的圖像進行指標計算，與原圖像比較.對于低質(zhì)量的輸入圖像，僅計算高斯模糊和運動模糊的低質(zhì)量圖像的指標.為了驗證生成器損失中GLCM紋理特征的影響，進行消融試驗，對比損失函數(shù)中是否引入GLCM紋理特征的生成圖像質(zhì)量指標的差異.表1為生成綜合圖片質(zhì)量指標I對比結果.

表1 綜合圖片質(zhì)量指標I對比

由表1可知：高斯模糊修復模型得到的生成圖像和原圖像最接近，而運動模糊的接近程度較低，其原因是運動模糊會讓部分邊緣像素移位，增加了訓練的難度.另一方面，損失函數(shù)中增加了GLCM紋理特征的模型結果要總體優(yōu)于沒有GLCM紋理特征的，可見GLCM紋理特征的提取和對比有利于生成器學習到紋理的細節(jié)特征，有助于路面圖像的修復.

4 結 論

1) 根據(jù)問題需求，采集了3 456張路面紋理圖像，對原圖像進行處理，構造了低分辨率、高斯模糊和運動模糊的數(shù)據(jù)集，并通過對抗生成網(wǎng)絡有效地進行圖像的修復，獲取較為理想的路面紋理圖像.

2) 針對路面紋理圖像的特點，在對抗生成網(wǎng)絡中的生成器損失函數(shù)中增加了基于GLCM紋理特征的損失項，使得生成器生成的圖像能更好地重構路面紋理的細節(jié).并通過圖像質(zhì)量還原評價綜合指標驗證了含有GLCM紋理特征損失項的模型修復效果更好.

3) 文中的低質(zhì)量數(shù)據(jù)集是人工合成的，與實際情況仍有差距，后續(xù)研究將使用實際采集的低質(zhì)量圖像進行驗證.