一種輕量級的SSD道路裂縫檢測算法

王博，李齊，劉皎

（商洛學(xué)院電子信息與電氣工程學(xué)院/商洛市人工智能研究中心，陜西商洛 726000）

路面裂縫可能衍生出其他更為嚴(yán)重的次生病害，嚴(yán)重的可能會導(dǎo)致安全事故。因此，需要對路面裂縫進(jìn)行及時地發(fā)現(xiàn)和修復(fù)，從而防止危害進(jìn)一步擴(kuò)大。對路面裂縫進(jìn)行快速、準(zhǔn)確的檢測是路面養(yǎng)護(hù)工作中最為重要的任務(wù)之一。

在過去的幾十年里，許多研究人員一直致力于研究基于傳統(tǒng)非深度學(xué)習(xí)的傳統(tǒng)裂縫檢測方法[1-2]。這些方法主要分為五類：小波變換[3]、圖像閾值[4-5]、人工提取特征和分類[6-7]、基于邊緣檢測的方法[8]、基于最小路徑的方法[9]。這些方法在一定程度上實現(xiàn)了路面圖像中裂縫病害的識別，但仍然存在一些問題：多數(shù)算法仍然采用基于主動特征提取的方式對裂縫信息進(jìn)行提取，提取的過程相對繁瑣；現(xiàn)有大部分基于圖像處理的算法，對于不同數(shù)據(jù)源得到的圖像，普適性較低，環(huán)境因素影響裂縫識別算法的穩(wěn)定性能。

近年來，國內(nèi)外一些學(xué)者嘗試將深度學(xué)習(xí)方法應(yīng)用到裂縫檢測任務(wù)中。目前基于深度學(xué)習(xí)的主流目標(biāo)檢測方法主要以Rcnn[10]、Faster-rcnn[11]和fasterRcnn[12]為代表的two-stage目標(biāo)檢測模型和以YOLO[13]和SSD[14]系列為代表的one-stage目標(biāo)檢測模型。Zhang等[15]提出了一種相對較淺的神經(jīng)網(wǎng)絡(luò)，由四個卷積層和兩個全連通層組成，對裂縫圖像進(jìn)行分類。將深度學(xué)習(xí)的方法與基于手工特征的方法進(jìn)行比較，證明了深度學(xué)習(xí)中特征提取的優(yōu)勢。Pauly[16]將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于裂縫和非裂縫圖像的分類，同時證明了深度神經(jīng)網(wǎng)絡(luò)的優(yōu)越性。同時，提出了動態(tài)的學(xué)習(xí)方法，解決了標(biāo)簽資源有限的問題。Eisenbach等[17]提出了一種用于訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)的道路病害數(shù)據(jù)集，評估和分析了目前較為先進(jìn)的路面病害檢測方法。深度學(xué)習(xí)方法對于具體的裂縫檢測識別任務(wù)，效果明顯優(yōu)于傳統(tǒng)方法。主要存在的問題：道路裂縫數(shù)據(jù)集方面，目前已知公開的數(shù)據(jù)集數(shù)據(jù)規(guī)模較小，同時環(huán)境、背景較為簡單[18-19]；網(wǎng)絡(luò)實時性問題，由于網(wǎng)絡(luò)較深，部分識別網(wǎng)絡(luò)在滿足精度的條件下，實時性指標(biāo)達(dá)不到[20]；大規(guī)模的網(wǎng)絡(luò)模型需要大量的運算，在移動或者嵌入式設(shè)備難以被應(yīng)用[21]。因此亟需提出一種輕量級、快速、準(zhǔn)確的裂縫識別方法。

為了解決上述問題，選擇one-stage目標(biāo)檢測算法中SSD目標(biāo)檢測模型為基本網(wǎng)絡(luò)，以此為基礎(chǔ)做了三方面工作。第一，采集并建立包含5 000張原始圖片的道路裂縫檢測數(shù)據(jù)集。第二，為了解決網(wǎng)絡(luò)模型臃腫難以部署在嵌入式移動設(shè)備的弊端，將SSD網(wǎng)絡(luò)主干特征提取網(wǎng)絡(luò)改進(jìn)為輕量級MobileNet網(wǎng)絡(luò)，能夠大幅度降低模型的參數(shù)量和模型大小、同時提高了對象的檢測速度。第三，利用特征金字塔融合提取到的6個維度信息，能夠?qū)⒉煌S度信息進(jìn)行融合，如底層高分辨率和頂層高語義信息進(jìn)行融合，解決了輕量級網(wǎng)絡(luò)檢測精度低的問題。

1 道路裂縫檢測算法

1.1 SSD目標(biāo)檢測算法

SSD300采用VGG作為主干特征提取網(wǎng)絡(luò)，是一個基于回歸方法的目標(biāo)檢測算法。SSD網(wǎng)絡(luò)輸入圖像歸一化為300×300彩色裂縫圖像，以VGG為基本特征抽取網(wǎng)絡(luò)，選擇conv4-3、fc7、conv6-2、conv7-2、conv8-2、conv9-2 這六種有效特征層作為SSD回歸和分類的輸入，通過選擇六種尺度 38×38，19×19，10×10，5×5，3×3，1×1來獲取預(yù)測結(jié)果，對于每個有效特征層，分別進(jìn)行一次先驗框數(shù)量Num*4的卷積操作和一次Num*分類數(shù)目的卷積，其中4代表預(yù)測框的四個調(diào)整參數(shù)。其基本架構(gòu)如圖1所示。

圖1 SSD算法模型

1.2 改進(jìn)的道路裂縫SSD識別算法

針對SSD算法的改進(jìn)：改進(jìn)特征提取網(wǎng)絡(luò)，降低模型大小，提高速度；將特征融合思想引入到算法中，再將高層次特征和低層次特征進(jìn)一步融合，提高特征層的檢測效果；在算法訓(xùn)練過程中，使用數(shù)據(jù)增廣策略，提高訓(xùn)練過程中的訓(xùn)練數(shù)據(jù)，提高魯棒性。整體算法模型如圖2所示。

圖2 改進(jìn)的SSD算法

1.2.1 主干特征提取網(wǎng)絡(luò)改進(jìn)

SSD目標(biāo)提取網(wǎng)絡(luò)的主干特征VGG網(wǎng)絡(luò)模型較大，在檢測速度上沒有優(yōu)勢，參考MobileNet思想引入深度可分離式卷積構(gòu)建主干特征提取網(wǎng)絡(luò)，不僅可以提升SSD的檢測效果，同時也使檢測速度有了質(zhì)的提升，而且模型大小也比原本SSD小了幾倍。相比VGG算法，特征抽取網(wǎng)絡(luò)的權(quán)重僅僅只有15 M左右，加上改進(jìn)的SSD高速識別模型，在保證整體精度的同時，盡量提高算法的速度。

圖1中，將原始的SSD模型中的VGG去掉，替換為MobileNet網(wǎng)絡(luò)，去掉MobileNet后面的softmax層及全連接層，隨后添加改進(jìn)的深度可分離卷積層*4?？煞蛛x卷積，其中深度卷積與1×1卷積結(jié)合替代傳統(tǒng)的卷積方式，可以大量減少模型參數(shù)。另外為解決SSD對小目標(biāo)及遮擋等復(fù)雜環(huán)境，引入多尺度特性，將不同層的特征進(jìn)行融合，避免池化層帶來的信息丟失，從而提高網(wǎng)絡(luò)檢測精度。

主干特征提取網(wǎng)絡(luò)類似VGG包含6個有效特征層，這些特征層的shape分別利用38×38，19×19，10×10，5×5，3×3，1×1的有效特征層進(jìn)行分類預(yù)測與回歸預(yù)測。涉及到的6個有效特征層，用來構(gòu)建特征金字塔，對獲取到的每一個有效特征層，分別對其進(jìn)行一次num_priors*4的卷積、一次num_priors×num_classes的卷積、并需要計算每一個有效特征層對應(yīng)的先驗框。而num_priors指的是該特征層所擁有的先驗框數(shù)量。

主干特征提取網(wǎng)絡(luò)減少參數(shù)的關(guān)鍵在引入深度可分離卷積，是將一個標(biāo)準(zhǔn)的卷積核分成深度卷積核和1×1的點卷積核，從而達(dá)到降低參數(shù)的目的。假設(shè)輸入為M個通道的feature map，卷積核大小為Dk×Dk，輸出通道為N，那么標(biāo)準(zhǔn)卷積核即為Dk×Dk×M×N。 與標(biāo)準(zhǔn)卷積核相比計算量比率為：

以 N=512，Dk×Dk=3×3 為例，深度可分離卷積可以節(jié)省參數(shù)約為原來的1/9。

1.2.2 圖像金字塔進(jìn)行多層特征融合

傳統(tǒng)SSD方法使用圖3（a）方法，直接利用VGG提取到的六個特征層進(jìn)行預(yù)測。本文方法利用FPN特征金字塔的思路，將MobileNet提取到的6個特征層進(jìn)行特征融合。低層高分辨率和高層高語義信息層，通過融合達(dá)到不同層信息融合，從而提高檢測效果。這樣可以在各種不同特征分辨率下識別目標(biāo)，而且提取的特征構(gòu)成來源于各個層級的相互融合。

圖3 特征金子塔特征融合

融合方法如圖3（b）所示，SSD所使用的6個有效特征層每一層和下一層都是2倍的關(guān)系。其中自上向下的路徑直接采用2倍的采樣完成，橫向連接在通過1×1卷積調(diào)整通道數(shù)的基礎(chǔ)上，通過疊加操作完成特征的融合。

1.2.3 數(shù)據(jù)增強(qiáng)策略

數(shù)據(jù)增強(qiáng)增加了樣本的個數(shù)，使得模型訓(xùn)練過程中可以接收更多樣本的學(xué)習(xí)內(nèi)容，能夠增強(qiáng)樣本的多樣性，使結(jié)果更加接近真實目標(biāo)，讓訓(xùn)練模型更加具有魯棒性。

2 道路裂縫檢測評價指標(biāo)

評價道路裂縫檢測算法的精度主要用F1值（F1_Score）、MAP指標(biāo)表征。算法的速度使用FPS指標(biāo)表征。

準(zhǔn)確率（Precision）：表征預(yù)測正例（真正例+假正例）中，真正例所占的比例。計算公式為：

其中真正例（TP），真負(fù)例（TN），假正例（FP）和假負(fù)例（FN）。

召回率（Recall）：表征所有實際的正例中，真正例所占的比例。計算公式為：

F1值（F1_Score）：單一的用準(zhǔn)確率或者召回率，并不能完整地表征算法的準(zhǔn)確性，F(xiàn)1值用準(zhǔn)確率和召回率的調(diào)和平均來表征，是準(zhǔn)確率和召回率的綜合體現(xiàn)。計算公式為：

F1值的結(jié)果在 [0,1]，F(xiàn)1值越高表示算法具有越好的表現(xiàn)。

AP（Average precision）指標(biāo)：

式中，P代表準(zhǔn)確率，r代表recall值，實際意義表示為某種類的目標(biāo)P-R曲線的面積。AP的結(jié)果在[0,1]，AP越大表征算法效果越好。

由于實際過程中P（r）函數(shù)難以準(zhǔn)確確定，在計算過程中，將積分過程等效為求和過程。計算公式為：

式中，APEQ表示AP值的等效表達(dá)，M表示測試集中圖像數(shù)據(jù)的個數(shù)；K表示通過IOU的改變，能夠識別出的目標(biāo)的個數(shù)；P(K)表示通過IOU的改變能夠識別K個目標(biāo)時的Precision值?！鱮(k)表示能識別K個目標(biāo)時Recall值與能識別出K-1個目標(biāo)時Recall值的變化量。

MAP（均值平均精度），得到數(shù)據(jù)集中所有類精度的平均值，通常情況下MAP的計算公式：

式中，classes為識別目標(biāo)的總類別，在本文中算法中classes=3。

FPS指標(biāo)：算法的主要速度指標(biāo)。表示1 s內(nèi)識別的裂縫圖像數(shù)（幀數(shù)），F(xiàn)PS指標(biāo)越大表示單位時間內(nèi)處理速度越快，實時性更好。

3 路面裂縫檢測

路面裂縫檢測的整體流程如圖4所示，主要包括路面裂縫數(shù)據(jù)集、裂縫識別網(wǎng)絡(luò)訓(xùn)練調(diào)參等。

圖4 路面裂縫檢測的整體流程圖

3.1 數(shù)據(jù)集的準(zhǔn)備

試驗中使用的數(shù)據(jù)集為2020年采集于西安市的城市道路圖片，建立適用于道路裂縫目標(biāo)識別的VOC數(shù)據(jù)集，包括5 226張道路裂縫圖像并對其進(jìn)行標(biāo)注，同時采集過程中應(yīng)注意采集多尺度、復(fù)雜場景下的道路圖片。路面圖像數(shù)據(jù)集主要為道路檢測車拍攝的路面視頻和智能手機(jī)拍攝的路面圖像，預(yù)期通過視頻采集車圖像和人工采集集合的方式采集路面裂縫圖像。主要分成橫向裂縫、縱向裂縫、網(wǎng)狀裂縫，三種裂縫總體以1：1：1的比例出現(xiàn)。

圖5中采集完后將圖像使用labelme工具進(jìn)行標(biāo)注，輸出格式為VOC2007。以8：1：1的比例將樣本數(shù)據(jù)劃分為訓(xùn)練集、驗證集和測試集，用于路面裂縫識別模型訓(xùn)練測試。

圖5 路面裂縫數(shù)據(jù)集的建立

不同光照、天氣、標(biāo)志標(biāo)線、油污、路面修補(bǔ)等背景下，均會對裂縫的識別帶來不利的影響。傳統(tǒng)的圖像處理方法會面臨各種困難，中值濾波可能濾除微弱目標(biāo)，閾值分割的實效，不能區(qū)分目標(biāo)和干擾等。面對這個問題，在建立數(shù)據(jù)集階段，應(yīng)盡量多地囊括多種復(fù)雜背景，從而讓識別網(wǎng)絡(luò)學(xué)習(xí)到更多的特征。

3.2 模型訓(xùn)練過程

模型訓(xùn)練流程如圖6所示，圖中左邊部分主要對網(wǎng)絡(luò)模型超參數(shù)的設(shè)定，圖中右邊部分為模型訓(xùn)練過程，首先通過預(yù)測值與真實值比較得到loss，判斷訓(xùn)練次數(shù)，當(dāng)次數(shù)小于設(shè)定的次數(shù)，再根據(jù)loss反向傳播更新模型參數(shù)。其中i表示當(dāng)前訓(xùn)練次數(shù)，Imax表示設(shè)置的最大訓(xùn)練次數(shù)。

圖6 模型訓(xùn)練流程

3.3 訓(xùn)練過程中超參數(shù)調(diào)整

訓(xùn)練的裂縫圖像統(tǒng)一重設(shè)大小為300×300的像素，訓(xùn)練平臺采用windows10操作系統(tǒng)，搭載12 G內(nèi)存，E5CPU，搭配4G顯卡。訓(xùn)練過程采用遷移學(xué)習(xí)策略，在MobileNet預(yù)訓(xùn)練權(quán)重的基礎(chǔ)上，冰凍其MobileNet部分，對SSD和特征金字塔部分進(jìn)行訓(xùn)練50輪，50輪后解凍MobileNet部分，降低 lr（學(xué)習(xí)率）=1×10-5對整體進(jìn)行微調(diào)。訓(xùn)練過程中解凍前l(fā)r=1×10-3，解凍后lr=5×10-5，動量系數(shù)α設(shè)置為0.9。整個訓(xùn)練過程持續(xù)100輪，其中l(wèi)r通過回調(diào)函數(shù)，當(dāng)3輪loss不出現(xiàn)下降的時候動態(tài)調(diào)整學(xué)習(xí)率為當(dāng)前的一半。

3.4 試驗結(jié)果與分析

試驗過程中抽取10%作為測試集，圖片總數(shù)為522張。測試集的相關(guān)情況如表1所示。從表1可見，本文算法中針對三種裂縫的TP數(shù)目均高于YOLOV3和SSD方法。

表1 檢測目標(biāo)數(shù)目對比

表1中對道路裂縫數(shù)據(jù)集，分別使用YOLO V3、SSD和本文算法進(jìn)行分析，三種裂縫不同類型的真正例統(tǒng)計結(jié)果，從表1可見，橫向裂縫檢測出184個真正例，比YOLO V3和SSD分別多出7個真正例和8個真正例。在縱向裂縫和網(wǎng)狀裂縫及檢測真正例總數(shù)上均高于YOLO V3和SSD方法，可以初步判斷本文算法優(yōu)于YOLO V3和SSD算法。

表2和圖7表示了三種裂縫中準(zhǔn)確率和召回率的比較，從表2中可以看出，本文算法的準(zhǔn)確率略低于YOLO V3算法，與SSD算法基本類似。本文算法的縱向裂縫和網(wǎng)狀裂縫的召回率表現(xiàn)均高于YOLO V3算法和SSD算法。圖7中展示了三種不同算法對應(yīng)的P-R曲線，縱坐標(biāo)P（準(zhǔn)確率），坐標(biāo)R（召回率）。通過面積可以得出不同算法的F1值。

表2 三種裂縫準(zhǔn)確率/召回率比較

圖7 F1—score圖

表3表示三種裂縫的AP和各個類別的AP值，結(jié)果反映本文算法的MAP為91.29，比SSD算法提高2.05%，比YOLO V3算法提高8.16%。各個分項類別中本文算法在縱向裂縫和網(wǎng)狀裂縫AP值均高于其它兩種算法，在橫向裂縫中略低于YOLO V3算法。本文算法的FPS為38.1比YOLO V3算法和SSD算法分別提高1.1倍和1.88倍。

表3 三種裂縫AP、FPS比較

由圖8可以看出，圖中黑色區(qū)域為先驗框、虛線部分為預(yù)測框。從結(jié)果上看，檢測準(zhǔn)確率較高，同時與標(biāo)簽的IOU也較大，能夠有檢測不同類型的裂縫。

圖8 道路裂縫檢測效果

4 結(jié)論

本文提出一種改進(jìn)的輕量級SSD道路裂縫目標(biāo)檢測算法。通過將SSD中骨干特征網(wǎng)絡(luò)，改進(jìn)為輕量級的mobileNet網(wǎng)絡(luò)，可以降低網(wǎng)絡(luò)參數(shù)量和模型大小，從而更快地對圖像裂縫進(jìn)行識別，試驗結(jié)果表明，改進(jìn)算法FPS為38.1，比YOLO V3算法和SSD算法分別提高1.1倍和1.88倍，檢測單張圖片時間為0.026 s，大幅度提高了檢測速度。在SSD算法中使用金字塔結(jié)構(gòu)進(jìn)行特征融合，將底層高語義信息和高層高分辨率信息進(jìn)行融合，能夠保證在模型減小的情況下檢測精度不會下降，甚至略有提高。試驗表明，本文算法的MAP為91.29，比SSD算法提高2.05%，比YOLO V3算法提高8.16%。

在此基礎(chǔ)上還需要進(jìn)一步擴(kuò)充數(shù)據(jù)集，在已經(jīng)建立好了數(shù)據(jù)集基礎(chǔ)上進(jìn)一步加大數(shù)據(jù)集樣本數(shù)量；對道路裂縫分割方法進(jìn)行進(jìn)一步研究，同時可以建立道路裂縫分割數(shù)據(jù)集；嘗試將VIT應(yīng)用到道路裂縫檢測領(lǐng)域，以便更能獲得更優(yōu)的參數(shù)指標(biāo)。