基于金字塔特征和級(jí)聯(lián)注意力的路面裂縫檢測(cè)*

苗翔宇 劉華軍

（南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210014）

1 引言

公路的建設(shè)極大地方便了人們的日常出行，行車(chē)安全也越來(lái)越凸顯其重要性，及時(shí)修補(bǔ)破損路面是道路管理部門(mén)的一項(xiàng)重要工作。因此，快速掌握路面狀況，并高效地實(shí)現(xiàn)自動(dòng)化裂縫檢測(cè)是亟待解決的工程實(shí)踐問(wèn)題。傳統(tǒng)的路面檢測(cè)方法是由專(zhuān)業(yè)人員人工排查，根據(jù)損毀嚴(yán)重程度進(jìn)行專(zhuān)業(yè)的評(píng)估，但是這種方式不僅工作量大，而且效率很低，檢測(cè)成本非常高。

為了更加高效地檢測(cè)路面裂紋，基于圖像處理的方法得到了廣泛的應(yīng)用，常用的傳統(tǒng)圖像處理方法主要包括閾值分割［1］、邊緣檢測(cè)［2～4］、小波變換［5～6］以及基于形態(tài)學(xué)［7］的方法。但是由于光照，陰影，背景和紋理這些因素的影響，這些檢測(cè)的結(jié)果往往不盡人意。

近年來(lái)，深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支，在各種視覺(jué)識(shí)別任務(wù)取得了良好的表現(xiàn)。深度學(xué)習(xí)通過(guò)神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)裂縫圖像的特征，不再需要人為地設(shè)計(jì)特征提取器。隨著全卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，涌現(xiàn)出一批諸如FCN［8］、U-Net［9］、Segnet［10］、FusioNet［11］、DeepCrack［12］等網(wǎng)絡(luò)結(jié)構(gòu)，可以實(shí)現(xiàn)像素級(jí)語(yǔ)義分割，能夠進(jìn)行端到端的裂縫檢測(cè)。這種像素級(jí)的分類(lèi)任務(wù)其難點(diǎn)在于如何提升分類(lèi)的精度，減少錯(cuò)誤分類(lèi)的誤差。因此，本文在金字塔特征融合的基礎(chǔ)上加入了多級(jí)注意力機(jī)制，構(gòu)建出一個(gè)新型的網(wǎng)絡(luò)結(jié)構(gòu)（Cascaded attentions Networks，CANet），能夠有效地提升裂縫圖像的識(shí)別精度，具體包含如下設(shè)計(jì)工作：

1）Layer-Attention 模塊：該模塊利用了注意力機(jī)制，可以提升裂縫像素部分的權(quán)重，幫助神經(jīng)網(wǎng)絡(luò)捕捉到裂縫的特征，提升識(shí)別精度。

2）Scale-Attention 模塊：該模塊同樣是基于注意力機(jī)制，利用主干網(wǎng)絡(luò)的不同階段的特征圖生成掩膜強(qiáng)化另一個(gè)輸出結(jié)果，進(jìn)而提升識(shí)別精度。

3）Multi View Enhance 模塊：?jiǎn)我怀叽绲木矸e不能兼顧各種尺寸的裂縫特征，本文使用了一種基于膨脹卷積的多視野融合模塊，在不同感受野下提取圖像特征，提升了網(wǎng)絡(luò)對(duì)不同尺寸裂縫特征的識(shí)別能力。

4）雙向融合網(wǎng)絡(luò)：通過(guò)從特征提取淺層到深層，以及從深層到淺層雙向融合的方法生成預(yù)測(cè)結(jié)果，同時(shí)可以近似得到每一尺度下的Lable，進(jìn)而有針對(duì)性的訓(xùn)練網(wǎng)絡(luò)，加速網(wǎng)絡(luò)收斂。

2 模型架構(gòu)

本文結(jié)合裂縫圖像的特點(diǎn)，設(shè)計(jì)了一種基于金字塔特征結(jié)構(gòu)的多尺度融合架構(gòu)，以Resnext50［13］為基本的特征提取框架，并在此基礎(chǔ)上設(shè)計(jì)了Layer-Attention 模塊（LA），Scale-Attention 模塊（SA）以及Multi Vision Enhancement模塊（MVE），形成一種新型級(jí)聯(lián)注意力網(wǎng)絡(luò)（Cascaded attentions Networks，CANet）。為了提升網(wǎng)絡(luò)的訓(xùn)練能力，本文又使用了一種雙向融合的方案，使每一個(gè)尺度有對(duì)應(yīng)的Lable。

網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖1 所示，上半部分是一個(gè)Resnext50 結(jié)構(gòu)，可以按照特征圖的尺度分成五個(gè)階段，在后面的四個(gè)階段采用了殘差塊的結(jié)構(gòu)進(jìn)行特征提取，四個(gè)階段包含的殘差快數(shù)量分別為3、4、6、3。

圖1 CANet的組成結(jié)構(gòu)

本文在后面的四個(gè)階段中進(jìn)行了如下操作：首先獲取每個(gè)階段的輸出并通過(guò)MVE 模塊進(jìn)行多感受野特征提取，每個(gè)階段通過(guò)LA 模塊生成一個(gè)對(duì)應(yīng)的掩膜并用來(lái)強(qiáng)化MVE 模塊生成結(jié)果，生成的特征圖尺寸分別為（W/4，H/4，32），（W/8，H/8，32），（W/16，H/16，32），（W/32，H/32，32）。本文使用了兩個(gè)單獨(dú)分支分別進(jìn)行Conv1×1-1 卷積和上采樣操作，最后通過(guò)SA 模塊的強(qiáng)化輸出兩個(gè)預(yù)測(cè)結(jié)果和，兩個(gè)結(jié)果疊加即為該尺度下的輸出。最后，融合了各尺度下的輸出生成最終預(yù)測(cè)結(jié)果。

2.1 多級(jí)注意力結(jié)構(gòu)

2.1.1 Layer-Attention模塊

為了提升檢測(cè)的質(zhì)量，幫助網(wǎng)絡(luò)準(zhǔn)確獲取裂縫部分信息，本文提出了一個(gè)全新的Attention 模塊，如圖2所示。

圖2 第三階段的LA模塊結(jié)構(gòu)

該模塊的主要思路是將Resnext50進(jìn)行特征提取的過(guò)程分成五個(gè)階段，在第二、第三、第四和第五階段中分別設(shè)置了k個(gè)殘差模塊，k∈{3,4,6,3}。在階段i中，可以獲取到ki個(gè)大小相同的特征圖Xiki，經(jīng)過(guò)多次卷積操作后，裂縫區(qū)域被強(qiáng)化，而非裂縫部分作為噪聲被削弱，此時(shí)得到的特征圖可以被近似的視為一種能強(qiáng)化裂縫部分的掩膜，本文從中得到啟發(fā)，利用每個(gè)階段的前一部分特征圖生成一個(gè)LMask矩陣，即：

再將生成的LMask用來(lái)強(qiáng)化該階段的輸出，在這個(gè)過(guò)程中，針對(duì)于裂縫圖像大小分布不均勻，考慮到單一感受野無(wú)法更好識(shí)別粗細(xì)不同的裂縫，本文對(duì)每一個(gè)階段的輸出結(jié)果進(jìn)行了不同膨脹系數(shù)的膨脹卷積操作，即圖1 中的MVE 模塊，該過(guò)程可以表示為

Conv3×3-1表示一個(gè)3×3-32 的卷積操作，DConvr表示膨脹系數(shù)為r的膨脹卷積操作。本文將每個(gè)階段的輸出結(jié)果先進(jìn)行降維操作后，分別進(jìn)行了膨脹系數(shù)為4、8、12 的膨脹卷積，并將卷積后的特征融合。最后，用該階段生成的LMask強(qiáng)化融合后的特征圖，即

Xouti即為該階段的強(qiáng)化結(jié)果并參與到后續(xù)的計(jì)算中去，關(guān)于LA(·)的具體實(shí)現(xiàn)方法，在本文中采用了疊加融合的方式，先將多個(gè)特征圖融合，再使用Sigmoid 函數(shù)放縮到［0，1］，每個(gè)階段都有對(duì)應(yīng)的特征掩膜，圖3 是掩膜可視化效果圖，可以看出網(wǎng)絡(luò)把注意力集中在裂縫像素周?chē)?/p>

圖3 不同階段LMask的可視化效果圖

2.1.2 Scale-Attention模塊

類(lèi)比于Layer-Attention 模塊，本文在每一個(gè)尺度的輸出部分也運(yùn)用了Attention 機(jī)制增強(qiáng)檢測(cè)效果，并把該部分命名為Scale-Attention 模塊。從圖1可以看出，階段2、階段3、階段4和階段5的輸出，分別經(jīng)過(guò)MVE 模塊的多視野卷積，以及Layer-Attention 模塊強(qiáng)化，最后結(jié)果上采樣到原始圖片尺寸，可以得到4個(gè)輸出，如圖4。

圖4 SA模塊組成結(jié)構(gòu)

本文利用其中三個(gè)特征圖生成SMask去強(qiáng)化剩下一個(gè)輸出，運(yùn)算過(guò)程可以表示為

Xscalei表示該尺度下，經(jīng)過(guò)上采樣恢復(fù)為原圖尺寸大小的特征圖，Pi表示在該階段生成的預(yù)測(cè)結(jié)果。在本文中SA(·)方法的具體實(shí)現(xiàn)過(guò)程類(lèi)似于LA 模塊中的LA(·)方法，也是將多個(gè)特征圖疊加融合后用Sigmoid 函數(shù)放縮，即可得到該尺度下的掩膜。

這種Attention 機(jī)制實(shí)際上是一種自我強(qiáng)化的過(guò)程，保證了裂縫部分得到強(qiáng)化，同時(shí)有效抑制了非裂縫部分，使網(wǎng)絡(luò)聚焦在特定的特征區(qū)域。

2.2 雙向融合

HED［14］和DeepCrack［12］網(wǎng)絡(luò)都是在特征提取的過(guò)程中，對(duì)不同尺度的輸出計(jì)算損失后再進(jìn)行優(yōu)化，但是這些不同尺度的輸出都是直接與GroundTruth 計(jì)算損失，實(shí)際上不同階段提取的特征是不同的，因此產(chǎn)生的預(yù)測(cè)圖也是不一樣的。應(yīng)該使不同的階段預(yù)測(cè)圖與該階段相對(duì)應(yīng)的Lable進(jìn)行損失計(jì)算，才會(huì)讓監(jiān)督學(xué)習(xí)更合理。即

但是，每一個(gè)階段對(duì)應(yīng)的Lable，即公式中的Yi很難人工標(biāo)注，只能近似地計(jì)算成GroundTruth 減去其他階段的預(yù)測(cè)值，可以表示為

其中Yi代表該階段的Lable 近似值，Y表示GroundTruth，Pj是除了i階段外的其他預(yù)測(cè)結(jié)果。

此時(shí)，損失函數(shù)對(duì)各層求導(dǎo)相等，邏輯上的意義為各層采用相同的GroundTruth。為此，本文設(shè)計(jì)了一種雙向互補(bǔ)的監(jiān)督來(lái)近似計(jì)算Yi即：

s→d表示從特征提取的淺層到深層，d→s則表示從特征提取的深層到淺層，形成雙向傳遞。在同一個(gè)尺度下產(chǎn)生兩個(gè)預(yù)測(cè)結(jié)果，分別是Pi

s→d

和Pid

→s，兩者近似等于Yi

s

→d和Yid

→s。因此每一個(gè)尺度的預(yù)測(cè)結(jié)果可以表示為

最后本文通過(guò)多尺度特征融合的方式得到最終的預(yù)測(cè)結(jié)果，即：

在實(shí)驗(yàn)中具體的實(shí)現(xiàn)方案是在同一分支上對(duì)LA+MVE 模塊的輸出特征圖分別進(jìn)行了兩套步驟相同的卷積上采樣以及SA 模塊操作，如圖1 所示，保證了兩個(gè)分支互不干擾，分別得到和。

2.3 損失函數(shù)

將網(wǎng)絡(luò)的融合設(shè)計(jì)為雙向傳遞結(jié)構(gòu)，目的就在于幫助網(wǎng)絡(luò)在每一個(gè)尺度下有相應(yīng)的Lable針對(duì)訓(xùn)練。此時(shí)整個(gè)網(wǎng)絡(luò)的損失函數(shù)可以表示為

wscale和wfuse調(diào)控各尺度和融合后的損失所占比重，在實(shí)驗(yàn)中發(fā)現(xiàn)兩者為0.5 和1.0 時(shí)，網(wǎng)絡(luò)效果最佳。在本文中L(·)方法使用Binary Cross Entropy方法進(jìn)行計(jì)算。在實(shí)驗(yàn)過(guò)程中，發(fā)現(xiàn)裂縫圖像的正負(fù)樣本分布很不均勻，在一張圖片中非裂縫像素占據(jù)了一張圖的絕大部分。

表1 是在兩個(gè)數(shù)據(jù)集上各取10 張訓(xùn)練樣本計(jì)算出的像素組成分析表，從表中數(shù)據(jù)可以看出，正負(fù)樣本的差距很大，如果采用相同標(biāo)準(zhǔn)對(duì)待正負(fù)樣本的損失，結(jié)果會(huì)有偏差。因此本文在Binary Cross Entropy 損失函數(shù)的基礎(chǔ)上引入了正負(fù)樣本均衡的機(jī)制，即：

表1 訓(xùn)練數(shù)據(jù)集中的裂縫與非裂縫像素占比

表2 CrackLS315和DeepCrack-DB上各模型的指標(biāo)

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文在CrackLS315［12］和DeepCrack-DB［15］數(shù)據(jù)集上分別進(jìn)行了訓(xùn)練。

CrackLS315 包含315 張包含瀝青路面裂縫的圖片，每張圖片的尺寸為512×512，選取其中的245張經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后參與訓(xùn)練，剩下的70 張圖片其中20張用作驗(yàn)證集，50張用作測(cè)試集。

DeepCrack-DB：該數(shù)據(jù)集包含537 張圖片，每張圖片的尺寸為544×384，圖片中包含各種裂紋，CrackLS315 數(shù)據(jù)集，該數(shù)據(jù)集中的裂縫比較粗，選取其中400張經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后訓(xùn)練，37張作為驗(yàn)證集，剩下的100張作為測(cè)試集

為了提升系統(tǒng)的檢測(cè)能力，本文對(duì)這三個(gè)數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)，具體的操作包括對(duì)圖像進(jìn)行隨機(jī)裁切、對(duì)稱(chēng)翻轉(zhuǎn)、旋轉(zhuǎn)和Gamma 變換，最終將每個(gè)訓(xùn)練集擴(kuò)充了228倍。

3.2 實(shí)驗(yàn)環(huán)境及超參數(shù)設(shè)置

實(shí)驗(yàn)環(huán)境為Intel（R）Core（TM）i5-8600k CPU，16 GB 內(nèi) 存，一 塊GTX TITAN-X GPU 在Ubuntu16.04系統(tǒng)下，基于pytorch框架編寫(xiě)的網(wǎng)絡(luò)。

在訓(xùn)練的過(guò)程中，Batchsize設(shè)置為1，shuffle 設(shè)置為T(mén)rue，優(yōu)化器選用SGD，MOMENTUM 設(shè)置為0.9。訓(xùn)練次數(shù)設(shè)為500，初始學(xué)習(xí)率為0.001，當(dāng)?shù)螖?shù)大于20 時(shí)，學(xué)習(xí)率降為0.0005，當(dāng)?shù)螖?shù)大于50 時(shí)，學(xué)習(xí)率降為0.00001，當(dāng)?shù)螖?shù)大于100時(shí)，降為初始值的0.01倍。

3.3 實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)

為了客觀地評(píng)估網(wǎng)絡(luò)的質(zhì)量，本文根據(jù)真正類(lèi)數(shù)（TP），真負(fù)類(lèi)數(shù)（TN），假正類(lèi)數(shù)（FP）和假負(fù)類(lèi)數(shù)（FN）計(jì)算出Precision，Recall 和F1值，這三項(xiàng)指標(biāo)的計(jì)算方法如下：

本文在上述三個(gè)指標(biāo)的基礎(chǔ)上，計(jì)算了不同閾值下在測(cè)試集上求得F1值的最大值，即ODS，同時(shí)計(jì)算了測(cè)試集中每張圖片最大F1值的平均數(shù)，即OIS，具體的計(jì)算方法如下：

ODS 和OIS 能夠準(zhǔn)確地反映網(wǎng)絡(luò)的識(shí)別能力，可以很好地衡量模型的性能。

3.4 實(shí)驗(yàn)對(duì)比及結(jié)果分析

3.4.1 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證網(wǎng)絡(luò)的有效性，本文對(duì)比了HED［14］、RCF［16］、SegNet［10］、SRN［17］、U-Net［9］和DeepCrack［16］這幾個(gè)常見(jiàn)的網(wǎng)絡(luò)，HED 是一種基于VGG16［18］的網(wǎng)絡(luò)，它利用VGG16 每個(gè)階段生成的特征圖進(jìn)行多尺度融合，RCF 和SRN 類(lèi)似于HED，也進(jìn)行了多尺度融合，是在HED的基礎(chǔ)上進(jìn)行了拓展。SegNet和U-Net是編碼解碼網(wǎng)絡(luò)，編碼和解碼結(jié)構(gòu)對(duì)稱(chēng)。

分別將這幾種類(lèi)比網(wǎng)絡(luò)采用同樣的訓(xùn)練策略，在上文的數(shù)據(jù)集上進(jìn)行了訓(xùn)練，實(shí)驗(yàn)結(jié)果如下。

在同種訓(xùn)練條件下，本文設(shè)計(jì)的網(wǎng)絡(luò)對(duì)于裂縫的檢測(cè)效果優(yōu)于現(xiàn)階段其他的幾種網(wǎng)絡(luò)模型，從圖5 的裂縫檢測(cè)結(jié)果生成圖可以看出，本文預(yù)測(cè)的裂縫較其他幾種網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果更加精準(zhǔn)，細(xì)膩。通過(guò)定量分析，在兩個(gè)數(shù)據(jù)集上的ODS 和OIS 分別達(dá)到的0.857，0.870 和0.878，0.880，超過(guò)了前面的幾種網(wǎng)絡(luò)測(cè)得的數(shù)據(jù)，證明了我們所設(shè)計(jì)的網(wǎng)絡(luò)的有效性。

圖5 不同模型的生成預(yù)測(cè)結(jié)果

3.4.2 消融實(shí)驗(yàn)

為了驗(yàn)證三個(gè)模塊的提升效果，本文對(duì)網(wǎng)絡(luò)進(jìn)行了拆分訓(xùn)練。在兩個(gè)數(shù)據(jù)集上分別進(jìn)行了五組實(shí)驗(yàn)，第一組不添加任何模塊作為對(duì)照組，僅對(duì)各層輸出的結(jié)果進(jìn)行融合后計(jì)算出各指標(biāo)，在第二到第四組實(shí)驗(yàn)中，分別添加了LA，SA 和MVE 模塊進(jìn)行測(cè)試，最后一組添加所有模塊得到最終的檢測(cè)指標(biāo)，實(shí)驗(yàn)結(jié)果如表3。

表3 CrackLS315和DeepCrack-DB上各模塊的指標(biāo)

從表3 的數(shù)據(jù)可以看出，在不添加三種模塊的情況下，兩個(gè)數(shù)據(jù)集上測(cè)出的指標(biāo)非常低，只有0.7左右。在加入三個(gè)模塊后，指標(biāo)迅速提升到0.8 以上。

通過(guò)對(duì)比MVE 模塊和兩個(gè)Attention 模塊對(duì)指標(biāo)提升的數(shù)量，LA 模塊在兩個(gè)數(shù)據(jù)集上的ODS值分別提升了0.059、0.025，SA 模塊分別提升了0.063、0.04，而MVE 模塊僅提升了0.051、0.024，從這個(gè)角度也反映出了Attention 模塊具有很顯著的提升效果，能夠快速提升網(wǎng)絡(luò)的性能。

4 結(jié)語(yǔ)

針對(duì)于裂縫檢測(cè)，為了提升對(duì)于裂縫部分的識(shí)別能力，本文設(shè)計(jì)了一種新的網(wǎng)絡(luò)結(jié)構(gòu)，以Resnext50 作為基礎(chǔ)，采用多尺度融合的策略，融合不同階段的卷積輸出生成最終的預(yù)測(cè)圖。

此外，本文在網(wǎng)絡(luò)中增加了三個(gè)模塊提升網(wǎng)絡(luò)性能，其中LA 模塊和SA 模塊基于Attention 機(jī)制，分別在stage 階段和side 階段對(duì)輸出結(jié)果進(jìn)行強(qiáng)化，可以有效提高網(wǎng)絡(luò)對(duì)縫隙的辨識(shí)度。另外使用了一種基于膨脹卷積的MVE 模塊提升感受野，讓網(wǎng)絡(luò)更容易獲取不同尺寸的裂縫特征。

此外，本文使用了一種雙向融合的方式，近似獲取每個(gè)尺度特征圖對(duì)應(yīng)的Lable 來(lái)求損失，可以加快網(wǎng)絡(luò)的學(xué)習(xí)。最終分別在CrackLS315 以及DeepCrack-DB 兩個(gè)數(shù)據(jù)集上訓(xùn)練和預(yù)測(cè)，ODS 指標(biāo)分別取得了0.873，0.857，0875 的成績(jī)，超過(guò)了現(xiàn)階段的一些網(wǎng)絡(luò)結(jié)構(gòu)，證明了實(shí)驗(yàn)的成功性。