基于機器視覺的路面裂縫病害多目標識別研究

章世祥，張漢成，李西芝，胡 靖

(1. 華設(shè)設(shè)計集團，江蘇 南京 210014；2. 東南大學(xué) 土木工程學(xué)院，江蘇 南京 211189；3. 東南大學(xué) 計算機科學(xué)與工程學(xué)院，江蘇 南京 211189；4. 東南大學(xué) 智能運輸系統(tǒng)研究中心，江蘇 南京 211189)

0 引言

裂縫是路面結(jié)構(gòu)的主要病害類型，尤其是半剛性基層結(jié)構(gòu)引起的反射裂縫對道路設(shè)施的正常運營造成極大隱患，裂縫若得不到及時維養(yǎng)將發(fā)展為坑槽病害，對行車安全性極其不利。有效的裂縫檢測技術(shù)對維持路面服役水平、保障車輛行駛安全至關(guān)重要，傳統(tǒng)的路面病害檢測主要依靠人工巡檢方式，其存在效率低、主觀性強且成本較高等缺陷，隨著圖像處理技術(shù)的不斷發(fā)展，基于病害圖像的識別與分析為路面裂縫檢測提供了高效方法，但其識別精度依賴于病害圖像質(zhì)量。因此，研究提出了一種基于機器視覺的路面裂縫識別技術(shù)，為路面結(jié)構(gòu)的病害評估提供基礎(chǔ)。

傳統(tǒng)的圖像識別技術(shù)主要通過圖像灰度值等特征定義病害區(qū)域，如大津法OTSU、邊緣檢測與區(qū)域生長算法等[1-3]，對于具有簡單背景且灰度差異較大的病害圖像具有較好的識別效果，但復(fù)雜背景下識別錯誤率較高。對于路面裂縫病害的識別，分割算法相對而言具有較好的正確率，但其處理速度較慢[4]。利用圖像紋理并考慮亮度和連通性來識別裂縫，或采用動態(tài)閾值方法均只能獲得較為粗糙的裂縫形態(tài)[5]。此外，基于Canny邊緣檢測的裂縫識別也較易出現(xiàn)誤識別情況，可見傳統(tǒng)圖像識別技術(shù)普遍問題在于準確度低，誤報率高，無法對病害進行像素級的識別，需要手動提取特征，且預(yù)處理的方法直接影響到識別效果等[6-7]。對于深度學(xué)習(xí)框架而言，卷積神經(jīng)網(wǎng)絡(luò)(CNN)被認為對復(fù)雜背景下病害的識別具有極大的優(yōu)勢。AlexNet模型證明了CNN 網(wǎng)絡(luò)能夠提升圖像分類的效果，隨后GoogleNet、 VGG與ResNet等均表明了CNN網(wǎng)絡(luò)在圖像識別中的有效性[8-9]。近年來，基于深度學(xué)習(xí)的圖像識別技術(shù)逐漸用于工程結(jié)構(gòu)的病害檢測，Zhang等提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的道路裂縫檢測系統(tǒng)，使用了整流線性單元(ReLU)作為激活函數(shù)，提高模型在訓(xùn)練時收斂的速度[10]。Xu等在全卷積神經(jīng)網(wǎng)絡(luò)(FCN)的基礎(chǔ)上建立了FCNN模型，其語義分割效果較好但訓(xùn)練時間相對較長[11]。Jiang等采用無人機實時獲取裂縫圖像并進行識別，同時可以獲取裂縫的寬度值[12]。Maeda等建立了一個大型路面病害數(shù)據(jù)庫，并基于MobileNet等輕量級模型對裂縫進行識別，實現(xiàn)了對病害的快速推理，但是犧牲了部分的準確度[13]。Ni等將GoogLeNet和ResNet20組合用于識別裂縫，取得了良好的效果。但是對于尺寸較小的裂縫識別效果不佳，并且識別速度較慢[14]。Cha等使用滑動窗口基于CNN辨識裂縫，但無法確定最佳滑動窗口大小，且處理速度較慢[15]，而采用Fast R-CNN模型識別裂縫有效提高了速度，但是無法輸出裂縫的掩碼，同時也無法統(tǒng)計出裂縫的大小[16]。綜上所述，基于深度學(xué)習(xí)模型對于病害的檢測問題主要還是集中在圖像分類，或者按圖像塊進行分類，最終為圖像產(chǎn)生塊檢測結(jié)果，而不是針對病害像素產(chǎn)生檢測結(jié)果，更進一步的研究也只停留在語義分割的層次上。部分研究實現(xiàn)了對于像素級的分類，然而并不能實現(xiàn)實例分割，當在一個圖像中出現(xiàn)多個同種病害時，無法將其區(qū)分識別[17]。此外，部分基于深度學(xué)習(xí)的模型推理速度過慢，難以在工程中實現(xiàn)高效應(yīng)用。

本研究提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的自動化道路病害的檢測模型，基于Mask R-CNN框架[18]，用以實現(xiàn)對路面的裂縫進行實例分割的目的。相對于以往的自動化病害檢測模型相比，該模型實現(xiàn)對裂縫的實例分割，可對裂縫病害開展有效的識別、檢測、定位與多裂縫目標分割。同時，擴展的主干網(wǎng)絡(luò)有效提高了模型的識別性能與精度，具備像素級別的識別效應(yīng)，減少模型對于路面切割縫的誤識別，增強模型的魯棒性。

1 多語義機器視覺識別模型

1.1 基于Mask R-CNN的識別模型框架

卷積神經(jīng)網(wǎng)絡(luò)(CNN)常用于實現(xiàn)目標物檢測、語義分割與定位[19]，由于其具備較好的識別精度，因此在隧道等工程結(jié)構(gòu)的病害研究中得到了一定應(yīng)用，而在CNN基礎(chǔ)上發(fā)展得到的R-CNN與Faster R-CNN顯著地提升了檢測效率[20]。研究引入Mask R-CNN開展路面裂縫病害的識別，并且實現(xiàn)病害體的實例分割。Mask R-CNN在Faster R-CNN的基礎(chǔ)上，增加了第3個支路以輸出每個目標物的Mask。同時，為了建立深層卷積神經(jīng)網(wǎng)絡(luò)以解決訓(xùn)練時梯度消失的問題，采用ResNet-50和ResNet-101兩個模型作為主干網(wǎng)絡(luò)提取圖片的特征[21]，其網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 ResNet-50與ResNet-101模型結(jié)構(gòu)Tab.1 Structure of ResNet-50 and ResNet-101 models

裂縫病害具有較大的長寬比，其像素面積相對背景而言較小且不同裂縫尺寸存在差異。因此，需要在卷積神經(jīng)網(wǎng)絡(luò)中盡可能地利用深層網(wǎng)絡(luò)與淺層網(wǎng)絡(luò)數(shù)據(jù)信息，分別提取用于裂縫病害檢測與分類的語義、幾何特征。研究選用Feature Pyramid Networks(FPN)提取各層次維度的裂縫特征，為了提高模型的性能，構(gòu)建了多尺度的特征圖，如圖1所示。采用多尺度特征融合的方式，將主干網(wǎng)絡(luò)每個stage的特征圖輸出，深層特征通過上采樣和低層特征融合，且每層特征均為獨立預(yù)測。

圖1 特征金字塔網(wǎng)絡(luò)模型Fig.1 Feature pyramid network (FPN)

本研究所建立的識別模型框架如圖2所示。模型結(jié)構(gòu)分為兩部分，第1部分的主干網(wǎng)絡(luò)由ResNet-50、ResNet-101的FPN層組合而成，主干網(wǎng)絡(luò)的主要作用是提取圖片的特征。第2部分的網(wǎng)絡(luò)處理輸入的特征圖并生成候選區(qū)域，即有可能包含一個目標的區(qū)域，再分類候選區(qū)域并生成邊界框和掩碼，從而實現(xiàn)采用相同的識別模型對不同路面裂縫的像素級識別與實例分割。

圖2 提出的識別模型結(jié)構(gòu)Fig.2 Proposed structure of identification model

已有研究成果表明，增加網(wǎng)絡(luò)的深度或?qū)挾炔粫档途W(wǎng)絡(luò)性能，因為可以在當前網(wǎng)絡(luò)上增加卷積層而不改變特征圖的尺寸，得到的新模型應(yīng)具有更強的特征提取能力[21]。這表明較深的模型所產(chǎn)生的誤差不應(yīng)該比較淺的模型高[22]。為了進一步提高模型的性能，將ResNet-50、ResNet-101兩個主干網(wǎng)絡(luò)的FPN層按層次分別疊加在一起，通過將輸出的特征圖直接相加以此來增加FPN層每一層的語義信息和幾何信息。如表2所示，ResNet-50和ResNet-101輸出的特征圖大小的尺寸是一致的，因此不需要進行額外的升采樣或降采樣等處理。

表2 性能評價指標Tab.2 Performance indicators

1.2 模型損失函數(shù)優(yōu)化

裂縫病害的長寬比值較大，其在圖像中的像素數(shù)遠小于背景像素。因此，若采用Mask R-CNN框架的經(jīng)典損傷函數(shù)將導(dǎo)致裂縫像素誤識別為背景像素。本研究構(gòu)建新的損傷函數(shù)以提高裂縫的識別正確率，病害圖像通過識別模型后計算出預(yù)測值，該預(yù)測值與真實值間的差距可采用函數(shù)進行量化：

Loss=LossCls+LossBox+LossMask，

(1)

式中，LossCls為病害類型分類誤差；LossBox為病害位置誤差；LossMask為掩模真實值誤差。

其中LossMask可由以下公式進行計算：

LossMask=-∑[λ·W·yi·lnσ(xi)+(1-yi)·

lnσ(1-xi)]，

(2)

式中，λ為權(quán)重系數(shù)，其值越大表明對分類錯誤的裂縫像素懲罰值越大；W為背景像素數(shù)與裂縫像素數(shù)的比值；yi為第i個像素的真實值；xi為第i個像素的預(yù)測值；σ為Sigmoid函數(shù)。

研究所建立的模型采用隨機梯度下降算法(SGD)進行訓(xùn)練[23]，每次從訓(xùn)練集中隨機選取一個樣本進行學(xué)習(xí)以加快訓(xùn)練效率，同時采用沖量算法Momentum加速損失函數(shù)的收斂性[24]。對于隨機采的m組數(shù)據(jù)，可計算其平均損失梯度為：

(3)

式中，f(x;w)為學(xué)習(xí)器；wi-1為第i-1次訓(xùn)練時的參數(shù)，模型訓(xùn)練更新速度與計算參數(shù)更新值分別為：

vi=βvi-1-αΔw，

(4)

wi=wi-1-vi，

(5)

式中，β為動量參數(shù)；vi-1為第i-1次訓(xùn)練時的更新速度；α為學(xué)習(xí)率。

1.3 識別模型訓(xùn)練

為了解決數(shù)據(jù)集的缺乏導(dǎo)致的模型泛化能力不強、模型訓(xùn)練時間過長、函數(shù)無法收斂等問題，研究采用了基于遷移學(xué)習(xí)的模型訓(xùn)練方案[25]，采用在ImageNet數(shù)據(jù)庫中預(yù)先訓(xùn)練的ResNet-50，ResNet-101模型，將基礎(chǔ)網(wǎng)格模型與特征圖金字塔網(wǎng)絡(luò)FPN層凍結(jié)，只訓(xùn)練剩余的部分以確保模型具備較好的訓(xùn)練速度與準確率。此外，為避免與裂縫類似的干擾影響，將明顯的干裂圖像作為困難樣本(Hard Example)加入到訓(xùn)練集中對模型進行訓(xùn)練，這樣可以提高模型對于裂縫識別的準確度，減少對于切割縫等干擾物的誤識別。

本研究對裂縫病害的識別可劃分為如圖3所示的4項內(nèi)容，圖3(a)為病害分類，即判斷圖像中是否存在裂縫病害，屬于二分類問題；圖3(b)為位置檢測，判斷裂縫在圖像中的位置并用Box選中；圖3(c)為語義分割，將圖像中裂縫病害進行像素級分割；圖3(d)為實例分割，將同一張圖片中的多個裂縫進行像素級的分割。

圖3 裂縫識別步驟Fig.3 Steps of crack identification

訓(xùn)練集輸入的圖像數(shù)據(jù)分辨率為768×1 024，batchsize設(shè)置為2，學(xué)習(xí)率為0.001。為了使損失函數(shù)更好收斂，使用學(xué)習(xí)率指數(shù)衰減讓學(xué)習(xí)率隨著學(xué)習(xí)進度降低以達到更好的訓(xùn)練目的。識別模型的構(gòu)建使用pytorch 1.3.1版本在ubuntu18.04上部署了建模環(huán)境，并使用i9-9900k和RTX2080ti來進行模型的訓(xùn)練和測試。

2 路面裂縫病害訓(xùn)練數(shù)據(jù)標注與參數(shù)學(xué)習(xí)

為了訓(xùn)練與測試識別模型，收集了不同分辨率的路面裂縫圖像1 290張，其中橫向與縱向裂縫1 128 張、網(wǎng)狀裂縫162張。隨機選取1 144張圖像作為訓(xùn)練集，選取146張圖像作為測試集，訓(xùn)練集中水泥路面與瀝青路面裂縫病害圖像分別為778張與366張。為便于計算，壓縮不同路面裂縫圖像至統(tǒng)一分辨率768×1 024。為了獲取圖片像素級的標注，先對原圖進行灰度化和二值化預(yù)處理，并且調(diào)整灰度閾值及去除多余的噪點，典型病害標記如圖4所示。

圖4 識別模型訓(xùn)練集標注Fig.4 Labeling training set of identification model

圖5 不同損失函數(shù)的對比Fig.5 Comparison different loss functions

將病害圖像按照9∶1分為訓(xùn)練集與測試集，并采用翻轉(zhuǎn)、對稱與隨機調(diào)整亮度、對比度實現(xiàn)訓(xùn)練集數(shù)據(jù)增強并擴充4倍，以實現(xiàn)訓(xùn)練模型具備更好的泛化能力與魯棒性[26]。

識別模型的性能采用PIXACC，PIXAP，PIXREC，IOU開展像素級別評估，并使用COCO數(shù)據(jù)集中的評價指標AP50，AP75對模型實例分割的能力進行詳細的性能評估[27]。此外，識別模型在輸出裂縫Mask的同時還會輸出包含裂縫Box，因此使用AP和REC來評價模型的裂縫檢測能力。

如前所述，裂縫像素和背景像素的數(shù)量存在顯著的不平衡，如果使用Mask R-CNN框架的傳統(tǒng)損失函數(shù)計算方法，在訓(xùn)練中為了降低Loss值，模型會更傾向于將更多的裂縫像素分類為背景像素。為緩解正負樣本數(shù)量上的失衡問題，研究在訓(xùn)練LossMask時使用平衡二值化交叉熵(Balanced binary cross entropy)計算mask分支上的Loss數(shù)值。

圖5對比了平衡二值化交叉熵與傳統(tǒng)方法在裂縫識別中的區(qū)別，可見前者具有較為顯著的識別優(yōu)勢，不會影響模型對于裂縫的目標檢測。平衡二值化交叉熵方法的應(yīng)用效果受權(quán)重參數(shù)λ的影響較為顯著，有必要對最優(yōu)權(quán)重參數(shù)的取值開展對比分析。

圖6說明了權(quán)重參數(shù)λ變化對性能評價指標的影響，由圖6(a)可知，隨著權(quán)重參數(shù)λ的增加，不同性能評價指標變化趨勢有所區(qū)別：PIXACC，PIXAP與IOU均隨著權(quán)重參數(shù)λ的增加而逐漸減少，其中PIXACC對權(quán)重參數(shù)λ的變化并不敏感；PIXREC的變化呈現(xiàn)相反趨勢，即隨著權(quán)重參數(shù)λ的增加而逐漸增大。通過試算可知，一定范圍內(nèi)權(quán)重參數(shù)λ越大，識別模型中對于裂縫像素的錯誤分類懲罰值越大，則識別模型更偏向于將像素分類為裂縫像素，此時PIXREC越大且PIXAP越小。識別模型需要達到有效識別裂縫的目的，因此PIXREC與PIXAP需要取得平衡，即在確保較高PIXREC的前提下盡可能提高PIXAP數(shù)值。圖6(b)為不同權(quán)重參數(shù)λ下PIXAP與PIXREC的變化情況，可見當權(quán)重參數(shù)λ取得0.3時符合要求。

圖6 權(quán)重參數(shù)λ取值影響Fig.6 Influence of weight parameter λ value

3 研究成果討論

3.1 識別效果分析

本研究所建立的識別模型共迭代30 000次，迭代次數(shù)每滿1 000次將會評估識別模型對于驗證集的驗證效果，識別模型的損失函數(shù)隨迭代次數(shù)的變化如圖7(a)所示，為進一步對比不同主干網(wǎng)絡(luò)的損失函數(shù)變化規(guī)律，將不同的主干網(wǎng)絡(luò)訓(xùn)練結(jié)果進行對比，如圖7(b)所示。

圖7 識別模型損失函數(shù)變化規(guī)律Fig.7 Change rule of loss function of identification model

訓(xùn)練與驗證結(jié)果均表明了所建立識別模型具備有效的泛化性能，訓(xùn)練過程中未發(fā)生過擬合現(xiàn)象，訓(xùn)練后的模型能夠精確地識別路面裂縫病害。由圖7(a)可知，損失函數(shù)隨著迭代次數(shù)的增加在逐漸減小，表明其識別精度逐漸提高。在迭代次數(shù)小于10 000 時，其減小速率較大，隨后趨于平緩。圖7(b)顯示了不同主干網(wǎng)絡(luò)中損失函數(shù)的變化規(guī)律，可見其變化趨勢相似，在相同迭代次數(shù)下，所建立的識別模型的損失函數(shù)更小，具備更好的識別精度。本研究所用測試集共146張圖片，包含162條裂縫，識別模型成功識別160條裂縫，成功識別出93.6%的裂縫像素，同時正確分類了98.9%的裂縫病害。裂縫數(shù)據(jù)集區(qū)別于其他傳統(tǒng)的實例分割的數(shù)據(jù)集，標注時難以精確區(qū)分裂縫的界限，因此數(shù)據(jù)集中存在因標注產(chǎn)生的誤差像素。

如圖8所示，所建立的模型實際上可以較好地實現(xiàn)裂縫識別，然而裂縫輪廓細節(jié)相對難以精確描述，存在著大量的孔隙且人工標注會漏掉部分裂縫的細節(jié)。所以，PIXAP，IOU，AP50，AP75在裂縫識別中會因為訓(xùn)練集圖像本身難以精準標注的問題受到影響。

圖8 典型病害圖像識別效果Fig.8 Result of typical diseases image recognition

以測試集數(shù)據(jù)為基礎(chǔ)，表3列出了本研究識別模型與主干網(wǎng)絡(luò)為ResNet-50、ResNet-101的Mask R-CNN模型以及全卷積神經(jīng)網(wǎng)絡(luò)FCN模型的性能指標對比，可見優(yōu)化后模型框架與損失函數(shù)具備相對較好的綜合指標，滿足復(fù)雜背景下路面裂縫病害的識別與提取。

表3 識別模型的性能指標Tab.3 Performance indicators of recognition model

3.2 識別效果對比

由前述分析可知，識別模型由于擴充了主干網(wǎng)絡(luò)，其在裂縫識別的性能指標得到了優(yōu)化，針對裂縫檢測與識別的指標AP與REC有所提高。為了與常用的語義分割模型開展對比，本研究選用以VGG-Net為主干網(wǎng)絡(luò)的FCN模型以相同的病害數(shù)據(jù)開展訓(xùn)練，并在測試集中進行驗證[28]，同時也列出了常見的自適應(yīng)閾值與Canny邊緣檢測算法識別效果，如圖9所示。

由圖9可以看出，識別模型在裂縫識別的問題中表現(xiàn)相對較好，通過合并ResNet-50和ResNet-101增加主干網(wǎng)絡(luò)寬度可以在一定程度上進一步提高模型的性能。如圖9(a)與圖9(b)所示，所建立的識別模型能較好地識別裂縫形貌，并且對于同一張圖片中的多條裂縫與細微裂縫均可實現(xiàn)有效識別與實例分割，針對非裂縫病害的路面接縫等結(jié)構(gòu)也能達到有效過濾的目的。此外，對于復(fù)雜的網(wǎng)狀裂縫也具備一定的識別能力。作為對比，全卷積神經(jīng)網(wǎng)絡(luò)FCN的識別效果如圖9(c)所示，其對微小裂縫的細節(jié)描述能力較弱，且由于模型結(jié)構(gòu)設(shè)計的不同導(dǎo)致其只有語義分割的功能，在識別網(wǎng)狀裂縫方面效果較差。圖像閾值化是從灰度圖像中分離目標區(qū)域和背景區(qū)域的基本方法，然而僅僅通過設(shè)定固定閾值很難達到理想的分割效果。自適應(yīng)閾值通過計算像素的局部平均強度確定其應(yīng)該具有的閾值，進而保證圖像中各個像素的閾值會隨著周圍鄰域塊的變化而變化。自適應(yīng)閾值在識別瀝青路面的裂縫時效果不佳，主要是由于瀝青路面顏色、紋理、光影的變化過于劇烈，易將其他低灰度值物體識別為裂縫，如圖9(d)所示。Canny邊緣檢測是基于估計高斯平滑圖像每個像素的梯度作為邊緣強度的指標，可見其識別效果也無法滿足要求，且與自適應(yīng)閾值類似，均不能實現(xiàn)非裂縫構(gòu)造的辨識，如圖9(e)所示。

本研究所建立的識別模型通過組合ResNet-50與ResNet-101的FPN層來獲得更好的特征提取能力。對于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)層次越深，特征圖的尺寸越小，其在輸入圖的映射范圍越大，因此針對圖像中細小裂縫所處位置的描述能力會下降。

圖9 裂縫病害識別效果對比Fig.9 Comparison of crack disease identification results

圖10 FPN層的特征圖Fig.10 Feature images of FPN layers

圖10所示為識別模型中不同F(xiàn)PN層的病害圖像特征狀況，可見低層的病害特征圖主要表現(xiàn)為背景、裂縫的紋理、輪廓等細節(jié)信息，如圖10(a)所示；隨著分析層次的逐漸增加，特征圖的響應(yīng)逐漸變得抽象，輪廓等細節(jié)信息逐漸缺失，如圖10(b)～圖10(d)所示。然而，高層特征圖通過與低層特征圖進行疊加，依然保留了裂縫的幾何信息，提升了識別模型檢測尺寸不同裂縫的能力。本研究所建立的識別算法對橫向、縱向與網(wǎng)狀裂縫均具有較好的識別效果，并且達到每秒處理20張病害圖像數(shù)據(jù)，有效實現(xiàn)對病害圖像或視頻數(shù)據(jù)的高效處理。

4 結(jié)論

本研究針對路面結(jié)構(gòu)常見的裂縫類病害，基于Mask R-CNN框架擴展并優(yōu)化了識別模型，實現(xiàn)了裂縫病害的圖像分類、位置檢測、語義分割與實例分割，通過與其他傳統(tǒng)與深度學(xué)習(xí)識別算法的成果對比，得到如下結(jié)論：

(1)基于深度學(xué)習(xí)的識別模型能夠開展病害圖像的語義分割，并對同一張圖像中的不同裂縫進行了實例分割，提高了識別模型的可擴展性。

(2)通過合并ResNet-50與ResNet-101的FPN層可以顯著提高主干網(wǎng)絡(luò)提取病害圖像特征的性能，本研究模型對裂縫病害類型的辨識正確率達到98.9%，并可精確識別93.6%的裂縫類像素。

(3)利用平衡二值化交叉熵計算函數(shù)數(shù)值，并對裂縫像素的錯誤分類設(shè)置更高的懲罰值，可有效緩解裂縫像素和背景像素數(shù)量上失衡導(dǎo)致的召回率下降。

(4)識別模型訓(xùn)練過程中引入遷移學(xué)習(xí)框架，提高了模型訓(xùn)練的收斂性，極大減少了訓(xùn)練時間成本，實現(xiàn)用較少的數(shù)據(jù)集訓(xùn)練得到較為精確的識別模型。