基于深度學(xué)習(xí)的公路裂縫病害自動(dòng)識(shí)別技術(shù)研究

隆星

（1.中國(guó)鐵建投資集團(tuán)有限公司，廣東 珠海 519031；2.西安交通大學(xué)人居環(huán)境與建筑工程學(xué)院，西安 710049）

1 引言

截至2021年年末，我國(guó)路網(wǎng)總里程已達(dá)到528.07萬(wàn)km，高速公路達(dá)到16.91萬(wàn)km[1]，居于世界前列。密集的公路網(wǎng)極大地便利了區(qū)域間的信息交流和資源分配，從而促進(jìn)了經(jīng)濟(jì)社會(huì)的快速發(fā)展[2-3]。然而，在車輛和周圍環(huán)境等因素的綜合作用下，高速公路在使用過(guò)程中會(huì)不可避免地出現(xiàn)裂縫、車轍、坑槽等病害，這些病害會(huì)對(duì)路面壽命、公路運(yùn)營(yíng)產(chǎn)生嚴(yán)重影響，甚至?xí)斐山煌ㄊ鹿?，因此，?duì)公路路面病害的檢測(cè)和養(yǎng)護(hù)成為管理部門的任務(wù)和日常工作。采用傳統(tǒng)的人工視覺檢測(cè)路面病害流程復(fù)雜、效率低，并且伴隨著大量的人工成本。在計(jì)算機(jī)視覺和圖像處理技術(shù)發(fā)展初期，研究者多通過(guò)直方圖估計(jì)、局部二值模式、Gabor濾波、形態(tài)學(xué)特征、支持向量機(jī)（Support Vector Machine，SVM）等方法檢測(cè)路面病害，取得了不錯(cuò)的精度。但這些方法存在一些共性的弊端，就是對(duì)圖像的質(zhì)量要求較高，對(duì)外界的抗干擾能力較差，模型的結(jié)果受光照、背景和裂縫的對(duì)比度、非裂縫等其他類別像素等的影響較大，極大地限制了路面病害的檢測(cè)準(zhǔn)確度和效率。

近年來(lái)，深度學(xué)習(xí)方法因其在非線性、模糊系統(tǒng)中的突出表現(xiàn)成為解決復(fù)雜預(yù)測(cè)、分類問(wèn)題的一項(xiàng)重要工具。在目標(biāo)檢測(cè)、語(yǔ)義分割、圖像分類、逐幀視頻分類、文本處理、時(shí)間序列分析等領(lǐng)域都得到了廣泛的應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)被定義為前饋神經(jīng)網(wǎng)絡(luò)的一個(gè)子類，具有池運(yùn)算和卷積層的特殊性，在捕獲局部和全局特征以進(jìn)行項(xiàng)目抽象和表示方面具備良好的性能，可以較好地抑制噪聲的影響，從而被廣泛應(yīng)用于公路裂縫的識(shí)別中。封筠等[4]提出了一種多級(jí)卷積神經(jīng)網(wǎng)絡(luò)的路面裂縫檢測(cè)模型，通過(guò)網(wǎng)絡(luò)級(jí)聯(lián)的方法在保證裂縫圖像全部召回的前提下，取得了更優(yōu)的檢測(cè)結(jié)果，為路面裂縫圖像漏篩的問(wèn)題提供了解決思路。晏班夫等[5]引入了一種目標(biāo)檢測(cè)中的快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)算法來(lái)快速識(shí)別病害種類、位置和面積，該方法使路面表觀病害檢測(cè)的效率和精度都得到了極大的提高。侯越等[6]提出了卷積自編碼預(yù)訓(xùn)練深度聚類算法，利用傳統(tǒng)圖片幾何變換和CAE網(wǎng)絡(luò)重構(gòu)增強(qiáng)圖片兩種方法對(duì)小樣本路面圖片數(shù)據(jù)集進(jìn)行擴(kuò)充，提高了DCEC深度聚類方法的準(zhǔn)確率。曹錦綱等將注意力機(jī)制引入編碼器-解碼器（Encoder-Decoder）框架中，提高了裂縫檢測(cè)模型的效率和裂縫識(shí)別定位的準(zhǔn)確性[7]。

以上研究雖然對(duì)裂縫識(shí)別有著較高的識(shí)別精度和較快的速度，但模型的抗干擾能力以及對(duì)裂縫邊緣分割的準(zhǔn)確率有待提高。本文基于VGG網(wǎng)絡(luò)和SegNet網(wǎng)絡(luò)提出一種裂縫分割算法模型（DeepCrack），在保證裂縫識(shí)別和定位準(zhǔn)確度的同時(shí)具備較好的魯棒性?？蔀樾陆案珊档貐^(qū)高速公路的建設(shè)和路面養(yǎng)護(hù)提供有價(jià)值的建議和理論性的指導(dǎo)。

2 研究區(qū)概況和數(shù)據(jù)預(yù)處理

2.1 研究區(qū)概況

新疆深處內(nèi)陸，氣候干旱，地形封閉，屬于典型的大陸性干旱氣候，冷暖季和晝夜溫差極大，呈現(xiàn)出極端性大溫差特征，該區(qū)域長(zhǎng)、短時(shí)溫變極易引起路基路面病害。極端的自然條件對(duì)新疆地域的公路建設(shè)與維養(yǎng)提出了更高的要求和標(biāo)準(zhǔn)。

本文通過(guò)道路綜合檢測(cè)車對(duì)G30連霍高速與G7連接的S303線K40~K77段以及G312線哈密段[見圖1（a）]進(jìn)行路面病害樣本的采集，共采集3 000余個(gè)樣本數(shù)據(jù)，主要包括裂縫、坑槽、車轍、龜裂等病害。對(duì)采集到的樣本進(jìn)行統(tǒng)計(jì)，其中大多為裂縫病害。裂縫根據(jù)其延伸方向與道路行車方向是否垂直可以分為橫向裂縫和縱向裂縫，隨著使用年限的增加和車輛的碾壓，會(huì)逐漸形成網(wǎng)狀裂縫[見圖1（b）~（d）]。裂縫的統(tǒng)計(jì)學(xué)特征經(jīng)常被作為評(píng)估路面健康狀況的指標(biāo)，實(shí)現(xiàn)公路裂縫的高效、智能檢測(cè)對(duì)道路養(yǎng)護(hù)具有重要意義。

圖1 裂縫數(shù)據(jù)采集位置及裂縫分類

2.2 數(shù)據(jù)預(yù)處理

采集到的裂縫數(shù)據(jù)通過(guò)預(yù)處理步驟轉(zhuǎn)換為符合模型輸入要求的圖片。首先將樣本分辨率統(tǒng)一為31 361 933像素。通過(guò)光照變換和多角度變換對(duì)樣本數(shù)據(jù)進(jìn)行擴(kuò)充，盡量減弱光照、拍攝角度等因素對(duì)樣本質(zhì)量的影響。然后通過(guò)分割和重采樣的方法（見圖2）將樣本統(tǒng)一為512 512像素大小的圖片，分割時(shí)盡量確保裂縫在整張圖像中占更多的比例，避免裂縫像素和非裂縫像素比過(guò)于不均衡。最后使用OpenCV將圖像轉(zhuǎn)換為單通道灰度圖（0~255）。這里將樣本劃分為1 799個(gè)訓(xùn)練數(shù)據(jù)，100個(gè)驗(yàn)證數(shù)據(jù)和100個(gè)測(cè)試數(shù)據(jù)。

圖2 所采集裂縫原始圖像預(yù)處理分割

3 基于深度學(xué)習(xí)的路面裂縫識(shí)別

本論文提出的裂縫識(shí)別深度學(xué)習(xí)模型基于VGG網(wǎng)絡(luò)中塊的設(shè)計(jì)思路和SegNet網(wǎng)絡(luò)中編譯碼器（Encoder-Decoder）思想進(jìn)行設(shè)計(jì)，最后通過(guò)多尺度誤差函數(shù)對(duì)模型識(shí)別精度進(jìn)行量化評(píng)價(jià)。

VGG網(wǎng)絡(luò)中塊的設(shè)計(jì)思路將圖像信息的識(shí)別和提取逐級(jí)抽象化，將特定卷基層和池化層組成可重復(fù)的單元塊。圖像在該單元塊時(shí)，信息抽象化程度逐級(jí)提高，形成一系列不同尺度的中間處理結(jié)果。這些中間處理結(jié)果保留了裂縫等缺陷圖像對(duì)噪聲敏感但邊界清晰的低尺度信息和對(duì)噪聲魯棒性強(qiáng)但邊界模糊的高尺度信息。

這些中間處理結(jié)果根據(jù)通過(guò)Encoder-Decoder還原成與輸入圖像同大小的數(shù)據(jù)以進(jìn)行該尺度下的誤差分析，由此可以得到裂縫圖像不同尺度下的誤差。通過(guò)將這些多尺度下的誤差圖進(jìn)行巧妙融合，組成新的誤差函數(shù)，網(wǎng)絡(luò)每次訓(xùn)練以減少該多尺度誤差為目標(biāo)。由于模型同時(shí)考慮了裂縫的具象信息（邊界信息）和抽象信息（是否為裂縫），對(duì)于裂縫的識(shí)別準(zhǔn)確率和定位準(zhǔn)確率有明顯提升。

3.1 模型結(jié)構(gòu)

如圖3所示，經(jīng)過(guò)圖像預(yù)處理后的輸入數(shù)據(jù)會(huì)首先經(jīng)過(guò)5個(gè)由3個(gè)卷基層和1個(gè)池化層組成的編碼器（Encoder）網(wǎng)絡(luò)塊，從而得到裂縫圖像在5個(gè)不同尺度下的信息。每經(jīng)過(guò)一層編碼操作，裂縫信息的抽象化程度會(huì)更高，其抗干擾能力逐級(jí)增強(qiáng)，但是裂縫位置、寬度等信息會(huì)逐級(jí)丟失。該過(guò)程可以看作是對(duì)圖像進(jìn)行多層Encoder的過(guò)程，目的是增強(qiáng)裂縫識(shí)別的準(zhǔn)確率。

圖3 裂縫圖像處理過(guò)程

隨后，經(jīng)過(guò)編碼后的圖像信息會(huì)通過(guò)與Encoder對(duì)稱的解碼器（Decoder）網(wǎng)絡(luò)。圖像信息的中間輸出結(jié)果由通過(guò)Decoder網(wǎng)絡(luò)恢復(fù)成與輸入數(shù)據(jù)同尺寸大小的圖像。可以逐級(jí)增強(qiáng)裂縫的位置、寬度等具體信息，提高識(shí)別分割結(jié)果的邊界準(zhǔn)確度。由于經(jīng)過(guò)Decoder網(wǎng)絡(luò)得到的裂縫圖像中輸出結(jié)果尺寸與原始圖一致，從而可以得到該尺度下的裂縫識(shí)別誤差圖。

在每次卷積操作后，會(huì)對(duì)特征圖進(jìn)行小批量標(biāo)準(zhǔn)化操作，從而得到5張?zhí)卣鲌D，分別為裂縫圖像在5個(gè)尺度下的誤差信息。通過(guò)將這5張誤差特征圖進(jìn)行融合，可以有效提升線狀目標(biāo)的檢測(cè)準(zhǔn)確率。為了將不同尺度下的誤差特征圖融合，采用的卷積層調(diào)整特征圖的尺寸和通道數(shù)。經(jīng)過(guò)上述操作可以得到同一尺寸的不同尺度的下的裂縫預(yù)測(cè)特征圖。將每個(gè)尺度下得到的誤差圖進(jìn)行融合和導(dǎo)向?yàn)V波，最終得到模型的整體預(yù)測(cè)誤差函數(shù)，通過(guò)最小化誤差函數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到最終的預(yù)測(cè)模型。生成結(jié)果是表示裂縫位置的二值圖，裂縫與非裂縫像素值分別為1和0。

3.2 損失函數(shù)

給定包含N張圖像的訓(xùn)練數(shù)據(jù)集S={（Xn，Yn），n=1，…，N}，其 中代 表 原 始 輸 入 圖 像表示與Xn相對(duì)應(yīng)的真實(shí)裂縫標(biāo)簽圖，I表示每張圖像中的像素?cái)?shù)目。目標(biāo)是訓(xùn)練網(wǎng)絡(luò)從而產(chǎn)生能達(dá)到真實(shí)結(jié)果的預(yù)測(cè)圖。在編譯碼器（Encoder-Decoder）結(jié)構(gòu)中，K表示卷積級(jí)數(shù)，故在階段生成的特征圖可以表示為F（k）=其中k=1，…，K。由多尺度融合得到的特征圖可以被表示成

裂縫檢測(cè)是一個(gè)二分類問(wèn)題，因此，采用交叉熵?fù)p失函數(shù)來(lái)定量預(yù)測(cè)誤差。由于裂縫與非裂縫像素?cái)?shù)量分布不平衡，在網(wǎng)絡(luò)結(jié)構(gòu)中給裂縫像素增加更多的權(quán)重。從而定義像素級(jí)別的預(yù)測(cè)誤差為：

式中，F(xiàn)i為網(wǎng)絡(luò)特征圖中像素點(diǎn)i的輸出；W為網(wǎng)絡(luò)層中標(biāo)準(zhǔn)參數(shù)的集合；P（F）為標(biāo)準(zhǔn)sigmoid函數(shù)，用于將特征圖轉(zhuǎn)換成概率密度圖。綜上，總誤差可以表示成：

4 結(jié)果分析

本論文的實(shí)驗(yàn)環(huán)境為CPU：Intel(R)Core(TM)i9-10900KF CPU@3.70 GHz，RAM：32G。每次預(yù)測(cè)過(guò)程中，一次循環(huán)需要大約2.4 s，可通過(guò)多線程并行。

4.1 評(píng)價(jià)指標(biāo)

根據(jù)樣本真實(shí)類別和模型預(yù)測(cè)結(jié)果，將樣本分為TP（True Positives）、FP （False Positives）、TN （True Negatives）和FN（False Negatives）。TP和FP表示對(duì)裂縫像素的預(yù)測(cè)是否正確，TN和FN表示對(duì)非裂縫像素的預(yù)測(cè)是否正確。并基于此計(jì)算精確度（Precision）、召回率（Recall）作為評(píng)估模型準(zhǔn)確性的指標(biāo)，公式為：

精確度-召回率（P-R）曲線是分別以精確度和召回率作為縱坐標(biāo)和橫坐標(biāo)繪制的曲線。平均準(zhǔn)確率（Average Precision，AP）是對(duì)P-R曲線的積分。

4.2 對(duì)比實(shí)驗(yàn)

對(duì)比實(shí)驗(yàn)選取兩個(gè)數(shù)據(jù)集CRKWH100和CrackL315作為測(cè)試集，分別包括100張和315張路面圖片。將本文提出的方法與HED，RCF等6種深度學(xué)習(xí)網(wǎng)絡(luò)在兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果見圖4。結(jié)果表明：經(jīng)典邊緣檢測(cè)網(wǎng)絡(luò)HED和RCF利用VGG16作為特征提取網(wǎng)絡(luò)，并在不同尺度下完成特征融合。兩個(gè)模型在CRKWH100數(shù)據(jù)集上的AP值為0.909 6和0.907 9，性能上相差不大，而在CrackLS315數(shù)據(jù)集上HED為所有網(wǎng)絡(luò)中性能指標(biāo)最低。U-Net與SegNet網(wǎng)絡(luò)通過(guò)特征壓縮與復(fù)原實(shí)現(xiàn)像素級(jí)別的類別標(biāo)注。在CRKWH100數(shù)據(jù)集上，U-Net比SegNet的AP值高出5.25%。裂縫分割算法模型（DeepCrack）通過(guò)實(shí)現(xiàn)SegNet編解碼端的特征融合與多重?fù)p失的監(jiān)督訓(xùn)練達(dá)到了更好的效果，但融合特征并沒有進(jìn)行有效篩取。本文提出的單尺度多層次特征融合模塊和三重注意力模塊的改進(jìn)策略，使新的DeepCrack在CRKWH100數(shù)據(jù)集上AP平均準(zhǔn)確率達(dá)到0.9408，優(yōu)于當(dāng)前最佳的結(jié)果。此外，在CrackLS315數(shù)據(jù)集上較原先的DeepCrack在AP值提升了0.71%，獲得了最佳效果，進(jìn)而證明本文提出的模型具有更好的泛化性。

圖4 CRKWH100數(shù)據(jù)集和Cr ackLS315數(shù)據(jù)集上測(cè)試結(jié)果的P-R曲線

將該網(wǎng)絡(luò)模型對(duì)采集到的隧道裂縫圖像進(jìn)行識(shí)別，識(shí)別結(jié)果如圖5所示。

圖5 裂縫識(shí)別效果圖

5 結(jié)論

本論文使用在京新高速（G7）沿線的高速公路上采集的公路裂縫影像制作了公路裂縫的標(biāo)準(zhǔn)數(shù)據(jù)集，并提出了一個(gè)深度學(xué)習(xí)模型用于裂縫的識(shí)別。該神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)模型基于VGG塊設(shè)計(jì)思想和編譯碼器提取多尺度抽象信息為基礎(chǔ)，可以實(shí)現(xiàn)裂縫的像素級(jí)識(shí)別定位。在CRKWH100和CrackL315兩個(gè)標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集中的準(zhǔn)確率、召回率，F(xiàn)-measure結(jié)果均要優(yōu)于目前其他幾個(gè)主流模型。說(shuō)明該方法可以滿足工程實(shí)際檢測(cè)的需求，同樣的，該方法在橋梁裂縫檢測(cè)、建筑物表面裂縫檢測(cè)等方向也具有很好的應(yīng)用前景。