基于語(yǔ)義分割的瀝青路面裂縫智能識(shí)別

楊燕澤，王萌，劉誠(chéng)，徐慧通，張小月

(1.北京交通大學(xué) 土木建筑工程學(xué)院，北京 100044；2.中路高科交通檢測(cè)檢驗(yàn)認(rèn)證有限公司，北京 100088)

截至2021 年末，全國(guó)公路通車總里程達(dá)到528.07 萬(wàn) km，是1984 年末的5.7 倍，其中高速公路通車量達(dá)16.91 萬(wàn) km，總里程規(guī)模位居世界第一.瀝青公路憑借養(yǎng)護(hù)便捷、行車舒適的優(yōu)點(diǎn)，在高速公路里程中占比超過(guò) 90%[1-2].隨著運(yùn)營(yíng)年限的增加，運(yùn)營(yíng)維護(hù)問(wèn)題突顯，瀝青公路整體面臨長(zhǎng)期、繁重的監(jiān)測(cè)診斷與維護(hù)任務(wù).傳統(tǒng)的路面檢查方式以人工為主，存在工作環(huán)境危險(xiǎn)、檢測(cè)效率低、過(guò)于依賴人的主觀經(jīng)驗(yàn)等問(wèn)題，難以保證結(jié)果的全面與精確[3].根據(jù)現(xiàn)行《JTG 5210-2018公路技術(shù)狀況評(píng)定標(biāo)準(zhǔn)》[4]以及《JTGT E61-2014 公路瀝青路面技術(shù)狀況自動(dòng)化檢測(cè)規(guī)程》[5]，對(duì)公路技術(shù)狀況的檢測(cè)提出具體要求：檢測(cè)評(píng)價(jià)內(nèi)容包括路面損壞.裂縫作為主要路面損壞特征，是路面技術(shù)狀況檢測(cè)的重點(diǎn)之一.不同于普通混凝土、水泥路面圖像，瀝青路面圖像的多紋理性、多噪點(diǎn)性、光強(qiáng)多變性，導(dǎo)致圖像中的裂縫信息微弱，增加了自動(dòng)識(shí)別技術(shù)的挑戰(zhàn)性[6].交通運(yùn)輸部頒布的《交通運(yùn)輸科技“十三五”發(fā)展規(guī)劃》中明確闡述對(duì)高速公路的智能化管理，如何實(shí)現(xiàn)高速公路運(yùn)維的自動(dòng)化、智能化是當(dāng)下的研究熱點(diǎn)[7-9].

深度學(xué)習(xí)方法是計(jì)算機(jī)在無(wú)人工干預(yù)的情況下自主學(xué)習(xí)對(duì)象的特征.卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）也被證明是計(jì)算機(jī)視覺(jué)領(lǐng)域中先進(jìn)的技術(shù)，在應(yīng)用上主要分為3 類[10]：圖像分類、目標(biāo)檢測(cè)、語(yǔ)義分割.其中語(yǔ)義分割方法能夠根據(jù)圖像的紋理、場(chǎng)景和其他高層語(yǔ)義特征得出圖像本身需要表達(dá)的信息，因此在裂縫檢測(cè)中，語(yǔ)義分割能夠在像素級(jí)別分割出裂縫的本身形態(tài)，有利于裂縫參數(shù)的量化計(jì)算[11].

眾多學(xué)者基于語(yǔ)義分割地進(jìn)行路面裂縫檢測(cè)研究，不斷提升裂縫檢測(cè)精度及效率.翁飄等[7]提出改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks, FCN)，并基于自建的路面數(shù)據(jù)集對(duì)改進(jìn)前后的網(wǎng)絡(luò)分別進(jìn)行測(cè)試，一定程度上提升了復(fù)雜環(huán)境下路面裂縫的檢測(cè)精度.李剛等[12]提出改進(jìn)輕量級(jí)全局卷積網(wǎng)絡(luò)的路面裂縫圖像分割模型，在公開(kāi)路面裂縫數(shù)據(jù)集上對(duì)比測(cè)試并驗(yàn)證其精度.陳澤斌等[13]基于自建路面裂縫數(shù)據(jù)集，運(yùn)用改進(jìn)后的U-net 模型實(shí)現(xiàn)對(duì)路面裂縫圖像自動(dòng)識(shí)別并驗(yàn)證其識(shí)別精度.闕云等[14]為了解決現(xiàn)有路面裂縫圖像采集數(shù)量不足的問(wèn)題，提出以改進(jìn)型U-Net 網(wǎng)絡(luò)模型為基礎(chǔ)的路面裂縫語(yǔ)義分割算法.Zhang 等[15]基于提出 CrackNet-R 遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)算法，并采用該算法對(duì)測(cè)試瀝青路面裂縫圖像進(jìn)行識(shí)別.Xiang 等[16]提出新的路面裂縫檢測(cè)方法，是基于端到端（endto-end）、可訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)，在公開(kāi)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，結(jié)果表明它可以準(zhǔn)確識(shí)別裂紋特征.Yang 等[17]提出用于路面裂縫檢測(cè)的特征金字塔分層增強(qiáng)網(wǎng)絡(luò)，運(yùn)用特征金字塔融合上下文信息，可以準(zhǔn)確識(shí)別裂縫.

針對(duì)瀝青路面裂縫檢測(cè)的相關(guān)領(lǐng)域，仍存在以下問(wèn)題：1）大多路面裂縫識(shí)別的研究并未區(qū)分具體路面場(chǎng)景，針對(duì)瀝青路面研究及應(yīng)用少，普通路面主要分為水泥混凝土、瀝青路面，兩者圖像背景特征差別大，混合檢測(cè)會(huì)影響自動(dòng)識(shí)別結(jié)果的精度；基于語(yǔ)義分割的裂縫檢測(cè)研究多分布在混凝土結(jié)構(gòu)表面[18-21]，針對(duì)瀝青路面場(chǎng)景下的應(yīng)用研究較少.2）缺乏公開(kāi)瀝青路面裂縫數(shù)據(jù)集.訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)需要大量標(biāo)簽樣本，分割數(shù)據(jù)集獲取難度高，雖然已有學(xué)者開(kāi)展瀝青路面裂縫識(shí)別相關(guān)研究，但是公開(kāi)數(shù)據(jù)集仍然較少，裂縫標(biāo)簽樣本數(shù)據(jù)匱乏.3）缺乏針對(duì)瀝青路面裂縫智能識(shí)別及量化的整體解決方案.對(duì)于裂縫自動(dòng)識(shí)別的研究通常是基于文章中的特定數(shù)據(jù)集、網(wǎng)絡(luò)結(jié)構(gòu)開(kāi)展，多數(shù)方法及模型尚未開(kāi)源不便于實(shí)用，因此很難對(duì)不同研究進(jìn)行復(fù)現(xiàn)，得到統(tǒng)一的性能評(píng)估.基于裂縫提取結(jié)果，滿足實(shí)際應(yīng)用需求的裂縫參數(shù)自動(dòng)量化研究開(kāi)展較少.

基于以上問(wèn)題，提出適用于瀝青路面裂縫、基于語(yǔ)義分割的智能識(shí)別及量化的整體解決方案.通過(guò)對(duì)開(kāi)源的語(yǔ)義分割方法進(jìn)行優(yōu)化，得到兼顧效率及精度的瀝青路面裂縫自動(dòng)識(shí)別模型，便于實(shí)際應(yīng)用需求.為了滿足不同訓(xùn)練需求，分別針對(duì)較大規(guī)模數(shù)據(jù)集及較小規(guī)模數(shù)據(jù)集提供優(yōu)選方案及對(duì)應(yīng)模型.基于北京六環(huán)高速公路瀝青路面，建立瀝青路面裂縫分割數(shù)據(jù)集 R-Crack，對(duì)提出的智能識(shí)別方案進(jìn)行應(yīng)用檢驗(yàn).通過(guò)對(duì)比分析人工、自動(dòng)化檢測(cè)方式獲得的裂縫參數(shù)量化結(jié)果，為瀝青路面場(chǎng)景下的裂縫自動(dòng)化檢測(cè)實(shí)踐提供參考依據(jù).

1 基于深度學(xué)習(xí)的語(yǔ)義分割方法

Csurka 等[22]提出語(yǔ)義分割（image semantic segmentation，ISS），目標(biāo)是圖像中的每個(gè)像素進(jìn)行分類，并將其標(biāo)記為不同的語(yǔ)義類別.與傳統(tǒng)的圖像分割相比，ISS 的特點(diǎn)是為圖像中的目標(biāo)加上一定的語(yǔ)義信息[11].在瀝青路面檢測(cè)中，對(duì)裂縫目標(biāo)進(jìn)行像素級(jí)的分割，有利于裂縫參數(shù)（長(zhǎng)度、寬度）的計(jì)算.常用語(yǔ)義分割算法的優(yōu)勢(shì)及存在的問(wèn)題總結(jié)如表1 所示.

表1 常用語(yǔ)義分割算法總結(jié)[11]Tab.1 Summary of common semantic segmentation algorithms

2 語(yǔ)義分割模型對(duì)比研究

對(duì)語(yǔ)義分割算法的統(tǒng)一性能評(píng)價(jià)僅在包含多類目標(biāo)的公開(kāi)數(shù)據(jù)集（例如PASCAL VOC2012[23]、COCO[24]、Cityscapes[25]）上開(kāi)展過(guò).在對(duì)裂縫自動(dòng)識(shí)別的眾多研究中，模型的評(píng)估通常是基于特定的數(shù)據(jù)集、網(wǎng)絡(luò)結(jié)構(gòu)等開(kāi)展，并且多數(shù)方法及模型尚未開(kāi)源，不便于實(shí)用，因此很難對(duì)不同研究進(jìn)行復(fù)現(xiàn)，從而得到統(tǒng)一的性能評(píng)估.基于相同的實(shí)驗(yàn)室條件，綜合考慮數(shù)據(jù)集規(guī)模、網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)種類的影響，開(kāi)展針對(duì)瀝青路面裂縫，基于開(kāi)源語(yǔ)義分割方法的對(duì)比研究，得到一套兼顧效率與精度的瀝青路面裂縫自動(dòng)識(shí)別模型的優(yōu)選方案.

2.1 數(shù)據(jù)集信息

選用公開(kāi)瀝青裂縫分割數(shù)據(jù)集 CRACK500 和GAPS384[17,26]，裂縫分別來(lái)自天普大學(xué)主校區(qū)瀝青路面和德國(guó)瀝青路面，數(shù)據(jù)集信息及示例如表2和圖1 所示.表2 中N為圖片數(shù)量，R為分辨率，Bit 為位深度.將原始圖像及標(biāo)簽圖劃分成訓(xùn)練集、驗(yàn)證集和測(cè)試集.如表3 所示.由于2 個(gè)數(shù)據(jù)集裂縫圖像特點(diǎn)存在差異，為了保證測(cè)試的公平性，從2 個(gè)數(shù)據(jù)集中分別挑選約60 張共同作為試驗(yàn)測(cè)試集.

圖1 訓(xùn)練裂縫數(shù)據(jù)集的示例Fig.1 Example of training crack datasets

表2 訓(xùn)練裂縫數(shù)據(jù)集的基本信息Tab.2 Basic information of training crack datasets

表3 語(yǔ)義分割比選試驗(yàn)的數(shù)據(jù)集劃分情況Tab.3 Dataset partitioning of semantic segmentation comparison experiments

2.2 對(duì)比方案設(shè)計(jì)

選擇表1 所示的4 種語(yǔ)義分割算法U-Net、DeeplabV3、PSPNet、DeeplabV3+，同時(shí)綜合考慮數(shù)據(jù)集訓(xùn)練規(guī)模、算法種類、訓(xùn)練網(wǎng)絡(luò)種類及深度、訓(xùn)練損失函數(shù)的影響，開(kāi)展瀝青路面裂縫自動(dòng)化檢測(cè)模型的對(duì)比研究如圖2 所示.

圖2 語(yǔ)義分割模型的對(duì)比方案Fig.2 Comparative schemes for semantic segmentation models

2.3 試驗(yàn)參數(shù)設(shè)置

模型訓(xùn)練的硬件設(shè)備是基于實(shí)驗(yàn)室的Linux操作系統(tǒng)，采用的是PyTorch-1.9.1 深度學(xué)習(xí)框架、CUDA10.2 和python3.8 的運(yùn)行環(huán)境，在NVIDIA Tesla V100-SXM2-16GB 上完成網(wǎng)絡(luò)的訓(xùn)練與測(cè)試.優(yōu)化算法選擇隨機(jī)梯度下降法[27]（stochastic gradient descent, SGD）來(lái)最小化目標(biāo)函數(shù)D，批量大?。╞atch-size）設(shè)置為16，迭代訓(xùn)練共400 次.在訓(xùn)練過(guò)程中，學(xué)習(xí)率根據(jù)訓(xùn)練情況動(dòng)態(tài)調(diào)整，采用Poly 指數(shù)變換策略[28]，使得學(xué)習(xí)率不斷衰減.在本試驗(yàn)中，初始學(xué)習(xí)率為0.001，控制曲線形狀的權(quán)重值W為0.9.

式中： lrnew為 新的學(xué)習(xí)率； lrbase為 基準(zhǔn)學(xué)習(xí)率；epoch為迭代次數(shù)；Emax為最大迭代次數(shù)；W值為控制曲線的形狀（通常大于1）、人為設(shè)定的超參數(shù).

1）模型訓(xùn)練流程及各關(guān)鍵步驟的邏輯關(guān)系如圖3 所示.對(duì)輸入的數(shù)據(jù)集通過(guò)統(tǒng)一的預(yù)處理，增廣數(shù)據(jù)及特征信息.2）采用統(tǒng)一數(shù)據(jù)集格式完成對(duì)不同算法的訓(xùn)練，訓(xùn)練迭代完成后.3）得到的語(yǔ)義分割模型，并在測(cè)試集上檢驗(yàn)訓(xùn)練效果.

圖3 語(yǔ)義分割模型訓(xùn)練的流程圖Fig.3 Flowchart of semantic segmentation model training

2.4 評(píng)估指標(biāo)

為了衡量不同語(yǔ)義分割模型的作用及貢獻(xiàn)建立混淆矩陣，其中TP 為模型預(yù)測(cè)是裂縫且真實(shí)值也是裂縫的像素個(gè)數(shù)、FP 為模型預(yù)測(cè)是裂縫但是真實(shí)值不是裂縫的像素個(gè)數(shù)、FN 為模型未預(yù)測(cè)是裂縫但是真實(shí)值是裂縫的像素個(gè)數(shù)、TN 為模型未預(yù)測(cè)是裂縫且真實(shí)值的確不是裂縫的像素個(gè)數(shù).基于TP、FP、FN、TN，采用模型評(píng)價(jià)指標(biāo)包括交并比（intersection over union, IOU）、準(zhǔn)確率Acc、召回率Re、F1 分?jǐn)?shù)、精確率Pr[5]，其定義及計(jì)算公式如表4 所示.

表4 試驗(yàn)評(píng)估指標(biāo)的匯總Tab.4 Summary of evaluation indicators for experiment

3 試驗(yàn)結(jié)果及分析

在訓(xùn)練結(jié)束后，各數(shù)據(jù)集基本信息如表5 所示.表中加粗部分的模型為較小規(guī)模數(shù)據(jù)集.由于分割數(shù)據(jù)集構(gòu)建成本大，缺乏足夠的數(shù)據(jù)量，而且不同研究所采用的數(shù)據(jù)集規(guī)模不一，需要考慮數(shù)據(jù)集規(guī)模對(duì)模型訓(xùn)練的影響.將訓(xùn)練數(shù)據(jù)集大于1 000 張的CRACK500[17]作為較大規(guī)模數(shù)據(jù)集，小于1 000 張的GAPS384[26]作為較小規(guī)模數(shù)據(jù)集，通過(guò)分別訓(xùn)練及測(cè)試，考慮不同的訓(xùn)練因素（網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)），針對(duì)較大規(guī)模數(shù)據(jù)集及較小規(guī)模數(shù)據(jù)集分別提供優(yōu)選方案及對(duì)應(yīng)模型.

表5 訓(xùn)練模型的基本參數(shù)Tab.5 Basic parameters of training model

3.1 訓(xùn)練數(shù)據(jù)集規(guī)模及算法的影響

在不同數(shù)據(jù)集規(guī)模下，不同算法訓(xùn)練得到的模型1～4 和9～12 的損失函數(shù)曲線及準(zhǔn)確率曲線，如圖4 所示.隨著迭代次數(shù)增加，模型損失函數(shù)值均隨迭代次數(shù)不斷下降，沒(méi)有出現(xiàn)過(guò)擬合、欠擬合的情況，表明試驗(yàn)超參數(shù)選擇合理.模型3、4、11、12 訓(xùn)練過(guò)程穩(wěn)定，特點(diǎn)在于準(zhǔn)確率高，損失函數(shù)值低，特征學(xué)習(xí)能力強(qiáng).PSPNet 和DeepLabV3+算法在模型學(xué)習(xí)中，調(diào)用金字塔模塊，兼顧裂縫目標(biāo)物淺層和深層的特征融合，促進(jìn)局部信息的上下文的獲取.

圖4 不同算法模型的準(zhǔn)確率和損失曲線Fig.4 Accuracy and loss curves of different algorithm models

在訓(xùn)練結(jié)束后，模型測(cè)試結(jié)果對(duì)比如表6 所示.模型1～4 的交并比、準(zhǔn)確率、F1 分?jǐn)?shù)遠(yuǎn)大于模型9～12，說(shuō)明較大規(guī)模的數(shù)據(jù)有助于模型的表征學(xué)習(xí)，從而提高裂縫的預(yù)測(cè)精度.模型1、9 測(cè)試交并比最低，分別為57.78%和69.59%，表明裂縫的預(yù)測(cè)結(jié)果圖與原標(biāo)簽圖重合度最低，這是由于U-Net 在獲取圖像的上下文信息和保證定位準(zhǔn)確性上是不兼得的，因此識(shí)別效果較差.模型3、4 及11、12 的準(zhǔn)確率、F1 分?jǐn)?shù)均較高且相差不大.在圖像的所有像素點(diǎn)中，準(zhǔn)確率最高為86.76%，表明最高有86.76%的像素被正確預(yù)測(cè).在保證精度的前提下，模型3、11 的FPS 值最大，分別為0.85、0.71 幀/s.PSPNet 算法得到的模型在檢測(cè)精度和效率上有較好的性能.

表6 不同算法模型的測(cè)試結(jié)果Tab.6 Test results of different algorithm models

在裂縫可視化結(jié)果中，將模型9、12 分割結(jié)果的誤識(shí)別（FN）、漏識(shí)別（FP）面積進(jìn)行對(duì)比，如圖5 所示，在測(cè)試集上準(zhǔn)確率最高的模型12 “FN+FP”總面積比準(zhǔn)確率最低的模型9 小得多，表明DeepLabV3+漏識(shí)別、誤識(shí)別像素點(diǎn)更少，分割結(jié)果與人工標(biāo)簽圖更吻合，分割效果更好.圖中中間部分FN 為被誤識(shí)別為背景的實(shí)際裂縫區(qū)域，上下部分FP 為被識(shí)別在裂縫范圍內(nèi)實(shí)際沒(méi)有裂縫的區(qū)域.模型9～12 的裂縫分割結(jié)果可視化結(jié)果如圖6所示，通過(guò)對(duì)比，模型11、12 分割出的裂縫，邊緣輪廓更精確，連續(xù)性更好，表明DeepLabV3+和PSPNet 對(duì)瀝青路面裂縫的分割確實(shí)有更好的效果.

圖5 模型9、12 模型分割結(jié)果誤識(shí)別（FN）、漏識(shí)別（FP）面積對(duì)比Fig.5 Area comparison of false identification (FN) and missing identification (FP) of model segmentation results

圖6 模型9～12 裂縫分割結(jié)果可視化Fig.6 Model 9～12 visualization of crack segmentation results

通過(guò)批量對(duì)比模型9～12 在檢測(cè)集中其余所有的裂縫分割結(jié)果圖，得到分割結(jié)果中產(chǎn)生FP 區(qū)域（模型預(yù)測(cè)為裂縫但是真實(shí)值不是裂縫的像素個(gè)數(shù)）的2 個(gè)主要原因.1）裂縫周圍部分區(qū)域存在類似于裂縫的劃痕、樹(shù)枝陰影、標(biāo)線等特征物被模型誤識(shí)別.2）模型對(duì)于裂縫目標(biāo)邊緣的分割不夠精確，導(dǎo)致識(shí)別到的裂縫稍寬于實(shí)際裂縫，產(chǎn)生誤識(shí)別的裂縫像素.

3.2 不同損失函數(shù)的影響

選用交叉熵（cross-entropy loss）、骰子（dice loss）、Focal 損失函數(shù)（focal loss）[29-30]分別作為模型訓(xùn)練的損失函數(shù)，對(duì)比訓(xùn)練及測(cè)試結(jié)果.選用交叉熵（cross-entropy loss）、骰子（dice loss）、Focal 損失函數(shù)（focal loss）[29-30]分別作為模型訓(xùn)練的損失函數(shù)，對(duì)比訓(xùn)練及測(cè)試結(jié)果.交叉熵?fù)p失函數(shù)是一種主要用于度量2 個(gè)概率分布間的損失函數(shù)；骰子損失函數(shù)由Dice 系數(shù)衍生而來(lái)，是一種區(qū)域相關(guān)的損失函數(shù)；Focal 損失函數(shù)是一種通過(guò)對(duì)交叉熵?fù)p失增加權(quán)重，在一定程度上解決正負(fù)樣本分布不均衡問(wèn)題的損失函數(shù).

訓(xùn)練結(jié)束后，損失函數(shù)、準(zhǔn)確率曲線如圖7 所示，測(cè)試結(jié)果如表7 所示.在小數(shù)據(jù)集上，模型2、3 的訓(xùn)練準(zhǔn)確率更高，表明運(yùn)用交叉熵?fù)p失函數(shù)模型訓(xùn)練效果更好，檢測(cè)精度更高.在大數(shù)據(jù)集上，模型10、11、13、14 訓(xùn)練效果相近，運(yùn)用交叉熵?fù)p失函數(shù)和Focal 損失函數(shù)都獲得了較好的訓(xùn)練及檢測(cè)效果.但模型7、8、15、16 訓(xùn)練曲線整體波動(dòng)幅度大，且準(zhǔn)確率較低，表明不論在大數(shù)據(jù)集上還是小數(shù)據(jù)集上，使用骰子損失函數(shù)訓(xùn)練的模型學(xué)習(xí)效果較差，訓(xùn)練過(guò)程不穩(wěn)定且學(xué)習(xí)不充分.從原理上看，由于交叉熵函數(shù)是對(duì)所有樣本的損失函數(shù)值求平均，而骰子損失函數(shù)在裂縫檢測(cè)的應(yīng)用中（“背景”和“裂縫” 2 類像素），小目標(biāo)“裂縫”作為正樣本，一旦有部分像素預(yù)測(cè)錯(cuò)誤，便會(huì)導(dǎo)致骰子損失函數(shù)值發(fā)生大幅度的變動(dòng)以及梯度的劇烈變化.由于模型沒(méi)有得到充分的學(xué)習(xí)，交并比與其他模型相比低3%～6%，識(shí)別結(jié)果與標(biāo)簽圖重合度低.

圖7 不同損失函數(shù)模型的準(zhǔn)確率曲線Fig.7 Accuracy curves of different loss function models

表7 不同損失函數(shù)模型測(cè)試結(jié)果Tab.7 Test results of different loss function models

3.3 不同網(wǎng)絡(luò)深度及種類的影響

裂縫檢測(cè)任務(wù)首要滿足的應(yīng)是模型識(shí)別精度，選擇3.2 節(jié)中精度更高的交叉熵?fù)p失函數(shù)作為對(duì)不同網(wǎng)絡(luò)深度及種類影響研究中的不變量，由于較小規(guī)模數(shù)據(jù)集訓(xùn)練所得的模型識(shí)別精度低，因此不再進(jìn)一步開(kāi)展不同網(wǎng)絡(luò)深度及種類的影響研究.ResNet[31]是深度學(xué)習(xí)領(lǐng)域十分常用的特征提取網(wǎng)絡(luò)，由何凱明團(tuán)隊(duì)于2015 年提出.它主要通過(guò)構(gòu)建殘差塊解決了堆疊式的傳統(tǒng)深層網(wǎng)絡(luò)帶來(lái)的模型識(shí)別準(zhǔn)確度“退化”問(wèn)題.在裂縫自動(dòng)化檢測(cè)的實(shí)際應(yīng)用中，大多數(shù)會(huì)使用移動(dòng)或者嵌入式設(shè)備，因此對(duì)輕量級(jí)網(wǎng)絡(luò)的研究十分必要.Google 團(tuán)隊(duì)在2018 年提出深度可分離卷積網(wǎng)絡(luò)MobileNet V2[32]，引入線性瓶頸 (linear bottleneck)和逆殘差 (inverted residual)來(lái)提高網(wǎng)絡(luò)的表征能力，在計(jì)算量與內(nèi)存占用上遠(yuǎn)小于標(biāo)準(zhǔn)卷積.

選用ResNet101、ResNet50、ResNet18 以及更輕量化的MobileNetV2[32-33]4 種網(wǎng)絡(luò)結(jié)構(gòu)開(kāi)展對(duì)比研究，訓(xùn)練損失函數(shù)、準(zhǔn)確率曲線如圖8 所示，模型測(cè)試結(jié)果如表8 所示.在相同的試驗(yàn)條件下，運(yùn)用不同種類和深度的網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，獲得不同的訓(xùn)練效果.隨迭代次數(shù)增加，模型18、21 分別與模型10、17 和模型11、20 相比，訓(xùn)練準(zhǔn)確率低，損失函數(shù)值高，更深的特征提取網(wǎng)絡(luò)（ResNet50、ResNet101）能夠讓模型獲取更好的訓(xùn)練效果.原因是網(wǎng)絡(luò)深度的增加能夠增加網(wǎng)絡(luò)的非線性映射次數(shù)，使得網(wǎng)絡(luò)能夠提取具有更好判決信息的特征，從而提升模型性能.簡(jiǎn)單地增加網(wǎng)絡(luò)的深度并不會(huì)自動(dòng)提高模型的精度，例如模型10、17 和模型11、20，分別采用50 層的ResNet 網(wǎng)絡(luò)和101 層ResNet 網(wǎng)絡(luò)，但準(zhǔn)確率與損失函數(shù)值接近，訓(xùn)練效果相差不大.因此在數(shù)據(jù)集數(shù)量小且條件有限的情況下，運(yùn)用淺層網(wǎng)絡(luò)例如ResNet-50、ResNet18，也能達(dá)到較好的訓(xùn)練效果.模型19、22 與其他模型相比，訓(xùn)練速度最快，內(nèi)存占用少.此外，在對(duì)測(cè)試集圖像的推理中，分別達(dá)到了3.50 和4.56 幀/s 速度，遠(yuǎn)快于其他模型.表明采用輕量級(jí)的深度可分離卷積網(wǎng)絡(luò)MobileNetV2 訓(xùn)練得到的模型，在損失一定精度的同時(shí)，訓(xùn)練時(shí)間、檢測(cè)速度以及內(nèi)存占用等方面均占有較大優(yōu)勢(shì)，能夠滿足實(shí)時(shí)檢測(cè)的場(chǎng)景需求.

圖8 不同網(wǎng)絡(luò)結(jié)構(gòu)的準(zhǔn)確率和損失曲線Fig.8 Accuracy and loss curves of different network structures

表8 不同網(wǎng)絡(luò)結(jié)構(gòu)模型的測(cè)試結(jié)果Tab.8 Test results of different network structure models

3.4 語(yǔ)義分割模型優(yōu)選方案

基于對(duì)比結(jié)果，提出分別適用于較大規(guī)模數(shù)據(jù)集及較小規(guī)模數(shù)據(jù)集的優(yōu)選智能識(shí)別方案及對(duì)應(yīng)模型如圖9 所示，供高速公路等場(chǎng)景下瀝青路面裂縫的自動(dòng)化檢測(cè)實(shí)踐提供參考.在沒(méi)有計(jì)算資源等條件的限制下，檢測(cè)精度最高的兩個(gè)優(yōu)選方案模型分別是DeepLabV3+_R101_CROSS 和PSPNet_R101_CROSS.

4 基于語(yǔ)義分割模型的應(yīng)用檢驗(yàn)

基于北京六環(huán)高速公路檢測(cè)車數(shù)據(jù)，構(gòu)建裂縫分割數(shù)據(jù)集R-Crack.對(duì)提出的智能識(shí)別解決方案在實(shí)際的瀝青路面裂縫上開(kāi)展應(yīng)用檢驗(yàn).并基于檢驗(yàn)結(jié)果及實(shí)際檢測(cè)需求，完成裂縫參數(shù)的量化與對(duì)比分析.

4.1 瀝青路面裂縫智能識(shí)別應(yīng)用整體方案

瀝青路面語(yǔ)義分割的裂縫自動(dòng)化識(shí)別及量化整體解決方案如圖10 所示.利用裂縫數(shù)據(jù)集進(jìn)行語(yǔ)義分割模型訓(xùn)練，將所得模型應(yīng)用于已有路面數(shù)據(jù)的檢測(cè)中，分析測(cè)試結(jié)果及裂縫參數(shù)的量化結(jié)果、精度及效率是否滿足實(shí)際工程需求.若是滿足，所得模型可以用于生產(chǎn)檢測(cè)；若是不滿足，則需要通過(guò)改進(jìn)算法、數(shù)據(jù)集質(zhì)量及規(guī)模等方式循環(huán)優(yōu)化模型，直到滿足為止.

圖10 瀝青路面裂縫自動(dòng)化識(shí)別及量化整體解決方案的流程圖Fig.10 Flowchart of integrated solution for automatic identification and quantification of asphalt pavement cracks

4.2 瀝青路面裂縫數(shù)據(jù)集構(gòu)建

在語(yǔ)義分割模型的訓(xùn)練過(guò)程中，模型的訓(xùn)練質(zhì)量與預(yù)測(cè)結(jié)果的準(zhǔn)確率與所選數(shù)據(jù)集質(zhì)量息息相關(guān)[23].公開(kāi)的路面裂縫分割數(shù)據(jù)集如CRACK-500、GAPS 等[17,26]，圖像數(shù)量少，需要采用旋轉(zhuǎn)、鏡像等圖像處理操作來(lái)增廣數(shù)據(jù)集.由于不同地區(qū)拍攝條件、路面環(huán)境不同，同樣是瀝青路面，但裂縫特征存在明顯差異.因此本文針對(duì)現(xiàn)有公開(kāi)數(shù)據(jù)集不足的問(wèn)題，結(jié)合北京六環(huán)高速公路的實(shí)際數(shù)據(jù)，制作瀝青路面裂縫分割數(shù)據(jù)集R-Crack，數(shù)據(jù)集構(gòu)建流程如圖11 所示，收集共有路面采集車原始圖像有4 479 張，通過(guò)540 p×640 p（長(zhǎng)寬分配根據(jù)實(shí)際裂縫形態(tài)確定）的滑動(dòng)窗口滑動(dòng)篩選并裁剪出形態(tài)不一、且包含不同特征物的裂縫，得到共 468 張清晰的裂縫圖像.通過(guò)圖像標(biāo)注軟件Labelme 制作人工標(biāo)簽，人工判斷并選取較為準(zhǔn)確的裂縫區(qū)域，對(duì)于裂縫的邊緣像素，本著“疑有從無(wú)”的原則進(jìn)行添補(bǔ)，得到更為精確的裂縫標(biāo)簽，保證檢測(cè)精度.將裂縫像素標(biāo)記為255，背景像素標(biāo)記為0，得到自制瀝青路面裂縫數(shù)據(jù)集R-Crack，數(shù)據(jù)集標(biāo)注結(jié)果如圖12 所示.

圖11 瀝青路面裂縫分割數(shù)據(jù)集R-Crack 構(gòu)建的流程圖Fig.11 Flowchart of asphalt pavement crack segmentation dataset R-Crack construction

圖12 “R-Crack”數(shù)據(jù)集標(biāo)注示例Fig.12 Example of "R-Crack" dataset annotation

4.3 裂縫參數(shù)計(jì)算

基于實(shí)際應(yīng)用需求，對(duì)識(shí)別結(jié)果進(jìn)行參數(shù)量化的計(jì)算與分析，包括提取裂縫中軸骨架、裂縫長(zhǎng)度、寬度的計(jì)算.

4.3.1 裂縫骨架提取 采用Zhang-Suen 迭代算法[34]得到裂縫中軸骨架如圖13 (a)所示，將連通區(qū)域細(xì)化成像素的寬度如圖13 (b)所示，有利于進(jìn)行裂縫參數(shù)的具體量化.

圖13 裂縫骨架提取的示意圖Fig.13 Sketch map of crack skeleton extraction

4.3.2 裂縫長(zhǎng)度計(jì)算 裂縫長(zhǎng)度的計(jì)算參考文獻(xiàn)[35]中的像素統(tǒng)計(jì)法，對(duì)于局部曲率大、反復(fù)折疊的裂縫，利用骨架線的像素總和計(jì)算裂縫長(zhǎng)度，要比利用骨架線上某幾個(gè)點(diǎn)之間的距離之和計(jì)算更為準(zhǔn)確.

4.3.3 裂縫寬度計(jì)算 裂縫寬度的計(jì)算采用“最大內(nèi)切圓”的計(jì)算方法.當(dāng)輸入裂縫分割二值圖像后尋找裂縫邊緣，輸出圖像中按照真實(shí)的情況建立等級(jí)關(guān)系的所有輪廓.對(duì)輪廓內(nèi)的區(qū)域像素化，進(jìn)而得到裂縫輪廓內(nèi)每一個(gè)像素點(diǎn)與邊緣的距離，采用二分法搜索這些距離中符合條件的點(diǎn)作為內(nèi)切圓圓心，遍歷所有像素點(diǎn)中的最大值，其內(nèi)切圓的直徑就是該條裂縫的最大寬度，通過(guò)遍歷圖片中的所有裂縫得到最大裂縫寬度，運(yùn)用這種方法可以完成對(duì)簡(jiǎn)單裂縫和復(fù)雜裂縫的寬度計(jì)算.其中應(yīng)用二分法搜索內(nèi)接圓半徑的方法如圖14，基本步驟是對(duì)每一個(gè)像素點(diǎn).1) 確定小半徑SR（OA），其所形成的的圓在輪廓內(nèi)（含切）；2) 確定大半徑BR（OB），其所形成的的圓在輪廓外；3) 不斷迭代BR 和SR，使得|BR-SR|≤a（a 為設(shè)定的精度值）；4) 停止迭代，得到輪廓內(nèi)最大內(nèi)切圓半徑.

圖14 最大內(nèi)切圓裂縫寬度計(jì)算原理的示意圖Fig.14 Schematic diagram of calculation principle of maximum inscribed circle crack width

4.4 語(yǔ)義分割模型應(yīng)用檢驗(yàn)

基于圖9 中所得瀝青路面裂縫自動(dòng)化檢測(cè)優(yōu)選模型方案，在R-Crack 上進(jìn)行測(cè)試，結(jié)果如表9所示.運(yùn)用所提的優(yōu)選模型對(duì)瀝青路面裂縫的識(shí)別可以達(dá)到83.45%的準(zhǔn)確率，能夠相對(duì)準(zhǔn)確地對(duì)實(shí)際路面裂縫進(jìn)行像素級(jí)別的檢測(cè)，其中不同環(huán)境及形態(tài)的裂縫檢測(cè)結(jié)果結(jié)果如圖15 所示.

圖15 北京六環(huán)瀝青路面裂縫檢測(cè)結(jié)果Fig.15 Crack detection results of sixth ring road in Beijing

表9 優(yōu)選模型的應(yīng)用檢驗(yàn)結(jié)果Tab.9 Application test results of optimized model

基于前述裂縫參數(shù)計(jì)算方法，自R-Crack 的應(yīng)用檢測(cè)結(jié)果中隨機(jī)選取裂縫檢測(cè)結(jié)果作整體誤差分析如圖16 所示，m為圖像序號(hào)，Δ為與人工相比的絕對(duì)誤差像素值.結(jié)果表明，自動(dòng)化檢測(cè)得到的裂縫參數(shù)與人工標(biāo)簽圖相比，裂縫長(zhǎng)度平均相對(duì)誤差為2.84%，寬度為2.39%，滿足實(shí)際檢測(cè)應(yīng)用需求，表明提出的語(yǔ)義分割優(yōu)選模型在實(shí)際瀝青路面檢測(cè)的應(yīng)用實(shí)踐及量化上具有可行性.

圖16 裂縫參數(shù)自動(dòng)化提取絕對(duì)誤差Fig.16 Extraction results of crack skeleton

5 結(jié) 語(yǔ)

綜合考慮數(shù)據(jù)集規(guī)模、算法種類、網(wǎng)絡(luò)種類及深度、損失函數(shù)類型的影響，針對(duì)較大規(guī)模、較小規(guī)模數(shù)據(jù)集分別提供模型訓(xùn)練的優(yōu)選方案，得到兼顧效率與精確度的語(yǔ)義分割模型，提出適用于瀝青路面裂縫、基于語(yǔ)義分割的智能識(shí)別及參數(shù)量化的整體解決方案.基于北京六環(huán)高速公路瀝青路面，構(gòu)建裂縫分割數(shù)據(jù)集“R-Crack”，對(duì)提出的智能識(shí)別方案進(jìn)行應(yīng)用檢驗(yàn)，并自動(dòng)量化裂縫參數(shù)（裂縫長(zhǎng)度、寬度）.通過(guò)對(duì)比分析人工及自動(dòng)化檢測(cè)方式獲得的裂縫參數(shù)計(jì)算結(jié)果，說(shuō)明利用本研究?jī)?yōu)選方案可以相對(duì)準(zhǔn)確地完成實(shí)際瀝青路面裂縫檢測(cè)，驗(yàn)證了提出的自動(dòng)化方法在實(shí)際瀝青路面裂縫檢測(cè)工作中應(yīng)用的可行性.