基于計算機視覺的公路邊坡裂縫檢測方法

傅宇浩， 郭 沛， 劉鵬宇， 李瑤瑤， 陳善繼， 王聰聰

(1.中咨數(shù)據(jù)有限公司，北京 100089; 2.空間信息應(yīng)用與防災(zāi)減災(zāi)技術(shù)交通運輸行業(yè)研發(fā)中心，北京 100089; 3.北京工業(yè)大學(xué) 信息學(xué)部，北京 100124; 4.先進信息網(wǎng)絡(luò)北京實驗室，北京 100124;5.計算智能與智能系統(tǒng)北京市重點實驗室，北京 100124; 6.青海民族大學(xué) 物理與電子信息工程學(xué)院，青海 西寧 810007)

近年來，隨著國家基礎(chǔ)建設(shè)投資、重視程度的增加，我國山區(qū)公路里程呈平穩(wěn)增長。我國山區(qū)公路邊坡具有數(shù)量多、邊坡角度陡峭、坡體表面裸露和穩(wěn)定性差等特征，且坡體內(nèi)部地質(zhì)復(fù)雜，縫隙發(fā)育、穩(wěn)定性等問題較為突出。在公路網(wǎng)絡(luò)大規(guī)模建設(shè)的同時，山區(qū)公路在施工和運營中面臨著滑坡、泥石流、崩塌等地質(zhì)災(zāi)害的威脅，山區(qū)公路邊坡穩(wěn)定性問題將是一個不可忽視的問題。

滑坡的形成需要經(jīng)歷災(zāi)害孕育期、災(zāi)害成長期和災(zāi)害發(fā)生期3個階段,隨著災(zāi)害的不斷累積疊加,最后產(chǎn)生明顯的宏觀變形,引起山體滑坡。裂縫是山體滑坡等大部分病害的早期癥狀，故安全監(jiān)測集中在此階段進行。當前邊坡裂縫檢測仍以人工檢測為主，個別路段采用現(xiàn)場埋傳感器[1]、GIS[2]等方法，但耗費大量人力物力，且檢測精度和效率也不突出。

檢測圖像中的物體是計算機視覺的基本任務(wù)之一。近年來，隨著深度學(xué)習(xí)的不斷發(fā)展，基于深度學(xué)習(xí)的計算機視覺在目標檢測與圖像分割領(lǐng)域取得了令人矚目的進展，計算機視覺方法逐漸應(yīng)用到裂縫檢測領(lǐng)域。本文提出了基于計算機視覺的邊坡裂縫檢測方法，通過專業(yè)攝像頭實時拍攝公路邊坡裂縫圖片，并將圖片作為基于卷積神經(jīng)網(wǎng)絡(luò)的邊坡裂縫識別模型的輸入，識別并標注裂縫區(qū)域輪廓，計算裂縫面積，統(tǒng)計裂縫發(fā)展方向，時刻監(jiān)測邊坡災(zāi)害發(fā)生的周期規(guī)律,彌補了傳統(tǒng)檢測方式的不足，具有效率高、成本低等優(yōu)勢，對于邊坡滑坡監(jiān)測預(yù)警可以起到很好的幫助作用。

1 相關(guān)研究

邊坡穩(wěn)定性的研究至今已有百年，在這百年中，邊坡穩(wěn)定性問題一直困擾著學(xué)者。馬惠民等[3]研究了5種不同結(jié)構(gòu)的順層巖質(zhì)邊坡的破壞規(guī)律，并總結(jié)了5種破壞模式間的相關(guān)性，分析了順層巖質(zhì)邊坡的內(nèi)在破壞規(guī)律；吳振君等[4]利用敏感性因子和隨機場變量對邊坡滑動面上的不同位置進行了工程加固處理后，發(fā)現(xiàn)邊坡的安全性明顯有所改善；薛錦春等[5]利用數(shù)理統(tǒng)計的動態(tài)聚類分析法對邊坡穩(wěn)定性的計算參數(shù)進行了研究，并利用動態(tài)聚類分析法對研究邊坡的穩(wěn)定性進行了分析。

近年來，基于深度學(xué)習(xí)的方法在計算機視覺方面取得了令人鼓舞的成績，基于深度學(xué)習(xí)的像素級圖像分割算法開始逐漸用于邊坡裂縫中。魏文龍等[6]提出基于輕量化網(wǎng)絡(luò)MobileNet的橋梁裂縫識別模型，識別準確率可達97.14%。李子豪等[7]提出一種基于ResNet18的四分類神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了鐵氧體零件裂縫檢測。瞿中等[8]提出一種新的模型全U網(wǎng)絡(luò)實現(xiàn)了混凝土路面裂縫檢測，所提算法平均準確率為83.48%。任秋兵等[9]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的水工混凝土裂縫像素級形態(tài)分割與特征量化方法，該方法通過改進的U-net深度網(wǎng)絡(luò)架構(gòu)，提出適用于水工混凝土裂縫檢測的形態(tài)分割模型和特征量化方法。Cha等[10]和Gibb等[11]分別采用卷積神經(jīng)網(wǎng)絡(luò)對混凝土表面的裂縫進行檢測，但是該方法只能完成裂縫檢測的定位，并不能完成裂縫長度、寬度的測量；Nishiyama等[12]在裂縫的兩側(cè)分別放置靶點，通過判斷靶點位置的變化可以計算裂縫的寬度。但是，上述方法在使用中存在一定的局限性，裂縫檢測效果對光照不均勻性十分敏感，對于細裂縫的測量準確性差，僅完成了裂縫區(qū)域的檢測，但并沒有完全實現(xiàn)對裂縫寬度的測量以及誤差分析。

綜上所述，研究設(shè)計一種能對邊坡裂縫進行精準識別的模型對于公路邊坡安全具有極大的市場價值。鑒于卷積神經(jīng)網(wǎng)絡(luò)在圖像識別領(lǐng)域的突出表現(xiàn)，本文首先利用專業(yè)攝像頭拍攝并篩選了大量邊坡裂縫圖片，在巖土專家的指導(dǎo)下，構(gòu)建了大規(guī)模的邊坡裂縫數(shù)據(jù)集。基于此數(shù)據(jù)集，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的邊坡裂縫識別網(wǎng)絡(luò)，對邊坡裂縫進行有針對性的特征提取，結(jié)果表明，該模型對應(yīng)邊坡裂縫識別具有較好的效果。

2 裂縫識別模型整體架構(gòu)

根據(jù)以上研究內(nèi)容，本文自主構(gòu)建了邊坡裂縫數(shù)據(jù)集，并基于此數(shù)據(jù)集，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的邊坡裂縫分割模型，實現(xiàn)了邊坡裂縫的識別。本文的整體框架如圖1所示。

圖1 裂縫識別算法整體框架

3 裂縫識別網(wǎng)絡(luò)模型

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Networks,CNN)是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)具有強大的表征學(xué)習(xí)能力，無需手動選取特征，訓(xùn)練好權(quán)重即可得到效果較好的特征分類。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包括輸入層、隱含層和輸出層。

(1) 輸入層。

卷積神經(jīng)網(wǎng)絡(luò)的輸入層可以處理多維數(shù)據(jù)。輸入層主要是對原始圖像進行去均值、歸一化和PCA降維等預(yù)處理操作。

(2) 隱含層。

一個基本的卷積神經(jīng)網(wǎng)絡(luò)的隱含層包含卷積層、池化層和全連接層三類常見結(jié)構(gòu)。卷積層由若干個卷積神經(jīng)單元組成，通過圖像與卷積核的卷積運算，可以實現(xiàn)對輸入圖像的降維和特征提??；池化層又稱為下采樣層，池化層夾在連續(xù)的卷積層之間，用于壓縮數(shù)據(jù)和參數(shù)的量，避免過擬合；全連接層是指將之前卷積層提取的局部特征經(jīng)過池化層降維后，通過權(quán)值矩陣重新組合成完整的圖。全連接層將卷積輸出的二維特征圖轉(zhuǎn)化為一維的向量，在整個卷積神經(jīng)網(wǎng)絡(luò)中起到分類的作用。

(3) 輸出層。

輸出層主要是準備做好最后目標結(jié)果的輸出。在圖像語義分割中，輸出層直接輸出每個像素的分類結(jié)果。

3.2 語義分割

語義分割是指機器自動從圖像中分割出對象區(qū)域，并識別其中的內(nèi)容，語義分割是在像素級別上的分割，即將圖像中每個像素分配到對應(yīng)的某個對象類別。圖2為裂縫分割輸入圖像，圖3是經(jīng)過語義分割后的裂縫輸出圖像。該模型不僅需要識別出裂縫和背景，還要標出每個裂縫對象的邊界。因此，分割模型不僅需要實現(xiàn)目標分類，還需要具有像素級的目標預(yù)測能力。裂縫分割需要區(qū)分裂縫和背景兩類像素。

圖2 裂縫分割輸入圖像

圖3 語義分割后的輸出圖像

常用的語義分割性能評價指標有精確度(Precision)、召回率(Recall)、F1-Score和交并比IoU(Intersection over Union)[13-16],其中Precision表示預(yù)測為正類的樣本中真正的正類所占的比例;Recall表示樣本中正類被正確預(yù)測的比例;F1-Score在數(shù)值上表示二者的調(diào)和均值;IoU指的是分割結(jié)果與真正標簽兩個集合的交集和并集之比。

(1)

(2)

(3)

(4)

3.3 基于卷積神經(jīng)網(wǎng)絡(luò)的邊坡裂縫分割模型FSNet

3.3.1 FSNet網(wǎng)絡(luò)模型

目前，基于圖像的邊坡裂縫識別研究并不多，且沒有公開的邊坡裂縫數(shù)據(jù)集。為此本文構(gòu)建了邊坡裂縫數(shù)據(jù)集?；诖藬?shù)據(jù)集，本文提出了一種邊坡裂縫識別模型FsNet，可以對邊坡裂縫進行更有針對性的特征提取，所設(shè)計的邊坡裂縫識別網(wǎng)絡(luò)FSNet結(jié)構(gòu)如圖4所示。首先經(jīng)過一個卷積層。卷積層和池化層提取邊坡裂縫淺層信息，然后通過4個重復(fù)的stage模塊來構(gòu)建網(wǎng)絡(luò)。每個stage模塊包含不同數(shù)量的特征提取單元和一個降采樣單元。其中，特征提取單元主要通過將輸入通道拆分并與卷積核逐通道進行卷積從而降低了卷積運算的復(fù)雜度；降采樣單元首先通過逐點卷積實現(xiàn)信息間的整合，然后，通過平均池化和最大池化，實現(xiàn)空間尺度的降采樣。最后通過上采樣后實現(xiàn)特征分類。這種設(shè)計思想使得網(wǎng)絡(luò)簡單易實現(xiàn)，且具有強擴展性。

圖4 邊坡裂縫識別網(wǎng)絡(luò)模型

4 實驗結(jié)果及分析

4.1 數(shù)據(jù)集

在邊坡領(lǐng)域，目前沒有公開的邊坡裂縫圖像數(shù)據(jù)集，本研究采用北京市房山區(qū)現(xiàn)場實拍的邊坡裂縫影像數(shù)據(jù)。原始數(shù)據(jù)為邊坡裂縫圖，共有圖片11130張，圖片分辨率為4624像素×3472像素和1920像素×1080像素，但是部分圖像存在拍攝畫面模糊、植物遮擋嚴重、圖片視角重復(fù)等問題，需對圖片進行清洗。

由于采集的圖片尺寸很大，用LabelMe標注時會損失很多的紋理細節(jié)信息，需要將圖片分割為512像素×512像素。在專業(yè)巖土專家的指導(dǎo)下，利用LabelMe軟件進行了人工標注，形成了初始的裂縫數(shù)據(jù)集。在標注后，部分圖片仍存在植物遮擋嚴重、圖片視角重復(fù)等問題，再次對圖片進行清洗，最后形成裂縫數(shù)據(jù)集，共有圖片312張。

4.2 實驗配置

本文數(shù)據(jù)集按照8∶1∶1的比例將全部數(shù)據(jù)劃分為訓(xùn)練集、驗證集和測試集3部分進行交叉驗證，前兩者用于構(gòu)建優(yōu)化模型，而后者則用于模型性能檢驗。本文訓(xùn)練時使用MXNet框架，編程語言為Python3.6，損失函數(shù)使用的是交叉熵函數(shù)，所用的優(yōu)化器為SGD(Saccharomyces Genome Database)，進行批訓(xùn)練的大小為10，迭代次數(shù)為1000，初始學(xué)習(xí)率為3×10-4。

4.3 實驗結(jié)果與分析

本文選取未經(jīng)訓(xùn)練的裂縫圖像用于驗證模型的分割性能，部分裂縫結(jié)果展示如圖5所示。從圖中可以看出，圖5(a)為水平縫，裂縫寬度較小，同時在縫的右下角有間斷的不連續(xù)的沒有規(guī)律的小縫，在識別結(jié)果中完整地分割顯示出來了；圖5(b)為水平斜向下縫，縫兩邊寬度較縫中間寬度大，識別結(jié)果較好；圖5(c)為水平斜向上縫，該縫光線較強，且成波浪型，在識別結(jié)果中并沒有很好的識別出來，但基本走勢可以顯示出來；圖5(d)為豎直縫，該縫光線較暗，且寬度不一，在縫的開始階段有一個很短的水平縫且光線較暗，在識別結(jié)果中沒有識別出來，但縫整體識別較好。由以上結(jié)果可以看出，本文所設(shè)計的FSNet模型對于裂縫的該分割效果與裂縫形態(tài)較為接近，橫縱向裂縫均可以準確定位與識別。從而驗證了采用基于計算機視覺的方法對邊坡裂縫識別的方法是可行的。表1為量化樣本圖像的裂縫分割結(jié)果，總體精度達到94.21%，綜合性能指標F1-Score、IoU均值分別為82.725%和73.48%，表明該模型的識別效果較好，對實際應(yīng)用場景具有一定的適應(yīng)性。

表1 樣本圖1～圖4裂縫分割性能量化評估結(jié)果

圖5 部分裂縫結(jié)果展示

5 結(jié)束語

邊坡裂縫的自動檢測及預(yù)警可以在很大程度上減小主觀因素影響帶來的識別誤差，節(jié)約了人力成本，對公路邊坡安全具有指示性的意義。

根據(jù)邊坡裂縫的特性，本文基于卷積神經(jīng)網(wǎng)絡(luò)的深層網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合自制的邊坡裂縫數(shù)據(jù)集，提出適用于邊坡裂縫的形態(tài)分割模型，構(gòu)建模擬場景并設(shè)置多方法性能對比仿真實驗，結(jié)果表明深度學(xué)習(xí)在邊坡檢測方面具有無可比擬的優(yōu)勢。

盡管深度學(xué)習(xí)在計算機視覺方面取得了革命性進步，但在邊坡災(zāi)害中的應(yīng)用研究仍處于起步和探索階段，仍然面臨著諸多的難題和挑戰(zhàn)。一方面，與傳統(tǒng)識別方法[17]相比，深度語義分割模型[18-20]的特征需要從大數(shù)據(jù)中學(xué)習(xí)得到的，模型性能會高度依賴訓(xùn)練數(shù)據(jù)的數(shù)量和多樣性。而本文的數(shù)據(jù)集在經(jīng)過清洗和分割后，在數(shù)量和多樣性上仍然不具有優(yōu)勢，需要進一步增加數(shù)據(jù)集的樣本量，同時可以看出，本文部分數(shù)據(jù)集存在過亮或過暗的情況，這對識別算法造成了一定的難度，需針對圖像光線過強或過弱的情況對數(shù)據(jù)集進行有針對性的圖像增強。另一方面，雖然本文的分割效果相對較好，但是檢測精度仍需進一步提升。