基于機器視覺的路橋裂縫病害自動檢測技術(shù)

洪衛(wèi)星，吳 羨，陳貴海,3，郭丹桂，毛明潔

（1.南京智行信息科技有限公司，江蘇 南京 211100；2.江蘇前沿交通研究院，江蘇 南京 211100；3.上海交通大學(xué)，上海 200030；4.廣東博大高速公路有限公司博深分公司，廣東 惠州 516100）

0 引言

裂縫是路橋表面最常見的病害，更是其他類型病害的主要誘因，但針對裂縫的自動化檢測技術(shù)發(fā)展較為緩慢，傳統(tǒng)的人工檢測則存在檢測效率低、主觀性強、檢測人員人身安全及設(shè)備安全難以得到保證等問題。隨著科技的進步，機器視覺技術(shù)在自動化檢測領(lǐng)域發(fā)揮著越來越重要的作用。從裂縫病害檢測這一角度探索機器視覺技術(shù)在路橋病害自動檢測中的應(yīng)用，研究關(guān)鍵算法執(zhí)行力和輕量化的平衡機制，促進機器視覺檢測技術(shù)在道路病害檢測中的高效利用具有重要的現(xiàn)實意義[1-2]。

國內(nèi)外目前對于裂縫等路面破損類病害的檢測技術(shù)已經(jīng)從傳統(tǒng)的人工檢測階段過渡到自動識別檢測階段，主要采用圖像檢測技術(shù)和機器識別技術(shù)[3]。從20 世紀(jì)70 年代開始，英美等發(fā)達(dá)國家便開始將檢測車作為裂縫病害的主要檢測設(shè)備，但是該方法自動化程度不高，往往只能用于裂縫病害的數(shù)據(jù)采集，仍需投入大量的人力進行病害分析[4-6]。我國也研發(fā)出多種型號的病害檢測車，但同樣存在自動化水平不高的問題。Zakeri等[7]針對基于圖像進行裂縫病害的識別技術(shù)，系統(tǒng)梳理并總結(jié)出了需要開展的五個階段工作，即圖像的預(yù)處理、分割、特征提取、特征選擇、檢測和分類。針對圖像的預(yù)處理，Yao等[8]開發(fā)了一種新的成像系統(tǒng)，能夠在不使用任何人工照明的情況下解決路面圖像中的噪聲和偽影，用于顯著減輕陰影對圖像的影響。Tasi 等[9]比較了包括回歸閾值、邊緣檢測、裂紋種子驗證、小波、迭代裁剪技術(shù)和動態(tài)優(yōu)化在內(nèi)的6 種分割技術(shù)，以定量評估各種圖像分割方法的性能，測試結(jié)果表明，基于動態(tài)優(yōu)化的技術(shù)在所有圖像上都表現(xiàn)出比其他方法更好的性能。在特征提取和選擇方面，離散傅立葉變換、哈爾變換、曲波變換、脊波變換、剪切波變換和不變矩等方法在特征提取過程中較為常用且應(yīng)用效果較好；支持向量機（Support vector machine,SVM）是許多應(yīng)用程序中使用的最佳特征選擇算法之一[10]。在病害檢測和分類方面，研究人員基于機器學(xué)習(xí)提出了多種方法來區(qū)分路面圖像中不同類型的病害，主要可以分成三種：有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)[11-12]。我國的學(xué)者在病害識別算法和系統(tǒng)集成研發(fā)等領(lǐng)域也開展了探索性的研究，通過不斷改進算法和系統(tǒng)測試，提出了例如小波變換、分塊處理等方法來解決裂縫數(shù)據(jù)的獲取問題[13-17]。從國內(nèi)外已有的研究成果來看，這些方法有的側(cè)重于算法的持續(xù)創(chuàng)新[18]，有的側(cè)重于應(yīng)用的持續(xù)創(chuàng)新，都比較注重個別場景和對特征的檢測[19]，但缺乏以機器視覺技術(shù)為基礎(chǔ)的裂縫病害檢測的研究。

目前道路裂縫病害巡檢工作由于受到技術(shù)限制，主要存在以下問題：①以人工檢測為主，僅少部分采用了智能化巡檢設(shè)備，但設(shè)備功能單一、智能化程度低[20]；②道路技術(shù)狀況檢測車成本高，檢測周期長，平均一年一次左右，無法適應(yīng)病害常態(tài)化巡檢要求[21-22]。

本文將在已有研究的基礎(chǔ)上，從以下方面進行探索，旨在快速構(gòu)建操作簡便、流程完整的道路病害自動檢測系統(tǒng)，充分發(fā)揮機器視覺技術(shù)在道路養(yǎng)護和管理領(lǐng)域的優(yōu)越性：①通過視頻采樣+機器視覺檢測技術(shù)，利用邊緣設(shè)備對視頻圖像進行分析比對，識別道路裂縫病害特征；②運用特征檢測模型算法，實現(xiàn)對病害樣本的快速采集、分析和判斷，從而提高公路設(shè)施健康巡查管理效率；③依托工程項目，形成一套基于機器視覺的路橋裂縫病害識別分析系統(tǒng)。

1 基于機器視覺的路橋裂縫病害檢測技術(shù)

路橋日常病害巡查一般是利用無人機、巡查車輛對路橋病害進行自動巡查。本研究通過對無人機、巡查車輛的改造，配備相應(yīng)的智能化設(shè)備，如邊緣計算主機、高清攝像頭、北斗雙模系統(tǒng)等，實現(xiàn)對路橋裂縫病害的自動化巡查。

1.1 應(yīng)用流程

路橋裂縫病害自動檢測主要是利用能夠精準(zhǔn)識別樁號及傳輸數(shù)據(jù)的無人機和巡查車輛對路橋進行自動巡檢，對采集的裂縫病害視頻圖像進行預(yù)處理，將車道信息、位置信息、時間信息、圖片視頻信息等傳輸至后臺，由后臺對路橋裂縫病害進行檢測與分類，計算其寬度、長度和面積，最終由病害綜合管理及派單系統(tǒng)對需要管養(yǎng)的裂縫病害進行結(jié)果輸出。路橋裂縫病害自動檢測應(yīng)用流程如圖1所示。

圖1 路橋裂縫病害自動檢測應(yīng)用流程

1.2 基于智能巡查車的裂縫病害檢測

基于智能巡查車的裂縫病害檢測主要是基于現(xiàn)有智能化設(shè)備，如邊緣主機、智能攝像頭和北斗雙模系統(tǒng)，對相應(yīng)車道的裂縫進行識別和量化檢測。

智能巡查車通過攝像頭采集路橋環(huán)境信息，將視頻流或視頻幀傳輸?shù)椒?wù)器端，病害檢測分類算法對接收到的數(shù)據(jù)進行分析，并輸出結(jié)果到裂縫病害綜合管理系統(tǒng)。其中，輸出的結(jié)果包括但不限于裂縫發(fā)現(xiàn)時間、裂縫發(fā)現(xiàn)地點經(jīng)緯度、裂縫類型以及巡查車輛編號等信息。巡查車智能化提升改造措施如圖2所示。

圖2 巡查車智能化提升

1.3 基于無人機的裂縫病害檢測

基于無人機的裂縫病害檢測主要是利用具備最新飛控系統(tǒng)、智能控制技術(shù)的無人機，針對路橋巡檢中人工不易到達(dá)的危險位置，根據(jù)結(jié)構(gòu)檢測點制定自動巡航線路，自動對檢測點進行拍攝，同時利用搭載的分析模塊對裂縫病害進行實時分析，并將分析結(jié)果疊加在視頻流上通過5G模塊或自組網(wǎng)同步傳輸至指揮中心。智能養(yǎng)護巡檢無人機具有自定義航線、定時巡檢、實時傳輸和本地邊緣計算等特點，可與地面巡檢車輛多元聯(lián)動。無人機智能化升級情況如圖3所示。

圖3 無人機智能化升級

1.4 技術(shù)原理

路橋裂縫病害檢測主要是利用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)進行目標(biāo)識別與檢測。卷積神經(jīng)網(wǎng)絡(luò)的整體架構(gòu)如圖4所示。

圖4 卷積神經(jīng)網(wǎng)絡(luò)整體架構(gòu)圖

通過實踐，對傳統(tǒng)的目標(biāo)檢測網(wǎng)絡(luò)Faster RCNN（Faster Region-Convolutional Neural Network）進行修改，采用MobileNet進行深度可分離卷積，利用Faster R-CNN 進行路橋表面病害深度學(xué)習(xí)和應(yīng)用訓(xùn)練，設(shè)定和調(diào)試不同的參數(shù)包以滿足路橋裂縫病害檢測要求。

基于Faster R-CNN 路橋病害檢測器的檢測訓(xùn)練過程如圖5所示。

圖5 病害檢測訓(xùn)練過程

2 基于機器視覺的路橋裂縫病害檢測算法模型

2.1 算法模型的選取和優(yōu)化

系統(tǒng)根據(jù)實際場景訓(xùn)練學(xué)習(xí)，調(diào)整優(yōu)化檢測模型，選擇更適合路橋特征病害自動檢測的識別算法，尋求快速化與執(zhí)行精度之間的最佳平衡。系統(tǒng)選取目標(biāo)檢測模型，通過路橋裂縫病害檢測實踐，確定模型算法。

對傳統(tǒng)的目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN 進行修改，替換特征提取網(wǎng)絡(luò)。使用深度可分離卷積MobileNet 進行卷積，從而減少網(wǎng)絡(luò)模型的參數(shù)量，提高計算速度，基于3× 3 的卷積核，參數(shù)量可以減少至原來的1/8。路橋裂縫病害識別模型主要由兩個卷積神經(jīng)網(wǎng)絡(luò)組成，即獲取興趣區(qū)域的區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network,RPN）和提取區(qū)域特征的Fast R-CNN。

2.2 病害特征的提取算法

路橋檢測的工作場地一般在戶外，影響攝像機采集的因素很多，如光照、天氣等。首先，為減少圖片原始數(shù)據(jù)量和后續(xù)處理時的計算量，要對采集的圖片進行灰度與增強處理。然后通過濾波算法對圖片去噪，選取小波變換濾波方法保證在去噪的同時較好地保持圖像的細(xì)節(jié)。之后用面積剔除法對圖像進行分割，獲取裂縫的信息。由于拍攝角度、光線強度、灰塵殘留等因素的影響，裂縫在圖像中并非呈連續(xù)狀態(tài)，最后基于KD 樹（K-dimensional Tree）算法對圖像中裂縫的零碎片段進行連接，從而獲得完整的裂縫。整個算法流程如圖6所示。

圖6 目標(biāo)分割算法流程

2.3 病害目標(biāo)特征識別

按照類型的不同，裂縫可分為橫向裂縫、縱向裂縫、塊狀裂縫和網(wǎng)狀裂縫。這4 類裂縫特征各不相同，可根據(jù)其特征減少機器學(xué)習(xí)中的維度訓(xùn)練時間，有助于提高分類精度。在完成多份路橋裂縫圖像樣本分析后，以裂縫的統(tǒng)計特征作為主要的分類依據(jù)，再利用向量機分類器對路橋裂縫圖像進行分析歸類。

（1）統(tǒng)計特征

分析大量樣本圖像發(fā)現(xiàn)，橫向裂縫與縱向裂縫的圖像占用面積遠(yuǎn)小于塊狀裂縫與網(wǎng)狀裂縫。橫向裂縫和縱向裂縫皆保持連貫狀態(tài)，且不存在連續(xù)長距離分叉的現(xiàn)象，故以線統(tǒng)計特征與塊統(tǒng)計特征為依據(jù)對裂縫進行分類。

首先，用水平線與豎直線將圖像等距地分割成若干個等寬等長的小方格，裂縫與水平線交叉的次數(shù)記做Nhor，與豎直線交叉的次數(shù)記做Nper。對大量樣本進行統(tǒng)計分析可知，橫向裂縫與豎直線相交次數(shù)多于與水平線相交次數(shù)（即橫向裂縫：Nper＞Nhor）；縱向裂縫與水平線相交次數(shù)多于與豎直線相交次數(shù)（即縱向裂縫：Nhor＞Nper）；塊狀裂縫與水平線及豎直線均有相交，次數(shù)相近，且次數(shù)之和大于橫向裂縫（或縱向裂縫）與水平線及豎直線相交次數(shù)之和；網(wǎng)狀裂縫與水平線及豎直線均有相交，次數(shù)相近，且次數(shù)之和大于塊狀裂縫與水平線及豎直線相交次數(shù)之和。線統(tǒng)計特征如圖7所示。

圖7 線統(tǒng)計特征

然后，按照一定的比例，將檢測后得到的裂縫圖像分割為m×m的等高等寬小方格，記含有裂縫的小方格個數(shù)為M，如圖8所示。

圖8 塊統(tǒng)計特征

（2）特征向量分析

基于現(xiàn)有建立的裂縫樣本庫，提取4 種裂縫樣本圖各100張，圖9為提取出的部分樣本圖像。

圖9 裂縫樣本

對圖像統(tǒng)計特征進行分析，結(jié)果如圖10～圖12所示。

圖10 裂縫與水平線交點數(shù)

圖11 裂縫與豎直線交點數(shù)

圖12 含有裂縫區(qū)域的小塊數(shù)目

由圖10 和圖11 可知，以等距等寬的水平線和豎直線將圖像均分為若干個小方格，塊狀裂縫和網(wǎng)狀裂縫與水平線及豎直線相交次數(shù)較多，橫向裂縫與豎直線相交次數(shù)大于與水平線相交次數(shù)；縱向裂縫與水平線相交次數(shù)大于與豎直線相交次數(shù)。

由圖12可知，將圖像分割成若干個等寬等高的小方格，統(tǒng)計發(fā)現(xiàn)網(wǎng)狀裂縫占據(jù)小方格數(shù)量最多，其次為塊狀裂縫，橫向裂縫與縱向裂縫較少。

綜上所述，與豎直線相交次數(shù)大于與水平線相交次數(shù)且方格數(shù)較少的為橫向裂縫；與水平線相交次數(shù)大于與豎直線相交次數(shù)且方格數(shù)較少的為縱向裂縫；與水平線及豎直線相交次數(shù)較多且方格數(shù)最多的為網(wǎng)狀裂縫；與水平線及豎直線相交次數(shù)較多且方格數(shù)次多的為塊狀裂縫。

2.4 病害量化計算

獲取裂縫病害目標(biāo)的面積、長度、寬度等幾何特征，有助于提高系統(tǒng)的預(yù)警效率?；跈C器視覺的病害測量方法如下。

（1）量化標(biāo)定

系統(tǒng)設(shè)定單位像素和實際單位（mm）之間的換算關(guān)系，同時設(shè)定量化標(biāo)定物。圖13所示病害量化標(biāo)定物為邊長30mm 的菱形，左邊菱形中間為直徑12mm的圓，右邊菱形中間為邊長，高為12mm 的等邊三角形，圓心與等邊三角形中心距為20mm。

圖13 病害量化標(biāo)定物

按照拍攝條件的不同設(shè)定不同的系數(shù)，圓直徑對應(yīng)像素為αpixel，圓直徑為βmm，則標(biāo)定系數(shù)μ為：

（2）面積測量

采用像素點法進行裂縫面積測量，即統(tǒng)計裂縫邊緣及其內(nèi)部封閉像素點的總數(shù)。裂縫圖像經(jīng)分割后形成二值圖像，假設(shè)A是二值圖像目標(biāo)的區(qū)域面積，即目標(biāo)區(qū)域包含的像素數(shù)，M×N代表寬×長，圖像中只含有灰度值為0 和1 的像素點，目標(biāo)裂縫灰度值f(x,y)=1，背景像素灰度值為0，通過統(tǒng)計f(x,y)=1 的個數(shù)，得到裂縫區(qū)域面積A為：

（3）長度測量

采用中心線法測量裂縫長度。首先找到裂縫的中心線位置，然后計算中心線長度，所得的中心線長度即為裂縫長度。具體步驟如下：

①以M×N的矩陣存儲裂縫二值圖像并對其掃描，確定左右邊緣的坐標(biāo)，分別標(biāo)定為(xL,yL)和(xR,yR)，且yL=yR。其中，xL為左邊緣橫坐標(biāo)；yL為左邊緣縱坐標(biāo)；xR為右邊緣橫坐標(biāo)；yR為右邊緣縱坐標(biāo)。

②計算每行中心點坐標(biāo)(x0,y0)，x0為每行中心點橫坐標(biāo)，y0為每行中心點縱坐標(biāo)。其中：

③依次統(tǒng)計各相鄰兩中心點之間的距離，將各距離相加，記作裂縫長度L。

（4）寬度測量

裂縫形狀不規(guī)則，各個部分寬度不一，按平均寬度計，計算公式如下：

式（5）中：W為裂縫平均寬度；A為裂縫區(qū)域面積；L為裂縫長度。

3 應(yīng)用實例

自2019 年9 月起，本文研究成果在廣東省8條高速進行了實際應(yīng)用。截至2021 年1 月，共排除安全隱患8 760 多起，及時發(fā)現(xiàn)、修復(fù)路橋裂縫病害2 300余處。

相比傳統(tǒng)人工方法費時費力地逐一檢查，基于機器視覺的橋梁病害檢測技術(shù)只需對采集到的圖片加以處理分析，即可快速檢測并判別病害的位置與等級，病害識別準(zhǔn)確率達(dá)到95%以上，巡檢效率提升10倍。圖14～圖15為實際路橋巡檢中的裂縫實時檢測畫面。

圖14 實際檢測中的病害量化標(biāo)定物

圖15 基于機器視覺的路橋病害檢測系統(tǒng)界面

4 結(jié)語

路橋裂縫病害的檢測調(diào)查是公路日常養(yǎng)護工作的重要內(nèi)容，對保持路面良好的技術(shù)狀況，保障行車安全和舒適性具有重要意義。本文以機器視覺技術(shù)、圖像處理技術(shù)在路橋裂縫病害檢測工作中的而應(yīng)用為主要研究對象，重點針對利用機器視覺技術(shù)實現(xiàn)對病害特征提取、特征識別和量化計算算法進行了比較研究，提出并研發(fā)了一種路橋裂縫病害的自動檢測方法。通過實際工程應(yīng)用驗證和模型優(yōu)化，實現(xiàn)了對路面裂縫病害的自動化檢測和95%的識別準(zhǔn)確率。研究認(rèn)為，采用基于機器視覺的自動檢測技術(shù)能夠保證養(yǎng)護維修的及時性、有效性，有助于提升路橋管養(yǎng)部門養(yǎng)護科學(xué)化決策水平。本文僅針對路橋的裂縫類病害進行了研究，下一步可拓展研究對象范圍，針對其他類型病害的檢測開展相關(guān)研究。隨著目標(biāo)檢測算法的不斷更新和發(fā)展，以YOLO為代表的一階段目標(biāo)檢測算法的應(yīng)用越來越廣泛，后續(xù)可針對算法優(yōu)化方面開展進一步的研究，提升算法的識別效率和準(zhǔn)確率。隨著機器視覺檢測技術(shù)的普及應(yīng)用，“一模多檢”的應(yīng)用也將成為一個研究方向。