基于三維點云數(shù)據(jù)的瀝青路面裂縫識別方法*

周 卓 徐青杰 王曉陽 王笑風

(1.河南高速公路發(fā)展有限責任公司宛龍分公司 鄭州 450000；2.河南省交通規(guī)劃設(shè)計研究院股份有限公司 鄭州 450000)

開裂是公路路面病害中最常見的一種，同時也是其他路面病害早期的主要表現(xiàn)形式。傳統(tǒng)檢測方法存在工作效率低、勞動強度大、檢測成本高等缺陷，為了能快捷、有效、科學(xué)地檢測路面病害，需要深入研究裂縫智能化檢測方法，使得檢測效果更可靠、更精確。

隨著深度學(xué)習原理的不斷發(fā)展和應(yīng)用，科研工作者開始將神經(jīng)網(wǎng)絡(luò)應(yīng)用于如路面、橋梁、隧道、測井等一些結(jié)構(gòu)物的裂縫圖像識別問題上。E.Salari[1]通過計算垂直方向和水平方向的直方圖標準偏差，將計算所得圖像裂縫映射到平面特征空間上，通過與真實圖像進行對比，進而開發(fā)出裂縫自動識別技術(shù)，加快了裂縫圖像的識別速率。徐志剛等[2]通過直方圖估計的方法獲取圖像的最優(yōu)分割閾值，利用閾值將圖像進行二值化處理，基于形狀分析法對圖像進行快速分類，實現(xiàn)了裂縫圖像的精準定位。趙任華[3]提出卷積神經(jīng)網(wǎng)絡(luò)分布識別的方法。該方法將樣本數(shù)據(jù)分為2個批次，通過2個階段的樣本訓(xùn)練，得到最終的網(wǎng)絡(luò)模型，其訓(xùn)練時間和預(yù)測精度均得到一定的提升。Tong等[4]建立3個不同的神經(jīng)網(wǎng)絡(luò)分別用于特征提取、位置確定和裂縫識別，利用三維建模計算得到裂縫的詳細參數(shù)和擴展趨勢。Zhang等[5]通過對500幅裂縫圖像進行測試訓(xùn)練，建立基于遞歸神經(jīng)網(wǎng)絡(luò)的裂縫識別算法，測試結(jié)果達到了較高的精度。

從對國內(nèi)外研究現(xiàn)狀的梳理結(jié)果來看，盡管裂縫圖像識別取得了一定的成果，但仍存在以下問題。

1) 裂縫圖像的識別精度有待提高。裂縫圖像的識別不僅受到圖像處理、指標提取、識別算法等內(nèi)部因素的影響，樹木陰影、水漬、道路標線、道路污染物等外部條件也是制約其發(fā)展的重要因素。因此，必須同時保證圖像采集設(shè)備及有效的光照條件才能確保裂縫圖像的高精度識別，這對圖像采集及識別的過程提出較為嚴苛的要求。

2) 當前檢測技術(shù)難以實現(xiàn)自動化識別與分類?；诙S灰度信息的裂縫圖像關(guān)鍵指標難以獲取的事實，檢測結(jié)果會影響分類質(zhì)量，使得自動化識別的連續(xù)性難以保證。

基于此，為進一步提高路面裂縫識別的準確率，本文將激光應(yīng)用到路面信息的采集中，借助三維激光掃描技術(shù)，融合道路信息數(shù)據(jù)，重建瀝青路面路表三維形態(tài)模型，實現(xiàn)瀝青路面裂縫的高效、高精度識別，以及裂縫特征參數(shù)提取，以此彌補二維裂縫圖像的不足，進而提高識別準確率與識別效率。

1 瀝青路面裂縫二維圖像預(yù)處理及圖像分割算法研究

1.1 裂縫二維圖像預(yù)處理

采集的瀝青路面圖像包含一些如顆粒紋理、道路陰影、交通標志線、水痕、輪胎痕跡，以及油漬污染等非目標信息。因此，首先需要對瀝青路面裂縫圖像進行人工初步篩選，剔除像素模糊、遮擋、有污染物的圖片，以保證足夠的信息量。對于圖像傳輸或切割引起的椒鹽噪聲及可能因系統(tǒng)器件中的阻性器件產(chǎn)生的高斯噪聲，選取改進的自適應(yīng)中值濾波[6]，作為本文裂縫圖像的濾波方法，算法步驟如下。

定義：Wab為中心位于(a,b)正在處理的濾波窗口；Wmax為所允許的最大窗口值；f(a,b)為像素點(a,b)的灰度值；fmed為灰度中值；fmax為灰度極大值；fmin為灰度極小值。

1) 假如fmin

2) 假如fmin

3) 假如Wab

4) 輸出除最大值和最小值以外的灰度均值favg，如果favg不存在，則favg=(fmax+fmin)/2。

1.2 裂縫二維圖像分割

在均值漂移算法的基礎(chǔ)上，利用最鄰近法計算均值漂移算法的帶寬，目標跟蹤的移動方向為概率密度函數(shù)梯度的方向，移動的步長除了與梯度大小有關(guān)外，還與概率密度的大小呈反比關(guān)系，最終在基準點處峰值得到快速收斂[7]，圖像分割步驟[8-9]如下。

1) 根據(jù)漂移迭代運算對采樣點xi位置計算附近像素點的距離，根據(jù)最近鄰點判斷得到相應(yīng)的帶寬。

2) 對所有像素點的集合X統(tǒng)計出樣本的灰度直方圖，根據(jù)一維灰度直方圖對樣本集合{y1，y2，y3，…，yLmax-1}計算出mHi(y)。

3) 根據(jù)目標位置的跟蹤，即可達到下一步移動方向和位置，對下一個目標像素點利用迭代運算得到mHi(y)，重復(fù)此步驟即可得到所有目標像素點mHi(y)值，將得到的mHi(y)值接近閾值T的像素點收斂于集合Z={z1，z2，…，zk}中。

4) 為了避免在移動中重復(fù)計算某一個目標像素點，在對目標位置實時跟蹤時，可在移動過程中對該像素點進行標記。

5) 根據(jù)目標像素點的計算值進行裂縫圖像分割，不斷重復(fù)上述步驟，直到結(jié)束。

2 瀝青路表三維重構(gòu)及特征指標提取

2.1 三維點云數(shù)據(jù)預(yù)處理

在路面數(shù)據(jù)采集過程中，由于采集設(shè)備的震動或誤差，光照雨水等自然因素，均會使路面數(shù)據(jù)中存在大量的噪聲，導(dǎo)致三維點云數(shù)據(jù)中的某些邊緣細節(jié)丟失，需要進行濾波去噪來提高數(shù)據(jù)質(zhì)量。本文對三維點云數(shù)據(jù)的處理包括2個方面：①階躍消除；②高斯濾波去噪。

2.1.1三維點云數(shù)據(jù)階躍消除

在進行階躍消除時首先應(yīng)先判斷該點云數(shù)據(jù)是否發(fā)生了階躍現(xiàn)象，然后再進行消除，其判斷過程如下：①計算點云數(shù)據(jù)左側(cè)深度均值與右側(cè)深度均值；②將左側(cè)均值與右側(cè)均值進行相減，將差值的絕對值與判定條件進行比較，超過判定條件的，即認定為出現(xiàn)階躍現(xiàn)象；③基于判定結(jié)果，提升均值較低的半邊點云數(shù)據(jù)，將左右2幅點云數(shù)據(jù)進行拼接，即完成了點云數(shù)據(jù)階躍消除。

(1)

(2)

Δ=|IL-IR|

(3)

式中：n為點云數(shù)據(jù)像素中值；I(i,j)為點云數(shù)據(jù)像素深度值；IL為左半幅點云數(shù)據(jù)深度均值；IR為右半幅點云數(shù)據(jù)深度均值。

考慮到點云數(shù)據(jù)左右兩邊像素深度由于坑槽、裂縫等因素不可能完全一致，因此設(shè)定當Δ>5時，被認定為發(fā)生了點云數(shù)據(jù)階躍現(xiàn)象，將較低深度的半幅點云數(shù)據(jù)進行提升Δ，以此消除點云數(shù)據(jù)階躍現(xiàn)象，經(jīng)過試驗測試，該方法可以很好地保留點云數(shù)據(jù)的原有信息不發(fā)生破壞。

2.1.2高斯濾波去噪

為消除點云數(shù)據(jù)采集過程中因車輛設(shè)備抖動或道路坑槽、車轍所引起的圖像像素波動范圍的差異，利用式(4)獲取尺寸為101×101、σ為80的高斯卷積核進行卷積運算，并將運算所得像素點與原像素點進行差值計算，完成高斯濾波降噪。高斯卷積核公式及濾波效果圖分別如式(4)和圖1。

(4)

圖1 三維點云數(shù)據(jù)高斯濾波處理

由圖1可見，通過高斯濾波降噪后的三維點云數(shù)據(jù)明顯消除一定數(shù)量的數(shù)據(jù)噪聲，且完整保留了原有的裂縫信息，成功消除了除裂縫外的其它因素對點云數(shù)據(jù)的干擾。

2.2 三維點云數(shù)據(jù)路表形態(tài)重構(gòu)

三維點云數(shù)據(jù)預(yù)處理的目標是將缺失的數(shù)據(jù)進行補全和對采集的海量點云數(shù)據(jù)進行特征簡化使得數(shù)據(jù)規(guī)模變小。而瀝青路面三維點云數(shù)據(jù)的重構(gòu)能將采集的三維點云數(shù)據(jù)重新構(gòu)建成三維形態(tài)，基于此提取出相應(yīng)的瀝青路面裂縫信息，提取的三維裂縫信息包括裂縫深度、體積，這些可為瀝青路面的裂縫識別提供更高維度的判斷指標。

三維點云重構(gòu)算法流程如下。

1) 讀入三維點云數(shù)據(jù)后，尋找點云模型最小包圍盒并進行空間劃分。

2) 利用邊界柵格識別與生長算法提取點云邊界點。

3) 利用模糊熵迭代點云精簡算法對非點云邊界點進行精簡，之后將它與邊界點合并得到精簡點云。

4) 構(gòu)造出點表PList、邊表SList和三角形表TList并初始化，其中點表中存放步驟3)中得到的精簡點云。

5) 從邊表中取出1條邊，在臨近柵格內(nèi)尋找符合邊擴展準則的點構(gòu)造新三角形并更新點表、邊表和三角形表。

6) 判斷邊表是否為空，如果邊表非空則跳至步驟5)繼續(xù)執(zhí)行，否則三維重構(gòu)完成。重構(gòu)效果圖見圖2。

圖2 三維點云數(shù)據(jù)路表形態(tài)重構(gòu)圖

2.3 三維點云數(shù)據(jù)特征指標提取

為了提取路表三維點云數(shù)據(jù)裂縫特征，本文利用標定矩陣和光條中心坐標獲得路面三維輪廓數(shù)據(jù)。基于稀疏分解理論完成三維輪廓數(shù)據(jù)進行的分離和裂縫特征提取。

二維圖像坐標與三維世界坐標的轉(zhuǎn)換關(guān)系如式(5)所示。

(5)

式中：(u,v,1，0)為光條中心的圖像齊次坐標；(xw,yw,zw,1)為路面三維輪廓的齊次坐標；S為1個尺度因子；R為攝像機和光平面標定后獲得的標定矩陣。

根據(jù)采集到的三維點云數(shù)據(jù)裂縫特征，將其與二維路面圖像結(jié)合共同進行深度學(xué)習，能在一定程度上提高單純二維圖像的深度學(xué)習框架的準確率和魯棒性。

3 瀝青路面裂縫圖像智能識別與分類

3.1 基于密集神經(jīng)網(wǎng)絡(luò)的圖像識別算法研究

在神經(jīng)網(wǎng)絡(luò)中，梯度會隨著神經(jīng)網(wǎng)絡(luò)的加深出現(xiàn)部分信息丟失，針對該問題，選用DenseNet算法，在保證層間最大數(shù)據(jù)傳輸?shù)那疤嵯?，將所有層間結(jié)構(gòu)連接起來，每一層轉(zhuǎn)換函數(shù)的輸入均為前面結(jié)構(gòu)的所有輸出。其原理公式見式(6)。

xn=Hn([x0,x1,…,xn-1])

(6)

式中：[x0,x1,…,xn-1]為將0到n-1層的輸出以通道的形式進行合并，即作為第n層的輸入；非線性函數(shù)Hn(·)為BN-ReLU-Conv(3×3)的操作組合。為了簡化架構(gòu)中的采樣形式，同時保證特征圖大小一致，需要在相鄰的Dense Block中添加過渡層，表現(xiàn)結(jié)構(gòu)為BN-Conv(1×1)-AvgPooling(2×2), 其中1×1的卷積可對密集神經(jīng)網(wǎng)絡(luò)中不同層級的特征進行自適應(yīng)融合，也可對模型參數(shù)進行降維計算，Dense Net網(wǎng)絡(luò)架構(gòu)見圖3。

圖3 DenseNet網(wǎng)絡(luò)結(jié)構(gòu)圖

3.2 圖像識別結(jié)果與分析

本文采用MATLAB軟件驗證識別裂縫圖像的精度，經(jīng)過人工篩選后，選取500張高質(zhì)量裂縫圖像作為訓(xùn)練集，200張圖像作為驗證集，通過圖像處理后，每張圖像被切割為尺寸64×64樣本圖像，共1 024張，同時為比較算法的優(yōu)劣性，選取裂縫信息融合算法A[10]及PCCNet模型算法B[11-12]作為對照驗證結(jié)果，在相同三維數(shù)據(jù)的基礎(chǔ)上，比較算法的準確率、召回率及F值，部分驗證結(jié)果見表1、圖4、圖5。

圖4 部分裂縫圖像識別示意圖

圖5 200張驗證圖像識別準確率與召回率

通過對3種基于三維點云數(shù)據(jù)的對比，算法A和算法B在計算橫向裂縫和縱向裂縫時的準確率、召回率較好，但在識別網(wǎng)狀裂縫時，識別準確率及召回率均有明顯的下降，本文所提供的方法雖然在識別網(wǎng)狀裂縫綜合性能也略有下降，但仍明顯高于A算法的76.51%和B算法的83.58%，從總的識別結(jié)果來看，本文算法能夠檢測出A算法和B算法部分遺漏的網(wǎng)狀裂縫，避免了一定的錯檢、漏檢，檢測效果較為理想。

通過應(yīng)用本文方法后，選取的200張瀝青路面裂縫圖像的識別準確率為86%～100%，準確率均值為93.21%；召回率為84%～96%，召回率均值為90.3%。測試結(jié)果表明，本文通過利用三維點云數(shù)據(jù)對二維圖像進行輔助判別的方法，大大提高了裂縫圖像的識別準確率，具有良好的普適性，可滿足實際需求。

4 結(jié)語

本文將激光掃描技術(shù)應(yīng)用到路面信息的采集中，借助三維激光掃描技術(shù)，重建瀝青路面路表三維形態(tài)模型，實現(xiàn)瀝青路面裂縫的高效高精度識別與裂縫特征參數(shù)提取，基于密集神經(jīng)網(wǎng)絡(luò)算法，完成裂縫圖片的自動化識別及智能分類，結(jié)論如下。

1) 針對裂縫圖像三維點云數(shù)據(jù)左右數(shù)據(jù)不齊的現(xiàn)象，通過將左右2幅點云數(shù)據(jù)進行拼接處理，完成了點云數(shù)據(jù)階躍消除。

2) 利用標定矩陣和光條中心坐標成果獲取路面三維輪廓數(shù)據(jù)，同時基于稀疏分解理論對三維輪廓數(shù)據(jù)進行了分離和裂縫特征的提取。

3) 將提取的三維點云數(shù)據(jù)用于圖像識別準確率的提升，通過該方法測試所得的準確率為86%～100%，準確率均值為93.21%；召回率為84%～96%，召回率均值為90.3%。測試結(jié)果表明，本文利用三維點云數(shù)據(jù)對二維圖像進行輔助判別的方法，能夠提高裂縫圖像的識別準確率，具有良好的普適性。