SLIC超像素與Inception網(wǎng)絡(luò)的路面裂縫識別方法

湯青洲， 張德津,2， 王墨川， 胡成雪， 陶 健

(1 湖北工業(yè)大學(xué)電氣與電子工程學(xué)院，湖北 武漢 430068;2 深圳大學(xué)廣東省城市空間信息工程重點實驗室,深圳 518060)

裂縫是瀝青路面病害最常見的表現(xiàn)形式之一，識別路面裂縫是路面養(yǎng)護的重要前提?，F(xiàn)有的裂縫識別方法主要有閾值法、邊緣檢測、形態(tài)學(xué)和深度學(xué)習(xí)方法等。閾值法在裂縫灰度值區(qū)間跨度大或存在較多點狀噪聲的情況下，難以實現(xiàn)背景紋理與裂縫的有效分割[1]。邊緣檢測方法在噪聲較為敏感且在低對比度的情況下難以獲取準(zhǔn)確的裂縫區(qū)域[2]。形態(tài)學(xué)方法如最小路徑法和基于種子方法，其局限性在于算法參數(shù)較多[3-5]。深度學(xué)習(xí)也被應(yīng)用于解決裂縫識別問題，這類方法利用大量數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，解決了傳統(tǒng)算法泛化能力差和精度不夠的問題[6-7]。CNN中的卷積與池化可以自動提取圖像不同尺度不同維度的特征，被廣泛應(yīng)用，但難以處理圖像中目標(biāo)的旋轉(zhuǎn)、縮放和缺失等變化。為此，學(xué)者們提出了限定裂縫檢測的任務(wù)與場景的方法，如基于子塊分類法，即將輸入圖像分成重疊的子塊，然后對子塊圖像分類[8-10]。基于子塊分類的裂縫檢測方法通常采用均勻分割模式，優(yōu)點是效率較高，缺點是由于部分裂縫子塊中裂縫段位于子塊邊緣，導(dǎo)致使用CNN識別的準(zhǔn)確率較低。

本文提出了一種基于超像素分割與Inception網(wǎng)絡(luò)的瀝青路面裂縫檢測方法[11]。為解決路面圖像中存在大量點狀噪聲的問題，引入超像素分割方法，將圖像分割為勻質(zhì)超像素，并以其質(zhì)心為中心點劃分子塊，得到子塊樣本集；再將樣本集分為裂縫子塊與背景子塊，并結(jié)合像素級形態(tài)學(xué)方法實現(xiàn)路面圖像中裂縫的準(zhǔn)確定位和主干提?。贿M一步，針對裂縫不連續(xù)的特點，采用超像素級形態(tài)學(xué)方法獲取裂縫的完整形態(tài)。

1 技術(shù)路線

基于InceptionV3網(wǎng)絡(luò)和超像素的路面裂縫識別方法，本文所提方法技術(shù)路線如圖1所示。先利用 SLIC超像素分割方法將裂縫區(qū)域與背景分離，然后使用Inception V3提取子塊圖像特征并裂縫和背景子塊進行二分類，再采用像素級與超像素級形態(tài)學(xué)方法得到完整裂縫形態(tài)。

圖 1 技術(shù)路線

2 超像素和Inception網(wǎng)絡(luò)圖像定位

2.1 SLIC的超像素分割方法

基于子塊分類的裂縫檢測方法通常采用效率較高的均勻分割模式，然而裂縫呈線狀且多為橫向或縱向裂縫，使得裂縫段大多位于裂縫子塊邊緣，導(dǎo)致識別準(zhǔn)確率較低。因此本文以超像素分割對象質(zhì)心為中心獲取子塊并對其進行分類，有效避免裂縫子塊中裂縫位于邊緣。且超像素分割對象具有相似的大小和形狀，更有利于InceptionV3網(wǎng)絡(luò)對其進行特征提取。

超像素分割是指根據(jù)像素的顏色差異、紋理特征等將相似的相鄰像素點聚集起來，用少量超像素代替原有像素點，生成一系列具有一定視覺意義的不規(guī)則像素集，有效減少處理對象數(shù)量，同時剔除一部分異常點。超像素分割方法主要分為基于圖論與基于梯度下降兩種，其中簡單線性迭代聚類算法(SLIC)具有速度快、邊緣貼合度高、且生成超像素形狀規(guī)則大小均勻的優(yōu)勢[12]。其處理彩色圖像的基本思想為基于Lab色彩空間構(gòu)造的距離度量標(biāo)準(zhǔn)在局部范圍內(nèi)對像素點進行K-means聚類。為此，在本文中被用于對圖像進行初始分割，由于本文路面圖像為灰度圖，根據(jù)向量Gi=[gixiyi]T構(gòu)造距離度量標(biāo)準(zhǔn)，其中g(shù)i為像素灰度值設(shè)置距離度量，SLIC算法應(yīng)用于路面灰度圖像具體步驟如下：

1)SLIC第一步隨機選取K個種子點作為初始聚類中心；

2)采用K-means算法在初始種子點的s×s鄰域內(nèi)為像素點分配標(biāo)簽；

3)將像素點灰度值結(jié)合坐標(biāo)生成三維向量Gi=[gixiyi]T，并據(jù)此向量設(shè)置像素點與聚類中心的距離度量D′；距離度量公式如下：

(1)

(2)

(3)

式(1)中dg表灰度值分量，式(2)中ds表示距離分量，距離度量D'如式(3)。式(3)中，m衡量灰度相似性與空間鄰近性，m較大時，空間鄰近性在距離度量中占更大比重，且生成的超像素更緊湊；當(dāng)m較小時，灰度相似性所占比重更大，超像素更貼合邊緣。

4)迭代優(yōu)化直至誤差收斂。

2.2 InceptionV3網(wǎng)絡(luò)實現(xiàn)圖像定位

為滿足InceptionV3網(wǎng)絡(luò)格式的要求，必須將超像素轉(zhuǎn)換為方形圖像塊，對每個超像素提取與其共享質(zhì)心的子塊圖像。超像素的區(qū)域類別與其對應(yīng)的子塊圖像構(gòu)成了標(biāo)簽及訓(xùn)練樣本集，將標(biāo)簽與樣本集引入InceptionV3網(wǎng)絡(luò)，用于網(wǎng)絡(luò)訓(xùn)練和超像素分類。

大量標(biāo)記訓(xùn)練數(shù)據(jù)對網(wǎng)絡(luò)訓(xùn)練過程中特征提取過程至關(guān)重要，直接影響最終分類結(jié)果準(zhǔn)確性。同時，過少訓(xùn)練數(shù)據(jù)會導(dǎo)致模型訓(xùn)練過擬合，并造成測試樣本上泛化性能較差。然而與大量自然圖像數(shù)據(jù)相比，公開路面圖像數(shù)據(jù)集較少，無法充分訓(xùn)練網(wǎng)絡(luò)參數(shù)。本文采用預(yù)訓(xùn)練網(wǎng)絡(luò)改善模型的泛化性能。

圖 2 InceptionV3網(wǎng)絡(luò)結(jié)構(gòu)

InceptionV3預(yù)訓(xùn)練網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖2所示，在ImageNet數(shù)據(jù)集上進行預(yù)訓(xùn)練后具有良好的目標(biāo)分類能力，InceptionV3采用不同大小卷積核，獲取局部感受野，實現(xiàn)不同尺度特征融合。首先通過卷積和池化提取特征， 3個連續(xù)Inception模塊分別采用卷積池化并行，其中底層卷積塊提取各類不同目標(biāo)的通用底層特征，頂層卷積塊包含具有針對性高層次特征。由于真實路面裂縫圖像與公開數(shù)據(jù)集相比自有特征更加明顯，且本文分類為針對裂縫子塊和背景子塊二分類任務(wù)，凍結(jié)底層卷積層保持其在公開數(shù)據(jù)集中學(xué)到通用特征，同時解凍頂層卷積塊，利用裂縫與背景樣本訓(xùn)練解凍部分的權(quán)重以適應(yīng)本文分類任務(wù)。分類器對應(yīng)損失函數(shù)如下：

(4)

圖 3 InceptionV3網(wǎng)絡(luò)訓(xùn)練過程

3 像素與超像素融合的裂縫提取

基于上述超像素與InceptionV3網(wǎng)絡(luò)組合方法，裂縫大致區(qū)域已經(jīng)能夠準(zhǔn)確定位，但裂縫區(qū)域仍會存在部分斷裂，本文引入像素級與超像素級形態(tài)學(xué)方法還原裂縫主要形態(tài)，提取完整的裂縫。

3.1 像素級裂縫提取

1)裂縫骨架提取 裂縫主體區(qū)域存在少量斷裂，破壞了裂縫區(qū)域完整性。因此本文利用不同結(jié)構(gòu)元素分別對粗分割區(qū)域進行膨脹和腐蝕操作，采用最小外接矩形的長寬比表示區(qū)域線性度，并進行線性篩選(圖4a)。根據(jù)裂縫的灰度特征和線性特征，分別基于列或行最小原則對每個連通域提取裂縫骨架(圖4b)。

2)裂縫主干提取 骨架采取膨脹操作，擴展寬度到包含裂縫所有部分，進行面積和線性度篩選，獲得精細化裂縫局部(圖4c)。并采用最大類間方差法求取閾值對目標(biāo)進行分割，此方法在全局范圍內(nèi)取閾值，避免了點狀噪聲的干擾，最大程度分離了背景與裂縫[13]；再對其進行線性度篩選和面積濾波，裂縫主干見圖4d。

圖 4 裂縫主干

3.2 超像素級生長還原提取完整裂縫

采用模板匹配法對裂縫的微小斷裂處進行連接，匹配模板如圖5a所示。對于符合圖5a所示模板的像素，計算其與裂縫主干平均灰度之間差值，若小于設(shè)定閾值，則將其加入。圖中×表示已有的裂縫像素，○為需要加入的像素。圖5b為圖像處理后的效果，圖中白色區(qū)域為已有的裂縫，紅色點為根據(jù)此模板匹配法增加的區(qū)域。以超像素為基本處理單元，確定裂縫的生長方向并連接，如圖5c所示。首先，對以超像素為基本單元的裂縫主干區(qū)域，提取每個裂縫段的端點超像素。其次，以裂縫段的主要方向中心分別向兩邊擴展90°得到角度為180°的范圍，在此范圍內(nèi)搜索末端超像素。然后以超像素對的相對方向作為生長方向，以較小灰度值為生長準(zhǔn)則。當(dāng)搜索不到時則停止生長。生長方向如圖5d所示，黑色箭頭夾角即為生長的角度范圍。

圖 5 裂縫生長還原

4 實驗分析

4.1 實驗參數(shù)設(shè)置

此次實驗中InceptionV3網(wǎng)絡(luò)訓(xùn)練過程在Tensorflow框架下實現(xiàn)，形態(tài)學(xué)處理基于Matlab平臺實現(xiàn)。為驗證超像素數(shù)量K與子塊尺度S對InceptionV3網(wǎng)絡(luò)分類結(jié)果的重要性，以及實現(xiàn)路面圖像中裂縫的準(zhǔn)確定位，本文設(shè)置以下實驗對參數(shù)K和S進行對比分析并根據(jù)裂縫定位需求選擇最優(yōu)值。

SLIC超像素分割效果主要受兩個參數(shù)的影響：緊湊度N和分割數(shù)量K。本文使用典型值N=1.0作為SLIC算法的緊湊度參數(shù)。分別選擇K值為1000、2000和3000，通過實驗比較分析知：K=2000時，分割邊界貼合裂縫邊緣且裂縫與背景大小均勻，因此選擇K值為2000。

不同的子塊尺度S會影響識別的準(zhǔn)確率，對于裂縫超像素，S過大時則會引入過多紋理噪聲；S越小則裂縫與背景間的對比特征越少，導(dǎo)致分類準(zhǔn)確率降低。本文選取最具代表性的尺度的子塊，分別為30，40和50，對其在實際路面圖像上對裂縫的定位效果進行對比分析，采用FPR和Recall兩個指標(biāo)對其進行評價。FPR表示分類結(jié)果中被錯分為正樣本的真實負樣本在所有真實負樣本中所占的比例，主要展示了去除背景噪聲的效果。Recall為在分類結(jié)果的正樣本中正確分類的真實正樣本在所有真實正樣本中所占的比例。對比實驗結(jié)果如表1所示。

表1 不同尺度子塊分類結(jié)果

由表1可知，當(dāng)S=40時，真實裂縫中被誤分類的結(jié)果比S=30時少，召回率也相對較高。因此本文選取S=40時的分類結(jié)果?？偭芽p樣本數(shù)為4500，背景樣本數(shù)為10 500，將所有樣本分為訓(xùn)練集與驗證集，比例設(shè)為8∶2。訓(xùn)練集用于訓(xùn)練網(wǎng)絡(luò)中的權(quán)重，驗證集用于自動調(diào)整網(wǎng)絡(luò)超參數(shù)。所有訓(xùn)練集數(shù)據(jù)迭代50次(Epoches)，最終識別率達到96%。

4.2 識別結(jié)果分析

在模式識別與計算機視覺領(lǐng)域中，常以完成度指數(shù)(精確率)Precision和正確度指數(shù)(召回率)Recall作為實驗結(jié)果的評價標(biāo)準(zhǔn)。為了對裂縫提取實驗結(jié)果進行量化分析和評價，本文也采用Precision和Recall作為評價標(biāo)準(zhǔn)。Precision表示在判定為Positive的樣本中，判斷正確的數(shù)目所占的比例，即檢測結(jié)果中正確檢測到的裂縫數(shù)目占所有檢測結(jié)果數(shù)目的比例；Recall表示在真實的Positive樣本中，判斷正確的數(shù)目所占的比例，即檢測結(jié)果中判斷正確的裂縫數(shù)目占路面上實際存在的裂縫數(shù)目。一般來說，當(dāng)Precision與Recall都比較大時，檢測結(jié)果較好，因此本文引入了綜合評價指標(biāo)F-measure。

(5)

其中，F(xiàn)-measure值越大，識別效果越好。實驗采用100幅路面影像對本文提出的方法進行評價，圖像尺寸統(tǒng)一為500×500，圖像中許多裂縫存在不連續(xù)，對比度低，被大量噪聲干擾的情況。手工標(biāo)注的裂縫精確到像素級，但仍然存在一定的主觀因素，造成裂縫存在寬度誤差等。因此，本文將識別的裂縫圖像與標(biāo)注圖像劃分成互不重疊的單元格，每個含有裂縫的單元格都代表一個裂縫區(qū)域，統(tǒng)計含有裂縫的單元格數(shù)目。觀察大量裂縫樣本后取單元格大小為3×3。最終得到Precision、Recall和F-measure分別為90.2%，91.6%，91.8%。圖6為本文方法展示了識別效果與其方法識別的效果。圖中第一列為路面原圖像，第二列為手工標(biāo)注的原圖像，第三列為本文方法識別結(jié)果，第四列為采用均勻劃分網(wǎng)格的方式獲取樣本得到的結(jié)果，第五列為將局部自適應(yīng)閾值法應(yīng)用于全局的效果[14]。本文方法效果相對較好，而其他方法難以準(zhǔn)確識別出完整裂縫，同時也驗證了采用超像素方法獲取子圖像樣本對于準(zhǔn)確定位裂縫的優(yōu)勢。與其它方法相比，本文方法有效降低了提取裂縫區(qū)域誤差，完成裂縫快速且準(zhǔn)確的定位，且無需手動提取裂縫塊與背景塊的特征。

圖 6 識別效果對比

5 結(jié)論

通過結(jié)合超像素分割與InceptionV3網(wǎng)絡(luò)去除了路面圖像中大量點狀噪聲，實現(xiàn)對路面圖像中裂縫的快速定位，并融合像素級與超像素級形態(tài)學(xué)方法提取裂縫主干并連接不連續(xù)裂縫，得到裂縫的完整形態(tài)，給裂縫識別方法提供了新思路，為路面病害自動檢測提供參考。本文數(shù)據(jù)集與傳統(tǒng)方法對比實驗表明，本文方法可以自動提取裂縫塊與背景塊的特征，實現(xiàn)裂縫區(qū)域的準(zhǔn)確定位及裂縫形態(tài)的提取。