融合流形特征的路面破損圖像識別方法

石陸魁　黨　磊　楊　璐　師勝利

1(河北工業(yè)大學(xué)計算機科學(xué)與軟件學(xué)院　天津 300401)

2(河北師范大學(xué)信息技術(shù)學(xué)院　河北 石家莊 050024)

?

融合流形特征的路面破損圖像識別方法

石陸魁1黨磊1楊璐1師勝利2

1(河北工業(yè)大學(xué)計算機科學(xué)與軟件學(xué)院天津 300401)

2(河北師范大學(xué)信息技術(shù)學(xué)院河北 石家莊 050024)

摘要研究路面破損圖像識別的特征提取優(yōu)化問題。為了克服常見的破損密度因子或坐標(biāo)軸投影等特征提取時易受噪聲影響，僅從底層視覺角度描述破損圖像裂縫特性，不能高效、精確地區(qū)別不同裂縫的問題，提出一種融合流形特征的路面破損識別方法。首先利用流形學(xué)習(xí)中的Laplacian Eigenmaps算法提取圖像的低維流形特征，令其作為圖像裂縫的高層語義，然后將流形特征與破損密度因子或坐標(biāo)軸投影等底層視覺特征融合，利用融合后的特征識別裂縫類別。仿真結(jié)果表明，將流形特征與其他特征融合后，可以從高層語義、底層視覺兩個層面全方位的描述路面裂縫，極大地提高路面裂縫的識別精度。

關(guān)鍵詞流形學(xué)習(xí)路面破損圖像識別特征融合拉普拉斯特征映射法

RECOGNITION METHOD OF PAVEMENT DISTRESS IMAGES FUSING MANIFOLD FEATURES

Shi Lukui1Dang Lei1Yang Lu1Shi Shengli2

1(School of Computer Science and Engineering,Hebei University of Technology,Tianjin 300401,China)2(School of Information Technology,Hebei Normal University,Shijiazhuang 050024,Hebei,China)

AbstractThis paper mainly discusses the feature extraction optimisation for pavement distress images recognition. In order to overcome the common problems that the features such as damage density factors or coordinate axes projections are sensitive to noise, and it cannot effectively and accurately distinguish various pavement cracks by describing the cracks feature of distress images from underlying visual perspective only, we presented a pavement distress recognition method fusing the manifold features. In the method, first it uses Laplacian eigenmaps algorithm in manifold learning to extract the low dimensional manifold features from pavement images and makes it as the high-level semantics of image cracks. Then it fuses the manifold features with the underlying visual features of distress density factors or coordinates projections, and utilise the fused features to recognise the category of cracks. Simulation results showed that with the fusion of manifold features and other features, it was able to give a full range description on pavement cracks from two dimensions of high-level semantics and underlying visual, and greatly improved the accuracy of pavement cracks recognition.

KeywordsManifold learningPavement distress image recognitionFeature fusionLaplacian eigenmaps

0引言

隨著數(shù)字圖像技術(shù)的快速發(fā)展，圖像處理技術(shù)被應(yīng)用在路面破損圖像的自動識別中，克服了傳統(tǒng)人工檢測方法的諸多缺點。目前，已經(jīng)有許多路面破損圖像識別方法[1-12]，如文獻(xiàn)[2]提出了基于破損密度因子的識別算法，文獻(xiàn)[3]提出了基于prewitt算子的破損圖像識別方法，文獻(xiàn)[5,6]提出了利用不變矩來提取圖像的裂縫特征,文獻(xiàn)[8]利用小波分析的多分辨率分析提取破損路面裂縫特征和動態(tài)神經(jīng)網(wǎng)絡(luò)DNN(Dynamic Neural Network)分類。

一般路面破損圖像識別包括路面破損圖像采集、圖像增強、圖像分割、特征提取、和識別5個階段[1]。其中特征提取是路面破損圖像識別的關(guān)鍵階段。目前，常見的路面破損圖像特征提取方法有破損密度因子、坐標(biāo)投影、不變矩、和紋理等[2-7]。破損密度因子法通過選用不同的濾波算子，獲得路面子塊圖像的破損值，對識別網(wǎng)狀、塊狀裂縫較為有效?；谕队袄碚摰奶卣魈崛∷惴ǜ鶕?jù)不同類型裂縫在水平和垂直方向上的灰度值投影來區(qū)分不同的裂縫，可有效區(qū)分橫向裂縫和縱向裂縫。但是此類特征都是路面圖像的底層視覺特征，不能全面、準(zhǔn)確地區(qū)分不同類型的裂縫。事實上，高維的路面圖像本質(zhì)上是分布在一個低維流形上，利用流形學(xué)習(xí)方法就可以發(fā)現(xiàn)該低維流形。

流形學(xué)習(xí)在模式識別、數(shù)據(jù)挖掘、機器學(xué)習(xí)等領(lǐng)域得到了廣泛的應(yīng)用[14]，常用的流形學(xué)習(xí)方法有等距映射法ISOMAP(Isometric Feature Mapping)、局部線性嵌入法LLE(Locally Linear Embedding)、拉普拉斯特征映射法LE(Laplacian Eigenmaps)和局部切空間校正法LTSA(Local Tangent Space Alignment)等。通過這些流形學(xué)習(xí)方法可以將高維的路面圖像投影到低維空間中，提取出其流形特征，得到路面圖像的高層語義信息。

路面破損圖像識別感知的是圖像的高層語義，而灰度投影和破損密度因子提取的是路面圖像的底層視覺特征，用底層視覺特征很難準(zhǔn)確地來感知高層語義。流形特征提取的是路面圖像的語義特征，但其缺乏對路面圖像的底層視覺特征的細(xì)節(jié)描述。為了更好地識別路面裂縫，需要一種既能表示圖像細(xì)節(jié)又能描述圖像語義的特征。為此，本文提出一種融合流形特征的路面破損圖像識別方法。該方法融合了底層特征和流形特征，新的融合特征可以全方位、多角度的描述不同類型的圖像裂縫，實驗表明融合流形特征的識別方法可以明顯區(qū)分不同類型的裂縫，極大地提高了裂縫的識別精度。

1路面破損圖像的一般識別過程

基于圖像處理的路面破損圖像識別過程一般分為五步：采集路面破損圖像、圖像增強、圖像分割、特征提取、路面裂縫分類。

1.1圖像預(yù)處理

采集路面破損圖像時，由于受到天氣、采光、氣流噪聲、油污等因素的影響，路面圖像存在較嚴(yán)重的噪聲污染。圖像預(yù)處理的任務(wù)就是去除圖像噪聲，增強圖像中的裂縫特征，從而準(zhǔn)確地提取出圖像裂縫。圖像預(yù)處理包括圖像增強和圖像分割兩步。

1.1.1圖像增強

圖像增強的目的是去除圖像噪聲、增強圖像裂縫特征、改善圖像視覺效果。圖像增強技術(shù)可分為空間域方法和頻域方法?？臻g域方法直接對圖像像素處理，主要有濾波算法、消除背景不均勻的光照、去除孤立噪聲點、基于圖像灰度信息的增強算法等。頻域方法一般利用傅里葉變換、小波變換將圖像轉(zhuǎn)換到頻域空間處理，然后再變換到空間域，其主要包括高低通濾波算法、基于小波變換的增強算法。本文在此階段采用空域方法中的中值濾波算法處理圖像，該算法是一種基于排序統(tǒng)計理論的非線性信號處理技術(shù)，首先將一定鄰域內(nèi)的像素按照灰度值由小到大排序，然后選取中間灰度值作為鄰域內(nèi)中心像素點的新灰度值，從而消除噪聲。中值濾波算法尤其是對椒鹽噪聲非常好，當(dāng)灰度范圍變化較小時，具有較好的去噪平滑效果；降低圖像邊界模糊程度，保護(hù)圖像邊緣信息。

1.1.2圖像分割

圖像分割通過將目標(biāo)圖像劃分為若干個特定的、具有獨特性質(zhì)的區(qū)域，提取出圖像中感興趣的目標(biāo)。通過圖像分割處理，原始圖像表現(xiàn)得更加抽象、緊湊，便于進(jìn)一步的高層解析。常見的圖像分割技術(shù)有閾值化分割、邊界分割、區(qū)域分割等方法。本文在此階段采用最大類間方差法Ostu，該算法具有穩(wěn)定性良好、計算簡單等特點，尤其對灰度類間方差為單峰的圖像具有較好的效果。眾所周知，路面破損圖像中目標(biāo)裂縫種類少，灰度圖像可分為背景和目標(biāo)兩類，而且灰度圖像直方圖為典型的單峰圖像，如圖1和圖2所示。

圖1　裂縫灰度圖像　　　　圖2　直方圖

1.2特征提取

圖像特征提取是用計算機中的數(shù)學(xué)、公式、符號等描述感興趣的圖像目標(biāo)，是圖像識別的關(guān)鍵階段，特征提取的目的是獲取“少而精”的分類特征。通常以識別圖像中不同類型的裂縫來評估破損圖像的破損程度，路面破損圖像中的裂縫有橫向裂縫、縱向裂縫、塊狀裂縫、龜狀裂縫四類。針對裂縫的特點，一般提取裂縫的幾何特征、密度特征、統(tǒng)計特征等。下面介紹本文中采用的兩種常見特征提取方法。

1.2.1破損密度因子

基于破損密度因子的識別方法[2]是一種基于路面子塊的方法，破損密度因子是d×d大小的濾波算子。對于d×d大小的濾波算子，其中心位置一般設(shè)為“1”，其余位置距離中心越遠(yuǎn)，其值越小或者全部為“1”，如圖3和圖4所示。

圖3　3×3模板　　　　　　　圖4　5×5模板

在破損密度因子識別方法中，首先對路面破損圖像進(jìn)行二值化處理，像素值“1”代表破損裂縫區(qū)域，像素值“0”代表背景區(qū)域。然后利用模板對二值化圖像按照從上到下、從左到右的順序進(jìn)行掃描，遇到灰度值“0”，不作處理；遇到灰度值“1”，將破損密度因子中心位置“對準(zhǔn)”位置“1”，最后將破損密度因子與相同大小的路面圖像進(jìn)行卷積運算，用卷積運算后的值取代“1”。

在本文實驗中分別利用3×3和5×5的密度因子與路面圖像進(jìn)行卷積后得到：

S3={3×3密度因子與圖像卷積}

(1)

S5={3×3密度因子與圖像卷積}

(2)

令S0為路面二值化圖像中灰度值為1的總數(shù)，得:

(3)

(4)

將S0、F1和F2作為路面圖像特征進(jìn)行裂縫識別。

1.2.2坐標(biāo)投影

基于投影理論的特征對橫向裂縫和縱向裂縫具有較好的區(qū)分能力。假設(shè)路面破損圖像二值化后“1”代表裂縫區(qū)域的像素值，“0”代表背景區(qū)域的像素值。對二值化圖像分別進(jìn)行水平和垂直方向投影，則橫向裂縫在垂直軸上的投影量明顯大于水平軸上的投影量；反之，縱向裂縫在水平方向上的投影量明顯大于垂直方向上的投影量；一般網(wǎng)狀和塊狀裂縫在兩個方向上的投影量相差不是很明顯。假設(shè)路面二值化圖像為A ，其大小為m×n，a(i,j)為像素值，則A關(guān)于水平及垂直方向的投影計算公式為：

(5)

(6)

得到圖像在水平和垂直方向的投影后，將二值圖像在水平與垂直方向的投影最大差值作為路面破損圖像的特征，記為(q(x),q(y))，其計算公式如下：

qx=max(xj)-min(xj)

(7)

qy=max(yi)-min(yi)

(8)

1.2.3特征提取難點與創(chuàng)新

圖像裂縫的幾何、密度等特征著重從底層視覺層面描述裂縫特性，過于專注圖像的細(xì)節(jié)描述，易受噪聲影響，缺乏對路面破損圖像高層語義的描述，不能高效區(qū)分所有類型的裂縫。眾所周知，路面破損圖像是高維數(shù)據(jù)，根據(jù)研究，高維數(shù)據(jù)的內(nèi)在規(guī)律是分布在一個低維流形上的。所以為了更好地識別路面裂縫，本文提出了一種融合流形特征的路面破損圖像識別方法。該方法將破損密度因子或坐標(biāo)投影等底層特征和流形特征融合，新的融合特征既能表示圖像底層細(xì)節(jié)又能描述圖像語義，可以更加高效、精確的識別裂縫。

2流形特征與Laplacian Eigenmaps算法

LE算法是一種基于譜圖理論的流形學(xué)習(xí)方法。其基本思想是使得高維空間中距離很近的點在低維空間中也離得很近。對給定的高維數(shù)據(jù)集X={x1,x2,…,xN}，xi∈RD，LE算法的步驟可總結(jié)如下：

1) 構(gòu)造鄰域圖G(V,E)。確定每個樣本xi的鄰域(可以采用k-近鄰)，若xi和xj是近鄰，則兩點之間存在一條邊，否則不存在邊。

2) 構(gòu)造權(quán)值矩陣W。在鄰域圖G(V,E)中，為每條邊設(shè)置相應(yīng)的權(quán)值wij，得到權(quán)值矩陣W。

3融合流形特征的識別方法

坐標(biāo)投影、破損密度因子描述了路面圖像的底層視覺特征，而流形特征則描述了路面圖像的語義特征。單獨使用底層視覺特征或語義特征都難以取得非常理想的識別效果，4.2節(jié)中的實驗也說明了這一點。如果將這些特征融合在一起，既可以描述圖像的底層細(xì)節(jié)特征，也可以描述圖像的語義特征，將有助于提高路面裂縫的識別精度。為此，得到了融合流形特征的識別方法。在該方法中，首先分別提取流形特征和坐標(biāo)投影或破損密度因子，然后將流形特征和坐標(biāo)投影或破損密度因子融合在一起，最后對融合后的特征進(jìn)行分類。假設(shè)共有M幅路面破損圖像，圖像大小為m×n，融合流形特征的識別模型如圖5所示。

圖5　融合流形特征的識別方法

為了實現(xiàn)特征融合，其步驟可總結(jié)如下：

1) 從M幅路面圖像中提取投影特征或破損密度因子，得到特征矩陣P={p1,p2,…,pM}T。

2) 把每幅圖像看作是N=m×n維空間中的一個點，利用LE算法將高維的路面圖像映射到低維空間中提取流形特征，得到流形特征矩陣Y={y1,y2,…,yM}T。

3) 將步驟1)和2)得到的特征矩陣P和Y融合，得到融合后的特征矩陣YP={(y1,p1),(y2,p2),…,(yM,pM)}T。

4) 將YP作為輸入?yún)?shù)，利用KNN、SVM、ELM和BP神經(jīng)網(wǎng)絡(luò)等方法識別裂縫類型。

4實驗結(jié)果

為了驗證所提方法的有效性，在實際采集的路面圖像數(shù)據(jù)集上比較了不同特征及融合后對分類結(jié)果的影響。數(shù)據(jù)集由360幅實際采集的路面圖像組成，包括橫向裂縫、縱向裂縫、網(wǎng)狀裂縫和塊狀裂縫四類，每類包含90幅圖像，每幅圖像大小為4068×3456，在實驗中壓縮后大小為70×93。在實驗中首先對圖像進(jìn)行中值濾波去噪和二值化預(yù)處理，預(yù)處理后得到360幅二值化圖像。

實驗包括3個部分：流形學(xué)習(xí)方法參數(shù)的選擇，不同特征對分類結(jié)果的影響和融合流形特征的識別方法的有效性驗證。在實驗中采用3折交叉驗證，即將數(shù)據(jù)集分為3組，一組作為測試集，剩余兩組作為訓(xùn)練集，輪流進(jìn)行，將3次的平均值作為實驗結(jié)果。分類時采用KNN 、SVM 、ELM和BP神經(jīng)網(wǎng)絡(luò)4種分類方法，KNN的近鄰個數(shù)k=6；SVM采用v-SVC模型和徑向基核函數(shù)RBF，參數(shù)n=0.5，g=0.0095；ELM中隱含層單元數(shù)h=20；BP神經(jīng)網(wǎng)絡(luò)的最大迭代次數(shù)為1000，學(xué)習(xí)速率η=0.1。

4.1流形學(xué)習(xí)方法的參數(shù)選擇

用LE算法提取流形特征時，需要確定要從高維的路面圖像中提取幾個流形特征，也就是需要知道高維數(shù)據(jù)的本征維數(shù)。這通過實驗來估計，選取不同個數(shù)的流形特征，比較在不同流形特征集上的分類結(jié)果。在實驗中比較2個流形特征和3個流形特征的結(jié)果。同時，由于高維空間中歐式距離可能不能正確反映樣本之間的相似性，執(zhí)行LE算法時采用夾角余弦來確定每個樣本的鄰域，并和采用歐式距離選擇鄰域的結(jié)果進(jìn)行比較，如表1所示。

表1　不同鄰域選擇措施和維數(shù)下的分類結(jié)果(%)

由表1可以看出，利用LE算法提取流形特征后再識別，對于4種分類方法采用夾角余弦選擇樣本的鄰域遠(yuǎn)遠(yuǎn)優(yōu)于選用歐氏距離選擇鄰域。說明相對于歐氏距離，夾角余弦可以更好地反映不同路面圖像之間的相似性。不管采用哪種距離選取鄰域，也不論采用什么分類方法，使用2個流形特征分類與使用3個流形特征分類的結(jié)果非常相近。也就是說，對于高達(dá)70×93=6510維的路面圖像選擇2個流形征就可以較好地描述路面

圖像的信息了。因此，在后面的實驗中執(zhí)形LE算法時都采用夾角余弦選擇鄰域，使用2個流形特征進(jìn)行裂縫識別。

4.2不同特征對分類結(jié)果的影響

為了比較不同特征對分類結(jié)果的影響，分別利用第1.2節(jié)中介紹的3種特征提取方法從路面圖像中提取2個投影特征，3個破損密度因子和2個流形特征。然后利用KNN 、SVM 、ELM和BP神經(jīng)網(wǎng)絡(luò)在這些特征上進(jìn)行識別，如表2所示。

表2　在三種特征上的識別精度(%)

由表2可以看出，4種分類方法在流形特征上的識別結(jié)果與破損密度因子和投影特征上的結(jié)果相近，說明流形特征與投影特征和破損密度因子特征一樣可以較好地區(qū)分各種類型的路面。破損密度因子法通過選用不同的濾波算子，獲得路面子塊圖像的破損值，對識別網(wǎng)狀、塊狀裂縫較為有效?；谕队袄碚摰奶卣魈崛∷惴ǜ鶕?jù)不同類型裂縫在水平和垂直方向上的灰度值投影來區(qū)分不同的裂縫，可有效區(qū)分橫向裂縫和縱向裂縫。流形特征通過提取裂縫低維流形，對每種裂縫都有較好的識別效果。

4.3融合流形特征的有效性驗證

為了檢驗融合流形特征和其他特征融合后對裂縫識別的影響，在實驗中首先從預(yù)處理后的路面圖像中提取2個投影特征、3個破損密度因子特征和2個流形特征，兩兩融合后再識別裂縫類別，如表3所示。

表3　不同特征融合的結(jié)果(%)

在表3中，“流形特征+破損密度因子”表示融合流形特征和破損密度因子特征后進(jìn)行分類，其他兩種情況含義相同。從實驗結(jié)果可以看出，將3種特征兩兩融合后，相對于單一特征識別，識別精度都得到了明顯的提升。而且在3種不同的融合方式中，流形特征融合破損密度因子或者投影特征的識別精度要優(yōu)于破損密度因子融合投影特征的結(jié)果。從總體上看，流形特征融合破損密度因子的識別效果最好。這表明通過融合流形特征和破損密度因子或投影特征可以有效提高路面裂縫的識別精度。

5結(jié)語

在路面破損圖像識別中，路面圖像的特征提取直接關(guān)系到破損圖像的識別結(jié)果。本文提出一種融合流形特征的路面破損圖像識別方法，該方法首先提取破損密度因子特征或坐標(biāo)投影特征;然后利用流形LE算法提取2維流形特征;最后將2維流形特征與破損密度因子特征或坐標(biāo)投影特征融合。實驗結(jié)果表明，融合流形特征的識別方法極大地提高了裂縫識別的精度。下一步的工作是將所提出的模型應(yīng)用在實際的路面破損圖像識別系統(tǒng)中。

參考文獻(xiàn)

[1] 彭博,蔣陽升.路面裂縫圖像識別算法研究進(jìn)展[J].中外公路,2013,33(6):42-50.

[2] 肖旺新,張雪,黃衛(wèi).基于破損密度因子的路面破損識別新方法[J].交通運輸工程與信息學(xué)報,2004,2(2):82-89.

[3] 張麗麗.基于Prewitt算子的路面破損圖像識別和分析[J].公路交通科技:應(yīng)用技術(shù)版,2011,9(4):73-75.

[4] 儲江偉,初秀民,王榮本,等.瀝青路面破損圖象特征提取方法研究[J].中國圖象圖形學(xué)報:A 輯,2004,8(10):1211-1217.

[5] Lee B J.Development of an integrated digital pavement imaging and neural network system[M].The University of Lowa,2001.

[6] 初秀民,王榮本.基于不變矩特征的瀝青路面破損圖像識別[J].吉林大學(xué)學(xué)報:工學(xué)版,2003,33(1):1-7.

[7] Wang H,Chen Z,Sun L.Image preprocessing methods to identify micro-cracks of road pavement[J].Optics and Photonics Journal,2013,3(3):99-102.

[8] Nejad F M,Zakeri H.An optimum feature extraction method based on wavelet-radon transform and dynamic neural network for pavement distress classification[J].Expert Systems with Application,2011,38(8):9442-9460.

[9] 黃啟宏,劉釗.流形學(xué)習(xí)中非線性維數(shù)約簡方法概述[J].計算機應(yīng)用研究,2007,24(11):19-25.

[10] 徐蓉,姜峰,姚鴻勛.流形學(xué)習(xí)概述[J].智能系統(tǒng)學(xué)報,2006,1(1):44-51.

[11] Seung H S,Lee D D.The manifold ways of perception[J].Science,2000,290(5500):2268-2269.

[12] Criminisi A,Shotton J,Konukoglu E.Decision Forests:A unified framework for classification,regression,density estimation,manifold learning and semi-supervised learning[J].Foundations and Trends in Computer Graphics and Vision,2012,7(2-3):81-227.

[13] Chambon S,Gourraud C,Moliard J M,et al.Road crack extraction with adapted filtering and markov model-based segmentation:introduction and validation[C]//International Joint Conference on Computer Vision Theory and Applications,VISAPP,2010:81-90.

[14] Blekas K,Likas A,Galatsanos N P,et al.A spatially constrained mixture model for image segmentation[J].Neural Networks,IEEE Transactions on,2005,16(2):494-989.

中圖分類號TP39

文獻(xiàn)標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.02.036

收稿日期：2014-08-20。石陸魁，副教授，主研領(lǐng)域：機器學(xué)習(xí)，數(shù)據(jù)挖掘。黨磊，碩士。楊璐，講師。師勝利，講師。