李 鵬 王青寧 單鈺強(qiáng)
(1.南京信息工程大學(xué),江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心,江蘇 南京 210044;2.南京信息工程大學(xué),江蘇省氣象探測(cè)與信息處理重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210044;3.南京信息工程大學(xué)濱江學(xué)院,江蘇 無(wú)錫 214105)
公路路面病害對(duì)行車安全有重大隱患,常見(jiàn)的路面病害有坑洼、裂縫、松散和車轍等。不同的病害類型關(guān)系到不同的危機(jī)程度。因此,路面病害檢測(cè)對(duì)公路維護(hù)具有重大意義。
在國(guó)外研究中,Luo 等人[1]提出采用奇異值分解提取裂縫特征,在此基礎(chǔ)上使用滑動(dòng)窗口進(jìn)行分割和識(shí)別。該方法適合狹窄的管道裂縫,但對(duì)寬視角的路面病害檢測(cè)效果不盡人意。Banharnsakun[2]提出了將人工蜂群算法與人工神經(jīng)網(wǎng)絡(luò)相結(jié)合的路面裂縫檢測(cè)與分類算法。該方法的分割精度與SVM 相比提高了近20%,但性能仍有進(jìn)一步的改進(jìn)空間。Zhang等人[3]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的高效算法用于三維瀝青路面裂縫自動(dòng)識(shí)別檢測(cè)中。與近年發(fā)展起來(lái)的基于傳統(tǒng)機(jī)器學(xué)習(xí)和成像算法的裂縫檢測(cè)算法相比,CrackNet 在F 度量方面明顯優(yōu)于傳統(tǒng)方法,但針對(duì)復(fù)雜路面情況時(shí),分割效果有所下降。Noh Y等[4]采用模糊C 均值算法自動(dòng)地對(duì)裂縫進(jìn)行分割。最后通過(guò)形態(tài)學(xué)操作對(duì)裂縫進(jìn)行精確分割。但該方法需要先有經(jīng)驗(yàn)判斷閾值,不具有良好的自適應(yīng)性。
在國(guó)內(nèi)研究中,李加州[5]提出了一種改進(jìn)的極限學(xué)習(xí)機(jī)算法,該模型對(duì)極限學(xué)習(xí)機(jī)中隨機(jī)給定的參數(shù)使用獅群算法進(jìn)行優(yōu)化以提高識(shí)別精度,并采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)微小裂縫進(jìn)行特征提取將其作為改進(jìn)分類器的輸入。但該方法只識(shí)別出裂縫類型并沒(méi)有對(duì)裂縫進(jìn)行檢測(cè)。李鵬等人[6]提出一種改進(jìn)的脈沖耦合神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法,通過(guò)簡(jiǎn)化脈沖耦合神經(jīng)網(wǎng)絡(luò)的模型來(lái)對(duì)關(guān)鍵參數(shù)自適應(yīng)以及對(duì)神經(jīng)元點(diǎn)火條件進(jìn)行優(yōu)化,但是在路面有雜物干擾的情況下,裂縫檢測(cè)提取效果還不是很理想。陳曉東等人[7]提出了將Gabor 濾波器與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的檢測(cè)模型,提取裂縫圖像的Gabor 紋理特征,來(lái)解決傳統(tǒng)CNN 單一有效特征的學(xué)習(xí),檢測(cè)準(zhǔn)確率有較高提升,但要需要大量訓(xùn)練樣本。
路面病害情況復(fù)雜,往往出現(xiàn)多種病害相雜糅。如坑洼邊緣連接著網(wǎng)狀裂縫,網(wǎng)狀裂縫旁常伴隨著路面松散。上述方法對(duì)路面裂縫檢測(cè)效果優(yōu)良,但不適用于復(fù)雜病害的檢測(cè)。為此,本文提出適應(yīng)性較強(qiáng)的路面病害檢測(cè)方法。采用二維Otsu 對(duì)病害圖像進(jìn)行像素點(diǎn)分類,選擇合適的訓(xùn)練樣本。提取圖像的紋理特征以及邊緣形狀特征。由于圖像數(shù)據(jù)量大,對(duì)提取后的特征向量進(jìn)行降維,將得到的新特征作為特征屬性對(duì)遺傳算法改進(jìn)的核極限學(xué)習(xí)機(jī)(Genetic Algorithm-Kernel Extreme Learning Machine,GA-KELM)進(jìn)行訓(xùn)練產(chǎn)生分類器,最后對(duì)路面病害進(jìn)行分割。
極限學(xué)習(xí)機(jī)被廣泛應(yīng)用在圖像分類識(shí)別領(lǐng)域中,將其作為分類器逐漸成為熱門(mén)話題。由于訓(xùn)練樣本大多人工選取,這讓圖像分割的自適應(yīng)性較低且影響分類器的分類準(zhǔn)確性。為此采用二維Otsu對(duì)訓(xùn)練樣本進(jìn)行自動(dòng)選取。
Otsu 是傳統(tǒng)的閾值分割方法,不能反映圖像的空間信息。在噪聲干擾下,仍按照一維灰度特征就會(huì)出現(xiàn)錯(cuò)分割現(xiàn)象。二維Otsu 利用原圖與鄰域平滑圖像構(gòu)建二維直方圖,它在包含圖像的灰度信息的同時(shí)考慮了像素點(diǎn)與鄰域的空間關(guān)系,這使圖像的抗噪性能得到提高,改善了分割效果。
本文首先將原始的RGB 圖轉(zhuǎn)化為灰度圖像,設(shè)灰度圖像中的一個(gè)像素點(diǎn)為f(i,j),像素的鄰域大小為n×n,則它的鄰域灰度均值為g(i.j) =。根據(jù)2D Otsu[8]計(jì)算出最佳閾值(s0,t0)*。其中s0是灰度分割閾值,t0是鄰域分割閾值。抽取200 個(gè)大于s0和t0的像素點(diǎn)作為訓(xùn)練正樣本。
紋理特征是圖像的固有特征之一,它主要提取灰度分布信息。將紋理特征作為訓(xùn)練樣本的特征屬性已較為常用,但只提取單一紋理特征無(wú)法對(duì)路面病害進(jìn)行有效描述。考慮到病害邊緣梯度值較大,而非目標(biāo)區(qū)域梯度值較小。梯度方向直方圖(Histogram of Oriented Gradient,HOG)能較好地描述梯度信息。綜合利用紋理特征和形狀特征要比單獨(dú)使用紋理特征或者形狀特征獲得更好的分類性能。所以,本文對(duì)訓(xùn)練樣本進(jìn)行LBP 特征提取和HOG 特征提取,并將提取的特征向量進(jìn)行融合。
紋理特征使用局部二值模式,它具有無(wú)參數(shù),計(jì)算簡(jiǎn)單的優(yōu)點(diǎn)。LBP 算子在3×3 的鄰域中,以中心像素(xc,yc)為閾值,將周圍8 個(gè)點(diǎn)與閾值做比較。如果周圍像素點(diǎn)大于等于中心像素,則像素點(diǎn)置為1,否則置為0。Ojala[9]對(duì)LBP 算子進(jìn)行改進(jìn),采用不同半徑的圓形鄰域代替固定范圍的正方形鄰域。該方法可以適應(yīng)不同尺度的紋理特征,并達(dá)到灰度和旋轉(zhuǎn)不變性的要求。LBP 提取公式為:
式中:n是中心像素總數(shù),ip是第p個(gè)鄰域像素灰度值,ic是中心像素灰度值,I(ip-ic)=
對(duì)訓(xùn)練樣本進(jìn)行HOG 提取。其中訓(xùn)練樣本像素為40 pixel×40 pixel,元胞大小為8×8,塊大小為16×16,每個(gè)塊的梯度直方圖為2×2×9 =36 維,則HOG 特征維數(shù)為7×7×36 =1 764。
將提取的LBP 特征和HOG 特征使用增廣特征向量進(jìn)行串行融合。融合公式為:
式中:λ=0.5 為權(quán)重系數(shù);x,y為樣本空間對(duì)應(yīng)的特征向量。
上述得到的特征向量數(shù)據(jù)量大且輸入數(shù)據(jù)的數(shù)目和維數(shù)越多,訓(xùn)練部分的計(jì)算越復(fù)雜。為有效緩解計(jì)算復(fù)雜度與時(shí)間消耗,采用PCA 進(jìn)行降維。它的實(shí)質(zhì)是通過(guò)基變換,把存在相關(guān)性的一系列變量轉(zhuǎn)變?yōu)榛ゲ幌嚓P(guān)的變量,同時(shí)根據(jù)需要提取出綜合性強(qiáng)的變量即為主成分。
本文利用PCA 線性擬合的思路對(duì)得到的特征向量進(jìn)行線性組合,構(gòu)建其協(xié)方差矩陣,計(jì)算協(xié)方差矩陣的特征值和特征向量按從大到小進(jìn)行排序,保留前k個(gè)特征。盡可能多地反映原來(lái)各病害的特征的信息。主成分分析法步驟如下:
(1)對(duì)上述特征向量按行排列組成m行n列的原始數(shù)據(jù);
(4)求出協(xié)方差矩陣的特征值λ和相對(duì)應(yīng)的特征向量w公式如下:|C-λI|=0,cw=λw;
(5)通過(guò)特征值占比來(lái)確定主成分;
(6)計(jì)算貢獻(xiàn)率Rk即前k個(gè)主成分相對(duì)所有主成分所占比:Rk=
(7)將滿足條件的前k個(gè)特征向量進(jìn)行組合并進(jìn)行投影,得到降維后的新k維特征。其投影過(guò)程即為降維過(guò)程。
由上述分析可知,當(dāng)主成分貢獻(xiàn)率達(dá)到85%~95%時(shí),經(jīng)過(guò)PCA 處理的特征向量y可以代替原始特征進(jìn)行學(xué)習(xí),即。
極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)是單隱層前饋神經(jīng)網(wǎng)絡(luò),被廣泛應(yīng)用于分類問(wèn)題。它與傳統(tǒng)的基于梯度反向傳播的學(xué)習(xí)算法相比具有如下優(yōu)點(diǎn):①運(yùn)算速度快。因?yàn)檩斎雽优c隱含層的連接權(quán)值隨機(jī)產(chǎn)生,隱含層與輸出層的連接權(quán)值通過(guò)解方程得到而非迭代調(diào)整,這使得學(xué)習(xí)速度大大降低。②人為干預(yù)少,使用方便。只需調(diào)整ELM 中隱含層神經(jīng)元個(gè)數(shù)便可獲得較好的性能。③ELM與SVM 和BP 神經(jīng)相比泛化性能好。ELM 的原理如圖1 所示,它由輸入層、隱含層和輸出層組成。
圖1 ELM 原理圖
x為輸入樣本的特征向量,ωi為輸入層與隱含層的連接權(quán)值ωi=[ωi1,ωi2,…,ωin]T,βi為隱含層與輸出層的連接權(quán)值βi=[βi1,βi2,…,βim]T,y為樣本對(duì)應(yīng)的標(biāo)記向量;h(x)為隱含層輸出h(x)=[h1(x),…,hL(x)]。hi(x)計(jì)算公式如下:
式中:g(·)為激活函數(shù);Wi為第i個(gè)輸入層與隱含層的連接權(quán)值;βi為第i隱含層與輸出層的連接權(quán)值;bi為第i個(gè)隱含層單元的偏差。
在極限學(xué)習(xí)機(jī)中,輸入權(quán)重ωi和隱含層偏差bi無(wú)需人為干預(yù),隨機(jī)給定。隱含層與輸出層的連接權(quán)值可以將其轉(zhuǎn)化為一個(gè)線性系統(tǒng)進(jìn)行求解。即Hβ=Y(jié)′,β*=H+Y。H+為矩陣的Moore-Penrose 廣義逆矩陣。因此,只需確定隱含層神經(jīng)元個(gè)數(shù),便可得到唯一最優(yōu)解。
將極限學(xué)習(xí)機(jī)作為分類器使用時(shí),其決策方程為:
在H未知時(shí),用核函數(shù)K(u,v)代替式(4)中的h(x)HT和HHT即為核極限學(xué)習(xí)機(jī)。
由于KELM 中輸入權(quán)重ωi和隱含層偏差bi隨機(jī)給定,這讓分類器的不確定性增加。為此,本文采用遺傳算法對(duì)ωi和bi進(jìn)行優(yōu)化,改進(jìn)方法如下:對(duì)隨機(jī)給定的ωi和bi進(jìn)行二進(jìn)制編碼,設(shè)為初代種群。計(jì)算個(gè)體適應(yīng)度,適應(yīng)度函數(shù)設(shè)為測(cè)試樣本的輸出值與期望值的誤差。若滿足條件,值則解碼輸出為最佳權(quán)值和偏差,否則進(jìn)行選擇交叉和變異操作產(chǎn)生新的個(gè)體,不斷迭代直至滿足條件。流程圖如圖2 所示。參數(shù)設(shè)置為:種群大小為60,最大遺傳代數(shù)為200,交叉概率為0.6,變異概率為0.01。
圖2 GA-KELM 流程圖
綜上,只需設(shè)置激勵(lì)函數(shù)和隱含層神經(jīng)元數(shù)目便可對(duì)GA-KELM 進(jìn)行學(xué)習(xí)。本文的激勵(lì)函數(shù)為sigmoid 函數(shù)。不同隱含層神經(jīng)元個(gè)數(shù)對(duì)分類準(zhǔn)確性有一定影響,為了讓GA-KELM 的分類性能達(dá)到最優(yōu),分別將經(jīng)過(guò)PCA 降維的特征向量與未經(jīng)降維的數(shù)據(jù)輸入到訓(xùn)練模型中。從10 個(gè)節(jié)點(diǎn)開(kāi)始依次增加10 個(gè),來(lái)尋找分類準(zhǔn)確率最高時(shí)所對(duì)應(yīng)的隱含層神經(jīng)元節(jié)點(diǎn)數(shù)。如圖3 所示。
圖3 隱含層神經(jīng)元個(gè)數(shù)對(duì)分類的影響
經(jīng)過(guò)PCA 處理的路面病害數(shù)據(jù)在隱含層神經(jīng)元節(jié)點(diǎn)數(shù)為60 時(shí),分類準(zhǔn)確率達(dá)97%。而未經(jīng)PCA 處理的數(shù)據(jù)則是在神經(jīng)元個(gè)數(shù)為70 時(shí)分類準(zhǔn)確性達(dá)到極大值,比已經(jīng)過(guò)處理的增加了10。隨著隱含層數(shù)目的增加,分類準(zhǔn)確性波動(dòng)較大且在達(dá)到極值后有所下降。因此,通過(guò)PCA 降維可以有效減少訓(xùn)練樣本特征的向量維數(shù),在保證訓(xùn)練樣本特征多樣性的情況下緩解計(jì)算的復(fù)雜度。
實(shí)驗(yàn)在軟件MATLAB R2015b 而硬件為Intel(R)Core(TM)i5-4210M CPU 下,對(duì)大小為300 pixel×200 pixel的200 張路面病害圖像進(jìn)行實(shí)驗(yàn)。
將本文算法與文獻(xiàn)[10]由多個(gè)特征訓(xùn)練得到的分類器進(jìn)行對(duì)比。分割結(jié)果如圖4 所示,圖中中間一列為本文算法所得結(jié)果。
從圖4 可以看出,這兩種算法對(duì)于橫向和網(wǎng)狀裂縫的分割效果較為理想,裂縫邊緣清晰。但對(duì)于坑洼和車轍等復(fù)雜病害分割效果較差。圖4(c)中,坑洼與網(wǎng)狀裂縫的連接處沒(méi)有分割出來(lái)。邊緣細(xì)節(jié)不明顯,出現(xiàn)像素點(diǎn)丟失與過(guò)分割現(xiàn)象。圖4(e)中,病害目標(biāo)占背景區(qū)域比重較大,分割時(shí)易受噪聲干擾。采用對(duì)比算法已無(wú)法區(qū)別病害和松散。而使用本文算法進(jìn)行分割,不僅抗干擾能力強(qiáng)而且對(duì)這兩種病害細(xì)節(jié)保留較好。
圖4 不同算法對(duì)路面病害檢測(cè)結(jié)果對(duì)比
分別計(jì)算圖像的結(jié)構(gòu)相似性(Structured Similerity,SSIM),其值越接近1,表明分割的精度越高。結(jié)果如表1 所示。
表1 分割性能SSIM 值比較
本文算法的SSIM 值穩(wěn)定在0.93 左右,波動(dòng)起伏不大。加入亮度特征后分割精度反而下降,這是因?yàn)槭芄庹詹痪鶆蛴绊懺黾恿四繕?biāo)和背景判決的難度。與對(duì)比算法相比,坑洼、車轍和松散的分割準(zhǔn)確率分別提高了19.6%和30%。因此特征的選擇尤為重要,不恰當(dāng)?shù)奶卣鲿?huì)使分割精度下降。
為進(jìn)一步驗(yàn)證分類器的性能,對(duì)路面病害圖增加噪聲密度為0.02 的椒鹽噪聲然后分別計(jì)算GA-KELM、ELM 和SVM 的分類準(zhǔn)確率性和運(yùn)行時(shí)間。計(jì)算結(jié)果如表2 所示。由表2 可以看出,ELM需要調(diào)用的參數(shù)少,運(yùn)行時(shí)間快但分類精度還需進(jìn)一步提升。即使存在噪聲干擾,GA-KELM 的分類準(zhǔn)確度仍較高,雖耗時(shí)比傳統(tǒng)的ELM 分類器高但滿足實(shí)時(shí)檢測(cè)的要求。
表2 分類準(zhǔn)確率與運(yùn)行時(shí)間
本文采用二維Otsu 自動(dòng)選取訓(xùn)練樣本克服了人工選取樣本的缺陷。綜合了紋理特征和形狀特征以提高對(duì)復(fù)雜路面病害檢測(cè)的適應(yīng)性。但隨著特征維數(shù)的增加,訓(xùn)練復(fù)雜度提高。通過(guò)主成分分析法選擇少數(shù)綜合性強(qiáng)的特征向量來(lái)代表原始的特征信息更能反映圖像的本質(zhì)特征。再將其作為特征屬性對(duì)改進(jìn)的核極限學(xué)習(xí)機(jī)進(jìn)行訓(xùn)練產(chǎn)生分類器。把對(duì)路面病害分割轉(zhuǎn)化為對(duì)像素的分類。實(shí)驗(yàn)結(jié)果表明,本文算法對(duì)復(fù)雜病害的分割精度較高,和對(duì)比算法相比提高了近24.8%。但本文只選取了2 種特征屬性,若再選取其他特征屬性,則新特征維數(shù)會(huì)對(duì)分割準(zhǔn)確度產(chǎn)生影響。