基于多特征融合的鐵路護(hù)欄網(wǎng)格提取

藍(lán)智敏,梁禮明,盛校棋,黎富泉,吳健

(江西理工大學(xué) 電氣工程與自動(dòng)化學(xué)院，江西 贛州 341000)

0 引 言

鐵路沿線護(hù)欄是鐵路網(wǎng)絡(luò)重要基礎(chǔ)設(shè)施，也是鐵路綜合檢測(cè)重要對(duì)象之一，其作用在于防止行人、動(dòng)物及異物侵入鐵軌，確保列車正常高速安全運(yùn)行。綜合檢測(cè)列車裝配有視頻采集設(shè)備[1],能夠采集鐵路沿線的環(huán)境信息，為后期人工檢測(cè)提供護(hù)欄圖像，節(jié)省大量人力和物力。盡管如此，獲取的護(hù)欄圖像仍需人工識(shí)別是否有缺損，人工識(shí)別效率低、即時(shí)性差，無(wú)法勝任我國(guó)現(xiàn)代化高速鐵路檢測(cè)任務(wù)。為了降低成本、提高護(hù)欄檢測(cè)準(zhǔn)確率和即時(shí)性，亟需研發(fā)一套完備的自動(dòng)化智能識(shí)別系統(tǒng)，而該系統(tǒng)的前期工作關(guān)鍵在于如何準(zhǔn)確提取復(fù)雜背景下不同類型的完整護(hù)欄網(wǎng)格圖像，以獲取其先驗(yàn)信息，用于后期智能識(shí)別算法的研究。

鐵路護(hù)欄網(wǎng)格圖像提取或網(wǎng)格形狀目標(biāo)提取方面的文獻(xiàn)較少，其中，文獻(xiàn)[2]基于形態(tài)學(xué)的分割方法能夠利用結(jié)構(gòu)元素分解復(fù)雜形狀，從中提取有用信息，在無(wú)復(fù)雜背景的單一網(wǎng)格提取中能夠準(zhǔn)確定位分割。然而，對(duì)于背景復(fù)雜的鐵路護(hù)欄網(wǎng)格圖像，盡管增大結(jié)構(gòu)元素的尺寸能有效區(qū)別出背景和目標(biāo)，但仍保留了大量背景信息，造成誤分割；文獻(xiàn)[3]通過(guò)均值漂移算法對(duì)鐵路護(hù)欄圖像進(jìn)行平滑和分割，并針對(duì)過(guò)分割的圖像采用區(qū)域合并，最終實(shí)現(xiàn)護(hù)欄網(wǎng)格圖像的提取。該算法具有復(fù)雜度低、運(yùn)算效率高等優(yōu)點(diǎn)，在目標(biāo)和背景灰度相差較大的情況下，能夠有效地提取目標(biāo)，由于該方法只關(guān)心圖像的灰度特征而忽略空域特征，因此，抗噪性能差，容易造成欠分割。

鐵路護(hù)欄網(wǎng)格圖像的背景復(fù)雜多樣，但以植被最為常見，其顏色與護(hù)欄顏色極其相近，是護(hù)欄網(wǎng)格圖像提取任務(wù)中最難的一種情形，常見的分割算法難以滿足需求。因此，本文綜合考慮鐵路護(hù)欄網(wǎng)格圖像的線性特征、方差特征和矩特征，提出一種融合多特征與二維最大熵的鐵路護(hù)欄網(wǎng)格圖像提取算法，相對(duì)于其他傳統(tǒng)方法，它能在復(fù)雜背景下提取出更完整的護(hù)欄網(wǎng)格圖像，以期實(shí)現(xiàn)鐵路沿線破損防護(hù)欄網(wǎng)的自動(dòng)檢測(cè)，改變?nèi)斯ぱ膊橘M(fèi)力費(fèi)時(shí)現(xiàn)狀，提高工作效率。

1 圖像預(yù)處理

為了降低光照等環(huán)境因素影響，提高護(hù)欄網(wǎng)格圖像的信噪比，在護(hù)欄網(wǎng)格圖像特征提取前需要對(duì)原始圖像進(jìn)行預(yù)處理。

1.1 圖像降噪

常見的圖像降噪方法有高斯濾波、均值濾波、中值濾波、維納濾波等，這些濾波器容易導(dǎo)致圖像的邊緣細(xì)節(jié)模糊，丟失護(hù)欄的空域信息[4]。為了能夠保留護(hù)欄的空域特征，采用雙邊濾波降噪[5]。在雙邊濾波同時(shí)考慮圖像的空域信息和亮度信息，這是對(duì)像素空間鄰近度與圖像亮度相似度的一種折衷處理，不僅不會(huì)丟失邊緣細(xì)節(jié)信息，而且還能達(dá)到保邊去噪的效果。雙邊濾波根據(jù)每個(gè)像素點(diǎn)及其鄰域構(gòu)建不同的模板權(quán)重，對(duì)于窗口大小為Wb×Wb的模板，模板中心像素點(diǎn)濾波后的亮度值Ib(x,y)計(jì)算式為[6]

Ib(x,y)=∑i,jI(x,y)ωs(x,y,i,j)ωc(x,y,i,j)/
[∑i,jωs(x,y,i,j)ωc(x,y,i,j)]，

(1)

式中：(x,y)為模板窗口的中心點(diǎn)坐標(biāo)；(i,j)為模板窗口其他像素的坐標(biāo)；I(x,y)為原始模板中心像素點(diǎn)的亮度值；ωs(x,y,i,j)為相似度權(quán)重，描述了兩像素點(diǎn)之間亮度的相似程度；ωc(x,y,i,j)為鄰近度權(quán)重，描述了兩像素點(diǎn)之間歐氏距離的鄰近程度。

1.2 圖像增強(qiáng)

為了降低光照因素影響，有效地提取出護(hù)欄網(wǎng)格圖像特征，需要對(duì)降噪后的護(hù)欄網(wǎng)格圖像進(jìn)行圖像增強(qiáng)。伽馬變換能夠?qū)D像的亮度級(jí)變換到更窄或更寬的區(qū)域[7]。伽馬變換定義為

Ig(x,y)=αIb(x,y)γ，

(2)

式中：Ig(x,y)為伽馬變換后像素點(diǎn)(x,y)的亮度值；α和γ分別為控制因子和變換因子，α通常設(shè)置為1，當(dāng)圖像整體或者感興趣區(qū)域比較暗時(shí)，可令0<γ<1，從而增加圖像對(duì)比度以呈現(xiàn)更多的細(xì)節(jié)信息，當(dāng)圖像整體或者感興趣區(qū)域比較亮?xí)r，可令γ>1，從而減小圖像的對(duì)比度，以降低光照因素影響。

2 特征提取

為克服單一特征易造成欠分割的難題，并且結(jié)合護(hù)欄自身的特點(diǎn)，依次提取護(hù)欄的線性特征、方差特征和矩特征，實(shí)現(xiàn)多特征融合。經(jīng)過(guò)預(yù)處理的護(hù)欄網(wǎng)格圖像，其綠色通道具有更高的信噪比，故將預(yù)處理過(guò)的彩色護(hù)欄網(wǎng)格圖像Ig轉(zhuǎn)換為綠色通道的護(hù)欄網(wǎng)格圖像G，以高效提取特征。此外，在提取每一類特征之前，使用與該類特征模板尺寸大小相適應(yīng)的高斯濾波以模糊不感興趣特征，從而降低不同特征之間的耦合程度。

2.1 線性特征

鐵路護(hù)欄具有優(yōu)良的線性特征，可近似看成水平直線和垂直直線，故可以選取0°和90°方向的線性特征。考慮到護(hù)欄使用一段時(shí)間后可能會(huì)有輕微變形，以及受地形等因素影響，護(hù)欄并非絕對(duì)的水平與垂直走向，故還需在0°和90°的基礎(chǔ)上正負(fù)偏移5°，再選取4個(gè)方向的線性特征。為便于表述，記角度βk={-5°,0°,5°,85°,90°,95°}對(duì)應(yīng)的線性特征為GLk，其中k=1,…,6。

為確保提取結(jié)果具有連通性，分別選取5個(gè)尺寸的模板Wl×Wl，Wl={3,5,7,9,11}，則模板的平均灰度值計(jì)算式為

(3)

其中，G(i,j)為模板內(nèi)像素點(diǎn)(i,j)的灰度值。

(4)

經(jīng)過(guò)模板中心像素點(diǎn)(x,y)的垂直方向及正負(fù)偏移5°方向的3條直線的平均灰度值可按行遍歷計(jì)算，計(jì)算公式為

(5)

由式(4)和(5)可以計(jì)算出經(jīng)過(guò)中心像素點(diǎn)(x,y)的6條直線的平均灰度值，該點(diǎn)的線性特征GL(x,y)的定義為

(6)

式中，max {·}為取6條直線平均灰度值中的最大值。

2.2 方差特征

方差反映了圖像灰度值的離散程度，表征了圖像的異常點(diǎn)，通過(guò)提取圖像的方差特征，能夠獲取護(hù)欄的輪廓信息，以區(qū)分背景區(qū)域[8]。為獲取具有尺寸不變性的方差特征，分別選取3個(gè)尺寸的模板Wv×Wv，Wv={3,5,7}，則模板中心像素點(diǎn)(x,y)的方差特征GV(x,y)定義為

(7)

根據(jù)式(7)，每計(jì)算一次GV(x,y),滑動(dòng)一次窗口，直到遍歷完整幅圖像；依次選取3種尺寸的模板，可以得到3種尺寸的方差特征GVk。定義圖像的方差特征為

(8)

2.3 矩特征

矩特征具有灰度、平移、尺度和旋轉(zhuǎn)不變性，能夠檢測(cè)物體的邊緣與輪廓。結(jié)合護(hù)欄網(wǎng)格圖像的特點(diǎn)，本文主要采用Haar矩[9]以獲取具有灰度不變性、平移不變性和尺度不變性的特征，選取3個(gè)尺寸的模板Wh×Wh，Wh={3,5,7}，并分別計(jì)算水平矩特征和垂直矩特征。

(9)

模板中心像素點(diǎn)(x,y)的垂直矩特征定義為

(10)

3 二維最大熵分割

信息熵(information entropy)的概念來(lái)源于信息論，一維最大熵分割算法[10]是將圖像每個(gè)像素點(diǎn)的灰度值看作隨機(jī)的信號(hào)，利用使目標(biāo)熵與背景熵達(dá)到最大時(shí)的閾值進(jìn)行圖像分割。由于一維最大熵分割算法只考慮圖像像素的灰度值信息，而沒(méi)有考慮像素的空間信息，分割性能較差。而二維最大熵分割算法[11]同時(shí)考慮了像素點(diǎn)灰度值及其鄰域平均灰度值，分割性能有較大提升。根據(jù)同態(tài)性，無(wú)論是目標(biāo)區(qū)域還是背景區(qū)域，其內(nèi)部的像素灰度級(jí)比較均勻，像素點(diǎn)的灰度值與該點(diǎn)鄰域平均灰度值相近，故可將像素點(diǎn)灰度值與鄰域平均灰度值看作同一類灰度；目標(biāo)區(qū)域與背景區(qū)域所占比例最大，目標(biāo)與背景的分界處像素點(diǎn)灰度值與鄰域平均灰度值差異比較大，故可找到一個(gè)最優(yōu)閾值將二者分離。

設(shè)一幅圖像總像素點(diǎn)數(shù)為m×n，灰度級(jí)數(shù)為λ，Nij表示該圖像中點(diǎn)灰度為i且鄰域平均灰度為j的像素點(diǎn)個(gè)數(shù)，則點(diǎn)灰度-鄰域平均灰度(i,j)的發(fā)生的概率可表示為

(12)

由于二維最大熵分割的核心思想是找到一個(gè)最優(yōu)的閾值向量(s,t)，將目標(biāo)與背景一分為二，故不妨設(shè)目標(biāo)區(qū)域由點(diǎn)灰度低于s、鄰域平均灰度低于t的像素點(diǎn)組成，則目標(biāo)區(qū)域概率和背景區(qū)域概率分別定義為

(13)

(14)

根據(jù)信息熵理論，定義二維熵函數(shù)為

(15)

由式(13)～(15)可計(jì)算出目標(biāo)和背景的二維熵,分別為

(17)

熵判別函數(shù)定義為

φ(s,t)=Eo(s,t)+Eb(s,t)。

(18)

根據(jù)最大熵原理，選取最優(yōu)閾值向量應(yīng)滿足

(19)

由式(19)計(jì)算出最優(yōu)閾值向量，進(jìn)行二維最大熵分割。

4 加權(quán)融合與圖像后處理

4.1 加權(quán)融合

對(duì)經(jīng)過(guò)形態(tài)學(xué)處理的3種初分割結(jié)果進(jìn)行分析，根據(jù)每種初分割結(jié)果的噪聲多少及護(hù)欄網(wǎng)格的完整性、粗細(xì)程度，決定3種初分割結(jié)果在加權(quán)融合中所占的權(quán)重[12]。加權(quán)融合算法定義為

(20)

式中：Gl(x,y),Gv(x,y)和Gh(x,y)分別為線性特征圖、方差特征圖和矩特征圖的初分割結(jié)果中像素點(diǎn)(x,y)的灰度值；ωl,ωv和ωh為灰度對(duì)應(yīng)的權(quán)重。

經(jīng)過(guò)二維最大熵初分割，護(hù)欄像素點(diǎn)的灰度值較大，接近255；非護(hù)欄像素點(diǎn)的灰度值較小，接近0。通過(guò)給各個(gè)初分割結(jié)果賦予權(quán)重，進(jìn)行加權(quán)求和，能有效地決策出該點(diǎn)是否為護(hù)欄像素點(diǎn)。

4.2 圖像后處理

連通域去噪核心思想是目標(biāo)物的連通域面積較大，而噪聲的連通域面積較小，通過(guò)反轉(zhuǎn)連通域面積較小的區(qū)域?yàn)楸尘埃瑥亩_(dá)到去噪的目的。連通域去噪主要有4鄰域標(biāo)記法和8鄰域標(biāo)記法[13]，本文采用8鄰域標(biāo)記法，并以連通域內(nèi)像素點(diǎn)個(gè)數(shù)代表連通域的面積。通過(guò)定義連通域標(biāo)簽label(x,y)來(lái)記錄輸入圖像Gf像素點(diǎn)(x,y)的信息，其取值為{1,2,3}，1代表未檢查，2代表檢查合格或不需要檢查，3代表檢查不合格。8鄰域標(biāo)記法的具體步驟如下：

步驟1設(shè)定背景灰度閾值Tb，若點(diǎn)(x,y)的灰度值Gf(x,y)

步驟2以某一label為1的像素點(diǎn)為起點(diǎn)，以8鄰域?yàn)椴介L(zhǎng)，開始遍歷檢查。判斷該點(diǎn)8鄰域內(nèi)像素點(diǎn)的灰度值是否大于Tb，若大于Tb，則label更新為3，表示該點(diǎn)不合格，否則label更新為2，依次進(jìn)行，直到出現(xiàn)某一像素點(diǎn)的8鄰域灰度值全都小于Tb，說(shuō)明該連通域檢查完畢，統(tǒng)計(jì)該連通域內(nèi)label為3的像素點(diǎn)個(gè)數(shù)，記為A1。

步驟3重復(fù)步驟2，可統(tǒng)計(jì)出第i個(gè)連通域中l(wèi)abel為3的像素點(diǎn)個(gè)數(shù)Ai。

步驟4設(shè)定連通域像素點(diǎn)個(gè)數(shù)閾值Ta，若Ai

5 結(jié)果與分析

本實(shí)驗(yàn)仿真平臺(tái)為Visual Studio 2017和opencv3.4，計(jì)算機(jī)配置為Intel?CoreTMi5-8300H CPU，16G內(nèi)存，Nvidia GeForce GTX 1060 GPU，采用64-bit Win10 operating System。

5.1 預(yù)處理

對(duì)護(hù)欄圖像進(jìn)行雙邊濾波降噪和伽馬變換圖像增強(qiáng)，如圖1所示。雙邊濾波器的像素鄰域直徑d依次取5，15和25，可得到3種不同濾波尺寸的圖像，其中，圖1(b)濾波尺寸太小，降噪效果不足；圖1(d)濾波尺寸太大，雖然將背景大部分模糊，但也模糊了部分護(hù)欄；圖1(c)濾波尺寸選取合適，既把背景中的樹木模糊又將護(hù)欄很好保留。對(duì)圖1(c)進(jìn)行伽馬變換，由于護(hù)欄圖像整體亮度較大，伽馬值應(yīng)大于1，伽馬值依次設(shè)置為2和3。其中，圖1(f)過(guò)度弱化了背景，導(dǎo)致圖像整體較暗，而圖1(e)伽馬值選取合適，既突顯了目標(biāo)區(qū)域又弱化了背景區(qū)域。

圖1 雙邊濾波降噪和伽馬變換圖像增強(qiáng)的參數(shù)選擇

5.2 特征提取

依次提取圖1(e)的線性特征、方差特征和矩特征。其中線性特征模板尺寸Wl={3,5,7,9,11}，角度βk={-5°,0°,5°,85°,90°,95°}；方差特征模板尺寸Wv={3,5,7}；矩特征模板尺寸Wh={3,5,7}。提取的特征如圖2所示。

圖2 鐵路護(hù)欄網(wǎng)格特征提取結(jié)果

5.3 最大熵初分割

對(duì)圖2分別進(jìn)行一維最大熵分割與二維最大熵分割，初分割結(jié)果如圖3所示，對(duì)比兩種分割方法發(fā)現(xiàn)：一維最大熵分割雖然背景噪聲很小，但是護(hù)欄出現(xiàn)大量孔洞甚至斷裂，這主要是因?yàn)橐痪S最大熵分割算法只考慮圖像像素點(diǎn)的灰度值，從而部分與背景有相近灰度值的護(hù)欄像素點(diǎn)被當(dāng)成背景；二維最大熵分割算法能夠分割出更多的目標(biāo)區(qū)域，雖然一些背景也被分割進(jìn)去，但該類噪聲與目標(biāo)相比連通性較差且分布獨(dú)立，經(jīng)本文的后處理算法即可去除，故選取二維最大熵初分割結(jié)果。

5.4 加權(quán)融合與連通域去噪

對(duì)比圖3(d)、(e)和(f)發(fā)現(xiàn)，線性特征初分割的護(hù)欄最完整，但護(hù)欄較細(xì)，噪聲較多；方差特征初分割噪聲最少，但護(hù)欄分割過(guò)粗且有斷裂；矩特征初分割效果最差，噪聲多且護(hù)欄有孔洞和斷裂。綜上分析，在加權(quán)融合進(jìn)行權(quán)重選擇時(shí)，線性特征權(quán)重應(yīng)不小于0.5，方差特征權(quán)重應(yīng)大于矩特征權(quán)重。當(dāng)線性、方差和矩特征權(quán)重分別取為0.1，0.7和0.2時(shí)，加權(quán)融合結(jié)果如圖4(a)所示；當(dāng)線性、方差和矩特征權(quán)重分別取為0.1，0.2和0.7時(shí)，加權(quán)融合結(jié)果如圖4(b)所示；當(dāng)線性、方差和矩特征權(quán)重分別取為0.7，0.2和0.1時(shí)，加權(quán)融合結(jié)果如圖5(a)所示，對(duì)圖5(a)進(jìn)行連通域去噪，結(jié)果如圖5(b)所示。

圖3 特征圖的一維最大熵與二維最大熵初分割結(jié)果對(duì)比

圖4(a)由于方差特征權(quán)重過(guò)大，導(dǎo)致提取的護(hù)欄過(guò)粗和斷裂；圖4(b)由于矩特征權(quán)重過(guò)大，導(dǎo)致噪聲過(guò)多，提取的護(hù)欄有孔洞和斷裂；圖5(a)各特征權(quán)重比例合適，融合后護(hù)欄完整且粗細(xì)合適。圖5(b)為連通域去噪處理結(jié)果，能夠?qū)崿F(xiàn)較為完整的護(hù)欄網(wǎng)格提取，提取的護(hù)欄左上角和右下角較細(xì)，主要是因?yàn)樵谠瓐D中，護(hù)欄的左上角和右下角出現(xiàn)生銹的情況，這也間接反映了護(hù)欄的這兩個(gè)部分可能需要進(jìn)行維護(hù)。

圖4 不同特征權(quán)重比例下加權(quán)融合結(jié)果對(duì)比

圖5 線性、方差和矩特征權(quán)重分別取0.7，0.2和0.1時(shí)加權(quán)融合及其連通域去噪結(jié)果

為進(jìn)一步體現(xiàn)本文方法的有效性和可行性，對(duì)文獻(xiàn)[2-3,10,14]分割算法進(jìn)行復(fù)現(xiàn)，運(yùn)用于鐵路護(hù)欄風(fēng)格圖像的提取，護(hù)欄網(wǎng)格最終提取結(jié)果如圖6所示。文獻(xiàn)[2]形態(tài)學(xué)算法能夠初步區(qū)分出背景與目標(biāo)，但仍保留大量背景信息，易模糊目標(biāo)，不利于護(hù)欄網(wǎng)格提取；文獻(xiàn)[3]均值漂移算法網(wǎng)格提取效果較好，但仍有較大噪聲，且護(hù)欄存在部分空洞現(xiàn)象，造成欠分割；文獻(xiàn)[10]一維最大熵算法提取結(jié)果背景噪聲小，但提取的護(hù)欄網(wǎng)格偏細(xì)，且有斷裂；文獻(xiàn)[14]OTSU算法易造成過(guò)分割，提取出大量背景；本文算法提取的護(hù)欄網(wǎng)格圖像較為完整且噪聲少。

圖6 不同算法鐵路護(hù)欄網(wǎng)格圖像提取結(jié)果對(duì)比

6 結(jié) 語(yǔ)

鐵路護(hù)欄是鐵路重要基礎(chǔ)設(shè)施，其網(wǎng)格圖像精確提取是后續(xù)鐵路護(hù)欄檢測(cè)關(guān)鍵步驟。本文對(duì)護(hù)欄的線性特征、方差特征和矩特征進(jìn)行融合，解決了單一特征易造成誤分割和欠分割問(wèn)題；利用二維最大熵進(jìn)行分割，克服了一維最大熵分割抗噪性能差的缺點(diǎn)；采用雙邊濾波、伽馬變換和連通域去噪方法，大幅度降低噪聲。本文方法在護(hù)欄網(wǎng)格圖像提取方面較一些傳統(tǒng)的方法有優(yōu)異的性能，但也存在不足之處，主要有實(shí)驗(yàn)參數(shù)需要手動(dòng)調(diào)節(jié)，不具備自適應(yīng)性；基于模板的特征提取，會(huì)導(dǎo)致圖像的四周邊緣無(wú)法被檢測(cè)到。因此，下一步工作主要是解決參數(shù)自適應(yīng)問(wèn)題和如何根據(jù)同態(tài)性讓圖像邊緣內(nèi)側(cè)鄰域像素灰度值近似代替邊緣像素值，以減小特征提取誤差。