基于MD-LBP關(guān)聯(lián)方向特征的鐵路隧道漏纜卡扣檢測(cè)算法

張?jiān)谱?，宋洲臣，楊攀?/p>

(石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院, 石家莊 050043)

鐵路的移動(dòng)通信系統(tǒng)是保障列車安全運(yùn)行的關(guān)鍵部分，山區(qū)隧道段主要通過鋪設(shè)泄漏電纜來搭建通信網(wǎng)絡(luò)，一般需將泄漏電纜懸掛在隧道壁上，用專門的漏纜卡扣將其固定[1].目前檢測(cè)漏纜卡扣仍舊停留在人工定點(diǎn)定期逐一排查的階段，該方法不僅受到環(huán)境因素和人為因素的影響[2]，檢測(cè)效率也十分低下.特別是隨著近些年鐵路事業(yè)的高速發(fā)展，隧道里程不斷增加，定點(diǎn)定期排查法很難再滿足實(shí)際的需求，結(jié)合計(jì)算機(jī)視覺的自動(dòng)化檢測(cè)技術(shù)將是該領(lǐng)域發(fā)展的主要趨勢(shì).在采集隧道漏纜卡扣圖像數(shù)據(jù)集時(shí)，需要先在列車窗口處安置一臺(tái)高速攝像機(jī)，以便收集列車在隧道運(yùn)行過程中拍攝到的全部畫面，即便能省去了大量現(xiàn)場(chǎng)勘察工作，倘若由人工逐一篩選，工作量也十分龐大.深度學(xué)習(xí)在圖像處理方面有著十分出色的表現(xiàn)，但故障卡扣的圖像數(shù)據(jù)量非常有限，達(dá)不到模型訓(xùn)練的最低標(biāo)準(zhǔn)，于是采用基于統(tǒng)計(jì)學(xué)習(xí)的特征提取算法進(jìn)行故障卡扣的篩選，能有效規(guī)避數(shù)據(jù)集不平衡帶來的檢測(cè)問題，提高故障卡扣的識(shí)別準(zhǔn)確率.

基于統(tǒng)計(jì)學(xué)習(xí)的故障檢測(cè)算法仍是通過特征提取和特征分類這兩步來實(shí)現(xiàn)，并且主要通過特征融合[3-4]以及改變分類決策[5]來提升檢測(cè)的準(zhǔn)確率.LBP[6]能側(cè)重把握待檢測(cè)物體的紋理特征，因此被廣泛運(yùn)用于人臉識(shí)別和紋理分類領(lǐng)域.在保證描述子旋轉(zhuǎn)不變性和光照不變性的前提下，CS-LBP[7]彌補(bǔ)了LBP算子徑向特征獲取不充分的問題，而完備的二值模式CLBP[8]又?jǐn)U充了幅值差分信息，這使得特征的描述能力進(jìn)一步得到提升.HOG[9]特征作為另一種從局部過渡到全局的描述子，能細(xì)致捕捉鄰域像素的梯度分量，是刻畫目標(biāo)輪廓的最佳描述子之一.于是文獻(xiàn)[10]采用了HOG和LBP的融合特征進(jìn)行特征描述，但也出現(xiàn)了特征維度過高的情況.為了減少運(yùn)算量文獻(xiàn)[11-13]均采用了PCA[14]主成分分析法分別對(duì)HOG-LBP的融合特征、HOG-LBP的分層融合特征以及HOG-CLBP的融合特征進(jìn)行降維處理，即便文獻(xiàn)[14]還采用Selective Search[15]只針對(duì)候選區(qū)域進(jìn)行特征提取以實(shí)現(xiàn)降維的目的，但這類描述子的本質(zhì)還是通過大量擴(kuò)充特征維度來提升檢測(cè)能力，一方面描述子的特征維度會(huì)急劇增加且針對(duì)性并不強(qiáng)，另一方面擴(kuò)充的特征也僅局限在采樣圓域內(nèi)，單靠對(duì)圖像分塊獲取到的位置信息也十分有限，這使得漏纜卡扣的檢測(cè)準(zhǔn)確率不夠理想.盡管近些年深度學(xué)習(xí)[16]在圖像處理領(lǐng)域有相當(dāng)不錯(cuò)的發(fā)展，也取得很多的學(xué)術(shù)成就，但模型的訓(xùn)練過程對(duì)數(shù)據(jù)集的依賴程度非常嚴(yán)重，尤其是在故障卡扣圖像數(shù)據(jù)量不夠充足的情況下，模型的訓(xùn)練結(jié)果往往不夠理想.

本文作者提出MD-LBP(Multiple Direction Local Binary Pattern)三層圖結(jié)構(gòu)，在Block特征圖上提取關(guān)聯(lián)方向特征，不僅同時(shí)兼顧了采樣圓域內(nèi)的多元梯度差值分量和采樣圓域間多元梯度方向的關(guān)聯(lián)相似性.通過對(duì)比該系列算法，發(fā)現(xiàn)MD-LBP能在更大尺度上獲取漏纜卡扣的輪廓特征，有效解決了圖像分塊和多特征融合帶來的高維計(jì)算問題，同時(shí)對(duì)故障卡扣數(shù)據(jù)量要求低，模型訓(xùn)練簡(jiǎn)單.在對(duì)比實(shí)驗(yàn)結(jié)果中也展現(xiàn)出較強(qiáng)的檢測(cè)性能.

1 漏纜卡扣檢測(cè)流程

本文所提方法實(shí)現(xiàn)漏纜卡扣檢測(cè)的完整流程如圖1所示，提取關(guān)聯(lián)方向特征主要通過以下兩個(gè)關(guān)鍵步驟實(shí)現(xiàn).

圖1 漏纜卡扣檢測(cè)流程圖Fig.1 Flow chart of detection of leaky cable fixture buckle

1) 計(jì)算MD-LBP特征圖. 首先對(duì)輸入圖像進(jìn)行高斯濾波預(yù)處理，目的是盡可能減少一部分噪聲干擾；再根據(jù)預(yù)處理后圖像的全局灰度均值得到相應(yīng)的閾值T；然后依次計(jì)算出Pixel特征圖、Cell特征圖和Block特征圖，得到完整的MD-LBP特征圖.

2)計(jì)算關(guān)聯(lián)方向特征. 在上一個(gè)環(huán)節(jié)得到的MD-LBP特征圖中，以3×3的Block為處理窗口統(tǒng)計(jì)關(guān)聯(lián)方向特征[17]，并以此特征作為描述子，完成故障卡扣的檢測(cè)工作.

1.1 LBP及CS-LBP算法

Ojala等[6]提出的LBP特征描述子具有灰度不變性和旋轉(zhuǎn)不變性，即便在光照不均的圖像中也能表現(xiàn)出較好的魯棒性.該算法的核心思想是比較中心像素與鄰域采樣點(diǎn)之間灰度值的大小，利用布爾函數(shù)計(jì)算出相應(yīng)的二進(jìn)制編碼，按統(tǒng)一順序轉(zhuǎn)換成十進(jìn)制的編碼值.為了增強(qiáng)LBP描述子的方向性，Heikkila等[7]提出了CS-LBP特征提取算法，該算法關(guān)注的重點(diǎn)是圓形鄰域內(nèi)每組中心對(duì)稱的采樣像素對(duì)，同樣需將所得的二進(jìn)制編碼按統(tǒng)一順序轉(zhuǎn)換成十進(jìn)制的編碼值，以此作為特征描述子.

LBP和CS-LBP的采樣差異如圖2所示，nc表示中心采樣點(diǎn)；n1～n8分別表示鄰域采樣點(diǎn).在采樣個(gè)數(shù)P=8和采樣半徑R=1的條件下，CS-LBP描述子的特征維度要遠(yuǎn)低于LBP描述子的特征維度，具有更高的特征提取效率.由于CS-LBP著重于徑向梯度差分信息，減弱了中心像素對(duì)鄰域采樣點(diǎn)的影響，使特征在提取的過程對(duì)中光照變化的敏感度更低，表現(xiàn)出更強(qiáng)的抗噪能力.

圖2 LBP和CS-LBP的采樣差異Fig.2 Sampling difference between LBP and CS-LBP

2 MD-LBP特征圖結(jié)構(gòu)

本文在CS-LBP模型的基礎(chǔ)之上進(jìn)行拓展，保留了關(guān)于比較中心對(duì)稱采樣點(diǎn)灰度差值的計(jì)算方式，提出一種MD-LBP三層特征圖結(jié)構(gòu).在圖3中將尺寸為256×256的輸入圖像經(jīng)過3層圖結(jié)構(gòu)中的后兩層連續(xù)降維，最終能夠以更大的尺度在64×64的第3層Block特征圖上提取關(guān)聯(lián)方向特征，并以此作為描述子完成故障卡扣的檢測(cè)工作.

圖3 MD-LBP特征圖結(jié)構(gòu)Fig.3 MD-LBP feature map structure

2.1 Pixel特征圖

不改變CS-LBP現(xiàn)有的徑向灰度差分計(jì)算方式，此外還必須標(biāo)出每組像素對(duì)的具體梯度方向.MD-LBP算法將每組像素對(duì)中灰度值大的那一側(cè)對(duì)應(yīng)的方向位標(biāo)1，灰度值小的那一側(cè)對(duì)應(yīng)的方向位標(biāo)0.相較于CS-LBP算法，雖然二進(jìn)制計(jì)數(shù)位由 原先的4位拓展到8位，但每組中心對(duì)稱像素對(duì)都只有00、10、01這三種存在形式，所以在圖2的采樣條件下二進(jìn)制排布方式的總數(shù)為81種，相應(yīng)的計(jì)算公式為

X=[x1,x2,…，xi，…,xp],i∈{0,1,…,P}

(1)

(2)

(3)

(4)

式中：X是長(zhǎng)度為8的一維數(shù)組，xi∈{0,1} ,T為閾值.對(duì)輸入圖像采用MD-LBP算法得到的第1層Pixel特征圖是一副8通道的圖像，每個(gè)像素的像素值將由8位二進(jìn)制數(shù)字0或1構(gòu)成，并且不用再進(jìn)行十進(jìn)制轉(zhuǎn)換，8個(gè)通道分別對(duì)應(yīng)了采樣圓域的8個(gè)梯度方向.為了維持第1層Pixel特征圖的尺寸與輸入圖像一致，可以將最外邊的一圈像素用0填充.

2.2 Cell特征圖

在上一個(gè)環(huán)節(jié)得到的第1層Pixel特征圖中，以2×2的像素為一個(gè)Cell，2個(gè)像素為步長(zhǎng)，依次計(jì)算所有的Cell單元編碼值，圖4為第2層Cell特征圖的計(jì)算過程.

圖4 Cell主方向的計(jì)算過程Fig.4 Calculation process of Cell main direction

Pixel特征圖中的a、b、c、d四個(gè)像素組成一個(gè)像素塊，通過計(jì)算像素塊的主方向得到Cell特征圖在對(duì)應(yīng)位置處的特征值.首先要分別計(jì)算出這四個(gè)像素對(duì)應(yīng)的徑向二進(jìn)制編碼值，這8個(gè)方向分別與數(shù)字1～8對(duì)應(yīng).例如以計(jì)算a像素的二進(jìn)制編碼值為例，取采樣個(gè)數(shù)P=8，采樣半徑R=1，用雙線性插值法確定圓形鄰域內(nèi)所有采樣點(diǎn)的灰度值，通過式(1)～式(4)計(jì)算出每組中心對(duì)稱像素對(duì)的差值分量，若差值大于閾值T，則將灰度值大的采樣點(diǎn)對(duì)應(yīng)的方向標(biāo)為1，灰度值小的采樣點(diǎn)對(duì)應(yīng)的方向標(biāo)為0，若絕對(duì)值不大于閾值T，則兩個(gè)采樣點(diǎn)的對(duì)應(yīng)方向都標(biāo)為0.經(jīng)計(jì)算得出像素點(diǎn)a只在135°、270°這兩個(gè)方向標(biāo)為1，其余方向均標(biāo)為0，于是從0°開始以逆時(shí)針方向編碼，01001000即為所求二進(jìn)制編碼值.

依次計(jì)算出a、b、c、d四個(gè)像素的二進(jìn)制編碼值，再將4個(gè)編碼值按對(duì)應(yīng)的編碼計(jì)數(shù)位累加，計(jì)數(shù)和最高的計(jì)數(shù)位就是該Cell的主方向特征，即為該Cell單元的輸出編碼值.圖4得到90°方向的計(jì)數(shù)最多出現(xiàn)了4次，所以該Cell單元的對(duì)應(yīng)編碼值為6.對(duì)整幅Pixel特征圖重復(fù)以上步驟得到完整的Cell特征圖，此時(shí)每個(gè)Cell單元的取值范圍為1～8.為了保證輸出Cell的編碼值唯一，規(guī)定當(dāng)多個(gè)方向的計(jì)數(shù)和同時(shí)最多時(shí)，優(yōu)先輸出水平方向和豎直方向的編碼值，如果水平和豎直方向的計(jì)數(shù)同時(shí)最多時(shí)，則輸出兩者中編碼數(shù)值小的計(jì)數(shù)位.

2.3 Block特征圖

在Cell特征圖上取2×2的Cell為一個(gè)整體，2個(gè)Cell為步長(zhǎng)，根據(jù)Cell塊的整體主方向特性進(jìn)行下采樣，分別計(jì)算Block特征圖中每個(gè)Block單元在對(duì)應(yīng)位置處的取值情況.以計(jì)算圖5中的6個(gè)Block主方向過程為例，均在2×2的Cell窗口內(nèi)完成，并滿足以下三項(xiàng)基本要點(diǎn).

圖5 Block主方向計(jì)算過程Fig.5 Calculation process of Block main direction

1)若某一主方向出現(xiàn)次數(shù)超過兩次，對(duì)應(yīng)的Block主方向?qū)⒅苯訛樵揅ell塊內(nèi)出現(xiàn)次數(shù)最多的主方向.若沒有一個(gè)主方向出現(xiàn)次數(shù)超過一次，則對(duì)應(yīng)的Block主方向?qū)⒅苯訛?.

2) 水平方向和豎直方向具有優(yōu)先級(jí)，當(dāng)與其它斜向主方向的出現(xiàn)次數(shù)同時(shí)最多時(shí)，該Block主方向?yàn)樗交蛘哓Q直主方向.當(dāng)水平和豎直主方向的出現(xiàn)次數(shù)同時(shí)出現(xiàn)最多時(shí)，則該Block主方向?yàn)閮烧咧芯幋a數(shù)值小的方向.

3) Cell塊內(nèi)某個(gè)主方向出現(xiàn)的次數(shù)為兩次時(shí)，若使對(duì)應(yīng)的Block主方向也為該方向，則其余Cell的方向都必須與該主方向相鄰.

3 關(guān)聯(lián)方向特征

經(jīng)過MD-LBP特征圖結(jié)構(gòu)的一、二層下采樣，最后需要在第3層Block特征圖上提取關(guān)聯(lián)方向特征.采用3×3的窗口提取像素塊之間的關(guān)聯(lián)方向特征，一方面能減少信息損失，另一方面能減少基礎(chǔ)編碼單位的數(shù)量.每個(gè)Block單元的有效取值范圍變?yōu)?～8，圖像尺寸也縮小為64×64.

以中心Block的主方向特征為基準(zhǔn)，在鄰域8個(gè)采樣Block中分別統(tǒng)計(jì)主方向取值滿足條件的Block，并編碼它們的排列方式.例如圖6窗口內(nèi)的中心Block主方向?yàn)?，先按照逆時(shí)針方向排序，分別列出與中心主方向相同和中心主方向相鄰的Block的排列情況，再統(tǒng)計(jì)每種排列方式對(duì)應(yīng)的基礎(chǔ)編碼的計(jì)數(shù)值.

圖6 關(guān)聯(lián)方向特征提取過程Fig.6 Extraction process of correlated directional features

在編碼的過程中，如果基礎(chǔ)編碼涉及到的有效采樣Block的數(shù)量太少，關(guān)聯(lián)方向特征就會(huì)失去針對(duì)性，而如果涉及到的有效采樣Block數(shù)量太多，相應(yīng)編碼單位的計(jì)數(shù)就會(huì)普遍偏低.所以為了保證編碼的基礎(chǔ)單位具有代表性，同時(shí)描述子的特征維度也不能過高.規(guī)定用圖7所示的28種基礎(chǔ)編碼單位記錄每種排列方式，每種基礎(chǔ)編碼單位都只有兩個(gè)有效采樣Block參與排列，于是圖6中的2→2型排列方式將用3個(gè)基礎(chǔ)編碼單位表示.

00000011 : 0110000001 : 0801000001 : 1500100001 : 2200000110 : 0200000101 : 0910000010 : 1601000010 : 2300001100 : 0300001010 : 1000001001 : 1710000100 : 2400011000 : 0400010100 : 1100010010 : 1800010001 : 2500110000 : 0500101000 : 1200100100 : 1900100010 : 2601100000 : 0601010000 : 1301001000 : 2001000100 : 2711000000 : 0710100000 : 1410010000 : 2110001000 : 28

4 實(shí)驗(yàn)過程及結(jié)果分析

將高速雙線CMOS相機(jī)全程跟車拍攝的原始數(shù)據(jù)切分成尺寸為256×256的圖像，并以此作為輸入圖像數(shù)據(jù)集.其中故障卡扣圖像195張，正?？蹐D像900張.將圖像數(shù)據(jù)集的70%劃分為訓(xùn)練集，剩下的30%作為測(cè)試集.

4.1 計(jì)算Block特征圖

在輸入圖像數(shù)據(jù)集中分別選擇4～5張全局灰度均值分布在不同區(qū)間的圖像，經(jīng)過9×9的高斯濾波處理后，依次比較它們?cè)诓煌撝迪翪ell特征圖的成像效果.表1列出了部分灰度均值分布在不同區(qū)間內(nèi)，并根據(jù)不同閾值等級(jí)計(jì)算得到的效果圖.閾值的評(píng)價(jià)標(biāo)準(zhǔn)是必須確保特征圖能完整地表示漏纜卡扣的輪廓，還能在一定程度上過濾掉背景噪聲.于是將全局灰度均值分成8個(gè)區(qū)間，分別對(duì)應(yīng)8個(gè)閾值等級(jí)，具體的計(jì)算公式為

(5)

當(dāng)全局灰度均值處于80～220之間時(shí)，將采用取整函數(shù)得到相應(yīng)的閾值T.

表1 不同閾值的效果圖Tab. 1 Images of different thresholds

4.2 提取關(guān)聯(lián)方向特征

在計(jì)算MD-LBP圖結(jié)構(gòu)的主方向特征時(shí)，規(guī)定了水平和豎直方向具有優(yōu)先級(jí)，因此為了提取到更全面的關(guān)聯(lián)方向特征，采用雙層特征的融合算子作為描述子，以提高漏纜卡扣的檢測(cè)能力.提取過程見圖8.

圖8 融合特征提取過程Fig.8 Extracting process of extracting fusion feature

在圖8所示的特征提取環(huán)節(jié)中，所有取值結(jié)果都代表了一個(gè)主方向，n的取值范圍為1～8，表示將提取所有Block的關(guān)聯(lián)方向特征，共有672(28×3×8)種排列情況.而m的取值范圍為2、4、6、8，表示單獨(dú)提取這4個(gè)優(yōu)先主方向Block的關(guān)聯(lián)方向特征，共有336(28×3×4)種排列情況.然后再將這兩層特征進(jìn)行串聯(lián)，得到最終的描述子.

4.3 結(jié)果及分析

采用召回率R和精準(zhǔn)度P作為檢測(cè)結(jié)果的評(píng)價(jià)指標(biāo)，具體計(jì)算公式分別為

(6)

(7)

式中:TP為被正確判斷為故障的卡扣;FP為被判斷為故障的正?？?FN為判斷為正常的故障卡扣.

為了證明本文所提的MD-LBP算法提取漏纜卡扣特征具有優(yōu)越性，與LBP、CS-LBP、HOG等多種變體算法的檢測(cè)情況做比較，得到表2的實(shí)驗(yàn)結(jié)果，Bin表示對(duì)應(yīng)描述子的特征維度.同時(shí)還繪制了如圖9的ROC曲線，其中假正率是指被錯(cuò)誤判斷為正常的卡扣占所有正常卡扣的比重，具體計(jì)算公式為

(8)

AUC評(píng)價(jià)指標(biāo)是指ROC曲線與x軸所圍的面積，越接近1說明該模型的效果越好，另外這幾種對(duì)比算法的具體參數(shù)設(shè)定情況如下：

表2 檢測(cè)結(jié)果對(duì)比Tab.2 Comparison of test results

3) HOG描述子先采用最近鄰插值法，將輸入圖像的尺寸縮小為128×128，再進(jìn)行特征提取，其中像素塊Cell為8×8，像素塊Block為16×16，移動(dòng)步長(zhǎng)Stride為16，每個(gè)提取窗口梯度分量的維度bins為9.

4) HOG_LBP和HOG_CLBP是指將先前得到的HOG描述子分別與4×4劃分的LBP描述子和4×4劃分CLBP描述子連接起來，得到二者的融合特征.

表2中的Bin指標(biāo)是描述子的特征維度，可以看到本文所提MD-LBP算法在漏纜卡扣的檢測(cè)結(jié)果上能夠表現(xiàn)出顯著優(yōu)勢(shì)，特別是召回率和準(zhǔn)確度均能達(dá)到較高水準(zhǔn).即便HOG_LBP(4×4)的融合特征使召回率達(dá)到0.889，但準(zhǔn)確度卻只有0.615，這說明有大量正常的卡扣被誤判為故障卡扣.而MD-LBP沒有對(duì)圖像進(jìn)行分塊處理，經(jīng)過降維后Block特征圖的尺寸與其他傳統(tǒng)方法4×4劃分圖像后的最小分區(qū)子圖像尺寸一致，不僅包含了待檢測(cè)目標(biāo)的關(guān)鍵特征，還在尺度上將特征進(jìn)行放大，能對(duì)漏纜卡扣的輪廓有更好的表達(dá)，而且所得到的描述子特征維度也遠(yuǎn)遠(yuǎn)低于傳統(tǒng)方法劃分圖像后的維度.圖像4×4分塊的檢測(cè)結(jié)果相較于2×2分塊的檢測(cè)結(jié)果略有提升，但整體的召回率和準(zhǔn)確度仍舊偏低，同時(shí)還存在隨著分塊數(shù)量變多，描述子特征維度急劇增加的弊端.再從檢測(cè)結(jié)果上分析，不論怎樣進(jìn)行圖像分塊，這幾組該系列的對(duì)比算法都對(duì)大量正?？圻M(jìn)行了誤判，檢測(cè)漏纜卡扣的能力均不如本文所提算法.

(a)MD-LBP、HOG與2×2劃分圖像的算法對(duì)比

(b)MD-LBP、HOG與4×4劃分圖像的算法對(duì)比圖9 ROC曲線圖Fig.9 ROC curve

5 結(jié)論

1)所提MD-LBP關(guān)聯(lián)方向特征提取算法相比于該系列LBP衍生算法的顯著優(yōu)勢(shì)是通過MD-LBP三層圖結(jié)構(gòu)解決了特征圖尺度單一、特征融合以及圖像分塊造成的描述子維度過高的問題，同時(shí)對(duì)故障卡扣樣本數(shù)據(jù)量要求低，模型訓(xùn)練過程簡(jiǎn)單.

2)在隧道場(chǎng)景中用像素塊整體的梯度方向描述漏纜卡扣的輪廓特征，還能有效減少背景噪聲的干擾，通過多組實(shí)驗(yàn)對(duì)比表明了本文所提算法具有較好的檢測(cè)性能.