基于半監(jiān)督深度學(xué)習(xí)的無砟軌道扣件缺陷圖像識別方法

戴 鵬，王勝春，杜馨瑜，韓 強，王 昊，任盛偉

(中國鐵道科學(xué)研究院 基礎(chǔ)設(shè)施檢測研究所, 北京 100081)

采用非接觸式動態(tài)檢測方法對軌道部件狀態(tài)缺陷進行巡檢的技術(shù)迅速發(fā)展，其中基于激光測距掃描的檢測方法[1]、基于可見光成像的檢測方法[2]成為主流?？梢姽獬上竦臋z測方法因其所獲數(shù)據(jù)良好的可視性、可追溯性，且數(shù)據(jù)分析的自動化、智能化而被廣泛應(yīng)用于檢測鋼軌狀態(tài)[3-4]、接觸網(wǎng)部件狀態(tài)[5]等。無砟軌道扣件是聯(lián)結(jié)高鐵無縫鋼軌和混凝土道床的基礎(chǔ)部件，其缺陷可能引發(fā)鋼軌移位并造成列車脫軌。我國高鐵線路長，扣件總量基數(shù)大，急需自動化、智能化的檢測技術(shù)來準確、高效地發(fā)現(xiàn)扣件缺陷。

扣件缺陷的機器識別方法通常以軌道為輸入圖像，通過圖像分割運算提取出扣件子圖，并識別扣件子圖狀態(tài)來檢測缺陷。早期方法通過檢測扣件螺栓、彈條等部件在圖像中形成的邊緣、角點特征變化進行識別[6-8]，這類方法屬于初級機器視覺層次，檢測精度和抗噪能力較差；后經(jīng)發(fā)展，通過借鑒“人臉識別”、“行人檢測”等機器視覺問題解決方案，采用基于“人工設(shè)計特征”搭配統(tǒng)計模式識別分類器進行識別。如：Haar特征搭配LDA (Latent Dirichlet Allocation)分類器[9]，Adaboost分類器[10]，HOG特征搭配K-近鄰分類器[11-12]、支持向量機(Support Vector Machine,SVM)[13-14]分類器等。這類方法基于“專家設(shè)計”算子描述扣件模式，并通過統(tǒng)計學(xué)習(xí)建立分類器，一定程度上提升了識別精度和魯棒性，但在處理非同源數(shù)據(jù)時泛化性弱，存在虛警率高、對缺陷扣件存在較高比率漏檢的問題，給工程實踐造成困擾。

隨著以深度學(xué)習(xí)(Deep Learning, DL)為代表的人工智能技術(shù)發(fā)展，設(shè)計深度網(wǎng)絡(luò)從數(shù)據(jù)集中自動學(xué)習(xí)特征的模式識別系統(tǒng)，表現(xiàn)出遠超傳統(tǒng)“人工設(shè)計特征”的優(yōu)勢。已有相關(guān)研究將該技術(shù)用于處理鐵路圖像，如使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)識別有砟軌道場景區(qū)域[15-16]、軌道塞釘?shù)攘悴考顟B(tài)[17]等，獲得了更好的識別精度。

本文針對無砟軌道圖像中扣件子圖空間紋理相似度較高及我國高速客專無砟軌道扣件樣本相對稀缺的特點，研究軌道圖像中扣件子圖精確快速定位算法和基于半監(jiān)督深度學(xué)習(xí)的扣件缺陷機器識別方法，并通過在運營客專線試運用，對該方法在缺陷檢出率及計算效率等方面進行驗證。

1 基于置信圖的扣件子圖快速定位算法

研究中的圖像數(shù)據(jù)采集于軌道狀態(tài)巡檢系統(tǒng)[2]。該系統(tǒng)采用高速線陣工業(yè)相機對軌道進行等間距運動掃描，掃描間距為1.6 mm/掃描線，單相機的橫向覆蓋視野約為1 m，鋼軌和扣件位于圖像中間區(qū)域，如圖1(a)所示。我國高鐵的無砟軌道采用了CTRS-Ⅰ，CTRS-Ⅱ型等不同類型軌道板，其扣件結(jié)構(gòu)存在一定差異，這里選取高鐵干線線路廣泛采用的WJ-7和WJ-8型2種扣件作為研究對象。

圖1 軌道圖像中選取扣件子圖鄰域的示意圖

扣件子圖定位是指從軌道圖像中提取出扣件子圖，并把該子圖作為后續(xù)缺陷識別算法的輸入。已有的扣件定位研究多基于邊緣幾何特征[9]、互信息相關(guān)性[18]、紋理模板匹配[19]等方法。其中基于邊緣幾何特征、互信息相關(guān)性的方法易受環(huán)境噪聲干擾，給工程實踐造成困難；基于紋理模板匹配的方法則依賴于遍歷尋優(yōu)，計算開銷大，實時性差。針對上述問題，提出了一種基于置信圖模型的扣件子圖快速定位算法。算法主要包括扣件子圖鄰域紋理圖的構(gòu)建和扣件子圖定位2個步驟。首先，基于先驗信息在軌道圖像中指定某個扣件子圖鄰域作為引導(dǎo)圖，應(yīng)用概率圖模型對引導(dǎo)圖進行處理，構(gòu)建該區(qū)域的紋理圖和扣件子圖在該區(qū)域中的置信圖。然后，根據(jù)軌道圖像空間相鄰扣件的大致間隔提取下一個扣件子圖鄰域并構(gòu)造其紋理圖和置信圖，再通過計算置信圖與引導(dǎo)圖之間相關(guān)函數(shù)的最大極值點實現(xiàn)對新區(qū)域中扣件子圖的定位。

1) 扣件子圖鄰域紋理圖的構(gòu)建

給定軌道圖像中扣件子圖o的中心位置x*及其鄰域Ωc，如圖1(b)所示。區(qū)域Ωc(x*)的紋理特征集X*為

X*={t(z)=(I(z),z)|z∈Ωc(x*)}

(1)

式中：z為鄰域Ωc中的像素位置；t(z)為像素位置z鄰域的紋理；I(z)為像素位置z的灰度值。

將空間點x定位為扣件子圖中心位置x*的似然函數(shù)c(x)，為

(2)

式中：b為系數(shù)變量；α，β為系數(shù)；P(x,t(z)|o)為扣件子圖中心x和紋理特征t(z)的聯(lián)合概率密度，即為條件概率P(x|t(z),o)與先驗概率P(t(z)|o)的乘積。

條件概率P(x|t(z),o)為以當(dāng)前定位位置x為中心的鄰域Ωc的紋理圖之間的分布關(guān)系，可以函數(shù)hsc(x)表示，有

P(x|t(z),o)=hsc(x-z)

(3)

先驗概率P(t(z)|o)描述了局部紋理特征，為

P(c(z)|o)=I(z)ωσ(z-x*)

(4)

式中：ωσ(z)為窗函數(shù)。

將式(3)和式(4)代入式(2)進行恒等變換，并運用卷積運算展開后進行傅里葉(FFT)變換后在頻域變形，然后再進行FFT逆變換，得到紋理圖函數(shù)hsc(x)的解析表達式，其本質(zhì)上可視為給定扣件鄰域的1個寬邊界的特征模板，即為給定扣件中心及其鄰域區(qū)域所構(gòu)建的紋理圖，則

(5)

式中：F(·)為傅里葉變換；F-1(·)為傅里葉逆變換。

2)扣件子圖定位

(6)

對每個待處理的扣件鄰域均可計算得到其與引導(dǎo)圖之間的置信圖函數(shù)cn(x)，搜索該函數(shù)最大極值點argmax(cn(x))，即為該鄰域內(nèi)扣件子圖的中心位置。

分別選取WJ-7和WJ-8型2種扣件作為算例對算法進行演示，并顯示扣件鄰域紋理圖及其與引導(dǎo)圖之間置信圖的計算結(jié)果，如圖2和圖3所示。圖2(c)和圖3(c)中的紅點位置表示置信圖的最大極值點，即對應(yīng)該區(qū)域扣件子圖區(qū)域的中心點。

圖2 WJ-7型扣件算例

圖3 WJ-8型扣件算例

該算法較已有算法具有3個顯著優(yōu)點：①通過計算似然函數(shù)構(gòu)建紋理圖，使得該算法對光照變化不敏感，抗噪能力強，具有更好的魯棒性；②運算速度快，從區(qū)域中定位目標僅需做1次窗函數(shù)卷積和FFT正逆變換運算，避免了傳統(tǒng)方法的遍歷運算，單張軌道圖像的處理時間在3 ms左右，每小時可處理約400 km軌道圖像；③算法可根據(jù)不同類型扣件靈活設(shè)置引導(dǎo)圖作為參考標的來更新紋理圖和置信圖，對不同類型扣件進行定位處理的適應(yīng)性較好。

2 基于半監(jiān)督深度學(xué)習(xí)的扣件缺陷圖像識別方法

運用上述定位算法批量處理圖像可得到若干扣件子圖。對扣件子圖進行分類整理后構(gòu)成用于開展缺陷識別研究的數(shù)據(jù)集。結(jié)合實際情況分析可知，高速鐵路無砟軌道扣件損壞數(shù)量占扣件總量比例極低，因此圖像數(shù)據(jù)集的一個主要特征為正?？奂颖緲O為豐富，而缺陷樣本稀缺。深度學(xué)習(xí)技術(shù)盡管在處理大數(shù)據(jù)集的機器視覺識別問題上優(yōu)勢明顯，但通用的深度學(xué)習(xí)建模方法對數(shù)據(jù)集總量、數(shù)據(jù)集中不同類別樣本數(shù)量之間的均衡性存在要求。因此如何進行深度學(xué)習(xí)建模實現(xiàn)扣件缺陷圖像識別方法是另一難點。

綜合考慮數(shù)據(jù)集特點，運用半監(jiān)督學(xué)習(xí)方法進行深度學(xué)習(xí)建模，即先在大數(shù)據(jù)集上進行無監(jiān)督學(xué)習(xí)獲得表示特征，然后在相對小的有標注的數(shù)據(jù)集進行監(jiān)督學(xué)習(xí)獲得分類能力。模型設(shè)計原理如下。

步驟1：鑒于扣件結(jié)構(gòu)在圖像中的模式表現(xiàn)出較強的相似性，采用稀疏自編碼(Sparse AutoEncode, SAE)網(wǎng)絡(luò)構(gòu)建學(xué)習(xí)模型來提取扣件特征。SAE網(wǎng)絡(luò)為雙向傳導(dǎo)網(wǎng)絡(luò)，其原理為通過建立神經(jīng)網(wǎng)絡(luò)反向傳導(dǎo)機制，求解1個定義為hw,b(x)≈x的函數(shù)，使得特征函數(shù)hw,b(x)=f(wx+b)的表達盡可能逼近原圖像x，其中向量w為網(wǎng)絡(luò)節(jié)點的權(quán)重系數(shù)，可視為圖像稀疏特征的數(shù)值化表示，b為偏置項，它們均通過在無標注數(shù)據(jù)集機器學(xué)習(xí)確定。

步驟2：為了使深度學(xué)習(xí)網(wǎng)絡(luò)具備缺陷識別功能，將步驟1中訓(xùn)練好的網(wǎng)絡(luò)連接1個Softmax層組成分類網(wǎng)絡(luò)，由Softmax層連接輸出層給出扣件子圖的類別標簽。這步操作將有限的缺陷扣件樣本和二次挑選的數(shù)量相近的部分正?？奂颖具M行類別標注后建立1個新的數(shù)據(jù)集，并在新數(shù)據(jù)集基礎(chǔ)上對分類網(wǎng)絡(luò)進行訓(xùn)練。通過在有標簽的數(shù)據(jù)集上進行監(jiān)督學(xué)習(xí)獲得Softmax層的權(quán)重參數(shù)，并同時對步驟1中生成的權(quán)重系數(shù)向量w進行微調(diào)，最終經(jīng)迭代訓(xùn)練收斂后，獲得扣件缺陷識別的分類網(wǎng)絡(luò)。

依據(jù)上述原理，建立如下算例。

(1)數(shù)據(jù)集構(gòu)建：通過對從軌道圖像中分割出的大量扣件子圖進行甄選，獲得大量正?？奂D像樣本和2 000余個真實扣件缺陷。對數(shù)據(jù)進行整理后建立包含M=312 000個扣件子圖樣本的數(shù)據(jù)集作為訓(xùn)練集，其中正?？奂颖緜€數(shù)Mp=271 000個。對2 000余個負樣本扣件子圖進行鏡像、伽馬(gamma)變換等數(shù)據(jù)增強處理后擴展到Mn=41 000個。缺陷樣本集中扣件缺失、折斷、彈條移位缺陷各約占1/3。由于缺陷樣本稀缺，盡管已采用數(shù)據(jù)增強方法對缺陷扣件子圖進行10倍擴展，但正負樣本比例仍極不均衡。

(2) 深度網(wǎng)絡(luò)構(gòu)建：設(shè)計1個包含5層結(jié)構(gòu)的網(wǎng)絡(luò)，如圖4所示。網(wǎng)絡(luò)包含1個輸入層、2個隱藏層，1個softmax分類層和1個輸出層。其中輸入層連接扣件圖像數(shù)據(jù)，將單個扣件子圖的像素矩陣展開為元個數(shù)K=128×80個元素的向量，并將數(shù)據(jù)集中M個樣本聚合成維度為M×K的輸入矩陣。其中輸入層、隱藏層L1、隱藏層L2之間采用全連接結(jié)構(gòu)相連，節(jié)點數(shù)分別設(shè)定為256和196個。

圖4 扣件缺陷識別的半監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

圖5 典型缺陷扣件圖像

(4) 機器學(xué)習(xí)特征的可視化和模型驗證。在第1步無監(jiān)督學(xué)習(xí)中從1個無標注數(shù)據(jù)集上獲得表征扣件模式的機器學(xué)習(xí)特征，其中wL1和wL2系數(shù)為扣件形態(tài)模式的稀疏特征表示。通過可視化程序以二維圖像顯示wL1和wL2如圖6所示。可以看出無監(jiān)督學(xué)習(xí)的深度網(wǎng)絡(luò)權(quán)系數(shù)隱含了扣件彈條輪廓形狀的特征信息。該缺陷識別方法在本算例建立的分類驗證集上獲得的最佳識別精度為99.6%。

3 應(yīng)用驗證

基于半監(jiān)督深度學(xué)習(xí)的無砟軌道扣件缺陷圖像識別方法，對在我國某客專專線CTRS-Ⅰ和CTRS-Ⅱ型無砟軌道上采集的若干段軌道巡檢圖像進行應(yīng)用測試。運用安裝于高鐵綜合巡檢車的軌道巡檢系統(tǒng)，以月為間隔周期，對某段長220 km的無砟軌道線路進行3遍圖像采集。然后運用識別方法對這3段數(shù)據(jù)進行處理，并和線路管理部門線路管理部門經(jīng)人工看圖復(fù)檢校驗后的結(jié)果進行對比，以驗證算法的性能。

為了評價方法的正確性和有效性，定義準確率rP和檢出率rR評價其性能，分別為

圖6 深度網(wǎng)絡(luò)學(xué)習(xí)獲得的隱藏層特征

(7)

(8)

式中：cTP為正確識別數(shù)量(即識別為缺陷的扣件為真實缺陷)；cFP為誤報數(shù)量(即將非缺陷扣件識別為缺陷)；cFN為漏識數(shù)量(即真實缺陷扣件未能識別)。

從保障鐵路安全運行的角度來考慮，檢出率rR為優(yōu)先指標，即應(yīng)盡可能充分保障缺陷扣件被有效檢出；為盡可能提高檢出率，允許機器識別方法存在一定誤報，即準確率rP為次要參考指標。將機器識別結(jié)果和人工精細復(fù)查結(jié)果進行對比，相關(guān)統(tǒng)計指標見表1。

表1 缺陷識別方法應(yīng)用驗證統(tǒng)計指標

從表3可以看出：識別方法對扣件缺陷的有效率檢出率均>95%，平均檢出率為97.1%，識別結(jié)果的準確率在50%左右水平。從泛化性評價該方法對數(shù)據(jù)集以外新樣本的適應(yīng)能力，相比于在建模過程中算例數(shù)據(jù)驗證集上所獲得的99.6%的最佳識別精度，該識別方法在處理全新輸入的軌道圖像數(shù)據(jù)時的缺陷檢出率下降不到4%，體現(xiàn)了該方法在處理軌道和扣件圖像數(shù)據(jù)時良好的泛化性, 與現(xiàn)有識別方法約80%的缺陷檢出率相比性能提升明顯。從識別速度上來看，單個扣件子圖快速定位算法加缺陷識別兩部分運算耗時約在5 ms，通過建立并行機制處理兩股鋼軌圖像，每小時可處理約200 km左右的軌道圖像數(shù)據(jù)，可滿足現(xiàn)有軌道巡檢系統(tǒng)最高160 km·h-1檢測作業(yè)時的實時處理要求。

方法產(chǎn)生的誤報主要由于部分正?？奂溆形蹪n、異物等造成的模式不確定性引起，但誤報數(shù)量相比于檢測數(shù)據(jù)所包含扣件總量比例極低，滿足目前巡檢圖像數(shù)據(jù)分析采用的“機器識別后人工輔助確認”的工作要求。對于產(chǎn)生漏檢的情況，主要還是由于扣件缺陷模式的復(fù)雜性和多變性引起，當(dāng)某種模式與監(jiān)督學(xué)習(xí)訓(xùn)練集中已有樣本可覆蓋模式有較大差異時，則有一定概率會發(fā)生漏檢。提出的識別方法具有機器學(xué)習(xí)所具有的增量自學(xué)習(xí)能力。通過積累收集漏檢樣本并補充到訓(xùn)練集進行更新學(xué)習(xí)后，即可獲得正確識別漏檢缺陷的能力。

4 結(jié) 語

本文提出了一種無砟軌道扣件快速定位算法和識別扣件缺陷的半監(jiān)督機器學(xué)習(xí)方法?？奂ㄎ凰惴ㄍㄟ^構(gòu)建扣件鄰域紋理圖和引導(dǎo)圖與被定位圖之間的置信圖的極大值點，避免了傳統(tǒng)定位算法計算效率低、抗噪聲能力弱、魯棒性不強等問題，大幅提升了扣件子圖定位算法的計算效率和精度?；诎氡O(jiān)督深度學(xué)習(xí)方法建立扣件缺陷識別模型，克服了無砟軌道扣件缺陷樣本相對稀缺條件下采用深度學(xué)習(xí)技術(shù)進行異常識別建模的困難，實現(xiàn)了對扣件缺失、彈條折斷、彈條移位3類缺陷的高精度識別。選取我國高速運營客專無砟軌道進行試驗和方法驗證，結(jié)果表明，該方法可適用于CTRS-Ⅰ和CTRS-Ⅱ型等不同類型無砟軌道所裝配的WJ-7型、WJ-8型等類型扣件，對扣件缺陷的有效檢出率>95%。

本文對高速客專基礎(chǔ)設(shè)施圖像識別技術(shù)研究中所面臨的缺陷樣本相對稀缺這一共性問題進行了有益探索，可為解決接觸網(wǎng)零部件結(jié)構(gòu)缺陷檢測、道床內(nèi)掉落異物識別等問題提供借鑒。