基于掩碼自編碼器的小樣本深度學(xué)習(xí)道岔故障診斷模型

李 剛，徐長(zhǎng)明，龔 翔，盧佩玲，董賀超，史維利

（1.中國(guó)鐵道科學(xué)研究院 研究生部，北京 100081；2.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 通信信號(hào)研究所，北京 100081；3.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 國(guó)家鐵路智能運(yùn)輸系統(tǒng)工程技術(shù)研究中心，北京 100081；4.東北大學(xué)秦皇島分校 計(jì)算機(jī)與通信工程學(xué)院，河北 秦皇島 066004；5.河北環(huán)境工程學(xué)院 信息工程系，河北 秦皇島 066102；6.中國(guó)鐵路沈陽(yáng)局集團(tuán)有限公司 吉林電務(wù)段，吉林 吉林 130051）

道岔轉(zhuǎn)轍機(jī)作為鐵路信號(hào)系統(tǒng)重要的基礎(chǔ)設(shè)備之一，其工作狀態(tài)正常與否直接關(guān)系到運(yùn)輸效率和行車(chē)安全。根據(jù)鐵路行業(yè)的統(tǒng)計(jì)數(shù)據(jù)，在發(fā)生故障的信號(hào)設(shè)備中道岔轉(zhuǎn)轍機(jī)的故障約占39%［1］，占比較高，也說(shuō)明了道岔轉(zhuǎn)轍機(jī)的故障率很高。目前道岔轉(zhuǎn)轍機(jī)設(shè)備的日常維護(hù)和故障處理，主要依據(jù)信號(hào)集中監(jiān)測(cè)系統(tǒng)提供的道岔動(dòng)作曲線，信號(hào)集中監(jiān)測(cè)系統(tǒng)能提供簡(jiǎn)單的預(yù)警和報(bào)警功能，但主要分析還是依靠人工瀏覽判斷來(lái)完成，勞動(dòng)強(qiáng)度很大，且容易出現(xiàn)漏判和錯(cuò)判情況。因而亟須設(shè)計(jì)出準(zhǔn)確、可靠和高效的故障診斷系統(tǒng)，能夠自動(dòng)判斷出故障及其原因，指導(dǎo)現(xiàn)場(chǎng)維修人員快速處理故障，切實(shí)提高維護(hù)效率和水平。

目前，國(guó)內(nèi)許多相關(guān)學(xué)者通過(guò)道岔動(dòng)作曲線對(duì)道岔故障診斷技術(shù)進(jìn)行了研究。趙林海等［2］主要針對(duì)道岔轉(zhuǎn)轍機(jī)典型故障下的動(dòng)作功率曲線變化規(guī)律，提出1種基于灰關(guān)聯(lián)的道岔故障診斷方法，通過(guò)采用Fisher準(zhǔn)則對(duì)相應(yīng)故障模式對(duì)應(yīng)的特征向量進(jìn)行選擇，通過(guò)優(yōu)化分辨系數(shù)并計(jì)算待測(cè)樣本與各故障模式特征間的灰色關(guān)聯(lián)度，將滿足門(mén)限要求的最大灰色關(guān)聯(lián)度對(duì)應(yīng)的故障模式作為待測(cè)樣本的故障診斷結(jié)果。張凱等［3］在分析提速道岔動(dòng)作電流曲線變化規(guī)律的基礎(chǔ)上，提出1 種基于BP 神經(jīng)網(wǎng)絡(luò)的提速道岔故障智能診斷算法，通過(guò)設(shè)計(jì)BP 神經(jīng)網(wǎng)絡(luò)對(duì)提速道岔特征向量與道岔故障類(lèi)型的映射樣本集進(jìn)行訓(xùn)練及測(cè)試。楊陽(yáng)等［4］針對(duì)目前我國(guó)道岔控制電路故障后難以快速準(zhǔn)確診斷的現(xiàn)狀，采用遺傳算法優(yōu)化支持向量機(jī)參數(shù)的方法完成對(duì)道岔控制電路的故障診斷。Zhang 等［5-6］提出通過(guò)人工參與的手段對(duì)曲線數(shù)據(jù)進(jìn)行故障特征提取，從而建立相應(yīng)的故障特征矩陣，將其轉(zhuǎn)換為BP 神經(jīng)網(wǎng)絡(luò)的輸入，以此進(jìn)行故障識(shí)別。鐘志旺等［7］提出基于主題模型PLSA 和支持向量機(jī)SVM 的道岔設(shè)備故障特征提取與診斷方法，通過(guò)分詞算法將故障文檔表達(dá)在詞項(xiàng)特征空間中。謝博才等［8］介紹了一些傳統(tǒng)機(jī)器學(xué)習(xí)手段在道岔故障診斷研究中的應(yīng)用，包括特征提取方法、聚類(lèi)分析研究及一些神經(jīng)網(wǎng)絡(luò)模型的使用。Shi 等［9］提出1 種基于半監(jiān)督學(xué)習(xí)算法的道岔動(dòng)作曲線故障狀態(tài)診斷方法。池毅等［10］提出采用一維卷積捕捉空間結(jié)構(gòu)實(shí)現(xiàn)端到端的故障診斷，降低模型的計(jì)算量、提高模型的抗噪性能。李婉婉等［11］基于GMM 聚類(lèi)和PNN 進(jìn)行了道岔故障診斷的研究。劉應(yīng)君等［12］基于粒子群的支持向量機(jī)算法，提出1種補(bǔ)償距離評(píng)估技術(shù)。鄭云水等［13］針對(duì)道岔健康狀態(tài)評(píng)估及故障檢測(cè)，采用了基于相似度的方法，用SURF算法進(jìn)行特征提取，并用Hausdorff 距離計(jì)算待識(shí)別曲線與標(biāo)準(zhǔn)曲線間的相似度。許慶陽(yáng)等［14］提出了基于隱馬爾科夫模型的道岔故障診斷方法。以上研究主要是基于道岔轉(zhuǎn)轍機(jī)的功率曲線、電流曲線等數(shù)據(jù)對(duì)道岔轉(zhuǎn)轍機(jī)進(jìn)行故障預(yù)測(cè)和診斷，探索出了多種經(jīng)實(shí)驗(yàn)室測(cè)試驗(yàn)證的有效故障診斷方法。但這些方法都面臨著1個(gè)共同的問(wèn)題：故障樣本過(guò)少，部分文獻(xiàn)報(bào)告研究所使用的故障案例數(shù)量多為每種幾十條。為解決此問(wèn)題，一些研究者通過(guò)加入多種多樣的具體先驗(yàn)知識(shí)，以彌補(bǔ)故障數(shù)據(jù)少導(dǎo)致故障特征難以提取的不足。然而，大部分此類(lèi)先驗(yàn)知識(shí)因缺乏靈活性，往往會(huì)限制模型的學(xué)習(xí)能力，尤其會(huì)限制模型的泛化能力。

近年來(lái)，研究人員在深度學(xué)習(xí)方面的研究取得了長(zhǎng)足的進(jìn)步。尤其是2015年以來(lái)，谷歌、微軟等企業(yè)在自然語(yǔ)言、圖像等領(lǐng)域中，通過(guò)采用模型的預(yù)訓(xùn)練方法［15］推動(dòng)深度學(xué)習(xí)技術(shù)取得了跨越式發(fā)展，著名的BERT［16］和GPT-3［17］等模型在各知名大數(shù)據(jù)集上的評(píng)測(cè)結(jié)果提升明顯。預(yù)訓(xùn)練方法有3個(gè)關(guān)鍵技術(shù)：基于注意力機(jī)制的變壓器［18］、基于掩碼的自監(jiān)督［19］以及微調(diào)技術(shù)。深度學(xué)習(xí)技術(shù)的快速發(fā)展，為研究道岔故障診斷技術(shù)提供了新的途徑。

本文提出1 種無(wú)須具體先驗(yàn)知識(shí)的端到端［19-20］的基于掩碼自編碼器的小樣本深度學(xué)習(xí)［21-22］模型，可基于常識(shí)性約束和結(jié)構(gòu)化約束［23-24］等多個(gè)約束實(shí)現(xiàn)端到端的聯(lián)合優(yōu)化，解決小樣本故障診斷問(wèn)題。

1 道岔電流曲線及故障類(lèi)型

1.1 電流曲線

研究對(duì)象為ZYJ7 型轉(zhuǎn)轍機(jī)，信號(hào)集中監(jiān)測(cè)系統(tǒng)采集的正常ABC三相動(dòng)作電流曲線如圖1所示。

圖1 ZYJ7型轉(zhuǎn)轍機(jī)三相動(dòng)作電流曲線

道岔轉(zhuǎn)轍機(jī)執(zhí)行1 次動(dòng)作的完整過(guò)程可大致分為以下9 個(gè)階段。（1）T1—T2 階段：道岔1 啟動(dòng)繼電器（1DQJ）吸起，道岔1 啟動(dòng)復(fù)示繼電器（1DQJF）未吸起，此時(shí)還監(jiān)測(cè)不到電流。（2）T2—T3階段：1DQJ與1DQJF均被吸起，道岔2啟動(dòng)繼電器（2DQJ）未轉(zhuǎn)極，即啟動(dòng)電源加在了表示電路上，曲線上形成了小的臺(tái)階，但時(shí)間持續(xù)很短。（3）T3—T4 階段：2DQJ 轉(zhuǎn)極后，接通道岔啟動(dòng)電路，電機(jī)上電，曲線上形成了1 個(gè)電流峰值。（4）T4—T5 階段：轉(zhuǎn)轍機(jī)解鎖，該段曲線稱(chēng)作道岔解鎖曲線。（5）T5—T6 階段：道岔轉(zhuǎn)換過(guò)程，三相電流大小基本一致。（6）T6—T7 階段：道岔鎖閉。（7）T7—T8 階段：自動(dòng)開(kāi)閉器接點(diǎn)斷開(kāi)，啟動(dòng)電路接通表示電路，三相電流值均出現(xiàn)1個(gè)小的下降過(guò)程。（8）T8—T9 階段：在1DQJ 緩放時(shí)間內(nèi)，啟動(dòng)電源A相與B相或C相，加在了表示電路上，形成了電流約0.5 A，長(zhǎng)度小于1 s的小臺(tái)階曲線。（9）T9—T10 階段：1DQJ 由前接點(diǎn)斷開(kāi)到后接點(diǎn)接通，1個(gè)完整的道岔動(dòng)作過(guò)程就完成了。

1.2 故障類(lèi)型

運(yùn)行中的道岔轉(zhuǎn)轍機(jī)設(shè)備出現(xiàn)故障屬于偶發(fā)個(gè)例，故障道岔電流曲線數(shù)據(jù)也就非常少見(jiàn)。通過(guò)在多個(gè)車(chē)站長(zhǎng)期搜集，記錄到了一些道岔轉(zhuǎn)轍機(jī)故障電流和電壓曲線數(shù)據(jù)。結(jié)合現(xiàn)場(chǎng)專(zhuān)家經(jīng)驗(yàn)，對(duì)發(fā)生概率較高的故障案例進(jìn)行了總結(jié)，歸納出6 種ZYJ7 型交流轉(zhuǎn)轍機(jī)的典型故障類(lèi)型，分別用類(lèi)型F1—F6表示，為方便處理，其余故障一概歸為類(lèi)型F7，詳見(jiàn)表1。6 種典型故障案例所對(duì)應(yīng)的曲線故障形態(tài)如圖2 所示。后續(xù)隨著運(yùn)用積累，故障類(lèi)型還可以不斷擴(kuò)充。

表1 ZYJ7交流轉(zhuǎn)轍機(jī)典型故障

圖2 典型故障案例曲線

2 基于掩碼自編碼器的小樣本深度學(xué)習(xí)模型

為解決道岔故障曲線樣本少的問(wèn)題，提出基于掩碼自編碼器的小樣本深度學(xué)習(xí)模型，在編碼器結(jié)構(gòu)中借鑒預(yù)訓(xùn)練變壓器的位置編碼技術(shù)，以便捕獲曲線形態(tài)的位置信息；在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中采用掩碼技術(shù)對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充，從而滿足深度學(xué)習(xí)對(duì)數(shù)據(jù)量的基本要求；同時(shí)，也增加自監(jiān)督信號(hào)，以便強(qiáng)制還原被掩碼的數(shù)據(jù)，迫使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)電流曲線數(shù)據(jù)中的結(jié)構(gòu)知識(shí)。

2.1 數(shù)據(jù)預(yù)處理

ZYJ7 型轉(zhuǎn)轍機(jī)正常轉(zhuǎn)換1 次時(shí)間大約為6 s 左右，每個(gè)正常的動(dòng)作電流曲線數(shù)據(jù)可以由3×150型矩陣描述。其中，3 表示它由A，B，C 三相電流曲線構(gòu)成，150 表示它沿時(shí)間軸延伸了150 維（150 個(gè)時(shí)刻，信號(hào)集中監(jiān)測(cè)系統(tǒng)每40 ms 采集1 個(gè)數(shù)據(jù)點(diǎn)）。而在故障發(fā)生的情況下轉(zhuǎn)換時(shí)間最長(zhǎng)可以達(dá)到20 s 左右，這時(shí)數(shù)據(jù)維度高達(dá)500維，因此，統(tǒng)一設(shè)定樣本數(shù)據(jù)為500維，對(duì)不足500 維的原始曲線數(shù)據(jù)進(jìn)行補(bǔ)0 處理，同時(shí)將500 維的道岔動(dòng)作電流曲線均勻地劃分為50個(gè)分段。

2.2 模型結(jié)構(gòu)

該模型包含數(shù)據(jù)預(yù)處理、掩碼處理和深度神經(jīng)網(wǎng)絡(luò)3 個(gè)部分，模型總體結(jié)構(gòu)如圖3 所示。圖中：w1和w2分別為編碼器和解碼器對(duì)應(yīng)的網(wǎng)絡(luò)權(quán)重參數(shù)；w3—w5分別為故障診斷網(wǎng)絡(luò)中的各子網(wǎng)絡(luò)權(quán)重參數(shù)；Zm為自編碼器中間層m維空間隱變量；X∈Rd表示輸入層與輸出層均為實(shí)數(shù)R的d維空間數(shù)據(jù)；P∈Rn表示故障診斷網(wǎng)絡(luò)的輸出結(jié)果為n維的實(shí)數(shù)向量。

圖3 基于掩碼自編碼器的小樣本深度學(xué)習(xí)模型

由圖3 可以看出：首先，對(duì)經(jīng)過(guò)數(shù)據(jù)預(yù)處理的曲線原始數(shù)據(jù)進(jìn)行掩碼處理，即對(duì)曲線的50 個(gè)分段進(jìn)行掩碼，掩碼處理模塊右側(cè)的圖形為掩碼后的曲線示意圖，灰色方塊代表相對(duì)應(yīng)的曲線分段被遮蓋；其次，經(jīng)過(guò)掩碼后的曲線數(shù)據(jù)被送入位置編碼層，位置編碼層每次都對(duì)曲線的50 個(gè)分段分別疊加，組成曲線數(shù)據(jù)點(diǎn)的數(shù)值保持不變，從而形成彼此之間各不相同的50個(gè)6維位置編碼；然后，經(jīng)過(guò)位置編碼后的曲線數(shù)據(jù)被送入自編碼器，自編碼器由編碼器（Encoder）和解碼器（Decoder）組成，編碼器的輸出除了送給解碼器以便重建輸入曲線之外，還作為故障診斷網(wǎng)絡(luò)的低維輸入，自編碼器右側(cè)的圖形為重建后的輸入曲線示意圖；網(wǎng)絡(luò)輸出了被掩碼處理去除部分的曲線段，損失函數(shù)會(huì)約束輸出使其盡量還原成對(duì)應(yīng)的輸入部分（圖中未被灰塊遮蓋部分）；故障診斷網(wǎng)絡(luò)由多層全連接層、故障分類(lèi)子網(wǎng)絡(luò)和故障位置子網(wǎng)路組成，分別負(fù)責(zé)曲線故障類(lèi)型和故障時(shí)刻診斷；由于采用了并列輸出的模型結(jié)構(gòu)，編碼器同時(shí)影響了解碼器、故障分類(lèi)子網(wǎng)絡(luò)及故障位置子網(wǎng)絡(luò)，這些輸出上的損失也將會(huì)反向傳播回編碼器，不斷優(yōu)化編碼器網(wǎng)絡(luò)；最終，整個(gè)訓(xùn)練過(guò)程是以上多個(gè)約束共同作用的聯(lián)合優(yōu)化過(guò)程。

2.2.1 掩碼處理

掩碼處理能把原始故障樣本處理成更多的新樣本，也能給正常樣本添加額外的約束，從而更好地降噪和獲得數(shù)據(jù)本身的深層結(jié)構(gòu)信息。掩碼的一般處理過(guò)程如圖4所示。

圖4 掩碼處理過(guò)程示意圖

將500維的道岔動(dòng)作電流曲線均勻地劃分為50個(gè)分段，并將其輸入到掩碼處理層，掩碼處理層隨機(jī)掩碼50 個(gè)分段中的1—2 個(gè)分段。在輸入端，被掩碼的分段數(shù)據(jù)替換成0，和未被掩碼的分段一起送入神經(jīng)網(wǎng)絡(luò)。在輸出端，被掩碼的原始分段將作為解碼器輸出的監(jiān)督信號(hào)。

通過(guò)隨機(jī)掩碼處理，小樣本故障數(shù)據(jù)擴(kuò)充成大量樣本。例如，通過(guò)設(shè)置G組不同的隨機(jī)掩碼方式，對(duì)n條故障曲線數(shù)據(jù)的不同數(shù)據(jù)段進(jìn)行隨機(jī)遮蓋，由此可以產(chǎn)生n×G組不同的結(jié)果。通過(guò)這種簡(jiǎn)單的變換，小樣本的故障曲線數(shù)據(jù)可以成倍添加至訓(xùn)練集中，更好地完成模型的學(xué)習(xí)與訓(xùn)練。

此外，利用掩碼變換還相當(dāng)于讓模型從多個(gè)角度看待同一條原始數(shù)據(jù)，反復(fù)在不同的輸入中向網(wǎng)絡(luò)回放相同的正常特征和故障特征。通過(guò)讓網(wǎng)絡(luò)在部分輸出端重構(gòu)輸入數(shù)據(jù)，約束網(wǎng)絡(luò)盡早學(xué)會(huì)提取數(shù)據(jù)分段之間的結(jié)構(gòu)關(guān)系，獲得原始數(shù)據(jù)良好的低維嵌入表示，進(jìn)而全面提升網(wǎng)絡(luò)的預(yù)測(cè)和泛化能力。

2.2.2 位置編碼層

位置編碼層負(fù)責(zé)為曲線的50 個(gè)分段分別進(jìn)行位置編碼。文獻(xiàn)［16］提出了1 種基于三角函數(shù)的位置編碼算法，本文模型也采用該算法對(duì)位置進(jìn)行編碼，表達(dá)式為

式中：P為進(jìn)行位置編碼后得到的d維向量；pos為分段曲線序列數(shù)據(jù)的次序號(hào)，pos=1，2，…，50；2i和2i+1 分別為分段曲線d維位置編碼中各個(gè)偶數(shù)分量和奇數(shù)分量的次序號(hào)，i=1，2，…，d/2。

式（1）和式（2）表明，特征向量的偶數(shù)位置元素用正弦函數(shù)計(jì)算，奇數(shù)位置的元素用余弦函數(shù)計(jì)算。

在位置編碼層，為經(jīng)過(guò)隨機(jī)掩碼后的每個(gè)曲線分段增加了1 個(gè)6 維的位置編碼。具體過(guò)程為：將進(jìn)入位置編碼層的50 個(gè)分段曲線，通過(guò)50 個(gè)彼此獨(dú)立無(wú)關(guān)的非線性變換轉(zhuǎn)換成6維，再與計(jì)算得到的位置編碼P相加，就完成了位置編碼。

被掩碼的分段曲線設(shè)置為0 向量，由于位置編碼非0，神經(jīng)網(wǎng)絡(luò)依然可以區(qū)分哪1 段曲線從輸入中被去除了。

2.2.3 自編碼器

自編碼器包含編碼器和解碼器2 部分。編碼器是為了將輸入信息映射到某個(gè)更低維度的空間，生成包含重要特征的編碼Zm，可用函數(shù)h=f(x)表示（h為編碼器函數(shù)，x為輸入變量）；解碼器是將特征編碼重構(gòu)為盡量能還原出原輸入的結(jié)果，用函數(shù)r=g(h)表示（g為解碼器函數(shù)）。自編碼器的目的就是盡量使g(f(x))=x。

編碼器依據(jù)曲線序列數(shù)據(jù)通過(guò)位置編碼后的有效值提取特征，并輸出相應(yīng)的曲線特征向量到解碼器。解碼器則根據(jù)這些特征向量，重構(gòu)曲線時(shí)間序列數(shù)據(jù)，同時(shí)將掩碼處理層進(jìn)行隨機(jī)掩碼后的曲線序列進(jìn)行還原，至此模型學(xué)到重要特征之間的聯(lián)系。

在掩碼處理層完成對(duì)樣本的部分特征隨機(jī)掩蓋操作后，利用樣本的部分特征預(yù)測(cè)被掩蓋掉的曲線特征以訓(xùn)練自編碼器。這樣可以讓自編碼器盡量保留樣本結(jié)構(gòu)特征信息，在后續(xù)聯(lián)合故障診斷網(wǎng)絡(luò)實(shí)現(xiàn)共同優(yōu)化，形式化表達(dá)式如式（3）。在自編碼器部分采用MAE［25］的網(wǎng)絡(luò)結(jié)構(gòu)。

式中：z為編碼網(wǎng)絡(luò)輸出的樣本編碼；xmask為解碼器輸出的預(yù)測(cè)原樣本被掩碼位置的部分信息表達(dá)；Encoder（）和Decoder（）分別為基于mask 思想的編碼器和解碼器。

通過(guò)最小化預(yù)測(cè)的掩碼信息、原始樣本掩碼信息的距離及后續(xù)故障診斷網(wǎng)絡(luò)的損失函數(shù)（損失函數(shù)將在2.7節(jié)給出），共同指導(dǎo)自編碼器的訓(xùn)練。

2.3 故障診斷網(wǎng)絡(luò)

故障診斷網(wǎng)絡(luò)是把隱變量z作為輸入，用多層前饋網(wǎng)預(yù)測(cè)z在嵌入空間得到各個(gè)故障時(shí)刻的概率分布。分別從故障分類(lèi)和故障時(shí)刻2 個(gè)方面的擬合操作去指導(dǎo)自編碼器對(duì)樣本的信息提取過(guò)程。故障診斷網(wǎng)絡(luò)是由多層全連接層、故障分類(lèi)子網(wǎng)絡(luò)和故障位置子網(wǎng)絡(luò)組成。把經(jīng)過(guò)位置編碼的樣本輸入編碼網(wǎng)絡(luò)得到的低維特征表示輸入故障診斷網(wǎng)絡(luò)，得到1個(gè)共同的樣本編碼；然后將這個(gè)共同的樣本編碼分別傳入故障分類(lèi)子網(wǎng)絡(luò)和故障位置子網(wǎng)絡(luò)。故障分類(lèi)子網(wǎng)絡(luò)是輸出維度為故障類(lèi)型數(shù)量維度的編碼器，其輸出經(jīng)過(guò)模型判定后曲線分別屬于F0—F6故障類(lèi)型的概率分布，F(xiàn)0—F6概率分布的總和為1（其中，F(xiàn)0為正常曲線數(shù)據(jù)，F(xiàn)1—F6為待診斷的故障類(lèi)型），其中預(yù)測(cè)結(jié)果中最大的概率值即表示模型對(duì)該條曲線進(jìn)行故障診斷后的預(yù)測(cè)結(jié)果。故障位置子網(wǎng)絡(luò)是輸出維度為50 維的編碼器，這50 維分別對(duì)應(yīng)原始樣本的50 段發(fā)生故障的概率分布，每段分布的概率用0 或1 表示。即在該種故障類(lèi)型下，曲線最有可能是哪段時(shí)刻（0—49 段）發(fā)生了故障。在做到故障診斷分類(lèi)問(wèn)題的同時(shí)，快速診斷出故障時(shí)刻。形式化表達(dá)式為

式中：Estk()為子評(píng)估網(wǎng)絡(luò)，k∈[1，3]；zlatent為編碼器輸出的隱變量；p1和p2分別為2 個(gè)子網(wǎng)絡(luò)預(yù)測(cè)的樣本編碼。

本文搜集了ZYJ7 轉(zhuǎn)轍機(jī)的6 類(lèi)常見(jiàn)故障，如果新增M類(lèi)故障，修改神經(jīng)網(wǎng)絡(luò)的輸出層為M+6維，在新數(shù)據(jù)集上進(jìn)行訓(xùn)練即可。如果M較大，可以適當(dāng)修改網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，以相對(duì)復(fù)雜的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

2.4 損失函數(shù)

故障診斷網(wǎng)絡(luò)通過(guò)聯(lián)合掩碼表達(dá)的損失函數(shù)，共同引導(dǎo)自編碼器從位置結(jié)構(gòu)和擬合類(lèi)別分布特征角度訓(xùn)練優(yōu)化。損失函數(shù)由4 部分構(gòu)成，用L（x，w）表示要學(xué)習(xí)的變量x關(guān)于參數(shù)w的損失函數(shù)，表達(dá)式為

式中：L1為曲線重構(gòu)階段的損失函數(shù)；x為原輸入曲線特征；x'為模型輸出重構(gòu)后的曲線特征；w1和w2為自編碼器部分的權(quán)值矩陣；L2為故障診斷網(wǎng)絡(luò)中故障分類(lèi)子網(wǎng)絡(luò)預(yù)測(cè)階段的損失函數(shù)；w1，w3和w4分別為該網(wǎng)絡(luò)中的權(quán)值矩陣；L3為故障診斷網(wǎng)絡(luò)中故障位置子網(wǎng)絡(luò)預(yù)測(cè)階段的損失函數(shù)，其權(quán)值矩陣對(duì)應(yīng)分別為w1，w3和w5；L4為w1，w2，w3，w4和w5這幾組參數(shù)聯(lián)合構(gòu)成的正則化損失函數(shù)。

模型通過(guò)端到端聯(lián)合優(yōu)化的方式，通過(guò)預(yù)測(cè)的樣本和實(shí)際的樣本產(chǎn)生的誤差反向傳播指導(dǎo)網(wǎng)絡(luò)參數(shù)學(xué)習(xí)，共同作用使得損失函數(shù)L達(dá)到最小。

3 試驗(yàn)驗(yàn)證

3.1 試驗(yàn)環(huán)境和試驗(yàn)數(shù)據(jù)

在上節(jié)所提模型基礎(chǔ)上構(gòu)建試驗(yàn)驗(yàn)證環(huán)節(jié)，無(wú)須GPU 服務(wù)器等特殊的硬件條件，僅在普通個(gè)人計(jì)算機(jī)上即可訓(xùn)練，并可以實(shí)時(shí)作出預(yù)測(cè)。代碼在PyTorch1.7 框架下編寫(xiě)和調(diào)試。試驗(yàn)數(shù)據(jù)為某站ZYJ7型轉(zhuǎn)轍機(jī)實(shí)際運(yùn)行數(shù)月所產(chǎn)生的7 905條正常道岔電流數(shù)據(jù)和40 條故障道岔電流數(shù)據(jù)，40 條故障數(shù)據(jù)涵蓋了6類(lèi)故障。把數(shù)據(jù)劃分成50段，每段包含10個(gè)時(shí)刻的三維電流曲線。首先，按照?qǐng)D4把曲線進(jìn)行掩碼處理；然后，再把全部相同的曲線進(jìn)行去重操作，最終將故障曲線數(shù)據(jù)變?yōu)? 800條，其中600 條數(shù)據(jù)每條有1 段被掩碼，另外4 200 條數(shù)據(jù)每條有2 段被掩碼。正常數(shù)據(jù)隨機(jī)掩碼其任意2段，掩碼后的數(shù)據(jù)量還保持7 905 條不變。為了保證各類(lèi)故障數(shù)據(jù)的分布均衡，將正常數(shù)據(jù)和各類(lèi)故障數(shù)據(jù)進(jìn)行分層抽樣，劃分成訓(xùn)練集和測(cè)試集。具體為：正常數(shù)據(jù)按照9∶1的比例劃分，9份用于訓(xùn)練，1 份用于測(cè)試；每種故障類(lèi)型的數(shù)據(jù)分別按照5∶1 抽樣，5 份用于訓(xùn)練，1 份用于測(cè)試。最終，數(shù)據(jù)集中各類(lèi)數(shù)據(jù)的劃分結(jié)果見(jiàn)表2。

表2 樣本數(shù)據(jù) 條

訓(xùn)練時(shí)，批的大小設(shè)定為256 個(gè)樣本；總訓(xùn)練迭代次數(shù)為300次。

3.2 試驗(yàn)結(jié)果

在訓(xùn)練集上模型各部分損失函數(shù)、準(zhǔn)確率及混淆矩陣的變化如圖5 所示（各圖分別出自模型第10，50，150，300 次迭代過(guò)程）。圖中：混淆矩陣中每行之和，代表各類(lèi)數(shù)據(jù)的總條數(shù)；第i行第j列元素為第i類(lèi)故障被誤認(rèn)為是第j種故障的數(shù)量。

圖5 訓(xùn)練集上模型的表現(xiàn)

由圖5 中不同次數(shù)迭代后損失函數(shù)及準(zhǔn)確率變化曲線可以看出：（1）隨著訓(xùn)練次數(shù)的增加，模型的損失函數(shù)很快達(dá)到收斂；（2）綠色曲線一開(kāi)始方差較大，但下降很快并持續(xù)下降接近0，后期的方差也變小了，這表明模型診斷故障的能力持續(xù)提升，并最終穩(wěn)定在高水平；（3）藍(lán)色曲線開(kāi)始下降很快，并維持損失不變，表明自編碼器很早就學(xué)會(huì)了原始數(shù)據(jù)較為恰當(dāng)?shù)牡途S表示；（4）紅色曲線始終維持較小的損失，表示故障位置子網(wǎng)絡(luò)的預(yù)測(cè)很準(zhǔn)確，這與故障曲線中故障發(fā)生的時(shí)間有明顯且簡(jiǎn)單的規(guī)律性有關(guān)；（5）代表總損失的黃色曲線也在持續(xù)下降，表明網(wǎng)絡(luò)在訓(xùn)練集上收斂較快，大概在迭代150 次左右就已經(jīng)達(dá)到了很低的數(shù)值，第150次之后的進(jìn)步，從曲線中很難讀出，但是可以在隨后介紹的混淆矩陣中看得很清楚；（6）診斷準(zhǔn)確率曲線在震蕩上升，前期方差較大，后期方差變小，說(shuō)明學(xué)習(xí)過(guò)程穩(wěn)定且收斂。

由圖5 不同次數(shù)迭代后混淆矩陣可以看出：除F4和F5類(lèi)故障外，其他類(lèi)型故障都被很好地進(jìn)行了分類(lèi)，造成這一現(xiàn)象的原因是模型區(qū)分F4和F5類(lèi)故障的關(guān)鍵特征被遮蔽掉了，而曲線未被遮蔽掉的其余部分特征表明當(dāng)前故障為F4類(lèi)或F5類(lèi)故障；在混淆矩陣對(duì)角線上是故障被正確分類(lèi)的條數(shù)；對(duì)角線上的個(gè)數(shù)值越大，表示預(yù)測(cè)效果越好。混淆矩陣展示了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)逐漸改正錯(cuò)誤的過(guò)程。網(wǎng)絡(luò)最開(kāi)始傾向于把故障曲線預(yù)測(cè)為占絕大多數(shù)的正常曲線類(lèi)別，經(jīng)過(guò)一定次數(shù)的迭代之后，才逐漸分類(lèi)正確。如前文所述，在損失函數(shù)和準(zhǔn)確率曲線變化不明顯時(shí)，混淆矩陣能夠展示更多細(xì)節(jié)。例如，對(duì)于迭代150 次的F1類(lèi)故障，仍然有15 條被錯(cuò)誤預(yù)測(cè)為F6類(lèi)故障，但到了第300次，則全部F1類(lèi)故障都被準(zhǔn)確識(shí)別出來(lái)。

各故障類(lèi)型的識(shí)別準(zhǔn)確率見(jiàn)表3，表中F00為故障類(lèi)型F0被正確識(shí)別的概率。由表3可知：模型在訓(xùn)練集上的總體準(zhǔn)確率達(dá)到了98.9%，優(yōu)于文獻(xiàn)［1］中采用CNN-GRU方法的95%的準(zhǔn)確率。

表3 訓(xùn)練集上的識(shí)別準(zhǔn)確率

在測(cè)試集上模型各部分損失函數(shù)、準(zhǔn)確率及混淆矩陣的變化如圖6 所示。由圖6 可以看出：在測(cè)試集上3 類(lèi)損失函數(shù)曲線均接近0，表明模型在測(cè)試集上表現(xiàn)優(yōu)異，具有穩(wěn)定的泛化能力；各類(lèi)型的曲線基本集中在了混淆矩陣的主對(duì)角線上，表明模型預(yù)測(cè)效果很好。

圖6 測(cè)試集上模型的表現(xiàn)

模型在測(cè)試集上的準(zhǔn)確率見(jiàn)表4。由表4可知：模型在測(cè)試集上的總體準(zhǔn)確率達(dá)到98%以上，與在訓(xùn)練集上的表現(xiàn)接近，表明模型泛化能力強(qiáng)。

表4 測(cè)試集上的識(shí)別準(zhǔn)確率

T-SNE 降維算法不具有預(yù)測(cè)能力，但具有較好的解釋性，采用該算法來(lái)說(shuō)明用于試驗(yàn)的訓(xùn)練集樣本的分布特征。對(duì)經(jīng)過(guò)掩碼后的所有訓(xùn)練集樣本采用T-SNE 算法進(jìn)行降維，其二維可視化結(jié)果如圖7所示。圖中：每個(gè)不同顏色的散點(diǎn)數(shù)字代表該故障類(lèi)型的1 個(gè)或多個(gè)樣本（可能重疊）；紅色代表正常樣本；綠色、紫色和橙色分別代表故障類(lèi)型F3，F(xiàn)4和F5。由圖7 可以看出：代表正常樣本（紅色）的0聚集程度較好，但分散半徑較大說(shuō)明正常樣本的個(gè)體也有較大差異，因此，正常樣本總體質(zhì)量較好，但存在不同程度的噪聲；異常樣本則較為分散，一些異常樣本聚集程度比較明顯，例如故障類(lèi)型F3（綠色）；前文試驗(yàn)中混淆矩陣中顯示難以劃分的故障類(lèi)型F4和F5曲線，在二維可視化圖中也出現(xiàn)了重疊（中上方位置紫色的4 和橙色的5），說(shuō)明其確實(shí)難以辨別。

圖7 故障診斷分類(lèi)可視化結(jié)果

在普通的個(gè)人計(jì)算機(jī)上（CPU：AMD Ryzen7 5800U；主頻：1.90 GHz；內(nèi)存：16 G；64位操作系統(tǒng)），算法的代碼實(shí)現(xiàn)基于PyTorch1.7框架。迭代訓(xùn)練300 次需要105 s，神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)的速率大約為3×104條·S-1電流曲線，具有很強(qiáng)的實(shí)時(shí)性。

3.3 試驗(yàn)方案的優(yōu)勢(shì)和不足

機(jī)器學(xué)習(xí)的目的在于對(duì)從未見(jiàn)過(guò)，但與訓(xùn)練數(shù)據(jù)服從相同分布的數(shù)據(jù)進(jìn)行很好的預(yù)測(cè)，即在所有可能的測(cè)試集上的期望誤差，即泛化誤差要小。根據(jù)誤差分解理論：泛化誤差=偏差+方差+噪聲。其中，擬合能力強(qiáng)的模型，偏差較??；當(dāng)數(shù)據(jù)集較小的情況下，更換數(shù)據(jù)集導(dǎo)致數(shù)據(jù)分布發(fā)生劇烈變化，測(cè)試集上的誤差的方差較大，表明泛化能力差；噪聲是不可學(xué)習(xí)的，噪聲大代表所學(xué)習(xí)的任務(wù)難度大。

由于缺乏一致認(rèn)可的基準(zhǔn)數(shù)據(jù)集，各研究均采用含有私有數(shù)據(jù)的非公開(kāi)數(shù)據(jù)集，因此評(píng)價(jià)指標(biāo)僅在一定的置信區(qū)間下表現(xiàn)出統(tǒng)計(jì)意義。需要指出，絕大多數(shù)關(guān)于道岔故障診斷的研究，所采用的數(shù)據(jù)集都是小樣本（幾十條、上百條數(shù)據(jù)），這會(huì)導(dǎo)致評(píng)價(jià)指標(biāo)的方差很大，即更換成不一樣的數(shù)據(jù)集以后，評(píng)價(jià)指標(biāo)大概率會(huì)發(fā)生較大變化。

在魯棒性上，本文試驗(yàn)方案顯著優(yōu)于現(xiàn)有方法。主要體現(xiàn)在：采用的深度學(xué)習(xí)模型參數(shù)相對(duì)多、模型復(fù)雜、擬合能力強(qiáng)、偏差小；通過(guò)掩碼進(jìn)行了數(shù)據(jù)擴(kuò)充，增加了訓(xùn)練數(shù)據(jù)量，擴(kuò)充后的訓(xùn)練集數(shù)據(jù)多達(dá)11 114條，測(cè)試集數(shù)據(jù)達(dá)到了1 591條，會(huì)顯著降低方差；噪聲不可學(xué)習(xí)，如果模型擬合了噪聲就一定會(huì)過(guò)擬合，直接使用少量數(shù)據(jù)訓(xùn)練出來(lái)的模型難免會(huì)過(guò)擬合，而深層的神經(jīng)網(wǎng)絡(luò)模型在對(duì)抗過(guò)擬合方面有很大優(yōu)勢(shì)。

本文試驗(yàn)方案也存在不足，主要體現(xiàn)在以下2個(gè)方面。

一方面，可能存在“一定程度”的數(shù)據(jù)泄露。在本文中，測(cè)試集中的每條數(shù)據(jù)都是由訓(xùn)練集中的數(shù)據(jù)的特征片段拼接而成，在一定程度上訓(xùn)練數(shù)據(jù)向模型泄露了測(cè)試集上的信息。為了緩解“特征泄露”的影響，在訓(xùn)練時(shí)，給訓(xùn)練集數(shù)據(jù)的輸入上加入了高斯白噪聲。具體地，在輸入數(shù)據(jù)的每個(gè)維度上都加入噪聲分量ε～N（0，σ2），σ=0.1。

另一方面，掩碼可能導(dǎo)致一部分關(guān)鍵特征丟失。圖5 和圖6 的F4和F5故障類(lèi)型比較接近，但是由于隨機(jī)掩碼，掩碼后的數(shù)據(jù)和標(biāo)簽之間缺乏典型的函數(shù)映射關(guān)系，使數(shù)據(jù)標(biāo)簽看起來(lái)具有隨機(jī)性，這就人為地在標(biāo)簽上引入了噪聲。后續(xù)將考慮設(shè)計(jì)相應(yīng)的算法改善掩碼可能帶來(lái)的不確定性。

4 結(jié)論

（1）模型在道岔故障診斷領(lǐng)域的實(shí)際應(yīng)用表明，通過(guò)現(xiàn)場(chǎng)采集的真實(shí)數(shù)據(jù)，無(wú)須預(yù)訓(xùn)練海量的道岔電流曲線數(shù)據(jù)，僅需要少量的故障曲線數(shù)據(jù)及人工標(biāo)簽即可完成模型的訓(xùn)練，并得到了98%以上故障診斷分類(lèi)準(zhǔn)確率，同時(shí)也達(dá)到了對(duì)曲線故障發(fā)生位置作出快速定位的目的。

（2）在現(xiàn)場(chǎng)實(shí)際應(yīng)用及測(cè)試過(guò)程中，診斷結(jié)論可靠，模型具有及時(shí)性強(qiáng)、準(zhǔn)確性高等特點(diǎn)，可以滿足現(xiàn)場(chǎng)實(shí)時(shí)分析道岔電流曲線的應(yīng)用需求，符合鐵路電務(wù)修護(hù)的未來(lái)發(fā)展方向。

（3）所提出的模型具有良好的魯棒性及可擴(kuò)展性，對(duì)于未知的均不能劃分至F1－F6故障類(lèi)型中的故障曲線，可以統(tǒng)一劃分至F7中。并且對(duì)于今后可以總結(jié)并歸納成另外1 種全新的典型故障類(lèi)型，考慮將其增加并擴(kuò)充至模型的訓(xùn)練過(guò)程中。