李 晨,張慧源,劉 勇,楊衛(wèi)峰
(株洲中車(chē)時(shí)代電氣股份有限公司,湖南 株洲 412001)
機(jī)車(chē)牽引系統(tǒng)是電力機(jī)車(chē)的核心系統(tǒng)之一, 其關(guān)鍵部件牽引變流器主要負(fù)責(zé)電能轉(zhuǎn)換和電機(jī)控制。牽引變流器故障容易引發(fā)機(jī)破,造成鐵路運(yùn)輸生產(chǎn)過(guò)程中的經(jīng)濟(jì)損失,是機(jī)車(chē)故障中危害性較大的一類(lèi)。其一旦發(fā)生故障,需要快速定位并采取相應(yīng)措施,從而保障鐵路干線的正常運(yùn)營(yíng)。機(jī)車(chē)牽引系統(tǒng)故障通常可以通過(guò)牽引變流器內(nèi)部電路的電壓和電流的異常變化來(lái)表征。目前國(guó)內(nèi)對(duì)于列車(chē)變流器故障診斷的研究較多。按照診斷方法,其主要分為專(zhuān)家經(jīng)驗(yàn)、物理機(jī)理和數(shù)據(jù)驅(qū)動(dòng)等3大類(lèi)。
專(zhuān)家經(jīng)驗(yàn)類(lèi)方法主要是對(duì)現(xiàn)場(chǎng)故障檢修實(shí)際情況的總結(jié)和分析。文獻(xiàn)[1]結(jié)合HXD1型機(jī)車(chē)牽引變流器電氣原理和運(yùn)用經(jīng)驗(yàn)分析了功率模塊、牽引控制單元(traction control unit, TCU)插件、插頭內(nèi)部短接接觸不良、TCU電源模塊4類(lèi)故障,總結(jié)了檢修維護(hù)要點(diǎn)和故障預(yù)防措施。文獻(xiàn)[2]分析了武漢動(dòng)車(chē)段CRH2型動(dòng)車(chē)組主變流器功率模塊故障,總結(jié)了故障處理思路和實(shí)施流程?;趯?zhuān)家經(jīng)驗(yàn)的故障診斷方法通常實(shí)用性較強(qiáng),但缺乏定量分析,因此難以被推廣應(yīng)用且不適用于海量數(shù)據(jù)場(chǎng)景。
物理機(jī)理模型法主要通過(guò)電路原理進(jìn)行建模和故障仿真分析。文獻(xiàn)[3]實(shí)現(xiàn)了高速動(dòng)車(chē)組牽引傳動(dòng)系統(tǒng)中脈沖整流電路、中間直流回路與牽引逆變電路的故障仿真和模式識(shí)別。文獻(xiàn)[4]基于CRH3型動(dòng)車(chē)組整流器網(wǎng)側(cè)電流殘差變化率,實(shí)現(xiàn)了整流器單管故障和部分雙管故障診斷和優(yōu)化?;跈C(jī)理模型的故障仿真可以實(shí)現(xiàn)定量分析,但列車(chē)實(shí)際運(yùn)行過(guò)程中的工況、環(huán)境等因素影響了機(jī)理模型的實(shí)際應(yīng)用效果。
基于數(shù)據(jù)的故障診斷,一類(lèi)方法是基于仿真數(shù)據(jù),另一類(lèi)是基于實(shí)際數(shù)據(jù)?;诜抡鏀?shù)據(jù)的故障診斷,文獻(xiàn)[5]對(duì)SS8型機(jī)車(chē)主變流器輸出電壓值進(jìn)行小波變換特征提取后,使用決策樹(shù)、粗糙集及關(guān)聯(lián)規(guī)則等方法實(shí)現(xiàn)了故障數(shù)據(jù)的挖掘;文獻(xiàn)[6]利用BP(back propagation)神經(jīng)網(wǎng)絡(luò)進(jìn)行了故障診斷算法的實(shí)現(xiàn)和系統(tǒng)搭建?;趯?shí)際數(shù)據(jù)的故障診斷,文獻(xiàn) [7]使用傳動(dòng)控制單元 (drive control unit,DCU)信號(hào)的db3小波能量變異系數(shù)和分類(lèi)回歸樹(shù)實(shí)現(xiàn)了HXD1C型機(jī)車(chē)逆變過(guò)流的故障診斷;文獻(xiàn)[8]對(duì)比了基于小波能量分布時(shí)間序列和小波熵提取的機(jī)車(chē)牽引系統(tǒng)正常與故障數(shù)據(jù)特征,利用深度信念網(wǎng)絡(luò)模型實(shí)現(xiàn)對(duì)故障的診斷分類(lèi)和有效定位。隨著大數(shù)據(jù)、云計(jì)算等技術(shù)的發(fā)展,基于數(shù)據(jù)的故障診斷方法得到了廣泛應(yīng)用;但該類(lèi)方法對(duì)故障數(shù)據(jù)的質(zhì)量和數(shù)量要求較高,同時(shí)依據(jù)專(zhuān)家經(jīng)驗(yàn)提取的特征泛化性能較差,在實(shí)際應(yīng)用中受故障樣本稀缺及樣本分布極不平衡的影響,準(zhǔn)確性難以達(dá)到理想的效果。
針對(duì)基于專(zhuān)家經(jīng)驗(yàn)的仿真模型和特征選取方式在故障診斷應(yīng)用中泛化性能較差的問(wèn)題,本文將在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理及語(yǔ)音識(shí)別等領(lǐng)域取得成功應(yīng)用的卷積神經(jīng)網(wǎng)絡(luò)模型引入到牽引變流器故障診斷中,通過(guò)對(duì)實(shí)際應(yīng)用中獲取的已標(biāo)注的故障樣本進(jìn)行數(shù)據(jù)增強(qiáng),再利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)變量特征自動(dòng)提取并進(jìn)行分類(lèi)模型訓(xùn)練,最終實(shí)現(xiàn)基于深度卷積神經(jīng)網(wǎng)絡(luò)的牽引變流器故障診斷。
卷積神經(jīng)網(wǎng)絡(luò)的歷史始于LeNet模型[9],該模型使用了卷積特征提取和最大池化空間子采樣功能的簡(jiǎn)單疊加;在2012年,這些思想被提煉形成AlexNet模型[10];此后,越來(lái)越深的卷積神經(jīng)網(wǎng)絡(luò)代表了此類(lèi)算法的發(fā)展趨勢(shì),如2013年的ZF模型和2014年牛津大學(xué)視覺(jué)幾何組(visual geometry group)提出的VGG模型[11-12]。雖然與AlexNet模型一起被提出的ReLU激活函數(shù)和Dropout方法等新技術(shù)在一定程度上可以緩解梯度消失問(wèn)題,但在序貫?zāi)P停ㄒ訪eNet和VGG為典型代表的多層網(wǎng)絡(luò)的簡(jiǎn)單堆疊,每層網(wǎng)絡(luò)的輸入僅基于上一層網(wǎng)絡(luò)的輸出)架構(gòu)下,模型深度的進(jìn)一步發(fā)展也遇到了瓶頸。因此,在2015年,ResNet[13]被提出,其通過(guò)捷徑(shortcut)傳播梯度弱化了梯度消失現(xiàn)象導(dǎo)致的模型無(wú)法訓(xùn)練收斂的問(wèn)題,使得基于ResNet模塊構(gòu)建 50 層、101 層、152 層甚至 1 000 層以上的網(wǎng)絡(luò)成為可能,而這樣的網(wǎng)絡(luò)深度在ResNet之前是難以想象的。
在2014年,與VGG模型同時(shí)被提出的還有Google公司Szegedy C和Liu W等人引入的Inception架構(gòu)[14]。與ResNet實(shí)現(xiàn)了更“深”的網(wǎng)絡(luò)不同,Inception實(shí)現(xiàn)了更“寬”的網(wǎng)絡(luò),從另一個(gè)維度實(shí)現(xiàn)了特征的多樣性。在Inception中,兩次卷積之后都使用ReLU激活函數(shù),但是深度可分離卷積通常不使用非線性激活函數(shù)。Chollet 基于該思想并結(jié)合ResNet的網(wǎng)絡(luò)架構(gòu)提出了使用深度可分離卷積的神經(jīng)網(wǎng)絡(luò)模型Xception(圖1)[15],其參數(shù)與Inception V3相近。在 ImageNet數(shù)據(jù)集上,Xception (準(zhǔn)確率為0.790)的表現(xiàn)稍?xún)?yōu)于Inception V3(準(zhǔn)確率為0.782),且在Google內(nèi)部JFT數(shù)據(jù)集上,Xception相比Inception V3有明顯的改進(jìn)。
圖1 Xception 模型架構(gòu)Fig.1 Architecture of Xception model
Xception模塊的形式與Inception V3中引入的深度可分離卷積類(lèi)似,在張量間實(shí)現(xiàn)與通道(Channel)相關(guān)的操作,即使用1x1的卷積映射張量在通道間的相關(guān)性。Inception和Xception可分離卷積之間的細(xì)微差異在于:
(1)運(yùn)算順序。Xception深度可分離卷積通常執(zhí)行第一個(gè)通道空間卷積,然后執(zhí)行1×1卷積;而Inception首先執(zhí)行1×1卷積。因此,Xception減少了部分計(jì)算量。
(2)對(duì)非線性的逼近能力。Xception在第一次運(yùn)算存在非線性激活,而Inception不存在。因此,Xception提高了對(duì)非線性的逼近能力。
Xception模型經(jīng)常被當(dāng)作主干網(wǎng)絡(luò)來(lái)進(jìn)行基準(zhǔn)測(cè)試[16],常見(jiàn)的深度學(xué)習(xí)框架有大量的共享資源。因此,本文將利用Xception模型來(lái)研究基于卷積神經(jīng)網(wǎng)絡(luò)的變流器故障診斷。
由于牽引變流器故障數(shù)據(jù)與二維圖像數(shù)據(jù)在結(jié)構(gòu)上存在差異,因此將已有的經(jīng)典深度卷積神經(jīng)網(wǎng)絡(luò)用于牽引變流器故障診斷時(shí),需結(jié)合牽引變流器故障數(shù)據(jù)的特點(diǎn)進(jìn)行相應(yīng)的模型修改和實(shí)驗(yàn)設(shè)計(jì),以實(shí)現(xiàn)基于深度卷積神經(jīng)網(wǎng)絡(luò)的牽引變流器故障診斷。
由車(chē)載數(shù)據(jù)采集設(shè)備自動(dòng)記錄并保存故障發(fā)生前后一段時(shí)間內(nèi)的HXD1C型電力機(jī)車(chē)牽引變流器數(shù)據(jù),每個(gè)變量(通道)均為17 500次采樣的時(shí)間序列。通過(guò)對(duì)近3年HXD1C型電力機(jī)車(chē)牽引變流器網(wǎng)側(cè)故障數(shù)據(jù)進(jìn)行統(tǒng)計(jì)(表1),發(fā)現(xiàn)該樣本集存在的主要問(wèn)題如下:
(1)樣本數(shù)量少。目前經(jīng)過(guò)專(zhuān)家分析并標(biāo)注后可用的數(shù)據(jù)樣例僅有1 215例。
(2)樣本分布不平衡。數(shù)量上排第八的中間直流放電電阻器故障共15個(gè)樣本,約占樣本數(shù)量最多的四象限模塊故障的1/45。
(3)樣本數(shù)據(jù)為多維度時(shí)間序列。單個(gè)樣本包含9個(gè)連續(xù)型數(shù)值變量和5個(gè)布爾量,每個(gè)變量的時(shí)間序列包含17 500個(gè)點(diǎn)。
在實(shí)際的分類(lèi)過(guò)程中,小樣本類(lèi)別對(duì)系統(tǒng)的整體準(zhǔn)確性指標(biāo)影響較小,因此,本文只選取前8類(lèi)樣本集進(jìn)行研究和實(shí)驗(yàn),其他故障類(lèi)型均合并標(biāo)記為其他故障。為了驗(yàn)證模型的魯棒性和泛化能力,需要按照故障類(lèi)型進(jìn)行分層隨機(jī)抽樣,即不同故障類(lèi)型分別按照7∶3的比例隨機(jī)劃分得到訓(xùn)練集和測(cè)試集,前8類(lèi)故障用于訓(xùn)練和測(cè)試的樣本數(shù)量如表1所示。
表 1 牽引變流器故障數(shù)據(jù)樣例分布Tab. 1 Samples distribution of traction converter fault data
為了保證模型整體的準(zhǔn)確性同時(shí)提高小類(lèi)樣本分類(lèi)的準(zhǔn)確性,通常需要對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)處理。與傳統(tǒng)的圖像處理中的數(shù)據(jù)增強(qiáng)方法(如鏡像、拉伸、平移、增減曝光和色度等)不同的是,在牽引變流器故障診斷中,數(shù)據(jù)增強(qiáng)處理后需要保持采樣點(diǎn)的相對(duì)位置、順序和頻率與處理前的相一致,以滿足物理意義上的一致性。因此在實(shí)驗(yàn)中,我們通過(guò)截取數(shù)據(jù)增加樣本數(shù)量,而隨機(jī)擾動(dòng)則可增強(qiáng)樣本多樣性,具體方法如下:
(1)截取數(shù)據(jù)。即取數(shù)據(jù)中一定長(zhǎng)度的完整片段,在實(shí)驗(yàn)中第4 700~4 999個(gè)采樣點(diǎn)中隨機(jī)確定起始點(diǎn),然后按照固定長(zhǎng)度取12 800個(gè)數(shù)據(jù)點(diǎn),每類(lèi)故障訓(xùn)練樣本隨機(jī)截取的采樣次數(shù)和采樣后的總數(shù)見(jiàn)表1。
(2)隨機(jī)擾動(dòng)。對(duì)截取或重采樣后數(shù)據(jù)按通道進(jìn)行乘性隨機(jī)擾動(dòng),即乘以區(qū)間[0.95,1.05]內(nèi)的均勻分布隨機(jī)數(shù)。
針對(duì)牽引變流器故障數(shù)據(jù)的特點(diǎn),本文對(duì)Xception模型進(jìn)行修改。
模型輸入方面,僅使用連續(xù)變量作為輸入數(shù)據(jù),因此模型的輸入大小為 (12 800, 1,C),其中C為變量,如輸入的通道數(shù);然后根據(jù)所有數(shù)據(jù)的數(shù)值分布進(jìn)行歸一化處理,模型輸出使用Softmax歸一化輸出,得到8種故障的分類(lèi)概率。
特征網(wǎng)絡(luò)方面,主要是將原有模型中的二維卷積的第二維設(shè)置為1。例如,將模型中原有的卷積層Conv64 3×3 修改為 Conv64 3×1;其他依此類(lèi)推,如池化層的大小由2×2改為2×1等。
實(shí)驗(yàn)中將故障數(shù)據(jù)集進(jìn)行分層隨機(jī)抽樣后使用Xception模型分別進(jìn)行訓(xùn)練和測(cè)試,以驗(yàn)證基于Xception模型的牽引變流器故障診斷,在使用Intel Xeon CPU的X86服務(wù)器上基于深度學(xué)習(xí)框架Keras(后端為T(mén)ensorFlow)進(jìn)行模型訓(xùn)練,并使用NVIDIA Tesla V100 GPU 加速。模型評(píng)價(jià)主要考慮對(duì)模型訓(xùn)練和測(cè)試時(shí)故障數(shù)據(jù)分類(lèi)的準(zhǔn)確率(該值越大越好,最大為1),并通過(guò)損失函數(shù)(其值越小越好,最小為0)、算法運(yùn)行時(shí)間(越短越好)等綜合分析模型的泛化性、魯棒性及應(yīng)用的可行性。
按照表1所示故障類(lèi)型對(duì)故障數(shù)據(jù)進(jìn)行隨機(jī)劃分后,對(duì)訓(xùn)練集中的每個(gè)數(shù)據(jù)均進(jìn)行了截取并進(jìn)行隨機(jī)擾動(dòng);同時(shí),為了保證樣本數(shù)量的均衡,對(duì)于樣本較少的故障類(lèi)型,按照表1所示故障類(lèi)型重復(fù)采樣并隨機(jī)截取得到更多的樣本數(shù)據(jù),以保證最后輸入模型的數(shù)據(jù)中不同的故障類(lèi)型的樣本數(shù)量相近,最終每次迭代循環(huán)的訓(xùn)練樣本量為2 984。而測(cè)試集中,以第4 850個(gè)采樣點(diǎn)為起始點(diǎn),并取12 800個(gè)數(shù)據(jù)點(diǎn)作為每次訓(xùn)練迭代的驗(yàn)證。
得到足夠數(shù)量的數(shù)據(jù)樣本后,設(shè)計(jì)實(shí)驗(yàn)一,使用變流器數(shù)據(jù)中包含電壓和電流的9個(gè)通道數(shù)據(jù)作為模型輸入,用于故障分類(lèi)模型的基準(zhǔn)驗(yàn)證。實(shí)驗(yàn)二考慮將相關(guān)的電壓和電流相乘后得到功率值作為增加的輸入變量并采用相同的隨機(jī)擾動(dòng)方法,實(shí)現(xiàn)輸入數(shù)據(jù)的通道增強(qiáng)和實(shí)驗(yàn)一進(jìn)行對(duì)比。通過(guò) (1, 2)、(3, 4)、(5, 6)、(7, 8)、(7, 9)的通道組合得到 5 組變量,即實(shí)驗(yàn)二中增強(qiáng)后模型輸入共有14個(gè)通道。
兩次實(shí)驗(yàn)訓(xùn)練參數(shù)相同,訓(xùn)練使用隨機(jī)梯度下降(SGD)優(yōu)化算法,進(jìn)行256次迭代,同時(shí)每次訓(xùn)練迭代都用測(cè)試集進(jìn)行驗(yàn)證和預(yù)測(cè),模型訓(xùn)練參數(shù)包括:初始學(xué)習(xí)率0.001,衰減系數(shù)1×10-6,動(dòng)量參數(shù)0.9,每次輸入的批大小數(shù)64。
模型訓(xùn)練和測(cè)試的準(zhǔn)確率如圖2所示。從訓(xùn)練集上的表現(xiàn)來(lái)看,Xception模型收斂速度較快,僅10次左右迭代后,兩組實(shí)驗(yàn)訓(xùn)練的準(zhǔn)確率就超過(guò)了80%;經(jīng)過(guò)30次左右迭代訓(xùn)練,準(zhǔn)確率超過(guò)90%,最終在96%左右浮動(dòng)。
圖 2 Xception 模型準(zhǔn)確率Fig.2 Accuracy of the Xception models
從模型訓(xùn)練時(shí)使用測(cè)試集驗(yàn)證的表現(xiàn)來(lái)看,實(shí)驗(yàn)一在第49次迭代后達(dá)到最佳準(zhǔn)確率,為77.93%;實(shí)驗(yàn)二中模型收斂速度更快,在第161次迭代后達(dá)到最佳準(zhǔn)確率,為83.05%;實(shí)驗(yàn)一和實(shí)驗(yàn)二在訓(xùn)練集上的最后50次迭代的平均準(zhǔn)確率為96.19%和96.37%,在測(cè)試集上的最后50次迭代的平均準(zhǔn)確率為74.87%和79.53%??傮w來(lái)說(shuō),通過(guò)通道增強(qiáng)處理后,模型測(cè)試集上的平均準(zhǔn)確率和最佳準(zhǔn)確率都有了一定提升。
訓(xùn)練和測(cè)試的損失函數(shù)如圖3所示??梢钥闯觯谟?xùn)練集上兩組實(shí)驗(yàn)的結(jié)果趨勢(shì)基本一致,且均值接近(實(shí)驗(yàn)一為0.184、實(shí)驗(yàn)二為0.174)。在測(cè)試集上,前40次迭代中,實(shí)驗(yàn)二的損失函數(shù)平均值較?。▽?shí)驗(yàn)一為1.160、實(shí)驗(yàn)二為1.060);在最后40次迭代中實(shí)驗(yàn)二的損失函數(shù)平均值較大(實(shí)驗(yàn)一為1.573、實(shí)驗(yàn)二為1.493);在這兩個(gè)范圍中兩者的損失函數(shù)基本一致(損失函數(shù)均值,實(shí)驗(yàn)一為1.397、實(shí)驗(yàn)二為1.396)。因而根據(jù)損失函數(shù)分析,兩組實(shí)驗(yàn)中模型在10次迭代后,測(cè)試集損失函數(shù)上升,即均開(kāi)始出現(xiàn)過(guò)擬合,且過(guò)擬合的趨勢(shì)隨訓(xùn)練次數(shù)增加而持續(xù)增加。
圖3 訓(xùn)練和測(cè)試的損失函數(shù)值Fig.3 Loss function values in train and test
由于Xception使用了Dropout和BN層,預(yù)測(cè)和訓(xùn)練時(shí)驗(yàn)證的結(jié)果存在較小的差異。模型中,Top-k指預(yù)測(cè)的分類(lèi)概率中最高的k個(gè)類(lèi)別包含真實(shí)分類(lèi)時(shí)為真,Top-1即通常所指的準(zhǔn)確率, 將測(cè)試集按照2.2節(jié)中的方法進(jìn)行數(shù)據(jù)增強(qiáng)并導(dǎo)入模型預(yù)測(cè)30次,計(jì)算并比較Top-1和Top-3準(zhǔn)確率的均值和標(biāo)準(zhǔn)差(表2)。可以發(fā)現(xiàn),兩組實(shí)驗(yàn)訓(xùn)練得到的模型的Top-1和Top-3準(zhǔn)確率的標(biāo)準(zhǔn)差較小,模型均具有較好的魯棒性。
表2 Top-1和Top-3平均準(zhǔn)確率和標(biāo)準(zhǔn)差Tab. 2 Mean accuracy and standard deviation of Top-1 and Top-3
從訓(xùn)練集的準(zhǔn)確率來(lái)看,模型在經(jīng)過(guò)較多次數(shù)的迭代后,都能較好地收斂。使用測(cè)試集進(jìn)行模型預(yù)測(cè)和訓(xùn)練,兩組實(shí)驗(yàn)Top-1準(zhǔn)確率為75%~85%,Top-3準(zhǔn)確率為85%~92%,可以看出,模型對(duì)于基于數(shù)據(jù)的故障分類(lèi)均具有一定的可行性,可以為快速定位故障部件提供一定依據(jù)。
對(duì)比準(zhǔn)確率和損失函數(shù)的隨迭代次數(shù)的趨勢(shì)可知,通道增強(qiáng)后,加速了模型訓(xùn)練的收斂,且在迭代次數(shù)較少時(shí)對(duì)過(guò)擬合有一定抑制,其原因可能是因?yàn)橥ǖ涝鰪?qiáng)提供了額外的信息;而在迭代次數(shù)較多時(shí),進(jìn)行通道增強(qiáng)后的模型過(guò)擬合現(xiàn)象更嚴(yán)重,可能是由于通道增強(qiáng)的模型輸入增加,模型參數(shù)量有一定額外增加。
對(duì)比多次預(yù)測(cè)的模型準(zhǔn)確率的均值和方差可知,第二組實(shí)驗(yàn)的Top-1和Top-3準(zhǔn)確率均分別優(yōu)于第一組的,因而進(jìn)行通道增強(qiáng)對(duì)模型準(zhǔn)確率和泛化能力提升有一定效果,但對(duì)模型魯棒性的影響不大。
本文將深度學(xué)習(xí)技術(shù)與機(jī)車(chē)牽引變流器故障診斷相結(jié)合,對(duì)經(jīng)典深度卷積神經(jīng)網(wǎng)絡(luò)中的Xception模型進(jìn)行修改,以匹配牽引變流器故障數(shù)據(jù)并進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明,將深度卷積神經(jīng)網(wǎng)絡(luò)用于牽引變流器故障診斷時(shí),具有較好的魯棒性和準(zhǔn)確性,同時(shí)通過(guò)通道增強(qiáng)對(duì)模型準(zhǔn)確率和泛化能力有一定提升,可以較為準(zhǔn)確地的實(shí)現(xiàn)故障分類(lèi),但以現(xiàn)有的準(zhǔn)確率離完全替代人工還有一定差距。在未來(lái)的工作中,可以考慮引進(jìn)新發(fā)展的深度學(xué)習(xí)模型或算子(如DenseNet、空洞卷積及可變形卷積等)以進(jìn)一步提高特征提取和故障分類(lèi)的準(zhǔn)確性以及模型的泛化性能。