基于SVM的通風(fēng)系統(tǒng)故障診斷懲罰系數(shù)與核函數(shù)系數(shù)優(yōu)化研究*

周啟超，劉 劍，劉 麗，黃 德，鄧立軍，蔣清華

(1.遼寧工程技術(shù)大學(xué) 安全科學(xué)與工程學(xué)院，遼寧 葫蘆島 125105； 2.遼寧工程技術(shù)大學(xué) 礦山熱動(dòng)力災(zāi)害與防治教育部重點(diǎn)實(shí)驗(yàn)室，遼寧 葫蘆島 125105)

0 引言

近幾年，支持向量機(jī)作為經(jīng)典的模式識(shí)別方法，在機(jī)器學(xué)習(xí)中占有重要的地位。文獻(xiàn)[1]運(yùn)用支持向量機(jī)根據(jù)風(fēng)量特征，建立了通風(fēng)系統(tǒng)故障診斷模型，取得了一定成果；文獻(xiàn)[2]運(yùn)用SVM方法預(yù)測(cè)礦井通風(fēng)阻力系數(shù)，提高了阻力系數(shù)預(yù)測(cè)的準(zhǔn)確率；文獻(xiàn)[3]采用SVM評(píng)價(jià)輸油管道的脆性程度；文獻(xiàn)[4]運(yùn)用SVM建立了建筑工地安全預(yù)警模型，減少施工過(guò)程中事故發(fā)生的可能。由于c，g的取值范圍很大，僅憑人力窮舉耗費(fèi)的時(shí)間和精力是巨大的，若隨機(jī)選取c，g的值可能會(huì)導(dǎo)致故障診斷準(zhǔn)確率偏低，并且模型不同，SVM對(duì)應(yīng)的最優(yōu)c，g參數(shù)也不同，支持向量機(jī)的分類精度很大程度上取決于參數(shù)的選取，因此對(duì)參數(shù)進(jìn)行優(yōu)化對(duì)解決問(wèn)題具有重要的意義。近些年，越來(lái)越多的方法被應(yīng)用于支持向量機(jī)參數(shù)優(yōu)化，如粒子群算法，網(wǎng)格尋優(yōu)方法、花朵授粉算法、人工魚群算法等[5-11]。文獻(xiàn)[5]通過(guò)粒子群優(yōu)化的SVM對(duì)瓦斯涌出量進(jìn)行預(yù)測(cè)，但是粒子群算法收斂速度慢，容易陷入局部最優(yōu)解；文獻(xiàn)[6]采用網(wǎng)格搜索的方法優(yōu)化最小二乘SVM，雖然獲得較高的精度，但是網(wǎng)格尋優(yōu)算法計(jì)算量大，需要的時(shí)間較長(zhǎng)；文獻(xiàn)[7]選取人工魚群方法進(jìn)行參數(shù)優(yōu)化，具有較好的并行性，但是人工魚群方法會(huì)出現(xiàn)無(wú)法準(zhǔn)確得到最優(yōu)解的情況；文獻(xiàn)[8]提出的花朵授粉方法在尋優(yōu)過(guò)程中容易陷入局部最優(yōu)解，效率低。遺傳算法具有良好的全局搜索能力以及收斂速度快的優(yōu)點(diǎn),本文利用遺傳算法對(duì)SVM參數(shù)進(jìn)行優(yōu)化。

目前，對(duì)SVM進(jìn)行參數(shù)尋優(yōu)，利用優(yōu)化后的SVM解決問(wèn)題的研究有很多，但是解決通風(fēng)系統(tǒng)故障的研究較少，本文利用遺傳算法對(duì)SVM的懲罰參數(shù)和核函數(shù)參數(shù)進(jìn)行優(yōu)化，利用優(yōu)化后的SVM對(duì)通風(fēng)系統(tǒng)進(jìn)行故障診斷，提升了故障診斷的準(zhǔn)確率，對(duì)提高礦井通風(fēng)安全智能化管理以及通風(fēng)系統(tǒng)安全保障能力有一定的指導(dǎo)意義和建設(shè)意義。

1 參數(shù)c，g影響性分析

1.1 參數(shù)c，g意義

支持向量機(jī)在機(jī)器學(xué)習(xí)中占有重要地位，其相比于其他的分類預(yù)測(cè)算法，有著更高的準(zhǔn)確率且具有較強(qiáng)的魯棒性。SVM的基本思想是在N維空間利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化(SRM)原則設(shè)計(jì)具有最大間隔的最優(yōu)分類面，使樣本線性可分，分類平面如圖1所示。

圖1 分類平面示意Fig.1 Schematic diagram of the classification plane

圖1中黑色實(shí)線為分類決策面，最優(yōu)超平面問(wèn)題就是使分類間隔margin達(dá)到最大[12]。

分類決策函數(shù)表達(dá)式[13]為：

M(x)=sgn(w·φ(x)+b)

(1)

式中：sgn(·)為符號(hào)函數(shù)；w為N維權(quán)向量；b為分類閾值；φ(x)為將x映射后的特征向量。

根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，分類面優(yōu)化問(wèn)題的目標(biāo)函數(shù)進(jìn)一步演化為[14]：

(2)

式中：c為懲罰系數(shù)；ξi為松弛系數(shù)。

SVM進(jìn)行分類的過(guò)程中，是將原本線性不可分的問(wèn)題映射到高維空間變?yōu)榫€性可分，樣本會(huì)存在噪聲，使整個(gè)模型無(wú)解。式(2)中ξi的意義就是允許噪聲的存在，將問(wèn)題變?yōu)榻凭€性可分；c決定著ξi的大小，即c決定著模型對(duì)于這種誤差的容忍程度，c的取值過(guò)大，ξi就會(huì)非常小，不允許噪聲的存在，此時(shí)會(huì)出現(xiàn)過(guò)擬合的現(xiàn)象，降低模型的泛化能力，如圖2(a)所示；若c取值過(guò)小，模型對(duì)于誤差的容忍程度過(guò)大，會(huì)造成欠擬合，如圖2(b)所示。

圖2 過(guò)、欠擬合情況分類平面示意Fig.2 Schematic diagram of the classification of over-fitting

文獻(xiàn)[1]使用的高斯徑向基核函數(shù)運(yùn)用最為廣泛，無(wú)論樣本大小都有較好的性能[15]，對(duì)此核函數(shù)進(jìn)行分析實(shí)驗(yàn)，其中：

(3)

(4)

式中：δ為高斯核的帶寬；g為核函數(shù)參數(shù)。

根據(jù)式(3)、式(4)可以看到，g取值的大小會(huì)直接影響整個(gè)核函數(shù)的映射性能以及支持向量的個(gè)數(shù)，如果g設(shè)的太大，會(huì)造成徑向基函數(shù)(RBF)只作用于支持向量樣本附近，對(duì)于未知樣本分類效果很差；而如果設(shè)的過(guò)小，則會(huì)造成平滑效應(yīng)太大，最終影響SVM進(jìn)行故障診斷的準(zhǔn)確率。

1.2 優(yōu)化c，g取值進(jìn)行故障診斷必要性分析

通常，c的取值范圍為(0，100]，g的取值范圍為[0,1000]，針對(duì)不同問(wèn)題，c，g的取值范圍不同，本文c的取值在區(qū)間(0,1.5]，g的取值在區(qū)間[0,5]。利用文獻(xiàn)[1]中的10分支通風(fēng)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行故障診斷驗(yàn)證優(yōu)化c，g取值的必要性，其中訓(xùn)練樣本52個(gè)，測(cè)試樣本95個(gè)。

1.2.1c，g對(duì)故障診斷準(zhǔn)確率的影響性分析

為了得到c，g變化對(duì)于準(zhǔn)確率的具體影響，令c，g每隔0.01取值，兩兩組合得到75 000組準(zhǔn)確率數(shù)據(jù)，c，g對(duì)準(zhǔn)確率的影響具體如圖3所示，得到c，g對(duì)準(zhǔn)確率影響的規(guī)律：c越大對(duì)誤差的容忍程度越小，得到的準(zhǔn)確率越高，但是過(guò)大會(huì)出現(xiàn)過(guò)擬合；c過(guò)小，模型準(zhǔn)確率降低，模型對(duì)誤差容忍程度較大，出現(xiàn)了欠擬合的現(xiàn)象。g的取值小，模型準(zhǔn)確率高，但g過(guò)小也會(huì)導(dǎo)致模型出現(xiàn)過(guò)擬合的現(xiàn)象。上述窮舉方法耗費(fèi)時(shí)間巨大，而且只能看出c，g最優(yōu)取值的大致范圍，很難確定最優(yōu)c，g的取值。

圖3 c，g取值范圍準(zhǔn)確率Fig.3 c,g the optimal value range accuracy rate map

為了清楚的看到上述現(xiàn)象，將圖3進(jìn)行局部放大，得到的結(jié)果如圖4所示。

圖4 局部放大圖Fig.4 Partially enlarged view

1.2.2c，g參數(shù)的普適性分析

通過(guò)更換100分支樣本，用前文的方法對(duì)此樣本的c，g對(duì)準(zhǔn)確率的影響規(guī)律及取值區(qū)間進(jìn)行探究，c，g的取值區(qū)間發(fā)生了變化，c的取值為(0,100]，g的取值為[0,1.0]，結(jié)果如圖5所示。

圖5 100分支c，g取值范圍準(zhǔn)確率Fig.5 100 branch, optimal range accuracy rate map

通過(guò)和10分支通風(fēng)網(wǎng)絡(luò)c，g最優(yōu)取值區(qū)間以及對(duì)故障診斷準(zhǔn)確率的影響分析得到c，g并不具有普適性。在進(jìn)行礦井通風(fēng)故障診斷時(shí)，若人工選取參數(shù)，每更換不同的樣本，都要進(jìn)行c，g對(duì)于準(zhǔn)確率影響規(guī)律分析及取值范圍確定，工作量巨大，并且即使依靠人工選取得出最優(yōu)取值范圍，也無(wú)法得到最優(yōu)的參數(shù)組合。

1.2.3 隨機(jī)選取c，g組合故障診斷準(zhǔn)確率

在前文確定的取值范圍內(nèi)，隨機(jī)選取c，g進(jìn)行組合，故障診斷的準(zhǔn)確率見(jiàn)表1。通過(guò)結(jié)果可以判斷，隨機(jī)選取參數(shù)得到的準(zhǔn)確率并不高，結(jié)果如圖6所示。

表1 c，g組合數(shù)據(jù)Table 1 c, g combination data table

圖6 隨機(jī)c，g組合的準(zhǔn)確率對(duì)比Fig.6 Comparison of the accuracy of random c and g combinations

1.2.4c，g取值變化對(duì)故障診斷準(zhǔn)確率影響程度

為了驗(yàn)證c，g對(duì)于準(zhǔn)確率影響的程度，以c=1，g=1為基礎(chǔ)，進(jìn)行微小的變化，數(shù)據(jù)見(jiàn)表2。

表2 準(zhǔn)確率對(duì)比Table 2 Accuracy rate comparison table

數(shù)據(jù)說(shuō)明c，g的取值發(fā)生很小的變化，就會(huì)引起準(zhǔn)確率的大幅波動(dòng)，人工選取參數(shù)很難精準(zhǔn)的得到最優(yōu)結(jié)果。

綜上所述，人工選取c，g的方法很難得到最優(yōu)的參數(shù)組合，運(yùn)用算法進(jìn)行參數(shù)尋優(yōu)是非常必要的。

2 基于遺傳算法對(duì)c，g參數(shù)的優(yōu)化

2.1 遺傳算法優(yōu)化c，g參數(shù)原理

遺傳算法求解優(yōu)化問(wèn)題的基本思想是：模仿生物進(jìn)化的原理，使種群不斷地向目標(biāo)進(jìn)化。本文中個(gè)體為c，g的組合，以SVM故障診斷交叉驗(yàn)證準(zhǔn)確(CVaccuracy)作為適應(yīng)值，用個(gè)體的適應(yīng)值作為評(píng)判標(biāo)準(zhǔn)，通過(guò)選擇、交叉和變異操作，保留優(yōu)秀的個(gè)體(適應(yīng)值高的個(gè)體)，不斷淘汰較差的個(gè)體(適應(yīng)值低的個(gè)體)，最終得到準(zhǔn)確率最高時(shí)的c，g。

2.2 遺傳算法優(yōu)化c，g參數(shù)實(shí)現(xiàn)步驟

1)染色體編碼，初始種群的生成

運(yùn)用遺傳算法解決問(wèn)題時(shí)，首先對(duì)個(gè)體進(jìn)行合適的編碼[16]。本文對(duì)懲罰系數(shù)c和核函數(shù)參數(shù)g采用實(shí)型編碼，初始種群為隨機(jī)生成。

2)適應(yīng)度函數(shù)

以交叉驗(yàn)證準(zhǔn)確率(CVaccuracy)作為適應(yīng)值，計(jì)算如下：

(5)

accuracy=mright/m

(6)

式中：accuracy為分類準(zhǔn)確率；v為交叉驗(yàn)證數(shù)；mright為測(cè)試樣本中分類正確的樣本個(gè)數(shù)；m為樣本個(gè)數(shù)。

3)選擇算子

本文采用輪盤賭法進(jìn)行選擇操作。具體過(guò)程如下：

設(shè)共有n個(gè)個(gè)體，每個(gè)個(gè)體的適應(yīng)值為f(xi)(i=1,…,n)，被選擇的概率為p(xi)，首先求得個(gè)體適應(yīng)值的總和：

(7)

再計(jì)算每個(gè)個(gè)體適應(yīng)值占種群總適應(yīng)值的比例p(xi)，最后根據(jù)p(xi)選擇個(gè)體。

p(xi)=f(xi)/SUM

(8)

4)交叉算子、變異算子

本文交叉方式為單點(diǎn)交叉。變異的方式有基本位變異和均勻變異[17]。本文采用基本位變異。

改進(jìn)遺傳算法就是將每代個(gè)體適應(yīng)值與種群的平均適應(yīng)值進(jìn)行比較，適應(yīng)值比平均適應(yīng)值高的個(gè)體交叉變異率不變，適應(yīng)值低的，就按照一定的數(shù)學(xué)處理進(jìn)行賦值。這樣可以保留較好的個(gè)體，優(yōu)化適應(yīng)值低的個(gè)體，使優(yōu)化效果更加明顯[18]。算子計(jì)算如下：

交叉概率：

Pc=0.5(maxfit-fitn)/(maxfit-meanfit)

(9)

變異概率：

Pm=0.01(maxfit-fitn)/(maxfit-meanfit)

(10)

式中：maxfit為當(dāng)代種群中的最大適應(yīng)值；meanfit為平均適應(yīng)值；fitn為第n個(gè)個(gè)體的適應(yīng)值。

3 仿真實(shí)驗(yàn)和結(jié)果分析

3.1 GA優(yōu)化實(shí)驗(yàn)結(jié)果

設(shè)置遺傳算法初種群規(guī)模為20。交叉概率初始為0.85，變異概率初始為0.05，以后根據(jù)個(gè)體的適應(yīng)值進(jìn)行自動(dòng)調(diào)整。設(shè)置程序終止條件為準(zhǔn)確率大于99%或進(jìn)化代數(shù)達(dá)到50代。將改進(jìn)遺傳算法尋得的最優(yōu)參數(shù)帶入SVM進(jìn)行計(jì)算，得到最終的預(yù)測(cè)準(zhǔn)確率，經(jīng)過(guò)50次迭代后，得到的適應(yīng)值曲線如圖7所示。

圖7 改進(jìn)遺傳算法適應(yīng)值曲線Fig.7 Improved genetic algorithm fitness curve

通過(guò)圖7可以看出，GA篩選的最佳懲罰系數(shù)c為1.993 1，核函數(shù)參數(shù)g為0.056 018，此時(shí)得到的交叉驗(yàn)證準(zhǔn)確率(CVaccuracy)為82.692 3%。利用參數(shù)優(yōu)化后的SVM進(jìn)行故障位置診斷，得到的診斷準(zhǔn)確率可以達(dá)到97.894 7%，擬合程度如圖8(a)所示，未進(jìn)行參數(shù)尋優(yōu)時(shí)的故障診斷結(jié)果如圖8(b)所示。

通過(guò)圖8可以直觀的看出優(yōu)化后的SVM進(jìn)行故障位置診斷，預(yù)測(cè)數(shù)據(jù)與真實(shí)數(shù)據(jù)幾乎完全擬合，相比較沒(méi)有優(yōu)化的SVM進(jìn)行故障位置診斷，診斷效果有明顯提升。

機(jī)器學(xué)習(xí)的過(guò)程中，都會(huì)出現(xiàn)過(guò)擬合的問(wèn)題，為了進(jìn)一步驗(yàn)證優(yōu)化后的模型不會(huì)出現(xiàn)過(guò)度擬合的現(xiàn)象，將樣本數(shù)據(jù)擴(kuò)大，利用本文提出的優(yōu)化模型對(duì)文獻(xiàn)[1]中100分支復(fù)雜通風(fēng)網(wǎng)絡(luò)的4 752個(gè)訓(xùn)練樣本，4 751個(gè)測(cè)試樣本進(jìn)行故障位置診斷。未優(yōu)化模型(c=1，g=2)得到的故障位置診斷準(zhǔn)確率為76.678 6%；利用遺傳算法優(yōu)化參數(shù)后的故障診斷準(zhǔn)確率為78.658 2%。擴(kuò)大樣本后，遺傳算法優(yōu)化的通風(fēng)故障診斷系統(tǒng)依舊能夠保證準(zhǔn)確率有所提升，說(shuō)明在優(yōu)化的過(guò)程中，未出現(xiàn)過(guò)擬合現(xiàn)象。優(yōu)化前后的散點(diǎn)圖如圖9所示。

3.2 GA-SVM故障診斷有效性驗(yàn)證

從前文可以看出，本文采用的GA-SVM方法對(duì)于簡(jiǎn)單通風(fēng)網(wǎng)絡(luò)和復(fù)雜通風(fēng)網(wǎng)絡(luò)的故障診斷都具有一定的優(yōu)化效果。為了進(jìn)一步驗(yàn)證本文方法的有效性，更換了不同通風(fēng)系統(tǒng)的樣本數(shù)據(jù)。GA算法各參數(shù)不變，通風(fēng)系統(tǒng)網(wǎng)絡(luò)圖和得到的結(jié)果如圖10～12所示。未優(yōu)化前的故障診斷準(zhǔn)確率為73.325 1%，經(jīng)過(guò)遺傳算法優(yōu)化后的準(zhǔn)確率為91.935 5%。由此可以看出更換樣本后，GA優(yōu)化的通風(fēng)系統(tǒng)故障診斷模型依舊可以提升診斷準(zhǔn)確率，相比于人工選取參數(shù)的方法具有一定的優(yōu)勢(shì)。同時(shí)可以看出不同的樣本最優(yōu)的c，g參數(shù)也不同，這也證明了c，g參數(shù)不具有普適性，證明了本法的必要性。

3.3 GA-SVM故障量診斷

故障診斷是對(duì)故障位置和故障量診斷，文獻(xiàn)[1]中未進(jìn)行c，g優(yōu)化時(shí)，故障量診斷效果如圖13所示，利用本文方法優(yōu)化參數(shù)后故障量診斷效果如圖14所示，可以看到故障量診斷準(zhǔn)確率有一定的提升。

圖11 驗(yàn)證樣本遺傳算法適應(yīng)度曲線Fig.11 Verification of the fitness curve of the sample genetic algorithm

圖12 驗(yàn)證數(shù)據(jù)散點(diǎn)圖Fig.12 Verify data unoptimized scatter plot

圖13 未優(yōu)化參數(shù)故障量診斷回歸效果Fig.13 Unoptimized parameter fault volume diagnosis regression effect

圖14 GA-SVM故障量診斷回歸效果Fig.14 GA-SVM fault diagnosis regression effect

4 結(jié)論

1)本文將遺傳算法與SVM結(jié)合的方法應(yīng)用于通風(fēng)系統(tǒng)故障診斷，試驗(yàn)結(jié)果表明，經(jīng)遺傳算法優(yōu)化的SVM通風(fēng)系統(tǒng)故障診斷模型擁有更高的準(zhǔn)確率。

2)優(yōu)化后的懲罰系數(shù)(c)和核函數(shù)系數(shù)(g)未引起通風(fēng)系統(tǒng)故障診斷系統(tǒng)的過(guò)擬合，有效的減少了擬合誤差并且增強(qiáng)泛化能力。

3)本文所提出的優(yōu)化算法對(duì)SVM參數(shù)優(yōu)化后，礦井通風(fēng)系統(tǒng)故障量診斷準(zhǔn)確率有所提升，證明了參數(shù)優(yōu)化的有效性。