變壓器油中氣體的多核核主元回歸預(yù)測模型

唐勇波， 桂衛(wèi)華， 彭濤

(1．中南大學(xué)信息科學(xué)與工程學(xué)院，湖南長沙 410083;2．宜春學(xué)院物理科學(xué)與工程技術(shù)學(xué)院，江西宜春 336000)

電力變壓器是電力系統(tǒng)中最重要的設(shè)備之一，油中溶解氣體分析(dissolved gas analysis，DGA)是電力系統(tǒng)診斷充油電氣設(shè)備早期潛伏性故障的重要方法。油中氣體濃度預(yù)測是對用氣相色譜法定期檢測氣體濃度的十分重要且必要的補充，能夠提供全面的、重要的、及時的DGA信息，應(yīng)用這些信息可以保持變壓器運行的可靠性［1－3］。

目前，變壓器的油中氣體濃度預(yù)測主要采用灰色模型(grey model，GM)及其改進(jìn)形式［1－4］。GM在建模時只考慮某種氣體的發(fā)展變化，缺乏對多種氣體的統(tǒng)一考慮，進(jìn)行預(yù)測時難以取得滿意的擬合效果。灰色多變量模型(multivariable grey model，MGM)同時考慮了各特征氣體的發(fā)展變化，取得較好的效果。然而，灰色模型的預(yù)測精度一般隨數(shù)列自身規(guī)律的變化而變化，在數(shù)列有確定性趨勢時預(yù)測效果較好，否則預(yù)測效果較差［5］。支持向量機(support vector machine，SVM)［6－7］對數(shù)據(jù)序列分布沒有要求，克服了灰色模型的不足，它建立在統(tǒng)計學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險最小化原理基礎(chǔ)上，通過結(jié)構(gòu)風(fēng)險最小化原理來提高泛化能力，不易發(fā)生過擬合現(xiàn)象，但SVM的訓(xùn)練需要求解二次規(guī)劃問題，影響了計算速度。最小二乘支持向量機(least squares support vector machine，LSSVM)［8－9］利用最小二乘法的方法將SVM的學(xué)習(xí)轉(zhuǎn)化為求解線性方程組問題，提高了學(xué)習(xí)速度。但是，LSSVM的建模精度過于依賴核函數(shù)及其參數(shù)的選擇。在不同的應(yīng)用場合，核函數(shù)的性能表現(xiàn)差別很大，且核函數(shù)的構(gòu)造或選擇至今沒有完善的理論依據(jù)［10］。文獻(xiàn)［11］提出了多核學(xué)習(xí)的思想，為解決核函數(shù)及其參數(shù)選擇問題提供了可能。文獻(xiàn)［12－13］將多核學(xué)習(xí)的思想應(yīng)用于研究SVM的回歸建模問題，提高了預(yù)測建模的精度。

核主元分析方法(kernel principal component analysis，KPCA)是一種非線性特征提取方法，它通過非線性函數(shù)將輸人映射到高維特征空間，并在高維特征空間中計算主元成分，進(jìn)行有效地特征提?。?4－17］。核主元回歸(kernel principal component regression，KPCR)是在核主元分析基礎(chǔ)上實現(xiàn)的，通過KPCA方法進(jìn)行降維處理，把獲得的新變量作為多元回歸的自變量，進(jìn)行回歸計算與分析［18－19］。到目前為止，尚未見核主元回歸方法在變壓器油中溶解氣體預(yù)測中應(yīng)用的相關(guān)文獻(xiàn)。

因此，本文將核主元回歸引入到變壓器油中溶解氣體預(yù)測中，提出了多核核主元回歸(multiplekernel kernel principal component regression，MK －KPCR)的變壓器油中溶解氣體預(yù)測建模方法，通過不同類型核函數(shù)的線性加權(quán)組合構(gòu)造新的等價核，采用窗式移動的學(xué)習(xí)方式，對變壓器油中溶解氣體進(jìn)行預(yù)測建模，并與灰色多變量模型，主元回歸［20］(principal component regression，PCR)及KPCR方法進(jìn)行比較。

1 核主元回歸

1.1 核主元分析

核主元分析的主要思想是通過引入非線性映射Φ將輸入空間Xn×m(n為樣本數(shù)，m為變量數(shù))映射到一個高維特征空間F，然后在高維特征空間計算主元成分，在高維特征空間中得到的線性主元實質(zhì)就是原始輸入空間的非線性主元。設(shè)原始數(shù)據(jù)xi在特征空間F的像為Φ(xi)，則映射數(shù)據(jù)Φ(xi)的協(xié)方差矩陣可以表示為

解決在特征空間的特征值問題

由于特征值λ對應(yīng)的特征向量v是由特征空間Φ(x1)，Φ(x2)，…，Φ(xn)中的向量所張成，所以存在系數(shù) ai(i=1，2，…，n)滿足

通過計算映射數(shù)據(jù)在特征矢量vr上的投影來計算主元，即

這里＜x，z＞表示x與z的點積，r為主元數(shù)。為避免直接計算非線性映射，在特征空間定義核函數(shù)矩陣

核主元分析的詳細(xì)求解過程參見文獻(xiàn)［15］。

對于核函數(shù)的選擇，可選高斯徑向基核函數(shù)

指數(shù)核函數(shù)

多項式核函數(shù)

式(6)～式(8)中，σ為高斯徑向基核參數(shù)，c，d為多項式核參數(shù)。

1.2 核主元回歸

核主元回歸(KPCR)是在核主元分析基礎(chǔ)上實現(xiàn)的，通過KPCA方法提取非線性主元，把獲得的新變量作為多元自回歸的自變量，進(jìn)行回歸計算與分析。核主元回歸模型可表示為［18－19］

其中:ε為回歸殘差;w為回歸系數(shù)矩陣;B為n×m維轉(zhuǎn)換數(shù)據(jù)陣，轉(zhuǎn)換數(shù)據(jù)陣B的詳細(xì)推導(dǎo)求解參考文獻(xiàn)［19］;V為m×m維特征向量矩陣，其第r列對應(yīng)著特征向量vr?；貧w系數(shù)的最小二乘估計的計算式為

2 變壓器油中氣體預(yù)測MK-KPCR模型

本文提出的MK－KPCR方法是將多個不同類型的核函數(shù)進(jìn)行線性加權(quán)組合，得到新的等價核，用于構(gòu)建預(yù)測模型。在權(quán)衡建模精度與計算復(fù)雜度的基礎(chǔ)上，選擇兩個核函數(shù)，以多項式核及高斯徑向基核用于構(gòu)建新的等價核。等價核函數(shù)可以表示為

其中:μj為權(quán)值，且μ1+μ2=1，0≤μj≤1，j=1，2。

為降低等價核對單個核函數(shù)參數(shù)的依賴性，提高預(yù)測建模精度，μj的選擇以每個核函數(shù)預(yù)測建模的均方根誤差(root mean squared error，RMSE)作為評測標(biāo)準(zhǔn)，依靠計算樣本預(yù)測值和真實值之間的均方誤差。對于多核問題，認(rèn)為一個核函數(shù)，如果其產(chǎn)生小的均方誤差，則它應(yīng)更多地貢獻(xiàn)合成核［10］。

RMSE定義為

權(quán)值μj的選擇方法為

為了解決訓(xùn)練樣本集大而出現(xiàn)的核矩陣計算問題，本文采用在線學(xué)習(xí)的方式，訓(xùn)練樣本隨采樣時間的推移而窗式移動，即t+1時刻采集一個新樣本的同時，剔除t時刻最早采集的一個舊樣本，保持訓(xùn)練樣本總數(shù)不變。選擇窗口長度為n，訓(xùn)練樣本集可以表示為

其中，x(t)=［x1(t)，x2(t)，x3(t)，x4(t)，x5(t)］為t時刻DGA 采樣樣本;xi(t)，i=1，2，…，5依次為氫氣(H2)、甲烷(CH4)、乙烷(C2H6)、乙烯(C2H4)、總烴在t時刻氣體濃度采樣值;p為預(yù)測步長。由于乙炔(C2H2)有時出現(xiàn)長連零現(xiàn)象，用總烴代替乙炔進(jìn)行建模，總烴為甲烷，乙烷，乙烯，乙炔濃度之和。

基于MK－KPCR的建模和預(yù)測算法的步驟為

Step1:采用在線學(xué)習(xí)的方式訓(xùn)練采樣樣本，在一個新樣本加入的同時，丟棄最早采集的樣本，保證窗口長度n不變;

Step2:樣本集Xn×m標(biāo)準(zhǔn)化處理，分別選擇高斯徑向基核函數(shù)和多項式核函數(shù)，按式(5)計算相應(yīng)的核矩陣 K，并對核矩陣 K按式(16)作均值化處理;

式中，ln是元素為1/n的n×n常數(shù)矩陣;

Step3:解決nλa=Ka的特征值問題，并標(biāo)準(zhǔn)化ar，使λ＜ ar，ar＞ =1;

Step4:按式(10)計算轉(zhuǎn)換矩陣 B，并利用式(11)計算回歸系數(shù)矩陣;

Step5:利用式(17)計算訓(xùn)練樣本的預(yù)測值;

Step6:按式(13)計算徑向基核和多項式核訓(xùn)練樣本集的均方根誤差，按式(14)計算權(quán)值μj;

Step7:按式(12)構(gòu)造新的等價核，按式(5)計算其相應(yīng)的核矩陣K，并對核矩陣K按式(16)作均值化處理;

Step8:解決nλa=Ka的特征值問題，并標(biāo)準(zhǔn)化ar，使λ＜ ar，ar＞ =1;

Step9:按式(10)計算轉(zhuǎn)換矩陣 B，并利用式(11)計算回歸系數(shù)矩陣;至此，建模過程結(jié)束。

Step10:輸入當(dāng)前時刻檢測的一個樣本x(t)，標(biāo)準(zhǔn)化處理后得到的數(shù)據(jù)x(t)∈Rm，按式(18)計算對應(yīng)的核矩陣kt，有

其中，xj為訓(xùn)練樣本;

Step11:按式(19)對核矩陣kt作均值化處理;

其中，lt是元素為1/n的1×n常數(shù)矩陣;

Step12:利用式(20)計算檢測樣本的轉(zhuǎn)換矩陣Bt;

Step13:按式(21)計算當(dāng)前檢測樣本的預(yù)測值;

Step14:令t=t+1，返回至Step1。

3 預(yù)測實例研究

本文分別采用 MGM［3］，PCR［20］，KPCR［19］和MK－KPCR算法對變壓器油中溶解氣體DGA樣本進(jìn)行一步預(yù)測和多步預(yù)測研究，即以氫氣(H2)、甲烷(CH4)、乙烷(C2H6)、乙烯(C2H4)、總烴這5種特征氣體建模，并同時預(yù)測這5種特征氣體。選取初始訓(xùn)練樣本數(shù)50，測試10個樣本的預(yù)測值。為了驗證核參數(shù)的變化對KPCR和MK－KPCR建模精度的影響，KPCR中的高斯徑向基核參數(shù)先后取為σ=1，σ=5和σ=10。MK－KPCR中的高斯徑向基核參數(shù)與KPCR保持一致，多項式核中，核參數(shù)d=2，c在［50，100］區(qū)間內(nèi)隨機取值。實驗數(shù)據(jù)來自2011年某變壓器檢測數(shù)據(jù)。

3.1 一步預(yù)測實驗(p=1)

表1為MGM，PCR，KPCR和MK－KPCR模型對10個測試樣本的一步預(yù)測結(jié)果，限于篇幅，表1僅給出σ=5時，KPCR和MK－KPCR模型的預(yù)測結(jié)果;一步預(yù)測誤差對比結(jié)果如表2和圖1所示，表2給出了測試樣本集的均方根誤差和各變量的均方根誤差，圖1給出了各樣本的均方根誤差。

表1 變壓器油中氣體濃度預(yù)測結(jié)果Table 1 Prediction of dissolved gases in transformer oil

表2 變壓器油中氣體濃度一步預(yù)測均方根誤差對比Table 2 One step prediction RMSE of dissolved gases in transformer oil

圖1 各樣本的一步預(yù)測誤差對比Fig．1 One step prediction RMSE of samples

由表2可見，當(dāng)高斯徑向基核參數(shù)選擇不恰當(dāng)時，例如σ=1，KPCR對測試樣本集的預(yù)測誤差最大，為0.240 7，大于MGM和PCR;而核參數(shù)選擇比較合適，如σ=5或σ=10，KPCR對樣本集的預(yù)測誤差分別為0.162 8和0.152 5，均優(yōu)于 MGM和PCR，稍高于MK－KPCR;對于各樣本的均方根誤差，見圖1，高斯徑向基核參數(shù)選擇不恰當(dāng)時，如σ=1，KPCR模型的預(yù)測誤差起伏較大，且樣本有最大預(yù)測誤差;而核參數(shù)選擇比較合適，如σ=5或σ=10，KPCR模型的預(yù)測誤差總體稍差于MKKPCR而優(yōu)于MGM和PCR;無論σ=1，σ=5或σ=10，MK－KPCR模型的預(yù)測誤差變化不大，比較穩(wěn)定;由此可見，KPCR模型的預(yù)測結(jié)果依賴于核函數(shù)及參數(shù)的選擇。而對比KPCR和MK－KPCR，當(dāng)σ依次選為 1，5，10時，KPCR的預(yù)測誤差分別為0.240 7，0.162 8，0.152 5，MK － KPCR 的預(yù)測誤差分別為0.156 7，0.157 9，0.152 2，可見，高斯徑向基核參數(shù)發(fā)生變化時，對KPCR算法的建模精度有較大的影響，而高斯徑向基核參數(shù)的變化對MKKPCR的建模精度影響較小;無論σ=1，σ=5或σ=10，MK－KPCR方法對測試樣本集的一步預(yù)測精度均優(yōu)于KPCR方法，也均優(yōu)于MGM和PCR。

對于樣本中各變量的均方根誤差，見表2，當(dāng)σ=1時，KPCR對氫氣的預(yù)測誤差為0.237 3，遠(yuǎn)高于MGM，PCR和MK－KPCR，進(jìn)而導(dǎo)致樣本的均方誤差也變差;當(dāng)高斯徑向基核參數(shù)選擇較為恰當(dāng)時，KPCR相比于PCR，對各變量的預(yù)測效果較好;對比KPCR和MK－KPCR，高斯徑向基核參數(shù)發(fā)生變化時，KPCR算法對氫氣的預(yù)測誤差有較大的變化，而MK－KPCR對各變量的預(yù)測誤差變化均較小，說明高斯徑向基核參數(shù)σ對MK－KPCR的預(yù)測效果影響不大;相比于PCR，KPCR和MK－KPCR灰色預(yù)測MGM模型對乙烷的預(yù)測效果和其它方法相差不大，對甲烷和總烴的預(yù)測效果較好，對氫氣和乙烯的預(yù)測效果較差，主要因為氫氣和乙烯的變化趨勢起伏不定，甲烷和總烴總體上呈現(xiàn)上升增長的趨勢(見表1)，這也驗證了文獻(xiàn)［5］指出的，灰色模型的預(yù)測精度一般隨數(shù)列自身規(guī)律的變化而變化，在數(shù)列有確定性趨勢時預(yù)測效果較好，否則預(yù)測效果較差。

3.2 多步預(yù)測實驗(p=5)

提出的MK－KPCR方法對DGA樣本進(jìn)行多步預(yù)測(p=5)，表3給出了10個測試樣本進(jìn)行多步預(yù)測(p=5)樣本的均方根誤差和各變量的均方根誤差，圖2為各樣本的均方根誤差。

由圖2和表3可以看出，當(dāng)σ=1時，KPCR對樣本的預(yù)測誤差為0.260 6，明顯高于MGM，PCR和MK－KPCR;當(dāng)高斯徑向基核參數(shù)選擇恰當(dāng)，如σ=5或σ=10，KPCR的預(yù)測誤差分別為0.161 6和0.157 4，低于MGM的0.182 3預(yù)測誤差和PCR的0.1950預(yù)測誤差;當(dāng)σ依次選為1，5，10時，MKKPCR 的預(yù)測誤差分別為0.164 9，0.159 3，0.156 7，均優(yōu)于相應(yīng)KPCR的預(yù)測誤差，也優(yōu)于 MGM和PCR;與KPCR相比，σ參數(shù)的變化對MK－KPCR的多步預(yù)測精度影響較小，采用MK－KPCR，對各樣本的預(yù)測誤差較為平穩(wěn)，起伏不大。

表3 變壓器油中氣體濃度多步預(yù)測均方根誤差對比Table 3 Multiple steps prediction RMSE of dissolved gases in transformer oil

圖2 各樣本的多步預(yù)測誤差對比Fig．2 Multiple steps prediction RMSE of samples

4 結(jié)語

提出了基于多核核主元回歸MK－KPCR的變壓器油中溶解氣體的預(yù)測方法。采用多核學(xué)習(xí)方法，將徑向基核函數(shù)和多項式核函數(shù)進(jìn)行線性加權(quán)構(gòu)造新的等價核，并利用窗式移動的學(xué)習(xí)方式，同時對變壓器油中溶解氣體進(jìn)行了一步和多步預(yù)測。該方法可以看作是KPCR在多核空間中的推廣。預(yù)測實驗結(jié)果表明，與KPCR相比，MK－KPCR對單一核函數(shù)及其參數(shù)的依賴性較小;與灰色多變量預(yù)測模型MGM，主元回歸PCR及核主元回歸KPCR相比，MK－KPCR具有較高的建模精度和泛化能力。

［1］羅運柏，于萍，宋斌，等．用灰色模型預(yù)測變壓器油中溶解氣體的含量［J］．中國電機工程學(xué)報，2001，21(3):65 －69．

LUO Yunbai，YU Ping，SONG Bin，et al．Prediction of the gas dissolved in power transformer oil by the grey model［J］．Proceedings of the CSEE，2001，21(3):65 －69．

［2］WANG M H．Grey-extension method for incipient fault forecasting of oil-immersed power transformer［J］．Electric Power Components and Systems，2004，32(10):959 －975．

［3］肖燕彩，朱衡君，陳秀海．用灰色多變量模型預(yù)測變壓器油中溶解的氣體濃度［J］．電力系統(tǒng)自動化，2006，30(13):64 －67．

XIAO Yancai，ZHU Henjun，CHEN Xiuhai．Concentration prediction of dissolved gas－in－oil of a power transformer with the multivariable grey model［J］．Automation of Electric Power Systems，2006，30(13):64 －67．

［4］肖燕彩，朱衡君，陳秀海．用改進(jìn)的灰色多變量模型預(yù)測變壓器油中溶解氣體的濃度［J］．電網(wǎng)技術(shù)，2006，30(10):86 －89．

XIAO Yancai，ZHU Henjun，CHEN Xiuhai．Prediction of gas dissolved in power transformer oil by improved multivariable grey model［J］．Power System Technology，2006，30(10):86 －89．

［5］劉思峰，郭天榜，黨耀國．灰色系統(tǒng)理論及其應(yīng)用［M］．2版．北京:科學(xué)出版社，1999．

［6］費勝巍，孫宇．用SVRM預(yù)測變壓器油中溶解氣體量［J］．高電壓技術(shù)，2007，33(8):81 －84．

FEI Shengwei，SUN Yu．Prediction of dissolved gases content in power transformer oil by support vector regression machine ［J］．High Voltage Engineering，2007，33(8):81－84．

［7］趙石磊，張迎春．SVM回歸估計方法在衛(wèi)星故障診斷中的應(yīng)用［J］．電機與控制學(xué)報，2008，12(4):483 －486．

ZHAO Shilei，ZHANG Yingchun．Application of SVM regression to fault diagnosis for satellite［J］．Electric Machines and Control，2008，12(4):483 －486．

［8］肖燕彩，陳秀海，朱衡君．基于最小二乘支持向量機的變壓器油中氣體濃度預(yù)測［J］．電網(wǎng)技術(shù)，2006，30(11):91－94．

XIAO Yancai，CHEN Xiuhai，ZHU Henjun．Forecasting of gas concentration in power transformer oil based on least square support vector machine［J］．Power System Technology，2006，30(11):91－94．

［9］馮磊華，桂衛(wèi)華，楊鋒．改進(jìn)LS－SVM的直吹式制粉出力軟測量建模［J］．電機與控制學(xué)報，2011，15(11):79－83．

FENG Leihua，GUI Weihua，YANG Feng．Soft sensor modeling for mill output of direct fired system based on improved least squares support vector machines［J］．Electric Machines and Control，2011，15(11):79 －83．

［10］汪洪橋，蔡艷寧，孫富春，等．多尺度核方法的自適應(yīng)序列學(xué)習(xí)及應(yīng)用［J］．模式識別與人工智能，2011，24(1):72－81．

WANG Hongqiao，CAI Yanning，SUN Fuchu，et al．Adaptive sequence learning and applications for multi－scale kernel method［J］．PR ＆ AI，2011，24(1):72 －81．

［11］ZIEN A，ONG C S．Multiclass multiple kernel learning［C］//Proceedings of the 24th International Conference on Machine Learning．June 20 － 24，2007，New York，USA．2007:1191－1198．

［12］張軍峰，胡壽松．多重核學(xué)習(xí)非線性時間序列故障預(yù)報［J］．控制理論與應(yīng)用，2008，25(6):1142 －1144．

ZHANG Junfeng，HU Shousong．Nonlinear time series fault prediction by multiple kernel－learning［J］．Control Theory＆ Applications，2008，25(6):1142 －1144．

［13］陳強，任雪梅．基于多核最小二乘支持向量機的永磁同步電機混沌建模及其實時在線預(yù)測［J］．物理學(xué)報，2010，59(4):2310－2318．

CHEN Qiang，REN Xuemei．Chaos modeling and real－ time online prediction of permanent magnet synchronous motor based on multiple kernel least squares support vector machine［J］．Acta Physica Sinica，2010，59(4):2310－2318．

［14］許潔，胡壽松．基于KPCA和MKL－SVM的非線性過程監(jiān)控與故障診斷［J］．儀器儀表學(xué)報，2010，31(11):2428 －2433．

XU Jie，HU Shouson．Nonlinear process monitoring and fault diagnosis based on KPCA and MKL － SVM［J］．Chinese Journal of Scientific Instrument，2010，31(11):2428 －2433．

［15］LEE J M，YOO C，CHOI S W，et al．Non－linear process monitoring using kernel principal component analysis［J］．Chemical Engineering Science，2004，59(1):223 －234．

［16］齊詠生，王普，高學(xué)金，等．改進(jìn)MKPCA方法及其在發(fā)酵過程監(jiān)控中的應(yīng)用［J］．儀器儀表學(xué)報，2009，30(12):2530－2538．

QI Yongsheng，WANG Pu，GAO Xuejin，et al．Application of an improved multi－way kernel principal component analysis method in fermentation process monitoring［J］．Chinese Journal of Scientific Instrument，2009，30(12):2530 －2538．

［17］CHOI S W，LEE C，LEE J M，et al．Fault detection and identification of nonlinear processes based on kernel PCA［J］．Chemometrics and Intelligent Laboratory Systems，2005，75(1):55－67．

［18］張曦，陳世和，朱亞清，等．基于KPCR的發(fā)電機組參數(shù)預(yù)測與估計［J］．電力自動化設(shè)備，2010，30(10):54 －57．

ZHANG Xi，CHEN Shihe，ZHU Yaqing，et al．Parameter prediction and estimation for turbine generator based on KPCR［J］．Electric Power Automation Equipment，2010，30(10):54 －57．

［19］ZHANG Xi，MA Sile，YAN Weiwu，et al．A novel systematic method of quality monitoring and prediction based on FDA and kernel regression［J］．Chinese Journal of Chemical Engineering，2009，17(3):427 －436．

［20］賀湘宇，何清華，郭勇，等．基于主元回歸模型的挖掘機液壓系統(tǒng)故障診斷［J］．江蘇大學(xué)學(xué)報:自然科學(xué)版，2008，29(2):106－109．

HE Xiangyu，HE Qinghua，GUO Yong，et al．Fault diagnosis for excavator’s hydraulic system based on principal component regression mode［J］．Journal of Jiangsu University:Natural Science Edition，2010，30(10):54－57．