基于M-LS-SVR的變壓器油中溶解氣體濃度預(yù)測

李洪超　王偉剛　董雪梅（浙江工商大學(xué)統(tǒng)計與數(shù)學(xué)學(xué)院，杭州　310018）

?

基于M-LS-SVR的變壓器油中溶解氣體濃度預(yù)測

李洪超王偉剛董雪梅
（浙江工商大學(xué)統(tǒng)計與數(shù)學(xué)學(xué)院，杭州310018）

摘要為預(yù)測變壓器油中溶解氣體的濃度，提出了混合最小二乘支持向量機(jī)回歸（Mixed Least Square Support Vector Regression， M-LS-SVR）算法。該算法使用線性和非線性核函數(shù)的組合作為預(yù)測函數(shù)，利用真實數(shù)據(jù)自適應(yīng)選擇其混合比例因子。實驗結(jié)果表明，與目前比較流行的BP神經(jīng)網(wǎng)絡(luò)方法、SVR方法和LS-SVR方法的預(yù)測結(jié)果相比，該方法具有更小的預(yù)測誤差，更低的復(fù)雜性以及更好的泛化能力。

關(guān)鍵詞：電力變壓器；油中溶解氣體分析；濃度預(yù)測；最小二乘支持向量機(jī)

Concentration Prediction of Dissolved Gases
in Transformer Oil based on M-LS-SVR

Li HongchaoWang WeigangDong Xuemei
（School of Statistics and Mathematics Zhejiang Gongshang University， Hangzhou310018）

Abstract To predict the concentration of dissolved gases in transformer oil， we proposed mixed least square support vector regression （M-LS-SVR） algorithm in this paper. This algorithm combined linear and nonlinear kernel functions as prediction function， the mixed scaling factor was chosen adaptively by real data. The experiment results showed that this method had less prediction error， lower complexity and better generalization ability than those of the current popular methods， such as BP neural network， support vector machine regression （SVR） and least squares support vector machine regression （LS-SVR）.

Keywords：power transformer; dissolved gas analysis; concentration prediction; least squares support vector machine regression

變壓器是電力系統(tǒng)中的重要設(shè)備，其正常運(yùn)行是保障電力系統(tǒng)安全穩(wěn)定運(yùn)行的基礎(chǔ)[1-2]。因此對運(yùn)行中的變壓器狀態(tài)進(jìn)行定時監(jiān)控，以預(yù)報故障情況，便成為日常對變壓器進(jìn)行檢修的重要環(huán)節(jié)之一。實際中，常用變壓器油中溶解氣體分析方法（DGA[3]）來監(jiān)測和判斷變壓器在油樣采集時的運(yùn)行情況。其原理是：充油電力變壓器在長期的運(yùn)行過程中受到電或熱的作用會老化和劣化，產(chǎn)生少量的氣體（一般稱為特征氣體）溶解在變壓器油中?？傮w來講溶解氣體的量是一個逐步平穩(wěn)積累的過程，但在故障或異常發(fā)生時，氣體含量數(shù)值會發(fā)生較大的變化。因此，可以用油溶氣體濃度的變化來反映變壓器的運(yùn)行狀況。同時，由于目前的在線監(jiān)測設(shè)備是每隔一段時間（一天）抽測一次，所以基于已有數(shù)據(jù)，預(yù)測將來油溶氣體濃度的變化，不僅是對DGA法定期檢測數(shù)據(jù)的補(bǔ)充，而且有利于有效識別監(jiān)測系統(tǒng)誤報警和及時對故障狀態(tài)做出判斷。

使用灰色預(yù)測模型（Grey Model，GM）及其改進(jìn)形式是目前對變壓器油溶氣體濃度進(jìn)行預(yù)測的常用方法之一。例如：肖燕彩等[4]認(rèn)為變壓器是一個灰色系統(tǒng)，而且其油中溶解的多種特征氣體數(shù)據(jù)存在耦合關(guān)系，因而采用灰色多變量模型；張麗萍等[5]對原始數(shù)據(jù)進(jìn)行非等間隔處理、一級弱化處理、殘差模型修正，建立了綜合GM（1，1）預(yù)測模型；毛自娟等[6]將馬爾可夫鏈理論與灰色多變量預(yù)測方法相結(jié)合，提出了一種灰色馬爾可夫組合預(yù)測模型；司馬莉萍等[7]則將灰色模型與模糊支持向量機(jī)方法相結(jié)合，建立了灰關(guān)聯(lián)模糊支持向量機(jī)模型。但是灰色理論主要是對原始數(shù)列進(jìn)行累加生成規(guī)律性較強(qiáng)的序列，再用指數(shù)曲線擬合得到預(yù)測值。它通常適用于有確定性趨勢的數(shù)據(jù)，而變壓器油溶氣體濃度值呈指數(shù)變化的趨勢并不明顯，因此運(yùn)用灰色模型及其改進(jìn)形式誤差較大。

胡導(dǎo)福[8]等直接使用BP神經(jīng)網(wǎng)絡(luò)對油溶氣體濃度進(jìn)行了預(yù)測。雖然神經(jīng)網(wǎng)絡(luò)算法具有很強(qiáng)的非線性擬合能力，而且自學(xué)習(xí)能力強(qiáng)大，學(xué)習(xí)規(guī)則簡單。但是它也存在一些不足之處，比如：往往需要較多的樣本數(shù)據(jù)；其模型的預(yù)測效果通常和初始權(quán)值、閥值的選擇有很大關(guān)系；學(xué)習(xí)速度相對于目前比較流行的其他算法更慢，而且容易陷入局部極小值點(diǎn)。目前雖然已經(jīng)有改進(jìn)的BP算法[9]、遺傳算法（GA）[10]、模擬退火算法[11]等多種優(yōu)化方法用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，但在實際應(yīng)用中這些參數(shù)調(diào)整往往因問題而異，仍然較難求得全局極小值點(diǎn)。

張小奇等[12]將支持向量機(jī)（Support Vector Machine，SVM）算法引入了變壓器油溶氣體濃度預(yù)測。SVM最早是由統(tǒng)計學(xué)習(xí)理論的奠基者V. Vapnik及其合作者提出。該算法不是基于傳統(tǒng)的經(jīng)驗風(fēng)險最小化原則，而是新的歸納原則—結(jié)構(gòu)風(fēng)險最小化原則，因此具有良好的泛化能力，較好地解決了小樣本、非線性、高維數(shù)、局部極小值等實際問題。支持向量機(jī)回歸算法（SVR）是支持向量機(jī)在回歸領(lǐng)域的應(yīng)用 。

最小二乘支持向量機(jī)回歸（LS-SVR[13-14]）算法是支持向量機(jī)的一種改進(jìn)形式，它是將傳統(tǒng)支持向量機(jī)中的不等式約束改為等式約束，且將誤差平方和損失函數(shù)作為訓(xùn)練集的經(jīng)驗損失，這樣就把求解二次規(guī)劃問題轉(zhuǎn)化為求解線性方程組問題，提高了求解的速度和收斂精度。

基于上述已有工作以及對真實變壓器油溶氣體濃度數(shù)據(jù)的研究發(fā)現(xiàn)：單純的使用簡單的線性預(yù)測函數(shù)或者較復(fù)雜的非線性預(yù)測函數(shù)，都不能恰當(dāng)?shù)乜坍嫵龈鞣N氣體濃度的變化趨勢。因此，本文提出了混合最小二乘支持向量機(jī)回歸（M-LS-SVR）算法。該算法是在最小二乘支持向量機(jī)回歸（LS-SVR）的基礎(chǔ)上同時使用兩種核密度函數(shù)，即線性核函數(shù)和非線性核函數(shù)，通過變壓器油溶氣體濃度數(shù)據(jù)自適應(yīng)的選擇其混合比例，較全面地解釋了自變量與因變量之間的復(fù)雜關(guān)系。實際上，如果一個模型被完全確定為一個線性模型，則由于非線性部分沒有被識別出來將導(dǎo)致產(chǎn)生大的預(yù)測誤差。另一方面，如果模型被當(dāng)做一個非線性模型，則線性部分被認(rèn)為是非線性的一部分，它的識別性能可能比完全線性好，但它更復(fù)雜。M-LS-SVR方法集合了線性核函數(shù)和非線性核函數(shù)兩個優(yōu)勢，達(dá)到了同時減少模型的復(fù)雜性和預(yù)測誤差的目的。

1　M-LS-SVR算法

1.1變壓器油溶氣體濃度預(yù)測模型的建立

利用監(jiān)測設(shè)備定期獲取的變壓器油溶氣體濃度數(shù)據(jù)可以看作序列{ut: t≥1}。我們現(xiàn)在的目標(biāo)是，在已有m個數(shù)據(jù){（xt，ut）}m＋p t＝p＋1（其中xt＝（ut－1，…，ut－p））基礎(chǔ)上，估計輸入xt與輸出ut之間的關(guān)系，并用該關(guān)系給新的輸入預(yù)測輸出。

我們建立預(yù)測模型如下：

這里εt表示均值為0的隨機(jī)干擾項。設(shè)P為空間（U， X ）?R×RP上的未知概率分布，Px（u）＝P（u|x）為給定x∈X下的條件概率，則回歸函數(shù)定義為fp（x）＝∫Uud Px（ u）。回歸函數(shù)是使得期望風(fēng)險∫U× X（u－ g（ x））2d P 達(dá)到最小的函數(shù)。由于P未知，因此我們只能尋找一個函數(shù)對其逼近。下面，我們將在再生核希爾伯特空間（Reproducing Kernel Hilbert Space，RKHS）的框架下給出模型（1）的求解算法。

1.2算法介紹

為了引入M-LS-SVR算法，我們先給出RKHS的定義。設(shè)二元函數(shù)K: X×X→R是連續(xù)、對稱并且半正定的，則這樣的函數(shù)稱為Mercer核，與核K有關(guān)的再生核希爾伯特空間Hk定義為函數(shù)集{Kx:＝K（x，.）: x∈X}的線性張成的閉包，其中定義的內(nèi)積<.，.>Hk＝<.，.>K滿足＝K（x， x′）。如果核函數(shù)選為線性函數(shù)KLIN（x， x′），則RKHS是線性函數(shù)空間。如果核函數(shù)選為高斯徑向基函數(shù)KRBF（x， x′），則RKHS是非線性函數(shù)空間。其中：

對于給定的樣本集{ut，xt}m t＝1，M-LS-SVR算法定義為以下最優(yōu)化問題：

設(shè){φk}k＞1是由LKLIN的特征函數(shù)構(gòu)成的L2p（ X）中的一個標(biāo)準(zhǔn)正交基，相應(yīng)的特征值為{ek}k≥1，而{?k}k≥1是的特征函數(shù)構(gòu)成的L2p（ X）中的正交基，{}k≥1為特征值。對于任何有

而且注意到

于是對于任意的j≥1，有

為使H值在f1和f2處達(dá)到最小，則對每一個j，必須有＝0和＝0。從而

因此

注意到

則

將式（6）、式（7）代入式（8）、式（9）化簡整理可得

這里KLIN（ x）和KRBF（ x）是m× m矩陣，KLIN（ xi， xj），KRBF（ xi， xj）分別為其（i， j）分量，u＝（u（1），…， u（ m））T。以上方程組是在R2m空間的適定線性系統(tǒng)，可以求出它的惟一解，即

則

即最終的預(yù)測模型為

3　實驗

下面以浙江省某變電所變壓器的H2預(yù)測為例，選取其在正常運(yùn)行狀態(tài)下連續(xù)73天的原始數(shù)據(jù){zt}，（t＝1，2，…，73）。并按照如下式（12）進(jìn)行歸一化處理，得到新的時間序列。

接下來分別運(yùn)用BP神經(jīng)網(wǎng)絡(luò)方法、LS-SVR、SVR（RBF）、M-LS-SVR對數(shù)據(jù)進(jìn)行處理。四種模型均使用連續(xù)三天的數(shù)據(jù)xt＝（ yt－3， yt－2， yt － 1）作為一個輸入，后一天的數(shù)據(jù)yt作為輸出，同樣分別選取作為訓(xùn)練樣本，作為測試數(shù)據(jù)。分別用四種模型求得測試數(shù)據(jù)輸出的預(yù)測值y?t后，進(jìn)行反歸一化得出，預(yù)測效果評價函數(shù)如下：

各模型的參數(shù)設(shè)置：

1）在BP網(wǎng)絡(luò)模型中采用3層結(jié)構(gòu)，隱含層根據(jù)經(jīng)驗選擇5個神經(jīng)元，輸入層的傳遞函數(shù)是tansigmoid，輸出層的傳遞函數(shù)是linear，訓(xùn)練函數(shù)選擇traingd法。

2）在支持向量機(jī)回歸（SVR）模型中，ε＝1×10－6，核函數(shù)為KRBF（ ui，uj），其中σ1＝ 0.7。

3）在最小二乘支持向量機(jī)回歸（LS-SVR）模型中，正則化參數(shù)（決定了適應(yīng)誤差的最小化和平滑程度[15]）gam＝2，徑向基核函數(shù)的參數(shù)σ2＝ 0.1。

4）在混合最小二乘支持向量機(jī)（M-LS-SVR）中，參數(shù)λ＝0.95；RBF核函數(shù)參數(shù)σ3＝ 0.5；系數(shù)λ1＝ 0.05，λ2＝ 0.08。（參數(shù)λ采用交叉驗證方式取得，參數(shù)σ3、λ1、λ2根據(jù)樣本數(shù)據(jù)產(chǎn)生最小的經(jīng)驗誤差規(guī)則選定。）

預(yù)測結(jié)果見表1。

表1　4種模型預(yù)測結(jié)果（μL/L）

對比以上4種模型的預(yù)測結(jié)果可以發(fā)現(xiàn)，BP神經(jīng)網(wǎng)絡(luò)方法預(yù)測誤差最大，其MSE＝0.598，比普通的支持向量機(jī)方法（SVRRBF）的MSE大1.2倍；最小二乘支持向量回歸方法（LS-SVR）優(yōu)于普通的支持向量機(jī)方法（SVRRBF），其MSE值減小了22%；混合最小二乘支持向量機(jī)方法（M-LS-SVR）的預(yù)測誤差最小，其MSE僅為0.061。

圖1　3種模型預(yù)測效果對比

單獨(dú)對比M-LS-SVR和LS-SVR的預(yù)測結(jié)果可以看出，M-LS-SVR算法的MSE值為常見的單核LS-SVR（RBF）的29%。并且我們發(fā)現(xiàn)在用交叉驗證法確定λ、λ1、λ2的值后，混合比例因子ν＝30.4∶1，這表明在此例中，線性核函數(shù)起主要作用。而且由于徑向基核函數(shù)需要確定的參數(shù)比線性核函數(shù)多，這在給模型增加靈活性的同時，也會影響模型的穩(wěn)定性，所以高比重的線性部分弱化了徑向基核函數(shù)參數(shù)值確定失誤對整個模型的影響。使混合模型在提高了預(yù)測精度的同時，增加穩(wěn)定性。

4　結(jié)論

總的來看，在變壓器正常運(yùn)行狀態(tài)下，預(yù)測氣體濃度變化的支持向量機(jī)方法顯著優(yōu)于神經(jīng)網(wǎng)絡(luò)方法，而在支持向量機(jī)方法中，由求二次規(guī)劃問題改為解線性方程組，使LS-SVR方法比普通的SVR方法訓(xùn)練速度更快，預(yù)測精度更高；而在本文中又提出了在LS-SVR方法中使用線性核和非線性核的自適應(yīng)混合核函數(shù)，使得新的M-LS-SVR方法既減少了模型的復(fù)雜度，又有較高的預(yù)測精度。因此可以用這種方法常規(guī)性的預(yù)測出每種特征氣體濃度的變化趨勢，并與實際情況做對比以評價變壓器的運(yùn)行狀態(tài)。

綜上可得，M-LS-SVR模型為變壓器油中溶解氣體濃度的預(yù)測提供了新的方法，同時，該方法也可以在其他領(lǐng)域推廣使用。

參考文獻(xiàn)

[1]張公永， 李偉. 基于灰色最小二乘支持向量機(jī)的變壓器油溶解氣體預(yù)測[J]. 電力學(xué)報， 2012， 27（2）: 111-115.

[2]任雙贊， 曹曉瓏， 鐘力生. 變壓器油中腐蝕性硫?qū)︺~導(dǎo)線及油浸絕緣紙?zhí)匦杂绊慬J]. 電工技術(shù)學(xué)報，2011， 26（10）: 129-135.

[3]王學(xué)磊， 李慶民， 李成榕， 等. 基于統(tǒng)計分布和相關(guān)分析的變壓器油中溶解氣體注意值計算方法（英文）[J]. 高電壓技術(shù)， 2013（8）: 1960-1965.

[4]肖燕彩， 陳秀海. 變壓器油中故障特征氣體體積分?jǐn)?shù)的預(yù)測[J]. 中國電力， 2007， 40（3）: 53-55.

[5]張麗萍， 楊柳， 黃鍔， 等. 綜合灰色模型在電力變壓器故障預(yù)測中的應(yīng)用[J]. 陜西電力， 2013， 41（10）: 44-47.

[6]毛自娟. 基于灰色馬爾可夫模型的變壓器油中溶解氣體體積分?jǐn)?shù)預(yù)測[J]. 高壓電器， 2012， 48（10）: 47-51， 57.

[7]司馬莉萍， 舒乃秋， 左婧， 等. 基于灰關(guān)聯(lián)和模糊支持向量機(jī)的變壓器油中溶解氣體濃度的預(yù)測[J]. 電力系統(tǒng)保護(hù)與控制， 2012， 40（19）: 41-46.

[8]胡導(dǎo)福， 文閃閃， 何益鳴. 基于BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷及其應(yīng)用[J]. 電力科學(xué)與技術(shù)學(xué)報，2008， 23（2）: 72-75.

[9]曲朝陽， 計超， 郭曉利， 等. 基于傳遞函數(shù)自我優(yōu)化的BP網(wǎng)絡(luò)算法改進(jìn)[J]. 電測與儀表， 2014， 51（11）: 56-59， 64.

[10]Dong Xiucheng， Wang Shouchun， Sun Renjin， et al. Design of artificial neural networks using a genetic algorithm to predict saturates of vacuum gas oil[J]. Petroleum Science， 2010， 7（1）: 118-122.

[11]黃世震， 林淑玲. 基于GSA-BP神經(jīng)網(wǎng)絡(luò)的壓力傳感器溫度補(bǔ)償[J]. 電子器件， 2013， 36（5）: 680-684.

[12]張小奇， 朱永利， 王芳. 基于支持向量機(jī)的變壓器油中溶解氣體濃度預(yù)測[J]. 華北電力大學(xué)學(xué)報，2006， 33（6）: 6-9.

[13]Cristianini N， Shawe-Taylor J. An introduction to support vector machines and other kernel-based learning methods[M]. Cambridge: cambridge university press， 2005.

[14]Xu Yongli， Chen Dirong. Partially-Linear Least-Squares regularized regression for system identification[J]. IEEE Transactions on Automatic Control，2009， 54（11）: 2637-2641.

[15]李方方， 趙英凱， 顏昕. 基于Matlab的最小二乘支持向量機(jī)的工具箱及其應(yīng)用[J]. 計算機(jī)應(yīng)用， 2006，26（z2）: 358-360.

李洪超（1991-），男，碩士，研究方向為電力變壓器在線監(jiān)測故障分析及技術(shù)，機(jī)器學(xué)習(xí)算法分析及應(yīng)用。

作者簡介