混合核函數(shù)相關(guān)向量機在污垢預(yù)測中的應(yīng)用

解紅剛，解紅永，杜雅君，譚富軍，梁金龍

（1.內(nèi)蒙古超高壓供電局，內(nèi)蒙古 呼和浩特010080；2.國網(wǎng)天津靜海供電有限公司，天津 300000）

0 引言

在當(dāng)今工業(yè)化生產(chǎn)過程中由于換熱設(shè)備結(jié)垢而造成的損失是巨大的，Steinhagen等人對新西蘭上千家企業(yè)的3 000臺各種類型換熱器的通信調(diào)查表明，90%以上的換熱器都存在不同程度的污垢問題［1］。污垢是指在與流體相接觸的固體表面上逐漸積聚起來的固態(tài)物質(zhì)，通常以混合物的形態(tài)存在［2］。根據(jù)西方發(fā)達(dá)國家調(diào)查，換熱設(shè)備污垢給工業(yè)發(fā)達(dá)國家所造成的損失平均占國民生產(chǎn)總值的0.3%。對于發(fā)展中國家，由于技術(shù)、設(shè)備本身相對比較落后，以及環(huán)境污染對冷卻水介質(zhì)造成的嚴(yán)重污染，由污垢造成的損失更嚴(yán)重。減少污垢危害也是對倡導(dǎo)發(fā)展低碳、節(jié)能經(jīng)濟的有效支持。

污垢的形成是極其復(fù)雜的過程，影響其形成的因素眾多。對污垢的研究主要包括3個部分：污垢預(yù)測、污垢監(jiān)測以及污垢對策。污垢預(yù)測，是污垢監(jiān)測和污垢對策的基礎(chǔ)。從80年代，Epstein通過矩陣對污垢形成的過程的理論分析和實驗研究做了概括［3］，到近年來，灰色理論，神經(jīng)網(wǎng)絡(luò)，模糊理論等各種算法在污垢預(yù)測中應(yīng)用，雖然取得了很大的成果，但仍然存在著一些不足。

支持向量機（Support Vector Machine，SVM）是在20世紀(jì)90年代由Vapnik等人提出來的基于小樣本統(tǒng)計學(xué)理論的機器學(xué)習(xí)算法［4］。SVM克服了其他智能算法的一些缺點，但也存核函數(shù)選取必須滿足Mercer條件等不足之處。SVM中核函數(shù)的選取通常局限于某單一的核函數(shù)，并非局部核函數(shù)就是全局核函數(shù)，有一定的限制性。而混合核函數(shù)既有局部核函數(shù)的強插值能力以及善于提取局部樣本的特性，又吸取了全局核函數(shù)善于提出全局樣本的特性［5］。李可軍、徐延順等人將混合核函數(shù)應(yīng)用到變壓器頂層油溫預(yù)測模型的建立［6］。

相關(guān)向量機（Relevance Vector Machine，RVM）是Tipping M.E.在2001年基于貝葉斯框架下提出的［7-9］。相對于SVM，RVM不僅可以獲得二值輸出，而且可以概率輸出。在核函數(shù)的選取上RVM不受Mercer條件限制，而且RVM的訓(xùn)練樣本時間比較短。段青、趙建國等人將組合核函數(shù)相關(guān)向量機應(yīng)用到電力負(fù)荷預(yù)測［10］。陳程、聶德鑫等人基于支持向量機對變壓器故障進行診斷［11］。將混合核函數(shù)和相關(guān)向量機相結(jié)合，把基于混合核函數(shù)的相關(guān)向量機應(yīng)用到換熱設(shè)備污垢預(yù)測中。

1 混合核函數(shù)相關(guān)向量機

1.1 混合核函數(shù)

支持向量機被廣泛應(yīng)用主要依靠于兩項關(guān)鍵技術(shù)。第一，利用結(jié)構(gòu)風(fēng)險最小化（Structural Risk Minimization，SRM）原則設(shè)計具有最大間隔最優(yōu)分類面；第二，通過核函數(shù)實現(xiàn)在高維特征空間的線性最優(yōu)分類面，并可以實現(xiàn)輸入空間的非線性學(xué)習(xí)算法。核函數(shù)就是利用非線性變化Φ將一個n維矢量空間中的隨機矢量x映射到高維特征空間，在高維特征空間設(shè)計線性學(xué)習(xí)算法。

假定模式x屬于輸入空間X，既x∈X，通過映射Φ 將輸入空間映射到一個新的空間 F=｛Φ（x）：x∈X｝，F(xiàn)稱作特征空間。

給定一個函數(shù)z：X2→Z（Z為復(fù)數(shù)集C或?qū)崝?shù)集R）和模式 x1，…，xm∈X，則 m×m 矩陣 Zij=z（xi，xj）稱為關(guān)于xi，…，xm的Gram矩陣。

一個m×m矩陣K是正定矩陣，當(dāng)且僅當(dāng)對于?ci∈C均有。

令X為一非空集合，k是定義在X×X上的函數(shù)，如果k滿足對所有的m∈N和x1，…，xm∈X都產(chǎn)生一個正定Gram矩陣，則稱其為正定核，簡稱核。

設(shè)（X，μ）是一個有限測度空間。如果 k∈L∞（X2）是一個對稱實值函數(shù)，則由其構(gòu)造的x的平方可積函數(shù)的積分算子為

是正定的，即?f∈L2（X），x∫k（x，y）f（x）f（y）dμ（x）μ（y）≥0。

常用的核函數(shù)包括：

1）高斯核函數(shù)

2）多項式核函數(shù)

3）Sigmoid 核函數(shù)

4）線性核函數(shù)

常用的局部核函數(shù)是高斯核函數(shù)，高斯核函數(shù)對樣本距離與σ相近的一定領(lǐng)域內(nèi)的樣本產(chǎn)生影響。然而當(dāng)樣本之間距離比σ大時，值就會趨于0。高斯核函數(shù)能很好地提出樣本的局部特性。全局核函數(shù)經(jīng)常采用多項式核函數(shù)，主要用于提取樣本的全局性。Km表示混合核函數(shù)，Kl表示局部核函數(shù)，Kg表示全局核函數(shù)。

其中，α+β=1。

1.2 相關(guān)向量機

式中：N 為樣本數(shù)；ωi為權(quán)值；k（x，xi）為核函數(shù)。

因此預(yù)測值為

式中：ε為附加噪聲，且服從方差為σ2、均值為0的獨立分布。已假設(shè)ti為獨立分布，則

因此全體樣本的似然函數(shù)為

式中：t=（t1，…，tn）T，ω=（ω0，…，ωN）T，Φ＝［φ（x1），…，φ（xn）］T，φ（xi）＝［1，k（xi，x1），…，k（xi，xN）］T。

為避免過學(xué)習(xí)，權(quán)值ω賦予先驗概率分布：

由先驗概率、似然分布，則ω的后驗概率分布：

式中：μ=σ-2ΣΦTt， Σ＝（σ-2ΦTΦ+A）-1，A＝diag（a0，a1，…，an）。為了估計超參數(shù)的最佳值，超參數(shù)的似然分布為

其中B＝σ2I+ΦA(chǔ)-1ΦT。超參數(shù)的更新為：

2 混合核函數(shù)相關(guān)向量機應(yīng)用于污垢預(yù)測

2.1 樣本數(shù)據(jù)采集

在對污垢形成過程的研究中發(fā)現(xiàn)，污垢熱阻能反映出污垢的結(jié)垢程度。將污垢熱阻值作為目標(biāo)輸出量，通過分析大量實驗數(shù)據(jù)得出，能影響污垢熱阻值的變量包括：污管的出入口溫度、污管3個不同位置的壁溫，污管內(nèi)流體的流速。將這些變量作為輸入自變量，污垢熱阻值作為輸出因變量，利用雙管雙回路新型污垢特性在線監(jiān)測裝置——污垢熱阻動態(tài)模擬自動監(jiān)測裝置［12］采集數(shù)據(jù)。每1 min采集一組樣本數(shù)據(jù)，連續(xù)采集1 700組數(shù)據(jù)。其中用前1 000組數(shù)據(jù)作為訓(xùn)練樣本，全部數(shù)據(jù)作為預(yù)測驗證，樣本數(shù)據(jù)通過MATLAB歸一化處理。

2.2 參數(shù)設(shè)置

混合核函數(shù)中Kl取高斯核函數(shù)，Kg取多項式核函數(shù)。其中 q＝1，α＝0.9，β＝0.1。分別用混合核函數(shù)、高斯核函數(shù)、多項式核函數(shù)做實驗進行對比?；旌虾撕瘮?shù)寬度為0.33，高斯核函數(shù)寬度為0.3，多項式核函數(shù)寬度為1，并且為二次多項式。超參數(shù)和方差的初始值為 initAlpha＝（1/N）2，initBeta＝var［t］×0.1。

2.3 評價依據(jù)

回歸預(yù)測結(jié)果的好壞可以通過多種方法來進行驗證。通過平均相對誤差（RMS），均方根誤差（RMSE）來評價：

3 實驗結(jié)果和分析

實驗所用樣本數(shù)據(jù)為1 700組，分別通過混合核函數(shù)、高斯核函數(shù)、多項式核函數(shù)的相關(guān)向量機，在MATLAB7.1環(huán)境下進行仿真實驗。

圖1為實際污垢熱阻值曲線。圖2，圖4，圖6分別為混合核函數(shù)RVM，高斯核函數(shù)RVM，多項式核函數(shù)RVM下的實際曲線與預(yù)測曲線對比圖。圖3，圖5，圖7分別為對應(yīng)核函數(shù)相關(guān)向量機下的相對誤差曲線。

圖1 實際污垢熱阻曲線

圖2 混合核函數(shù)下的實際曲線與預(yù)測曲線對比

圖3 混合核函數(shù)下的相對誤差曲線

圖4 高斯核函數(shù)下實際曲線與預(yù)測曲線對比

圖5 高斯核函數(shù)下相對誤差曲線

圖6 多項式核函數(shù)下實際曲線與預(yù)測曲線對比

圖7 多項式核函數(shù)下相對誤差曲線

從圖中可見，各個核函數(shù)下相關(guān)向量機都準(zhǔn)確預(yù)測了污垢熱阻值的曲線走勢。相對于圖4和圖6，圖2預(yù)測的效果更好。圖3，圖5，圖7分別為對應(yīng)核函數(shù)相關(guān)向量機下的相對誤差曲線。相對于圖5和圖7，圖3的相對誤差范圍更小。

表1列舉了混合核函數(shù)相關(guān)向量機、高斯核函數(shù)相關(guān)向量機、多項式核函數(shù)相關(guān)向量機下的平均相對誤差和均方根誤差的實驗結(jié)果數(shù)據(jù)。由表1可知混合核函數(shù)相關(guān)向量機的平均相對誤差、均方根相對誤差都要小于單一的核函數(shù)相關(guān)向量機。

表1 實驗結(jié)果統(tǒng)計

4 結(jié)語

基于混合核函數(shù)的相關(guān)向量機在換熱設(shè)備污垢預(yù)測中取得了較好的預(yù)測效果，并且相對于某單一的核函數(shù)相關(guān)向量機，混合核函數(shù)相關(guān)向量機的預(yù)測精度更高。

混合核函數(shù)相關(guān)向量機相對單一核函數(shù)相關(guān)向量機雖然取得了較好的預(yù)測效果，但依然存在問題。混合核函數(shù)中的各單一核函數(shù)的選取依據(jù)沒有，而且混合函數(shù)的參數(shù)比單一核函數(shù)參數(shù)要多，以致有時候構(gòu)造的混合核函數(shù)不如單一核函數(shù)效果好。混合核函數(shù)中各單一核函數(shù)所占的比重也是一個需要考慮的問題。

相對于以往的SVM，RVM的輸出更多樣化，不僅有二值輸出，也有概率輸出以及置信區(qū)間輸出。然而隨著輸入樣本的復(fù)雜，RVM的訓(xùn)練時間將加長，如何降低RVM在復(fù)雜輸入的樣本訓(xùn)練時間，將是今后的研究方向。