逐步RVM-Markov模型在大壩變形預(yù)測中的應(yīng)用

唐　琪　包騰飛　杜傳陽　滕雯雯

(1. 河海大學(xué) 水文水資源與水利工程科學(xué)國家重點實驗室，南京　210098； 2. 河海大學(xué) 水資源高效利用與工程安全國家工程研究中心，南京　210098； 3. 河海大學(xué) 水利水電學(xué)院， 南京　210098； 4. 威海市水利局，山東威?！?64200)

?

逐步RVM-Markov模型在大壩變形預(yù)測中的應(yīng)用

唐琪1，2，3包騰飛1，2，3杜傳陽1，2，3滕雯雯4

(1. 河海大學(xué) 水文水資源與水利工程科學(xué)國家重點實驗室，南京210098； 2. 河海大學(xué) 水資源高效利用與工程安全國家工程研究中心，南京210098； 3. 河海大學(xué) 水利水電學(xué)院， 南京210098； 4. 威海市水利局，山東威海264200)

摘要：相關(guān)向量機(jī)(RVM)模型具有結(jié)構(gòu)稀疏化、核函數(shù)選擇范圍廣等特點，應(yīng)用到大壩變形預(yù)測中比支持向量機(jī)(SVM)模型更具優(yōu)勢．同時考慮到殘差對預(yù)測精度的影響，引入Markov鏈用于預(yù)測數(shù)據(jù)修正，從而得到一種高精度的逐步RVM-Markov組合模型．在實際應(yīng)用中，RVM模型的泛化能力與SVM相當(dāng)，向量數(shù)量卻遠(yuǎn)小于SVM模型，計算過程得到簡化，Mrakov鏈對殘差進(jìn)行修正后又提高了預(yù)測精度．將上述組合模型用于大壩變形實例分析，獲得了較好的回歸預(yù)測效果．

關(guān)鍵詞：大壩變形監(jiān)測模型；相關(guān)向量機(jī)；Markov鏈

大壩變形位移是大壩安全監(jiān)控的重要方面，根據(jù)大壩變形實測資料進(jìn)行分析預(yù)測，對了解大壩運(yùn)行狀況，監(jiān)控大壩和壩基安全起到重要作用[1]．變形測值受水壓、溫度和時效等因素的影響，會存在一定的趨勢變形及周期波動．近些年來，支持向量機(jī)(Support Vector Machine，SVM)模型以其在小樣本非線性數(shù)據(jù)回歸預(yù)測上良好的適用性而在大壩變形監(jiān)測領(lǐng)域得到廣泛研究，但該模型仍存在懲罰系數(shù)易選擇不當(dāng)、支持向量個數(shù)隨樣本的增大成線性增長等問題．而Micheal E.Tipping[2]在2001年提出的相關(guān)向量機(jī)(Relevance Vector Machine，RVM)模型不僅具有與SVM相當(dāng)?shù)倪m用范圍與泛化能力，而且以其結(jié)構(gòu)稀疏化、核函數(shù)不需滿足Mercer條件等優(yōu)點很好地彌補(bǔ)了SVM模型的不足．另外考慮到變形測值波動較大會引起殘差規(guī)律的變化，降低預(yù)測精度，本文利用Markov鏈模型具有適應(yīng)大波動數(shù)據(jù)的優(yōu)點，將RVM與Markov鏈模型相結(jié)合，并采用逐步更新樣本數(shù)據(jù)的方法，得出一種高精度的變形預(yù)測模型，并應(yīng)用到工程實例中進(jìn)行驗證．

1相關(guān)向量機(jī)

1.1相關(guān)向量機(jī)基本原理

相關(guān)向量機(jī)(Relevance Vector Machine，RVM)與SVM類似，但RVM是在貝葉斯理論框架下進(jìn)行學(xué)習(xí)，在先驗參數(shù)的結(jié)構(gòu)下基于主動相關(guān)決策理論(Automatic Relevance Determination，ARD)來移除不相關(guān)的點[3]，從而獲得稀疏化的模型．

其中，ω=(ω0，ω1，…，ωN)T為權(quán)值向量；K(x，xj)為核函數(shù)，εi為附加噪聲．

相關(guān)向量機(jī)假定ti服從均值為y(xi)的高斯分布，即p(ti|x)～N(ti|y(xi)，σ2)．

其中t=(t1，…，tn)T，ω=(ω1，…，ωn)T，Φ∈RN×(N+1)，Φ=[φ(x1)，φ(x2)，…，φ(xN)]T，φ(xi)=[1，K(xi，x1)，…，K(xi，xN)]T．

RVM對樣本集的訓(xùn)練目的是得到權(quán)值向量的后驗分布．先定義ω滿足ARD高斯先驗分布

其中α=(α0，α1，…，αN)T為超參數(shù)，每一個αi都相互獨立且只與其對應(yīng)的權(quán)值ωi相關(guān)[4]．

利用公式(2)(3)，根據(jù)貝葉斯公式可得權(quán)重ω的后驗分布為

從而

其中，Σ為后驗協(xié)方差矩陣，μ為后驗均值向量，B=σ-2I．

對權(quán)值進(jìn)行積分，即

由此可得，p(t|α，σ2)～N(0，C)，其中協(xié)方差

通過最大化邊緣似然p(t|α，σ2)來進(jìn)行稀疏貝葉斯學(xué)習(xí)，為了計算方便，可以轉(zhuǎn)化成對數(shù)形式：

對公式(10)關(guān)于α求導(dǎo)可以得到迭代公式

其中μi是μ的第i個元素，∑ii是矩陣∑的第i個對角元素，γj=1-αj∑jj．

根據(jù)公式(6)、(7)、(11)、(12)可以迭代計算出邊緣分布最大化的α和σ，并且出現(xiàn)很多αi趨向于∞的情況，代入公式(11)可得μi趨向于0，則可以將其對應(yīng)的基向量刪除，令對應(yīng)的ωi=0，從而得到稀疏化的RVM模型．

1.2RVM相較于SVM的優(yōu)點分析

1)RVM的核函數(shù)不需滿足梅西(Mercer)定理(關(guān)于梅西定理，本文不作詳細(xì)討論)，其選擇范圍要比SVM更廣．這一選擇條件的放寬，進(jìn)一步提高了RVM的適用性．

2)針對現(xiàn)實情況常常出現(xiàn)樣本重疊的問題，SVM利用懲罰系數(shù)來進(jìn)行處理．但SVM不能對此系數(shù)做自動評估，需要手動設(shè)置，懲罰系數(shù)設(shè)置不當(dāng)，將會引起過擬合的問題而導(dǎo)致結(jié)果不理想．由于RVM的參數(shù)可以自動賦值，則避免了這一問題．

3)對于同樣的樣本數(shù)據(jù)，RVM訓(xùn)練過程中“相關(guān)向量”的比重要遠(yuǎn)遠(yuǎn)小于SVM“支持向量”的比重．SVM中“支持向量”的個數(shù)隨著其訓(xùn)練樣本的增大而線性增加，遇到較大的訓(xùn)練樣本時，會影響其最終的測試速度，而RVM的“相關(guān)向量”個數(shù)增長速度相對于“支持向量”則要慢了很多．這一特性，使得RVM在某些對實時性要求較高的情況之下，能表現(xiàn)得更為理想．

2Markov鏈修正模型

2.1馬爾科夫過程基本原理

馬爾科夫過程(Markov Process)是一個無后效性的隨機(jī)過程，具體是指當(dāng)ti時刻所處狀態(tài)為已知時，大于ti時刻所處狀態(tài)的概率特性只與過程在ti時刻所處狀態(tài)有關(guān)，而與過程在ti時刻以前的狀態(tài)無關(guān)[5]．而馬爾科夫鏈(Markov Chain)就是指具有馬爾科夫性質(zhì)的狀態(tài)和時間均離散的隨機(jī)過程．在大壩安全監(jiān)測中，各個測點的垂直位移、水平位移、應(yīng)力、滲流等物理量數(shù)據(jù)均是與時間相關(guān)的狀態(tài)函數(shù)，并且狀態(tài)和時間均離散，是典型的馬爾科夫隨機(jī)過程．

設(shè)V(0)為初始狀態(tài)E1的初始向量，則經(jīng)過k步轉(zhuǎn)移后，向量V(k)可通過下式求得：

2.2馬爾科夫鏈修正殘差

利用馬爾科夫鏈對RVM模型預(yù)測結(jié)果進(jìn)行修正，首先求出擬合值與實測值的殘差序列，根據(jù)殘差序列劃分概率區(qū)間，通過各個狀態(tài)向下一個時段的轉(zhuǎn)移的頻率可以計算出轉(zhuǎn)移概率，進(jìn)而構(gòu)造出轉(zhuǎn)移概率矩陣[6]，本文采用1步轉(zhuǎn)移矩陣，即k=1．

在用RVM模型進(jìn)行預(yù)測時，根據(jù)式(16)進(jìn)行殘差修正：

3逐步RVM-Markov大壩變形預(yù)測模型實現(xiàn)步驟

混凝土壩的變形位移主要考慮水壓、溫度和時效的影響[7]，因此可以采用如下統(tǒng)計模型：

其中，δH、δT、δθ分別為水壓分量、溫度分量和時效分量，H、H0表示監(jiān)測日和始測日的上游水頭，t為監(jiān)測日到始測日的累計天數(shù)，t0為系列監(jiān)測資料中的第一天到始測日的累計天數(shù)，θ=t/100，θ0=t0/100．該統(tǒng)計模型共包括與水壓、溫度、時效相關(guān)的10個輸入向量，輸出向量為大壩變形位移．

另外，還需按下式對監(jiān)測數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，使處理后的數(shù)據(jù)保持在[0.1，0.9]，以提高學(xué)習(xí)速度：

其中xmax和xmin是每組監(jiān)測數(shù)據(jù)的最大值和最小值．

本文將馬爾科夫鏈與RVM模型相結(jié)合，并進(jìn)一步改進(jìn)，采用逐步更新的方法，以期提高長期預(yù)測的精度．首先根據(jù)N期實測數(shù)據(jù)建立模型并進(jìn)行預(yù)測，得到第N+1期預(yù)測值，然后去除第一期數(shù)據(jù)并加入第N+1期預(yù)測數(shù)據(jù)，再得到第N+2期預(yù)測值，依次類推，即總是取最近的N期數(shù)據(jù)重新建立模型對下一期數(shù)據(jù)進(jìn)行預(yù)測．

綜上，逐步RVM-Markov預(yù)測模型的算法流程圖如圖1所示．

圖1　逐步RVM-Markov模型回歸預(yù)測流程圖

4工程實例

某水電站位于我國安徽省涇縣，水庫總庫容24.76億m3，年發(fā)電量3.16億kW·h．其壩型為重力拱壩，最大壩高76.3m，壩頂高程126.3m．取該壩8號壩段壩體垂線2009年2月1日至2013年2月13日期間的監(jiān)測資料進(jìn)行分析，由于相鄰兩天數(shù)據(jù)相近不具有代表性，因此每7d取一組數(shù)據(jù)，共得到210組徑向位移監(jiān)測數(shù)據(jù)為樣本，前200組用于擬合，后10組用于預(yù)測．

首先將2009年2月1日至2012年12月5日這200組數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，然后代入RVM模型訓(xùn)練，核函數(shù)選擇高斯徑向基(RadialBasisFunction，RBF)核函數(shù)，核參數(shù) 取0.7，得到一系列擬合值．將位移實測值與擬合值相減得到殘差，其中上限為1.04mm，下限為-0.86mm，據(jù)此將殘差序列分為4個區(qū)間，見表1．

表1　概率區(qū)間劃分

在預(yù)測過程中，如果模型的殘差超出區(qū)間邊界值，則大于1.04 mm時歸于狀態(tài)IV，小于-0.86 mm時歸于狀態(tài)I．將殘差代入馬爾科夫鏈分析，求得1步轉(zhuǎn)移概率矩陣如下：

將以上各計算結(jié)果代入公式(16)進(jìn)行殘差修正即可得到RVM-Markov模型擬合值，其擬合效果見圖2．然后用逐步更新學(xué)習(xí)樣本的方法預(yù)測2012年12月12日至2013年2月13日的10組數(shù)據(jù)，逐步RVM-Markov模型的預(yù)測結(jié)果見表2．

圖2　RVM-Markov模型擬合曲線圖

預(yù)測日期實測值RVM預(yù)測值一次殘差殘差修正值逐步RVM-Markov預(yù)測值二次殘差20121212-1.62-1.36-0.26-1.16-1.42-0.2020121219-1.83-1.49-0.34-1.38-1.71-0.1220121226-2.79-2.02-0.77-1.77-2.54-0.2520130102-3.39-2.14-1.25-1.41-2.66-0.7320130109-3.54-2.95-0.59-3.10-3.680.1420130116-4.41-3.53-0.88-3.22-4.10-0.3120130123-5.02-4.35-0.67-4.72-5.380.3620130130-5.6-5.39-0.21-5.58-5.800.2020130206-6.62-6.04-0.58-5.59-6.17-0.4520130213-6.51-6.730.22-7.24-7.020.51

為了便于直觀地表現(xiàn)出逐步RVM-Markov模型的優(yōu)越性，又采用SVM、RVM模型進(jìn)行回歸預(yù)測，將3種模型的預(yù)測效果進(jìn)行對比見圖3．利用各自的均方差來反映不同模型的回歸預(yù)測精度，同時記錄支持向量與回歸向量的個數(shù)來比較SVM與RVM模型的復(fù)雜程度，對比效果見表3．

圖3　3種模型預(yù)測曲線圖

圖4　3種模型預(yù)測殘差曲線圖

模型SVMRVM逐步RVM-Markov預(yù)測時段均方差/mm0.87300.65700.2933向量個數(shù)1313228

由圖2可以看出逐步RVM-Markov模型的擬合精度較高，同時從圖3、4也可以看到逐步RVM-Markov模型預(yù)測效果較好，其殘差相較于其他兩種模型更接近于0，表3的均方差數(shù)據(jù)也反映出該模型的預(yù)測精度要優(yōu)于其他兩種模型．另外根據(jù)表3中支持向量與相關(guān)向量的個數(shù)對比可以得知，SVM模型的支持向量多達(dá)131個，而兩種RVM模型的相關(guān)向量分別為32個和28個，說明RVM模型結(jié)構(gòu)經(jīng)過稀疏化之后計算的復(fù)雜度相較于SVM模型已經(jīng)大大降低．

5結(jié)論

為了彌補(bǔ)SVM模型懲罰系數(shù)易選擇不當(dāng)、計算結(jié)構(gòu)復(fù)雜等缺陷，將基于貝葉斯框架的RVM模型應(yīng)用于大壩變形預(yù)測，并對殘差進(jìn)行Markov鏈修正，而且采用逐步更新訓(xùn)練樣本的方式以提高預(yù)測精度，共同構(gòu)成了逐步RVM-Markov組合模型．經(jīng)過工程

實例驗證，RVM模型在大壩變形回歸預(yù)測的應(yīng)用中擬合精度較高，且經(jīng)過超參數(shù)α的篩選，其結(jié)構(gòu)比SVM更加簡化，降低了計算的復(fù)雜程度；將Markov鏈應(yīng)用于殘差修正，有效地提高了預(yù)測精度；逐步RVM-Markov組合模型具有相對簡單的運(yùn)算結(jié)構(gòu)與良好的預(yù)測精度，在大壩變形監(jiān)測領(lǐng)域具有良好的應(yīng)用價值．

參考文獻(xiàn)：

[1]顧沖時，吳中如．大壩與壩基安全監(jiān)控理論和方法及其應(yīng)用[M]．南京：河海大學(xué)出版社，2006．

[2]Tipping M E． Spare Bayesian Learning and the Relevance Vector Machine[J]． Journal of Machine Learning Research，2001(1)：211-244．

[3]王晶．稀疏貝葉斯學(xué)習(xí)理論及應(yīng)用研究[D]．西安：西安電子科技大學(xué)，2012．

[4]嵇小輔，張孟堯，王博，等．基于相關(guān)向量機(jī)的賴氨酸反應(yīng)過程參數(shù)軟測量[J]．華僑大學(xué)學(xué)報：自然科學(xué)版，2013，34(1)：22-25．

[5]牛東曉，關(guān)哲，任峰．等．基于馬爾科夫過程的電力企業(yè)市場競爭預(yù)測[J]．華北電力大學(xué)學(xué)報，2004(01)：66-68．

[6]張鑫，任永泰，王福林，等．基于改進(jìn)灰色馬爾科夫模型的年降水量預(yù)測[J]．?dāng)?shù)學(xué)的實踐與認(rèn)識，2011，41(11)：51-57．

[7]方衛(wèi)華．基于峰值識別理論的大壩安全監(jiān)控模型[J]．水電能源科學(xué)，2008，26(5)：78-79，149．

[責(zé)任編輯王康平]

Application of Progressively RVM-Markov Model to Prediction of Dam Deformations

Tang Qi1,2,3Bao Tengfei1,2,3Du Chuanyang1,2,3Teng Wenwen4

(1. State Key Laboratory of Hydrology-Water Resources & Hydraulic Engineering, Hohai Univ., Nanjing 210098, China; 2. National Engineering Research Center of Water Resources Efficient Utilization and Engineering Safety, Hohai Univ., Nanjing 210098, China; 3. College of Water Conservancy & Hydropower Engineering, Hohai Univ., Nanjing 210098, China; 4. Weihai Municipal Water Conservancy Bureau, Weihai 264200, China)

AbstractThe relevance vector machine(RVM) model has some features including the rarefaction of its construction and the broad range of its kernel function. Thus, using the RVM model to predict the dam deformations has more advantages than using SVM. When we consider that the residual will influence the precision of prediction, the introduction of Markov chain, which can help us correct the predicting data, will enable us to get a highly precise progressively RVM-Markov model. When the RVM is utilized practically, it can have the generalization ability equal with that of the SVM; but it needs much less vectors than the SVM does. Consequently, the process of calculating is simplified; and the Markov chain increases the precision of prediction. Finally. if we use the combined model mentioned above to predict the dam deformations, we will get better results of regression prediction.

Keywordspredicting model for dam deformation;relevance vector machine(RVM);Markov chain

基金項目：國家自然科學(xué)基金青年項目(51209078)

收稿日期：2015-06-19

中圖分類號：TV698.1

文獻(xiàn)標(biāo)識碼：A

文章編號：1672-948X(2015)06-0047-05

DOI：10.13393/j.cnki.issn.1672-948X.2015.06.010

通信作者：唐琪(1991-)，女，碩士研究生，研究方向為水工結(jié)構(gòu)安全監(jiān)控．E-mail：xqyt77@163.com