基于TS-SVM模型的水安全評(píng)價(jià)

汪嘉楊,王文圣,李祚泳,張 碧

(1.成都信息工程學(xué)院,四川 成都 610041;2.四川大學(xué)水電學(xué)院,四川 成都 610065)

基于TS-SVM模型的水安全評(píng)價(jià)

汪嘉楊1,2,王文圣2,李祚泳1,2,張 碧1

(1.成都信息工程學(xué)院,四川 成都 610041;2.四川大學(xué)水電學(xué)院,四川 成都 610065)

核函數(shù)參數(shù)和誤差懲罰因子的選擇對(duì)支持向量機(jī)模型(SVM)的精度有較大影響。為充分發(fā)揮SVM的性能,提出基于禁忌搜索算法優(yōu)化的支持向量機(jī)模型(TS-SVM)。將TS-SVM應(yīng)用于山東省水安全指數(shù)計(jì)算,得到各個(gè)水安全利用方案的評(píng)價(jià)指數(shù)值和安全等級(jí)。對(duì)比分析表明,TS-SVM具有較強(qiáng)的學(xué)習(xí)能力,能給出合理的評(píng)價(jià)結(jié)果,是一種有效的評(píng)價(jià)模型。

支持向量機(jī);禁忌搜索算法;水安全評(píng)價(jià);安全指數(shù)

隨著社會(huì)經(jīng)濟(jì)的發(fā)展,水安全問題越來越成為全世界關(guān)注的焦點(diǎn),水安全已不再單是水資源問題,還包括它引發(fā)的其他問題,如經(jīng)濟(jì)安全、社會(huì)安全問題,甚至上升到了國(guó)家安全的高度。在水安全研究中,水安全的范疇、水安全的度量、水安全評(píng)價(jià)和水安全保障體系的建設(shè)等都是其研究的主要內(nèi)容。但國(guó)內(nèi)外對(duì)水安全的研究才剛剛起步,定性研究居多,在系統(tǒng)性和量化方面顯得不足[1],因此需要盡快從水安全評(píng)價(jià)、水安全度量和水安全保障體系等方面入手,建立一套完整的水安全評(píng)價(jià)和管理的理論體系。

由于水資源和水環(huán)境系統(tǒng)存在大量的不確定因素,水安全評(píng)價(jià)方法仍處于探索、發(fā)展階段。傳統(tǒng)水安全評(píng)價(jià)方法有層次分析法、集對(duì)分析法、屬性識(shí)別法、投影尋蹤方法等[2-5]。支持向量機(jī)(support vector machine,SVM)能夠根據(jù)有限樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中,獲得因變量和自變量之間非常復(fù)雜的映射關(guān)系,與傳統(tǒng)的基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的神經(jīng)網(wǎng)絡(luò)方法相比,具有學(xué)習(xí)速度快、全局最優(yōu)和推廣能力強(qiáng)的優(yōu)點(diǎn),作出的評(píng)價(jià)和擬合結(jié)果大多明顯好于其他的模型和方法,因此得到較為廣泛的應(yīng)用[6-9]。然而,支持向量機(jī)作為統(tǒng)計(jì)學(xué)習(xí)理論的一項(xiàng)核心內(nèi)容,其應(yīng)用遠(yuǎn)未達(dá)到理論期望的效果,支持向量機(jī)參數(shù)的選取問題是影響其應(yīng)用的一個(gè)重要原因,為了充分發(fā)揮SVM的性能,必須選擇合適的參數(shù)。研究中發(fā)現(xiàn),核函數(shù)參數(shù)σ和誤差懲罰因子C對(duì)SVM的精度有較大影響,對(duì)機(jī)器學(xué)習(xí)性能至關(guān)重要[8]。為此,筆者將禁忌搜索(taboo search,TS)算法用于SVM模型的參數(shù)優(yōu)化,提出TS-SVM耦合模型,并將耦合模型應(yīng)用于山東省水安全指數(shù)計(jì)算,相應(yīng)得到區(qū)域各個(gè)水安全利用方案的安全評(píng)價(jià)等級(jí)。

1 支持向量機(jī)的基本原理

支持向量機(jī)常用于分類及回歸分析,回歸支持向量機(jī)是在分類方法的基礎(chǔ)上,通過引進(jìn)適當(dāng)?shù)膿p失函數(shù)推廣而來的。給定l個(gè)樣本數(shù)據(jù){xk,yk}(l=1,2,…,n),其中,xk∈Rm為m維輸入因子(自變量),yk∈R為輸出因子(因變量),則函數(shù)逼近問題就是要尋找一個(gè)函數(shù)f,使之通過x能獲得最優(yōu)的y。函數(shù)f一般是一個(gè)非線性函數(shù)。利用非線性映射φ(x)將訓(xùn)練數(shù)據(jù)集非線性地映射到一個(gè)高維特征空間(Hilbert空間),使得在輸入空間中的非線性函數(shù)估計(jì)問題轉(zhuǎn)化為高維特征空間中的線性函數(shù)估計(jì)問題[8]。要求擬合的函數(shù)形式為:

式中:w為權(quán)向量;φ(x)為輸入空間到高維特征空間的非線性映射;b為偏置量。

根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)化最小原則,即要尋求最優(yōu)回歸超平面,使風(fēng)險(xiǎn)函數(shù)Rreg最小。

式中:‖w‖2為描述函數(shù)f(x)復(fù)雜度的項(xiàng);C為設(shè)定的懲罰因子(調(diào)整參數(shù)),用于控制錯(cuò)分樣本懲罰的程度,實(shí)現(xiàn)錯(cuò)分樣本數(shù)與模型復(fù)雜度之間的折中;Rεemp為經(jīng)驗(yàn)風(fēng)險(xiǎn)。再引進(jìn)ε不靈敏損失函數(shù):

它意味著不懲罰偏差小于 ε的誤差項(xiàng),取經(jīng)驗(yàn)風(fēng)險(xiǎn)為:

則支持向量機(jī)的回歸問題就等價(jià)于解決一個(gè)二次規(guī)劃問題。將其最優(yōu)化問題利用對(duì)偶原理、拉格朗日乘子法和核技術(shù),表示為:

其中,C＞0。利用最優(yōu)化理論中的二次型規(guī)劃方法,通過求解式(5)可以求得參數(shù) αi、α*i,利用泛函分析的KKT條件可以求得參數(shù)b,便可以求出擬合樣本集的估計(jì)函數(shù)f(x)的解析表達(dá)式,最后回歸支持向量機(jī)的輸出為:

2 基于禁忌搜索算法的支持向量機(jī)模型(TS-SVM)

式(7)中徑向基函數(shù)的寬度參數(shù) σ精確定義了高維特征空間非線性映射函數(shù)的結(jié)構(gòu),因而控制了最終解的復(fù)雜性,從而影響高維特征空間上的線性回歸。當(dāng)σ減小時(shí),回歸函數(shù)的復(fù)雜度增加,容易造成過擬合,σ值過大或過小都會(huì)使系統(tǒng)的泛化性能變差。因此適當(dāng)選擇 σ對(duì)回歸模型的泛化能力很關(guān)鍵。式(5)中懲罰因子C是調(diào)節(jié)訓(xùn)練誤差和模型復(fù)雜度之間的折中,間接地影響回歸模型的泛化能力,C值過大或過小都會(huì)因過學(xué)習(xí)或欠學(xué)習(xí)使系統(tǒng)的泛化性能變差[8]。

傳統(tǒng)的參數(shù)選取多是在實(shí)驗(yàn)中采用反復(fù)試驗(yàn)的方法,該方法需要試驗(yàn)者的先驗(yàn)知識(shí)作為指導(dǎo),并且需要較高的時(shí)間代價(jià),因此傳統(tǒng)的參數(shù)選取方法不太適應(yīng)支持向量機(jī)理論的發(fā)展。針對(duì)參數(shù)選取問題,一些學(xué)者從不同的角度進(jìn)行了研究和探討[10-11]。Wang等[12]根據(jù)Fisher判別函數(shù)得出了在分類問題中計(jì)算σ的經(jīng)驗(yàn)公式,根據(jù)Scale space理論給出了在回歸問題中計(jì)算σ取值的方法,這為σ的優(yōu)化選擇提供了一種可選的途徑。Carl利用實(shí)驗(yàn)設(shè)計(jì)方法獲得合適的參數(shù)取值[13],可以顯著地減少搜索代價(jià)。

優(yōu)化算法的引入克服了SVM參數(shù)選擇的盲目性,提高支持向量機(jī)的推廣預(yù)測(cè)能力。與目前普遍應(yīng)用的通過交叉驗(yàn)證試算確定SVM參數(shù)的方法相比,優(yōu)化算法優(yōu)選參數(shù)具有更明確的理論指導(dǎo)意義。因此,一些學(xué)者嘗試采用現(xiàn)代優(yōu)化算法(比如粒子群算法、遺傳算法、免疫進(jìn)化算法等)對(duì)SVM模型的參數(shù)進(jìn)行優(yōu)化求解[7-9]。筆者采用禁忌搜索算法來搜索最佳的數(shù)σ和C,建立了TS-SVM耦合模型。禁忌搜索算法是一種啟發(fā)式全局逐步尋優(yōu)搜索算法,具體內(nèi)容可見文獻(xiàn)[14-15]。建立TS-SVM模型的步驟如下。

a.TS初始化。設(shè)定禁忌列表長(zhǎng)度、待優(yōu)化參數(shù)取值范圍、鄰域生成方式、最大循環(huán)次數(shù)等。

b.計(jì)算適應(yīng)度大小。從用于訓(xùn)練的樣本數(shù)據(jù)中劃分出一小部分(一般取全部訓(xùn)練樣本的10%)作為驗(yàn)證樣本集。用剩余的訓(xùn)練樣本訓(xùn)練SVM模型,達(dá)到擬合要求后,用獲得的SVM模型對(duì)劃分出的驗(yàn)證樣本進(jìn)行預(yù)測(cè),采用驗(yàn)證樣本的預(yù)測(cè)誤差平方和作為適應(yīng)度值。

c.更新TS算法的禁忌列表、最優(yōu)值。

d.檢查結(jié)束條件,若滿足,則結(jié)束尋優(yōu);否則t=t+1,轉(zhuǎn)至步驟b。結(jié)束條件為尋優(yōu)達(dá)到最大進(jìn)化代數(shù)或適應(yīng)度值小于給定精度。

e.將TS算法尋優(yōu)得到的參數(shù)向量(C,σ)賦予SVM,用SVM模型對(duì)全體訓(xùn)練樣本進(jìn)行學(xué)習(xí),并進(jìn)行測(cè)試集(檢驗(yàn)集)樣本數(shù)據(jù)的預(yù)測(cè)。

3 基于TS-SVM模型的函數(shù)擬合分析

為了對(duì)TS-SVM耦合模型的計(jì)算精度進(jìn)行檢驗(yàn),以分析模型的學(xué)習(xí)能力和學(xué)習(xí)精度,將其應(yīng)用到3個(gè)典型的復(fù)雜函數(shù)擬合中。多峰正函數(shù)、Schaffer函數(shù)和Camel函數(shù)的表達(dá)式分別如式(8)～(10)所示。

分別對(duì)各函數(shù)的自變量區(qū)間范圍內(nèi)生成1000個(gè)自變量數(shù)值點(diǎn),采用TS算法優(yōu)化確定SVM模型中的懲罰因子C和核函數(shù)參數(shù)σ,得到優(yōu)化后的用于函數(shù)擬合的TS-SVM耦合模型。優(yōu)化得到的懲罰因子C和核函數(shù)參數(shù)σ分別為:多峰正函數(shù):C=196.3242,σ=0.2036;Schaffer函數(shù):C=115.0670,σ=0.1310;Camel函數(shù):C=145.1777,σ=0.0857。再在函數(shù)區(qū)間范圍內(nèi)生成100個(gè)不同的點(diǎn)作為函數(shù)擬合的自變量數(shù)值,采用TS-SVM耦合模型計(jì)算得到函數(shù)擬合值,3個(gè)典型函數(shù)的擬合結(jié)果如圖1所示。從圖1可以看出,TS-SVM耦合模型計(jì)算得到的函數(shù)擬合值與函數(shù)的理論值非常接近,擬合精度高,表明TS-SVM耦合模型學(xué)習(xí)能力強(qiáng)、計(jì)算精度高。

4 基于TS-SVM的山東省水安全指數(shù)預(yù)測(cè)實(shí)例

以山東省水安全狀況評(píng)價(jià)為例,通過TS-SVM計(jì)算區(qū)域水安全指數(shù),得到各個(gè)水安全利用方案的安全等級(jí)。水安全評(píng)價(jià)指標(biāo)體系的選擇參考了文獻(xiàn)[4],將水安全評(píng)價(jià)的指標(biāo)體系劃分為5個(gè)安全評(píng)價(jià)子系統(tǒng),共23個(gè)評(píng)價(jià)指標(biāo),如表1所示。筆者建立TS-SVM耦合模型由TS模塊和SVM模塊兩部分耦合而成,其中SVM模塊采用的LS-SVMlab[16]模式識(shí)別與回歸軟件,在計(jì)算機(jī)上用Matlab編程實(shí)現(xiàn)。參數(shù)設(shè)置為:禁忌列表長(zhǎng)度100,最大迭代次數(shù)1 000,懲罰因子C的搜索范圍定為[0.001,200],RBF核函數(shù)參數(shù) σ的搜索范圍定為[0.001,100]?；赥SSVM的山東省水安全評(píng)價(jià)步驟如下。

a.分別對(duì)每個(gè)評(píng)價(jià)子系統(tǒng),在各安全評(píng)價(jià)等級(jí)范圍內(nèi)隨機(jī)生成10組數(shù)據(jù),共50組評(píng)價(jià)數(shù)據(jù),經(jīng)過規(guī)范化處理后,作為TS-SVM的訓(xùn)練輸入樣本,并設(shè)定相應(yīng)各等級(jí)的指數(shù)目標(biāo)值I0(如表1所示)作為輸出樣本。用TS-SVM方法尋找各個(gè)子系統(tǒng)最優(yōu)參數(shù)向量(C,σ)取值如表2所示。

b.用訓(xùn)練好的SVM模型對(duì)方案1、方案2和方案3(各方案數(shù)據(jù)如表1所示)進(jìn)行檢驗(yàn),得到各方案的安全指數(shù)值I。

圖1 函數(shù)擬合結(jié)果

表1 山東省水安全評(píng)價(jià)指標(biāo)分級(jí)標(biāo)準(zhǔn)及可行方案

表2 優(yōu)化得到的支持向量機(jī)參數(shù)值及水安全評(píng)價(jià)結(jié)果

c.將各個(gè)子系統(tǒng)的安全指數(shù)值平均,得到綜合水安全指數(shù)值和對(duì)應(yīng)的評(píng)價(jià)等級(jí),見表2。表2中還列出了屬性識(shí)別法[4]的評(píng)價(jià)結(jié)果,可見各方案的評(píng)價(jià)等級(jí)和文獻(xiàn)[4]的評(píng)價(jià)結(jié)果是相同的。

5 結(jié) 論

a.在對(duì)支持向量機(jī)參數(shù)性能進(jìn)行分析的基礎(chǔ)上,提出了TS-SVM耦合模型,用于水安全評(píng)價(jià)指數(shù)的計(jì)算。采用TS算法來優(yōu)化SVM的參數(shù),克服了模型參數(shù)選擇的盲目性,與目前普遍應(yīng)用的通過交叉驗(yàn)證試算確定參數(shù)的方法相比,用TS算法優(yōu)選參數(shù)具有更明確的理論指導(dǎo)。

b.筆者僅采用徑向基函數(shù)作為核函數(shù)進(jìn)行研究,實(shí)際上核函數(shù)選擇的不同對(duì)建立SVM模型有直接影響,因而選擇其他類型核函數(shù)進(jìn)行比較的研究還有待進(jìn)一步深入。

c.通過TS-SVM模型計(jì)算出的水安全指數(shù),能衡量區(qū)域水安全水平,反映區(qū)域水安全客觀狀況。對(duì)山東省水安全指數(shù)計(jì)算的實(shí)例分析,表明了TSSVM模型的實(shí)用性,為水安全評(píng)價(jià)和預(yù)測(cè)提供了一條有效的途徑。

[1]阮本清,魏傳江.首都圈水資源安全保障體系建設(shè)[M].北京:科學(xué)出版社,2004:50-52.

[2]樊彥芳,劉凌,陳星,等.層次分析法在水環(huán)境安全綜合評(píng)價(jià)中的應(yīng)用[J].河海大學(xué)學(xué)報(bào):自然科學(xué)版,2004,32(5):512-514.

[3]何焰,由文輝,吳健.上海市水環(huán)境生態(tài)安全評(píng)價(jià)[J].水資源保護(hù),2006,22(6):18-20,27.

[4]張龍?jiān)?曹升樂,楊尚陽(yáng).屬性識(shí)別理論在水安全評(píng)價(jià)中的應(yīng)用研究[J].山東大學(xué)學(xué)報(bào):工學(xué)版,2006,36(5):70-72.

[5]WANG Wen-sheng,JIN Ju-liang,DING Jing,et al.A new approach to water resources system assessment:set pair analysis method[J].Science in China Series E:Technological Sciences,2009,32(10):3004-3016.

[6]MUKHERJEE S,OSU MA E,GIROSI F.Nonlinear prediction of chaotic time series using support vector machines[C]//Proc of the IEEE Workshop on Neural Networks for Signal Processing.Ameliz Island,1997:511-520.

[7]XU P,CHAN A K.An efficient algorithm on multi-class support vector machine model selection[C]//Proceedings ofthe International Joint Conference on Neural Networks 2003.Portland,2003:3229-3232.

[8]熊建秋,鄒長(zhǎng)武,李祚泳.基于免疫進(jìn)化支持向量機(jī)的年用電量預(yù)測(cè)[J].四川大學(xué)學(xué)報(bào):工程科學(xué)版,2006,38(2):6-10.

[9]張紅梅,衛(wèi)志農(nóng),龔燈才,等.基于粒子群支持向量機(jī)的短期電力負(fù)荷預(yù)測(cè)[J].繼電器,2006,34(3):28-31.

[10]CHERKASSKY V,MA Yun-qian.Practical selection of SVM parameters and noise estimation for SVM regression[J].Neural Networks,2004,17(1):113-126.

[11]董春曦,饒鮮,楊紹全,等.支持向量機(jī)參數(shù)選擇方法研究[J].系統(tǒng)工程與電子技術(shù),2004,26(8):1117-1120.

[12]WANG Wen-jian,XU Zong-ben,LU Wei-zhen,etal.Determination of the spread parameter in Gaussian kernel for classification and regression[J].Neurocomputer,2003,55:643-663.

[13]STAELIN C.Parameter selection for support vector machines[DB/OL].[2003-10-10]http://www.hpl.hp.com/techreports/2002/HPL-2002-354Rl.html.

[14]ASIC M D,KOVACEVIE-VUJCIC V V.Taboosearch methodology in global optimization[J].Computersand Mathematics with Application,1999,3(3):125-133.

[15]汪嘉楊,李祚泳,倪長(zhǎng)健,等.基于混合禁忌搜索算法的水位流量關(guān)系擬合[J].系統(tǒng)工程,2006,24(6):107-110.

[16]PELCHMANS K,SUYKENS JA.GESTEL T V,et al.LS-SVM lab:a MATLAB/C toolbox for least squares support vector machines[EB/OL].[2002].http://www.esat.kuleuven.ac.be/sista/lssvmlab/.

Water safety assessment based on TS-SVM model

WANG Jia-yang1,2,WANG Wen-sheng2,LI Zuo-yong1,2,ZHANG Bi1
(1.Chengdu University of Information Technology,Chengdu 610041,China;2.School of Hydraulic Engineering,Sichuan University,Chengdu 610065,China)

The selection of the kernel function parameter and error penalty factor affected the precision of the support vector machine(SVM)significantly.In order to give full play to the SVM model,a TS-SVM model in which parameters were optimized by a taboo search algorithm(TS)was proposed.By using this model to calculate the evaluation indexes of the water safety of Shandong Province,safety indexes and safety grades of every utilization project were obtained.The results show that the TS-SVM model,which has strong learning ability,can yield rational results and is a practicable model for water safety assessment.

support vector machine;taboo search algorithm;water safety assessment;safety index

TV213.4

A

1004-6933(2010)02-0001-04

科技基礎(chǔ)性工作專項(xiàng)(2007FY140900);國(guó)家自然科學(xué)基金(50779042,50739002);成都信息工程學(xué)院科研基金(CRF200810)

汪嘉楊(1980—),女,四川瀘州人,博士研究生,研究方向?yàn)樗乃Y源及水環(huán)境。E-mail:wjj@cuit.edu.cn

book=9,ebook=327

(收稿日期:2008-11-04 編輯:徐 娟)