SVM-HDMR高維非線性近似模型構(gòu)造法

李 亮，孫 秦

西北工業(yè)大學(xué) 航空學(xué)院，西安 710072

SVM-HDMR高維非線性近似模型構(gòu)造法

李 亮，孫 秦

西北工業(yè)大學(xué) 航空學(xué)院，西安 710072

1 引言

近似模型是利用科學(xué)或工程系統(tǒng)已有的輸入和輸出數(shù)據(jù)構(gòu)造的用于表示系統(tǒng)輸入和輸出關(guān)系的數(shù)學(xué)模型。例如，在工程優(yōu)化設(shè)計(jì)中，構(gòu)造近似模型代替物理試驗(yàn)或數(shù)值分析，可以有效提高優(yōu)化設(shè)計(jì)的效率。

目前國(guó)內(nèi)外已經(jīng)發(fā)展了多種近似模型構(gòu)造法，主要有移動(dòng)最小二乘法（MLS）[1]，多項(xiàng)式響應(yīng)面法（PRS）[2]，人工神經(jīng)網(wǎng)絡(luò)（ANN）[3]，徑向基函數(shù)網(wǎng)絡(luò)（RBF）[4]，克里格法（Kriging）[5]以及支持向量機(jī)（SVM）[6]等。通過(guò)調(diào)查，發(fā)現(xiàn)這些近似模型構(gòu)造法已成功應(yīng)用于多種學(xué)科的低維問(wèn)題中。但是隨著維數(shù)的增加，用于構(gòu)造這些近似模型的樣本數(shù)量和計(jì)算成本會(huì)急劇增加，尤其是對(duì)樣本值獲取比較耗時(shí)的問(wèn)題，往往因計(jì)算量過(guò)大而無(wú)法承擔(dān)，形成所謂的“維數(shù)災(zāi)難”。

為了構(gòu)造高維下的近似模型，Sobol[7]提出了HDMR近似模型構(gòu)造法，利用函數(shù)的層級(jí)屬性，采用分而治之的思想，將高維問(wèn)題分解為一系列低維問(wèn)題進(jìn)行求解，從而大大提高了計(jì)算效率。到目前，HDMR已經(jīng)發(fā)展出多種形式，其中以Rabitz[8]提出的Cut-HDMR最為簡(jiǎn)單實(shí)用。為了求解Cut-HDMR中的各階低維問(wèn)題，Shan[9]提出了基于RBF的Cut-HDMR，后來(lái)Wang和Τang[10-11]又提出了基于MLS和Kriging的Cut-HDMR。

本文在前人的工作基礎(chǔ)上，將 LS-SVM引入Cut-HDMR，提出了SVM-HDMR，并建立了一套自適應(yīng)的采樣和模型構(gòu)造算法，以保證使用盡可能少的樣本點(diǎn)獲得盡可能高的近似精度。

2 Cut-HDMR基本理論

HDMR可以有效地表示出科學(xué)或工程系統(tǒng)中輸入變量與輸出響應(yīng)間的映射關(guān)系，其一般形式為[7]：

式中，x=[x1，x2，…，xn]Τ為輸入變量，f(x)為輸出響應(yīng)。等式右邊各項(xiàng)被稱為組件函數(shù)，其中f0是常數(shù)項(xiàng)，用以表示對(duì)響應(yīng)的零階效應(yīng)；fi(xi)表示變量xi獨(dú)立對(duì)響應(yīng)產(chǎn)生的效應(yīng)，即一階效應(yīng)，它與xi可能成線性關(guān)系或非線性關(guān)系；fij(xi，xj)表示變量xi和xj耦合作用對(duì)響應(yīng)產(chǎn)生的效應(yīng)，即二階效應(yīng)，它與xi和xj也可能成線性關(guān)系或非線性關(guān)系。后面的各項(xiàng)表示了數(shù)目依次增加的變量耦合作用對(duì)響應(yīng)產(chǎn)生的效應(yīng)。最后一項(xiàng)表示所有變量耦合作用對(duì)響應(yīng)產(chǎn)生的效應(yīng)。

用HDMR構(gòu)造近似模型的關(guān)鍵是對(duì)各階組件函數(shù)的求取，一般做法是構(gòu)造相應(yīng)階數(shù)的近似函數(shù)對(duì)其進(jìn)行近似。本文采用的Cut-HDMR在變量空間中選取一個(gè)點(diǎn)x0作為切割中心，通過(guò)將f(x)在通過(guò)切割中心的直線、平面以及超平面上的值進(jìn)行疊加來(lái)表示f(x)。Cut-HDMR的各階組件函數(shù)如下列各式所示[8]：

式中，表示沒(méi)有xi的x0，表示沒(méi)有xi和xj的x0。x0、和分別是零階、一階和二階組件函數(shù)的構(gòu)造點(diǎn)。

3 LS-SVM

LS-SVM[12-13]是對(duì)標(biāo)準(zhǔn)SVM的發(fā)展，是一種有效的非線性近似模型構(gòu)造法。它以二次損失函數(shù)為經(jīng)驗(yàn)風(fēng)險(xiǎn)，用等式約束代替不等式約束，根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，將近似模型的構(gòu)造轉(zhuǎn)化為如下優(yōu)化問(wèn)題：

式中，w和b為模型參數(shù)，γ為正則化參數(shù)，ξi為誤差函數(shù)。引入拉格朗日乘子α=[α1，α2，…，αm]Τ，得到如下拉格朗日函數(shù)：

式中，y=[y1，y2，…，ym]Τ為樣本值集合，1=[1 ，…，1]Τ，K=為核函數(shù)，I為單位陣。解線性方程組（5）求得b和α，得到如下回歸函數(shù)：

4 SVM-HDMR近似模型構(gòu)造法

在一般工程問(wèn)題中，低階項(xiàng)對(duì)響應(yīng)的效應(yīng)都較強(qiáng)，隨著階數(shù)增加，相應(yīng)組件函數(shù)對(duì)響應(yīng)的效應(yīng)逐漸減弱[9]。為了盡量減少計(jì)算成本，本文提出的SVM-HDMR算法只考慮到二階項(xiàng)，其形式為：

為了提高樣本利用率和降低計(jì)算成本，本文采用了自適應(yīng)采樣法。與傳統(tǒng)的按照一定算法一次性采集大量甚至所有所需樣本點(diǎn)的方法相比，自適應(yīng)采樣法根據(jù)需要按照一定算法每次只采集一個(gè)或多個(gè)樣本點(diǎn)，提高了采樣的針對(duì)性，以最大限度地減少所需樣本總數(shù)。SVM-HDMR的自適應(yīng)采樣和模型構(gòu)造算法如下：

（1）在變量空間的中心附近隨機(jī)選取一個(gè)點(diǎn)x0= [x10，x20，…，]Τ作為切割中心，并求出該點(diǎn)處的響應(yīng)值f0=f(x0)。對(duì)于一般工程問(wèn)題，如果展開(kāi)式（1）收斂，則插值效果與中心位置的選取無(wú)關(guān)[9]。

（2）在變量xi取值范圍的上界和下界的鄰域內(nèi)各隨機(jī)選取一個(gè)值作為變量xi的值，其余n-1個(gè)變量的值都與x0保持一致，得到兩個(gè)樣本點(diǎn)和。這里的鄰域指的是在設(shè)計(jì)空間中沿xi方向離一個(gè)設(shè)計(jì)點(diǎn)的距離不超過(guò)xi取值范圍的1%。求出這兩個(gè)點(diǎn)處的響應(yīng)值，得到一階組件函數(shù)fi(xi)在下界點(diǎn)的值fi(xiL)=f(xiL，)-f0和在上界點(diǎn)的值fi(xiU)=f(xiU，)-f0。在這兩個(gè)點(diǎn)上作線性插值構(gòu)造近似一階組件函數(shù)。

（3）對(duì)fi(xi)的線性與否進(jìn)行校核。如果過(guò)點(diǎn)x0，即若，可認(rèn)為fi(xi)是線性的，則的構(gòu)造結(jié)束；否則，認(rèn)為fi(xi)是非線性的，則用LS-SVM在點(diǎn)x0及步驟（2）中采集的兩個(gè)點(diǎn)上重新構(gòu)造然后沿xi方向在xi取值范圍內(nèi)隨機(jī)取一個(gè)數(shù)作為變量xi的值，其余n-1個(gè)變量的值仍與x0保持一致，得到一個(gè)新點(diǎn)。求該點(diǎn)處的響應(yīng)值，并求重新構(gòu)造的在該點(diǎn)處的相對(duì)誤差。如果相對(duì)誤差小于給定的閥值（如0.1），則的構(gòu)造結(jié)束；否則，用LS-SVM在這個(gè)新點(diǎn)與之前的三個(gè)點(diǎn)處再次重新構(gòu)造。重復(fù)這個(gè)過(guò)程，直到得到足夠精確的為止。

（4）反復(fù)執(zhí)行步驟（2）和步驟（3），直到得到所有近似一階組件函數(shù)。

（5）在變量空間中取一個(gè)新點(diǎn)，該點(diǎn)每一維的值都是從該維在步驟（2）和步驟（3）中所取過(guò)的值中隨機(jī)抽出的。求出這個(gè)新點(diǎn)處的響應(yīng)值和一階近似值，若兩個(gè)值的相對(duì)誤差小于某個(gè)閥值（如0.001），則認(rèn)為不存在二階項(xiàng)，模型構(gòu)造結(jié)束；否則，轉(zhuǎn)到步驟（6）。

（6）在變量空間中取一個(gè)新點(diǎn)，該點(diǎn)中變量xi和xj(i≠j)的取值都是相應(yīng)維在步驟（2）和步驟（3）中所取過(guò)的值中隨機(jī)抽出的，其余各維的值都與x0保持一致。求出該點(diǎn)處的響應(yīng)值和一階近似值。若兩個(gè)值的相對(duì)誤差小于某個(gè)閥值（如0.001），則認(rèn)為變量xi和xj間無(wú)耦合效應(yīng)或兩個(gè)變量間的耦合效應(yīng)對(duì)響應(yīng)所起的作用可忽略不計(jì)；否則，用LS-SVM在該點(diǎn)及步驟（2）和步驟（3）中針對(duì)變量xi和xj所采集的點(diǎn)上構(gòu)造。然后，如同取上一個(gè)點(diǎn)的方式，再取一個(gè)新點(diǎn)，并求該點(diǎn)處的響應(yīng)值和二階近似值，若兩個(gè)值的誤差小于某個(gè)閥值（如0.1），則的構(gòu)造結(jié)束；否則，用LS-SVM在這個(gè)新點(diǎn)及之前用過(guò)的點(diǎn)上再次重新構(gòu)造。重復(fù)這個(gè)過(guò)程，直到得到足夠精確的為止。

（7）反復(fù)執(zhí)行步驟（6），直到得到所有的近似二階組件函數(shù)。

5 數(shù)值算例

為了驗(yàn)證SVM-HDMR算法的計(jì)算效率和近似精度，用Fortran語(yǔ)言編寫了計(jì)算程序和測(cè)試程序，并用該算法求解了三個(gè)函數(shù)算例和一個(gè)工程算例。

5.1 評(píng)價(jià)指標(biāo)

為了校核構(gòu)造的近似模型與真實(shí)響應(yīng)函數(shù)的誤差大小，采用了如下兩種誤差評(píng)價(jià)指標(biāo)：

其中，xi(i=1，2，…，m)是在變量空間中隨機(jī)生成的m個(gè)服從均勻分布的測(cè)試樣本點(diǎn)，xt是測(cè)試樣本集中與對(duì)應(yīng)的樣本點(diǎn)。wc1和wc2分別從整體上和局部區(qū)域上反映近似模型的精度，兩者都是越接近于0，則近似模型的精度越高。

5.2 函數(shù)算例

考慮如下三個(gè)測(cè)試函數(shù)：

這三個(gè)函數(shù)均為10維，變量的取值范圍均取為[0 ，2]。分別用MLS-HDMR[10]、Kriging-HDMR[11]以及SVM-HDMR構(gòu)造這三個(gè)函數(shù)的近似模型。取測(cè)試樣本點(diǎn)個(gè)數(shù)為5 000，測(cè)試結(jié)果如表1所示。

表1 函數(shù)算例測(cè)試結(jié)果

從表1中數(shù)據(jù)可知，用SVM-HDMR對(duì)三個(gè)測(cè)試函數(shù)構(gòu)造的近似模型都有較好的近似精度，所用的計(jì)算樣本點(diǎn)數(shù)也較少。如果用LS-SVM構(gòu)造10維函數(shù)的近似模型，若用全析因法采樣，每維取三個(gè)水平，則所需樣本點(diǎn)數(shù)為59 049個(gè)?？梢?jiàn)，與傳統(tǒng)近似方法相比，SVM-HDMR極大地降低了構(gòu)造近似模型的計(jì)算成本。

從表1還可以看到，SVM-HDMR對(duì)三個(gè)測(cè)試函數(shù)構(gòu)造的近似模型的近似精度均高于MLS-HDMR和Kriging-HDMR，且所用的計(jì)算樣本點(diǎn)也更少。

5.3 工程算例

考慮一個(gè)如圖1所示的飛機(jī)平尾結(jié)構(gòu)有限元模型，將翼根固支，在上、下蒙皮施加氣動(dòng)載荷。分別將平尾的上蒙皮和下蒙皮沿展向分為9段，將每一段的蒙皮厚度設(shè)為一個(gè)變量，一共有18個(gè)變量。

圖1 飛機(jī)平尾結(jié)構(gòu)有限元模型

采用NASΤRAN求解器對(duì)該模型進(jìn)行有限元分析，用SVM-HDMR構(gòu)造近似模型來(lái)近似翼尖撓度與18個(gè)厚度變量間的函數(shù)關(guān)系。取測(cè)試樣本點(diǎn)個(gè)數(shù)為500，測(cè)試結(jié)果如表2所示。

表2 工程算例測(cè)試結(jié)果

表2中的“一階”表示只求解SVM-HDMR的常數(shù)項(xiàng)和一階項(xiàng)，“二階”表示還要求解二階項(xiàng)。從表2中數(shù)據(jù)可知，用一階和二階SVM-HDMR構(gòu)造的近似模型都具有較好的近似精度。二階近似與一階近似相比，其近似精度只有較小的改進(jìn)，但所用的計(jì)算樣本點(diǎn)數(shù)卻增加較大。近似精度的改進(jìn)較小是因?yàn)樵谀承┕こ虇?wèn)題中，雖然二階及更高階的耦合效應(yīng)存在，但是與零階效應(yīng)和一階效應(yīng)相比，所占的比重較小。在工程問(wèn)題中對(duì)樣本點(diǎn)求值比較耗時(shí)，如果只考慮到一階項(xiàng)就能取得較好的近似精度，就顯著地降低了計(jì)算成本。尤其是對(duì)于超高維問(wèn)題，如維數(shù)達(dá)到1 000時(shí)，二階組件函數(shù)的數(shù)量為499 500，求解這些組件函數(shù)所需的樣本點(diǎn)數(shù)會(huì)達(dá)到上百萬(wàn)，這對(duì)于工程計(jì)算幾乎是不可能實(shí)現(xiàn)的。而如果只考慮到一階項(xiàng)，對(duì)于一個(gè)一千維的問(wèn)題，只需要求1 000個(gè)一階組件函數(shù)即可，若以每維取5個(gè)樣本點(diǎn)為例，一共只需要采集4 001個(gè)樣本點(diǎn)。但是，具體在哪些工程問(wèn)題中只考慮到一階項(xiàng)就能取得較好的近似精度，還需要在以后進(jìn)一步的研究中以及實(shí)際應(yīng)用中進(jìn)行測(cè)試和鑒別。

6 結(jié)論

為了構(gòu)造高維下的近似模型，本文在前人工作的基礎(chǔ)上，將 LS-SVM引入 Cut-HDMR，提出了SVM-HDMR高維非線性近似模型構(gòu)造法。該方法利用Cut-HDMR將高維問(wèn)題轉(zhuǎn)化為一系列低維問(wèn)題，再用LS-SVM求解這些低維問(wèn)題。為了提高樣本利用率和降低計(jì)算成本，本文提出了一套完整的自適應(yīng)采樣和模型構(gòu)造算法。該算法按照設(shè)計(jì)變量的先后順序，從低階到高階依次構(gòu)造各階組件函數(shù)，所用的計(jì)算樣本點(diǎn)都是根據(jù)誤差閥值的判斷并依據(jù)一定的規(guī)則一個(gè)一個(gè)選取出來(lái)的。這與傳統(tǒng)的按一定算法一次性采集大量甚至所有所需樣本點(diǎn)的做法相比，提高了采樣的目的性和樣本點(diǎn)的利用率。另外，與傳統(tǒng)近似方法只利用了樣本信息相比，該算法還利用了函數(shù)自身的層級(jí)屬性，增加了構(gòu)造近似模型所用的信息量。

數(shù)值算例的測(cè)試結(jié)果表明該方法具有較好的近似精度，且與傳統(tǒng)近似方法相比極大地降低了計(jì)算成本，從而更適用于高維工程問(wèn)題的求解。測(cè)試結(jié)果還表明，本文方法與MLS-HDMR以及Kriging-HDMR相比，具有更高的近似精度，且所用的計(jì)算樣本點(diǎn)也更少。對(duì)于某些工程問(wèn)題，只考慮到SVM-HDMR的一階項(xiàng)就能取得較好的近似精度，從而進(jìn)一步降低了計(jì)算成本。因此，該方法在超高維問(wèn)題中也具有很好的應(yīng)用前景，如在大規(guī)模結(jié)構(gòu)的全局優(yōu)化中，用該方法構(gòu)造設(shè)計(jì)目標(biāo)及約束響應(yīng)與設(shè)計(jì)變量間的近似函數(shù)關(guān)系，再用優(yōu)化算法對(duì)這些近似函數(shù)進(jìn)行全局搜索，從而找到全局最優(yōu)點(diǎn)作為原結(jié)構(gòu)優(yōu)化問(wèn)題的全局最優(yōu)點(diǎn)。在實(shí)際應(yīng)用中，哪些工程問(wèn)題只需要考慮到一階項(xiàng)就能取得較好的近似精度，還有待進(jìn)一步研究。

本文采用近似方法估算LS-SVM的核參數(shù)σ，并將正則化參數(shù)γ近似取為+∞。為了使SVM-HDMR方法具有更好的穩(wěn)健性，在進(jìn)一步的研究中有待考慮將這些參數(shù)的優(yōu)化算法結(jié)合到本文的算法中。

[1]Lancaster P，Salkauskas K.Surfaces generated by moving least squares methods[J].Mathematics of Computation，1981，37（155）：141-158.

[2]Box G E P，Wilson K B.On the experimental attainment of optimum condition[J].Journal of the Royal Statistical Society，1951，13（1）：1-45.

[3]Swinger K.Applying neural networks，a practical guide[M]. [S.l.]：Morgan Kaufmann Publishing Inc.，1996：3-21.

[4]Mulgrew B.Applying radial basis functions[J].IEEE SP Magazine，1996，13（2）：50-65.

[5]Sacks J，Welch W J，Mitchell Τ J，et al.Design and analysis of computer experiments[J].Statistical Science，1989，4（4）：409-435.

[6]Cortes C，Vapnik V.Support vector networks[J].Machine Learning，1995，20（3）：273-297.

[7]Sobol I M.Sensitivity estimates for nonlinear mathematical models[J].Mathematical Modeling&Computational Experiment，1993，1（4）：407-414.

[8]Rabitz H，Alls ? F.General foundations of high-dimensional model representations[J].Journal of Mathematical Chemistry，1999，25（2/3）：197-233.

[9]Shan S Q，Wang G G.Metamodeling for high dimensional simulation-based design problems[J].JournalofMechanical Design，2010，132（5）.

[10]Wang H，Τang L，Li G Y.Adaptive MIS-HDMR metamodeling techniques for high dimensional problems[J].Expert Systems with Applications，2011，38（11）：14117-14126.

[11]湯龍，李光耀，王琥.Kriging-HDMR非線性近似模型方法[J].力學(xué)學(xué)報(bào)，2011，43（4）：780-784.

[12]Suykens J A K，Vandewalle J.Least squares support vector machine classifiers[J].Neural Processing Letters，1999，9（3）：293-300.

[13]Gestel Τ V，Suykens J A K，Baesens B，et al.Benchmarking least squares support vector machine classifiers[J].Machine Learning，2004，54（1）：5-32.

LI Liang,SUN Qin

School of Aviation,Northwestern Polytechnic University,Xi’an 710072,China

In order to construct approximation model for high dimensional problems,Least Squares Support Vector Machine（LS-SVM）is introduced into High Dimensional Model Representation（HDMR）,and a modified approximation model construction method called SVM-HDMR for high dimensional nonlinear problems and corresponding adaptive sampling and model construction algorithm are proposed.Τhis method transforms high dimensional problem into a series of low dimensional problems using Cut-HDMR,and then these low dimensional problems are solved using LS-SVM.Τhe results of numerical examples show that the new method has good approximation quality and reduces computational expense dramatically,so it is more suitable for high dimensional problems.

approximation model;Least Squares Support Vector Machine（LS-SVM）;Cut-High Dimensional Model Representation（HDMR）;adaptive sampling

為了構(gòu)造高維下的近似模型，將最小二乘支持向量機(jī)（LS-SVM）引入切割高維模型表示（Cut-HDMR），提出了SVM-HDMR高維非線性近似模型構(gòu)造法，給出了相應(yīng)的自適應(yīng)采樣和模型構(gòu)造算法。該方法利用Cut-HDMR將高維問(wèn)題轉(zhuǎn)化為一系列低維問(wèn)題，用LS-SVM求解這些低維問(wèn)題。數(shù)值算例的測(cè)試結(jié)果表明該方法具有較好的近似精度，且與傳統(tǒng)近似方法相比極大地降低了計(jì)算成本，從而更適用于高維工程問(wèn)題的求解。

近似模型；最小二乘支持向量機(jī)（LS-SVM）；切割高維模型表示（Cut-HDMR）；自適應(yīng)采樣

A

O241.3

10.3778/j.issn.1002-8331.1301-0115

LI Liang,SUN Qin.SVM-HDMR approximation model construction method for high dimensional nonlinear problems. Computer Engineering and Applications,2013,49（15）：6-9.

中航工業(yè)產(chǎn)學(xué)研創(chuàng)新項(xiàng)目（No.Cxy2010xG18）。

李亮（1984—），男，博士研究生，主要研究領(lǐng)域?yàn)轱w行器結(jié)構(gòu)設(shè)計(jì)；孫秦（1956—），男，博士，教授，博士生導(dǎo)師，主要研究領(lǐng)域?yàn)轱w行器結(jié)構(gòu)設(shè)計(jì)。E-mail：gafeiad@163.com

2013-01-11

2013-04-15

1002-8331（2013）15-0006-04