基于貝葉斯支持向量回歸機的自適應可靠度分析方法

汪金勝，李永樂，楊 劍，徐國際*

(1.西南交通大學 土木工程學院，成都 610031；2.中南大學 土木工程學院，長沙 410075)

1 引 言

工程結構在建設和服役期內不可避免地存在各種不確定性因素，如荷載條件、材料性質和環(huán)境因素等。在這些不確定性因素作用下結構系統(tǒng)的響應也表現(xiàn)出一定的隨機性。因此，在結構分析過程中，合理考慮隨機因素的影響對于結構的安全性評估和相應的決策分析至關重要。作為不確定性量化分析領域的一個重要分支，可靠度理論為考慮上述不確定性因素提供了一條有效的途徑[1]。結構可靠度分析的主要目的是計算結構在一定極限狀態(tài)下發(fā)生失效的概率Pf。國內外學者對此進行了大量的研究，并提出了許多近似分析方法[2-7]。近年來，以代理模型為基礎的一系列可靠度分析方法因能有效地平衡計算精度和計算效率而得到大量研究和越來越廣泛的應用[8]。該類方法通過少量的訓練樣本(模型計算)建立原問題的代理模型來進行結構可靠度分析，可以在保證失效概率計算精度的前提下顯著提高計算效率。常用的代理模型包括響應面法(RSM)[9,10]、人工神經(jīng)網(wǎng)絡(ANN)[11]、支持向量機(SVM)[12]和Kriging模型[13]等。其中，以基于Kriging模型為代表的主動學習算法因在精度和效率之間優(yōu)異的折中性逐漸成為可靠度領域一個熱門的研究課題。此類算法利用代理模型提供的預測值和局部誤差估計(如Kriging的預測方差)構建學習函數(shù)，在迭代過程中自適應地選取新的重要樣本點對模型進行更新，直至滿足設定的收斂條件[13]。相關的研究重點可概括為以下幾個方面。(1) 構建高效學習函數(shù)，如U函數(shù)、EFF函數(shù)、H函數(shù)、FNEIF函數(shù)和REIF函數(shù)等[14]； (2) 推導收斂準則，如基于相對誤差估計的收斂準則及其改進策略[15-17]； (3) 提出有效抽樣區(qū)域概念，如自適應抽樣域法[18]； (4) 高效混合算法計算小失效概率，如基于Kriging和重要抽樣的方法[19]以及基于Kriging和子集模擬的方法[20]等； (5) 解決系統(tǒng)失效概率計算[21,22]和結構優(yōu)化設計[23]等問題。

目前，大多數(shù)自適應學習算法都是基于Kriging模型建立的，而基于其他代理模型的學習算法相對較少。這主要是因為Kriging模型不僅能得到新點的預測值，而且還能給出其局部誤差估計，為高效地構建主動學習算法提供了便利；而傳統(tǒng)的支持向量機等其他代理無法直接得到預測方差，需要額外采用Bootstrap等方法才能得到近似誤差估計，計算比較繁瑣。針對此問題，一些學者在貝葉斯推理框架下進行代理模型的構建，如近期提出的貝葉斯稀疏混沌展開(Bayesian sparse PCE)[24]和貝葉斯支持向量回歸機(Bayesian SVR)[25]。與Kriging模型類似，Bayesian sparse PCE模型和Bayesian SVR也能直接得到預測方差值，因此現(xiàn)有的主動學習算法可直接適用于貝葉斯推理框架下的PCE模型和SVR 模型。不過，與基于經(jīng)驗風險最小化原則建立的PCE和ANN等模型不同的是，SVR模型采用結構風險最小化原則進行構建，具有嚴格的理論基礎和良好的泛化能力，有效地避免了過擬合，且能很好地處理小樣本、高維度和非線性等問題。因此，基于Bayesian SVR模型建立的自適應學習算法有望進一步提升該類算法的有效性和適用性[26]。

鑒于此，本文提出一種新的基于貝葉斯支持向量回歸機的高效自適應學習算法(ABSVR)用于結構可靠度分析。首先，借鑒優(yōu)化算法中懲罰函數(shù)的概念，提出了一種新的學習函數(shù)。該學習函數(shù)綜合考慮了樣本點的預測值、預測方差、概率密度函數(shù)值以及與已有樣本點的距離等因素，能有效地引導算法在學習過程中選取位于極限狀態(tài)曲面附近且對失效概率貢獻大的樣本點。其次，考慮到失效概率估計的特點，提出了一種新的有效抽樣域策略，以篩選出對失效概率計算誤差貢獻大的點作為備選樣本點，提高算法的學習效率。此外，為確定合適的收斂準則，防止因欠學習產生較大估計誤差或過學習產生冗余樣本而降低計算效率，本文引入一種基于相對誤差估計的停止條件，確保算法在達到給定誤差閾值的情況下自動停止。最后，通過三個算例驗證本文所提方法的適用性、準確性和高效性。

2 貝葉斯支持向量回歸機

支持向量機最初是由Vapnik等[27]在統(tǒng)計學習理論指導下提出的用于解決模式識別問題的算法，之后進一步推廣到函數(shù)回歸分析中，并在不同領域得到了廣泛應用。為進一步提升支持向量回歸機的構建效率和性能，文獻[25，28]在貝葉斯推理框架下采用不同的損失函數(shù)建立了支持向量回歸機(Bayesian SVR)模型?？紤]到不同Bayesian SVR模型性能的相似性，本節(jié)僅對文獻[26]中基于平方損失函數(shù)(式(1))構建的Bayesian SVR進行簡要介紹，并用于后續(xù)自適應可靠度分析算法的建立。

(1)

2.1 貝葉斯推理框架

給定由輸入變量點集X={x1,x2,…,xN}T和相應的結構響應Y={y1,y2,…,yN}T組成的訓練樣本集D={(X,Y)|xi∈n,yi∈(i=1,2,…,N)}，則在回歸分析中訓練樣本對關系為

(i=1,2,…,N)(2)

(3)

式中λ為待求常數(shù),l(δ)為式(1)的損失函數(shù)。

(4)

(5)

式中Σ為大小為N×N的協(xié)方差矩陣，每個矩陣元素可通過式(4)得到。此外，由于δi為服從獨立同分布的變量，給定訓練樣本集下的似然函數(shù)為

(6)

根據(jù)貝葉斯理論，g的后驗概率分布為

(7)

式中P(D|φ)為歸一化常數(shù)。將式(5,6)代入式(7)可得

(8)

(9)

2.2 Bayesian SVR模型

針對模型采用的平方損失函數(shù)，文獻[25]推導出了式(9)中g的最優(yōu)估計值為

(10)

式中I為大小為N×N的單位矩陣，β=(Σ+I/λ)-1Y。對于Bayesian SVR模型中涉及的超參數(shù)φ={θ,λ}，可通過求解極小值問題(11)得到。

(11)

(12)

(13)

式中κ(x,X)=[κ(x,x1),κ(x,x2),…,κ(x,xN)]T，可由式(4)計算得到。

至此，在貝葉斯推理框架下建立了Bayesian SVR模型，得到的預測值和預測方差的表達式可直接用于構建結構可靠度分析的自適應算法。關于該模型更詳細的推導過程和基于其他損失函數(shù)建立的模型參見文獻[26,29]。

3 ABSVR算法

本文將Bayesian SVR模型用于自適應學習算法(ABSVR)的建立，主要從三個方面提升其整體性能，一是基于可靠度分析中重要樣本點的特征，利用優(yōu)化算法中懲罰函數(shù)的概念，提出一種新的高效學習函數(shù)；二是構建有效抽樣域，選取對失效概率估計誤差貢獻大的點作為備選樣本點；三是引入一種基于相對誤差估計的停止條件，防止因欠學習或過學習而降低算法性能。

3.1 學習函數(shù)

(14)

學習函數(shù)U能有效表征樣本點在代理模型中錯誤分類的概率，即

Pw=Φ[-U(x)]

(15)

式中Pw為樣本點的錯誤分類概率，Φ(·)為正態(tài)分布累積概率密度函數(shù)。由式(15)可知，函數(shù)U值越小，樣本點屬性錯誤分類的概率就越大。因此，文獻[13]采用函數(shù)U的極小值作為選點策略，

(16)

(1) 利用優(yōu)化算法中懲罰函數(shù)的概念，構建函數(shù)式為

(17)

(18)

因此，綜合考慮以上各種因素的影響，本文提出一種新的學習函數(shù)(NLF)，其表達式為

(19)

式中γ為常數(shù)，可防止式中分母為零，本文取γ=1×10-5；max(·)為一簇x∈SC對應估計值的最大值。學習過程中，選取備選樣本集SC中使學習函數(shù)NLF(x)最小的點xnew加入現(xiàn)有樣本集SD中，即

(20)

本文通過學習函數(shù)NLF和Bayesian SVR模型構建的自適應算法記為ABSVR2。為選取更具代表性的樣本點，備選樣本集SC的點應具有較好的空間滿布性和均勻性。因此，將利用UQLab[30]抽取Sobol序列作為樣本集SC的點。

3.2 有效抽樣域

由式(15)可知，位于極限狀態(tài)曲面附近或預測方差大的點錯誤分類的概率更大，是失效概率估計的主要誤差來源，因而在自適應學習過程中需重點關注該區(qū)域內的樣本點。其中，錯誤分類的情況有兩種，一是屬于安全域內的點以一定的置信度(如95%)誤分為失效點，該類點記為SS；二是屬于失效域內的點以一定的置信度誤分為安全點，該類點記為SF。這兩類樣本點主要分布在極限狀態(tài)曲面附近區(qū)域，可分別表示為

(21)

(22)

3.3 收斂準則

收斂準則在自適應學習算法中十分重要，為使算法能更好地在計算效率和精度間達到平衡，需要設置合適的停止判據(jù)，否則過學習和欠學習都可能使算法的性能大打折扣。常用的方法是，給學習函數(shù)設定一個閾值，當滿足閾值條件時停止學習，如文獻[13]中針對學習函數(shù)U的收斂準則。然而，此類準則可能過于保守，導致不必要的計算開銷，而且合適的閾值有時很難確定。為此，一些學者提出了基于相對誤差估計的收斂準則[15-17]，將停止條件與失效概率估計誤差聯(lián)系起來，可在保證精度的前提下減少功能函數(shù)的調用。本文采用文獻[17]的方法建立ABSVR1和ABSVR2的收斂條件。

(23)

(24)

(25)

(26)

因此，給定誤差閾值εt，相應的收斂準則為

εr≤εmax≤εt

(27)

3.4 ABSVR算法基本流程

根據(jù)3.1節(jié)～3.3節(jié)的闡述，本文所提ABSVR算法用于結構可靠度分析的主要步驟如下。

(1) 從Sobol序列中抽取NC個樣本點組成備選樣本集SC；利用拉丁超立方抽樣(LHS)抽取ND個初始訓練樣本集SD。

(5) 判斷式(27)的收斂條件是否滿足。如果滿足，執(zhí)行步驟(7)；否則，執(zhí)行步驟(6)。

(6) 根據(jù)步驟(4)所得學習函數(shù)值選出最佳樣本點xnew，計算其對應的結構響應值，并擴充到訓練樣本集SD中，即SD=SD∪xnew，ND=ND+1，并返回步驟(2)。

(28)

4 算例分析

(29)

算例1由四個失效模式組成的串聯(lián)系統(tǒng)

考慮一個二維輸入變量條件下的串聯(lián)系統(tǒng)，其極限狀態(tài)函數(shù)為[13]

(30)

式中x1和x2為相互獨立的標準正態(tài)隨機變量。

表1 算例1可靠度分析結果對比

為更好地展現(xiàn)ABSVR算法的優(yōu)異性能，圖1給出了ABSVR1和ABSVR2的收斂模型及相應的訓練樣本點?？梢钥闯?，雖然初始訓練樣本點分布于整個樣本空間，但是通過學習函數(shù)U和學習函數(shù)NLF選取的新樣本點絕大多數(shù)位于失效邊界附近，因此ABSVR1模型和ABSVR2模型能夠在重要區(qū)域對原極限狀態(tài)曲面表現(xiàn)出很高的擬合精度。由于考慮了距離測度，相比于學習函數(shù)U，本文所提學習函數(shù)NLF選取的樣本點均勻性更好。此外，由于四個角點區(qū)域的概率密度函數(shù)值很小，對失效概率估計的貢獻基本可忽略不計，所以該部分的擬合精度對最終的計算精度無顯著影響。

圖1 收斂后的Bayesian SVR模型及其訓練樣本

算例2非線性彈簧振子模型

考慮如圖2所示的非線性彈簧振子模型，其極限狀態(tài)函數(shù)為[13]

(31)

圖2 非線性彈簧振子模型

表2 算例2基本隨機變量分布參數(shù)

表3 算例2可靠度分析結果對比

圖3給出了ABSVR1算法和ABSVR2算法5次獨立運算的收斂過程。可以看出，雖然各次運算在前幾次迭代過程中有比較大的波動，但在第10次迭代后便能從不同程度迅速逼近精確解，說明了本文方法的精確性、高效性和良好的魯棒性。

算例3懸臂管結構

考慮如圖4所示的懸臂管結構，該結構受3個外荷載及1個扭矩的作用。當結構的屈服強度σ小于最大von Mises應力σmax時,認為結構失效。因此，該結構對應的極限狀態(tài)函數(shù)可表示為[15]

圖3 ABSVR1算法和ABSVR2算法5次獨立運算的收斂過程

圖4 懸臂管結構

g(x)=σ-σmax

(32)

(33)

表4 算例3基本隨機變量分布參數(shù)

表5給出了本文所提算法與其他方法的結果對比，其中參考值由樣本量為NT=1×106的MCS經(jīng)10次重復計算的均值得到，而FORM,SORM,IS、SS以及AK-MCS的結果則是通過默認參數(shù)設置的UQLab[30]計算得到。由表5可知，對于本算例涉及的高維度和非線性問題，一階可靠度法FORM存在較大的計算誤差 (12.12%)。雖然二階可靠度法SORM能有效提高FORM的計算精度，但其功能函數(shù)調用次數(shù)顯著提升。與MCS方法相比，基于方差縮減技術的抽樣方法(IS和SS)能在保持一定精度的情況下減少大量的函數(shù)調用，但其計算效率仍然很低。相較而言，基于自適應代理模型技術的方法(AK-MCS,ABSVR1和ABSVR2)在計算效率和計算精度上都保持著明顯的優(yōu)勢。得益于高效學習函數(shù)、有效抽樣域策略以及合適收斂條件的綜合利用，本文所提的兩種方法在整體性能上均優(yōu)于傳統(tǒng)的AK-MCS，能在更少功能函數(shù)調用的情況下得到精度更高的失效概率估計。

表5 算例3可靠度分析結果對比

圖5給出了ABSVR1算法和ABSVR2算法5次獨立運算的收斂過程?？梢钥闯?，雖然各次運算在前幾次迭代過程中有比較大的波動，但在第6次迭代后便能從不同程度迅速逼近精確解，說明了本文方法的精確性、高效性和良好的魯棒性。

圖5 ABSVR1算法和ABSVR2算法5次獨立運算的收斂過程

5 結 論

本文基于Bayesian SVR模型建立了可靠度分析的高效自適應算法(ABSVR)，該算法綜合利用了SVR模型在處理小樣本、高維度和非線性等問題時表現(xiàn)出的優(yōu)異性能和貝葉斯推理框架下的概率估計，為進一步提升該類算法的有效性和適用性奠定了基礎。此外，本文還從三個方面提升ABSVR的整體性能，一是為有效地引導算法在學習過程中選取位于極限狀態(tài)曲面附近且對失效概率貢獻大的樣本點，提出了一種可綜合考慮樣本點預測值、預測方差、概率密度函數(shù)值以及與已有樣本點間距等因素的學習函數(shù)；二是考慮到失效概率估計的特點，提出了一種新的有效抽樣域策略以提高算法的學習效率；三是為防止欠學習或過學習對算法性能產生不利影響，引入一種基于相對誤差估計的停止條件，能有效地保證算法在達到給定誤差閾值的情況下自動停止。通過三個算例分析得出以下結論。

(1) 本文的算法框架綜合利用了貝葉斯支持向量機提供的概率估計信息、有效抽樣策略以及合理的收斂準則，通過與學習函數(shù)U(即ABSVR1算法)或提出的新學習函數(shù)NLF(即ABSVR2算法)結合能很好地適用于結構可靠度分析。相較于其他算法，本文提出的兩種方法能更好地平衡計算精度和效率。

(2) 通過學習函數(shù)U和學習函數(shù)NLF選取的新樣本點絕大多數(shù)位于失效邊界附近，基于此得到的ABSVR1模型和ABSVR2模型均能在重要區(qū)域對原極限狀態(tài)曲面進行高精度的擬合。其中，由于學習函數(shù)NLF考慮了樣本間的距離測度，所選取的樣本點(相比于學習函數(shù)U)均勻性更好，因而ABSVR2算法在達到相同精度水平時所需要的功能函數(shù)調用次數(shù)一般較ABSVR1更少。

(3) 由于概率密度函數(shù)值很小的區(qū)域對失效概率估計的貢獻基本可忽略不計，該部分的擬合效果對最終的計算精度無顯著影響，因而在結構可靠度分析中可通過合理的抽樣區(qū)域策略予以過濾，在不損失精度的情況下可進一步提高計算效率。

(4) 本文方法在學習過程中不涉及復雜的優(yōu)化算法或非正態(tài)變量的等概率變換，簡單易懂，有利于進一步推廣自適應算法在實際工程中的應用；但所提方法對涉及復雜有限元模型的可靠度分析問題的適用性還需結合算例進一步驗證。