基于高斯過程機(jī)器學(xué)習(xí)的工程不確定性分析研究

魯俊 魏懿

摘要：工程中不確定性對(duì)結(jié)構(gòu)的設(shè)計(jì)和安全分析產(chǎn)生不可忽略的影響，不確定性的分析與處理逐漸成為科學(xué)和工程中所關(guān)心的重要問題。針對(duì)復(fù)雜動(dòng)力學(xué)結(jié)構(gòu)響應(yīng)的特點(diǎn)，研究基于高斯過程機(jī)器學(xué)習(xí)的不確定性傳播方法。首先對(duì)不確定性的來源和分類進(jìn)行簡(jiǎn)單介紹，重點(diǎn)研究高斯過程機(jī)器學(xué)習(xí)的基本原理，最后通過算例研究說明兩個(gè)數(shù)學(xué)測(cè)試函數(shù)和一個(gè)工程結(jié)構(gòu)展示高斯隨機(jī)過程的建模優(yōu)勢(shì)。

關(guān)鍵詞：不確定性傳遞;概率方法;機(jī)器學(xué)習(xí);高斯隨機(jī)過程

中圖分類號(hào)：TP181

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1009-9492 （ 2022）02-0055-04

0 引言

復(fù)雜工程結(jié)構(gòu)系統(tǒng)的設(shè)計(jì)中，一般會(huì)涉及到大量不確定性因素。由于不確定性對(duì)結(jié)構(gòu)的設(shè)計(jì)和安全分析產(chǎn)生有不可忽略的影響，不確定性的量化和傳遞分析逐漸成為科學(xué)和工程中關(guān)鍵問題之一。目前工程設(shè)計(jì)中，表示不確定性的主流工具為概率方法。為了進(jìn)行不確定性的定量分析，需要首先建立不確定性的概率模型，收集大量樣本數(shù)據(jù)。對(duì)于復(fù)雜模型，采用傳統(tǒng)的不確定性傳遞方法無疑會(huì)使得計(jì)算量變得異常龐大。為加快重分析，基于數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)技術(shù)可以代替復(fù)雜仿真模型以提高實(shí)際工程中的分析效率。

在機(jī)器學(xué)習(xí)領(lǐng)域，有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)是兩種常見的方法。高斯過程是基于統(tǒng)計(jì)學(xué)習(xí)理論和貝葉斯理論發(fā)展起來的一種機(jī)器學(xué)習(xí)方、法[1]。這類方法也稱為代理模型技術(shù)，屬于機(jī)器學(xué)習(xí)中的有監(jiān)督學(xué)習(xí)方法。通過現(xiàn)有訓(xùn)練數(shù)據(jù)集進(jìn)行建模，再用模型對(duì)新的數(shù)據(jù)樣本進(jìn)行回歸分析。至今這類方法已經(jīng)越來越受到工程的廣泛關(guān)注，并用于不同工程領(lǐng)域。在汽車防撞性優(yōu)化設(shè)計(jì)中，F(xiàn)orsberg等[2]分別用到了多項(xiàng)式響應(yīng)面和Kriging模型進(jìn)行優(yōu)化，展示了兩種模型在不同優(yōu)化問題中有各自優(yōu)勢(shì)。利用汽車正面碰撞模型，張宇[3]利用5種近似模型比較研究了代理模型在擬合車身碰撞加速度峰值、碰撞力峰值、最大吸能量以及最大變形量等響應(yīng)。為比較擬合汽車正面碰撞中車體B柱加速度峰值響應(yīng)的擬合能力，張勇等[4]研究了移動(dòng)最小二乘模型和多項(xiàng)式模型。結(jié)果表明移動(dòng)最小二乘的擬合精度明顯高于多項(xiàng)式，且需要較少的迭代就可以收斂并得到最優(yōu)解。臧獻(xiàn)國(guó)等[5]采用多項(xiàng)式響應(yīng)面法建立了設(shè)計(jì)變量與目標(biāo)噪聲值的學(xué)習(xí)模型，有效地驗(yàn)證了該方法的有效性。聶祚興等[6]建立了汽車板件厚度與聲壓級(jí)響應(yīng)均方根值和一階扭轉(zhuǎn)頻率的多項(xiàng)式響應(yīng)面模型，并利用響應(yīng)面模型對(duì)結(jié)構(gòu)進(jìn)行優(yōu)化。Li和Li-ang等[7]建立響應(yīng)面模型進(jìn)行了車身結(jié)構(gòu)聲輻射分析和優(yōu)化，以獲得振動(dòng)聲學(xué)特性最優(yōu)結(jié)構(gòu)參數(shù)組合。對(duì)封閉箱體的結(jié)構(gòu)聲學(xué)問題，Wang等[8]采用多項(xiàng)式響應(yīng)面建立了阻尼層厚度與目標(biāo)響應(yīng)之間的函數(shù)關(guān)系，并對(duì)其進(jìn)行了多目標(biāo)優(yōu)化。

本文針對(duì)復(fù)雜動(dòng)力學(xué)結(jié)構(gòu)響應(yīng)的特點(diǎn)，研究基于高斯過程機(jī)器學(xué)習(xí)的不確定性傳播方法。首先對(duì)不確定性來源和描述方法進(jìn)行簡(jiǎn)單介紹，然后對(duì)代理模型的建模、驗(yàn)證、常用的代理模型方法進(jìn)行總結(jié)歸納。詳細(xì)闡述高斯過程機(jī)器學(xué)習(xí)的基本原理，最后通過數(shù)學(xué)測(cè)試算例展示高斯隨機(jī)過程模型的建模優(yōu)勢(shì)。

1 結(jié)構(gòu)不確定性分析理論和方法

1.1 不確定性來源和分類

實(shí)際復(fù)雜工程結(jié)構(gòu)中幾乎所有的設(shè)計(jì)變量和參數(shù)都帶有一定的不確定性。不確定性主要來自模型與試驗(yàn)，包括以下幾個(gè)方面。

（1）結(jié)構(gòu)的參數(shù)不確定性（Parameter Uncertainty）。由于建模參數(shù)的設(shè)置存在誤差或制造裝配等導(dǎo)致結(jié)構(gòu)的偏差，使得材料的楊氏模量、密度、構(gòu)件的幾何參數(shù)等未能準(zhǔn)確獲得，或者參數(shù)存在變異性。

（2）模型形式不確定性（Model Uncertainty）。由于結(jié)構(gòu)仿真的理論模型假定的不精確及進(jìn)行數(shù)學(xué)或力學(xué)建模過程中的不適當(dāng)假設(shè)等引起數(shù)學(xué)模型與物理模型之間的模型偏差。

（3）算法不確定性（Algorithmic Uncertainty）。對(duì)復(fù)雜數(shù)學(xué)模型的求解，由于數(shù)值計(jì)算的近似導(dǎo)致數(shù)值上的誤差，或使用不同數(shù)值求解算法得到不同的求解結(jié)果。如采用有限元方法或者差分法進(jìn)行對(duì)偏微分方程求解存在一定的誤差。

（4）試驗(yàn)的不確定性（Experimental Uncertainty），即觀測(cè)誤差。比如完全相同的重復(fù)實(shí)驗(yàn)產(chǎn)生不同實(shí)驗(yàn)結(jié)果。試驗(yàn)測(cè)試儀器的測(cè)試參數(shù)設(shè)置，試驗(yàn)環(huán)境不確定性因素和儀器自身誤差導(dǎo)致的不確定性均屬于試驗(yàn)不確定性。

根據(jù)不確定性屬性及來源，不確定性主要分為兩大類：偶然不確定性（Aleatory Uncertainty）與認(rèn)知不確定性（Epistemic Uncertainty）。偶然不確定性，又稱隨機(jī)不確定性（ Stochastic Uncertainty）或客觀不確定性（Objec-tive Uncertainty），是指由偶然因素或隨機(jī)性產(chǎn)生的不確定性;認(rèn)知不確定性，又稱主觀不確定性（Subjective Un-certainty），是指由于缺乏知識(shí)或數(shù)據(jù)而產(chǎn)生的不確定性。1.2不確定性描述與傳遞

不確定性的數(shù)學(xué)描述可以分為兩大類：概率方法和非概率方法。概率方法是物理系統(tǒng)中用于表征不確定性最廣泛的方法，主要用均值、方差、概率密度函數(shù)及累計(jì)分布函數(shù)來構(gòu)建概率模型以描述不確定性。對(duì)于認(rèn)知不確定性，通常數(shù)據(jù)量少，又沒有足夠的證據(jù)，無法用概率分布來描述不確定性，因此只能用非概率的方法來處理。非概率方法主要包括區(qū)間理論、模糊理論、概率邊界和證據(jù)理論等。

不確定性量化與傳遞分析著重研究參數(shù)不確定性問題，即不確定性在輸人參數(shù)和響應(yīng)特征之間的傳遞。不確定性正向傳遞是指輸人參數(shù)不確定性通過所建立的模型映射到模型輸出，進(jìn)而得到響應(yīng)特征不確定性的統(tǒng)計(jì)影響。不確定逆向傳遞是指由響應(yīng)特征的不確定性找到輸入?yún)?shù)不確定性，即通過輸出響應(yīng)的不確定性來識(shí)別輸入不確定的過程，屬于結(jié)構(gòu)分析的逆問題。

不確定性量化與傳遞分析著重研究參數(shù)不確定性問題，即不確定性在輸入?yún)?shù)和響應(yīng)特征之間的傳遞。不確定性正向傳遞是指輸入?yún)?shù)不確定性通過所建立的模型映射到模型輸出，進(jìn)而得到響應(yīng)特征不確定性的統(tǒng)計(jì)影響。不確定逆向傳遞是指由響應(yīng)特征的不確定性找到輸入?yún)?shù)不確定性，即通過輸出響應(yīng)的不確定性來識(shí)別輸入不確定的過程，屬于結(jié)構(gòu)分析的逆問題。

2 高斯隨機(jī)過程模型建模方法

基于代理模型的機(jī)器學(xué)習(xí)技術(shù)進(jìn)行不確定性傳遞的原理簡(jiǎn)單，關(guān)鍵在于如何通過訓(xùn)練數(shù)據(jù)集構(gòu)建預(yù)測(cè)模型，并保證預(yù)測(cè)模型的精度和效率。考慮到高斯過程機(jī)器模型在全局估計(jì)和局部估計(jì)兩方面都表現(xiàn)出良好的特性，對(duì)非線性問題的近似能力較好，本文將主要研究高斯隨機(jī)過程模型[9-10]。下面對(duì)它的基本原理及建模方法進(jìn)行簡(jiǎn)單介紹。

可以看出，CP模型不僅僅是對(duì)預(yù)測(cè)值的均值進(jìn)行了描述，還對(duì)預(yù)測(cè)值的分布進(jìn)行了分析。通過預(yù)測(cè)值的均值以及方差，可以方便地對(duì)預(yù)測(cè)值的置信區(qū)間進(jìn)行分析，有效地對(duì)待測(cè)點(diǎn)處的模型擬合不確定性進(jìn)行估計(jì)。值得注意的是，GP模型的構(gòu)建主要困難在于超參數(shù)的最大似然估計(jì)，即如何有效獲得最佳的超參數(shù)組合。為了獲得超參數(shù)，通常需要采用數(shù)值優(yōu)化算法求解超參數(shù)的最大似然函數(shù)最大化問題[11]。

3 數(shù)值算例研究

3.1 非線性測(cè)試函數(shù)

圖1所示為Branin-Hoo函數(shù)[12]的等高線。由于Bra-nin-Hoo函數(shù)在設(shè)計(jì)空間內(nèi)不同位置處存在3個(gè)局部最優(yōu)解，表現(xiàn)強(qiáng)非線性。本文將利用該算例分別測(cè)試多項(xiàng)式響應(yīng)面模型、多元自適應(yīng)樣條回歸模型、徑向基函數(shù)模型和高斯隨機(jī)過程模型的預(yù)測(cè)能力。為了對(duì)比，選用30個(gè)相同的拉丁超立方訓(xùn)練樣本，使用不同近似模型對(duì)Branin-Hoo函數(shù)進(jìn)行近似。如圖2所示，可以看出，相同訓(xùn)練樣本下，幾種代理模型預(yù)測(cè)誤差相差較大。本文建立的高斯隨機(jī)過程模型精度最高，預(yù)測(cè)誤差R2=0.9997，RMSE=0.017 5，在整個(gè)設(shè)計(jì)空間內(nèi)對(duì)目標(biāo)函數(shù)具有較好的近似。

3.2 帶噪聲的測(cè)試函數(shù)

真實(shí)的物理實(shí)驗(yàn)數(shù)據(jù)無可避免存在測(cè)量誤差。本算例給數(shù)學(xué)仿真數(shù)據(jù)添加εEN（0，σ2）的隨機(jī)觀測(cè)誤差，以驗(yàn)證高斯隨機(jī)過程模型對(duì)噪聲數(shù)據(jù)的預(yù)測(cè)能力。圖3 （a）和圖3 （b）分別為在較小和較大噪聲方差下的預(yù)測(cè)結(jié)果。從圖中可以看出，即使在較大的噪聲方差下，高斯隨機(jī)過程模型仍然能較好地近似真實(shí)響應(yīng)。同時(shí)該算例較好地證明了本文高斯隨機(jī)過程建模方法的正確性。

3.3 工程桁架結(jié)構(gòu)

圖4所示為帶有23個(gè)構(gòu)件的工程桁架結(jié)構(gòu)[13]，共10個(gè)隨機(jī)變量。假設(shè)所有水平構(gòu)件的楊氏模量和橫截面積相同，對(duì)角構(gòu)件為另一種楊氏模量和橫截面積。要求計(jì)算圖中觀測(cè)點(diǎn)處的變形位移（撓度）超過0.11 m的失效概率。已有數(shù)據(jù)分為兩部分：實(shí)驗(yàn)設(shè)計(jì)得到的200個(gè)訓(xùn)練樣本和10 000個(gè)蒙特卡洛驗(yàn)證樣本。真實(shí)響應(yīng)通過有限元軟件ANSYS得到。

通過200個(gè)實(shí)驗(yàn)設(shè)計(jì)樣本對(duì)高斯隨機(jī)過程模型進(jìn)行擬合，然后將預(yù)測(cè)結(jié)果與真實(shí)響應(yīng)進(jìn)行對(duì)比，如圖5所示?？梢悦黠@看出，基于有限元模型與基于高斯隨機(jī)過程模型的預(yù)測(cè)響應(yīng)幾乎完全一致。預(yù)測(cè)誤差R2= 1.00，RMSE=6.26x10 -5，說明建立好的高斯隨機(jī)過程學(xué)習(xí)模型可以很好地代替原模型進(jìn)行不確定性傳遞分析。圖6所示為兩種方法得到的概率密度函數(shù)對(duì)比?？梢钥闯?，兩種方法的結(jié)果幾乎相同，說明基于高斯過程學(xué)習(xí)模型的不確定性傳遞方法精度較高。由于基于原有限元模型的蒙特卡洛分析計(jì)算量大，這類不確定性分析幾乎無法在工程中廣泛使用，而基于代理模型機(jī)器學(xué)習(xí)的方法可以在保證精度的條件下，大大節(jié)省運(yùn)算時(shí)間，提高效率。

4 結(jié)束語

本文對(duì)不確定性分析理論與描述方法進(jìn)行了介紹，重點(diǎn)研究了高斯過程機(jī)器學(xué)習(xí)及其在不確定性傳遞研究中的應(yīng)用。通過數(shù)值實(shí)例發(fā)現(xiàn)，基于高斯過程機(jī)器學(xué)習(xí)的不確定性分析方法結(jié)合了基于樣本的不確定性傳遞方法和高斯隨機(jī)過程模型技術(shù)各白的優(yōu)點(diǎn)，在保證精度的前提下，明顯降低了計(jì)算量。相對(duì)于傳統(tǒng)的有限元仿真模型，高斯過程機(jī)器學(xué)習(xí)具有計(jì)算效率高和重復(fù)性強(qiáng)的特點(diǎn)，可以較好地協(xié)助工程人員完成大型結(jié)構(gòu)和多變量復(fù)雜結(jié)構(gòu)的不確定性分析。

參考文獻(xiàn)：

[1] Rasmussen C E.Williams C.Gaussian Processes for MachineLearning[M]. MIT Press. 2005.

[2] Forsberg J， Nilsson L.On polynomial response surfaces and Krig-ing for use in structural optimization of crashworthiness[J]. Struc-tural& Multidisciplinary Optimization. 2005. 29（3）： 232-243.

[3]張宇.基于穩(wěn)健與可靠性優(yōu)化設(shè)計(jì)的轎車車身輕量化研究[D].上海：上海交通大學(xué)，2009.

[4]張勇，李光耀，鐘志華.基于移動(dòng)最小二乘響應(yīng)面方法的整車輕量化設(shè)計(jì)優(yōu)化[J].機(jī)械工程學(xué)報(bào)，2008， 44（11）： 198-202.

[5]臧獻(xiàn)國(guó)，于德介，姚凌云，響應(yīng)表面法在結(jié)構(gòu)噪聲優(yōu)化中的應(yīng)用研究[J].噪聲與振動(dòng)控制。2009. 29（4）：116-119.

[6]聶祚興，車身噪聲傳遞函數(shù)的全局靈敏度分析及穩(wěn)健優(yōu)化設(shè)計(jì)[D].長(zhǎng)沙：湖南大學(xué)，2012.

[7] Li Z，Liang X.Vibro-acoustic analysis and optimization of damp-ing structure with Response Surface Method[J]. Materials&de-sign， 2007， 28（7）： 1999-2007.

[8] Wang Y，Qin X， Huang S，et al. Structural-bome acoustics analy-sis and multi-objective optimization by using panel acoustic par-ticipation and response surface methodology[J].Applied Acous-tics.2017 （116）：139-151.

[9]陳世適.基于多源響應(yīng)信息融合的優(yōu)化設(shè)計(jì)理論與方法研究[D].北京：北京理工大學(xué)，2016.

[10]魯俊.基于近似模型的結(jié)構(gòu)動(dòng)力學(xué)不確定性傳遞及其降低研究[D].重慶 ：重慶大學(xué). 2020.

[11] Bostanabad R. Keamey T， Tao S， et al. Leveraging the nuggetparameter for efficient Caussian process modeling[J]. Intema-tional Journal for Numerical Methods in Engineering， 2017 （5）：501-516.

[12] Picheny V， Wagner T， Ginsbourger D. A benchmark of kriging-based infill criteria for noisy optimization[J]. Structural and Mul-tidisciplinary Optimization， 2013， 48（3）： 607-626.

[13] Lee S H. Kwak B M. Response surface augmented momentmethod for efficient reliability analysis[J]. Structural safety.2006. 28（3）： 261-272.