權期望填充準則作用下的Kriging自適應建模及全局優(yōu)化算法

彭行坤，林成龍，馬義中

(南京理工大學 經(jīng)濟管理學院，江蘇 南京 210094)

0 引言

隨著定制化產(chǎn)品等營銷策略的出現(xiàn)，消費者個性化需求使產(chǎn)品設計和生產(chǎn)具備小批量、定制化的特點，傳統(tǒng)實物試驗設計已不能滿足產(chǎn)品復雜程度高,更新速度快的系統(tǒng)設計要求[1]?；谟嬎銠C學科建模，數(shù)值計算和計算機軟硬件技術發(fā)展而來的高精度仿真模型被廣泛應用于產(chǎn)品和系統(tǒng)優(yōu)化設計，有效提升了傳統(tǒng)實物試驗設計的質(zhì)量和可靠度[2-3]。高精度仿真建模過程中的計算流體力學(Computational Fluid Dynamics, CFD)和計算固體力學(Computational Solid Mechanics, CSM)技術極大地減少了研發(fā)成本，但建模需耗費大量時間且因?qū)嶋H優(yōu)化問題中往往無明確的函數(shù)關系，給工程建模和優(yōu)化帶來了極大困難[4-5]。近些年來，僅依靠初始樣本就可近似模擬輸入變量及響應變量二者之間函數(shù)關系的代理模型受到關注，先后產(chǎn)生了諸如響應面建模、KRIGING模型、徑向基函數(shù)、支持向量回歸及組合建模等代理模型[2,5]。上述模型因有效減少優(yōu)化過程的計算量且具備較好的精度及穩(wěn)健性在工程領域中得廣泛應用[5-6]。其中，基于統(tǒng)計技術的Kriging代理模型因其能提供對未知試驗點預測不確定性的度量且在小樣本數(shù)據(jù)條件下具有高的預測精度受到眾多科研工作者的青睞。

Kriging代理模型自1951年Krige博士提出以來，衍生出了梯度增強Kriging模型、Co Kriging模型、Blind Kriging模型等眾多改進版本[7-8]，尤其在Jones等[9-10]基于統(tǒng)計假設提出最大化期望改進(Expected Improvement, EI)填充策略，對Kriging模型進行更新并尋找最優(yōu)解的高效全局優(yōu)化(Efficient Global Optimization，EGO)算法后，大大提升了Kriging模型在工程優(yōu)化問題中的使用頻率及求解效率[3,6-7]。其中，SCHONLAU等[10]引入?yún)?shù)來調(diào)整EI準則的區(qū)域探索能力，提出了適用于包含黑箱約束問題的處理方法；ZHAN等[11]提出了通過設定閾值來調(diào)整和改進EI探索能力的并行EGO算法；SUPRAYITNO等[12]提出的可靠域Kriging代理進化優(yōu)化(Evolutionary Optimization using Reliable regional Kriging Surrogate, EORKS)算法，通過混合填充策略防止過早局部收斂。此外，基于代理模型化產(chǎn)生了諸多有代表性的優(yōu)化算法，例如基于置信下線準則(Lower Confidence Boundary, LCB)、可行性概率(Probability of Feasibility, PoF)準則的眾多算法[7,13-14]。隨著工程研究對象的復雜化，在計算機試驗建模技術的快速發(fā)展推動下，基于Kriging模型的代理優(yōu)化算法已成為解決高度非線性，且具備昂貴仿真黑盒模型特點問題的重要解決方案之一[6,13]。

計算機試驗建模過程中發(fā)現(xiàn)，EI填充準則新增試驗樣本點具有較好的全局探索能力，有效地改善了Kriging模型預測精度及建模效率[2,11]。在EI準則及PoF準則的基礎上產(chǎn)生了諸多填充準則，如張建俠等[15]提出了多目標策略和聚類分析的代理優(yōu)化算法，并將其應用于壓力容器的優(yōu)化設計中;JIAO等[16]在約束條件輔助下提出的約束完備EI準則，在探索當前可行區(qū)域的同時，還可開發(fā)不可行但有發(fā)展前途的區(qū)域；SUN等[17]通過Pareto前沿點集實現(xiàn)多點選取，改善新樣本點探索可能性的同時提出了并行多目標優(yōu)化算法；CINQUEGRANA等[18]通過給定逐步下降的權值來調(diào)整EI的探索能力，并將其應用于翼型優(yōu)化設計中。張鵬等[19]依據(jù)復相關系數(shù)R2實現(xiàn)Kriging模型的自適應設計，并將其應用于注塑機模板應力、變形測試及優(yōu)化。研究發(fā)現(xiàn)，上述準則多集中于PoF準則，改變可靠性程度或者提升可行性區(qū)間的變化，鮮少有文獻以EI新增試驗點作為參考點，從而減少EI準則貪婪特性導致的陷入局部優(yōu)化問題[20]。因此，研究具有距離特點的權函數(shù)來建立新的期望填充準則顯然是一種大膽嘗試，但就目前研究來看尚有欠缺及不足[21-22]。

本文對EI準則進行修改，提出兩種基于參考點的權期望調(diào)整準則，并將其與代理優(yōu)化算法相結(jié)合，綜合運用Kriging建模技術及進化算法實現(xiàn)對包含約束條件的優(yōu)化問題進行求解，提出了基于權期望填充準則的全局優(yōu)化算法。該算法通過具有距離特性的權函數(shù)實現(xiàn)對EI填充準則新增試驗點進行調(diào)整，使其在具備平衡全局探索和局部探索能力的同時，可以使新增樣本點具備距離特性，以提升建模效率及模型預測精度。最后，通過數(shù)值試驗算例及工程實例進行比較分析，驗證了所提權期望填充準則作用下的全局優(yōu)化算法的有效性。

1 權期望加點準則作用下的全局優(yōu)化算法

受制于工況、機械性能等因素，工程中的全局優(yōu)化問題一般均具有約束條件，其可用一般意義上的數(shù)學公式進行表示，具體形式如下：

minf(x);

s.t.

gi(x)≤0,i=1,2,…,r,

x∈D。

(1)

其中：f(x)是目標函數(shù)；r為整數(shù)，指共具有r個約束；gi(x)表示第i個約束條件；x∈D?Rd表示d維設計變量；D=[xl,xr]表示變量的矢量矩陣，xl,xr分別表示變量的左、右邊界。

1.1 Kriging代理模型

假定樣本集Ω中包含m個試驗點，定義樣本觀測變量矩陣為X=[x1,x2,…,xm]T,其對應的響應值矩陣為Y=[y1,y2,…,ym]T,Kriging代理模型可表示為：

y(x)=μ+z(x)。

(2)

(3)

Kriging模型中的相關函數(shù)通常選擇常用的核函數(shù),如高斯函數(shù)、樣條函數(shù)、Matérn函數(shù)等。具體可參考文獻[2-3]。

1.2 權期望填充準則

(4)

EI(x)=EI1+EI2,

為了平衡全局和局部探索能力，一般會對EI1和EI2分別賦予不同的權重，對兩者進行簡單的加權或采用熵權準則來依據(jù)EI1和EI2的重要程度確定權重[18]，將EI函數(shù)修改為如下格式：

EI(x)=w1EI1+w2EI2。

式中w1,w2∈R，且w1+w2=1。

xR=argmaxEI(x)。

ZHAN等[21-22]在研究多點填充準則時提出了影響力函數(shù)(Influence Function，IF)，來調(diào)整和近似EI改進函數(shù)，稱為偽期望改進(Pseudo Expected Improvement, PEI)準則，其本質(zhì)思想是構造權函數(shù)(Weighted Function, WF)。以經(jīng)典的高斯相關核函數(shù)為例，權函數(shù)表達形式如下：

權函數(shù)滿足權的一般性質(zhì)且具備距離特性，同時這也是具有空間距離特性相關函數(shù)對于Kriging模型特有的校正和平滑功能，但上述PEI準則僅被用于并行填充設計，未進行單個加點嘗試。為了避免EI準則過于貪婪而陷入局部最優(yōu)，通過權函數(shù)對其進行調(diào)整的同時設定變量維度d的倒數(shù)作為冪指數(shù)來減緩其收斂速度?；谏鲜隹紤]，將權函數(shù)分別應用于EI函數(shù)的不同位置，獲得兩種新的權期望填充準則，其表現(xiàn)形式如下：

和

其中d為設計變量維數(shù)。

1.3 可行性概率準則及約束處理方法

EI填充準則是為解決無約束優(yōu)化問題設計的，對于具有復雜非線性黑箱約束的工程優(yōu)化問題，考慮新增試驗點在約束范圍內(nèi)的可行性概率準則非常適用[10]。

現(xiàn)有文獻大多將PoF作為EI準則權重的約束應對方法應用在實際問題中，即以PoF為權重的約束期望改進(Constrained Expected Improvement, CEI)[2,10]，可表示為：

CEI(x)=E(1gi(x)≤0·I(x))=EI(x)·PoF(x)。

同理，依據(jù)新的填充準則可獲得約束條件下的權期望改進準則：

約束權期望準則偽實現(xiàn)代碼如下：

步驟1計算滿足最大期望約束條件的參考點xR：

步驟2計算新增試驗樣本點x：

1.4 EGO算法及其實現(xiàn)流程

EGO算法一般是指利用少量初始樣本構建初始Kriging模型，采用最大化期望改進填充準則選取增加新試驗點進行樣本填充設計，通過更新迭代過程不斷自適應修正模型，直至滿足終止條件獲取最優(yōu)解的算法實現(xiàn)過程。其算法流程圖1所示。

上述流程實現(xiàn)具體偽代碼如下：

步驟1最大最小拉丁抽取5d+1個觀測點，獲取樣本集(X,y)和約束矩陣G=[g1,g2,…,gr]T,設定終止條件,獲得初始最優(yōu)可行解ymin(x)。

步驟2While終止條件不滿足do

依據(jù)(X,y)建立目標函數(shù)初始Kriging模型

fori=1 tor

依據(jù)(X,G)構建約束初始Kriging模型

end for

步驟3判斷gi(x)≤0,樣本集是否有可行解。

if無可行解,then采用可行性概率準則增加可行試驗點，

else

end

步驟4更新樣本點x,y(x),gi(x)，更新樣本集

X=X∪x,y=y∪y(x),

G=G∪[g1,g2,…,gr]T。

步驟5更新當前最優(yōu)可行解ymin(x)

end while

2 測試算例與分析

2.1 數(shù)值算例

為了更好地說明新提加點準則的有效性，選取分別包含5個和10個變量的G4、G7數(shù)學測試函數(shù)[23]，以及包含7個變量的減速器設計(Speed reduce design, SRD)案例[24]、11個變量的汽車側(cè)面碰撞(Car Side Impact, CSI)案例[25]、進行試驗驗證，并將結(jié)果與經(jīng)典EI準則進行對比，驗證所提算法的有效性、高效性和穩(wěn)健性,算例具體信息如表1所示。

表1 算例相關信息

2.2 優(yōu)化結(jié)果與分析

所有測試均在MATLAB 2017a，Think Pad環(huán)境下運行；為保證結(jié)構穩(wěn)定性，采用最大最小拉丁設計抽取5d+1個樣本作為輸入樣本矩陣X，仿真獲取相應的響應矩陣Y及約束矩陣G。為方便分析，本文以仿真試驗的總次數(shù)T作為優(yōu)化算法的終止條件，當T=100時，算法停止，并返回最優(yōu)解。

(1)算法收斂圖

首先比較各加點準則下算法的收斂效果，為消除初始試驗設計隨機性對優(yōu)化結(jié)果的影響，用30組初始試驗設計下優(yōu)化結(jié)果的平均值隨迭代次數(shù)變化的曲線來評估各算法的尋優(yōu)能力和收斂性。3種加點方法的收斂效果如圖2所示。

如圖2所示，迭代次數(shù)越少，結(jié)果越接近已知最優(yōu)值，則表明該準則下的算法收斂速度更快；最終解接近或小于已知最優(yōu)值則表明該準則下的算法精度更好。從圖2可以看出，4個算例在3種加點準則的作用下隨著迭代次數(shù)的增加均可收斂至近似最優(yōu)解，說明了兩種新權期望填充準則作用下的代理優(yōu)化算法的有效性。對于G7、CSI和SRD算例，在到達相同精度的情況下，CWEI準則相較于EI準則的迭代次數(shù)更少，說明CWEI準則作用下的優(yōu)化算法是加快收斂速度的有效方法，而對于CPEI準則，其收斂速度雖然相較于經(jīng)典EI準則和CWEI準則更慢，但其近似最優(yōu)解具有更好的精度。對于G4算例，雖然CPEI和CWEI準則收斂速度相較于EI準則更慢，但整體差距并不是很大，且能夠很好地收斂到近似最優(yōu)解。

(2)算法性能表

表2 不同優(yōu)化算法結(jié)果比較

續(xù)表2

對于G4和SRD算例，CPEI準則的最大值、平均值和標準差都優(yōu)于EI準則，說明CPEI準則作用下的優(yōu)化算法能夠更好地對最優(yōu)解區(qū)域進行探索，且該準則受初始試驗設計隨機性的影響最小；而CWEI準則在標準差方面優(yōu)于EI準則，雖然最大值和平均值沒有比EI準則更優(yōu)，但是其結(jié)果接近已知最優(yōu)值，說明該準則是有效的。對于CSI算例，CWEI準則的結(jié)果更好，CPEI準則也具有較好的表現(xiàn)。對于G7算例，雖然EI準則的結(jié)果更優(yōu)，但CWEI和CPEI準則的平均值相較于EI準則差距并不大，說明兩種準則作用下的優(yōu)化算法也具有較好的精度?？傮w來說，新提兩種加點準則具有較好的有效性和尋優(yōu)穩(wěn)健性。

(3)算法箱線圖

對于每個算例中每種算法的30次結(jié)果，繪制結(jié)果的箱線圖，縱坐標是30次結(jié)果的近似最優(yōu)值，結(jié)果如圖3所示。

對于G4算例，CWEI和CPEI準則的結(jié)果均比EI準則的結(jié)果更加集中，說明兩種準則受實驗隨機性影響較小，對于G7、CSI和SRD算例，CWEI和CPEI準則的結(jié)果均和EI準則的結(jié)果相近，且波動范圍不大。總體來說，CWEI準則及CPEI準則均可獲得較好的近似最優(yōu)解，且穩(wěn)健性較好。

2.3 工程實例

該實例是一個圓柱形容器設計，由圓柱體和半球體組成，結(jié)構如圖4所示。該實例有4個設計變量：Ts(圓柱體殼厚度)、Th(半球體厚度)、R(內(nèi)半徑)和L(容器的圓柱形部分的長度)；優(yōu)化目的是使總成本降到最低；包括材料，成型和焊接的成本。工程實例的數(shù)學模型如下：

minf(x)=0.622 4TsRL+1.778 1ThR2+

s.t.

g1(x)=-TS+0.019 3R≤0;g2(x)=-Th+0.009 54R≤0;

g4(x)=L-240≤0,

0.062 5≤Ts,Th≤0.062 5×99,10≤R,L≤200。

運用本文提出的CWEI和CPEI準則，對此工程案例進行求解，并與EI準則以及其他文獻中的結(jié)果進行對比，如表3所示。對比結(jié)果發(fā)現(xiàn)，近似解接近最優(yōu)值，說明了新提兩種加點準則的有效性，且兩種準則作用下的算法能夠很好地解決文獻中的實際工程問題。

表3 結(jié)果對比表

3 結(jié)束語

算例試驗以及工程實例結(jié)果表明，基于Kriging代理優(yōu)化模型和兩種權期望填充準則的EGO算法可有效地處理和優(yōu)化復雜的黑箱過程。本文基于經(jīng)典EI準則和Kriging模型預測不確定性提出的兩種權期望填充準則具有良好的空間探索能力，所提兩種新EGO算法在解決單目標約束優(yōu)化問題時有效，且在算法的可行性、建模效率和解的穩(wěn)健性方面具有一定優(yōu)勢。具體結(jié)論如下：①3種填充準則作用下的EGO算法均可快速地收斂到近似最優(yōu)解，但從收斂速度來看,CWEI和CPEI準則略優(yōu)于EI準則；②3種填充準則作用下，CWEI準則受試驗隨機性影響最小，穩(wěn)健性最好，可有效減少試驗次數(shù)；③相同條件下，CPEI和CWEI準則相比EI準則近似最優(yōu)解的標準差更小，解的質(zhì)量更高；④兩種新的加點準則，只需要較少的試驗就能求得優(yōu)化問題的最優(yōu)解，是提高工程優(yōu)化設計效率和質(zhì)量的有效途徑。

試驗結(jié)果表明,通過權函數(shù)可有效調(diào)整EI準則的全局和局部探索能力，注意到3種不同的填充準則可實現(xiàn)不同位置的加點，故3種填充方法也可實現(xiàn)多點同時加點。未來，實現(xiàn)現(xiàn)有準則基礎上的一次多點加點是可以研究的領域；將該方法應用到解決多目標優(yōu)化問題也是未來研究的方向之一。