權(quán)期望填充準(zhǔn)則作用下的Kriging自適應(yīng)建模及全局優(yōu)化算法

彭行坤，林成龍，馬義中

(南京理工大學(xué) 經(jīng)濟(jì)管理學(xué)院，江蘇 南京 210094)

0 引言

隨著定制化產(chǎn)品等營(yíng)銷(xiāo)策略的出現(xiàn)，消費(fèi)者個(gè)性化需求使產(chǎn)品設(shè)計(jì)和生產(chǎn)具備小批量、定制化的特點(diǎn)，傳統(tǒng)實(shí)物試驗(yàn)設(shè)計(jì)已不能滿(mǎn)足產(chǎn)品復(fù)雜程度高,更新速度快的系統(tǒng)設(shè)計(jì)要求[1]?；谟?jì)算機(jī)學(xué)科建模，數(shù)值計(jì)算和計(jì)算機(jī)軟硬件技術(shù)發(fā)展而來(lái)的高精度仿真模型被廣泛應(yīng)用于產(chǎn)品和系統(tǒng)優(yōu)化設(shè)計(jì)，有效提升了傳統(tǒng)實(shí)物試驗(yàn)設(shè)計(jì)的質(zhì)量和可靠度[2-3]。高精度仿真建模過(guò)程中的計(jì)算流體力學(xué)(Computational Fluid Dynamics, CFD)和計(jì)算固體力學(xué)(Computational Solid Mechanics, CSM)技術(shù)極大地減少了研發(fā)成本，但建模需耗費(fèi)大量時(shí)間且因?qū)嶋H優(yōu)化問(wèn)題中往往無(wú)明確的函數(shù)關(guān)系，給工程建模和優(yōu)化帶來(lái)了極大困難[4-5]。近些年來(lái)，僅依靠初始樣本就可近似模擬輸入變量及響應(yīng)變量二者之間函數(shù)關(guān)系的代理模型受到關(guān)注，先后產(chǎn)生了諸如響應(yīng)面建模、KRIGING模型、徑向基函數(shù)、支持向量回歸及組合建模等代理模型[2,5]。上述模型因有效減少優(yōu)化過(guò)程的計(jì)算量且具備較好的精度及穩(wěn)健性在工程領(lǐng)域中得廣泛應(yīng)用[5-6]。其中，基于統(tǒng)計(jì)技術(shù)的Kriging代理模型因其能提供對(duì)未知試驗(yàn)點(diǎn)預(yù)測(cè)不確定性的度量且在小樣本數(shù)據(jù)條件下具有高的預(yù)測(cè)精度受到眾多科研工作者的青睞。

Kriging代理模型自1951年Krige博士提出以來(lái)，衍生出了梯度增強(qiáng)Kriging模型、Co Kriging模型、Blind Kriging模型等眾多改進(jìn)版本[7-8]，尤其在Jones等[9-10]基于統(tǒng)計(jì)假設(shè)提出最大化期望改進(jìn)(Expected Improvement, EI)填充策略，對(duì)Kriging模型進(jìn)行更新并尋找最優(yōu)解的高效全局優(yōu)化(Efficient Global Optimization，EGO)算法后，大大提升了Kriging模型在工程優(yōu)化問(wèn)題中的使用頻率及求解效率[3,6-7]。其中，SCHONLAU等[10]引入?yún)?shù)來(lái)調(diào)整EI準(zhǔn)則的區(qū)域探索能力，提出了適用于包含黑箱約束問(wèn)題的處理方法；ZHAN等[11]提出了通過(guò)設(shè)定閾值來(lái)調(diào)整和改進(jìn)EI探索能力的并行EGO算法；SUPRAYITNO等[12]提出的可靠域Kriging代理進(jìn)化優(yōu)化(Evolutionary Optimization using Reliable regional Kriging Surrogate, EORKS)算法，通過(guò)混合填充策略防止過(guò)早局部收斂。此外，基于代理模型化產(chǎn)生了諸多有代表性的優(yōu)化算法，例如基于置信下線準(zhǔn)則(Lower Confidence Boundary, LCB)、可行性概率(Probability of Feasibility, PoF)準(zhǔn)則的眾多算法[7,13-14]。隨著工程研究對(duì)象的復(fù)雜化，在計(jì)算機(jī)試驗(yàn)建模技術(shù)的快速發(fā)展推動(dòng)下，基于Kriging模型的代理優(yōu)化算法已成為解決高度非線性，且具備昂貴仿真黑盒模型特點(diǎn)問(wèn)題的重要解決方案之一[6,13]。

計(jì)算機(jī)試驗(yàn)建模過(guò)程中發(fā)現(xiàn)，EI填充準(zhǔn)則新增試驗(yàn)樣本點(diǎn)具有較好的全局探索能力，有效地改善了Kriging模型預(yù)測(cè)精度及建模效率[2,11]。在EI準(zhǔn)則及PoF準(zhǔn)則的基礎(chǔ)上產(chǎn)生了諸多填充準(zhǔn)則，如張建俠等[15]提出了多目標(biāo)策略和聚類(lèi)分析的代理優(yōu)化算法，并將其應(yīng)用于壓力容器的優(yōu)化設(shè)計(jì)中;JIAO等[16]在約束條件輔助下提出的約束完備EI準(zhǔn)則，在探索當(dāng)前可行區(qū)域的同時(shí)，還可開(kāi)發(fā)不可行但有發(fā)展前途的區(qū)域；SUN等[17]通過(guò)Pareto前沿點(diǎn)集實(shí)現(xiàn)多點(diǎn)選取，改善新樣本點(diǎn)探索可能性的同時(shí)提出了并行多目標(biāo)優(yōu)化算法；CINQUEGRANA等[18]通過(guò)給定逐步下降的權(quán)值來(lái)調(diào)整EI的探索能力，并將其應(yīng)用于翼型優(yōu)化設(shè)計(jì)中。張鵬等[19]依據(jù)復(fù)相關(guān)系數(shù)R2實(shí)現(xiàn)Kriging模型的自適應(yīng)設(shè)計(jì)，并將其應(yīng)用于注塑機(jī)模板應(yīng)力、變形測(cè)試及優(yōu)化。研究發(fā)現(xiàn)，上述準(zhǔn)則多集中于PoF準(zhǔn)則，改變可靠性程度或者提升可行性區(qū)間的變化，鮮少有文獻(xiàn)以EI新增試驗(yàn)點(diǎn)作為參考點(diǎn)，從而減少EI準(zhǔn)則貪婪特性導(dǎo)致的陷入局部?jī)?yōu)化問(wèn)題[20]。因此，研究具有距離特點(diǎn)的權(quán)函數(shù)來(lái)建立新的期望填充準(zhǔn)則顯然是一種大膽嘗試，但就目前研究來(lái)看尚有欠缺及不足[21-22]。

本文對(duì)EI準(zhǔn)則進(jìn)行修改，提出兩種基于參考點(diǎn)的權(quán)期望調(diào)整準(zhǔn)則，并將其與代理優(yōu)化算法相結(jié)合，綜合運(yùn)用Kriging建模技術(shù)及進(jìn)化算法實(shí)現(xiàn)對(duì)包含約束條件的優(yōu)化問(wèn)題進(jìn)行求解，提出了基于權(quán)期望填充準(zhǔn)則的全局優(yōu)化算法。該算法通過(guò)具有距離特性的權(quán)函數(shù)實(shí)現(xiàn)對(duì)EI填充準(zhǔn)則新增試驗(yàn)點(diǎn)進(jìn)行調(diào)整，使其在具備平衡全局探索和局部探索能力的同時(shí)，可以使新增樣本點(diǎn)具備距離特性，以提升建模效率及模型預(yù)測(cè)精度。最后，通過(guò)數(shù)值試驗(yàn)算例及工程實(shí)例進(jìn)行比較分析，驗(yàn)證了所提權(quán)期望填充準(zhǔn)則作用下的全局優(yōu)化算法的有效性。

1 權(quán)期望加點(diǎn)準(zhǔn)則作用下的全局優(yōu)化算法

受制于工況、機(jī)械性能等因素，工程中的全局優(yōu)化問(wèn)題一般均具有約束條件，其可用一般意義上的數(shù)學(xué)公式進(jìn)行表示，具體形式如下：

minf(x);

s.t.

gi(x)≤0,i=1,2,…,r,

x∈D。

(1)

其中：f(x)是目標(biāo)函數(shù)；r為整數(shù)，指共具有r個(gè)約束；gi(x)表示第i個(gè)約束條件；x∈D?Rd表示d維設(shè)計(jì)變量；D=[xl,xr]表示變量的矢量矩陣，xl,xr分別表示變量的左、右邊界。

1.1 Kriging代理模型

假定樣本集Ω中包含m個(gè)試驗(yàn)點(diǎn)，定義樣本觀測(cè)變量矩陣為X=[x1,x2,…,xm]T,其對(duì)應(yīng)的響應(yīng)值矩陣為Y=[y1,y2,…,ym]T,Kriging代理模型可表示為：

y(x)=μ+z(x)。

(2)

(3)

Kriging模型中的相關(guān)函數(shù)通常選擇常用的核函數(shù),如高斯函數(shù)、樣條函數(shù)、Matérn函數(shù)等。具體可參考文獻(xiàn)[2-3]。

1.2 權(quán)期望填充準(zhǔn)則

(4)

EI(x)=EI1+EI2,

為了平衡全局和局部探索能力，一般會(huì)對(duì)EI1和EI2分別賦予不同的權(quán)重，對(duì)兩者進(jìn)行簡(jiǎn)單的加權(quán)或采用熵權(quán)準(zhǔn)則來(lái)依據(jù)EI1和EI2的重要程度確定權(quán)重[18]，將EI函數(shù)修改為如下格式：

EI(x)=w1EI1+w2EI2。

式中w1,w2∈R，且w1+w2=1。

xR=argmaxEI(x)。

ZHAN等[21-22]在研究多點(diǎn)填充準(zhǔn)則時(shí)提出了影響力函數(shù)(Influence Function，IF)，來(lái)調(diào)整和近似EI改進(jìn)函數(shù)，稱(chēng)為偽期望改進(jìn)(Pseudo Expected Improvement, PEI)準(zhǔn)則，其本質(zhì)思想是構(gòu)造權(quán)函數(shù)(Weighted Function, WF)。以經(jīng)典的高斯相關(guān)核函數(shù)為例，權(quán)函數(shù)表達(dá)形式如下：

權(quán)函數(shù)滿(mǎn)足權(quán)的一般性質(zhì)且具備距離特性，同時(shí)這也是具有空間距離特性相關(guān)函數(shù)對(duì)于Kriging模型特有的校正和平滑功能，但上述PEI準(zhǔn)則僅被用于并行填充設(shè)計(jì)，未進(jìn)行單個(gè)加點(diǎn)嘗試。為了避免EI準(zhǔn)則過(guò)于貪婪而陷入局部最優(yōu)，通過(guò)權(quán)函數(shù)對(duì)其進(jìn)行調(diào)整的同時(shí)設(shè)定變量維度d的倒數(shù)作為冪指數(shù)來(lái)減緩其收斂速度?；谏鲜隹紤]，將權(quán)函數(shù)分別應(yīng)用于EI函數(shù)的不同位置，獲得兩種新的權(quán)期望填充準(zhǔn)則，其表現(xiàn)形式如下：

和

其中d為設(shè)計(jì)變量維數(shù)。

1.3 可行性概率準(zhǔn)則及約束處理方法

EI填充準(zhǔn)則是為解決無(wú)約束優(yōu)化問(wèn)題設(shè)計(jì)的，對(duì)于具有復(fù)雜非線性黑箱約束的工程優(yōu)化問(wèn)題，考慮新增試驗(yàn)點(diǎn)在約束范圍內(nèi)的可行性概率準(zhǔn)則非常適用[10]。

現(xiàn)有文獻(xiàn)大多將PoF作為EI準(zhǔn)則權(quán)重的約束應(yīng)對(duì)方法應(yīng)用在實(shí)際問(wèn)題中，即以PoF為權(quán)重的約束期望改進(jìn)(Constrained Expected Improvement, CEI)[2,10]，可表示為：

CEI(x)=E(1gi(x)≤0·I(x))=EI(x)·PoF(x)。

同理，依據(jù)新的填充準(zhǔn)則可獲得約束條件下的權(quán)期望改進(jìn)準(zhǔn)則：

約束權(quán)期望準(zhǔn)則偽實(shí)現(xiàn)代碼如下：

步驟1計(jì)算滿(mǎn)足最大期望約束條件的參考點(diǎn)xR：

步驟2計(jì)算新增試驗(yàn)樣本點(diǎn)x：

1.4 EGO算法及其實(shí)現(xiàn)流程

EGO算法一般是指利用少量初始樣本構(gòu)建初始Kriging模型，采用最大化期望改進(jìn)填充準(zhǔn)則選取增加新試驗(yàn)點(diǎn)進(jìn)行樣本填充設(shè)計(jì)，通過(guò)更新迭代過(guò)程不斷自適應(yīng)修正模型，直至滿(mǎn)足終止條件獲取最優(yōu)解的算法實(shí)現(xiàn)過(guò)程。其算法流程圖1所示。

上述流程實(shí)現(xiàn)具體偽代碼如下：

步驟1最大最小拉丁抽取5d+1個(gè)觀測(cè)點(diǎn)，獲取樣本集(X,y)和約束矩陣G=[g1,g2,…,gr]T,設(shè)定終止條件,獲得初始最優(yōu)可行解ymin(x)。

步驟2While終止條件不滿(mǎn)足do

依據(jù)(X,y)建立目標(biāo)函數(shù)初始Kriging模型

fori=1 tor

依據(jù)(X,G)構(gòu)建約束初始Kriging模型

end for

步驟3判斷gi(x)≤0,樣本集是否有可行解。

if無(wú)可行解,then采用可行性概率準(zhǔn)則增加可行試驗(yàn)點(diǎn)，

else

end

步驟4更新樣本點(diǎn)x,y(x),gi(x)，更新樣本集

X=X∪x,y=y∪y(x),

G=G∪[g1,g2,…,gr]T。

步驟5更新當(dāng)前最優(yōu)可行解ymin(x)

end while

2 測(cè)試算例與分析

2.1 數(shù)值算例

為了更好地說(shuō)明新提加點(diǎn)準(zhǔn)則的有效性，選取分別包含5個(gè)和10個(gè)變量的G4、G7數(shù)學(xué)測(cè)試函數(shù)[23]，以及包含7個(gè)變量的減速器設(shè)計(jì)(Speed reduce design, SRD)案例[24]、11個(gè)變量的汽車(chē)側(cè)面碰撞(Car Side Impact, CSI)案例[25]、進(jìn)行試驗(yàn)驗(yàn)證，并將結(jié)果與經(jīng)典EI準(zhǔn)則進(jìn)行對(duì)比，驗(yàn)證所提算法的有效性、高效性和穩(wěn)健性,算例具體信息如表1所示。

表1 算例相關(guān)信息

2.2 優(yōu)化結(jié)果與分析

所有測(cè)試均在MATLAB 2017a，Think Pad環(huán)境下運(yùn)行；為保證結(jié)構(gòu)穩(wěn)定性，采用最大最小拉丁設(shè)計(jì)抽取5d+1個(gè)樣本作為輸入樣本矩陣X，仿真獲取相應(yīng)的響應(yīng)矩陣Y及約束矩陣G。為方便分析，本文以仿真試驗(yàn)的總次數(shù)T作為優(yōu)化算法的終止條件，當(dāng)T=100時(shí)，算法停止，并返回最優(yōu)解。

(1)算法收斂圖

首先比較各加點(diǎn)準(zhǔn)則下算法的收斂效果，為消除初始試驗(yàn)設(shè)計(jì)隨機(jī)性對(duì)優(yōu)化結(jié)果的影響，用30組初始試驗(yàn)設(shè)計(jì)下優(yōu)化結(jié)果的平均值隨迭代次數(shù)變化的曲線來(lái)評(píng)估各算法的尋優(yōu)能力和收斂性。3種加點(diǎn)方法的收斂效果如圖2所示。

如圖2所示，迭代次數(shù)越少，結(jié)果越接近已知最優(yōu)值，則表明該準(zhǔn)則下的算法收斂速度更快；最終解接近或小于已知最優(yōu)值則表明該準(zhǔn)則下的算法精度更好。從圖2可以看出，4個(gè)算例在3種加點(diǎn)準(zhǔn)則的作用下隨著迭代次數(shù)的增加均可收斂至近似最優(yōu)解，說(shuō)明了兩種新權(quán)期望填充準(zhǔn)則作用下的代理優(yōu)化算法的有效性。對(duì)于G7、CSI和SRD算例，在到達(dá)相同精度的情況下，CWEI準(zhǔn)則相較于EI準(zhǔn)則的迭代次數(shù)更少，說(shuō)明CWEI準(zhǔn)則作用下的優(yōu)化算法是加快收斂速度的有效方法，而對(duì)于CPEI準(zhǔn)則，其收斂速度雖然相較于經(jīng)典EI準(zhǔn)則和CWEI準(zhǔn)則更慢，但其近似最優(yōu)解具有更好的精度。對(duì)于G4算例，雖然CPEI和CWEI準(zhǔn)則收斂速度相較于EI準(zhǔn)則更慢，但整體差距并不是很大，且能夠很好地收斂到近似最優(yōu)解。

(2)算法性能表

表2 不同優(yōu)化算法結(jié)果比較

續(xù)表2

對(duì)于G4和SRD算例，CPEI準(zhǔn)則的最大值、平均值和標(biāo)準(zhǔn)差都優(yōu)于EI準(zhǔn)則，說(shuō)明CPEI準(zhǔn)則作用下的優(yōu)化算法能夠更好地對(duì)最優(yōu)解區(qū)域進(jìn)行探索，且該準(zhǔn)則受初始試驗(yàn)設(shè)計(jì)隨機(jī)性的影響最?。欢鳦WEI準(zhǔn)則在標(biāo)準(zhǔn)差方面優(yōu)于EI準(zhǔn)則，雖然最大值和平均值沒(méi)有比EI準(zhǔn)則更優(yōu)，但是其結(jié)果接近已知最優(yōu)值，說(shuō)明該準(zhǔn)則是有效的。對(duì)于CSI算例，CWEI準(zhǔn)則的結(jié)果更好，CPEI準(zhǔn)則也具有較好的表現(xiàn)。對(duì)于G7算例，雖然EI準(zhǔn)則的結(jié)果更優(yōu)，但CWEI和CPEI準(zhǔn)則的平均值相較于EI準(zhǔn)則差距并不大，說(shuō)明兩種準(zhǔn)則作用下的優(yōu)化算法也具有較好的精度?？傮w來(lái)說(shuō)，新提兩種加點(diǎn)準(zhǔn)則具有較好的有效性和尋優(yōu)穩(wěn)健性。

(3)算法箱線圖

對(duì)于每個(gè)算例中每種算法的30次結(jié)果，繪制結(jié)果的箱線圖，縱坐標(biāo)是30次結(jié)果的近似最優(yōu)值，結(jié)果如圖3所示。

對(duì)于G4算例，CWEI和CPEI準(zhǔn)則的結(jié)果均比EI準(zhǔn)則的結(jié)果更加集中，說(shuō)明兩種準(zhǔn)則受實(shí)驗(yàn)隨機(jī)性影響較小，對(duì)于G7、CSI和SRD算例，CWEI和CPEI準(zhǔn)則的結(jié)果均和EI準(zhǔn)則的結(jié)果相近，且波動(dòng)范圍不大。總體來(lái)說(shuō)，CWEI準(zhǔn)則及CPEI準(zhǔn)則均可獲得較好的近似最優(yōu)解，且穩(wěn)健性較好。

2.3 工程實(shí)例

該實(shí)例是一個(gè)圓柱形容器設(shè)計(jì)，由圓柱體和半球體組成，結(jié)構(gòu)如圖4所示。該實(shí)例有4個(gè)設(shè)計(jì)變量：Ts(圓柱體殼厚度)、Th(半球體厚度)、R(內(nèi)半徑)和L(容器的圓柱形部分的長(zhǎng)度)；優(yōu)化目的是使總成本降到最低；包括材料，成型和焊接的成本。工程實(shí)例的數(shù)學(xué)模型如下：

minf(x)=0.622 4TsRL+1.778 1ThR2+

s.t.

g1(x)=-TS+0.019 3R≤0;g2(x)=-Th+0.009 54R≤0;

g4(x)=L-240≤0,

0.062 5≤Ts,Th≤0.062 5×99,10≤R,L≤200。

運(yùn)用本文提出的CWEI和CPEI準(zhǔn)則，對(duì)此工程案例進(jìn)行求解，并與EI準(zhǔn)則以及其他文獻(xiàn)中的結(jié)果進(jìn)行對(duì)比，如表3所示。對(duì)比結(jié)果發(fā)現(xiàn)，近似解接近最優(yōu)值，說(shuō)明了新提兩種加點(diǎn)準(zhǔn)則的有效性，且兩種準(zhǔn)則作用下的算法能夠很好地解決文獻(xiàn)中的實(shí)際工程問(wèn)題。

表3 結(jié)果對(duì)比表

3 結(jié)束語(yǔ)

算例試驗(yàn)以及工程實(shí)例結(jié)果表明，基于Kriging代理優(yōu)化模型和兩種權(quán)期望填充準(zhǔn)則的EGO算法可有效地處理和優(yōu)化復(fù)雜的黑箱過(guò)程。本文基于經(jīng)典EI準(zhǔn)則和Kriging模型預(yù)測(cè)不確定性提出的兩種權(quán)期望填充準(zhǔn)則具有良好的空間探索能力，所提兩種新EGO算法在解決單目標(biāo)約束優(yōu)化問(wèn)題時(shí)有效，且在算法的可行性、建模效率和解的穩(wěn)健性方面具有一定優(yōu)勢(shì)。具體結(jié)論如下：①3種填充準(zhǔn)則作用下的EGO算法均可快速地收斂到近似最優(yōu)解，但從收斂速度來(lái)看,CWEI和CPEI準(zhǔn)則略?xún)?yōu)于EI準(zhǔn)則；②3種填充準(zhǔn)則作用下，CWEI準(zhǔn)則受試驗(yàn)隨機(jī)性影響最小，穩(wěn)健性最好，可有效減少試驗(yàn)次數(shù)；③相同條件下，CPEI和CWEI準(zhǔn)則相比EI準(zhǔn)則近似最優(yōu)解的標(biāo)準(zhǔn)差更小，解的質(zhì)量更高；④兩種新的加點(diǎn)準(zhǔn)則，只需要較少的試驗(yàn)就能求得優(yōu)化問(wèn)題的最優(yōu)解，是提高工程優(yōu)化設(shè)計(jì)效率和質(zhì)量的有效途徑。

試驗(yàn)結(jié)果表明,通過(guò)權(quán)函數(shù)可有效調(diào)整EI準(zhǔn)則的全局和局部探索能力，注意到3種不同的填充準(zhǔn)則可實(shí)現(xiàn)不同位置的加點(diǎn)，故3種填充方法也可實(shí)現(xiàn)多點(diǎn)同時(shí)加點(diǎn)。未來(lái)，實(shí)現(xiàn)現(xiàn)有準(zhǔn)則基礎(chǔ)上的一次多點(diǎn)加點(diǎn)是可以研究的領(lǐng)域；將該方法應(yīng)用到解決多目標(biāo)優(yōu)化問(wèn)題也是未來(lái)研究的方向之一。