受強(qiáng)化學(xué)習(xí)思想啟發(fā)的一種結(jié)構(gòu)優(yōu)化算法

李 徐，張 帆

（上海工程技術(shù)大學(xué) 機(jī)械與汽車(chē)工程學(xué)院，上海 201620）

0 引 言

結(jié)構(gòu)工程中的大多數(shù)設(shè)計(jì)優(yōu)化問(wèn)題都是高度非線(xiàn)性的，在復(fù)雜的約束條件下涉及許多不同的設(shè)計(jì)變量，這些約束可以寫(xiě)成簡(jiǎn)單的界限，如材料特性的范圍，也可以寫(xiě)成非線(xiàn)性關(guān)系，包括最大應(yīng)力、最大撓度、最小承載能力和幾何形狀，這種非線(xiàn)性經(jīng)常導(dǎo)致多模態(tài)響應(yīng)景觀(guān)，所以在結(jié)構(gòu)優(yōu)化問(wèn)題中，尋求最優(yōu)參數(shù)就變得更加困難。

強(qiáng)化學(xué)習(xí)的思想來(lái)自于條件反射理論和動(dòng)物學(xué)習(xí)理論，是一種受到動(dòng)物學(xué)習(xí)過(guò)程啟發(fā)而得到的仿生算法，是重要的機(jī)器學(xué)習(xí)方法，因?yàn)槠渚哂辛己玫臒o(wú)監(jiān)督學(xué)習(xí)能力，該算法主要被運(yùn)用于機(jī)器人領(lǐng)域以及人工智能領(lǐng)域，在結(jié)構(gòu)優(yōu)化問(wèn)題中幾乎沒(méi)有被提及，這是因?yàn)槿绻子谜麄€(gè)的強(qiáng)化學(xué)習(xí)算法模型，則無(wú)法運(yùn)用在結(jié)構(gòu)優(yōu)化問(wèn)題中，但是基于結(jié)構(gòu)優(yōu)化問(wèn)題中的設(shè)計(jì)參數(shù)和界限函數(shù)與強(qiáng)化學(xué)習(xí)中的動(dòng)作、狀態(tài)很相似，選擇某一組設(shè)計(jì)參數(shù)就會(huì)對(duì)應(yīng)某一個(gè)確切的界限函數(shù)值，在強(qiáng)化學(xué)習(xí)中選擇某一動(dòng)作后轉(zhuǎn)移到某一個(gè)狀態(tài)是一個(gè)概率事件，而結(jié)構(gòu)優(yōu)化問(wèn)題中是確定性事件，也可認(rèn)為轉(zhuǎn)移的概率為1，在強(qiáng)化學(xué)習(xí)中目標(biāo)是要找到獎(jiǎng)勵(lì)值最大的策略，而在結(jié)構(gòu)優(yōu)化問(wèn)題中，只要找到可以使目標(biāo)函數(shù)最優(yōu)的設(shè)計(jì)參數(shù)就行，而設(shè)計(jì)參數(shù)的測(cè)試與選取也是靠某種策略得到，因此可以將強(qiáng)化學(xué)習(xí)的動(dòng)作狀態(tài)轉(zhuǎn)移模型轉(zhuǎn)換到結(jié)構(gòu)優(yōu)化尋優(yōu)中來(lái)，更詳細(xì)的說(shuō)明在算法原理中有介紹。

布谷鳥(niǎo)搜索（Cuckoo Search，CS）是一種新的元啟發(fā)式搜索算法，這個(gè)算法是基于一些杜鵑物種的專(zhuān)性繁殖寄生行為，結(jié)合了一些鳥(niǎo)和果蠅，是由Yang等人開(kāi)發(fā)的，初步研究表明，該算法的應(yīng)用前景很廣，優(yōu)于現(xiàn)有的遺傳算法和粒子群算法，因此在本案例中，用布谷鳥(niǎo)搜索（CS）算法去驗(yàn)證所提出的優(yōu)化算法，證明了該算法的可行性。本文的工作主要分為以下3個(gè)部分：

（1）算法原理中，介紹了該算法的原理，以及算法流程。

（2）案例驗(yàn)證中，用純數(shù)學(xué)問(wèn)題和工程案例去驗(yàn)證該算法的可行性。

（3）結(jié)果與討論中，分析了實(shí)驗(yàn)仿真的結(jié)果，同時(shí)說(shuō)明了該算法的局限性。

1 算法原理

在算法中，采用神經(jīng)網(wǎng)絡(luò)作為策略函數(shù)，因其具有極強(qiáng)的泛化能力、非線(xiàn)性映射能力，以及高度的非線(xiàn)性并行性，研究時(shí)常被用來(lái)作為一種學(xué)習(xí)器，并廣泛運(yùn)用于圖像識(shí)別、分類(lèi)應(yīng)用中。在強(qiáng)化學(xué)習(xí)中也充分利用了其特性來(lái)作為策略函數(shù)，以解決具有連續(xù)動(dòng)作和連續(xù)狀態(tài)的強(qiáng)化學(xué)習(xí)，例如Policy Gradient（PG）、Proximal Policy Optimization（PPO）、Deep Deterministic Policy Gradient（DDPG）等?；诖耍诒敬窝芯恐?，采用了神經(jīng)網(wǎng)絡(luò)作為策略函數(shù)，單層的神經(jīng)網(wǎng)絡(luò)模型如圖1所示。

圖1 單層神經(jīng)網(wǎng)絡(luò)模型Fig.1 Single-layer neural network model

由圖1可知，圖1的輸出值為：

神經(jīng)網(wǎng)絡(luò)的更新方式是通過(guò)反向傳播、梯度下降的原理去更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，其更新方式的數(shù)學(xué)原理如下。

設(shè)輸入樣本為：

期望輸出為：

隱藏層各神經(jīng)元的輸入輸出如下：

求出期望值d k()與實(shí)際輸出值yo k()的誤差函數(shù)的偏導(dǎo)數(shù)δ k()，其公式如下。

輸出層可寫(xiě)為：

隱藏層可寫(xiě)為：

利用輸出層各神經(jīng)元的δ k()和隱藏層各神經(jīng)元的輸出來(lái)修正鏈接權(quán)值w k()。 研究中推得的數(shù)學(xué)公式可表示為：

利用隱藏層各神經(jīng)元的δ k()和輸入層各神經(jīng)元的輸入修正權(quán)連接。研究中推得的數(shù)學(xué)公式可表示為：

其中，是學(xué)習(xí)率。

通過(guò)式（17）就可以實(shí)現(xiàn)梯度下降，從而找到最優(yōu)的目標(biāo)函數(shù)值。

對(duì)于一個(gè)工程或機(jī)械結(jié)構(gòu)優(yōu)化問(wèn)題，會(huì)涉及到設(shè)計(jì)參數(shù)，需要優(yōu)化的目標(biāo)函數(shù)（），以及會(huì)因?yàn)閰?shù)改變而引起其他性能變化的函數(shù)，在這里稱(chēng)為界限函數(shù)（），一般會(huì)要求（）在某一范圍內(nèi)。

雖然該算法啟發(fā)與強(qiáng)化學(xué)習(xí)，但是在尋優(yōu)的過(guò)程中沒(méi)有正向意義上的獎(jiǎng)勵(lì)值，而是用優(yōu)化機(jī)會(huì)作為獎(jiǎng)勵(lì)值，只要滿(mǎn)足某一狀態(tài)就可得到一次優(yōu)化的機(jī)會(huì)，在強(qiáng)化學(xué)習(xí)中使用了基于神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)算法，如PPO、DDPG算法。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，是對(duì)一批數(shù)據(jù)輸入進(jìn)行訓(xùn)練，這是由強(qiáng)化學(xué)習(xí)的算法決定的，現(xiàn)實(shí)中均值是無(wú)法確定的，需要通過(guò)求平均值來(lái)近似均值，而在結(jié)構(gòu)優(yōu)化中，只是要找到滿(mǎn)足界限函數(shù)這一狀態(tài)下的最優(yōu)目標(biāo)參數(shù)這一動(dòng)作值即可，因此用本文提出的算法只能一次輸入一個(gè)狀態(tài)值（界限函數(shù)）到神經(jīng)網(wǎng)絡(luò)中，得到什么樣的權(quán)重參數(shù)不重要，重要的是得到的設(shè)計(jì)參數(shù)是否是最優(yōu)。

在提出的算法中，運(yùn)用了強(qiáng)化學(xué)習(xí)的狀態(tài)轉(zhuǎn)移和策略函數(shù)的思想，以及神經(jīng)網(wǎng)絡(luò)的特性去優(yōu)化目標(biāo)函數(shù)，在有界限函數(shù)（）的情況下找到最優(yōu)解的前提是其設(shè)計(jì)參數(shù)必須先滿(mǎn)足界限函數(shù)，因此首先要找到滿(mǎn)足界限函數(shù)的參數(shù)空間位置，然后在這個(gè)參數(shù)空間中尋找最優(yōu)的目標(biāo)參數(shù)。在該算法中，先隨機(jī)選擇一組滿(mǎn)足界限函數(shù)的初始狀態(tài)，用該狀態(tài)作為神經(jīng)網(wǎng)絡(luò)的輸入，其輸出是該狀態(tài)下選擇的動(dòng)作（設(shè)計(jì)參數(shù)），將該動(dòng)作作為界限函數(shù)的自變量，計(jì)算出下一個(gè)狀態(tài)（），與強(qiáng)化學(xué)習(xí)中的狀態(tài)定義不同，這里將滿(mǎn)足界限函數(shù)值這一類(lèi)作為一個(gè)狀態(tài)，不滿(mǎn)足作為另一個(gè)狀態(tài)，如果下一個(gè)狀態(tài)在界限函數(shù)范圍中，將該狀態(tài)作為新的神經(jīng)網(wǎng)絡(luò)的輸入，通過(guò)反向傳播，梯度下降優(yōu)化目標(biāo)函數(shù)，如果超出了界限函數(shù)的范圍，就以上一次的狀態(tài)作為新的輸入，通過(guò)反向傳播、梯度下降的方式去更新動(dòng)作輸出，直到輸出的動(dòng)作值在界限函數(shù)值的范圍之內(nèi)，重復(fù)以上過(guò)程，直到訓(xùn)練結(jié)束，算法流程如圖2所示。

圖2 算法流程圖Fig.2 Algorithm flow chart

2 案例驗(yàn)證

2.1 純數(shù)學(xué)問(wèn)題驗(yàn)證

為了驗(yàn)證該算法可以找到最優(yōu)解，考慮如下一個(gè)數(shù)學(xué)問(wèn)題，有4個(gè)參數(shù)（，，，），∈[0，4]，∈[0，5]，∈[0，4]，∈[0，6]，有函數(shù)：

求在(，，，)≤9，(，，，)≤20的情況下函數(shù)（，，，）的最小值：

可以知道，在不考慮，的情況下可以取值6，取值2，取值4，而可以任意取值就可得到最優(yōu)解；當(dāng)考慮，的情況下，明顯不能取值6，取值2，取值2，取值4同樣可以得到最優(yōu)解。通過(guò)所提出的算法求得其參數(shù)見(jiàn)表1，和預(yù)想的結(jié)果幾乎一樣，同時(shí)在相同運(yùn)算時(shí)間內(nèi)比使用CS算法得到的值更精確。

表1 實(shí)驗(yàn)數(shù)據(jù)Tab.1 Experimental data

該數(shù)學(xué)問(wèn)題的目標(biāo)函數(shù)不是很復(fù)雜，滿(mǎn)足，的參數(shù)空間占比較大，且連續(xù)，可以看見(jiàn)收斂過(guò)程非常快（見(jiàn)圖3），值與，相對(duì)應(yīng)的散點(diǎn)三維圖見(jiàn)圖4，很明顯在目標(biāo)函數(shù)值下降的過(guò)程中，最小值對(duì)應(yīng)的點(diǎn)越來(lái)越集中。

圖3 收斂過(guò)程Fig.3 Convergence process

圖4 散點(diǎn)圖Fig.4 Scatter plot

2.2 工程實(shí)例

最小化工字梁的垂直偏轉(zhuǎn)：使用一個(gè)包含4個(gè)變量的設(shè)計(jì)問(wèn)題來(lái)測(cè)試該算法，此案例來(lái)自報(bào)告中的原始問(wèn)題（已修改），目標(biāo)是最小化工字梁的垂直偏轉(zhuǎn)（見(jiàn)圖5）。梁的相關(guān)參數(shù)：5 600 kN，550 kN。并且同時(shí)滿(mǎn)足給定載荷下的橫截面積和應(yīng)力約束。當(dāng)梁的長(zhǎng)度（）和彈性模量（）分別為5 200 cm和523 104 kN/cm時(shí)，最小化垂直撓度（）48。 因此，該問(wèn)題的目標(biāo)函數(shù)可寫(xiě)作如下形式：

圖5 梁結(jié)構(gòu)Fig.5 Beam structure

以橫截面積小于300 cm為基準(zhǔn)，有：

如果梁的容許彎曲應(yīng)力為56 kN/cm，應(yīng)力約束如下：

其中，設(shè)計(jì)參數(shù)空間滿(mǎn)足10≤≤80，10≤≤50，09≤t≤5，09≤t≤5。

目標(biāo)函數(shù)最終是收斂的（見(jiàn)圖6），在近乎相同時(shí)間內(nèi)該算法得到的最優(yōu)值和相關(guān)參數(shù)與布谷鳥(niǎo)搜素算法得到的值見(jiàn)表2。為了排除該算法得到的最優(yōu)值具有偶然性，運(yùn)行得到了其他3組數(shù)據(jù)，仿真結(jié)果顯示目標(biāo)函數(shù)收斂在同一值附近，如圖7所示。

表2 本文提出的算法與布谷鳥(niǎo)搜索算法得到的數(shù)據(jù)對(duì)比Tab.2 Comparison of the results between the proposed algorithm in this paper and the Cuckoo Search algorithm

圖6 收斂過(guò)程Fig.6 Convergence process

圖7 散點(diǎn)圖Fig.7 Scatter plot

3 結(jié)束語(yǔ)

實(shí)驗(yàn)仿真結(jié)果表明，在利用該算法尋優(yōu)過(guò)程中，其目標(biāo)函數(shù)值會(huì)因要考慮界限函數(shù)的值，可能出現(xiàn)一個(gè)振蕩下降的過(guò)程（見(jiàn)圖8），起初會(huì)有一個(gè)搜索階段，這個(gè)階段是為了尋找滿(mǎn)足界限函數(shù)值的區(qū)域，當(dāng)收斂到滿(mǎn)足要求的界限值位置時(shí)，目標(biāo)函數(shù)值會(huì)以一個(gè)相對(duì)光滑的趨勢(shì)下降，直到收斂到最小值，呈現(xiàn)一條相對(duì)粗細(xì)一致的線(xiàn)條。從圖8中可以看到，其收斂過(guò)程存在一定的差異，但最后都收斂到了最優(yōu)值，經(jīng)過(guò)分析發(fā)現(xiàn)，其原因就在于神經(jīng)網(wǎng)絡(luò)的初始化參數(shù)和初始化的狀態(tài)值不同，較好的初始化位置，會(huì)使其在尋優(yōu)過(guò)程中收斂曲線(xiàn)更加地平穩(wěn)光滑，甚至?xí)绊懫涫諗克俣?，因此可以認(rèn)為，不同的初始化狀態(tài)值和神經(jīng)元參數(shù)對(duì)收斂過(guò)程具有一定的影響。

圖8 實(shí)驗(yàn)仿真結(jié)果Fig.8 Experimental simulation results

另外，該算法具有一定的局限性，當(dāng)滿(mǎn)足界限函數(shù)的參數(shù)空間在整個(gè)參數(shù)空間占比較小，且位置較分散的時(shí)候，很難收斂到最優(yōu)值，有時(shí)甚至無(wú)法收斂到滿(mǎn)足界限函數(shù)的參數(shù)，這時(shí)需要不斷改變初始值去求解最優(yōu)值，同時(shí)如果面臨參數(shù)空間中，有多個(gè)局部最優(yōu)解的情況，此時(shí)初始化權(quán)值參數(shù)和初始化狀態(tài)值沒(méi)有選擇到合適值，就可能無(wú)法找到全局最優(yōu)解。但是對(duì)于全局最優(yōu)解單一，滿(mǎn)足界限函數(shù)的參數(shù)空間占比足夠大的結(jié)構(gòu)優(yōu)化問(wèn)題，該算法則可以更高效地找到最優(yōu)解。