橢圓方程約束最優(yōu)控制問題的深度計算

辛夢琦,畢春加,楊 旻

(煙臺大學數(shù)學與信息科學學院,山東 煙臺 264005)

帶偏微分方程(PDE)約束最優(yōu)控制問題[1]主要研究目標泛函受偏微分方程約束的最優(yōu)化求解,屬于數(shù)學和工程領域一個重要且有意義的研究方向,在醫(yī)學、物理學、金融學等領域有著非常重要的應用。傳統(tǒng)求解帶PDE約束最優(yōu)控制問題的方法一般包含兩個步驟:離散處理和優(yōu)化算法設計。例如,高新[2]研究了交替方向乘子法、慣性交替方向乘子法和對稱交替方向乘子法,這三種方法都是采用先離散后優(yōu)化的思想。張倩[3]采用了浸入有限元和變分離散相結合的方法來離散模型。但是,采用傳統(tǒng)計算方法往往面臨收斂速度慢、難以處理復雜高維問題的困難。

近年來,深度神經(jīng)網(wǎng)絡在機器學習和人工智能領域受到廣泛應用,其強大的非線性擬合能力使其能夠解決極為復雜的實際問題。最近將深度神經(jīng)網(wǎng)絡用于求解微分方程(組)成為一大研究熱點。例如,RAISSI等[4]提出了基于物理信息的神經(jīng)網(wǎng)絡(PINNs),將微分方程殘差作為正則化項整合到損失函數(shù)中來求解PDE正反問題。該方法又進一步被應用于求解復雜的分數(shù)偏微分方程[5]以及幾何偏微分方程[6]。

基于上述研究工作,本文擬將PINNs應用于求解受PDE約束的最優(yōu)控制問題:

s.t.e(u,f)=0,

f∈Fab?F。

(1)

與普通的偏微分方程相比,由于最優(yōu)控制問題(1)中既有PDE又有目標泛函,因此需要建立一個統(tǒng)一的優(yōu)化目標以供神經(jīng)網(wǎng)絡進行學習。其次,針對控制變量和狀態(tài)變量同時存在的情形,需要設計恰當?shù)纳窠?jīng)網(wǎng)絡以協(xié)調兩者之間的內在聯(lián)系。

與傳統(tǒng)的數(shù)值方法相比,基于深度學習的方法具有很好的泛化性,所建立的模型能用于一類相似的最優(yōu)控制問題求解,并且由于方法本身基于物理模型,無需考慮網(wǎng)格離散的問題,因此易于推廣到復雜區(qū)域和高維情形。

1 深度計算方法

1.1 神經(jīng)網(wǎng)絡

(2)

… …

… …

(3)

當使用深度神經(jīng)網(wǎng)絡求解PDE問題時,神經(jīng)網(wǎng)絡的輸入為區(qū)域中任意樣本點的坐標信息,而神經(jīng)網(wǎng)絡的輸出則為對應解的近似估計,即整個神經(jīng)網(wǎng)絡相當于解的一個非線性擬合函數(shù)。針對不同的問題,人們往往需要建立恰當?shù)膬?yōu)化目標,從而讓神經(jīng)網(wǎng)絡在訓練過程中確定最優(yōu)的網(wǎng)絡權重和偏置系數(shù)。不同的網(wǎng)絡結構以及不同的訓練方法,往往會對求解效率和精度產(chǎn)生較大的影響。

1.2 橢圓方程約束最優(yōu)控制及深度求解

考慮如下穩(wěn)態(tài)橢圓方程約束最優(yōu)控制問題:

(4)

其中,ud,f0為已知量,r為常數(shù),A,b,c為關于x的函數(shù)。為了能夠使用神經(jīng)網(wǎng)絡進行計算,將針對式(4)構建恰當?shù)膬?yōu)化目標。

本文將考慮二維的情形,因此,在給定采樣點后,原優(yōu)化目標可近似為

其中n為樣本數(shù)。進一步地,把橢圓方程中的邊界和控制變量約束作為“軟”懲罰整合后可得如下統(tǒng)一的優(yōu)化目標:

(5)

注意到式(5)中的第四項,我們給出了一個特殊的平方損失函數(shù),從而巧妙地把控制變量約束轉化成目標函數(shù)的一部分。當控制變量f不受約束時,可令β=0,當控制變量f帶約束時,β≠0。

2 數(shù)值實驗

實驗的運行環(huán)境為:Windows 10系統(tǒng),CPU i7-8700,Tensorflow 2.2,實驗中神經(jīng)網(wǎng)絡的激活函數(shù)是雙曲正切函數(shù)(Tanh)。另外,神經(jīng)網(wǎng)絡使用L-BFGS-B(擬牛頓算法)[9]來迭代求解損失函數(shù)。

考慮兩種情況:一是控制變量無約束,即Fab=F;二是控制變量帶約束,即Fab={f∈F|fa≤f≤fb,x∈D}。其中D=[0,1]×[0,1]?R2,r=1,A=1,b=0,c=0,真解均取為ud=sin(πx1)sin(πx2),f0=2π2sin(πx1)sin(πx2)。

訓練學習過程中,在區(qū)域D和邊界?D上隨機采樣n個點,默認n=100×100,默認神經(jīng)網(wǎng)絡包含3個隱藏層,其神經(jīng)元個數(shù)為[32,16,32]。而測試階段,在計算區(qū)域另外均勻采樣40 000個點,在這些點上與真解進行比較以檢驗方法的精度。

2.1 控制變量無約束

首先考慮控制變量無約束的情況,此時式(5)的超參數(shù)β=0,相應損失函數(shù)為

(6)

2.1.1 不同超參數(shù)下誤差分析 由于超參數(shù)α是人為設定的,不同的α會對實驗結果有一定的影響。為此本文首先進行四組實驗,分別取α=1,2,3,4,相應的誤差熱力分布圖如圖2,3所示。

圖2 函數(shù)u的預測精度Fig.2 The prediction accuracy of u

圖3 函數(shù)f的預測精度Fig.3 The prediction accuracy of f

從熱力分布圖2,3可以看出,在控制變量f不帶約束時,本文給出的深度學習方法能夠很好地計算出原問題的近似解。不同的超參數(shù)α的取值對計算結果具有一定的影響,當α=2時,精度表現(xiàn)是最好的。

為了進一步測試超參數(shù)α對實驗結果的影響,同時檢測超參數(shù)α的選取是否會隨網(wǎng)絡結構的變化有所不同,本文又進行了多組實驗,表1顯示了在不同網(wǎng)絡結構以及超參數(shù)α下,解的均方誤差情況。從表1中可以看到,盡管改變了網(wǎng)絡結構以及超參數(shù)α,本文使用的方法依然有效,同時也可以看到,在不同的網(wǎng)絡結構下,超參數(shù)選定為2時,均有較好的表現(xiàn)。

表1 函數(shù)u和f的均方誤差Tab.1 The mean square error of u and f

2.1.2 神經(jīng)網(wǎng)絡結構的影響 通常來說,神經(jīng)網(wǎng)絡的深度和寬度對學習效果會有很大的影響,隨著網(wǎng)絡深度和寬度的增加,人工神經(jīng)網(wǎng)絡的非線性擬合能力會有很大的提高。本小節(jié)考查網(wǎng)絡的深度對橢圓方程約束的最優(yōu)控制問題預測精度的影響。

實驗中固定超參數(shù)α=2,改變隱藏層的網(wǎng)絡結構H,其他保持不變。表2顯示了在不同神經(jīng)網(wǎng)絡的深度下,整個域中解的均方誤差的情況。由表2可以觀察到,通過增加網(wǎng)絡的深度,該方法在求解橢圓方程約束的最優(yōu)控制問題上的預測精度有了不同程度的提高。

表2 不同神經(jīng)網(wǎng)絡結構下函數(shù)u和f的均方誤差Tab.2 The mean square error of u and f with different neural networks' structure

2.1.3 樣本數(shù)的影響 在本節(jié)中,我們考察采樣點數(shù)量對解的影響。仍然固定α=2,表3顯示了在不同采樣點數(shù)量的情況下,解的均方誤差。從表3中可以看到,隨著采樣點數(shù)量的增加,預測精度有了明顯的提高。

表3 不同樣本數(shù)下函數(shù)u和f的均方誤差Tab.3 The mean square error of u and f with different number of samples

2.1.4 不同訓練方法的影響 不同的訓練方法往往會對實驗結果產(chǎn)生較大的影響,因此,本節(jié)將把L-BFGS-B與常見的SLSQP(最小二乘法)[10]進行比較,同樣的,我們進行了多組實驗,實驗結果如表4所示?？梢钥吹?使用不同的訓練方法,對實驗結果的精度會有一定的影響,并且對于以上兩種方法而言,使用L-BFGS-B更有效。

表4 不同訓練方法下函數(shù)u和f的均方誤差Tab.4 The mean square error of u and f with different training methods

2.2 控制變量帶約束

接下來考慮控制變量帶約束的情況,設f的下界fa=0,上界fb=20。此時式(5)中β≠0,神經(jīng)網(wǎng)絡的損失函數(shù)就是式(5)本身。同超參數(shù)α一樣,β的選擇對實驗結果也有一定的影響。為了探究此方法在控制變量帶約束時的預測準確性以及研究超參數(shù)β對預測精度的影響,我們依然進行了四組實驗,這里保持α=2,分別取β=0.1,0.5,1,2,實驗結果如圖4,5所示。

從圖4和圖5的熱力分布圖中可以觀察到,對于控制變量f帶約束的情況下,采用深度學習方法依然有效。同時,對于不同的超參數(shù)β誤差會有所不同,但總體表現(xiàn)是比較穩(wěn)定的。

圖4 函數(shù)u的預測精度Fig.4 The prediction accuracy of u

圖5 函數(shù)f的預測精度Fig.5 The prediction accuracy of f

3 結 論

本文提出了一種基于深度學習求解橢圓方程約束最優(yōu)控制問題的方法,實驗結果表明所提出的深度計算方法無論是精度還是魯棒性都有很好的表現(xiàn)。對于非穩(wěn)態(tài)PDE約束以及邊界帶控制變量的最優(yōu)控制問題將是下一步研究的方向。