課程-遷移學(xué)習(xí)物理信息神經(jīng)網(wǎng)絡(luò)用于長(zhǎng)時(shí)間非線性波傳播模擬1)

郭 遠(yuǎn) 傅卓佳 , 閔 建 劉肖廷 趙海濤 ,3)

* (河海大學(xué)力學(xué)與材料學(xué)院工程與科學(xué)數(shù)值模擬軟件中心,南京 211100)

? (中國(guó)三峽集團(tuán)公司科學(xué)技術(shù)研究院,北京 101199)

** (河海大學(xué)土木與交通學(xué)院,南京 210098)

引言

非線性波傳播廣泛存在于眾多自然現(xiàn)象和工程應(yīng)用中,如水波[1-2]、光波[3]、聲波[4]和地震波[5]等.非線性波傳播的分析和模擬對(duì)于理解和控制這些現(xiàn)象具有重要的意義.然而,非線性波傳播的數(shù)學(xué)模型通常是高度非線性的偏微分方程,它們的解析解很難推導(dǎo)得到或者不存在閉合的解析解[6],因此數(shù)值模擬是研究非線性波傳播過(guò)程的主要方法之一.

目前,已有許多數(shù)值方法如有限差分法(finite difference method,FDM)[7]、有限元法(finite element method,FEM)[8]、譜方法(spectral method)[9]和格林函數(shù)方法(Green’s function method)[10]被成功用于求解波動(dòng)方程,但是這些方法都存在一些局限性和挑戰(zhàn).例如,有限差分法和有限元法要求構(gòu)造高質(zhì)量的網(wǎng)格,譜方法和格林函數(shù)方法需要預(yù)先推導(dǎo)得到問(wèn)題對(duì)應(yīng)的譜函數(shù)及格林函數(shù).此外這些方法在處理非線性問(wèn)題時(shí)附加的非線性項(xiàng)也會(huì)影響其計(jì)算結(jié)果的精度和穩(wěn)定性[11],特別是在解決長(zhǎng)時(shí)間歷程的非線性波傳播問(wèn)題時(shí),這種影響尤為顯著.

近年來(lái),人工神經(jīng)網(wǎng)絡(luò)作為一種強(qiáng)大的機(jī)器學(xué)習(xí)工具[12-14],被廣泛應(yīng)用于各種復(fù)雜問(wèn)題的求解和預(yù)測(cè)[15-18].特別是,物理信息神經(jīng)網(wǎng)絡(luò)(physicsinformed neural networks,PINN)將物理守恒定律和先驗(yàn)物理知識(shí)編碼到神經(jīng)網(wǎng)絡(luò)中[19],通過(guò)最小化殘差來(lái)求解偏微分方程.目前,PINN 已經(jīng)被成功應(yīng)用于求解各種非線性方程,如Schrodinger 方程[20-21]、Burgers 方程[22-23]、對(duì)流擴(kuò)散方程[24-25]等.然而,PINN 也存在一些局限性和挑戰(zhàn);其中一個(gè)問(wèn)題是PINN 難以進(jìn)行長(zhǎng)時(shí)間歷程模擬[26-27].由于神經(jīng)網(wǎng)絡(luò)的參數(shù)空間是有限的,當(dāng)時(shí)間域擴(kuò)展到一定程度時(shí),PINN 難以保持足夠的精度和穩(wěn)定性.此外,PINN 也可能受到初始條件、邊界條件和噪聲等因素的影響,導(dǎo)致訓(xùn)練過(guò)程陷入局部最小甚至發(fā)散[28].

為了克服這些問(wèn)題,國(guó)內(nèi)外研究者提出了一些解決方法.Meng 等[27]使用了一個(gè)串行的全求解域上的粗求解器和若干個(gè)并行的子域上的精細(xì)PINN,粗求解器的解用作每個(gè)子域中精細(xì)PINN 的初始條件,從而將一個(gè)長(zhǎng)時(shí)間問(wèn)題分解為許多獨(dú)立的短時(shí)問(wèn)題.Penwarden 等[29]提出了一種新的時(shí)域堆疊分解方法,通過(guò)遵循多種形式的因果關(guān)系并通過(guò)限制每次優(yōu)化迭代所需的計(jì)算來(lái)提高可擴(kuò)展性,并使用遷移學(xué)習(xí)方法來(lái)初始化域中的子網(wǎng)絡(luò)和子域的基于容錯(cuò)的傳播;上述兩種方法的核心是將求解域分解并結(jié)合并行技術(shù)提高求解效率.Guo 等[28]結(jié)合重采樣策略和現(xiàn)有的優(yōu)化器組合技術(shù)并使用多重預(yù)訓(xùn)練策略來(lái)提高PINN 方法求解時(shí)間相關(guān)偏微分方程的收斂性和準(zhǔn)確性,其本質(zhì)上是一種課程學(xué)習(xí)技術(shù).Xu 等[26]引入遷移學(xué)習(xí)來(lái)順序更新深度算子網(wǎng)絡(luò)(DeepONet),作為在不同時(shí)間幀中學(xué)習(xí)的傳播子的代理,提高了DeepONet 長(zhǎng)時(shí)間模擬的精度.

以上這些研究者的工作主要集中在時(shí)間一階問(wèn)題的研究上,并未涉及到本文研究的時(shí)間二階波動(dòng)問(wèn)題.本文結(jié)合了Penwarden 等[29]時(shí)域堆疊分解的思想和Xu 等[26]遷移學(xué)習(xí)的方法,在Guo 等[28]提出的方法的基礎(chǔ)上進(jìn)行了改進(jìn)和發(fā)展,提出了一種基于課程學(xué)習(xí)(curriculum learning)[30]和遷移學(xué)習(xí)(transfer learning)[31]的物理信息神經(jīng)網(wǎng)絡(luò),簡(jiǎn)稱為課程-遷移學(xué)習(xí)物理信息神經(jīng)網(wǎng)絡(luò)(CTL-PINN),并將其用于長(zhǎng)時(shí)間非線性波傳播分析.CTL-PINN 繼承了PINN 的優(yōu)點(diǎn),相較于傳統(tǒng)數(shù)值方法,無(wú)需劃分網(wǎng)格,避免了網(wǎng)格數(shù)值算法中的網(wǎng)格畸變問(wèn)題;能夠融合方程與各種觀測(cè)數(shù)據(jù),形成物理和數(shù)據(jù)雙驅(qū)動(dòng)模型,對(duì)于處理反問(wèn)題具有顯著優(yōu)勢(shì);在一定程度上規(guī)避了維數(shù)災(zāi)難,無(wú)論是一維、三維還是更高維問(wèn)題,其實(shí)現(xiàn)方式都相同.與傳統(tǒng)PINN 相比,CTL-PINN可求解的時(shí)域更長(zhǎng),訓(xùn)練結(jié)果更為精確和穩(wěn)定.

1 基于課程學(xué)習(xí)和遷移學(xué)習(xí)的PINN 方法

1.1 瞬態(tài)非線性波傳播問(wèn)題

本文考慮如下瞬態(tài)非線性波傳播問(wèn)題,其控制方程可以表示為

其中,X為空間位置,? 為空間域,t為時(shí)間,T為求解的最后時(shí)刻,?2為拉普拉斯算子,c為波的傳播速度,u=u(X,t) 為待求位移,Q(X,t) 為已知波源函數(shù),f(u) 為非線性項(xiàng),其初始條件為

其中,? (X) 和 φ (X) 是給定的函數(shù),表示初始時(shí)刻的位移和速度分布,其邊界條件為

其中,Γ1∪Γ2=Γ,Γ1∩Γ2=?,Γ=?? 為 ? 的邊界,Γ1為第一類(lèi)邊界條件或狄里克雷(Dirichlet)條件,Γ2為第二類(lèi)邊界條件或諾依曼(Neumann)條件,n是 Γ2上的單位外法向量,是給定的函數(shù).

1.2 傳統(tǒng)物理信息神經(jīng)網(wǎng)絡(luò)

PINN 方法通過(guò)深度神經(jīng)網(wǎng)絡(luò)(deep neural network,DNN)來(lái)近似方程(1)的解,其求解過(guò)程如圖1 所示,神經(jīng)網(wǎng)絡(luò)的輸入為時(shí)空坐標(biāo) (X,t),對(duì)應(yīng)于方程(1)的時(shí)空自變量,輸出是方程(1)的近似解uθ,其中 θ 為神經(jīng)網(wǎng)絡(luò)待優(yōu)化參數(shù).損失函數(shù)反映了方程的物理信息,它由3 部分組成:初始和邊界條件的殘差項(xiàng)以及控制方程的殘差項(xiàng),如下式所示

圖1 傳統(tǒng)PINN 求解瞬態(tài)非線性波動(dòng)問(wèn)題Fig.1 Solving transient nonlinear wave propagation problem by standard PINN

式(4)中,wi,wb和wr分別是損失函數(shù)中3 部分的權(quán)重,Li和 Lb分別表示初始條件和邊界條件上的監(jiān)督學(xué)習(xí)損失,Lr表示在殘差數(shù)據(jù)集中定義的殘差損失.式(5)～式(7)中,uθ(X,t) 為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)值,其各類(lèi)導(dǎo)數(shù)可通過(guò)自動(dòng)微分(automatic differentiation,AD)獲得;根據(jù)速度和位移兩類(lèi)初始條件和兩類(lèi)邊界條件,將Ni和Nb分為兩部分,,Nb=Nr和 表示各訓(xùn)練點(diǎn)的個(gè)數(shù),訓(xùn)練點(diǎn)通常通過(guò)隨機(jī)采樣獲得.將初始條件和邊界條件的數(shù)據(jù)集以及殘差數(shù)據(jù)集分別保存為

通過(guò)最小化損失函數(shù),神經(jīng)網(wǎng)絡(luò)輸出的近似解uθ逼近真實(shí)解,PINN 可以在求解域內(nèi)得到滿足物理信息的預(yù)測(cè).用 Σ 表示數(shù)據(jù)集的總和,即 Σ={τi,τb,τr},PINN 的訓(xùn)練就是一個(gè)使損失函數(shù)取得最小值的優(yōu)化過(guò)程

神經(jīng)網(wǎng)絡(luò)優(yōu)化算法常用的有Adam 算法和LBFGS 算法.神經(jīng)網(wǎng)絡(luò)參數(shù) θ 的更新通過(guò)反向傳播算法來(lái)實(shí)現(xiàn),激活函數(shù) σ 是高階可微的,常用的有tanh和sin.

1.3 課程-遷移學(xué)習(xí)物理信息神經(jīng)網(wǎng)絡(luò)

本文引入課程學(xué)習(xí)和遷移學(xué)習(xí)技術(shù),提出了課程-遷移學(xué)習(xí)物理信息神經(jīng)網(wǎng)絡(luò)(CTL-PINN),將其應(yīng)用于長(zhǎng)時(shí)間物理力學(xué)行為模擬.如圖2 所示,CTLPINN 求解長(zhǎng)時(shí)間歷程問(wèn)題可分為三個(gè)階段:第一階段是預(yù)訓(xùn)練,采用傳統(tǒng)PINN 方法在短時(shí)間內(nèi)進(jìn)行;第二階段是課程學(xué)習(xí),用于時(shí)域擴(kuò)大;第三階段是遷移學(xué)習(xí),用于時(shí)域遷移.具體實(shí)現(xiàn)步驟參見(jiàn)算法1.課程學(xué)習(xí)使單個(gè)神經(jīng)網(wǎng)絡(luò)可求解的時(shí)域盡可能足夠大,以便使后續(xù)遷移學(xué)習(xí)獲得較大的學(xué)習(xí)步長(zhǎng).而后續(xù)的遷移學(xué)習(xí)本質(zhì)上是一種時(shí)域堆疊分解方法,它能夠進(jìn)一步擴(kuò)大可求解的時(shí)域.

圖2 課程-遷移學(xué)習(xí)物理信息神經(jīng)網(wǎng)絡(luò)求解長(zhǎng)時(shí)間歷程問(wèn)題示意圖Fig.2 Schematic diagram of curriculum-transfer-learning-based physics-informed neural networks for solving long-term problems

CTL-PINN 第一階段得以實(shí)現(xiàn)的原因是傳統(tǒng)PINN 方法能夠訓(xùn)練得到良好的短時(shí)間問(wèn)題的解;在獲得初始階段預(yù)訓(xùn)練的模型后,進(jìn)入后續(xù)的課程學(xué)習(xí)和遷移學(xué)習(xí)階段,其在某一訓(xùn)練步中所執(zhí)行的具體操作如圖3 所示,每個(gè)訓(xùn)練過(guò)程可視為一個(gè)獨(dú)立的PINN 求解過(guò)程,課程學(xué)習(xí)和遷移學(xué)習(xí)階段實(shí)現(xiàn)原理詳見(jiàn)1.3.1 和1.3.2 節(jié).

圖3 在課程學(xué)習(xí)或遷移學(xué)習(xí)某一訓(xùn)練步中所執(zhí)行的具體操作Fig.3 Specific operations performed during a training step in curriculum learning or transfer learning

1.3.1 課程學(xué)習(xí)階段

課程學(xué)習(xí)是一種訓(xùn)練策略,模仿人類(lèi)的學(xué)習(xí)過(guò)程,主張讓模型先從容易的樣本開(kāi)始學(xué)習(xí),并逐漸進(jìn)階到復(fù)雜的樣本和知識(shí)[30];本研究則是基于預(yù)訓(xùn)練的部分中較小時(shí)域的模型,逐步擴(kuò)大時(shí)域,若課程學(xué)習(xí)部分經(jīng)n次時(shí)域擴(kuò)大由時(shí)域 (0,Tp] 最終擴(kuò)大至?xí)r域 (0,Te],擴(kuò)大過(guò)程描述為

內(nèi)訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)在 (X,t) 處的預(yù)測(cè)值,用Nsp表示額外監(jiān)督學(xué)習(xí)點(diǎn)的數(shù)量,則額外監(jiān)督學(xué)習(xí)數(shù)據(jù)集如下所示

其中損失函數(shù)如下式所示

其中wsp是額外監(jiān)督學(xué)習(xí)部分的權(quán)重,Lsp是額外監(jiān)督學(xué)習(xí)部分的損失,其表達(dá)式如下

在課程學(xué)習(xí)過(guò)程中,為了保證訓(xùn)練的準(zhǔn)確性,擴(kuò)大步長(zhǎng)不宜過(guò)大;為了盡可能地求解更長(zhǎng)時(shí)間的問(wèn)題,使用小步長(zhǎng)多次擴(kuò)大.每次課程學(xué)習(xí)都可以擴(kuò)大可求解的時(shí)域,當(dāng)然,受限于單個(gè)神經(jīng)網(wǎng)絡(luò)的擬合能力,不可能一直擴(kuò)大下去.

1.3.2 遷移學(xué)習(xí)階段

遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)技術(shù),它可以將一個(gè)預(yù)訓(xùn)練模型應(yīng)用于一個(gè)新的問(wèn)題[31].在本研究中,以課程學(xué)習(xí)最終時(shí)域 (0,Te] 的模型為基礎(chǔ),將其可求解域進(jìn)行遷移,若遷移學(xué)習(xí)部分經(jīng)m次時(shí)域遷移后可求解域由時(shí)域 (0,Te] 最終擴(kuò)大至?xí)r域 (0,Tt],遷移過(guò)程描述為

其中損失函數(shù)如下式所示

2 數(shù)值算例及討論

本節(jié)將課程-遷移學(xué)習(xí)物理信息神經(jīng)網(wǎng)絡(luò)(CTLPINN)應(yīng)用于長(zhǎng)時(shí)間非線性波傳播模擬中,并通過(guò)算例驗(yàn)證其有效性和魯棒性.為了評(píng)估求解的準(zhǔn)確性,引入L2誤差,其計(jì)算方法如下式所示

本節(jié)中的所有算例都是在深度學(xué)習(xí)框架TensorFlow1.4 版本下實(shí)現(xiàn)的,激活函數(shù)為tanh,優(yōu)化算法為L(zhǎng)-BFGS 算法,損失函數(shù)中各部分的權(quán)重均取為1.

2.1 立方體內(nèi)非線性簡(jiǎn)諧波傳播

2.1.1 模型超參數(shù)討論

超參數(shù)的選擇對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果有重要影響,本算例探索了神經(jīng)網(wǎng)絡(luò)的深度和寬度及殘差點(diǎn)數(shù)量Nr對(duì)訓(xùn)練結(jié)果的影響.考慮以下的非線性波動(dòng)方程及其對(duì)應(yīng)的精確解

其中 (x,y,z,t)∈(0,1)3×(0,T],求解域?yàn)檫呴L(zhǎng)為1 的立方體,右端源項(xiàng)Q(x,y,z,t) 可將精確解代入控制方程中求得;其初始條件如下

其邊界條件如下

令c=1,A=1,kx=1,ky=2,kz=3,ω=0.2π,初始點(diǎn)數(shù)量=200,邊界條件為第一類(lèi)邊界條件,邊界點(diǎn)數(shù)量=100×6=600,殘差點(diǎn)數(shù)量Nr=1000,非線性項(xiàng)f(u)=sinu.采用傳統(tǒng)PINN 方法在時(shí)域(0,30 s]內(nèi)使用不同的深度和寬度的神經(jīng)網(wǎng)絡(luò)對(duì)上述問(wèn)題求解,記錄其L2誤差,如表1 所示.

表1 在T=30 s 時(shí)不同隱藏層數(shù)和神經(jīng)元個(gè)數(shù)計(jì)算結(jié)果的L2誤差Table 1 L2 error with different numbers of hidden layers and neurons at T=30 s

神經(jīng)網(wǎng)絡(luò)為15 層,每層30 個(gè)神經(jīng)元效果最佳;由于后續(xù)的算例中要進(jìn)行時(shí)域擴(kuò)大,要求神經(jīng)網(wǎng)絡(luò)有較高的擬合能力;綜合考慮,在后續(xù)的算例中,神經(jīng)網(wǎng)絡(luò)模型中隱藏層數(shù)取為15,每層含有40 個(gè)神經(jīng)元.圖4 繪制了Nr取不同值時(shí),其L2誤差的變化;Nr=1000 時(shí),誤差趨于穩(wěn)定,Nr=1200 其L2誤差最小,為4.88×10-4,因此在后續(xù)的算例中Nr均取為1200.

圖4 不同的殘差點(diǎn)數(shù)量對(duì)應(yīng)的 L2 誤差Fig.4 L2 error corresponding to different numbers of residual points

2.1.2 課程學(xué)習(xí)和遷移學(xué)習(xí)

CTL-PINN 時(shí)域擴(kuò)大方法采用傳統(tǒng)PINN 方法在時(shí)域(0,20 s]內(nèi)對(duì)波動(dòng)方程求解,控制方程、初始和邊界條件和參數(shù)與算例2.1.1 相同,以此作為課程學(xué)習(xí)的初始模型;每次將時(shí)域擴(kuò)大2 s,即課程學(xué)習(xí)步長(zhǎng) ?T=2 s,課程學(xué)習(xí)額外監(jiān)督學(xué)習(xí)點(diǎn)數(shù)量Nsp=1000,最終將可求解時(shí)域擴(kuò)大為(0,100 s],即T=100 s.同時(shí)采用傳統(tǒng)PINN 方法在時(shí)域(0,T]對(duì)波動(dòng)方程求解,T依次取為20,24,28,···,96 和100 s,每次求解相互獨(dú)立,參數(shù)與算例2.1.1 一致.如圖5 所示,繪制出二者的L2誤差隨時(shí)域變化,可以發(fā)現(xiàn)傳統(tǒng)PINN 方法在短時(shí)間內(nèi)能夠訓(xùn)練出高精度的結(jié)果,這也是CTL-PINN 得以實(shí)現(xiàn)的基礎(chǔ),但是隨著所需求解時(shí)域的增大,其誤差急劇增大且不穩(wěn)定,而通過(guò)CTL-PINN 訓(xùn)練的結(jié)果更為精確和穩(wěn)定.如圖6 所示,當(dāng)t=100 s 時(shí),CTL-PINN 預(yù)測(cè)解和精確解基本一致,絕對(duì)誤差在 7.0×10-3以內(nèi),說(shuō)明了CTL-PINN 模擬長(zhǎng)時(shí)間非線性波傳播過(guò)程的有效性.

圖5 傳統(tǒng)PINN 與CTL-PINN 的 L2 誤差隨時(shí)域增大變化Fig.5 L2 error variation with respect to the increase of the time domain by standard PINN and CTL-PINN

圖6 當(dāng) t=100 s 時(shí)在 z=0.5 處切片,即 u(x,y,0.5,100)Fig.6 Slice at z=0.5 at t=100 s,i.e.,u(x,y,0.5,100)

圖7 給出了不同課程學(xué)習(xí)步長(zhǎng)對(duì)訓(xùn)練結(jié)果的影響,課程學(xué)習(xí)步長(zhǎng)越短其訓(xùn)練的精度越高,推進(jìn)過(guò)程中誤差的變化越平穩(wěn),過(guò)長(zhǎng)則完全無(wú)法訓(xùn)練,但是課程學(xué)習(xí)步長(zhǎng)越短其在時(shí)間軸上的增長(zhǎng)越慢,對(duì)于課程學(xué)習(xí)步長(zhǎng)的選擇需要綜合考慮.

圖7 不同課程學(xué)習(xí)步長(zhǎng)CTL-PINN 的 L2 誤差隨時(shí)域增大變化Fig.7 L2 error variation with respect to the increase of the time domain by CTL-PINN with different time step sizes in curriculum learning stage

CTL-PINN 時(shí)域遷移方法以課程學(xué)習(xí)方法完成訓(xùn)練的較大時(shí)域的模型為基礎(chǔ)模型,并使用該模型預(yù)測(cè)的中間時(shí)刻的值作為遷移后時(shí)域的初始值,并在兩時(shí)域的交集的時(shí)域內(nèi)均勻采樣2000 個(gè)點(diǎn)作為額外的監(jiān)督學(xué)習(xí)點(diǎn).如表2 所示,不同遷移學(xué)習(xí)步長(zhǎng)均取得了較低的誤差,對(duì)于本問(wèn)題,遷移學(xué)習(xí)步長(zhǎng)以50～70 s 為宜.

表2 不同遷移學(xué)習(xí)步長(zhǎng)對(duì)應(yīng)的 L2 誤差Table 2 L2 error corresponding to different transfer learning step sizes

2.1.3 其他非線性項(xiàng)

選取非線性項(xiàng)為u2,u3及eu,初始和邊界條件及參數(shù)與算例2.1.2 節(jié)相同,探討CTL-PINN 方法對(duì)不同非線性問(wèn)題的適應(yīng)性.如圖8 所示,對(duì)于u2及u3,在100 s 以內(nèi)均可較高精度地求解,二者結(jié)果絕對(duì)誤差分布如圖9(a) 和圖9(b) 所示.而 eu在推進(jìn)至88 s 處誤差突然增大,由于非線性過(guò)強(qiáng),無(wú)法繼續(xù)再進(jìn)行時(shí)域擴(kuò)大.以(0,88 s]的模型作為遷移學(xué)習(xí)的基礎(chǔ)模型,遷移學(xué)習(xí)步長(zhǎng)為12 s,使用2 個(gè)神經(jīng)網(wǎng)絡(luò)可將求解域擴(kuò)大為(0,100 s],其結(jié)果絕對(duì)誤差分布如圖9(c)所示,遷移學(xué)習(xí)在保持較大的學(xué)習(xí)步長(zhǎng)的基礎(chǔ)上進(jìn)一步擴(kuò)大了可求解的時(shí)域.CTL-PINN方法對(duì)不同的非線性問(wèn)題都有很好的適應(yīng)性.

圖8 不同的非線性項(xiàng)CTL-PINN 的 L2 誤差隨時(shí)域增大變化Fig.8 L2 error variation with respect to the increase of the time domain by CTL-PINN with different nonlinear terms

圖9 在求解時(shí)域?yàn)?0,100 s]時(shí)的絕對(duì)誤差分布 (y=0.5,z=0.5)Fig.9 Absolute error distributions in the time domain of(0,100 s] (y=0.5,z=0.5)

2.2 球體內(nèi)非線性衰減波傳播

考慮一個(gè)具有以下控制方程和精確解的非線性衰減波

其中 (x,y,z,t)∈?×(0,T],求解域 ? 為半徑為1 的球體,初始和邊界條件滿足精確解,源項(xiàng)可由精確解得到,邊界點(diǎn)在球面上,數(shù)量,ω=0.3π,其他參數(shù)與2.1 節(jié)相同.

如圖10 所示,相比傳統(tǒng)PINN,CTL-PINN 訓(xùn)練的結(jié)果更為精確和穩(wěn)定,可求解的時(shí)域更長(zhǎng);而對(duì)于無(wú)速度初始條件與初始和邊界條件訓(xùn)練點(diǎn)數(shù)據(jù)附帶1‰隨機(jī)噪聲這兩種求解難度更高的情況,CTLPINN 亦能求解,說(shuō)明了CTL-PINN 具有良好的魯棒性.如圖11 所示,衰減波在傳播過(guò)程中振幅逐步減小,造成這種現(xiàn)象的原因通常是波的能量在傳播過(guò)程中轉(zhuǎn)化為熱能,或者被傳播介質(zhì)吸收.當(dāng)T=80 s時(shí),CTL-PINN 預(yù)測(cè)解和真實(shí)解基本一致,而傳統(tǒng)PINN 預(yù)測(cè)解和真實(shí)解相差甚遠(yuǎn),體現(xiàn)了CTL-PINN處理復(fù)雜波傳播問(wèn)題的有效性.

圖10 傳統(tǒng)PINN、CTL-PINN、無(wú)速度初始條件的CTL-PINN (not IC2)與初始和邊界條件訓(xùn)練點(diǎn)數(shù)據(jù)附帶1‰隨機(jī)噪聲的CTL-PINN(1‰ noisy data)的 L2 誤差隨時(shí)域增大變化圖Fig.10 L2 error variation with respect to the increase of the time domain by standard PINN,CTL-PINN,CTL-PINN (not IC2) without velocity initial conditions and CTL-PINN (1‰ noisy data) with 1‰random noise attached to the initial and boundary conditions training point data

圖11 在點(diǎn)(0.5,0.5,0.5)處的真實(shí)解、傳統(tǒng)PINN 與CTL-PINN 的預(yù)測(cè)解Fig.11 True solution,predicted solution by standard PINN and CTLPINN at point (0.5,0.5,0.5)

2.3 無(wú)源項(xiàng)的非線性波傳播

上述2 個(gè)算例證明了CTL-PINN 在模擬長(zhǎng)時(shí)間非線性波傳播過(guò)程的有效性和魯棒性.本算例除去源項(xiàng),研究非線性項(xiàng)的強(qiáng)弱對(duì)波傳播的影響,其控制方程如下所示

圖12 不同的非線性項(xiàng)系數(shù) λ 在點(diǎn)(0.5,0.5,0.5)處的CTL-PINN 的預(yù)測(cè)解Fig.12 Predicted solution by CTL-PINN at point (0.5,0.5,0.5) for various nonlinear term coefficients λ

3 結(jié)論

本文提出了課程-遷移學(xué)習(xí)物理信息神經(jīng)網(wǎng)絡(luò),有效地解決了傳統(tǒng)物理信息神經(jīng)網(wǎng)絡(luò)在長(zhǎng)時(shí)間歷程模擬中存在的計(jì)算穩(wěn)定性差和無(wú)法獲得有效解的問(wèn)題.通過(guò)將長(zhǎng)時(shí)間歷程模擬問(wèn)題轉(zhuǎn)化為若干個(gè)短時(shí)間歷程模擬子問(wèn)題,并結(jié)合課程學(xué)習(xí)和遷移學(xué)習(xí)技術(shù),實(shí)現(xiàn)了長(zhǎng)時(shí)間非線性波傳播模擬.此外,本文方法還利用當(dāng)前步物理信息神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)參數(shù)及額外監(jiān)督學(xué)習(xí)點(diǎn)信息,避免了傳統(tǒng)物理信息神經(jīng)網(wǎng)絡(luò)陷入局部最優(yōu)解的問(wèn)題.通過(guò)幾個(gè)基準(zhǔn)算例的驗(yàn)證,證明了本文方法在模擬長(zhǎng)時(shí)間非線性波傳播過(guò)程中的有效性和魯棒性.

(1) CTL-PINN 方法可以獲得比傳統(tǒng)PINN 方法更精確的解,并且可以求解更長(zhǎng)的時(shí)域.然而,由于需要反復(fù)導(dǎo)入模型進(jìn)行訓(xùn)練,其訓(xùn)練時(shí)間較長(zhǎng).如何在增大學(xué)習(xí)步長(zhǎng)的同時(shí)保證精度,是一個(gè)必須考慮的問(wèn)題.為了解決這個(gè)問(wèn)題,可以在后續(xù)研究中開(kāi)發(fā)步長(zhǎng)自適應(yīng)算法,采用并行技術(shù)以提高訓(xùn)練效率.

(2)額外監(jiān)督學(xué)習(xí)點(diǎn)可以提升神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果,但是由于額外監(jiān)督學(xué)習(xí)的數(shù)據(jù)是由神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)得到,其與精確值之間存在一定誤差,會(huì)導(dǎo)致一定的誤差累積.

(3)本文對(duì)非線性波傳播正問(wèn)題進(jìn)行了求解,后續(xù)可在此基礎(chǔ)上進(jìn)一步將該算法拓展到反問(wèn)題.