基于前饋型神經(jīng)網(wǎng)絡(luò)解線性Fredholm積分-微分方程

許彩虹，邵新平，張 林

(杭州電子科技大學(xué)理學(xué)院，浙江 杭州 310018)

0 引 言

積分方程、積分-微分方程在解決數(shù)學(xué)，經(jīng)濟(jì)學(xué)和最優(yōu)控制理論等方面應(yīng)用廣泛。這些方程一般無(wú)法直接求得精確解，通常采用不同的數(shù)值方法進(jìn)行近似求解。目前，許多先進(jìn)而有效的數(shù)值方法被用于求解積分方程。例如，文獻(xiàn)[1]用Taylor展開式求解積分方程，文獻(xiàn)[2]引入了Taylor矩陣法求解積分方程，文獻(xiàn)[3]提出求解Volterra積分-微分方程的He同倫攝動(dòng)法，文獻(xiàn)[4]對(duì)求解線性Fredholm積分方程的同倫攝動(dòng)法進(jìn)行了改進(jìn)，文獻(xiàn)[5]應(yīng)用Legendre多項(xiàng)式求解高階線性Fredholm積分-微分方程的混合條件，提出了Legendre配置矩陣法。神經(jīng)網(wǎng)絡(luò)在求解積分-微分方程領(lǐng)域也取得了一些進(jìn)展，文獻(xiàn)[6]將神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于求解Lyapunov矩陣方程，文獻(xiàn)[7]將深度神經(jīng)網(wǎng)絡(luò)模型用于求解高維橢圓型偏微分方程。本文提出了一種基于Taylor展開式的神經(jīng)網(wǎng)絡(luò)解線性Fredholm積分-微分方程的新方法，采用Taylor展開式代替原系統(tǒng)中的未知函數(shù)，構(gòu)造一個(gè)兩層的前饋神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到相應(yīng)的數(shù)值解。

1 積分-微分方程

1.1 Fredholm積分-微分方程

線性Fredholm積分-微分方程的基本形式為：

(1)

式中，λ>0，k(s,t)為a≤s,t≤b上任意給定的一個(gè)核函數(shù)，f(t)為t∈[a,b]上的函數(shù)，f(t)和k(s,t)均為已知函數(shù)，而F(t)為未知函數(shù)。

證明先證存在性。對(duì)式(1)兩邊同時(shí)在區(qū)間[a,t],a≤t≤b上取積分，得到：

(2)

構(gòu)造皮卡逐步逼近序列{Fn(t)}：

(3)

f(t)在a≤t≤b內(nèi)連續(xù)，則F0(t)有界。令F0(t)≤F，可得:

依次類推，可得：

由魏爾斯特拉斯判別法可知，序列{Fn(t)}一致收斂。

再證唯一性。設(shè)G(t)是方程(1)的另一個(gè)解，則

(4)

由式(2)—式(4)可得

應(yīng)用柯西布尼柯夫斯基-施瓦茨不等式，可得：

兩邊同時(shí)取定積分，得到：

1.2 Fredholm積分-微分方程的線性方程組

第二類Fredholm型積分-微分線性方程組的一般形式如下：

(5)

式中，t,s∈[a,b]，Aji(t),kji(t)為實(shí)函數(shù)，并且假定Aji(t),kji(s,t)在區(qū)間a≤s,t≤b上對(duì)于所有的參數(shù)都是可微的，F(xiàn)(t)=[F1(t),…,Fn(t)]是待確定的向量解。

1.3 Fredholm積分-微分方程的Taylor展開

為了簡(jiǎn)單說(shuō)明Fredholm積分-微分方程的Taylor多項(xiàng)式方法的基本原理，取n=2，即：

(6)

則給定系統(tǒng)解的形式為：

(7)

對(duì)式(6)的每個(gè)方程進(jìn)行N-1次關(guān)于t的微分，得到：

(8)

(9)

式中，

2 神經(jīng)網(wǎng)絡(luò)構(gòu)造與學(xué)習(xí)算法

2.1 輸入輸出關(guān)系

圖1 神經(jīng)網(wǎng)絡(luò)示意圖

2.2 誤差函數(shù)

矩陣和目標(biāo)向量的定義如下：

假設(shè)Yp=(Yp0,…,YpN)是對(duì)應(yīng)于輸入向量X1,X2的輸出向量，F(xiàn)pτ是Xpτ對(duì)應(yīng)邊界條件的輸出向量，根據(jù)輸入向量和輸出向量定義誤差函數(shù)，誤差函數(shù)由內(nèi)部誤差和邊界誤差構(gòu)成。

內(nèi)部誤差為：

(10)

邊界誤差為：

(11)

神經(jīng)網(wǎng)絡(luò)的總誤差函數(shù)為：

(12)

式中，w1，w2表示內(nèi)部誤差與外部誤差的權(quán)重，取w1=1，w2=1。

2.3 前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

對(duì)輸入信號(hào)Xri(r=1,2;i=0,1，2，…,N)進(jìn)行隨機(jī)初始化，初始值記為Xri(0)。

參數(shù)Xri的更新公式為：

Xri(n+1)=Xri(n)+ΔXri(n)

(13)

(14)

式中，n為迭代次數(shù)，α為動(dòng)量項(xiàng)常數(shù)，η為學(xué)習(xí)率。

前饋型神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Network, FNN)算法的核心是通過(guò)式(12)中的成本函數(shù)計(jì)算出式(14)的導(dǎo)數(shù)。推導(dǎo)過(guò)程如下：

綜上所述，F(xiàn)NN求解Fredholm積分-微分方程的算法流程如下。

(1)令α>0,η>0,Emax>0，隨機(jī)初始化輸入信號(hào)Xri。

(a)前向傳播：通過(guò)輸入向量計(jì)算輸出向量;

(b)反向傳播：利用代價(jià)函數(shù)來(lái)調(diào)整參數(shù);

(c)通過(guò)將當(dāng)前誤差加到誤差E中計(jì)算累積周期誤差。

(4)如果E>Emax，將E設(shè)為0，返回步驟3開始一個(gè)新的訓(xùn)練周期；如果E≤Emax，終止訓(xùn)練。

3 數(shù)值實(shí)例分析

對(duì)Fredholm積分-微分方程進(jìn)行數(shù)值求解，對(duì)近似解畫出其誤差曲線，并與梯形求積規(guī)則(Trapezoidal Quadrature Rule, TQR)數(shù)值方法進(jìn)行比較。

取學(xué)習(xí)率η=0.01，動(dòng)量項(xiàng)常數(shù)α=0.003，停止條件為E<10-8。求解下述線性Fredholm積分-微分方程組：

(15)

通過(guò)數(shù)值實(shí)例分析得到的近似解與誤差分析如表1所示。從表1可得，使用FNN神經(jīng)網(wǎng)絡(luò)來(lái)近似求解方程組(15)，用四次多項(xiàng)式來(lái)逼近方程的解，經(jīng)過(guò)255步，F(xiàn)1(t)和F2(t)的近似解為：

表1 近似解與誤差分析表

圖2 誤差函數(shù)與迭代次數(shù)的關(guān)系

誤差函數(shù)與迭代次數(shù)的關(guān)系如圖2所示。圖2中，隨著迭代次數(shù)的增加，誤差函數(shù)迅速下降，最后趨于穩(wěn)定。

近似解的收斂性如圖3所示。從圖3可以看出，迭代初期波動(dòng)較大,這是由于隨機(jī)產(chǎn)生初始值所導(dǎo)致，但隨著迭代次數(shù)的增加，逐漸穩(wěn)定并收斂到近似解。數(shù)值解與精確解的比較如圖4所示。通過(guò)圖4可知，Taylor展開式的階數(shù)越高，精確度越高。

圖3 近似解的收斂性

圖4 數(shù)值解與精確解的比較

運(yùn)用MATLAB R2014a實(shí)現(xiàn)算法求得線性方程組的近似解為：

分別采用FNN算法和TQR算法來(lái)近似求解Fredholm積分-微分方程組(15)，2種算法得到的近似解與精確解如表2所示。通過(guò)表2中的數(shù)值對(duì)比可見(jiàn)，用FNN算法求得的近似解比TQR所得的近似解更接近精確解。

表2 近似解與精確解比較

4 結(jié)束語(yǔ)

本文提出一種基于神經(jīng)網(wǎng)絡(luò)近似求解線性Fredholm積分-微分方程的新方法，提高了算法的精確度。目前關(guān)于線性Fredholm積分-微分方程的相關(guān)研究較少，今后，將進(jìn)一步拓展相關(guān)研究，采用其他方法用于求解線性Fredholm積分-微分方程，進(jìn)一步提高算法的精度。