基于Levenberg-Marquardt Feed-forward Back Propagation神經(jīng)網(wǎng)絡(luò)的敏感性分析方法＊

姜強(qiáng) 劉天才 李宗洋 楊宏偉

（1.中國(guó)原子能科學(xué)研究院，北京 102413；2.中核戰(zhàn)略規(guī)劃研究總院，北京 100048）

引言

敏感性分析的目的是描述模型響應(yīng)值受每個(gè)輸入變量或輸入變量組合不確定性的影響。有多種算法可用于進(jìn)行敏感性分析。例如，計(jì)算輸入變量樣本與輸出樣本的相關(guān)性（基于相關(guān)性的度量）、模型在給定點(diǎn)的偏導(dǎo)數(shù)值（線性化方法）等?？偟膩碚f，敏感性分析算法可以分為三類：基于樣本的方法、線性化方法、全局方法。

（1）基于樣本的方法：基于對(duì)模型可用的蒙特卡羅樣本后處理，得到敏感性分析結(jié)果，不需要特殊的采樣方法。典型的方法有：輸入/輸出相關(guān)性方法（Input/output Correlation Method）、標(biāo)準(zhǔn)回歸系數(shù)方法（Standard Regression Coefficients Method）等。

（2）線性化方法：基于假設(shè)模型是線性并進(jìn)行模型評(píng)估得到敏感性分析結(jié)果。此方法無法識(shí)別輸入變量之間的非線性行為和高階交互。典型的方法有：微擾法（Perturbation Method）、Cotter方法等。

（3）全局方法：多為方差分解方法，根據(jù)單個(gè)輸入變量或其組合的貢獻(xiàn)來分解模型輸出的方差。典型的方法有：Morris方法、Borgonovo指數(shù)方法、ANCOVA指數(shù)方法等。

本文提出基于LM神經(jīng)網(wǎng)絡(luò)的敏感性分析方法，分析LM神經(jīng)網(wǎng)絡(luò)算法與敏感性分析之間的理論關(guān)系，基于不確定量化分析工具UQLab[1]生成分析樣本并計(jì)算量化的敏感性分析結(jié)果，通過對(duì)結(jié)果的對(duì)比分析，驗(yàn)證方法分析的可靠性并進(jìn)一步討論樣本數(shù)量對(duì)計(jì)算結(jié)果的影響。

一、LM神經(jīng)網(wǎng)絡(luò)算法與敏感性分析

為了說明LM神經(jīng)網(wǎng)絡(luò)算法與敏感性分析的關(guān)系，首先考慮一個(gè)多元函數(shù)：

其中，L是感興趣輸出，xi是輸入?yún)?shù)。

令輸入?yún)?shù)的變化量分別為 Δx1,Δx2,...,Δxi,Δxn，感興趣輸出的變化量為 ΔL。根據(jù)多元函數(shù)的泰勒展開式可得：

定義L對(duì)xi的敏感度Si為L(zhǎng)的變化率與參數(shù)xi變化率之比。Si的數(shù)值可以通過下式計(jì)算：

其中，xi與L值均為已知參數(shù)，因此，敏感性量化分析的核心是求解多元函數(shù)f(x1,x2,...,xi,xn)關(guān)于輸入?yún)?shù)的一階偏導(dǎo)即Jacobian矩陣。

LM神經(jīng)網(wǎng)絡(luò)算法是被設(shè)計(jì)為接近二階訓(xùn)練速度而不必計(jì)算Hessian矩陣的算法。當(dāng)神經(jīng)網(wǎng)絡(luò)性能函數(shù)具有平方和的形式時(shí)（在訓(xùn)練反向傳播網(wǎng)絡(luò)中是典型的），Hessian矩陣可以近似為

并且梯度可以計(jì)算為

其中J即是Jacobian矩陣，包含關(guān)于權(quán)重和偏差的網(wǎng)絡(luò)誤差的一階導(dǎo)數(shù)，e是網(wǎng)絡(luò)誤差的矢量。

LM神經(jīng)網(wǎng)絡(luò)算法以類似Gauss-Newton算法對(duì)Hessian矩陣進(jìn)行近似

同時(shí)通過標(biāo)準(zhǔn)反向傳播技術(shù)并在最后一層附以一個(gè)修改來計(jì)算Jacobian矩陣

上式中矩陣的每列是靈敏度矢量，通過網(wǎng)絡(luò)反向傳播產(chǎn)生一行Jacobian行列式。

根據(jù)LM神經(jīng)網(wǎng)絡(luò)算法的特點(diǎn)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到的權(quán)值即能反映模型的敏感性。由此提出了基于LM神經(jīng)網(wǎng)絡(luò)算法的敏感性分析方法，以下采用不確定性量化分析工具得到的樣本及已有的敏感性分析結(jié)果對(duì)方法進(jìn)行驗(yàn)證。

二、基于LM神經(jīng)網(wǎng)絡(luò)算法的敏感性分析方法驗(yàn)證

1.敏感性分析結(jié)果

本文以堆芯子通道模型作為驗(yàn)證計(jì)算實(shí)例，選擇通道冷卻劑入口溫度、線功率、系統(tǒng)壓力、格架位置、平均入口質(zhì)量流速作為不確定性源，其概率密度分布函數(shù)見表1，其中，X1表示平均值，X2表示標(biāo)準(zhǔn)差，標(biāo)準(zhǔn)差大小均為平均值的1%?；诓淮_定性量化分析工具生成3000個(gè)樣本，并應(yīng)用輸入/輸出相關(guān)性（Input/output correlation）、標(biāo)準(zhǔn)回歸系數(shù)（Standard Regression Coefficients）、Morris等敏感性分析方法，得到結(jié)果如表2所示。

表1 不確定性源概率密度函數(shù)分布

表2 敏感性分析結(jié)果表

2.基于LM神經(jīng)網(wǎng)絡(luò)算法的敏感性分析

基于得到的3000個(gè)樣本，使用2層LM神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，如圖1所示。以隱藏層包含10個(gè)神經(jīng)元節(jié)點(diǎn)的LM神經(jīng)網(wǎng)絡(luò)為例，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，得到表征輸入到隱藏層即Jacobian矩陣的權(quán)重iw和修正Jacobian矩陣的最后一層的權(quán)重lw，如表3、表4所示。如上所述，表4矩陣的每列權(quán)重表征的是靈敏度矢量，用以修正表3相對(duì)應(yīng)的行權(quán)重值。用表4作為行矩陣乘以表3，即可得到最終的敏感性結(jié)果，即

表4 修正Jacobian矩陣的權(quán)重lw

圖1 神經(jīng)網(wǎng)絡(luò)圖

具體值如表5第10行所示。使用同樣的方法得到不同神經(jīng)元節(jié)點(diǎn)時(shí)的敏感性分析結(jié)果，得到表5。

表5 不同數(shù)量神經(jīng)元節(jié)點(diǎn)時(shí)的敏感性分析結(jié)果

考慮到不同方法得到的線功率、系統(tǒng)壓力、格架位置的敏感性指數(shù)的值均極小，只對(duì)比不同方法得到的通道冷卻劑入口溫度、平均入口質(zhì)量流速敏感性指數(shù)相對(duì)值。得到堆芯子通道計(jì)算模型敏感性相對(duì)指數(shù)圖，如圖2所示。

圖2 堆芯子通道計(jì)算模型敏感性相對(duì)指數(shù)

在圖2中，各方法得到的關(guān)于通道冷卻劑入口溫度、平均入口質(zhì)量流速敏感性指數(shù)相對(duì)值相近，相關(guān)性結(jié)果相同，增加或減少隱藏層的神經(jīng)元節(jié)點(diǎn)并沒有顯著的改變敏感性分析結(jié)果，基于LM神經(jīng)網(wǎng)絡(luò)的敏感性分析方法是有效的。

3.訓(xùn)練樣本數(shù)對(duì)LM神經(jīng)網(wǎng)絡(luò)算法敏感性分析結(jié)果的影響

為了進(jìn)一步討論訓(xùn)練樣本數(shù)對(duì)分析結(jié)果的影響，以10為步長(zhǎng)，以10個(gè)樣本數(shù)為起點(diǎn)，依次從3000個(gè)樣本中隨機(jī)選擇對(duì)應(yīng)數(shù)量的樣本，以此作為神經(jīng)網(wǎng)絡(luò)新的樣本。再使用不同數(shù)量神經(jīng)元節(jié)點(diǎn)的2層LM神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本，得到分析結(jié)果。同樣只對(duì)比通道冷卻劑入口溫度、平均入口質(zhì)量流速敏感性指數(shù)相對(duì)值，如表6所示。

表6 不同樣本數(shù)敏感性相對(duì)指數(shù)結(jié)果

在表6中，只使用一個(gè)神經(jīng)元節(jié)點(diǎn)時(shí)，計(jì)算結(jié)果隨樣本數(shù)收斂速度極快，在樣本數(shù)量達(dá)到20以后，敏感性分析結(jié)果就已趨于穩(wěn)定值，穩(wěn)定性極好。增加神經(jīng)元節(jié)點(diǎn)后，計(jì)算結(jié)果的收斂性和穩(wěn)定性變差。

結(jié)語

基于LM神經(jīng)網(wǎng)絡(luò)算法的敏感性分析方法是可用的，并具有準(zhǔn)確性好、收斂快的特點(diǎn)。當(dāng)使用隱藏層只包含1個(gè)神經(jīng)元節(jié)點(diǎn)的2層LM神經(jīng)網(wǎng)絡(luò)時(shí)，敏感性分析結(jié)果隨訓(xùn)練樣本數(shù)收斂速度最快、穩(wěn)定性最好。