基于稠密連接網(wǎng)絡(luò)的地下水污染替代模型研究

江思珉，孔維銘，吳延浩，劉金炳，張春秋，夏學(xué)敏

（1.同濟(jì)大學(xué) 土木工程學(xué)院，上海 200092；2.長(zhǎng)江生態(tài)環(huán)保集團(tuán)有限公司，江蘇南京 210019；3.上海理工大學(xué) 環(huán)境與建筑學(xué)院，上海 200093）

地下水系統(tǒng)一旦受到污染則很難恢復(fù)，并將長(zhǎng)期影響地下水水質(zhì)、地下水系統(tǒng)生態(tài)平衡和人體健康。與地表水相比，地下水一旦遭受污染其治理和修復(fù)難度更大，往往需要更長(zhǎng)的時(shí)間（常常持續(xù) 30年以上），費(fèi)用非常昂貴［1］。通常來(lái)說(shuō)，要對(duì)地下水進(jìn)行有效的治理和修復(fù)，需要大致弄清污染源信息（地下水污染溯源）以及能夠?qū)畬有再|(zhì)（滲透系數(shù)等）進(jìn)行準(zhǔn)確表征（模擬參數(shù)反演），這是地下水?dāng)?shù)值模擬領(lǐng)域亟待解決的重要逆問(wèn)題。地下水污染溯源和滲透系數(shù)場(chǎng)參數(shù)反演問(wèn)題等除了逆問(wèn)題具有不適定性的挑戰(zhàn)，還面臨計(jì)算負(fù)荷量的制約［2］。為降低地下水反演問(wèn)題的計(jì)算成本，已有研究考慮提出效率更高的反問(wèn)題求解算法［3］、采用性能更高的計(jì)算設(shè)備進(jìn)行并行計(jì)算等［4］。作為另一種可行的解決方法，替代模型方法在近年受到越來(lái)越多的關(guān)注。

替代模型依據(jù)其構(gòu)建方式一般可分為兩大類，第一類是數(shù)據(jù)驅(qū)動(dòng)的模型［5-6］，第二類是過(guò)程簡(jiǎn)化的模型［7-8］。但是，當(dāng)前的應(yīng)用主要集中于相對(duì)低維的問(wèn)題，在刻畫高維問(wèn)題時(shí)替代模型方法的性能和效率急劇下降［9-11］。近年來(lái)，隨著計(jì)算機(jī)性能的大幅提高，尤其是圖形處理器（GPU）的出現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)憑借其優(yōu)秀的魯棒性和泛化能力成為計(jì)算機(jī)視覺(jué)、空間降維計(jì)算、替代模型等領(lǐng)域的熱點(diǎn)研究方法。Zhu 等［12］提出了用無(wú)監(jiān)督學(xué)習(xí)（unsupervised learning）的方法來(lái)構(gòu)造替代模型。Zhu 等［13］將貝葉斯理論引入卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN），提出了一種新的 CNN 架構(gòu)—BNN（Bayesian neural network），在訓(xùn)練數(shù)據(jù)有限的情況能夠構(gòu)建出較高精度的替代模型。Peterson等［14］提出基于時(shí)間序列的地下水自回歸（autoregressive，AR）替代模型，預(yù)測(cè)不同氣候情景下的地下水位。Mo 等［15］針對(duì)污染源附近區(qū)域非線性濃度梯度較大的問(wèn)題，提出了在網(wǎng)絡(luò)損失函數(shù)中對(duì)污染源及鄰近網(wǎng)絡(luò)加大權(quán)重（weighted loss，WL）的自回歸替代模型。

現(xiàn)有研究在利用各類神經(jīng)網(wǎng)絡(luò)構(gòu)建地下水污染替代模型時(shí)，并未結(jié)合具體的應(yīng)用場(chǎng)景對(duì)神經(jīng)網(wǎng)絡(luò)的函數(shù)選擇、參數(shù)敏感性等進(jìn)行充分考量。本文借鑒卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別過(guò)程，考慮將地下水流運(yùn)動(dòng)和污染物運(yùn)移問(wèn)題轉(zhuǎn)化為輸入場(chǎng)圖像（滲透系數(shù)場(chǎng)、污染源信息等）與輸出場(chǎng)圖像（水頭場(chǎng)、濃度場(chǎng)等）之間函數(shù)關(guān)系的圖像回歸問(wèn)題，通過(guò)數(shù)值算例研究稠密連接網(wǎng)絡(luò)替代模型的有效性以及模型性能的改進(jìn)策略，主要包括：針對(duì)實(shí)際應(yīng)用中樣本數(shù)量較少的情形提出在神經(jīng)網(wǎng)絡(luò)中采用最優(yōu)正則項(xiàng)系數(shù)的改進(jìn)策略，針對(duì)污染源附近區(qū)域存在非線性濃度梯度問(wèn)題采用改進(jìn)權(quán)重的網(wǎng)絡(luò)損失函數(shù)以及神經(jīng)網(wǎng)絡(luò)激活函數(shù)的選擇。

1 研究方法

地下水模擬模型是研究地下水流和污染物運(yùn)移的關(guān)鍵，而地下水模型的輸出是通過(guò)求解地下水流和溶質(zhì)運(yùn)移的偏微分方程獲得的，這往往需要較長(zhǎng)的計(jì)算時(shí)間。為充分刻畫地下空間的異質(zhì)性、考慮更多的物理過(guò)程、提高數(shù)值精確度、擴(kuò)大模擬區(qū)域尺度等，都會(huì)導(dǎo)致計(jì)算量增大和模型運(yùn)行時(shí)間的增加。單個(gè)模型運(yùn)行時(shí)間的增加還會(huì)限制其在需要大量調(diào)用模擬模型的實(shí)際問(wèn)題中的應(yīng)用，如地下水逆問(wèn)題、不確定性分析、敏感性分析等。為了提高計(jì)算效率，可以在模型中使用替代模型來(lái)替換原始模型16］。

1.1 地下水流與溶質(zhì)運(yùn)移模型

目前常用的污染物遷移模擬程序有MOC3D、MT3DMS、RT3D、FEMWATER、FEFLOW 等。其中，MT3DMS 是應(yīng)用最為廣泛的污染物遷移模擬程序。本文采用MT3DMS 程序進(jìn)行地下水污染物遷移模擬，MT3DMS 本身不包括地下水流模擬程序，在模擬計(jì)算時(shí)，MT3DMS 需和MODFLOW 一起使用［17-18］。

地下水水流方程如式（1）：

式中：假定滲透系數(shù)的主軸方向與坐標(biāo)軸方向一致，Kx、Ky、Kz分別為滲透系數(shù)在x、y、z方向上的分量，m·d-1；h為水頭，m；W為單位時(shí)間從單位體積含水層流入或流出的水量，d-1；Ss為孔隙介質(zhì)的貯水率，m-1；t為時(shí)間，d。

地下水溶質(zhì)運(yùn)移方程如式（2）：

式中：θ為有效孔隙度；ck為溶質(zhì)組分k的濃度，g·m-3；Duw為水動(dòng)力彌散系數(shù)張量，m2·d-1，u為縱向彌散方向，w為橫向彌散方向；vu為含水介質(zhì)中的實(shí)際水流速度，m·d-1，與Darcy流速qu的關(guān)系為vu=qu/θ；qs為單位體積含水層的源匯項(xiàng)流量，d-1；cks為源匯項(xiàng)中溶質(zhì)組分k的濃度，g·m-3；∑Rn化學(xué)反應(yīng)項(xiàng)總和，g·m-3·d。

1.2 基于DenseNet網(wǎng)絡(luò)結(jié)構(gòu)的替代模型框架

深度卷積神經(jīng)網(wǎng)絡(luò)可以有效處理高維輸入-輸出映射，其適用于處理具有空間結(jié)構(gòu)的圖像數(shù)據(jù)［19］。具體地，地下水流與溶質(zhì)運(yùn)移模型中輸入（滲透系數(shù)等）和輸出（水頭場(chǎng)和濃度場(chǎng)）都具有顯著空間相關(guān)性，通過(guò)圖像化處理后可以利用卷積神經(jīng)網(wǎng)絡(luò)建立高維輸入-輸出映射，該映射關(guān)系即為替代模型。模型的輸入與輸出的關(guān)系表示如式（3）：

式中：H×W為模型的空間剖分網(wǎng)格數(shù)（對(duì)應(yīng)于1.1節(jié)MODFLOW有限差分網(wǎng)格）；dx和dy分別表示模型輸入和輸出的個(gè)數(shù)。對(duì)于二維模型，輸入?yún)?shù)包含滲透系數(shù)場(chǎng)、污染源信息等，輸出狀態(tài)量包括污染濃度場(chǎng)和水頭場(chǎng)。在卷積神經(jīng)網(wǎng)絡(luò)中，將輸入?yún)?shù)和輸出狀態(tài)量以近似于圖像的數(shù)據(jù)結(jié)構(gòu)表示（高維圖像），通過(guò)網(wǎng)絡(luò)訓(xùn)練建立輸入場(chǎng)圖像與輸出場(chǎng)圖像之間函數(shù)關(guān)系的圖像回歸問(wèn)題。

在圖像回歸問(wèn)題中，全卷積神經(jīng)網(wǎng)絡(luò)是用編碼網(wǎng)絡(luò)（encoder）對(duì)高維輸入圖像進(jìn)行特征提取，然后在解碼網(wǎng)絡(luò)（decoder）根據(jù)特征重建輸出圖像。隨著設(shè)計(jì)越來(lái)越深的網(wǎng)絡(luò)，深刻理解“新添加的層如何提升神經(jīng)網(wǎng)絡(luò)的性能”變得至關(guān)重要。針對(duì)這一問(wèn)題，He 等［20］提出的殘差網(wǎng)絡(luò)（ResNet）在一定程度上避免深度網(wǎng)絡(luò)的梯度消失、梯度爆炸問(wèn)題和網(wǎng)絡(luò)退化問(wèn)題。稠密連接網(wǎng)絡(luò)（DenseNet）在某種程度上可以看成是 ResNet 的邏輯擴(kuò)展，它采用一種密集連接結(jié)構(gòu)將不相鄰層進(jìn)行連接，從而減少網(wǎng)絡(luò)傳輸過(guò)程的信息損失，同時(shí)避免深度增加引起的網(wǎng)絡(luò)參數(shù)爆炸［21］。

DenseNet 由稠密塊（dense block）與過(guò)渡層（transition layer）2個(gè)重要部分組成。具體地，稠密塊的層與層之間的信息傳遞關(guān)系表示如式（4）：

式中：[x0，x1，...，xl?1]表示0 到l?1 層的輸出特征圖的串聯(lián)操作；Hl（·）包括批歸一化（batch normalization，BN）、ReLU 激活函數(shù)和卷積操作（convolution，Conv）的順序組合等。稠密塊主要由2個(gè)參數(shù)決定：結(jié)構(gòu)內(nèi)的網(wǎng)絡(luò)層數(shù)L和每一層的輸出特征面數(shù)量K′。通過(guò)整個(gè)稠密塊的特征圖數(shù)量為N0+L×K′，其中N0為輸入特征圖的數(shù)量。圖1為稠密塊結(jié)構(gòu)示意圖。

圖1 DenseNet的稠密塊結(jié)構(gòu)示意［20］Fig.1 Dense block structure of DenseNet [20]

圖2為圖像回歸問(wèn)題的DenseNet網(wǎng)絡(luò)結(jié)構(gòu)示意圖，其中第1層為初始卷積層，隨后為稠密塊和過(guò)渡層（編碼層和解碼層）的組合。由于每個(gè)稠密塊都會(huì)帶來(lái)特征圖數(shù)量的增加，使用過(guò)多則會(huì)過(guò)于復(fù)雜化模型，因此需要過(guò)渡層來(lái)連接2個(gè)相鄰的稠密塊，通過(guò)批歸一化、ReLU 激活函數(shù)和1×1 卷積等組合操作減小特征圖數(shù)量［21］。此外，在圖像回歸問(wèn)題中，過(guò)渡層在編碼過(guò)程中被稱為編碼層（encoding layer），利用卷積操作完成特征圖尺寸改變的任務(wù)（downsampling），從而實(shí)現(xiàn)特征提?。贿^(guò)渡層在解碼過(guò)程中被稱為解碼層（deconding layer），通過(guò)反卷積操作恢復(fù)特征圖尺寸（upsampling）。

圖2 圖像回歸問(wèn)題的DenseNet網(wǎng)絡(luò)結(jié)構(gòu)示意Fig.2 DenseNet network structure for image regression problem

2 算例研究

2.1 問(wèn)題概述

圖3 考慮非均質(zhì)各向異性承壓含水層，含水層水流運(yùn)動(dòng)為穩(wěn)定流。研究區(qū)大小為12.5m ×17.5m，離散為51×71 的均勻網(wǎng)格（網(wǎng)格尺寸為0.25 m × 0.25 m）。含水層厚度為1m。南北邊界為二類隔水邊界，東西邊界為定水頭邊界，水頭H分別為6 m 和5 m（圖4）。場(chǎng)地東側(cè)存在一口抽水井（W1，流量2 m3·d-1），降雨入滲強(qiáng)度為0.005 m·d-1。初始時(shí)刻，含水層中無(wú)污染物。含水介質(zhì)孔隙度為0.30，縱向彌散度為1.50 m，水平橫向彌散度為0.15 m。含水層滲透系數(shù)K滿足對(duì)數(shù)正態(tài)分布，其均值與方差（）分別為2.0 和0.5，在x、y方向的相關(guān)長(zhǎng)度分別為4 m 和2 m，變差函數(shù)為指數(shù)型。模擬總時(shí)長(zhǎng)為160 d，共10 個(gè)應(yīng)力期（每個(gè)應(yīng)力期16 d）。

圖3 含水層結(jié)構(gòu)平面Fig.3 Plan view of aquifer structure

考慮到實(shí)際地下水污染問(wèn)題中，根據(jù)前期場(chǎng)地調(diào)查往往能大致確定污染源位置，而對(duì)應(yīng)污染源的釋放歷史是未知的。本算例中考慮3 個(gè)污染源，為S1、S2和S3。污染源參數(shù)由30個(gè)參數(shù)進(jìn)行量化（3個(gè)污染源在10 個(gè)應(yīng)力期的污染釋放強(qiáng)度），即Ss=，其中i=1，2，3；j=1，2，…，10。非均質(zhì)滲透系數(shù)場(chǎng)的反演估計(jì)通常會(huì)導(dǎo)致高維問(wèn)題，高維參數(shù)受制于維度災(zāi)難問(wèn)題，通常需要對(duì)滲透系數(shù)場(chǎng)進(jìn)行概化和降維［22］。在本算例中，滲透系數(shù)場(chǎng)的維度決定于網(wǎng)格剖分程度（51×71=3 621），為了在可接受的計(jì)算時(shí)間內(nèi)解決高維參數(shù)反演問(wèn)題，采用KLE方法進(jìn)行降維操作，保留前400 個(gè)KL 主要展開(kāi)項(xiàng)（即可保留該滲透系數(shù)場(chǎng)近95%的非均質(zhì)特征）［23］。假設(shè)表征污染源釋放強(qiáng)度的30 個(gè)參數(shù)的先驗(yàn)分布是均勻分布，其先驗(yàn)區(qū)間和真實(shí)值見(jiàn)表1。

表1 污染源釋放強(qiáng)度參數(shù)的真實(shí)值及先驗(yàn)區(qū)間Tab.1 True value and prior interval of release in?tensity parameters of pollution source

在構(gòu)建替代模型前，將正演模型的輸入和輸出項(xiàng)以圖像的形式表示。輸入包括滲透系數(shù)場(chǎng)和圖像化處理后的污染源參數(shù)。輸出為利用原始模型（MODFLOW和MT3DMS）得到的水頭和多個(gè)時(shí)刻污染物濃度場(chǎng)。模型輸入的污染源強(qiáng)度（S）隨時(shí)間變化，模型輸出的污染物濃度除了受輸入?yún)?shù)（滲透系數(shù)K）的影響外，還受隨時(shí)間變化的污染源源強(qiáng)的影響。換言之，任意某一目標(biāo)時(shí)刻污染物濃度場(chǎng)受到該目標(biāo)時(shí)刻j及更早時(shí)刻（1，2，…，j?1）的污染源源強(qiáng)的共同影響。利用自回歸模型方法，可以表示為式（5）：

式中：cj為時(shí)刻j的污染濃度場(chǎng)；K、S分別為當(dāng)前時(shí)刻的滲透系數(shù)場(chǎng)和污染源參數(shù)；cj?1為上一時(shí)刻的污染分布。

考慮到地下水污染點(diǎn)源會(huì)對(duì)釋放區(qū)域周圍產(chǎn)生較大非線性濃度梯度，為了提高替代模型在污染源附近的預(yù)測(cè)精度，在網(wǎng)絡(luò)損失函數(shù)中分別賦予污染源及周圍8 個(gè)像素點(diǎn)額外權(quán)重wc（見(jiàn)圖4）。加權(quán)損失函數(shù)表示為式（6）：

2.2 DenseNet網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

算例所用的網(wǎng)絡(luò)結(jié)構(gòu)為AR-Net-WL，即考慮式（6）定義的加權(quán)損失函數(shù)的自回歸網(wǎng)絡(luò)。AR-Net-WL 采用DenseNet 網(wǎng)絡(luò)結(jié)構(gòu)，輸入樣本考慮自回歸策 略。網(wǎng)絡(luò)輸入圖片為3個(gè)，即=(K|，|Si|，|ci?1)∈R3×51×71（i=1，…，10，c0為初始濃度場(chǎng)），輸出圖片為2 個(gè)，即y=(h|，|ci)∈R2×51×71。AR-Net 和AR-Net-WL 的DenseNet 網(wǎng)絡(luò)如表2所示，包括初始卷積層、3 個(gè)稠密塊和3 個(gè)過(guò)渡層。表中，k′為卷積核大小，s為步長(zhǎng)，p為特征圖填充寬度，Wf為輸出特征面數(shù)量，Nf×Hf為特征面大小，L和K ′分別為稠密塊中的卷積層數(shù)和每層輸出的特征面數(shù)量。其中，3個(gè)稠密塊的內(nèi)部層數(shù)L=［5，10，5］以增加網(wǎng)絡(luò)深度，每一層輸出的特征面為K ′=40；此外，每個(gè)過(guò)渡層包括2 個(gè)卷積層（1×1 卷積）；因此，DenseNet 網(wǎng)絡(luò)由 27 個(gè)卷積層組成，并且不含全連接層，為全卷積網(wǎng)絡(luò)。

表2 AR-Net-WL的網(wǎng)絡(luò)結(jié)構(gòu)Tab.2 Network structure of AR-Net-WL

在神經(jīng)網(wǎng)絡(luò)的激活函數(shù)中，sigmoid函數(shù)存在計(jì)算量大、梯度消失等局限性，ReLU 函數(shù)具有在O點(diǎn)處梯度不連續(xù)、在x<0時(shí)不傳播等特點(diǎn)；softplus能夠有效克服ReLU 和sigmoid 函數(shù)的上述不足之處［24］。在地下水污染問(wèn)題中，輸出的濃度值和水頭值均大于等于 零，在網(wǎng)絡(luò)的最后一層采用 softplus激活函數(shù)，能夠保證網(wǎng)絡(luò)的濃度和水頭預(yù)測(cè)值為非負(fù)數(shù)。Adam 優(yōu)化算法的初始學(xué)習(xí)率設(shè)定為0.005，網(wǎng)絡(luò)訓(xùn)練周期數(shù)（epoch）設(shè)定為200，若損失函數(shù)在10 個(gè)epochs 沒(méi)有變化，則將學(xué)習(xí)率降至當(dāng)前學(xué)習(xí)率的10%，選擇L1損失函數(shù)（lasso），其正則項(xiàng)系數(shù)為ωd=5×10?5。

3 結(jié)果與討論

研究DenseNet 網(wǎng)絡(luò)（AR-Net-WL）構(gòu)建得到地下水流與溶質(zhì)運(yùn)移替代模型的效果，分別對(duì)樣本數(shù)量、DenseNet 網(wǎng)絡(luò)超參（權(quán)重?fù)p失函數(shù)、正則項(xiàng)系數(shù)）等影響進(jìn)行分析。AR-Net-WL 在NVIDIA GeForce RTX2080s GPU上訓(xùn)練。在替代模型訓(xùn)練時(shí)，采用決定系數(shù)（R2）和均方根誤差（root-meansquare error，RMSE）評(píng)估深度卷積網(wǎng)絡(luò)替代模型的精度。決定系數(shù)（R2）的值越大，均方根誤差（RMSE）的值越小，表明替代模型的預(yù)測(cè)精度越高。

3.1 訓(xùn)練樣本數(shù)量的影響

為討論訓(xùn)練樣本數(shù)量對(duì)替代模型近似精度的影響，在AR-Net-WL網(wǎng)絡(luò)結(jié)構(gòu)下考慮了4個(gè)訓(xùn)練樣本集合，包含訓(xùn)練樣本數(shù)量分別500、1 000、2 000和3 000。測(cè)試樣本集合由Ne=500 個(gè)隨機(jī)生成的測(cè)試樣本組成，包括地下水穩(wěn)定水位h和10 個(gè)時(shí)刻t=［16，32，48，64，80，96，112，128，144，160］d 的污染物濃度觀測(cè)數(shù)據(jù)。因此，網(wǎng)絡(luò)輸入圖片為3個(gè)，即=(K，|Si|，|ci?1)∈R3×51×71（i=1，…，10，c0為初始濃度場(chǎng)），輸出圖片為2 個(gè)，即y=(h|，|ci)∈R2×51×71。

圖4所示為不同訓(xùn)練樣本數(shù)量條件下訓(xùn)練樣本和測(cè)試樣本的RMSE值隨訓(xùn)練周期數(shù)（epoch）的變化趨勢(shì)。在160 個(gè)訓(xùn)練周期后，所有情形下的訓(xùn)練樣本集合與測(cè)試樣本集合的RMSE值都趨于穩(wěn)定；完成訓(xùn)練周期數(shù)為200 的訓(xùn)練后，隨著訓(xùn)練樣本數(shù)量的增加，RMSE值呈現(xiàn)降低趨勢(shì)，即替代模型的預(yù)測(cè)精度越高。具體地，當(dāng)訓(xùn)練樣本從1 000增至2 000時(shí)，訓(xùn)練集合的RMSE從0.067 6 下降到0.052 5；當(dāng)訓(xùn)練樣本從2 000增至3 000時(shí)，訓(xùn)練集合的RMSE從0.052 5下降到0.033 3。

圖4 基于不同訓(xùn)練樣本數(shù)量建立的替代模型的RMSE精度比較Fig.4 Comparison of RMSE accuracy of surrogate models established based on different num?bers of training samples

圖5比較了不同訓(xùn)練樣本數(shù)量條件下替代模型的訓(xùn)練樣本集合和測(cè)試樣本集合的R2值的變化趨勢(shì)。訓(xùn)練樣本為500 時(shí)，替代模型的訓(xùn)練集合與測(cè)試集合的R2值分別為0.989 2 和 0.988 1；訓(xùn)練樣本數(shù)量增至2 000 時(shí)，訓(xùn)練集合與測(cè)試集合的R2值分別增加至0.997 9 和0.996 0，替代模型具有較高的精度和較強(qiáng)的泛化性能；隨著訓(xùn)練樣本的繼續(xù)增加，測(cè)試集合與訓(xùn)練集合的R2值的提高幅度趨于平緩。具體地，訓(xùn)練樣本數(shù)量從2 000 增至3 000 時(shí)，訓(xùn)練集合的R2值增至 0.998 7（增幅約0.08%），測(cè)試集合的R2值增至 0.998 1（增幅約 0.20%）。

圖5 基于不同訓(xùn)練樣本數(shù)量建立的替代模型的R2精度比較Fig.5 R2 accuracy comparison of surrogate models established based on different training sam?ple numbers

3.2 權(quán)重?fù)p失函數(shù)的影響

為了量化AR-Net-WL 網(wǎng)絡(luò)中權(quán)重?fù)p失函數(shù)對(duì)替代模型精度的影響，分別選擇AR-Net-WL和ARNet 網(wǎng)絡(luò)構(gòu)建替代模型（訓(xùn)練樣本數(shù)量為3 000），比較訓(xùn)練樣本和測(cè)試樣本的R2與RMSE指標(biāo)。由表3可知，AR-Net 和AR-Net-WL 替代模型都具有較高的精度，考慮權(quán)重?fù)p失函數(shù)的AR-Net-WL網(wǎng)絡(luò)相較使用AR-Net網(wǎng)絡(luò)在計(jì)算代價(jià)沒(méi)有顯著提高的前提下，計(jì)算精度（R2與RMSE）有所提升。具體地，AR-Net-WL 相較于AR-Net 網(wǎng)絡(luò)，訓(xùn)練集合的RMSE值由0.038 8降至 0.033 3，降幅約 14.2%。

表3 訓(xùn)練樣本3 000 時(shí)AR-Net 和AR-Net-WL 網(wǎng)絡(luò)的R2與RMSE指標(biāo)Tab.3 R2 and RMSE indicators of AR-Net and AR-Net-WL networks (training samples=3 000)

為了進(jìn)一步說(shuō)明權(quán)重?fù)p失函數(shù)的作用，分別統(tǒng)計(jì)AR-Net 和AR-Net-WL這2種替代模型的污染物濃度場(chǎng)預(yù)測(cè)誤差絕對(duì)值的最大值。由圖6 可 知，AR-Net-WL 網(wǎng) 絡(luò)的emax值 相 較AR-Net 網(wǎng)絡(luò)更小，再次驗(yàn)證了AR-Net-WL 網(wǎng)絡(luò)中添加的權(quán)重?fù)p失函數(shù)對(duì)提高污染源附近區(qū)域的預(yù)測(cè)精度的有效性，從而提高替代模型整體的預(yù)測(cè)精度。

圖6 AR-Net和AR-Net-WL的emax頻率Fig.6 emax frequency diagram of AR-Net and AR-Net-WL

3.3 正則項(xiàng)系數(shù)ωd的影響

構(gòu)建替代模型時(shí)，應(yīng)該從訓(xùn)練樣本中盡可能學(xué)出適合所有潛在樣本的“普遍規(guī)律”［25］，但是如前所述在訓(xùn)練樣本不是很充足的情況下，很容易出現(xiàn)過(guò)擬合現(xiàn)象。針對(duì)過(guò)擬合現(xiàn)象，如果沒(méi)有條件增加訓(xùn)練樣本，可以考慮采用正則化方法（并不能完全解決）。下面討論在樣本數(shù)量較少的情形下，通過(guò)優(yōu)化正則項(xiàng)系數(shù)提高替代模型的精度。為了找到最優(yōu)正則化系數(shù)，算例中考慮5 個(gè)數(shù)量級(jí)范圍內(nèi)的30 個(gè)正則項(xiàng)系數(shù)值進(jìn)行計(jì)算（訓(xùn)練樣本為500）。具體地，設(shè)置ωd在2～ 7與10?7～ 10?3數(shù)量級(jí)組合，進(jìn)行30次模型計(jì)算。

圖7 為30 個(gè)ωd對(duì)應(yīng)替代模型的測(cè)試樣本集合RMSE值，其中A代表ωd的整數(shù)部分，B代表ωd的指數(shù)部分。在同一數(shù)量級(jí)下，隨著ωd值的變化，RMSE值的變化規(guī)律不太明顯；在10?7至10?5的數(shù)量級(jí)下RMSE值總體更小，對(duì)應(yīng)替代模型精度更高；最小RMSE為0.063，明顯優(yōu)于未進(jìn)行正則項(xiàng)系數(shù)優(yōu)化的替代模型（訓(xùn)練樣本為1 000對(duì)應(yīng)的RMSE=0.068）。

圖7 不同ωd對(duì)應(yīng)替代模型的測(cè)試集合RMSE值（訓(xùn)練樣本500）Fig.7 RMSE value for test set of surrogate model corresponding to different ωd values (training sample=500)

圖8為訓(xùn)練樣本數(shù)量為500得到的AR-Net-WL替代模型（選用最佳正則項(xiàng)系數(shù)ωd=3×10-7）對(duì)于某一隨機(jī)選取的測(cè)試樣本的預(yù)測(cè)結(jié)果。由圖可知，替代模型的水頭場(chǎng)和濃度場(chǎng)的預(yù)測(cè)結(jié)果與真實(shí)模型非常接近，這表明即使在訓(xùn)練樣本較少的情形下（500 個(gè)訓(xùn)練樣本）選用較好的正則項(xiàng)系數(shù)得到的AR-Net-WL替代模型同樣具有良好的性能，可以有效地預(yù)測(cè)水頭場(chǎng)和不同時(shí)刻污染物濃度場(chǎng)。

圖8 AR-Net-WL替代模型的預(yù)測(cè)結(jié)果（隨機(jī)測(cè)試樣本）Fig.8 Prediction results of AR-Net-WL surrogate model (in random test samples)

4 結(jié)論

（1）借鑒卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別過(guò)程，將地下水流運(yùn)動(dòng)和污染物運(yùn)移問(wèn)題轉(zhuǎn)化為輸入場(chǎng)圖像（滲透系數(shù)場(chǎng)、污染源信息等）與輸出場(chǎng)圖像（水頭場(chǎng)、濃度場(chǎng)等）之間函數(shù)關(guān)系的圖像回歸問(wèn)題。針對(duì)激活函數(shù)進(jìn)行優(yōu)化的AR-Net-WL 建立的替代模型能夠精確預(yù)測(cè)地下水流運(yùn)動(dòng)和污染物運(yùn)移。

（2）針對(duì)替代模型的過(guò)擬合現(xiàn)象，在條件允許的情形下應(yīng)盡可能選擇較大的訓(xùn)練樣本，算例研究表明訓(xùn)練樣本從500增至3 000，替代模型的性能（R2和RMSE）明顯得到提升；當(dāng)沒(méi)有條件增加訓(xùn)練樣本時(shí)，采用最優(yōu)正則項(xiàng)系數(shù)的AR-Net-WL 在訓(xùn)練樣本較少的情形下（訓(xùn)練樣本500）也能夠取得良好的性能。

（3）后續(xù)研究擬利用得到地下水污染替代模型（最優(yōu)正則項(xiàng)系數(shù)的AR-Net-WL）進(jìn)行地下水污染溯源問(wèn)題的求解，將更進(jìn)一步地研究影響替代模型精度及泛化性能的重要因素（包括采樣方法、深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)等）。

作者貢獻(xiàn)聲明：

江思珉：論文方向指定與指導(dǎo)。

孔維銘：論文主體內(nèi)容撰寫。

吳延浩：論文模型參數(shù)調(diào)整實(shí)驗(yàn)。

劉金炳：指導(dǎo)論文模型代碼修改。

張春秋：論文圖例設(shè)計(jì)與修改。

夏學(xué)敏：提供論文內(nèi)容意見(jiàn)與協(xié)助修改。