基于PCA-NARX神經(jīng)網(wǎng)絡(luò)的氨氮預(yù)測

，，

(1.上海海洋大學(xué) 信息學(xué)院，上海 201306；2.上海海洋大學(xué) 水產(chǎn)與生命學(xué)院，上海 201306)

氨氮在水體中的含量能夠反映出水體的污染程度和生物的生長狀況，是衡量水質(zhì)優(yōu)劣的重要指標(biāo)之一[1]，國內(nèi)外相關(guān)研究表明，養(yǎng)殖水體中氨氮的含量受到多種因素的影響，如pH值、飼料、生物種類、換水頻率和藥物殘留等，因而直接或者間接影響著養(yǎng)殖生物的生長[2-3]。此外，相關(guān)漁業(yè)水質(zhì)標(biāo)準(zhǔn)[4]也對漁業(yè)養(yǎng)殖用水的氨氮含量有著明確規(guī)定，適宜魚類生長的水體氨氮含量不能高于0.02 mg/L，通常情況下，氨離子的濃度不能高于5 mg/L[5-6]。因此，在水產(chǎn)養(yǎng)殖過程中監(jiān)測氨氮的含量，預(yù)測其變化趨勢對水產(chǎn)養(yǎng)殖產(chǎn)業(yè)有著重要意義。

近年來，對氨氮等水質(zhì)參數(shù)的預(yù)測主要集中在檢測污水處理效果、評估自然水體污染程度、監(jiān)測水產(chǎn)養(yǎng)殖水質(zhì)變化等方面。主要方法有時間序列法、支持向量機(jī)法和人工神經(jīng)網(wǎng)絡(luò)法等。由于在不同的水環(huán)境中，水質(zhì)參數(shù)的變化受到多種因素的影響，而時間序列法[7-8]只考慮了預(yù)測變量與自身變化間的關(guān)系，缺乏對相關(guān)因子的考慮，不適合復(fù)雜環(huán)境的水質(zhì)參數(shù)預(yù)測。居錦武[9]使用最小二乘支持向量機(jī)法建立了養(yǎng)殖水體的氨氮預(yù)測模型；劉雙印等[10]使用基于時間相似數(shù)據(jù)的支持向量機(jī)法對水產(chǎn)養(yǎng)殖中的溶解氧進(jìn)行了在線預(yù)測；但支持向量機(jī)法存在著算法復(fù)雜程度高、最佳訓(xùn)練參數(shù)的確定困難、易陷入局部最優(yōu)解的問題[11-12]。由于神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織、并行處理信息和處理非線性信息的能力，能夠挖掘數(shù)據(jù)背后較難用數(shù)學(xué)式描述的非線性特征，彌補(bǔ)了傳統(tǒng)時間序列模型的不足，從而被廣泛應(yīng)用于水產(chǎn)養(yǎng)殖水質(zhì)參數(shù)的預(yù)測問題[13-15]。

非線性有源自回歸模型NARX(Nonlinear auto regressive models with exogenous inputs)是一種應(yīng)用廣泛的動態(tài)神經(jīng)網(wǎng)絡(luò)，Cadenas等[16]應(yīng)用NARX模型對風(fēng)速變化進(jìn)行短期預(yù)測。Guzman等[17]運(yùn)用NARX模型對密西西比地區(qū)地下水位進(jìn)行長時間時間序列預(yù)測。蔡磊等[18]應(yīng)用NARX模型對暴時SYM-H指數(shù)進(jìn)行預(yù)測，并取得了不錯的效果。本研究中采用基于主成分分析法(PCA)優(yōu)化網(wǎng)絡(luò)輸入變量的NARX神經(jīng)網(wǎng)絡(luò)預(yù)測模型，即PCA-NARX神經(jīng)網(wǎng)絡(luò)模型，并結(jié)合相關(guān)專家經(jīng)驗與氨氮調(diào)控需求，在池塘圍網(wǎng)條件下對中華絨螯蟹24 h、48 h水體氨氮含量進(jìn)行短期預(yù)測。

1 模型構(gòu)建

1.1 基本NARX網(wǎng)絡(luò)模型

NARX網(wǎng)絡(luò)模型即有外部輸入的非線性自回歸模型，屬于動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)，相當(dāng)于具有輸入延時的BP網(wǎng)絡(luò)加上輸出到輸入的延時反饋連接[18]，NARX網(wǎng)絡(luò)主要由輸入層、隱層、輸出層及輸出到輸入的延時構(gòu)成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，由于輸出層不斷將包含歷史的輸出數(shù)據(jù)反饋到輸入層，從而使NARX網(wǎng)絡(luò)具有記憶能力，相比于傳統(tǒng)回歸神經(jīng)網(wǎng)絡(luò)包含更長時間的網(wǎng)絡(luò)歷史狀態(tài)和實時狀態(tài)信息。

圖1 NARX網(wǎng)絡(luò)模型Fig.1 Model of NARX neural network

假設(shè)I(t)、O(t)分別為網(wǎng)絡(luò)在t時刻的外部輸入和輸出，M為輸入數(shù)據(jù)的個數(shù)，D為反饋時延的階數(shù)，則對于網(wǎng)絡(luò)t時刻的輸入I(t)={I1,I2,…,IM}，對應(yīng)的反饋輸入為C(t)={O(t-1),O(t-2),…,O(t-D)}，隱層第j個神經(jīng)元的輸出Hj為

(1)

其中：f為隱層節(jié)點(diǎn)的激勵函數(shù)，本研究中選用tanh函數(shù),相關(guān)文獻(xiàn)表明tanh函數(shù)在梯度求解時容錯性能好[18]；Ii為第i個輸入的值，wji為i個輸入與第j個隱含層神經(jīng)元之間的連接權(quán)值；bj為第j個隱層神經(jīng)元的閾值。網(wǎng)絡(luò)的輸出為

(2)

其中：S為隱層神經(jīng)元的個數(shù)；woj為第j個隱含神經(jīng)元與輸出神經(jīng)元之間的連接權(quán)值；bo為輸出神經(jīng)元的閾值。

1.2 PCA-NARX氨氮預(yù)測模型

1.2.1 輸入變量的選擇 主成分分析法(Principal Components Analysis, PCA)是一種數(shù)據(jù)壓縮和特征提取的多變量統(tǒng)計分析技術(shù)，本模型中使用PCA對網(wǎng)絡(luò)的外部輸入變量進(jìn)行降維，通過構(gòu)造變量的一系列線性組合形成新變量，新的變量比原始數(shù)據(jù)維度更低，且在彼此不相關(guān)的前提下反映原始數(shù)據(jù)的信息。通過PCA選擇的主成分變量作為NARX網(wǎng)絡(luò)的輸入，既減少了輸入變量的維數(shù)，又消除了由于輸入變量的相關(guān)性不同對網(wǎng)絡(luò)輸出結(jié)果造成的影響，從而簡化了網(wǎng)絡(luò)的結(jié)構(gòu)，提高了網(wǎng)絡(luò)收斂性和穩(wěn)定性。PCA主要計算過程如下：

(3)

(4)

(3) 求解相關(guān)系數(shù)矩陣R的特征根λ1≥λ2≥…≥λm、特征向量u1,u2,…,um,并計算貢獻(xiàn)率和累計貢獻(xiàn)率。

主成分Fi的貢獻(xiàn)率(ei)為

(5)

累計貢獻(xiàn)率(P)為

(6)

本研究中選取累計貢獻(xiàn)率90%以上的p主成分變量作為網(wǎng)絡(luò)的輸入，從而將網(wǎng)絡(luò)輸入維數(shù)由m降為p。

(4) 獲得主成分矩陣。n個樣本對應(yīng)p個主成分變量構(gòu)成的矩陣為

An×p=Zn×mUm×p。

(7)

其中，Um×p=[u1,u2,…,up]。

1.2.2 性能評價指標(biāo) 預(yù)測模型性能評價是判斷模型預(yù)測性能的關(guān)鍵，評價NARX模型性能的主要指標(biāo)有均方根誤差(RMSE)、相關(guān)系數(shù)(R)、誤差自相關(guān)系數(shù)(EA)。其中，RMSE用于判定預(yù)測值與實際輸出值之間的偏差，R用于判定兩者的相關(guān)性，EA用于判定預(yù)測值與誤差之間的相關(guān)程度，三者的計算公式分別為

(8)

(9)

(10)

1.2.3 訓(xùn)練過程 本研究中用于氨氮預(yù)測的PCA-NARX 神經(jīng)網(wǎng)絡(luò)流程見圖2，首先，取出原始樣本中的外部輸入變量，處理異常數(shù)據(jù)；PCA分析后，非主成分變量剔除，主成分變量與預(yù)測變量合并為樣本數(shù)據(jù)集，將樣本數(shù)據(jù)集分為訓(xùn)練集、驗證集、測試集3部分用于網(wǎng)絡(luò)訓(xùn)練；訓(xùn)練過程采用L-M(Levenberg-Marquardt)算法，該算法是使用最為廣泛的非線性最小二乘算法，在中小規(guī)模的神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練速度較快。網(wǎng)絡(luò)訓(xùn)練過程中，每一次網(wǎng)絡(luò)訓(xùn)練結(jié)束之后比較R、RMSE與EA的值，訓(xùn)練初期，數(shù)值波動較為劇烈，后期趨于平穩(wěn)，整體R值逐漸增加，RMSE逐漸減小，在訓(xùn)練過程中反復(fù)調(diào)整隱層單元個數(shù)和延遲階數(shù)，假設(shè)RMSEmin(t)為訓(xùn)練中第t次循環(huán)前最小RMSE，定義訓(xùn)練終止的判斷函數(shù)γ為

(11)

當(dāng)γ<0.001時，認(rèn)為網(wǎng)絡(luò)的收斂已經(jīng)接近極限[18]，訓(xùn)練可以終止。訓(xùn)練結(jié)束之后，使用測試樣本檢驗網(wǎng)絡(luò)的性能。

圖2 PCA-NARX神經(jīng)網(wǎng)絡(luò)流程Fig.2 Process of PCA-NARX neural network

2 數(shù)據(jù)處理及網(wǎng)絡(luò)參數(shù)確定

2.1 數(shù)據(jù)來源

本研究中用于預(yù)測氨氮的數(shù)據(jù)來源于上海福島水產(chǎn)養(yǎng)殖專業(yè)合作社生產(chǎn)基地，根據(jù)2015年2 月 20 日—10 月 20 日期間對中華絨螯蟹養(yǎng)殖水環(huán)境的監(jiān)測數(shù)據(jù)，檢測成蟹圍網(wǎng)的水質(zhì)指標(biāo)有溫度、酸堿度、溶解氧、氧化還原電位、濁度、海水比、鹽度、氨氮共8項。根據(jù)不同水域長時間監(jiān)測數(shù)據(jù)表明，每小時內(nèi)各項參數(shù)指標(biāo)浮動范圍較小[19-20]，因此，可以小時為單位，計算每小時各項參數(shù)的平均值(表1)。高溫時期(7—8 月)和最后一次集中蛻殼期是成蟹生長過程中兩個重要的時期，應(yīng)加強(qiáng)此期的飼養(yǎng)管理[21]，監(jiān)測水質(zhì)變化情況，選取其中的480組水質(zhì)參數(shù)用于PCA-NARX網(wǎng)絡(luò)訓(xùn)練。

2.2 異常數(shù)據(jù)處理

2.2.1 缺失數(shù)據(jù)的處理 對前后時間間隔不大的缺失水質(zhì)數(shù)據(jù)，可以采用如公式中線性插值法對其進(jìn)行修復(fù)處理[10],即

Xk+i=Xk+i(Xk+j-Xk)/j,0

(12)

其中：Xk和Xk+j分別為k時刻和k+j時刻水質(zhì)參數(shù)，Xk+i為k+i時刻水質(zhì)的參數(shù)；對于缺失時間跨度較大的數(shù)據(jù)，可以選擇天氣類型相同或者相近的臨近日期，采用時間刻度相同的數(shù)據(jù)進(jìn)行補(bǔ)全處理。

2.2.2 非真實數(shù)據(jù)的處理 由于水質(zhì)參數(shù)具有時序性和延續(xù)性等特點(diǎn)，前后相鄰的監(jiān)測數(shù)據(jù)正常情況下不會發(fā)生急劇的跳變。通過計算，若某時刻水質(zhì)參數(shù)值大于樣本均方誤差的2倍，則認(rèn)為數(shù)據(jù)有誤，可以采用下式進(jìn)行平均值平滑處理[21]，即

Xk=(Xk-1+Xk+1)/2。

(13)

2.3 外部輸入?yún)?shù)的確定

根據(jù)“1.2.1”節(jié)描述的PCA提取主成分的方法，對除氨氮之外的7項水質(zhì)指標(biāo)參數(shù)進(jìn)行PCA主成分提取，計算特征值與貢獻(xiàn)率，結(jié)果見表2。

經(jīng)過PCA提取的前三個主成分貢獻(xiàn)率分別為45.875%、30.156%和22.238%，從表2可知，前三個主成分的累計貢獻(xiàn)率為98.269%，大于90%，說明3個主成分變量能夠反映原始數(shù)據(jù)提供的絕大部分信息，因此，主成分個數(shù)確定為3。根據(jù)公式(7)計算出主成分矩陣，通過PCA分析將網(wǎng)絡(luò)的輸入由7維降低為3維，優(yōu)化了網(wǎng)絡(luò)的輸入，得到的主成分變量分別命名為F1、F2、F3，部分?jǐn)?shù)據(jù)如表3所示。

2.4 網(wǎng)絡(luò)結(jié)構(gòu)的確定

將“2.3”節(jié)得到的主成分?jǐn)?shù)據(jù)與原始的氨氮數(shù)據(jù)合并，采用公式(14)進(jìn)行歸一化至[0.1,0.9]區(qū)間內(nèi)，以消除不同量綱和數(shù)量級對網(wǎng)絡(luò)訓(xùn)練的影響。

表1 樣本數(shù)據(jù)Tab.1 Information on the samples

表2 主成分分析Tab.2 Analysis of principal component

表3 主成分?jǐn)?shù)據(jù)Tab.3 Data of the principal component

(14)

得到連續(xù)480 h(3個主成分變量和氨氮)480組數(shù)據(jù)樣本集，3項主成分為NARX網(wǎng)絡(luò)模型的外部輸入，下一時刻氨氮的值為輸出，取樣本的70%作為訓(xùn)練集，用于網(wǎng)絡(luò)訓(xùn)練，取樣本的15%作為驗證集，驗證網(wǎng)絡(luò)歸一化程度，防止網(wǎng)絡(luò)過擬合，取樣本的15%作為測試集，用于預(yù)測性能進(jìn)行測試。使用Matlab建立PCA-NARX網(wǎng)絡(luò)模型，選擇trainlm函數(shù)為訓(xùn)練函數(shù)，訓(xùn)練過程中，反復(fù)調(diào)整隱層個數(shù)和延遲階數(shù)，對比均方根誤差、自相關(guān)系數(shù)和誤差自相關(guān)系數(shù)，結(jié)果表明，當(dāng)隱層個數(shù)為11、延遲階數(shù)為2時，預(yù)測效果最佳。

3 仿真結(jié)果與分析

結(jié)合相關(guān)專家經(jīng)驗與中華鰲絨蟹換水與調(diào)控水質(zhì)需求[22]，為驗證PCA-NARX網(wǎng)絡(luò)模型的預(yù)測效果，本研究中使用訓(xùn)練好的PCA-NARX氨氮預(yù)測模型對2015年10月1日起連續(xù)48 h之內(nèi)的水中氨氮含量進(jìn)行預(yù)測，并與真實的數(shù)據(jù)進(jìn)行對比(圖3)。從圖3可見，16～25 h和43～48 h時預(yù)測效果略有波動，整體48 h之間預(yù)測曲線基本與實際變化趨勢一致。

圖3 PCA-NARX神經(jīng)網(wǎng)絡(luò)模型48 h氨氮預(yù)測Fig.3 Ammonia nitrogen level forecasting in 48 hours based on PCA-NARX neural work

本研究中，采用相同結(jié)構(gòu)的NAR、NARX神經(jīng)網(wǎng)絡(luò)模型對氨氮進(jìn)行同時間段的預(yù)測效果對比，3種網(wǎng)絡(luò)模型在24、48 h時預(yù)測曲線對比見圖4，3種網(wǎng)絡(luò)預(yù)測模型均方根誤差(RMSE)見表4。從圖4可見，NARX網(wǎng)絡(luò)模型在1～10 h、15～30 h、40～45 h時預(yù)測曲線有較大波動；NAR網(wǎng)絡(luò)模型在整體48 h之內(nèi)預(yù)測變化趨勢一致，但是預(yù)測精度低于PCA-NARX網(wǎng)絡(luò)模型，氨氮峰值、谷值處出現(xiàn)較大誤差；從整體48 h預(yù)測來看，經(jīng)過主成分分析得到的主成分變量作為輸入的PCA-NARX網(wǎng)絡(luò)模型預(yù)測效果最佳。

從表4可見，PCA-NARX網(wǎng)絡(luò)模型在1～24 h、1～48 h時的RMSE均小于NAR、NARX網(wǎng)絡(luò)模型，1～24 h時略小于NAR網(wǎng)絡(luò)模型，但總體48 h內(nèi)，PCA-NARX網(wǎng)絡(luò)模型對氨氮的預(yù)測性能優(yōu)于NARX、NAR神經(jīng)網(wǎng)絡(luò)模型，具有更高的預(yù)測精度和更優(yōu)的泛化能力。

圖4 NARX、PCA-NARX、NAR網(wǎng)絡(luò)模型的氨氮預(yù)測Fig.4 Ammonia nitrogen level forecasting by NARX,PCA-NARX and NAR neural net works

網(wǎng)絡(luò)模型neural net work均方根誤差RMSE1～24 h 1～48 hNARX1.2971.685NAR0.9961.086PCA-NARX0.7530.624

4 結(jié)論

本研究中采用PCA-NARX神經(jīng)網(wǎng)絡(luò)模型對養(yǎng)殖環(huán)境的氨氮進(jìn)行時間序列預(yù)測，并結(jié)合中華鰲絨蟹的水質(zhì)調(diào)控需求，進(jìn)行了24 h、48 h的預(yù)測研究，并與NAR、NARX網(wǎng)絡(luò)模型在24 h、48 h內(nèi)預(yù)測精度對比。結(jié)果表明：PCA-NARX網(wǎng)絡(luò)模型在24 h內(nèi)的均方根誤差較NAR網(wǎng)絡(luò)模型減少24.39%，較NARX模型減少41.94%；總體上48 h之內(nèi)的預(yù)測均方根誤差為0.624，PCA-NARX神經(jīng)網(wǎng)絡(luò)具有更小的均方根誤差。PCA-NARX網(wǎng)絡(luò)模型相對于傳統(tǒng)NARX網(wǎng)絡(luò)模型優(yōu)化了網(wǎng)絡(luò)輸入變量，具有更優(yōu)秀的泛化能力，同時又兼顧了NAR網(wǎng)絡(luò)模型對預(yù)測周期性變化的優(yōu)勢，為水環(huán)境質(zhì)量監(jiān)測、漁業(yè)用水安全管理領(lǐng)域提供了一個更高精度的水氨氮預(yù)測模型。