基于融合深度學習模型的長鰭金槍魚漁情預測研究

袁紅春，陳驄昊

(上海海洋大學信息學院，上海 201306)

遠洋長鰭金槍魚延繩釣漁業(yè)經(jīng)過長期不斷地發(fā)展，現(xiàn)已成為中國遠洋漁業(yè)最主要的產(chǎn)業(yè)之一[1]。在南太平洋海域，長鰭金槍魚(Thunnusalalunga)作為一種具有高經(jīng)濟收益的魚類產(chǎn)品，已經(jīng)成為中國及其海域周邊國家的主要捕獲對象[2]，而且年產(chǎn)量正逐年上升[3]。又由于其產(chǎn)量占南太平洋海域金槍魚類總產(chǎn)量的50%以上，因此該魚種具有較大的開發(fā)潛力。如何提高南太平洋長鰭金槍魚的漁情預測水平已成為國內(nèi)學術(shù)界研究的熱點之一。

在對南太平洋長鰭金槍魚漁場影響因子研究方面，閆敏[4]分析了海表面溫度(SST)、葉綠素a(CHLA)及海面高度距平(SSH)各環(huán)境因子與單位捕撈努力量漁獲量(CPUE)的相關(guān)性；范永超等[5]通過葉綠素a(CHLa)、SST和海洋表面鹽度(SSS)對南太平洋長鰭金槍魚漁場進行分析與預報；張嘉容等[6]通過廣義可加模型分析得出緯度對南太平洋長鰭金槍魚漁場最大的影響因子，經(jīng)度以及SST、海表面高度、葉綠素a等環(huán)境因子也對漁場有較大的影響力。

在利用神經(jīng)網(wǎng)絡模型進行漁情預測分析方面，Aoki等[7]搭建包含三層隱層的BP人工神經(jīng)網(wǎng)絡模型，實現(xiàn)對日本遠東擬沙丁魚漁獲量的預測；毛江美等[8]搭建BP人工神經(jīng)網(wǎng)絡模型，并調(diào)整模型結(jié)構(gòu)及參數(shù)，以月份、經(jīng)度、緯度、SST、SSH等作為時空變量進行了分析，從而實現(xiàn)對漁場CPUE值的預測。

由于單個漁場范圍較大，如果采用傳統(tǒng)漁情預測方法對漁場內(nèi)各點的環(huán)境數(shù)據(jù)取均值得到漁場所對應的環(huán)境數(shù)據(jù)，會存在一定環(huán)境數(shù)據(jù)特征丟失現(xiàn)象[9]。因此提出一種CNN-GRU-Attention模型，以實現(xiàn)對南太平洋長鰭金槍魚漁場CPUE的有效預測。

1 數(shù)據(jù)處理

1.1 數(shù)據(jù)來源

漁業(yè)作業(yè)數(shù)據(jù)取自中西太平洋漁業(yè)委員會(WCPFC)的南太平洋延繩釣數(shù)據(jù)。為排除捕撈手段等技術(shù)因素的影響，采用捕撈手段基本一致的2000年1月至2011年12月的南太平洋海域長鰭金槍魚漁業(yè)數(shù)據(jù)[10]，時間分辨率為月，海域范圍取為5°S～40°S，135°W～110°E，數(shù)據(jù)包含年、月、經(jīng)度、緯度、釣鉤數(shù)(千鉤)、長鰭金槍魚漁獲量(尾)，空間分辨率5°× 5°。其中，單位捕撈努力漁獲量(CPUE)為預測參數(shù)[11]，其計算公式為：

XCPUE=A/H

(1)

式中：XCPUE—單位捕撈努力量，尾/千鉤(ind/khooks)；A—漁獲量，尾(ind)；H表示釣鉤數(shù)，千鉤(khooks)。處理后的漁業(yè)數(shù)據(jù)見表1。

表1 漁業(yè)數(shù)據(jù)

注：“?”表示省略的年、月、經(jīng)緯度等數(shù)據(jù)

選取環(huán)境數(shù)據(jù)(包括月、經(jīng)度、緯度、葉綠素a濃度、海面高度、海面溫度[12])，空間分辨率為1°× 1°,時間分辨率為月，海域范圍取為3°S～42°S、133°W～108°E；葉綠素a(CHLA)、海表溫度(SST)數(shù)據(jù)來源于美國國家海洋和大氣管理局(NOAA)環(huán)境數(shù)據(jù)庫；海面高度(SSH)數(shù)據(jù)來自于哥白尼海洋環(huán)境監(jiān)測服務中心(CMEMS)，將環(huán)境數(shù)據(jù)按照年、月、經(jīng)度、緯度進行整合得到數(shù)據(jù)集(表2)。

1.2 樣本集構(gòu)成

由于環(huán)境數(shù)據(jù)與漁業(yè)數(shù)據(jù)空間分辨率不一致，將5°× 5°范圍內(nèi)所有1°× 1°環(huán)境因子數(shù)據(jù)取均值，再與漁業(yè)數(shù)據(jù)合并，得到數(shù)據(jù)集A(表3)。將5°× 5°范圍內(nèi)25條1°× 1°的環(huán)境數(shù)據(jù)與CPUE作為一個樣本，得到數(shù)據(jù)集B(表4)。

表2 環(huán)境數(shù)據(jù)

注：“?”表示省略的年、月、經(jīng)緯度等數(shù)據(jù)，下同

表3 數(shù)據(jù)集A

表4 數(shù)據(jù)集B

月、經(jīng)度、緯度、海面溫度、海面高度、葉綠素a為訓練參數(shù)，選取每月CPUE為預測參數(shù)，將數(shù)據(jù)集A、B按照年、月、經(jīng)度、緯度和年、月、緯度、經(jīng)度分別排序得到數(shù)據(jù)集A1、B1和A2、B2，使用A1、B1和A2、B2分別在模型上進行訓練，目的是排除單一實驗導致實驗結(jié)果存在偶然性。由于整個數(shù)據(jù)集的時間長度為12年，所以將這4個數(shù)據(jù)集按照比例為10∶1∶1劃分為訓練集、驗證集、測試集。

1.3 缺失數(shù)據(jù)處理

由于海洋環(huán)境數(shù)據(jù)每月都存在個別漁場的數(shù)據(jù)缺失，所以利用插值法(2)對于缺失的環(huán)境數(shù)據(jù)進行補全[13]，即利用同時間點的其余漁場的環(huán)境數(shù)據(jù)構(gòu)建回歸函數(shù)來得到缺失數(shù)據(jù)。

Y(a,b)=f(a,b)

(2)

式中：Y(a,b)為該年月緯度為a，經(jīng)度為b的環(huán)境數(shù)據(jù)；f為該年月其他數(shù)據(jù)以經(jīng)緯度為自變量、環(huán)境數(shù)據(jù)為因變量所得到函數(shù)。

1.4 數(shù)據(jù)歸一化

將各影響因子和目標變量分別采用公式(3)分別歸一化至[0.1,1]區(qū)間內(nèi)，從而消除由于數(shù)據(jù)各因子的量級不同而對訓練模型造成不良影響[14]。

(3)

式中：xn表示某影響因子的第n條數(shù)據(jù)；xmax表示該影響因子的最大值；xmin表示該影響因子的最小值。

2 深度學習模型

2.1 CNN模型介紹

卷積神經(jīng)網(wǎng)絡(CNN)模型是近些年來深度學習領(lǐng)域使用最廣泛的模型之一。CNN是一種前饋神經(jīng)網(wǎng)絡，由Lecun等[15]首先提出，利用卷積層提取局部的有效特征，通過池化層降低參數(shù)，最后由全連接層得到所需的權(quán)值向量。CNN主要神經(jīng)層包括卷積層(C)、池化層(S)以及全連接層(F)[16](圖1)。通過反復使用卷積層和池化層提取漁場范圍內(nèi)的環(huán)境因子及時空因子的特征值，最終通過全連接層匯總獲取與CPUE對應的一維向量，作為GRU模型的輸入向量。

圖1 CNN模型

2.2 GRU模型介紹

門控循環(huán)單元(GRU)是一種遞歸循環(huán)神經(jīng)網(wǎng)絡，其發(fā)展經(jīng)歷了從簡單循環(huán)神經(jīng)網(wǎng)絡(SRN)至循環(huán)神經(jīng)網(wǎng)絡(RNN)再到長短期記憶網(wǎng)絡(LSTM)的發(fā)展過程[17]。本研究所使用的模型是LSTM模型的一種變種[18]，在其基礎(chǔ)上做出改進。GRU模型相較LSTM模型，其最大的改進主要在于兩點[19]：1)將輸入門、遺忘門、輸出門改為更新門及重置門；2)將單元狀態(tài)C與短期狀態(tài)h融合為一個狀態(tài)h。因此，與LSTM模型性能相當，但其運算效率遠高于LSTM，相同的訓練集，其訓練時長遠低于LSTM模型，但效果基本一致。

GRU的前向計算公式[20]：

更新門計算公式：

zt=σ(Wzg[ht-1,xt])

(4)

重置門計算公式：

rt=σ(Wrg[ht-1,xt])

(5)

輸出部分計算公式:

(6)

(7)

yt=relu(W0ght)

(8)

式中：Wz為更新門的權(quán)重矩陣；Wr為重置門的權(quán)重矩陣；ht-1為t-1時刻的單元狀態(tài)輸出值；xt為t時刻的單元數(shù)據(jù)的輸入值；σ指激活函數(shù)sigmoid；tanh表示輸出層激活函數(shù)為tanh。GRU模型結(jié)構(gòu)如圖2所示。

2.3 CNN-GRU-Attention模型

CNN-GRU-Attention模型以每個漁場5°× 5°范圍內(nèi)所有1°× 1°的月份、經(jīng)度、緯度、葉綠素a、海面鹽度、海面溫度為輸入數(shù)據(jù)，通過CNN提取出特征向量，再與漁場對應的CPUE結(jié)合成全新的時間序列數(shù)據(jù)，通過GRU模型進行時間序列上的預測，再使用Attention層提取各隱藏層的權(quán)值并與GRU模型各隱層輸出相結(jié)合作為樣本的特征表達[21]。Attention機制是通過自動加權(quán)變換，將GRU模型的隱藏層的輸出信息Git通過tanh函數(shù)得到uit，再與注意力矩陣uw相乘，最后行歸一化輸出，得到各隱藏層輸出的權(quán)值αit，整合各隱層輸出得到最終輸出si，公式見(9)、(10)和(11)，最終模型構(gòu)造如圖3所示。

uit=tanh(kiGit+bt)

(9)

(10)

si=∑αitGit

(11)

圖2 GRU模型

圖3 CNN-GRU-Attention模型

圖3中，G表示用于卷積的訓練參數(shù)數(shù)據(jù)；M1到Mn表示第1條到第n條訓練參數(shù)數(shù)據(jù)；數(shù)據(jù)進入CNN的P1到Pn表示輸入樣本第1個到第n個參數(shù)；k1到kn表示提取的各GRU隱藏層權(quán)值；yt表示對應的預測參數(shù)數(shù)據(jù)。

3 試驗及結(jié)果分析

3.1 試驗平臺

試驗環(huán)境為基于Python3.7的TensorFlow 1.13.1框架，操作系統(tǒng)為Windows10，GPU為NVIDIA GTX 1060，通過CUDA9.0進行加速運算，CPU為Intel i7-7700K。

3.2 試驗過程

為驗證CNN-GRU-Attention模型的有效性，在基于Anaconda3的Keras深度學習平臺上實現(xiàn)BP、GRU、CNN-GRU、CNN-GRU-Attention模型。數(shù)據(jù)集A1在BP模型和GRU模型上試驗，數(shù)據(jù)集B1在CNN-GRU和CNN-GRU-Attention模型上實驗，在數(shù)據(jù)集A2、B2上進行同類實驗。最后通過2組對比實驗的結(jié)果進行綜合判定。以B1數(shù)據(jù)集在CNN-GRU-Attention模型上試驗為例，訓練過程如下：

在CCN-GRU-Attention模型中，數(shù)據(jù)的輸入形式是一個三維的張量(None,5,6)，None表示每批次訓練輸入的樣本的數(shù)量，數(shù)據(jù)先經(jīng)過激活函數(shù)為Relu函數(shù)的一維卷積層(Conv1D)，含有64個1×3的卷積核，此時張量維度變?yōu)?None,5,64)；再經(jīng)過一個窗口為4的最大池化層(Maxpooling1D)，張量維度變?yōu)?None,1,64)；接著通過含有32個1×3卷積核的一維卷積層(Conv1D)，張量變?yōu)?None,1,32)；然后通過一個窗口為1的最大池化層(Maxpooling1D)連接一個輸出維度為6的全連接層(Dense)，張量維度為(None,1,6)；數(shù)據(jù)再進入一個輸出維度為6的GRU模型中進行訓練，由于每月數(shù)據(jù)為192條，遂batch_size(批尺寸)選擇192，再獲取其隱藏層輸出，輸入Attention層得到輸出各節(jié)點權(quán)值矩陣，與GRU模型輸出向量相乘，再通過輸出維度為6的全連接層，由過濾值為0.2的Dropout層進行過擬合預防處理，最后通過激活函數(shù)為Sigmoid的全連接層輸出得到最終的預測值。

為確保模型訓練得到最佳狀態(tài)，設置早停函數(shù)忍耐值為30，模式為min，即30次迭代訓練過程中訓練集的損失值沒有減少，則停止訓練。4種模型的試驗過程如圖4所示。

3.3 試驗結(jié)果

3.3.1 誤差結(jié)果

為評價模型性能，根據(jù)相關(guān)文獻[22]，使用平均絕對誤差(XMAE)、均方根誤差(XRMSE)作為評價各神經(jīng)網(wǎng)絡的模型性能，誤差計算按以下公式：

(12)

(13)

式中：Ct為預測值；Rt為真實值。XMAE越小，表明模型預測越準確；XRMSE越小，表明模型預測性能越穩(wěn)定。試驗誤差結(jié)果見表5。

表5 誤差結(jié)果對比

由于A1和A2在GRU模型上的RMSE比其在BP模型上分別降低0.305、0.215，MAE分別下降0.035、0.027，表明使用GRU模型比BP預測性能更穩(wěn)定，預測精度更高。由于B1在CNN-GRU模型的MAE比A1在GRU模型降低0.005，B2在CNN-GRU模型的測試集MAE比A2在GRU模型降低0.006，說明使用CNN提取區(qū)域內(nèi)各節(jié)點環(huán)境數(shù)據(jù)的特征值對CPUE預測比直接計算區(qū)域內(nèi)環(huán)境因子數(shù)據(jù)的平均值對CPUE預測，精度更高，也證明了使用CNN提取漁場環(huán)境因子的空間特征數(shù)據(jù)的有效性。但B1、B2在CNN-GRU模型的測試集RMSE比A1、A2在GRU模型上分別上升0.02、0.015，說明使用CNN提取漁場區(qū)域內(nèi)的環(huán)境因子造成模型預測穩(wěn)定性的一定下降。

由于數(shù)據(jù)集B1、B2在CNN-GRU-Attention模型的測試集RMSE比其在CNN-GRU模型分別降低0.067、0.07，說明Attention機制解決了CNN-GRU所存在的穩(wěn)定性下降問題；又由于B1、B2在CNN-GRU-Attention模型的測試集MAE比其在CNN-GRU模型分別降低0.007、0.008，說明Attention機制在解決CNN-GRU穩(wěn)定性下降的同時，還使模型的預測精度有所提高。

綜上所述，在CNN-GRU-Attention模型最優(yōu)情況下，相較于BP(多層前饋網(wǎng)絡)，絕對誤差降低0.047，均方根誤差降低0.352；與GRU相比，絕對誤差降低0.012，均方根誤差降低0.055。

3.3.2 損失值結(jié)果

數(shù)據(jù)集B1、B2在CNN-GRU模型、CNN-GRU-Attention模型上的訓練集與驗證集損失值如圖5所示。圖中橫坐標為迭代次數(shù)，縱坐標為損失值，train為訓練集損失值，validation為驗證集損失值。從圖中可以得出，B1、B2在CNN-GRU-Attention模型上分別迭代282、309次完成訓練，在CNN-GRU模型上分別迭代166、184次完成訓練，這說明加入Attention層后，雖然模型復雜度上升，但模型的收斂速度加快。由此可見，Attention機制對于模型訓練起到了一定的優(yōu)化作用。

圖5 損失值圖

4 討論

4.1 多層前饋神經(jīng)網(wǎng)絡與循環(huán)神經(jīng)網(wǎng)絡預測性能的對比

GRU及其改進模型在精度及穩(wěn)定性上明顯優(yōu)于BP模型，這是由于訓練帶有時間序列特征的數(shù)據(jù)集時，具有記憶功能的循環(huán)神經(jīng)網(wǎng)絡及其改進網(wǎng)絡相較于傳統(tǒng)的BP網(wǎng)絡能夠更好地保留數(shù)據(jù)的變化特征。而以往的漁場CPUE預測方法通過調(diào)整BP結(jié)構(gòu)來進行漁場分析[5]，雖然通過反復試驗得到了各影響因子所適合的模型權(quán)重，但在數(shù)據(jù)集變化時，需要對模型各層權(quán)重重新進行矯正，而GRU模型中利用不斷更新的單元狀態(tài)及更新門權(quán)重，保持了隱層權(quán)重與目標因子的擬合度，從而實現(xiàn)了對目標因子的準確預測。

4.2 融合模型所帶來的影響及其優(yōu)化

通過CNN處理環(huán)境因子的融合模型CNN-GRU相較于取均值進行預測的GRU模型在精度上有明顯提高，說明卷積處理因子數(shù)據(jù)相較于均值法能更加有效地提取影響因子的特征。但CNN-GRU模型的穩(wěn)定性有所下降，這是由于模型復雜度上升，異常數(shù)據(jù)所導致的誤差也因此放大，所以導致試驗結(jié)果均方根誤差上升。相較于同樣由于漁場過大所采用的聚類分析法[23]，通過聚類得到漁場的數(shù)個重心點，再對漁場相同半徑范圍內(nèi)進行分析，因此丟失一些單獨捕撈點的數(shù)據(jù)。雖然本文的卷積提取法充分利用了漁場數(shù)據(jù)，但也增加了無效點對模型參數(shù)的干擾，所以，利用Attention層對CNN-GRU模型的隱層輸出做附權(quán)值處理，可降低異常數(shù)據(jù)及空數(shù)據(jù)對輸出值的影響，同時加快模型的收斂速度，實現(xiàn)對模型異常數(shù)據(jù)處理能力的優(yōu)化，使得CNN-GRU-Attention模型的預測性能相較于原模型GRU具有全面的提升。

5 結(jié)論

通過分析漁場環(huán)境因子數(shù)據(jù)來解決CPUE的逐點預測問題，結(jié)果表明，CNN-GRU-Attention模型相較于傳統(tǒng)的漁情預測方法，預測精度及其穩(wěn)定性都明顯提高，從環(huán)境數(shù)據(jù)的融合處理方面為南太平洋長鰭金槍魚漁情預測提供了一種新的思路。但本文主要分析CPUE與環(huán)境因子的空間特征數(shù)據(jù)，缺少對時間關(guān)聯(lián)性的考慮，后期準備將前一年或多年的同月的漁場CPUE添加到影響因子中，并根據(jù)月份調(diào)整權(quán)值進行預測，希望能夠完善漁場CPUE逐點預測模型，并提高模型的預測精度。

□