基于自注意力機(jī)制和CNN-LSTM深度學(xué)習(xí)的對(duì)蝦投餌量預(yù)測(cè)模型

何津民，張麗珍,2*

(1.上海海洋大學(xué) 工程學(xué)院，上海 201306；2.上海海洋可再生能源工程技術(shù)研究中心，上海 201306)

近年來(lái)，中國(guó)的對(duì)蝦養(yǎng)殖發(fā)展迅速[1-3],南美白對(duì)蝦因其具有成活率高、生長(zhǎng)速度快、適應(yīng)范圍廣等特點(diǎn)，已成為中國(guó)主要的養(yǎng)殖蝦種[4]。養(yǎng)殖過程中，過多的投餌量會(huì)導(dǎo)致養(yǎng)殖成本的增高及水環(huán)境的污染，反之，投餌量過少則無(wú)法滿足對(duì)蝦的基本生長(zhǎng)需求，影響其生長(zhǎng)速度[5-7]。

對(duì)蝦養(yǎng)殖的投餌量大多通過養(yǎng)殖人員多年的養(yǎng)殖經(jīng)驗(yàn)確定，但據(jù)此確定的投餌量往往存在主觀性，會(huì)出現(xiàn)較大誤差。因此，建立準(zhǔn)確的預(yù)測(cè)模型對(duì)投餌量進(jìn)行預(yù)測(cè)具有重要意義。由于養(yǎng)殖過程中投餌量受到諸如對(duì)蝦質(zhì)量、數(shù)量、水溫和溶解氧含量等眾多內(nèi)外因素的影響，且各因素間存在復(fù)雜的相互關(guān)系，故難以建立傳統(tǒng)的數(shù)學(xué)模型對(duì)投餌量進(jìn)行預(yù)測(cè)。因此，研究人員使用基于BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型對(duì)水產(chǎn)養(yǎng)殖投餌量進(jìn)行預(yù)測(cè)[8-10]，如楊加慶[8]設(shè)計(jì)了一個(gè)用BP神經(jīng)網(wǎng)絡(luò)不斷訓(xùn)練優(yōu)化的對(duì)蝦投餌量影響系數(shù)的模糊神經(jīng)控制系統(tǒng)，以水溫和溶解氧作為模型輸入，以對(duì)蝦投餌量的影響系數(shù)作為模型輸出，在對(duì)蝦生長(zhǎng)模型基礎(chǔ)上聯(lián)合該輸出計(jì)算得到對(duì)蝦投餌量。然而，結(jié)合BP神經(jīng)網(wǎng)絡(luò)的投餌量預(yù)測(cè)方法存在一些共性缺點(diǎn)，就是容易過度學(xué)習(xí)，從而導(dǎo)致過擬合及預(yù)測(cè)模型的穩(wěn)定性差。

近年來(lái)，深度學(xué)習(xí)進(jìn)入快速發(fā)展時(shí)期，與傳統(tǒng)的機(jī)器學(xué)習(xí)和BP神經(jīng)網(wǎng)絡(luò)方法相比，其具有更強(qiáng)的數(shù)據(jù)挖掘能力和泛化擬合能力。其中，長(zhǎng)短期記憶網(wǎng)絡(luò)(long short term memory，LSTM)因具有較好的保存記憶時(shí)間序列數(shù)據(jù)的能力而被廣泛應(yīng)用于各行業(yè)的時(shí)序預(yù)測(cè)，如天氣預(yù)測(cè)、能源消耗預(yù)測(cè)及溶解氧預(yù)測(cè)等，Karevan等[11]提出了Transductive LSTM預(yù)測(cè)模型，利用局部信息進(jìn)行數(shù)據(jù)驅(qū)動(dòng)對(duì)天氣進(jìn)行預(yù)測(cè)，并取得了較好的效果。Dabrowski等[12]使用pH和水溫作為模型輸入，基于LSTM模型對(duì)溶解氧進(jìn)行預(yù)測(cè)，與其他模型相比，LSTM的精度最高。Laib等[13]提出根據(jù)負(fù)載行為建立全面的LSTM模型預(yù)測(cè)天然氣消耗，所提出的方法與一些傳統(tǒng)方法相比，預(yù)測(cè)的準(zhǔn)確性得到顯著提高。陳英義等[14]提出了一種基于主成分分析的LSTM水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)模型，滿足了水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)的基本要求。雖然這些預(yù)測(cè)模型都能滿足基本的預(yù)測(cè)需求，但是輸入的數(shù)據(jù)序列越長(zhǎng)，LSTM特征提取能力越不足的缺點(diǎn)就會(huì)顯現(xiàn)出來(lái)。針對(duì)以上問題, Huan等[15]首先使用梯度提升決策樹對(duì)數(shù)據(jù)序列進(jìn)行特征選擇，然后將得到的序列數(shù)據(jù)輸入至LSTM中對(duì)溶解氧進(jìn)行預(yù)測(cè),并使用交叉驗(yàn)證網(wǎng)格優(yōu)化算法對(duì)模型參數(shù)優(yōu)化，使該模型具有較好的預(yù)測(cè)效果和更高的預(yù)測(cè)精準(zhǔn)性；Kim等[16]先使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)提取影響能量消耗的復(fù)雜特征，再利用LSTM對(duì)不規(guī)則趨勢(shì)的時(shí)間信息進(jìn)行建模預(yù)測(cè)，提出的CNN-LSTM 方法實(shí)現(xiàn)了幾乎完美的電能消耗預(yù)測(cè)性能。使用LSTM預(yù)測(cè)模型及其優(yōu)化的預(yù)測(cè)模型在許多領(lǐng)域?qū)崿F(xiàn)了準(zhǔn)確度更高的時(shí)序預(yù)測(cè)任務(wù)。但目前鮮有基于LSTM模型在水產(chǎn)養(yǎng)殖投餌量預(yù)測(cè)的應(yīng)用研究。由于對(duì)蝦養(yǎng)殖投餌量的數(shù)據(jù)同樣具有時(shí)序特征，且考慮到在對(duì)蝦不同生長(zhǎng)時(shí)期所需要的投餌量不同的規(guī)律，故可以在LSTM預(yù)測(cè)模型的基礎(chǔ)上進(jìn)行優(yōu)化改進(jìn)，搭建準(zhǔn)確性更高的對(duì)蝦投餌量預(yù)測(cè)模型。

本研究中，提出了基于自注意力機(jī)制(self-attention，ATTN)和CNN-LSTM對(duì)蝦投餌量預(yù)測(cè)模型，以實(shí)驗(yàn)室的對(duì)蝦養(yǎng)殖投餌量數(shù)據(jù)為試驗(yàn)數(shù)據(jù)來(lái)訓(xùn)練模型和評(píng)估模型性能，并將預(yù)測(cè)結(jié)果與3個(gè)基準(zhǔn)模型進(jìn)行對(duì)比，以期能得到穩(wěn)定性更好的對(duì)蝦養(yǎng)殖投餌量預(yù)測(cè)方法，為對(duì)蝦養(yǎng)殖的投餌量管理調(diào)控提供參考依據(jù)。

1 數(shù)據(jù)獲取和預(yù)處理

1.1 數(shù)據(jù)獲取

在對(duì)蝦養(yǎng)殖中，對(duì)蝦的質(zhì)量和數(shù)量是影響對(duì)蝦餌料消耗的主要內(nèi)在因素，水溫及溶解氧含量是影響對(duì)蝦攝食的主要環(huán)境因素[17-18]。本研究中，選擇對(duì)蝦的質(zhì)量、數(shù)量、水溫及溶解氧含量作為模型的輸入，并在對(duì)蝦養(yǎng)殖投餌過程中記錄這些數(shù)據(jù)。用于投餌量預(yù)測(cè)的試驗(yàn)數(shù)據(jù)，來(lái)自實(shí)驗(yàn)室對(duì)蝦養(yǎng)殖水箱2020年7月1日—2020年9月15日的餌料投喂記錄。試驗(yàn)系統(tǒng)如圖1所示。

圖1 試驗(yàn)系統(tǒng)

在進(jìn)行試驗(yàn)之前，于2020年6月20日將蝦苗放于水箱中，提前適應(yīng)養(yǎng)殖環(huán)境。每日6：00和18:00各進(jìn)行一次投餌。在每次投餌時(shí)，利用傳感器采集水溫及溶解氧含量。由于對(duì)蝦的質(zhì)量在短時(shí)間內(nèi)變化不大，不需要在每次投餌時(shí)進(jìn)行質(zhì)量采集，故兩天稱重一次，記錄對(duì)蝦的平均體質(zhì)量。由于對(duì)蝦養(yǎng)殖期間會(huì)有死亡，故在每次投餌時(shí)記錄對(duì)蝦的數(shù)量。對(duì)蝦自由游泳進(jìn)行連續(xù)攝食，直到對(duì)蝦對(duì)掉落的餌料無(wú)任何反應(yīng)或者當(dāng)餌料掉落水箱底部時(shí)停止投餌，最后將投餌前后餌料質(zhì)量相減得到對(duì)蝦投餌量。試驗(yàn)采集的部分?jǐn)?shù)據(jù)如表1所示。

表1 試驗(yàn)期間采集的部分原始數(shù)據(jù)

1.2 數(shù)據(jù)歸一化

不同類型的數(shù)據(jù)有著不同的度量范圍，范圍較大的數(shù)據(jù)會(huì)削弱范圍較小的數(shù)據(jù)作用。如果用原始數(shù)據(jù)進(jìn)行模型訓(xùn)練，不僅會(huì)影響模型的學(xué)習(xí)速度，還會(huì)影響模型的預(yù)測(cè)性能和穩(wěn)定性。因此，在進(jìn)行學(xué)習(xí)訓(xùn)練之前使用公式(1)將所有數(shù)據(jù)進(jìn)行歸一化處理，以降低不同度量范圍數(shù)據(jù)對(duì)預(yù)測(cè)模型的影響。

x=(x′-xmin)/(xmax-xmin)。

(1)

其中：x′為原始數(shù)據(jù)；xmax和xmin分別為數(shù)據(jù)集中的最大值和最小值；x為處理之后得到的數(shù)據(jù)，取值范圍為[0,1]。

2 模型構(gòu)建

2.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)

CNN是一個(gè)參數(shù)少、局部鏈接的前饋神經(jīng)網(wǎng)絡(luò)。CNN的實(shí)質(zhì)是利用濾波器對(duì)數(shù)據(jù)進(jìn)行特征提取得到特征向量，并使用激活函數(shù)解決分類或者回歸問題[19]。由于對(duì)蝦投餌量的影響因素較多，且各因素間有著復(fù)雜的耦合關(guān)系，故本研究中使用CNN挖掘輸入數(shù)據(jù)間的內(nèi)在聯(lián)系。首先使用卷積層提取和過濾輸入的數(shù)據(jù)特征，然后使用池化層篩選數(shù)據(jù)特征，進(jìn)而降低特征提取后的數(shù)據(jù)維度。其中，卷積層的激活函數(shù)選擇RELU，因?yàn)镽ELU與其他的激活函數(shù)(sigmoid函數(shù)和tanh函數(shù))相比可以抑制過擬合，且運(yùn)算速度較快。RELU激活函數(shù)的表達(dá)式為

(2)

2.2 長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(LSTM)

LSTM是遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)的一個(gè)改進(jìn)版本，LSTM通過引入門控結(jié)構(gòu)控制信息傳遞的路徑，從而有效記憶保存時(shí)序數(shù)據(jù)特征[15]。

圖2 LSTM的神經(jīng)元結(jié)構(gòu)

it=σ(Wixt+Uiht-1+bi)，

(3)

ft=σ(Wfxt+Ufht-1+bf)，

(4)

ot=σ(Woxt+Uoht-1+bo)，

(5)

(6)

(7)

htot=tanh☉ct。

(8)

其中：W、U為權(quán)重矩陣；b為偏差矩陣；σ為sigmoid激活函數(shù)；☉為向量元素乘；tanh為雙曲正切激活函數(shù)；ft、it、ot分別為遺忘門、輸入門和輸出門。

2.3 自注意力機(jī)制(self-attention，ATTN)

注意力是人類的一種獨(dú)有的認(rèn)知能力，指人可以在關(guān)注某些信息的同時(shí)選擇性地忽略一些非重要信息[16]。注意力機(jī)制是將有限的資源用來(lái)處理更加重要的有效信息，其核心是讓神經(jīng)網(wǎng)絡(luò)在不同的時(shí)間節(jié)點(diǎn)上可以注意到它需要著重注意的地方,從而提高模型的準(zhǔn)確性。自注意力是注意力機(jī)制的一種變體[20]，盡可能地使用數(shù)據(jù)特征內(nèi)部固有的信息進(jìn)行注意力的交互，其基本結(jié)構(gòu)如圖3所示。

圖3 自注意力機(jī)制的基本結(jié)構(gòu)

(9)

本研究中的自注意力機(jī)制主要是為了獲取對(duì)蝦不同生長(zhǎng)階段時(shí)間序列數(shù)據(jù)的重要程度，進(jìn)而提高對(duì)蝦投餌量預(yù)測(cè)模型的準(zhǔn)確性。

2.4 CNN-LSTM-ATTN投餌量預(yù)測(cè)模型

在養(yǎng)殖過程中，對(duì)蝦的投餌量是一組隨著對(duì)蝦生長(zhǎng)時(shí)間變化且受到多因素影響而呈現(xiàn)非線性變化的時(shí)間序列數(shù)據(jù)，故在投餌量預(yù)測(cè)任務(wù)中，不僅需要考慮輸入?yún)?shù)間的聯(lián)系，還需考慮投餌量在時(shí)間維度的變化。由于LSTM在時(shí)間序列數(shù)據(jù)的預(yù)測(cè)能力較好,且有著較好的保存記憶非線性時(shí)間序列數(shù)據(jù)的能力，所以使用LSTM模型作為基準(zhǔn)模型。為了解決由于輸入?yún)?shù)較多使得模型的特征提取能力欠缺導(dǎo)致模型的穩(wěn)定性不足，以及梯度爆炸或消失等問題，引入CNN模型，對(duì)輸入的投餌量時(shí)間序列數(shù)據(jù)進(jìn)行特征提取，并挖掘數(shù)據(jù)內(nèi)部的深層聯(lián)系。由于使用CNN進(jìn)行特征提取后的時(shí)間序列數(shù)據(jù)仍然具有時(shí)間序列特性，所以將經(jīng)過CNN特征提取得到的輸出直接作為L(zhǎng)STM的輸入。本模型以串聯(lián)的方式將CNN和LSTM連接起來(lái)，構(gòu)建CNN-LSTM預(yù)測(cè)模型?？紤]到對(duì)蝦在不同生長(zhǎng)階段的投餌量會(huì)呈現(xiàn)顯著差異，而且自注意力機(jī)制可以全面獲取時(shí)間序列數(shù)據(jù)信息，學(xué)習(xí)不同時(shí)間節(jié)點(diǎn)的時(shí)間序列的重要程度，最終降低模型非重要時(shí)間序列的影響力，提高模型的預(yù)測(cè)精準(zhǔn)性，在上述構(gòu)建的CNN-LSTM預(yù)測(cè)模型的基礎(chǔ)上加入ATTN，以降低對(duì)蝦在不同生長(zhǎng)階段的投餌量差異對(duì)預(yù)測(cè)模型造成的預(yù)測(cè)誤差。具體預(yù)測(cè)流程如圖4所示，使用該模型進(jìn)行對(duì)蝦投餌量預(yù)測(cè)的具體步驟如下：

圖4 基于CNN-LSTM-ATTN的投餌量預(yù)測(cè)流程圖

1)將通過養(yǎng)殖試驗(yàn)獲取的數(shù)據(jù)進(jìn)行歸一化預(yù)處理，并按照8∶2的比例劃分訓(xùn)練集和數(shù)據(jù)集。

2)設(shè)定網(wǎng)絡(luò)的初始化超參數(shù)，將訓(xùn)練集輸至CNN-LSTM-ATTN模型中，模型不斷自適應(yīng)優(yōu)化參數(shù)，并進(jìn)行特征提取和學(xué)習(xí)訓(xùn)練，直到損失函數(shù)趨向收斂，預(yù)測(cè)模型最精準(zhǔn)時(shí)或者達(dá)到預(yù)設(shè)定的訓(xùn)練輪數(shù)時(shí)停止。

3)將劃分的測(cè)試集輸入至訓(xùn)練得到的模型，得到測(cè)試集的預(yù)測(cè)結(jié)果，將模型的性能評(píng)價(jià)指標(biāo)與其他基準(zhǔn)預(yù)測(cè)模型進(jìn)行對(duì)比分析，得到預(yù)測(cè)性能最優(yōu)的對(duì)蝦投餌量預(yù)測(cè)模型。

2.5 模型性能評(píng)價(jià)指標(biāo)

單一的評(píng)價(jià)標(biāo)準(zhǔn)在實(shí)際應(yīng)用方面存在局限性，較難全面綜合衡量評(píng)估模型。本研究中采用均方根誤差(root mean square error,RMSE)、平均絕對(duì)誤差(mean absolute error,MAE)和平均絕對(duì)百分誤差(mean absolute percentage error,MAPE)這3個(gè)模型性能評(píng)價(jià)指標(biāo)衡量不同模型的穩(wěn)定性和性能，其計(jì)算公式為

(10)

(11)

(12)

RMSE、MAE和MAPE 指標(biāo)的取值范圍均為[0，+∞)，RMSE值越小，表示模型的預(yù)測(cè)能力越好，更接近實(shí)際值，MAE和MAPE值越小，表示模型的穩(wěn)定性越好。

3 對(duì)蝦投餌量預(yù)測(cè)

3.1 模型結(jié)構(gòu)和部分參數(shù)設(shè)置

CNN-LSTM-ATTN對(duì)蝦投餌量預(yù)測(cè)模型主要由輸入層、卷積層、LSTM層、ATTN層、全局平均池化層、全連接層和輸出層組成。由于自適應(yīng)矩估計(jì)(adaptive moment estimation,Adam)具有收斂速度快和學(xué)習(xí)能力好兩個(gè)優(yōu)點(diǎn)，故本預(yù)測(cè)模型均使用Adam優(yōu)化算法對(duì)模型進(jìn)行優(yōu)化訓(xùn)練。為了減少人為因素對(duì)預(yù)測(cè)模型的影響，調(diào)整模型的參數(shù)進(jìn)行多次訓(xùn)練試驗(yàn)，得到CNN-LSTM-ATTN預(yù)測(cè)模型的最優(yōu)參數(shù)。

首先，使用對(duì)蝦投餌量數(shù)據(jù)對(duì)傳統(tǒng)LSTM模型進(jìn)行訓(xùn)練，結(jié)果如表2所示。從表2可知，當(dāng)LSTM層的神經(jīng)元個(gè)數(shù)為16時(shí)，3個(gè)評(píng)價(jià)指標(biāo)的值最小，此時(shí)LSTM模型的準(zhǔn)確性和穩(wěn)定性最好。然后，將卷積層和池化層順序接在LSTM模型的前面，經(jīng)過卷積層和池化層特征提取的數(shù)據(jù)直接作為L(zhǎng)STM的輸入，構(gòu)建CNN-LSTM預(yù)測(cè)模型，先將卷積步長(zhǎng)設(shè)為1，調(diào)整卷積核個(gè)數(shù)后經(jīng)過多次訓(xùn)練試驗(yàn)，結(jié)果如表3所示。

表2 不同神經(jīng)元個(gè)數(shù)的LSTM模型對(duì)比

表3 不同卷積核個(gè)數(shù)的模型對(duì)比

從表3可知，當(dāng)卷積步長(zhǎng)為1，卷積核個(gè)數(shù)為16時(shí)，模型的預(yù)測(cè)性能最好。將卷積核個(gè)數(shù)設(shè)為16，調(diào)整卷積步長(zhǎng)后進(jìn)行訓(xùn)練試驗(yàn)，結(jié)果見表4。

從表4可知，當(dāng)卷積核個(gè)數(shù)為16，卷積步長(zhǎng)為1時(shí)，模型的預(yù)測(cè)性能最好。在上述試驗(yàn)訓(xùn)練中，模型訓(xùn)練的損失函數(shù)選擇均方誤差(mean square error,MSE)。當(dāng)模型次數(shù)達(dá)到80次時(shí)，損失函數(shù)的誤差均趨向于收斂。在上述CNN-LSTM預(yù)測(cè)模型基礎(chǔ)上再加入ATTN，因?yàn)槌鼗瘜禹樞蚪又辆矸e層后，自注意力將無(wú)法進(jìn)行輸入，所以將池化層接在自注意力機(jī)制層的后面，該連接方法的作用與卷積層、池化層順序連接所起的作用是相同的。綜合上述訓(xùn)練試驗(yàn)，CNN-LSTM-ATTN預(yù)測(cè)模型的部分參數(shù)設(shè)置如表5所示。

表4 不同卷積步長(zhǎng)的模型對(duì)比

表5 CNN-LSTM-ATTN預(yù)測(cè)模型參數(shù)設(shè)置

3.2 結(jié)果與分析

圖5為本研究中提出的CNN-LSTM-LSTM模型的損失函數(shù)變化曲線，隨著訓(xùn)練過程中訓(xùn)練次數(shù)的增加，訓(xùn)練集和測(cè)試集的損失變化曲線均為逐漸減小且最終趨向于0,當(dāng)訓(xùn)練次數(shù)達(dá)到20次以上時(shí)，測(cè)試集的損失變化曲線不再下降，得到最終的預(yù)測(cè)模型。

圖5 模型的損失函數(shù)變化曲線

在對(duì)蝦投餌量預(yù)測(cè)的國(guó)內(nèi)外研究中，多使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)研究，為了驗(yàn)證本模型的優(yōu)勢(shì)，將CNN-LSTM-ATTN模型與LSTM、CNN-LSTM和BP 3個(gè)基本模型進(jìn)行對(duì)比。圖6為各預(yù)測(cè)模型投餌量的預(yù)測(cè)結(jié)果和實(shí)際投餌量(actual)的比較，其中，橫坐標(biāo)是樣本數(shù)，共24組測(cè)試數(shù)據(jù)，縱坐標(biāo)為投餌量。從圖6可知，BP和LSTM模型的預(yù)測(cè)結(jié)果較為接近，經(jīng)過CNN對(duì)數(shù)據(jù)進(jìn)行特征提取后，CNN-LSTM的預(yù)測(cè)結(jié)果比單一的LSTM和BP模型更加接近實(shí)際值。在CNN-LSTM模型基礎(chǔ)上加入自注意力機(jī)制后的CNN-LSTM-ATTN模型擬合度再次得到提高，盡管有個(gè)別樣本的預(yù)測(cè)結(jié)果不如其他模型的預(yù)測(cè)結(jié)果，但總體上最接近實(shí)際投餌量曲線，擬合程度最優(yōu)。

圖6 4個(gè)模型的預(yù)測(cè)值和實(shí)際值的比較

4個(gè)模型的性能評(píng)價(jià)指標(biāo)值如表6所示，BP模型與LSTM模型相比，BP模型的RMSE值略低于LSTM模型，但 MAE和MAPE值則均大于LSTM基準(zhǔn)模型，由此可以看出，BP和LSTM這兩個(gè)對(duì)蝦預(yù)測(cè)模型的預(yù)測(cè)能力十分接近；相較于原始的LSTM預(yù)測(cè)模型，CNN-LSTM預(yù)測(cè)模型的RMSE、MAE及MAPE值都有一定程度的下降，因此，CNN-LSTM的預(yù)測(cè)精度得到了提高；CNN-LSTM-ATTN預(yù)測(cè)模型的性能評(píng)價(jià)指標(biāo)RMSE、MAE和MAPE值在所有對(duì)比的模型中均為最低值，這說(shuō)明CNN-LSTM-ATTN模型的投餌預(yù)測(cè)量最接近實(shí)際投餌量。

表6 不同模型的性能對(duì)比

4 討論

4.1 模型的選擇與構(gòu)建

在深度學(xué)習(xí)發(fā)展高速時(shí)期，先后誕生了許多可以用于時(shí)序數(shù)據(jù)預(yù)測(cè)的神經(jīng)網(wǎng)絡(luò)模型，如循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)、LSTM、門控循環(huán)單元(gate recurrent unit,GRU)等。LSTM與RNN、GRU相比，不僅同樣可以處理時(shí)間序列任務(wù)，而且還有更好的記憶能力以及可緩解其他模型在訓(xùn)練時(shí)存在的梯度爆炸問題，故可以選擇LSTM作為基準(zhǔn)模型。LSTM雖然在時(shí)序數(shù)據(jù)的記憶保存能力方面較為優(yōu)秀，但對(duì)數(shù)據(jù)特征提取的能力稍顯不足。Chen等[21]利用CNN的自動(dòng)編碼器與LSTM相結(jié)合，進(jìn)行二維區(qū)域風(fēng)速預(yù)測(cè)，該CNN-LSTM模型的RMSE值在LSTM模型基礎(chǔ)上降低了18.9%。Yan等[22]利用基于時(shí)空聚類的CNN-LSTM模型，建立了北京市空氣質(zhì)量的多時(shí)間、多點(diǎn)預(yù)測(cè)模型。這些結(jié)果均表明，無(wú)論基于時(shí)間或空間的預(yù)測(cè)方法，CNN-LSTM通常比LSTM有著更好的預(yù)測(cè)性能。這些結(jié)果與本研究中結(jié)果一致，本研究中經(jīng)過CNN特征提取后的CNN-LSTM預(yù)測(cè)模型的精準(zhǔn)性優(yōu)于LSTM預(yù)測(cè)模型。但是，本研究中的預(yù)測(cè)對(duì)象對(duì)蝦投餌量有一個(gè)獨(dú)有的特征，即在不同的生長(zhǎng)階段對(duì)蝦的投餌量有顯著增長(zhǎng)變化，以往的預(yù)測(cè)模型并未考慮到這個(gè)特征。

自注意力機(jī)制已經(jīng)在圖像處理、目標(biāo)檢測(cè)及機(jī)器翻譯等領(lǐng)域都表現(xiàn)出極為出色的能力，并能提高許多深度學(xué)習(xí)模型的性能，但是目前尚未見結(jié)合其他深度學(xué)習(xí)模型進(jìn)行時(shí)序數(shù)據(jù)預(yù)測(cè)的相關(guān)報(bào)道。本研究中，使用自注意力機(jī)制突出自身數(shù)據(jù)特征信息在不同時(shí)間節(jié)點(diǎn)上重要程度的能力，進(jìn)一步優(yōu)化CNN-LSTM模型來(lái)契合對(duì)蝦養(yǎng)殖投餌量的規(guī)律，并對(duì)投餌量進(jìn)行預(yù)測(cè)，結(jié)果顯示，CNN-LSTM-ATTN模型的性能評(píng)價(jià)指標(biāo)RMSE、MAE和MAPE值在所有進(jìn)行對(duì)比的模型中均為最低值，分別比未經(jīng)過自注意力機(jī)制優(yōu)化的CNN-LSTM預(yù)測(cè)模型降低了36.15%、27.32%和25%。由此可見，與其他模型相比，CNN-LSTM-ATTN模型確實(shí)有著更高的準(zhǔn)確性及更好的穩(wěn)定性。

4.2 對(duì)蝦養(yǎng)殖投餌量模型的可行性

目前，確定水產(chǎn)養(yǎng)殖的投餌量往往依據(jù)試驗(yàn)數(shù)據(jù)，即進(jìn)行多次投餌試驗(yàn)，將多次的試驗(yàn)結(jié)果進(jìn)行比對(duì)得到最優(yōu)的投餌量，這些試驗(yàn)得到的投餌量反映不出投餌量與影響因素間的映射關(guān)系，結(jié)果容易受到投餌者的主觀經(jīng)驗(yàn)影響。為解決上述問題，陸天辰[9]設(shè)計(jì)了以投餌時(shí)對(duì)蝦的聲音信號(hào)計(jì)算得到的攝食量，即以當(dāng)次投餌量和攝食時(shí)間為輸入，下次投餌量為輸出的BP神經(jīng)網(wǎng)絡(luò)。但是該方法使用的數(shù)據(jù)時(shí)長(zhǎng)較短，并不確定是否可以滿足對(duì)蝦整個(gè)生長(zhǎng)周期的需求。Chen等[10]提出來(lái)一個(gè)基于思維進(jìn)化算法(mind evolutionary algorithm，MEA)的BP投餌量預(yù)測(cè)模型(MEA-BP)，通過MEA優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的權(quán)重和閾值對(duì)虹鱒投餌量進(jìn)行預(yù)測(cè)，該方法的RMSE、MAE和MAPE分別為6.89、6.17和0.04。本研究中提出的CNN-LSTM-ATTN預(yù)測(cè)模型的RMSE、MAE和MAPE值分別為0.816、0.681和0.018，均優(yōu)于之前提出的投餌量預(yù)測(cè)模型。

本研究中的預(yù)測(cè)模型是使用深度學(xué)習(xí)模型對(duì)對(duì)蝦養(yǎng)殖整個(gè)生長(zhǎng)周期投餌量進(jìn)行預(yù)測(cè)研究的首次嘗試，該模型的優(yōu)勢(shì)是可以挖掘影響對(duì)蝦投餌量的幾個(gè)主要影響因素間的內(nèi)在聯(lián)系，然后對(duì)這些影響因素進(jìn)行特征提取，以便于模型后續(xù)的學(xué)習(xí)訓(xùn)練，且模型不易在學(xué)習(xí)訓(xùn)練過程丟失特征提取得到的數(shù)據(jù)信息，可以較好地契合對(duì)蝦投餌量的規(guī)律。經(jīng)過試驗(yàn)數(shù)據(jù)學(xué)習(xí)訓(xùn)練預(yù)測(cè)模型，最終驗(yàn)證了該模型擁有更加優(yōu)秀的回歸擬合能力及更加可靠的模型穩(wěn)定性，實(shí)現(xiàn)了實(shí)驗(yàn)室對(duì)蝦養(yǎng)殖投餌量預(yù)測(cè)的初始目標(biāo)。該預(yù)測(cè)模型可以自動(dòng)建立和學(xué)習(xí)對(duì)蝦投餌量與影響因素間的映射關(guān)系，避免了傳統(tǒng)方法的主觀性。這說(shuō)明，利用CNN-LSTM-ATTN模型預(yù)測(cè)對(duì)蝦養(yǎng)殖投餌量是切實(shí)可行的，不僅可以為池塘對(duì)蝦養(yǎng)殖的投餌量管理調(diào)控提供參考依據(jù)，而且還可以促進(jìn)水產(chǎn)養(yǎng)殖和人工智能多學(xué)科交叉研究發(fā)展，加速智能化養(yǎng)殖的進(jìn)步。

5 結(jié)論

1)本研究中提出的CNN-LSTM-ATTN預(yù)測(cè)模型，可以對(duì)對(duì)蝦投餌量的多種影響因子特征進(jìn)行自動(dòng)提取和長(zhǎng)期保存記憶，根據(jù)對(duì)蝦在不同生長(zhǎng)周期所需投餌量不同這一規(guī)律，較為精準(zhǔn)地預(yù)測(cè)了12 h之后的對(duì)蝦養(yǎng)殖投餌量，預(yù)測(cè)精準(zhǔn)度和模型的穩(wěn)定性較高，為水產(chǎn)養(yǎng)殖投餌量預(yù)測(cè)提供了一種全新思路。

2)CNN-LSTM-ATTN預(yù)測(cè)模型僅僅考慮了幾個(gè)主要的影響對(duì)蝦投餌量的因素，沒有考慮其他一些次要影響因子，如pH、鹽度、投餌頻率等。因此，在后續(xù)的研究中，可以加入更多的輸入變量進(jìn)一步優(yōu)化預(yù)測(cè)模型，提高對(duì)蝦投餌量預(yù)測(cè)精度。此外，本研究中僅使用了實(shí)驗(yàn)室養(yǎng)殖池的養(yǎng)殖數(shù)據(jù)來(lái)驗(yàn)證模型，下一步可收集生產(chǎn)性蝦塘養(yǎng)殖的數(shù)據(jù)驗(yàn)證該模型在蝦塘養(yǎng)殖環(huán)境的可行性。