基于MA-FOSELM-OTF的海洋養(yǎng)殖環(huán)境數(shù)據(jù)在線(xiàn)預(yù)測(cè)

李志剛, 劉宇杰

(1. 華北理工大學(xué)人工智能學(xué)院, 河北 唐山 063210; 2. 河北省工業(yè)智能感知重點(diǎn)實(shí)驗(yàn)室, 河北 唐山 063210)

海洋養(yǎng)殖主要養(yǎng)殖經(jīng)濟(jì)價(jià)值較高的魚(yú)、蝦、貝及棘皮動(dòng)物(如刺參)等．海洋養(yǎng)殖環(huán)境能影響?zhàn)B殖生物的生長(zhǎng)、繁殖以及其生理與生態(tài)平衡．隨著海洋養(yǎng)殖規(guī)模的擴(kuò)展,養(yǎng)殖環(huán)境的酸堿度、化學(xué)需氧量、氣壓、溶解氧、水溫和鹽度等數(shù)據(jù)的在線(xiàn)實(shí)時(shí)預(yù)測(cè)對(duì)于養(yǎng)殖產(chǎn)量和質(zhì)量以及海洋生態(tài)環(huán)境的保護(hù)尤為關(guān)鍵．常用的傳統(tǒng)經(jīng)驗(yàn)法、儀器法、化學(xué)法或離線(xiàn)分析法等海洋養(yǎng)殖環(huán)境數(shù)據(jù)測(cè)量方法的測(cè)定周期較長(zhǎng)且無(wú)法表征海洋養(yǎng)殖環(huán)境數(shù)據(jù)中的非線(xiàn)性關(guān)系, 難以提供實(shí)時(shí)且穩(wěn)定可靠的海洋養(yǎng)殖環(huán)境數(shù)據(jù)信息[1]．人工智能方法則擅長(zhǎng)建模非線(xiàn)性關(guān)系, 其中極限學(xué)習(xí)機(jī)[2](extreme learning machine, ELM)因具有單個(gè)隱藏層, 故網(wǎng)絡(luò)參數(shù)較少且計(jì)算效率高．許多學(xué)者利用極限學(xué)習(xí)機(jī)的算法特性對(duì)海洋環(huán)境預(yù)測(cè)進(jìn)行了大量研究．例如, 宦娟等[3]將k-means聚類(lèi)算法與極限學(xué)習(xí)機(jī)相結(jié)合, 完成海洋養(yǎng)殖中溶解氧的預(yù)測(cè); Yaseen等[4]采用完全正交分解學(xué)習(xí)工具優(yōu)化極限學(xué)習(xí)機(jī)模型內(nèi)部神經(jīng)元系統(tǒng)的隱藏層輸出,提升極限學(xué)習(xí)機(jī)的預(yù)測(cè)性能．然而,上述方法中極限學(xué)習(xí)機(jī)處于離線(xiàn)機(jī)制,無(wú)法處理逐個(gè)或批量到達(dá)的訓(xùn)練數(shù)據(jù)．在實(shí)際應(yīng)用中,海洋養(yǎng)殖環(huán)境數(shù)據(jù)的在線(xiàn)預(yù)測(cè)須保證持續(xù)學(xué)習(xí),以及時(shí)處理新到達(dá)的數(shù)據(jù),從而獲得完整的數(shù)據(jù)集．Alizamir等[5]提出利用在線(xiàn)順序極限學(xué)習(xí)機(jī)(online sequential extreme learning machine, OS-ELM)逐個(gè)或分塊學(xué)習(xí)數(shù)據(jù),通過(guò)水質(zhì)參數(shù)預(yù)測(cè)海洋養(yǎng)殖環(huán)境中葉綠素a的濃度; Attar等[6]提出一種自回歸條件異方差OS-ELM, 進(jìn)一步提高了ELM的預(yù)測(cè)能力且滿(mǎn)足在線(xiàn)預(yù)測(cè)的需求．

雖然OS-ELM能夠在線(xiàn)連續(xù)處理分批到達(dá)的海洋養(yǎng)殖環(huán)境新數(shù)據(jù)且運(yùn)行速度快, 但其后續(xù)學(xué)習(xí)易受過(guò)時(shí)環(huán)境數(shù)據(jù)的不良影響且模型單一缺乏穩(wěn)定性, 導(dǎo)致學(xué)習(xí)網(wǎng)絡(luò)的穩(wěn)定性下降和輸出結(jié)果欠佳[7-9]．集成學(xué)習(xí)[10]則采用多個(gè)基學(xué)習(xí)器進(jìn)行學(xué)習(xí), 再整合各個(gè)基學(xué)習(xí)器的學(xué)習(xí)結(jié)果, 從而獲得比單個(gè)模型更好的學(xué)習(xí)效果, 該方法能有效解決單一模型過(guò)度訓(xùn)練的影響和提高預(yù)測(cè)性能．Fang等[11]將模型平均化(model averaging, MA)集成方法應(yīng)用于預(yù)測(cè)任務(wù), 預(yù)測(cè)精度高于單一模型．本文擬采用MA算法, 同時(shí)引入遺忘機(jī)制[12](obsolete to forget, OTF)集成優(yōu)化全在線(xiàn)順序極限學(xué)習(xí)機(jī)(fully online sequential extreme learning machine, FOSELM), 提出基于MA-FOSELM-OTF的海洋養(yǎng)殖環(huán)境在線(xiàn)預(yù)測(cè)模型, 以期降低學(xué)習(xí)過(guò)程中過(guò)時(shí)數(shù)據(jù)對(duì)后續(xù)學(xué)習(xí)的不良影響和提升模型輸出效果．

1 MA-FOSELM-OTF模型

MA-FOSELM-OTF模型架構(gòu)由M個(gè)FOSELM網(wǎng)絡(luò)集成形成, FOSELM網(wǎng)絡(luò)具有輸入層、隱藏層和輸出層等3層結(jié)構(gòu), 每個(gè)FOSELM網(wǎng)絡(luò)包含相同的激活函數(shù)和神經(jīng)元數(shù)量. 首先單獨(dú)訓(xùn)練各網(wǎng)絡(luò), 然后對(duì)所有FOSELM網(wǎng)絡(luò)訓(xùn)練后的輸出結(jié)果求和取平均值, 最終得到MA-FOSELM-OTF的輸出結(jié)果．MA集成方式能夠大幅降低由FOSELM模型輸入權(quán)重初始化引起的隨機(jī)性．由于訓(xùn)練數(shù)據(jù)僅在特定時(shí)段內(nèi)有效, 而新的海洋養(yǎng)殖環(huán)境數(shù)據(jù)樣本比舊的海洋養(yǎng)殖環(huán)境數(shù)據(jù)樣本更具參考價(jià)值,且能更有效地反映海洋養(yǎng)殖環(huán)境的現(xiàn)階段狀態(tài), 故引入OTF算法, 對(duì)不同時(shí)間到達(dá)的數(shù)據(jù)樣本賦以不同的權(quán)重, 使得海洋養(yǎng)殖環(huán)境數(shù)據(jù)樣本以不同的比重更新FOSELM．MA-FOSELM-OTF模型如圖1所示．

圖1 MA-FOSELM-OTF模型架構(gòu)示意圖Fig.1 Schematic diagram of MA-FOSELM-OTF model architecture

基于MA-FOSELM-OTF模型進(jìn)行海洋養(yǎng)殖環(huán)境數(shù)據(jù)在線(xiàn)預(yù)測(cè)的具體流程如下: 1) 對(duì)海洋環(huán)境數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化及平滑預(yù)處理, 消除極端值和異常值對(duì)預(yù)測(cè)精度的影響; 2) 通過(guò)引入OTF算法的FOSELM網(wǎng)絡(luò)對(duì)海洋養(yǎng)殖環(huán)境數(shù)據(jù)進(jìn)行遞推計(jì)算, 得到每個(gè)單獨(dú)訓(xùn)練的FOSELM網(wǎng)絡(luò)的輸出結(jié)果; 3) 采用MA算法集成所有具有相同激活函數(shù)和神經(jīng)元數(shù)量的FOSELM網(wǎng)絡(luò), 對(duì)FOSELM網(wǎng)絡(luò)的全部輸出結(jié)果求和并取平均值得到MA-FOSELM-OTF的最終輸出．

2 本文算法

2.1 FOSELM非線(xiàn)性逼近

選擇每次訓(xùn)練100個(gè)海洋養(yǎng)殖環(huán)境數(shù)據(jù)預(yù)測(cè)1個(gè)海洋養(yǎng)殖環(huán)境數(shù)據(jù)的模型訓(xùn)練方式, 在FOSELM的初始階段采用全在線(xiàn)學(xué)習(xí)方式構(gòu)建網(wǎng)絡(luò)．

給定按順序到達(dá)網(wǎng)絡(luò)的任意海洋養(yǎng)殖環(huán)境數(shù)據(jù)(xi,ti),i=1,2,…,q．假設(shè)FOSELM網(wǎng)絡(luò)含1個(gè)隱藏層和L個(gè)隱藏節(jié)點(diǎn), 激活函數(shù)為g(x)．如果網(wǎng)絡(luò)輸出可以零誤差地逼近海洋養(yǎng)殖環(huán)境數(shù)據(jù), 則FOSELM的輸出函數(shù)為

(1)

其中aj為輸入權(quán)重,bj為第j個(gè)隱藏節(jié)點(diǎn)的偏置值,βj為第j個(gè)隱藏層節(jié)點(diǎn)的輸出權(quán)重,G(aj,bj,xi)為輸入xi的第j個(gè)隱藏層節(jié)點(diǎn)的輸出,ti為實(shí)際數(shù)據(jù)(即數(shù)據(jù)標(biāo)簽)．

FOSELM算法分為如下2個(gè)階段:

1) 初始化階段．首先, 設(shè)定初始輸出權(quán)重β0=0和初始輔助矩陣P0=(I/C)-1,I為單位矩陣,C為正則化常數(shù); 其次, 隨機(jī)生成隱藏層輸出矩陣的初始值H0和隱藏層節(jié)點(diǎn)參數(shù)(aj,bj),j=1,2,…,L;

2) 在線(xiàn)順序?qū)W習(xí)階段．步驟如下:

Hβ=T,

(2)

式中隱藏層輸出矩陣

(3)

實(shí)際海洋養(yǎng)殖環(huán)境數(shù)據(jù)

(4)

② 計(jì)算輸出權(quán)重βk+1, 更新Pk+1和βk+1:

(5)

(6)

其中遺忘因子λ∈(0,1], 其作用是削弱舊的海洋養(yǎng)殖環(huán)境數(shù)據(jù)樣本的影響, 從而間接增強(qiáng)新的海洋養(yǎng)殖環(huán)境數(shù)據(jù)樣本的影響;

③ 當(dāng)j=k+1時(shí), 當(dāng)數(shù)據(jù)處理完后，調(diào)入新一批數(shù)據(jù)，則程序跳轉(zhuǎn)至在線(xiàn)順序?qū)W習(xí)階段的第一步, 直至新數(shù)據(jù)全部處理完畢．

2.2 MA集成

以FOSELM為基學(xué)習(xí)器, 同時(shí)對(duì)每個(gè)FOSELM單獨(dú)訓(xùn)練,得到所有FOSELM訓(xùn)練后的輸出結(jié)果,再將所有輸出結(jié)果求和取平均值,所得平均值即最終輸出．假設(shè)每個(gè)FOSELM網(wǎng)絡(luò)的輸出為fj(xi),j=1,2,…,M, MA-FOSELM-OTF的最終輸出為

(7)

3 實(shí)驗(yàn)仿真與性能評(píng)估

3.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)所用海洋養(yǎng)殖環(huán)境預(yù)測(cè)的數(shù)據(jù)為中國(guó)沿海地區(qū)的真實(shí)浮標(biāo)觀(guān)測(cè)數(shù)據(jù)集,采集于海、陸、空、天四維立體化海洋監(jiān)測(cè)網(wǎng)獲取的海洋環(huán)境數(shù)據(jù)．根據(jù)該數(shù)據(jù)集對(duì)水質(zhì)和氣象兩種類(lèi)型中的酸堿度、化學(xué)需氧量、氣壓、溶解氧、水溫和鹽度等6種海洋環(huán)境因素進(jìn)行實(shí)驗(yàn)仿真分析．樣本選擇周期為5 min, 分別從各因素角度選擇4 000個(gè)樣本,建立海洋養(yǎng)殖環(huán)境的在線(xiàn)集成預(yù)測(cè)模型．為了使MA-FOSELM-OTF模型的在線(xiàn)訓(xùn)練階段效果更佳, 設(shè)置模型輸入維數(shù)為100,即每組數(shù)據(jù)集的前100個(gè)數(shù)據(jù)作為輸入．

3.2 預(yù)測(cè)效果評(píng)價(jià)指標(biāo)

1) 平均絕對(duì)百分比誤差(mean absolute percentage error, MAPE)．MAPE值越小,模型預(yù)測(cè)的精度越高, 預(yù)測(cè)效果越好．MAPE計(jì)算式如下:

(8)

式中N為海洋養(yǎng)殖環(huán)境數(shù)據(jù)的樣本數(shù)量,yr(t),yp(t)分別為模型中第t個(gè)海洋養(yǎng)殖環(huán)境樣本的實(shí)際數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)．

2) 標(biāo)準(zhǔn)均方根誤差(normalized root mean square error, NRMSE)．NRMSE可度量預(yù)測(cè)輸出與實(shí)際輸出之間的距離．NRMSE計(jì)算式如下:

(9)

式中σ2為預(yù)測(cè)值的方差．

3.3 預(yù)測(cè)性能評(píng)估

利用五折交叉驗(yàn)證法選擇FOSELM最佳隱藏節(jié)點(diǎn)數(shù), 激活函數(shù)選用sigmoid函數(shù)．在海洋環(huán)境數(shù)據(jù)集上進(jìn)行10次模擬試驗(yàn),使網(wǎng)絡(luò)提供最低的驗(yàn)證誤差來(lái)選擇最佳隱藏節(jié)點(diǎn)數(shù),最終得到FOSELM的最佳隱藏節(jié)點(diǎn)數(shù)為20．FOSELM的參數(shù)確定后,在酸堿度和化學(xué)需氧量等數(shù)據(jù)集上驗(yàn)證FOSELM-OTF的性能, 分別設(shè)定遺忘因子為0.905、0.910、0.915、0.920、0.925進(jìn)行對(duì)比實(shí)驗(yàn), 結(jié)果如圖2所示．由圖2可見(jiàn): 引入OTF的FOSELM在各數(shù)據(jù)集的在線(xiàn)預(yù)測(cè)任務(wù)中均表現(xiàn)出良好的預(yù)測(cè)性能; 所有評(píng)估模型在遺忘因子為0.915時(shí)的預(yù)測(cè)性能最佳，此時(shí)分配給過(guò)時(shí)樣本的權(quán)重能最大程度地降低對(duì)模型后續(xù)學(xué)習(xí)的影響．

圖2 FOSELM-OTF在不同遺忘因子λ下的NRMSE和MAPEFig.2 Comparison of NRMSE and MAPE of FOSELM-OTF with different forgetting factor λ

設(shè)置MA-FOSELM-OTF中每個(gè)FOSELM網(wǎng)絡(luò)的隱藏節(jié)點(diǎn)數(shù)為20, 設(shè)定遺忘因子λ=0.915．為驗(yàn)證MA集成方法的有效性且降低偶然性對(duì)實(shí)驗(yàn)的影響, 對(duì)單一FOSELM模型與集成不同基學(xué)習(xí)器數(shù)目的MA-FOSELM-OTF模型分別進(jìn)行10次仿真實(shí)驗(yàn), 所得結(jié)果的平均值即預(yù)測(cè)結(jié)果．表1顯示了利用MA-FOSELM-OTF模型進(jìn)行鹽度預(yù)測(cè)的結(jié)果．由表1可知: 1) MA-FOSELM-OTF模型的NRMSE和MAPE值遠(yuǎn)低于FOSELM的, 集成后的預(yù)測(cè)精度顯著提高, 故MA-FOSELM-OTF適用于對(duì)輸出精準(zhǔn)性要求較高的海洋養(yǎng)殖領(lǐng)域; 2) MA-FOSELM-OTF中集成6個(gè)基學(xué)習(xí)器時(shí)的NRMSE和MAPE值最低, 其模型運(yùn)行時(shí)間僅較集成3,9個(gè)基學(xué)習(xí)器時(shí)分別多3.36,4.69 s．雖然集成6個(gè)基學(xué)習(xí)器比集成3個(gè)基學(xué)習(xí)器時(shí)運(yùn)行時(shí)間長(zhǎng)3.36 s, 但是相比于樣本采樣周期5 min是可以接受的, 故選擇MA-FOSELM-OTF的最優(yōu)集成數(shù)為6個(gè)．

表1 MA-FOSELM-OTF模型的鹽度預(yù)測(cè)結(jié)果Tab.1 Prediction results of salinity by MA-FOSELM-OTF model

為驗(yàn)證MA-FOSELM-OTF在海洋養(yǎng)殖環(huán)境預(yù)測(cè)任務(wù)中的可行性, 設(shè)置MA-FOSELM-OTF集成6個(gè)基學(xué)習(xí)器,對(duì)酸堿度、化學(xué)需氧量、氣壓、溶解氧、水溫和鹽度等6種海洋養(yǎng)殖環(huán)境因素進(jìn)行在線(xiàn)預(yù)測(cè), 結(jié)果如圖3所示．由圖3可知: MA-FOSELM-OTF有效擬合了酸堿度、化學(xué)需氧量、氣壓、溶解氧、水溫和鹽度時(shí)序數(shù)據(jù)的變化趨勢(shì),能夠準(zhǔn)確地反映出未來(lái)海洋養(yǎng)殖環(huán)境的變化趨勢(shì)．

圖3 海洋養(yǎng)殖環(huán)境實(shí)際數(shù)據(jù)與預(yù)測(cè)數(shù)據(jù)對(duì)比結(jié)果Fig.3 Comparison between actual data and predicted data of marine aquaculture environment

為更好地驗(yàn)證MA-FOSELM-OTF在海洋養(yǎng)殖環(huán)境在線(xiàn)預(yù)測(cè)任務(wù)中的優(yōu)越性, 選擇RandomForest模型[13]、OS-ELM模型[5]、ELM模型[2]和長(zhǎng)短期記憶網(wǎng)絡(luò)[14](long short-term memory, LSTM)模型等4種時(shí)間序列預(yù)測(cè)模型, 在氣壓數(shù)據(jù)集上進(jìn)行20次對(duì)比實(shí)驗(yàn), 結(jié)果如表2所示．由表2可知: MA-FOSELM-OTF的評(píng)估指數(shù)NRMSE和MAPE明顯低于其他4種對(duì)比模型, 且運(yùn)行時(shí)間短, 能滿(mǎn)足在線(xiàn)預(yù)測(cè)的需求, 其原因是MA-FOSELM-OTF通過(guò)集成基學(xué)習(xí)器大幅提升了預(yù)測(cè)精度．

表2 MA-FOSELM-OTF與4種對(duì)比模型的氣壓預(yù)測(cè)結(jié)果Tab.2 Results of MA-FOSELM-OTF and four comparison models for air pressure prediction

4 結(jié)論

本文提出了基于MA-FOSELM-OTF的海洋養(yǎng)殖環(huán)境在線(xiàn)預(yù)測(cè)模型, 結(jié)合在線(xiàn)學(xué)習(xí)算法與集成學(xué)習(xí)算法的優(yōu)勢(shì)解決海洋養(yǎng)殖環(huán)境在線(xiàn)預(yù)測(cè)問(wèn)題．在6種海洋養(yǎng)殖環(huán)境數(shù)據(jù)集上驗(yàn)證OTF機(jī)制的有效性,設(shè)定最佳遺忘因子, 通過(guò)選擇基學(xué)習(xí)器集成數(shù)得到MA-FOSELM-OTF的最佳參數(shù), 并對(duì)比4種時(shí)間序列預(yù)測(cè)模型驗(yàn)證了MA-FOSELM-OTF模型的有效性．在MA-FOSELM-OTF中, 利用FOSELM的在線(xiàn)順序?qū)W習(xí)能力使得模型具備在線(xiàn)更新能力; 引入OTF機(jī)制,減少過(guò)時(shí)數(shù)據(jù)的影響;在MA集成框架下, 以FOSELM為基學(xué)習(xí)器,對(duì)輸出結(jié)果求和取平均值,提高了預(yù)測(cè)精度．實(shí)驗(yàn)結(jié)果表明, 本文MA-FOSELM-OTF模型具有更高的準(zhǔn)確性和優(yōu)越性,可應(yīng)用于海洋養(yǎng)殖環(huán)境在線(xiàn)預(yù)測(cè)平臺(tái)．然而, MA-FOSELM-OTF的并行集成不能確保引入的每一個(gè)基礎(chǔ)模型都對(duì)結(jié)果產(chǎn)生促進(jìn)作用, 故未來(lái)工作將進(jìn)一步考慮對(duì)基礎(chǔ)模型輸出分配權(quán)重或采用多種基礎(chǔ)模型融合尋優(yōu)等方法．