基于決策樹(shù)優(yōu)化的BP 神經(jīng)網(wǎng)絡(luò)在海參養(yǎng)殖產(chǎn)量預(yù)測(cè)中的應(yīng)用

李海濤，劉泰麟

（青島科技大學(xué)信息科學(xué)與技術(shù)學(xué)院，山東 青島 266061）

隨著刺參Apostichopus japonicus 養(yǎng)殖等水產(chǎn)養(yǎng)殖業(yè)的發(fā)展，養(yǎng)殖方式正在朝著科學(xué)、智慧的方向發(fā)展。自身的產(chǎn)業(yè)特點(diǎn)和刺參養(yǎng)殖的經(jīng)驗(yàn)性和專業(yè)性使預(yù)測(cè)刺參養(yǎng)殖產(chǎn)量面臨巨大挑戰(zhàn)。科學(xué)的預(yù)測(cè)方式能指導(dǎo)相關(guān)人員合理調(diào)整養(yǎng)殖產(chǎn)業(yè)結(jié)構(gòu)，在一定程度上促進(jìn)水產(chǎn)養(yǎng)殖行業(yè)的發(fā)展。目前，科學(xué)的預(yù)測(cè)方式主要采用相關(guān)性分析、SWM（支持向量機(jī)）、多元回歸、灰色模型、神經(jīng)網(wǎng)絡(luò)模型等算法預(yù)測(cè)水產(chǎn)養(yǎng)殖產(chǎn)量，如基于灰色新陳代謝GM（1，1）模型的中國(guó)水產(chǎn)品年總產(chǎn)量的預(yù)測(cè)[1]、基于灰色馬爾可夫修正模型的水產(chǎn)品產(chǎn)量預(yù)測(cè)[2]，以及對(duì)蝦相對(duì)產(chǎn)量預(yù)測(cè)的人工神經(jīng)網(wǎng)絡(luò)模型[3]等。與其他預(yù)測(cè)模型相比，BP 神經(jīng)網(wǎng)絡(luò)是最高效和適用的方法之一，尤其是對(duì)非線性的、規(guī)律性弱的刺參養(yǎng)殖活動(dòng)數(shù)據(jù)，應(yīng)用BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)可以得到理想的預(yù)測(cè)結(jié)果。然而，傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)模型在選擇輸入層神經(jīng)元和確定隱含層節(jié)點(diǎn)數(shù)量方面存在不足，在對(duì)非平穩(wěn)序列、非線性和相關(guān)關(guān)系復(fù)雜、預(yù)測(cè)精度要求高的刺參養(yǎng)殖產(chǎn)量預(yù)測(cè)中，容易出現(xiàn)訓(xùn)練時(shí)間長(zhǎng)、學(xué)習(xí)效率低、易陷入局部極小、預(yù)測(cè)精度低等問(wèn)題[4]，限制了其應(yīng)用和擴(kuò)展。

為了解決上述問(wèn)題，本文研究設(shè)計(jì)一種基于C4.5 決策樹(shù)優(yōu)化的BP 神經(jīng)網(wǎng)絡(luò)刺參養(yǎng)殖產(chǎn)量的預(yù)測(cè)模型，利用決策樹(shù)降低輸入層神經(jīng)元維度，加快BP 神經(jīng)網(wǎng)絡(luò)收斂速度，提高產(chǎn)量預(yù)測(cè)的精準(zhǔn)度。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)來(lái)源

以山東省刺參養(yǎng)殖年產(chǎn)量預(yù)測(cè)為例。為使最終結(jié)果更加切合實(shí)際結(jié)果，本文在數(shù)據(jù)選擇上參考現(xiàn)有的水產(chǎn)養(yǎng)殖相關(guān)文獻(xiàn)[5]，得出海參養(yǎng)殖產(chǎn)量受氣候、環(huán)境條件、養(yǎng)殖政策、養(yǎng)殖技術(shù)、經(jīng)濟(jì)效益等多種因素的影響，在此基礎(chǔ)上，最終選定年平均水溫（X1）、育苗量（X2）、養(yǎng)殖面積（X3）、災(zāi)害經(jīng)濟(jì)損失（X4）、養(yǎng)殖技術(shù)推廣人數(shù)（X5）、海參損失數(shù)量（X6）和專業(yè)養(yǎng)殖勞動(dòng)力（X7）作為初始輸入條件屬性，海參養(yǎng)殖產(chǎn)量預(yù)測(cè)為決策屬性（Xk）。海參養(yǎng)殖相關(guān)數(shù)據(jù)來(lái)自《中國(guó)漁業(yè)統(tǒng)計(jì)年鑒2017》[6]；海水環(huán)境數(shù)據(jù)來(lái)自國(guó)家海洋環(huán)境預(yù)報(bào)中心網(wǎng)站。

1.2 數(shù)據(jù)預(yù)處理

采用歸一化方法對(duì)模型輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，在訓(xùn)練集的選取上涵蓋最大最小特征值，避免測(cè)試集的數(shù)據(jù)越界。將各要素統(tǒng)一到［0，1］區(qū)間，減少不同要素取值范圍差異過(guò)大而忽略小數(shù)值數(shù)據(jù)價(jià)值[7]。線性歸一化公式和還原公式如下:

上述兩式中，x 和x分別為輸入條件屬性數(shù)據(jù)歸一化前和歸一化后的值，xmax和xmin分別是該屬性因素序列中的最大值和最小值。

1.3 C4.5 決策樹(shù)算法與二分分割算法

C4.5 決策樹(shù)算法能克服數(shù)據(jù)要求高、參數(shù)復(fù)雜、計(jì)算繁瑣等困難，可以根據(jù)既定規(guī)則完成基本的決策任務(wù)[8]，具有良好的分類和預(yù)測(cè)能力，廣泛應(yīng)用于數(shù)據(jù)挖掘中。C4.5 決策樹(shù)算法的原理如下：

設(shè)S 是類樣本的數(shù)據(jù)訓(xùn)練集，m 是訓(xùn)練集中的類別數(shù)量，Si為S 中第i 類樣本的數(shù)量，i=1,2,......,m，即：

此時(shí)訓(xùn)練集S 的信息熵H（S）為：

式中，訓(xùn)練集S 被屬性A 的屬性值劃分為m 個(gè)子集，i=1,2,......,m，|Si| 表示第i 個(gè)子集中的樣本數(shù)量，|S|表示劃分前數(shù)據(jù)集中樣本的總數(shù)量。

根據(jù)屬性A，令={S1,S2,…,Sn}，其中n 為屬性A包含不同值的數(shù)目。于是，訓(xùn)練集在屬性A 上的信息熵為：

信息增益率為：

“二分分割算法”是使區(qū)間的兩個(gè)端點(diǎn)逐漸向零點(diǎn)逼近，以得到零點(diǎn)近似值的方法[9]。基本思想如下：

（1）確定隱含層節(jié)點(diǎn)數(shù)的近似范圍，假設(shè)范圍是[1，10]。

（2）將s1=1、s2=10、s3=（s1+s2）/2=6（四舍五入）分別帶入訓(xùn)練網(wǎng)絡(luò)，用同一組樣本數(shù)據(jù)、同樣的轉(zhuǎn)移函數(shù)、訓(xùn)練函數(shù)進(jìn)行訓(xùn)練，分別比較不同隱含層節(jié)點(diǎn)數(shù)在神經(jīng)網(wǎng)絡(luò)訓(xùn)練下的輸出均方誤差（MSE）。

（3）計(jì)算三個(gè)不同節(jié)點(diǎn)數(shù)輸出的均方誤差，假設(shè)s1輸出誤差為E（s1），s2的輸出誤差為E（s2），s3的輸出誤差為E（s3）。如果E（s1）＞E（s2），則將隱含層節(jié)點(diǎn)數(shù)范圍壓縮至[s3，s2]。如果E（s1）＜E（s2），則將隱含層節(jié)點(diǎn)數(shù)范圍壓縮至[s1，s3]。連續(xù)壓縮區(qū)間范圍，直至均方誤差最小節(jié)點(diǎn)數(shù)即為所需要的隱含層節(jié)點(diǎn)數(shù)。

1.4 BP 神經(jīng)網(wǎng)絡(luò)

BP 神經(jīng)網(wǎng)絡(luò)是模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和特性構(gòu)建的網(wǎng)絡(luò)模型，具有良好的學(xué)習(xí)和歸納能力，已廣泛應(yīng)用于各類預(yù)測(cè)模型中[10-14]。神經(jīng)網(wǎng)絡(luò)可以很好地模擬刺參養(yǎng)殖產(chǎn)量及相關(guān)影響要素間的關(guān)系，把輸入、輸出問(wèn)題轉(zhuǎn)化為非線性映射，解決因缺乏精確計(jì)算公式而導(dǎo)致海參養(yǎng)殖產(chǎn)量預(yù)測(cè)精度低的問(wèn)題[9]。BP 神經(jīng)網(wǎng)絡(luò)的建立包括三個(gè)過(guò)程：網(wǎng)絡(luò)初始化、正向傳遞和反向傳遞。具體算法步驟如下：

（1）輸入學(xué)習(xí)樣本（Xi，Y）i（i=1，2，...，n），Xi和Yi分別是學(xué)習(xí)樣本的輸入?yún)?shù)和輸出結(jié)果；

（2）確定各層的神經(jīng)元數(shù)量，隨機(jī)在兩層神經(jīng)元之間建立連接權(quán)重矩陣，Mo代表第1 層和第L+1 層的連接矩陣，表示每層的輸出值；

（4）比較各輸出節(jié)點(diǎn)的均方誤差：

（5）判斷是否符合原定誤差ε，如果滿足要求，則結(jié)束，否則進(jìn)入步驟6；

（7）轉(zhuǎn)至步驟4，直到結(jié)果的均方誤差在允許的誤差范圍之內(nèi)。

2 刺參養(yǎng)殖產(chǎn)量預(yù)測(cè)模型構(gòu)建

在BP 神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，根據(jù)已知樣本數(shù)據(jù)，通過(guò)決策樹(shù)的分類選擇方法過(guò)濾多余輸入條件屬性，取最簡(jiǎn)屬性集合作為神經(jīng)網(wǎng)絡(luò)輸入節(jié)點(diǎn)構(gòu)建神經(jīng)網(wǎng)絡(luò)，用“二分分割算法”來(lái)確定隱含層節(jié)點(diǎn)數(shù)量，并在輸入條件屬性和海參養(yǎng)殖產(chǎn)量之間建模（圖1）。

通過(guò)樣本數(shù)據(jù)訓(xùn)練，獲得預(yù)測(cè)網(wǎng)絡(luò)，經(jīng)測(cè)試、調(diào)整，即可用于預(yù)測(cè)刺參養(yǎng)殖產(chǎn)量。具體實(shí)施步驟如下：

（1）對(duì)網(wǎng)絡(luò)的權(quán)重、閾值、收斂精度和最大迭代次數(shù)進(jìn)行初始化；

（2）通過(guò)決策樹(shù)依次獲取信息增益率最高的屬性，結(jié)合模型情況確定網(wǎng)絡(luò)最佳條件屬性集合；

圖1 刺參養(yǎng)殖產(chǎn)量預(yù)測(cè)模型建立過(guò)程Fig.1 Establishment of prediction model for sea cucumber production

（3）通過(guò)二分分割算法快速計(jì)算確定隱含層節(jié)點(diǎn)數(shù)量；

（4）確定優(yōu)化的BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)行網(wǎng)絡(luò)訓(xùn)練；

（5）進(jìn)行網(wǎng)絡(luò)測(cè)試，檢查訓(xùn)練是否達(dá)到預(yù)期精度，若達(dá)到預(yù)期精度或達(dá)到最大迭代次數(shù)，停止并獲取網(wǎng)絡(luò)的輸出結(jié)果。

3 刺參養(yǎng)殖產(chǎn)量BP 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的應(yīng)用分析

3.1 輸入神經(jīng)元優(yōu)化

輸入BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的數(shù)據(jù)通常包含很多屬性，其中有些屬性與目標(biāo)能力無(wú)關(guān)或影響很小。輸入屬性太多時(shí)，會(huì)降低神經(jīng)網(wǎng)絡(luò)收斂速率，而增加過(guò)度擬合的可能性。因此，在將屬性數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練前，要根據(jù)目標(biāo)能力對(duì)屬性進(jìn)行約簡(jiǎn)，選擇合適的輸入屬性，確定BP 神經(jīng)網(wǎng)絡(luò)的最優(yōu)輸入屬性集合。計(jì)算訓(xùn)練數(shù)據(jù)后，比較各個(gè)屬性的信息增益率是選擇C4.5 決策樹(shù)分類選擇最佳輸入屬性的方法。依信息增益率大的屬性或者屬性集合確定網(wǎng)絡(luò)的初始輸入。以收集的初始輸入條件屬性數(shù)據(jù)為基礎(chǔ)，經(jīng)C4.5 決策樹(shù)算法計(jì)算相關(guān)條件屬性的信息增益率（表1）。

上述條件屬性的信息增益率表明，年平均水溫（x1）、養(yǎng)殖面積（x2）、育苗量（x3）、海參損失數(shù)量（x4）的條件屬性信息增益率均大于10%，對(duì)海參養(yǎng)殖產(chǎn)量影響比較大，作為最優(yōu)特征組合和神經(jīng)網(wǎng)絡(luò)的輸入變量。

表1 條件屬性信息增益率結(jié)果Tab.1 Results of conditional attribute information gain rate

表2 不同隱含層節(jié)點(diǎn)數(shù)神經(jīng)網(wǎng)絡(luò)性能的比較Tab.2 Performance comparison of neural networks with number of nodes in different hidden layers

3.2 BP 神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

BP 神經(jīng)網(wǎng)絡(luò)輸入層神經(jīng)元，即經(jīng)決策樹(shù)分類優(yōu)先特征選擇算法后的年平均水溫、養(yǎng)殖面積、育苗量、海參損失數(shù)量四個(gè)影響產(chǎn)量的條件數(shù)據(jù)。網(wǎng)絡(luò)轉(zhuǎn)移函數(shù)采用Sigmoid 函數(shù)[15]，即：

為提高模型收斂速率，減少誤差，避免陷入局部極小，本模型采用Delta 學(xué)習(xí)規(guī)則[16]使誤差信號(hào)的目標(biāo)函數(shù)最?。?/p>

式中，△Wij（n）表示當(dāng)輸入向量為xn時(shí)神經(jīng)元i和j 之間的連接權(quán)值，η 和yi分別表示學(xué)習(xí)效率和神經(jīng)元i 的期望輸出值，Oi和Qj分別表示神經(jīng)元i和神經(jīng)元j 的激活值。經(jīng)實(shí)驗(yàn)，取η 為0.50，誤差容量為0.0001，訓(xùn)練次數(shù)為500。

已有研究表明，目前還沒(méi)有成熟的理論依據(jù)支持精確地確定隱含層節(jié)點(diǎn)數(shù)量，很多研究還是根據(jù)以往的經(jīng)驗(yàn)公式得到一個(gè)確定的值[17-20]。常見(jiàn)的經(jīng)驗(yàn)公式如下：

上述三個(gè)公式中，C、m 和n 分別表示隱含層節(jié)點(diǎn)數(shù)、輸出層神經(jīng)元數(shù)和輸入層神經(jīng)元數(shù)，a∈[1，10]。

根據(jù)經(jīng)驗(yàn)公式可以得到隱含層節(jié)點(diǎn)數(shù)，但是其經(jīng)驗(yàn)性太強(qiáng)，誤差太大，預(yù)測(cè)結(jié)果不夠準(zhǔn)確。本文經(jīng)過(guò)經(jīng)驗(yàn)公式粗略計(jì)算，得出隱含層節(jié)點(diǎn)數(shù)的范圍為[3,10]，再結(jié)合“二分分割算法”計(jì)算得出不同隱含層節(jié)點(diǎn)數(shù)對(duì)應(yīng)的網(wǎng)絡(luò)性能數(shù)據(jù)（表2）。

由表2 可知，當(dāng)隱含層節(jié)點(diǎn)數(shù)為6 時(shí)，神經(jīng)網(wǎng)絡(luò)總體性能最高。所以，確定本文神經(jīng)網(wǎng)絡(luò)模型的最佳隱含層節(jié)點(diǎn)數(shù)為6；隱含層節(jié)點(diǎn)數(shù)有無(wú)限個(gè)的單隱層BP 神經(jīng)網(wǎng)絡(luò)可實(shí)現(xiàn)任意的非線性映射[21]。因此，本文網(wǎng)絡(luò)模型中隱含層的層數(shù)為1。設(shè)計(jì)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的拓?fù)浣Y(jié)構(gòu)為4-6-1（圖2）。

圖2 BP 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的拓?fù)銯ig.2 Topology of BP neural network prediction model

3.3 BP 神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)預(yù)測(cè)結(jié)果對(duì)比分析

為檢驗(yàn)優(yōu)化后的BP 神經(jīng)網(wǎng)絡(luò)模型的性能，隨機(jī)選取五組數(shù)據(jù)帶入本文訓(xùn)練好的模型進(jìn)行產(chǎn)量預(yù)測(cè)，并與傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)和灰色GM（1,1）預(yù)測(cè)結(jié)果進(jìn)行比較（表3）。

用均方誤差（MSE）來(lái)評(píng)估本文BP 神經(jīng)網(wǎng)絡(luò)模型與傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)以及灰色GM（1,1）預(yù)測(cè)模型的性能。結(jié)果表明，MSE 的值與模型的預(yù)測(cè)精度成反比。公式如下：

本文模型與傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型和灰色GM（1,1）的學(xué)習(xí)速率的差異對(duì)比結(jié)果見(jiàn)表4。

對(duì)比結(jié)果表明，本文模型預(yù)測(cè)結(jié)果的均方誤差比傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)模型和灰色GM（1,1）分別減少了0.05 和0.12，均方誤差更小；網(wǎng)絡(luò)運(yùn)行平均耗時(shí)也有所縮短。本文模型能在較短時(shí)間內(nèi)獲得較高精度的預(yù)測(cè)結(jié)果。

表3 不同預(yù)測(cè)方法對(duì)不同年份產(chǎn)量的預(yù)測(cè)結(jié)果比較Tab.3 Comparison of forecast production by various prediction models in different years

表4 不同預(yù)測(cè)模型性能的比較Tab.4 Comparison of performance of different prediction models

4 結(jié)論

利用BP 神經(jīng)網(wǎng)絡(luò)結(jié)合C4.5 決策樹(shù)算法對(duì)刺參養(yǎng)殖產(chǎn)量歷史數(shù)據(jù)進(jìn)行訓(xùn)練，形成的網(wǎng)絡(luò)模型預(yù)測(cè)刺參養(yǎng)殖產(chǎn)量誤差變小、平均耗時(shí)縮短，可以滿足刺參養(yǎng)殖產(chǎn)量預(yù)測(cè)的精度要求。優(yōu)化后的BP 神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)訓(xùn)練分析模型可以應(yīng)用到對(duì)蝦養(yǎng)殖產(chǎn)量預(yù)測(cè)、養(yǎng)殖水質(zhì)預(yù)測(cè)、養(yǎng)殖病害預(yù)測(cè)等研究，具有一定的擴(kuò)展性和推廣價(jià)值。