基于隨機(jī)森林算法的水華預(yù)警模型

劉云翔 吳浩

摘要：針對湖泊水華預(yù)警模型中的數(shù)據(jù)具有噪聲較復(fù)雜和非線性的特點，而傳統(tǒng)預(yù)警方法難以解決穩(wěn)健性差和過度擬合等問題，采用機(jī)器學(xué)習(xí)分類算法——隨機(jī)森林，根據(jù)葉綠素a的濃度判斷水華是否發(fā)生，選取水溫（T）、pH值、氮磷比（TN：TP）、化學(xué)需氧量（COD）、總氮（TN）、總磷（TP）作為影響因子，構(gòu)建基于隨機(jī)森林分類算法的穩(wěn)健性較好、泛化性能強(qiáng)、實用性強(qiáng)的水華預(yù)警模型。選取太湖西半湖作為研究區(qū)域進(jìn)行實例分析，結(jié)果表明：該模型預(yù)測精度達(dá)到91.67%，泛化誤差小，能夠有效進(jìn)行短期預(yù)測；在水華發(fā)生的各個影響因子中，總磷和總氮是相對重要的影響因子。

關(guān)鍵詞：隨機(jī)森林；CART決策樹；水華；預(yù)警模型；太湖

中圖分類號：X52； TP39

文獻(xiàn)標(biāo)志碼：A

doi：10.3969/j.issn.1000-1379.2018.08.018

水華是淡水水體中藻類繁殖聚集到一定程度的一種自然現(xiàn)象，目前已成為全球性的水環(huán)境污染問題之一，并且隨著經(jīng)濟(jì)的快速發(fā)展和人類活動范圍的急劇擴(kuò)大而越來越嚴(yán)重。我國多數(shù)江河湖泊和水庫有不同程度的水華現(xiàn)象。利用有效的方法預(yù)測水華的發(fā)生并進(jìn)行預(yù)警，有利于有針對性地采取預(yù)防措施。為了解決水體水華預(yù)警問題，國內(nèi)外學(xué)者從不同角度、采取不同方法進(jìn)行了研究，如多變量統(tǒng)計回歸、模糊數(shù)學(xué)、遺傳算法和神經(jīng)網(wǎng)絡(luò)方法等，不過這些方法各有不足，建立的預(yù)測模型存在不同的問題。

把水華暴發(fā)的影響因子作為輸人變量，以葉綠素a的濃度為輸出變量，構(gòu)建水華預(yù)測模型，可以判斷水體是否發(fā)生水華，進(jìn)行短期預(yù)測。這種通過分析已有的水體水質(zhì)、水文等數(shù)據(jù)來判斷水華是否發(fā)生，是一個典型的分類問題，因此可以采用決策樹算法生成水華預(yù)警模型。決策樹算法具有模型簡單和規(guī)則提取簡單的特點，其中CART算法是決策樹算法中的經(jīng)典算法，但基于傳統(tǒng)CART算法生成的水華預(yù)測模型在進(jìn)行判斷時，依然存在準(zhǔn)確率不高、易過度擬合等問題。隨機(jī)森林是一種基于CART算法的組合分類器，能夠提高分類正確率并解決過度擬合問題，因此筆者基于隨機(jī)森林算法建立水華預(yù)警模型，對水體水華是否發(fā)生進(jìn)行預(yù)測。

1 研究方法

1.1 隨機(jī)森林算法原理

隨機(jī)森林算法是一種具有監(jiān)督性的數(shù)據(jù)挖掘算法，隨機(jī)森林是一種利用大量CART決策樹形成的分類器。把當(dāng)前樣本集的所有屬性的GINI指數(shù)計算出來，對所有屬性的GINI指數(shù)進(jìn)行排序，選擇GINI指數(shù)最小的屬性作為CART決策樹的根節(jié)點，然后以該屬性的GINI指數(shù)為分割閾值將樣本集分割成兩部分。在生成CART決策樹的過程中要充分利用二叉樹，在分割后的子集上不斷遞歸重復(fù)上述操作，使得最終生成的非葉子節(jié)點都具有左有兩個分支，直到所有葉子節(jié)點中樣本的類別基本屬于同一類，或者沒有下一個分裂屬性為止。

GINI指數(shù)反映數(shù)據(jù)分區(qū)E的不純凈程度，定義如下：式中：pi=|Ci|/|E|，為E中的樣本屬于類Ci的概率，|Ci|為E中屬于Ci的數(shù)量；m為樣本分類數(shù)。

當(dāng)屬性A將訓(xùn)練樣本集E劃分成E1和E2后，E的GINI指數(shù)公式為式中：|Ei|/|E|為樣本集中樣本屬于第j（j=1，2）個子集的概率。

隨機(jī)森林是由許多沒有經(jīng)過剪枝的CART分類樹{h（x，@k）|k|=l，2，…}（x為輸入變量，@k為服從獨立同分布的隨機(jī)向量）形成的一種組合分類模型。隨機(jī)森林的構(gòu)建具有兩種隨機(jī)化思想：一是根據(jù)bootstrap重抽樣創(chuàng)建k個隨機(jī)向量@1、@2、@3、@4，再將每個隨機(jī)向量@i變?yōu)橐粋€無剪枝的決策樹h（x，@i）（簡稱hi（x）），得到k棵決策樹序列{h1（x），h2（x），…，hk（X）}，每棵決策樹之間沒有任何關(guān)聯(lián)，第k棵樹的形成流程見圖1：二是在生成決策樹時，選擇的屬性也是隨機(jī)生成的，需要在所有的屬性集中等概率隨機(jī)選擇特征屬性值，構(gòu)成特征屬性子集，再利用這些特征屬性子集中的特征屬性構(gòu)成需要的決策樹。形成的大量決策樹組合在一起稱為隨機(jī)森林，簡稱RF。假設(shè)y為輸出變量，由（x，y）所構(gòu)成的樣本數(shù)據(jù)集稱為原始樣本數(shù)據(jù)集。最終的分類結(jié)果由上述序列中所有決策樹的分類結(jié)果綜合決定，本文采用的是最簡單的投票決定法，輸入變量x的類別為得票數(shù)最多的類別。最終的分類結(jié)果可用公式表示如下：式中：H（x）表示組合分類器模型；hi為第i個決策樹分類模型；I（·）為示性函數(shù)（示性函數(shù)是指使集合中有該數(shù)值為1，沒有則為0）；argmax表示其后表達(dá)式取得最大值時對應(yīng)的變量x、y取值。

1.2 隨機(jī)森林算法模型的建立

隨機(jī)森林算法模型建立的步驟如下。

（1）用bootstrap方法從原始數(shù)據(jù)中選取k個不同的樣本集數(shù)據(jù)，每個樣本集是每棵決策樹的訓(xùn)練數(shù)據(jù)，且每個樣本集的樣本數(shù)量與原始數(shù)據(jù)集相等。

（2）用選取的k個樣本集構(gòu)建k個未剪枝的決策樹。在生成每棵決策樹的過程中，為了生成決策樹的節(jié)點，需要從原始數(shù)據(jù)集中的所有M個特征屬性中等概率選出m個（m≤M）特征屬性作為候選特征屬性。利用隨機(jī)選出的m個候選特征屬性構(gòu)建決策樹，并且使每棵樹不進(jìn)行剪枝地完整生長，得到k棵完整的決策樹，每棵決策樹都對輸出變量做出分類，最終得到k個分類結(jié)果。

（3）根據(jù)得到的k種分類結(jié)果，對輸出變量的最終分類進(jìn)行投票，得票最多的類別為輸出變量的最終類別。1.300B估計和屬性變量重要性

采用bootsrap重抽樣方法生成k個數(shù)據(jù)集時，在原始數(shù)據(jù)中將有近37%的樣本可能沒有被選中，這些樣本稱為Out-Of-Bag（OOB）數(shù)據(jù)。隨機(jī)森林的每棵樹都有一個OOB誤差估計，取所有樹OOB誤差估計的平均值作為模型的泛化誤差估計，用來檢驗?zāi)Ｐ偷姆诸愋阅?。大量試驗表明，只要樹的?shù)量足夠大，OOB誤差與交叉驗證得到的誤差就相差不大。對于生成的隨機(jī)森林模型，給其中某一個特征屬性增加噪聲，獲取增加噪聲前后的OOB準(zhǔn)確率，用來檢驗?zāi)Ｐ托阅埽黾釉肼暫驩OB值的減小幅度越大，這個特征屬性就越有用。

2 實例應(yīng)用

2.1 研究區(qū)域和數(shù)據(jù)來源

選取太湖西半湖作為研究區(qū)域，該地區(qū)曾多次暴發(fā)水華。研究所用水質(zhì)數(shù)據(jù)來源于太湖水華在線監(jiān)測基站。將葉綠素a的濃度作為判斷水華發(fā)生的標(biāo)準(zhǔn)：大于0.003mg/L，表示有發(fā)生水華的可能性，需要進(jìn)行預(yù)防：小于0.003mg/L，表示水環(huán)境狀況良好，水華暴發(fā)的可能性不大。把水華是否發(fā)生作為隨機(jī)森林模型的輸出變量，將水溫（T）、pH值、氮磷比（TN：TP）、化學(xué)需氧量（COD）、總氮（TN）、總磷（TP）等水質(zhì)水文數(shù)據(jù)和輸出變量一起構(gòu)成原始數(shù)據(jù)集。共有124組原始樣本數(shù)據(jù)（見表1，表中只列出一小部分），將其中前100組樣本用于建立水華預(yù)測模型，后24組樣本用于檢驗?zāi)Ｐ偷姆诸愋阅堋?/p>

2.2 模型分類性能評價標(biāo)準(zhǔn)

采用總體分類準(zhǔn)確率（Acc）來評估RF模型的分類性能。Acc為最終分類預(yù)測值與真實值（實測值）的比值，其值越大表示模型的分類性能越好，計算公式為式中：Tp為正確分類的樣本數(shù)；TN為總樣本數(shù)。

2.3 隨機(jī)森林模型的構(gòu)建

采用RandomForest（）函數(shù)來構(gòu)造基于RF算法的水華預(yù)測模型，該函數(shù)有2個主要參數(shù)ntree和mtry，其中：ntree表示樹的數(shù)量，其值越大表示過擬合的可能性越小，一般取100，經(jīng)計算可以得到OOB誤差與ntree的關(guān)系，見圖2：mtry表示待選特征屬性的個數(shù)，取值一般為所有特征屬性個數(shù)的平方根，本研究特征屬性個數(shù)為6，所以mtry的取值為2。由圖2可知，當(dāng)ntree>80時OOB誤差趨于穩(wěn)定，表明隨機(jī)森林模型的分類性能較高。由文獻(xiàn)可知，當(dāng)ntree為100左有時，RF的分類性能與支持向量機(jī)相當(dāng)，所以把ntree的值設(shè)為100，mtry的值設(shè)為2。用原始數(shù)據(jù)集的前100組數(shù)據(jù)進(jìn)行訓(xùn)練，得到隨機(jī)森林水華預(yù)警模型，把后24組數(shù)據(jù)作為測試數(shù)據(jù)輸入隨機(jī)森林模型，對這24組數(shù)據(jù)進(jìn)行分類判定，最終的分類準(zhǔn)確率為22/24，而支持向量機(jī)的分類準(zhǔn)確率為21/24，說明隨機(jī)森林水華預(yù)警模型行之有效。

另外利用隨機(jī)森林預(yù)警模型還可以對水華影響因子的相對重要性進(jìn)行比較，以獲得太湖水華發(fā)生各影響因子的重要程度，結(jié)果見圖3。由圖3可知，在所有影響水華發(fā)生的因子中，TP濃度的相對重要性較高，其次是TN濃度，所以為預(yù)防水華暴發(fā)，要特別注意TP濃度和TN濃度。

3 結(jié)語

隨機(jī)森林模型不需要先設(shè)定屬性的權(quán)重、怎樣去分類，模型需設(shè)置的參數(shù)少，計算過程簡單、計算量較小，適合平臺廣泛，是一種快捷有效的機(jī)器學(xué)習(xí)模型?；跈C(jī)器學(xué)習(xí)算法——隨機(jī)森林，把影響水華發(fā)生的6個因子作為隨機(jī)森林的輸人變量、把葉綠素a的濃度作為輸出變量，建立水華預(yù)警模型。測試結(jié)果表明，其最終分類準(zhǔn)確率達(dá)到了91.67%，與支持向量機(jī)模型的分類性能相當(dāng)，能夠解決其他算法穩(wěn)健性不足和過擬合等問題，能保證預(yù)測正確率且可以分析影響水華暴發(fā)的主要因子，為水環(huán)境管理提供理論支持。