梯度提升隨機(jī)森林模型及其在日前出清電價(jià)預(yù)測中的應(yīng)用

謝曉龍 葉笑冬 董亞明

(上海電氣集團(tuán)股份有限公司中央研究院 上海 200070)

0 引 言

從20世紀(jì)90年代末開始，我國就已經(jīng)開始逐步進(jìn)行電力體制改革的嘗試。

2002年開始電改，其目標(biāo)包括：實(shí)施廠網(wǎng)分開、實(shí)行競價(jià)上網(wǎng)等內(nèi)容。自實(shí)施以來，電力行業(yè)破除了獨(dú)家辦電的體制束縛，從根本上改變了指令性計(jì)劃體制和政企不分、廠網(wǎng)不分等問題。但電力行業(yè)仍然面臨一些亟待解決的問題，包括：交易機(jī)制的缺失、市場化定價(jià)機(jī)制尚未完全形成等問題。因此，國務(wù)院于2015年發(fā)布《關(guān)于進(jìn)一步深化電力體制改革的若干意見》以及一系列文件，明確指出了深化改革的方向和舉措[1]。

電價(jià)是電力市場的核心內(nèi)容，電力市場的參與者以電價(jià)進(jìn)行電力交易和結(jié)算，因此，電價(jià)的波動(dòng)直接影響到各個(gè)市場參與者的收益。對于發(fā)電企業(yè)，在競價(jià)市場中，其需要能夠準(zhǔn)確地預(yù)測電價(jià)，才能保證提供合理有效的報(bào)價(jià)，進(jìn)而實(shí)現(xiàn)效益最大化[2]，因此電價(jià)的預(yù)測是值得研究的問題。

不同的電力交易市場模式中采用了不同的機(jī)制，目前采用較多的是統(tǒng)一出清電價(jià)的機(jī)制。各發(fā)電企業(yè)分別報(bào)價(jià)，交易中心按照報(bào)價(jià)從低到高依次選擇，直至發(fā)電量與需求電量平衡，最后一個(gè)被選中的發(fā)電企業(yè)報(bào)價(jià)作為市場出清電價(jià)MCP(market clearing price)，最后所有投標(biāo)獲勝的發(fā)電企業(yè)全部按MCP進(jìn)行結(jié)算[3]。本文以美國PJM(Pennsylvania—New Jersey—Maryland)電力市場中的日前市場為例，研究其日前市場電價(jià)的預(yù)測問題。日前市場是PJM電能市場的重要子市場，發(fā)電商于交易日前一天的截止時(shí)間之前提交報(bào)價(jià)，截止時(shí)間過后進(jìn)行出清，其結(jié)果是交易日24個(gè)小時(shí)的電價(jià)。

關(guān)于電價(jià)預(yù)測，研究人員做了大量的探索，采用不同的方法進(jìn)行預(yù)測，包括ARIMA模型[4]、GARCH模型[5]、神經(jīng)網(wǎng)絡(luò)模型[6]、小波神經(jīng)網(wǎng)絡(luò)[7]、灰色模型[8]、支持向量回歸[9]、時(shí)間序列分解[10]、決策樹[11]等。上述文獻(xiàn)大多采用單個(gè)全局優(yōu)化模型，另一種思路是可以采用集成學(xué)習(xí)模型，即通過結(jié)合多個(gè)學(xué)習(xí)機(jī)的結(jié)果得到更準(zhǔn)確的預(yù)測結(jié)果。集成學(xué)習(xí)模型中最常用的是隨機(jī)森林RF(random forest)模型和提升樹GBDT(gradient boosting decision tree)模型。集成學(xué)習(xí)模型一般具有相對較高的預(yù)測準(zhǔn)確性和模型穩(wěn)定性。隨機(jī)森林模型已應(yīng)用于多個(gè)場景，如文本分類[12]、腫瘤診斷[13]等。提升樹模型也已成功應(yīng)用到短期電力負(fù)荷預(yù)測[14]等領(lǐng)域。

本文在以上兩種集成學(xué)習(xí)模型的基礎(chǔ)上，結(jié)合二者的優(yōu)勢，提出了一種新的集成學(xué)習(xí)模型——梯度提升隨機(jī)森林GBRF(gradient boosting random forest)模型。其能夠有效利用隨機(jī)森林模型穩(wěn)定性高的優(yōu)點(diǎn)，并在其基礎(chǔ)上，發(fā)揮梯度提升算法的優(yōu)點(diǎn)，進(jìn)一步提高模型預(yù)測的準(zhǔn)確性，使得提出的模型優(yōu)于傳統(tǒng)的集成學(xué)習(xí)模型。

1 梯度提升隨機(jī)森林模型

1.1 集成學(xué)習(xí)模型

集成學(xué)習(xí)模型與傳統(tǒng)的全局機(jī)器學(xué)習(xí)模型，如神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等不同，其不是學(xué)習(xí)一個(gè)全局模型，而是通過建立一系列機(jī)器學(xué)習(xí)模型，然后將其組合以獲得準(zhǔn)確性更高、穩(wěn)定性更好的模型。其中集成學(xué)習(xí)模型中的各個(gè)模型，稱為基礎(chǔ)學(xué)習(xí)機(jī)。集成學(xué)習(xí)模型通過一定的集成策略將眾多基礎(chǔ)學(xué)習(xí)機(jī)集成，最常用的集成策略是Bagging策略[15]和Boosting策略[16]。兩種集成學(xué)習(xí)策略如圖1與圖2所示。

圖2 Boosting集成學(xué)習(xí)策略示意圖

如圖1所示，Bagging策略采用并行結(jié)構(gòu)，首先使用bootstrap方法進(jìn)行采樣，為不同的基礎(chǔ)學(xué)習(xí)機(jī)提供不同的訓(xùn)練樣本集合，然后分別訓(xùn)練各個(gè)基礎(chǔ)學(xué)習(xí)機(jī)，最終將各個(gè)結(jié)果綜合后作為整個(gè)Bagging模型的結(jié)果。如圖2所示，Boosting策略采用串行結(jié)構(gòu)，前一個(gè)基礎(chǔ)學(xué)習(xí)機(jī)的結(jié)果會(huì)影響后一個(gè)基礎(chǔ)學(xué)習(xí)機(jī)的樣本，即后續(xù)的基礎(chǔ)學(xué)習(xí)機(jī)不斷修正或提高前面基礎(chǔ)學(xué)習(xí)機(jī)的結(jié)果。最終將各個(gè)基礎(chǔ)學(xué)習(xí)機(jī)的結(jié)果綜合后作為整個(gè)Boosting模型的結(jié)果。在某些模型中各個(gè)基礎(chǔ)學(xué)習(xí)機(jī)可能會(huì)根據(jù)其性能分配不同的權(quán)重。

1.2 隨機(jī)森林模型

隨機(jī)森林模型[17]作為一種集成學(xué)習(xí)模型，其基礎(chǔ)學(xué)習(xí)機(jī)為決策樹，采用Bagging策略。為了增加每個(gè)決策樹的隨機(jī)性，以增加不同樹之間的差異性，在每個(gè)決策樹的生成過程中，采用隨機(jī)子空間策略。隨機(jī)森林模型的算法示意圖如圖3所示。

圖3 隨機(jī)森林模型算法示意圖

如圖3所示，隨機(jī)森林模型的算法分為3步，其基礎(chǔ)學(xué)習(xí)機(jī)為決策樹，本文約定樹的數(shù)目為N，樣本數(shù)目為T，輸入特征數(shù)目為P，算法具體如下。

隨機(jī)森林模型的一個(gè)優(yōu)點(diǎn)是其可以在訓(xùn)練的同時(shí)進(jìn)行泛化誤差的估計(jì)，即OOB估計(jì)。如圖1所示，每個(gè)決策樹有各自的OOB樣本，這些樣本在該決策樹的訓(xùn)練過程中未被使用，因此可利用這些樣本來估計(jì)模型的泛化能力，而不像其他模型一樣，需要借助交叉驗(yàn)證的方法單獨(dú)估計(jì)泛化誤差。根據(jù)理論推導(dǎo)，隨機(jī)森林模型的泛化誤差上界可表示如下:

(1)

一般的，模型的泛化誤差可以解釋為由偏差和方差引起。對于隨機(jī)森林模型，其偏差的期望與各個(gè)基礎(chǔ)學(xué)習(xí)機(jī)偏差的期望相等，即隨機(jī)森林模型一般不會(huì)顯著降低模型的偏差，但其可以顯著減小模型的方差。假設(shè)各個(gè)決策樹的方差均為σ2，則隨機(jī)森林模型的方差可大致表示為：

(2)

由式(2)可知，當(dāng)各個(gè)決策樹的相關(guān)性較小時(shí)，隨機(jī)森林模型的方差會(huì)顯著下降。因此，Bagging策略一般需要準(zhǔn)確性較高的基礎(chǔ)學(xué)習(xí)機(jī)，其基礎(chǔ)學(xué)習(xí)機(jī)決策樹模型不進(jìn)行剪枝，整個(gè)模型通過降低方差的方式提高泛化性能。

1.3 梯度提升算法

集成學(xué)習(xí)的主要策略有Bagging與Boosting，且各有優(yōu)勢與不足。隨機(jī)森林模型采用Bagging策略，可以減小模型的方差，但難以顯著降低偏差，因此要求基礎(chǔ)學(xué)習(xí)機(jī)具有相對較高的準(zhǔn)確性。Boosting策略則可以降低模型偏差。原理上講，即使采用了準(zhǔn)確度相對較低的基礎(chǔ)學(xué)習(xí)機(jī)，也可以通過逐步提升的方式，提高整個(gè)模型的準(zhǔn)確性。在Boosting策略中，使用較多的有AdaBoost模型和GBDT模型，其訓(xùn)練過程本質(zhì)上采用的是前向分步(forward stage-wise)算法，整個(gè)模型是一種加法模型，采用Boosting集成學(xué)習(xí)策略的模型可表示如下：

(3)

式中：集成學(xué)習(xí)模型FM(x)由M個(gè)基礎(chǔ)學(xué)習(xí)機(jī)模型線性組合而成，fm(x)為第m個(gè)基礎(chǔ)學(xué)習(xí)機(jī)，αm為第m個(gè)基礎(chǔ)學(xué)習(xí)機(jī)的權(quán)重。下一步便是如何訓(xùn)練各個(gè)基礎(chǔ)學(xué)習(xí)機(jī)，AdaBoost和GBDT分別采用不同的方法進(jìn)行訓(xùn)練，其中AdaBoost通過對訓(xùn)練樣本分配權(quán)重，然后根據(jù)分類正確與否更新權(quán)重的方式訓(xùn)練不同的基礎(chǔ)學(xué)習(xí)機(jī)，GBDT則采用梯度提升方法進(jìn)行訓(xùn)練。一般AdaBoost適用于分類問題，如果要應(yīng)用于回歸問題，需要做一定的改進(jìn)，如AdaBoost.RT方法[18]；GBDT方法可直接用于分類和回歸問題。本文中的出清電價(jià)預(yù)測屬于回歸問題，因此使用梯度提升方法進(jìn)行模型的訓(xùn)練。

梯度提升算法的原理是基于泛函的梯度下降法，首先定義目標(biāo)函數(shù)如下:

(4)

(5)

(6)

根據(jù)梯度下降法的原理，最佳模型應(yīng)為目標(biāo)函數(shù)的負(fù)梯度方向，即：

(7)

(8)

重復(fù)以上過程，直到訓(xùn)練完成所有的M個(gè)基礎(chǔ)學(xué)習(xí)機(jī)及其系數(shù)，最終按照式(3)得到集成學(xué)習(xí)模型。應(yīng)用梯度提升算法的集成學(xué)習(xí)模型，采用了加法模型，后續(xù)的基礎(chǔ)學(xué)習(xí)機(jī)模型能夠在前面各個(gè)基礎(chǔ)學(xué)習(xí)機(jī)模型的基礎(chǔ)上，進(jìn)一步提高精度，因此可以降低模型的偏差，這是其與Bagging策略的不同之處。其基礎(chǔ)學(xué)習(xí)機(jī)可以是準(zhǔn)確性不高的模型，通過提升方法，逐步提高整個(gè)模型的準(zhǔn)確性，但同時(shí)，也存在一定的過擬合風(fēng)險(xiǎn)[19]，而不容易過擬合正是隨機(jī)森林模型的優(yōu)勢之一[16]。

1.4 梯度提升隨機(jī)森林模型算法

以上兩小節(jié)分別介紹了采用Bagging和Boosting集成策略的模型及其優(yōu)點(diǎn)與不足，隨機(jī)森林模型不容易過擬合，但其要求基礎(chǔ)學(xué)習(xí)機(jī)具有相對較高的準(zhǔn)確性，不會(huì)顯著降低偏差；梯度提升算法可以逐漸地降低模型偏差，但仍存在過擬合的風(fēng)險(xiǎn)。因此，為了提高出清電價(jià)預(yù)測的準(zhǔn)確性，本文提出將兩種集成策略結(jié)合，以發(fā)揮各自的優(yōu)勢，同時(shí)避免其不足。思路是，在梯度提升模型中，基礎(chǔ)學(xué)習(xí)機(jī)不再采用簡單的基礎(chǔ)學(xué)習(xí)機(jī)，如決策樹等，而是采用隨機(jī)森林模型。即首先使用隨機(jī)森林模型將眾多決策樹并行訓(xùn)練，得到一個(gè)方差較小的基礎(chǔ)學(xué)習(xí)機(jī)模型，然后再利用梯度提升算法可以降低偏差的特點(diǎn)，在隨機(jī)森林模型的基礎(chǔ)上，進(jìn)一步降低模型的偏差。通過較少次數(shù)的梯度提升訓(xùn)練，便可在隨機(jī)森林模型的基礎(chǔ)上，進(jìn)一步降低模型的偏差，從而降低整個(gè)模型的偏差和方差，提高模型預(yù)測的準(zhǔn)確性與穩(wěn)定性。

首先定義模型訓(xùn)練的目標(biāo)函數(shù)，實(shí)際中一般采用平方誤差函數(shù)：

(9)

式中：fm(x),m=1,2,…,M為隨機(jī)森林模型。然后，根據(jù)梯度提升方法，對第m個(gè)隨機(jī)森林模型，計(jì)算目標(biāo)函數(shù)關(guān)于Fm-1(x),m=2,3,…,M的負(fù)梯度，作為第m個(gè)隨機(jī)森林模型的目標(biāo)值。

(10)

通過以上算法，結(jié)合隨機(jī)森林模型不容易過擬合的優(yōu)點(diǎn)和梯度提升方法可降低模型偏差的優(yōu)點(diǎn)，進(jìn)一步提高模型預(yù)測的準(zhǔn)確性與穩(wěn)定性。本文提出使用梯度提升隨機(jī)森林模型進(jìn)行電價(jià)的預(yù)測，其預(yù)測流程如圖4所示。

圖4 基于隨機(jī)森林模型的電價(jià)預(yù)測流程

首先確定電價(jià)預(yù)測模型的輸入特征。影響電價(jià)的因素很多，但對其影響程度較大的主要是時(shí)間因素、電網(wǎng)負(fù)荷和歷史電價(jià)等。其中，時(shí)間信息包括當(dāng)前時(shí)刻、交易日為周幾等，因?yàn)殡妰r(jià)序列中有一定的周期性。負(fù)荷信息中包括一周前對應(yīng)時(shí)刻的負(fù)荷值、一天前對應(yīng)時(shí)刻的負(fù)荷值，以及待預(yù)測時(shí)刻的負(fù)荷預(yù)測值等。歷史電價(jià)信息中包括一周前和一天前對應(yīng)時(shí)刻的電價(jià)值。以上為模型的輸入信息，模型的輸出則為待預(yù)測時(shí)刻的電價(jià)Y。將這些信息輸入第1個(gè)隨機(jī)森林模型，訓(xùn)練得到f1(x)，便得到該模型對訓(xùn)練樣本的估計(jì)O1。根據(jù)梯度提升算法，計(jì)算二者的殘差r1=Y-O1。下一步，基于原始輸入信息和殘差r1訓(xùn)練第2個(gè)隨機(jī)森林模型f2(x)，類似的，計(jì)算其對訓(xùn)練樣本的估計(jì)O2，然后繼續(xù)計(jì)算殘差r2=Y-O1-O2=r1-O2。按照以上過程不斷重復(fù)，直到訓(xùn)練完成M個(gè)隨機(jī)森林模型。當(dāng)有新的樣本輸入時(shí)，可同時(shí)輸入到M個(gè)隨機(jī)森林模型中，最后將各個(gè)模型的輸出求和后，得到梯度提升隨機(jī)森林模型的預(yù)測值。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 樣本選擇

本小節(jié)使用美國PJM日前電力市場的數(shù)據(jù)對本文提出的預(yù)測算法進(jìn)行驗(yàn)證，收集PJM電力市場2014年9月至2017年2月的數(shù)據(jù)進(jìn)行驗(yàn)證。使用2016年9月之前的數(shù)據(jù)作為訓(xùn)練樣本，剩余的作為測試樣本。訓(xùn)練樣本包括2年的數(shù)據(jù)，測試樣本包括半年的數(shù)據(jù)。每一個(gè)交易日包含24個(gè)負(fù)荷值與24個(gè)電價(jià)值。使用圖4所示的方式訓(xùn)練模型并對交易日某時(shí)刻的電價(jià)進(jìn)行預(yù)測。

2.2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

為了驗(yàn)證本文提出預(yù)測模型的效果，設(shè)計(jì)實(shí)驗(yàn)進(jìn)行驗(yàn)證。梯度提升隨機(jī)森林模型中，需要設(shè)置某些對模型結(jié)果有較大影響的超參數(shù)(hyper-parameter)，包括隨機(jī)森林模型中決策樹的數(shù)目N、決策樹算法中每個(gè)節(jié)點(diǎn)處隨機(jī)選擇的特征數(shù)目p、梯度提升框架中隨機(jī)森林模型的數(shù)目M。對于超參數(shù)p，本組實(shí)驗(yàn)中設(shè)置p=5。對于其他的超參數(shù)，則通過設(shè)置不同值進(jìn)行對比。

隨機(jī)森林模型的超參數(shù)N對模型預(yù)測精度一般有較大的影響，因此在實(shí)驗(yàn)設(shè)計(jì)中，對比不同N值，分別設(shè)置N值為10、20、50、80、100、200、500、800、1 000。梯度提升模型中隨機(jī)森林的數(shù)目M依次設(shè)置為2、3、4、5。為了驗(yàn)證本文提出模型的有效性，分別使用隨機(jī)森林(RF)模型和提升樹(GBDT)模型進(jìn)行對比實(shí)驗(yàn)，兩個(gè)模型分別采用了Bagging策略和Boosting策略，通過將其與本文模型對比，可驗(yàn)證本文提出的算法能否將兩種集成策略的優(yōu)勢結(jié)合，進(jìn)一步提高模型的預(yù)測準(zhǔn)確性，在對比模型中采用同樣的超參數(shù)設(shè)置。

在GBRF模型中，隨機(jī)森林模型的個(gè)M可取不同值，根據(jù)實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)當(dāng)M=2時(shí)模型的預(yù)測準(zhǔn)確性已經(jīng)較高，再增加模型的個(gè)數(shù)，會(huì)增大計(jì)算量，但并不會(huì)顯著提高模型的準(zhǔn)確性，因此在實(shí)驗(yàn)中，GBRF模型的M設(shè)置為2。

表1 不同N值下各個(gè)模型RMSE的對比結(jié)果

表2 不同N值下各個(gè)模型MAPE的對比結(jié)果

表1、表2中，GBRF為本文提出的模型，RF為隨機(jī)森林模型，GBDT為梯度提升樹模型，每個(gè)模型運(yùn)行10次，分別統(tǒng)計(jì)10次的RMSE和MAPE的均值，并將兩個(gè)模型的10次誤差分別與GBRF模型的結(jié)果進(jìn)行t檢驗(yàn)，以確定兩個(gè)模型的平均預(yù)測準(zhǔn)確性是否有顯著差異。表格中顯示t檢驗(yàn)的結(jié)果p值，當(dāng)p值小于0.05時(shí)，可認(rèn)為該模型與本文提出的GBRF模型有顯著的差異，表格中具有顯著差異的p值均以下劃線方式標(biāo)出。

可以看出，本文提出的GBRF模型的預(yù)測精度在統(tǒng)計(jì)意義上優(yōu)于對應(yīng)的RF模型和GBDT模型。對比GBRF模型與RF模型，可看出，當(dāng)N大于等于50時(shí)，GBRF模型的準(zhǔn)確性優(yōu)于RF模型，這說明在第1個(gè)RF模型的基礎(chǔ)上采用梯度提升算法，確實(shí)可以進(jìn)一步降低模型的偏差，提高模型預(yù)測的準(zhǔn)確性。對比GBRF模型與GBDT模型，可看出GBRF優(yōu)于GBDT模型。二者均采用梯度提升算法，不同的是基礎(chǔ)學(xué)習(xí)機(jī)，GBRF采用RF作為基礎(chǔ)學(xué)習(xí)機(jī)，可以僅使用2次迭代，便達(dá)到較高的準(zhǔn)確性，而GBDT采用決策樹作為基礎(chǔ)學(xué)習(xí)機(jī)，需要多次迭代才可完成模型訓(xùn)練，說明采用方差相對更小的模型作為基礎(chǔ)學(xué)習(xí)機(jī)，可以使用更少次數(shù)的梯度提升，達(dá)到相對較高的準(zhǔn)確性。因此，GBRF模型通過使用RF模型作為基礎(chǔ)學(xué)習(xí)機(jī)，降低模型的方差，通過使用梯度提升算法，在RF模型的基礎(chǔ)上，進(jìn)一步降低模型的偏差。結(jié)果表明，本文提出的GBRF模型可以有效結(jié)合兩種集成學(xué)習(xí)策略的優(yōu)勢，進(jìn)一步提高模型的準(zhǔn)確性。

為了直觀對比不同模型預(yù)測準(zhǔn)確性的差異，將以上3個(gè)對比模型的RMSE和MAPE繪制如圖5與圖6所示。由表1和表2的結(jié)果可看出，當(dāng)N小于80時(shí)，GBDT模型的預(yù)測誤差相對較大，為了更準(zhǔn)確的觀察不同模型的差異，圖中只繪制N大于等于80時(shí)各個(gè)模型的結(jié)果。

圖5 不同模型RMSE對比

圖6 不同模型MAPE對比

圖中分別展示了3個(gè)模型在不同N值時(shí)RMSE和MAPE的均值與標(biāo)準(zhǔn)差，分別代表模型的準(zhǔn)確性和穩(wěn)定性。可以看出，GBRF模型的準(zhǔn)確性優(yōu)于RF模型和GBDT模型。GBRF模型與RF模型的變化趨勢幾乎相同，但二者之間一直存在一定的差距，說明在RF基礎(chǔ)上，本文提出的GBRF模型確實(shí)可以進(jìn)一步提高準(zhǔn)確性。觀察RF模型，隨著N值的增大，模型只能逐漸減小方差，而無法顯著提升模型的準(zhǔn)確性，而采用梯度提升方法改進(jìn)之后，GBRF模型的方差仍與RF相仿，但準(zhǔn)確性卻顯著提升，這說明，采用梯度提升算法，在保持方差較小的前提下，確實(shí)可以降低模型的偏差，驗(yàn)證了本文提出算法確實(shí)可以將二者的優(yōu)勢結(jié)合。

總結(jié)而言，本文提出的梯度提升隨機(jī)森林方法，有效結(jié)合了Bagging和Boosting兩種集成學(xué)習(xí)策略的優(yōu)點(diǎn)，可以在隨機(jī)森林模型的基礎(chǔ)上，進(jìn)一步提高模型的預(yù)測準(zhǔn)確性。

3 結(jié) 語

為了提高出清電價(jià)預(yù)測的準(zhǔn)確性，本文提出梯度提升隨機(jī)森林模型，可有效結(jié)合Bagging和Boosting兩種集成學(xué)習(xí)模型的優(yōu)點(diǎn)，進(jìn)一步降低模型的偏差。GBRF模型使用隨機(jī)森林模型作為基礎(chǔ)學(xué)習(xí)機(jī)，借助隨機(jī)森林模型方差較小的優(yōu)點(diǎn)，在其基礎(chǔ)上采用梯度提升學(xué)習(xí)算法，借助提升算法可有效減小偏差的優(yōu)點(diǎn)，在保持方差較小的前提下，進(jìn)一步降低偏差，最終得到的模型具有較小的偏差與方差。將模型應(yīng)用于PJM日前市場的電價(jià)預(yù)測，經(jīng)過實(shí)驗(yàn)驗(yàn)證，該模型優(yōu)于隨機(jī)森林模型和提升樹模型，能夠在隨機(jī)森林模型的基礎(chǔ)上，進(jìn)一步提高模型預(yù)測的準(zhǔn)確性。