集成學(xué)習(xí)研究現(xiàn)狀及展望

羅常偉 王雙雙 尹峻松 朱思宇 林 波 曹 江

1.軍事科學(xué)院戰(zhàn)爭(zhēng)研究院 北京 100091 2.清華大學(xué)電子工程系 北京 100084

當(dāng)前人工智能技術(shù)在軍事領(lǐng)域的應(yīng)用日趨廣泛,在目標(biāo)偵察、航路規(guī)劃、輔助決策等方面已經(jīng)發(fā)揮重要作用[1-2]. 以目標(biāo)偵察為例,無(wú)人機(jī)、偵察衛(wèi)星獲取地面圖像后,傳統(tǒng)作業(yè)方式需要人工讀圖,確定地面目標(biāo)的位置和類型. 人工讀圖費(fèi)時(shí)費(fèi)力,使用智能目標(biāo)偵察手段后,可以由機(jī)器進(jìn)行判讀,顯著提升作業(yè)效率. 在指揮控制領(lǐng)域,人工智能技術(shù)對(duì)威脅分析、態(tài)勢(shì)感知、火力籌劃、方案推演、打擊效果評(píng)估、物資調(diào)度、身份識(shí)別等方面也具有應(yīng)用價(jià)值.

機(jī)器學(xué)習(xí)是人工智能技術(shù)的重要基礎(chǔ),也是學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn). 常用的機(jī)器學(xué)習(xí)模型包括邏輯回歸、樸素貝葉斯、決策樹(shù)、支持向量機(jī)、多層感知器、深度神經(jīng)網(wǎng)絡(luò)等. 單個(gè)機(jī)器學(xué)習(xí)模型用于分類或回歸任務(wù)時(shí),由于模型復(fù)雜度或訓(xùn)練數(shù)據(jù)的限制,其性能往往達(dá)不到要求. 集成學(xué)習(xí)則通過(guò)已有機(jī)器學(xué)習(xí)模型的集成組合,能夠進(jìn)一步提升性能. 在機(jī)器學(xué)習(xí)競(jìng)賽平臺(tái)Kaggle 上,集成模型也是研究人員最常用的競(jìng)賽模型. 文獻(xiàn)[3]對(duì)傳統(tǒng)的集成學(xué)習(xí)方法進(jìn)行了總結(jié). 隨著多核學(xué)習(xí)以及深度學(xué)習(xí)的發(fā)展,集成學(xué)習(xí)的研究有了很大進(jìn)步. 本文結(jié)合集成學(xué)習(xí)的最新研究成果,對(duì)集成學(xué)習(xí)的理論和方法進(jìn)行了全面總結(jié)分析,并對(duì)技術(shù)發(fā)展趨勢(shì)進(jìn)行了展望.

1 集成學(xué)習(xí)的概念

人們?cè)谶M(jìn)行重大決策前（如選擇就業(yè)單位、進(jìn)行重大投資等）,通常會(huì)多方咨詢專業(yè)人士的意見(jiàn),并綜合這些意見(jiàn)作出最終的決策. 集成學(xué)習(xí)就是模仿這種行為,通過(guò)機(jī)器學(xué)習(xí)模型對(duì)同一個(gè)問(wèn)題進(jìn)行多次學(xué)習(xí),得到多個(gè)基模型（也稱為基學(xué)習(xí)器,base learner）,并通過(guò)一定的方法對(duì)這些基模型進(jìn)行集成組合,得到集成模型. 集成模型在性能上超過(guò)其中的任何單個(gè)基模型.

HANSEN 等在1990年提出了集成學(xué)習(xí)的概念,通過(guò)組合多個(gè)相似的神經(jīng)網(wǎng)絡(luò),顯著降低了分類器的泛化誤差[4]. 此后,FREUND 等提出了Adaboost 算法[5],將多個(gè)弱分類器組合成強(qiáng)分類器,且不需要弱分類器的先驗(yàn)知識(shí).Adaboost 在機(jī)器學(xué)習(xí)領(lǐng)域得到很大關(guān)注. BREIMAN 提出了bagging 集成學(xué)習(xí)方法以及隨機(jī)森林算法[6-7],對(duì)集成學(xué)習(xí)的發(fā)展產(chǎn)生了深遠(yuǎn)影響. 近年來(lái),研究人員將集成學(xué)習(xí)的方法應(yīng)用于深度神經(jīng)網(wǎng)絡(luò),顯示了深度神經(jīng)網(wǎng)絡(luò)集成模型的良好性能[8-9].

2 集成學(xué)習(xí)的理論

集成學(xué)習(xí)的理論是確保集成學(xué)習(xí)有效性的前提.集成學(xué)習(xí)研究的問(wèn)題包括集成回歸、集成分類這兩類問(wèn)題. 回歸問(wèn)題通常處理連續(xù)目標(biāo)變量,而分類問(wèn)題則處理離散目標(biāo)變量. 研究人員分別對(duì)集成回歸模型、集成分類模型的有效性進(jìn)行了理論分析.

2.1 集成回歸模型

bias-variance 分解[10]是一種解釋集成回歸模型有效性的理論,其基本思想是將泛化誤差分解為偏差和方差,通過(guò)考察集成學(xué)習(xí)降低偏差和方差的能力來(lái)解釋集成學(xué)習(xí)的有效性. 在bias-variance 分解的基礎(chǔ)上,對(duì)方差作進(jìn)一步分解,可得到bias-variancecovariance 分解[11]. 在回歸模型中,通常使用均方誤差來(lái)評(píng)價(jià)模型的回歸精度. 令t 表示回歸目標(biāo)值,fi為第i 個(gè)基模型的輸出,為集成回歸模型的輸出,則均方誤差可分解為:

其中,N 為基模型的數(shù)量,E[fi]表示期望值. 從式（1）可以看到,bias2和var 為非負(fù)值,而covar 能夠取負(fù)值. 當(dāng)bias2和var 保持不變時(shí),減小covar 能夠使得均方誤差減小. 同時(shí),增大基本模型的數(shù)量N,能夠減小var 的權(quán)重,并提高covar 的權(quán)重. 可見(jiàn),只要訓(xùn)練多個(gè)相關(guān)性較小的基模型,通過(guò)組合就能得到均方誤差更小的集成模型.

2.2 集成分類模型

bias-variance 分解也被應(yīng)用于解釋集成分類模型的有效性,但對(duì)于分類問(wèn)題,由于類標(biāo)簽的離散型性,使得bias-variance 分解對(duì)于分類模型的解釋并不直觀[12]. 此外,研究人員還提出了margin 理論,能夠很好地解釋boosting 等集成算法的有效性[13-14]. margin 理論認(rèn)為,在訓(xùn)練樣本的數(shù)量和基本模型的復(fù)雜度保持不變的情況下,集成模型在訓(xùn)練集上的margin 分布的平均值越大,方差越小,其泛化誤差越小.因此,可以通過(guò)最大化margin 分布的平均值、最小化margin 分布的方差設(shè)計(jì)集成模型.

以二分類問(wèn)題為例,記樣本的特征為x,類標(biāo)簽為y,y∈[-1,+1]. 當(dāng)采用多數(shù)投票規(guī)則集成時(shí),集成模型在第j 個(gè)樣本（xj,yj）上的margin 定義為

表1 給出了一個(gè)二分類集成模型的示例,其中集成模型包含3 個(gè)基分類器. 基分類器的分類準(zhǔn)確率均為60%,即對(duì)于5 個(gè)樣本,每個(gè)基分類器能對(duì)其中3 個(gè)樣本作出正確分類,具體分類結(jié)果如表1 所示. 使用多數(shù)投票規(guī)則集成,則可計(jì)算得到集成模型的準(zhǔn)確率為80%. 集成模型的margin 均值為0.6,方差為0.8. 如果其他條件不變,僅第3 個(gè)基分類器的分類結(jié)果發(fā)生變化,如表2 所示,則集成模型的準(zhǔn)確率變?yōu)?0%,與基模型一致,并沒(méi)有分類效果的提升.此時(shí)集成模型的margin 均值為0.6,方差為2.8. 可見(jiàn),在margin 平均值相同情況下、margin 方差越小,集成模型的準(zhǔn)確率越高.

表1 二分類集成模型的margin 分布示例1Table 1 Example 1 of margin distribution for binary classification and integration model

表2 二分類集成模型的margin 分布示例2Table 2 Example 2 of margin distribution for binary classification and integration model

對(duì)于二分問(wèn)題,如果N 個(gè)分類器互相獨(dú)立,每個(gè)基分類器的分類準(zhǔn)確率為p,采用多數(shù)投票法進(jìn)行集成,則根據(jù)二項(xiàng)式分布可計(jì)算得到集成模型準(zhǔn)確率為

可以證明,p＞0.5 時(shí),不論基分類器數(shù)量N 為奇數(shù)或偶數(shù),accuracy_rate 都是隨著N 增大而單調(diào)遞增[4],在極限情況下,集成模型的準(zhǔn)確率為100%. 在實(shí)際問(wèn)題中,基分類器很難做到互相獨(dú)立,因此,準(zhǔn)確率低于理論值.

3 集成學(xué)習(xí)的多樣性

從上述理論可以看出,集成模型的性能取決于基模型的數(shù)量、基模型的性能、集成策略、基模型之間的關(guān)系. 基模型之間的關(guān)系主要是指基模型的多樣性（diversity）. 多樣性是影響集成模型性能的關(guān)鍵因素[15-16]. bias-variance-covariance 分解是在回歸問(wèn)題的前提下推導(dǎo)出來(lái)的,不適合描述分類情況下的多樣性. margin 理論也未闡釋margin 分布與多樣性的關(guān)系. 目前多樣性沒(méi)有統(tǒng)一的定義. 文獻(xiàn)[15]比較了多樣性的幾種度量方法. 研究表明,直接優(yōu)化這些多樣性的度量指標(biāo)并不能保證集成模型獲得更好的性能. 現(xiàn)有集成學(xué)習(xí)主要采用啟發(fā)式方法,從數(shù)據(jù)的多樣性、模型參數(shù)的多樣性、模型結(jié)構(gòu)的多樣性等方面提升基模型之間的多樣性.

1）數(shù)據(jù)的多樣性. 主要采用以下幾種方式增加數(shù)據(jù)的多樣性: 一是在數(shù)據(jù)集中,通過(guò)有放回的重采樣,生成若干不同的訓(xùn)練集,分別用于訓(xùn)練不同的基模型. 二是通過(guò)在特征空間中選取不同的特征子空間,訓(xùn)練不同的基模型. 三是在樣本中增加隨機(jī)噪聲或使用人造數(shù)據(jù).

2）模型參數(shù)的多樣性. 在訓(xùn)練過(guò)程中,可設(shè)置不同的訓(xùn)練參數(shù),或者給定不同的初始值,從而訓(xùn)練得到不同的模型.

3）模型結(jié)構(gòu)的多樣性. 一是對(duì)于同類型的基模型,可以改變模型的復(fù)雜度. 二是直接集成不同類型的基模型.

4 集成學(xué)習(xí)的主要方法

集成學(xué)習(xí)的主要方法包括bagging、boosting、stacking、多核學(xué)習(xí)、集成深度學(xué)習(xí)等幾類方法.

4.1 bagging 方法

bagging 是bootstrap aggregating 的縮寫(xiě),該方法是最早提出的集成學(xué)習(xí)方法之一[6]. 該方法通過(guò)有放回的從數(shù)據(jù)集中采樣,形成不同的訓(xùn)練子集,用于訓(xùn)練相應(yīng)的基模型. 同一個(gè)樣本可能會(huì)出現(xiàn)在幾個(gè)不同的訓(xùn)練子集中. 基模型訓(xùn)練好之后,可以通過(guò)簡(jiǎn)單求平均、加權(quán)求平均、絕對(duì)多數(shù)投票法、相對(duì)多數(shù)投票法等方式進(jìn)行集成. bagging 方法的基本流程如圖1所示,其重要特點(diǎn)是能夠?qū)Ｐ瓦M(jìn)行并行訓(xùn)練. 目前,已有很多針對(duì)bagging 的改進(jìn)方法[16]. 文獻(xiàn)[17]針對(duì)訓(xùn)練子集選擇隨機(jī)性的問(wèn)題,提出了增強(qiáng)的bagging,在決策樹(shù)、支持向量機(jī)、樸素貝葉斯等模型集成時(shí),取得了較好的分類效果. 文獻(xiàn)[18]提出了鄰域均衡bagging 方法,顯著提高了非均衡數(shù)據(jù)的分類性能.

圖1 bagging 方法基本流程Fig.1 Basic flow of bagging method

隨機(jī)森林是bagging 方法的另一種重要的進(jìn)改形式. 隨機(jī)森林不僅使用bagging 方法抽取樣本,還使用隨機(jī)特征子空間進(jìn)行分類樹(shù)或回歸樹(shù)的訓(xùn)練. 隨機(jī)森林在很多機(jī)器學(xué)習(xí)方法中得到了很大關(guān)注,研究人員也提出了很多改進(jìn)的隨機(jī)森林[19-26]. 文獻(xiàn)[20]提出基于旋轉(zhuǎn)的方法增加樹(shù)的多樣性,從而提高隨機(jī)森林的精度. 文獻(xiàn)[21]提出的概率隨機(jī)森林,能夠提升回歸結(jié)果的精度和穩(wěn)定性. 文獻(xiàn)[25]對(duì)隨機(jī)森林的參數(shù)對(duì)性能的影響進(jìn)行了分析. 文獻(xiàn)[26]對(duì)收斂性進(jìn)行了評(píng)估分析. 可見(jiàn),關(guān)于隨機(jī)森林的研究仍然很活躍.

4.2 boosting 方法

boosting 是一類增強(qiáng)集成學(xué)習(xí)方法,每個(gè)基模型都在嘗試增強(qiáng)集成模型的效果. boosting 方法的基本流程如圖2 所示. 從初始訓(xùn)練集中訓(xùn)練一個(gè)基模型.基模型對(duì)不同的訓(xùn)練樣本有不同的預(yù)測(cè)結(jié)果. 對(duì)于預(yù)測(cè)錯(cuò)誤的樣本,增加其權(quán)重后,再訓(xùn)練下一個(gè)基模型. 重復(fù)上述過(guò)程,直至基模型的數(shù)量達(dá)到上限. 最后將所有基模型進(jìn)行加權(quán). 典型的boosting 方法是Adaboost[5].Adaboost 使用指數(shù)損失函數(shù)訓(xùn)練弱學(xué)習(xí)器,通過(guò)線性組合一組弱學(xué)習(xí)器得到強(qiáng)學(xué)習(xí)器,弱學(xué)習(xí)器通常是深度為1 的決策樹(shù). Adaboost 已經(jīng)有很多改進(jìn)的版本,如增加了空間推理的SpatialBoost[27],以及針對(duì)回歸問(wèn)題的gradient boosting[28]. XGBoost、LightGBM都包含gradient boosting 的算法改進(jìn)及工程實(shí)現(xiàn)[29-30],可用于分類和回歸問(wèn)題,能有效應(yīng)對(duì)于大規(guī)模的訓(xùn)練數(shù)據(jù)和高維的特征,在數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域得到較為廣泛應(yīng)用.

圖2 Boosting 方法基本流程Fig.2 Basic flow of boosting method

4.3 stacking 方法

stacking 是一類堆疊集成算法[3,31]. 通常是先利用bagging 方法生成一組基模型,然后將基模型的輸出作為輸入,訓(xùn)練另一個(gè)機(jī)器學(xué)習(xí)模型（稱為元模型,meta model）,從而將基模型進(jìn)行集成組合,如圖3 所示. 如果直接使用基模型的訓(xùn)練集來(lái)產(chǎn)生元模型的訓(xùn)練集,則很容易出現(xiàn)過(guò)擬合問(wèn)題. 因此,通常采用交叉驗(yàn)證的方法訓(xùn)練基模型,并由此生成元模型的訓(xùn)練集. 基模型可以是非同質(zhì)的,元模型通常選擇比基模型更為簡(jiǎn)單的機(jī)器學(xué)習(xí)模型. 文獻(xiàn)[31]使用隨機(jī)森林、均衡bagging、支持向量機(jī)等作為基模型,邏輯回歸最為元模型進(jìn)行集成. 由于人工選擇基模型、元模型難以達(dá)到最優(yōu)性能,文獻(xiàn)[32]提出一種遺傳算法優(yōu)化stacking 集成模型的結(jié)構(gòu). 文獻(xiàn)[33]使用蟻群算法來(lái)選擇基模型和元模型. 針對(duì)非均衡分類問(wèn)題,文獻(xiàn)[34]提出一種基于鄰域欠采樣的堆疊集成算法,根據(jù)局部鄰域信息選擇大類的樣本形成數(shù)據(jù)子集.

圖3 stacking 方法基本流程Fig.3 Basic flow of stacking method

4.4 多核學(xué)習(xí)

多核學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新的熱點(diǎn)問(wèn)題[35]. 核方法是解決非線性機(jī)器學(xué)習(xí)問(wèn)題的有效方法. 由于數(shù)據(jù)異構(gòu),特征類型的差異、樣本分布不規(guī)則等原因,單個(gè)核函數(shù)構(gòu)成的機(jī)器學(xué)習(xí)模型并不能滿足應(yīng)用需求. 將多個(gè)核函數(shù)進(jìn)行集成組合,能夠獲得更好的結(jié)果. 核函數(shù)的組合方式主要包括多核線性組合、多核擴(kuò)展組合方法、非平穩(wěn)線性組合方法等[36-42]. 多核學(xué)習(xí)的基本流程如圖4 所示.

圖4 多核學(xué)習(xí)方法基本流程Fig.4 Basic flow of multiple kernel learning method

可以使用固定的權(quán)重對(duì)多個(gè)核函數(shù)進(jìn)行加權(quán),得到組合的核函數(shù). 這種方式難以達(dá)到較好的性能,因此,研究人員通常使用基于優(yōu)化的方法求解核函數(shù)的權(quán)重. 例如,將組合的核函數(shù)與支持向量機(jī)結(jié)合起來(lái),通過(guò)半正定規(guī)劃[37]等優(yōu)化方法進(jìn)行求解核函數(shù)的權(quán)重. 文獻(xiàn)[38]提出一種自適應(yīng)二范數(shù)正則化方法求解核矩陣的權(quán)重. 為解決大規(guī)模的多核學(xué)習(xí)問(wèn)題,文獻(xiàn)[39]提出EasyMKL,能夠有效集成大量核函數(shù),并顯著降低計(jì)算時(shí)間. 文獻(xiàn)[40]提出一種基于隨機(jī)方差減小的多核學(xué)習(xí)方法,實(shí)現(xiàn)對(duì)多種特征的最優(yōu)組合. 文獻(xiàn)[41]對(duì)傳統(tǒng)的多核學(xué)習(xí)方法進(jìn)行了總結(jié). 文獻(xiàn)[43-44] 分別總結(jié)了高光譜圖像分類、視覺(jué)目標(biāo)識(shí)別中的多核學(xué)習(xí)方法. 此外,多核學(xué)習(xí)與深度學(xué)習(xí)進(jìn)行結(jié)合也逐漸成為研究熱點(diǎn)[45-46].

4.5 集成深度學(xué)習(xí)

隨著深度學(xué)習(xí)的發(fā)展,集成學(xué)習(xí)的思想逐漸應(yīng)用于深度學(xué)習(xí). 深度學(xué)習(xí)通常采用隨機(jī)梯度下降方法進(jìn)行訓(xùn)練,這使得深度學(xué)習(xí)模型對(duì)訓(xùn)練數(shù)據(jù)和初始參數(shù)較為敏感,從而導(dǎo)致模型在預(yù)測(cè)時(shí)可能具有較大的方差. 減小方差最直接的方法是,將深度學(xué)習(xí)模型作為基模型,并采用bagging 方法訓(xùn)練多個(gè)深度學(xué)習(xí)模型,然后使用投票法、加權(quán)平均等方法進(jìn)行模型集成[47-48]. 文獻(xiàn)[47]使用5 種不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行集成,包括ResNet,Inception-v3,DenseNet等[49-51],每個(gè)卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）單獨(dú)進(jìn)行訓(xùn)練. 最后將所有模型的輸出求平均,得到集成模型的輸出. 多列（multi-column）深度神經(jīng)網(wǎng)絡(luò)也是一種集成模型[48],每一列是一個(gè)卷積神經(jīng)網(wǎng)絡(luò). 通過(guò)平均法進(jìn)行集成. 文獻(xiàn)[52]提出多列稀疏自編碼網(wǎng)絡(luò),能夠自動(dòng)計(jì)算每列網(wǎng)絡(luò)的最優(yōu)權(quán)重.文獻(xiàn)[53]使用多個(gè)不同深度的ResNet 進(jìn)行集成,并用于車(chē)輛類型的識(shí)別. 由于訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)需要較大的訓(xùn)練成本,文獻(xiàn)[54]提出snapshot 集成方法. 該方法只需要訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò),通過(guò)采用循環(huán)學(xué)習(xí)率策略,使得神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中,快速收斂到多個(gè)局部最優(yōu)解,并保存這些神經(jīng)網(wǎng)絡(luò)模型的參數(shù). 在測(cè)試時(shí),對(duì)這些模型的預(yù)測(cè)結(jié)果進(jìn)行平均. 實(shí)驗(yàn)表明該方法在不增加訓(xùn)練成本的情況下,仍能得到錯(cuò)誤率較低的集成模型. 文獻(xiàn)[55]使用CNN 從圖像塊提取層次化的特征,然后根據(jù)這些特征使用Adaboost 方法判別圖像塊屬于前景還是背景. 這種方式僅僅是在Adaboost 中利用了深度特征訓(xùn)練決策樹(shù). 文獻(xiàn)[56]提出Deepboost 方法. Deepboost 與Adaboost 類似,但能夠使用深度決策樹(shù)作為基學(xué)習(xí)器且不會(huì)導(dǎo)致過(guò)擬合,這在處理復(fù)雜的分類問(wèn)題時(shí)更為有利. 文獻(xiàn)[57]對(duì)Deepboost進(jìn)行了拓展,使其能夠處理多分類問(wèn)題.

boosting 方法也能直接用于深度神經(jīng)網(wǎng)絡(luò)集成.文獻(xiàn)[58]使用gradient boosting 方法集成多個(gè)小型CNN,并將其應(yīng)用于對(duì)圖像進(jìn)行目標(biāo)計(jì)數(shù). 該方法在訓(xùn)練第1 個(gè)CNN 之后,根據(jù)的預(yù)測(cè)誤差訓(xùn)練下一個(gè)CNN,依次類推. 實(shí)驗(yàn)表明,該boosting 方法得到的集成模型在精度上優(yōu)于bagging 方法得到的集成模型.文獻(xiàn)[59]提出boosting CNN,boosting CNN 同樣使用CNN 作為基模型,通過(guò)GD-MCBoost[60]方法進(jìn)行集成.其他基于boosting 的深度集成學(xué)習(xí)方法還包括boosted deep belief network（BDBN）[61]、deep boosting framework（DBF）[62]、DBDnet[63]等. 文獻(xiàn)[64]提出增量boosting CNN,用于減輕過(guò)擬合問(wèn)題. 文獻(xiàn)[65]提出了snapshot boosting 方法,能夠在訓(xùn)練成本和集成模型的精度上取得較好的平衡.

文獻(xiàn)[66]將深度神經(jīng)網(wǎng)絡(luò)堆疊后用于對(duì)圖像去模糊,取得較好地效果. 將深度神經(jīng)網(wǎng)絡(luò)與其他機(jī)器學(xué)習(xí)模型進(jìn)行堆疊,也是一種有效的集成學(xué)習(xí)策略.文獻(xiàn)[67]提出了深度神經(jīng)決策森林（deep neural decision forest,DNDF）,通過(guò)在決策樹(shù)的分裂節(jié)點(diǎn)引入可微分的決策函數(shù)及全局損失函數(shù),使得分裂節(jié)點(diǎn)的參數(shù)可以通過(guò)反向傳播的方式進(jìn)行學(xué)習(xí),從而將決策樹(shù)與深度神經(jīng)網(wǎng)絡(luò)組合在一起進(jìn)行學(xué)習(xí). 文獻(xiàn)[68]在上述方法的基礎(chǔ)上進(jìn)一步提出了深度標(biāo)簽分布學(xué)習(xí)森林（deep label distribution learning forest,DLDLF）和深度回歸森林（deep regression forest,DRF）,分別用于分類和回歸問(wèn)題. 這兩種集成模型都是將深度神經(jīng)網(wǎng)絡(luò)的全連接層連接到隨機(jī)森林,并可進(jìn)行端到端的訓(xùn)練.

此外,模糊決策方法、多核學(xué)習(xí)的方法也用于深度神經(jīng)網(wǎng)絡(luò)的集成[46,69]. 文獻(xiàn)[46]對(duì)多核學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合的方法進(jìn)行了總結(jié).

深度學(xué)習(xí)模型的規(guī)模不斷增加,其訓(xùn)練也更加困難. 文獻(xiàn)[70]的研究結(jié)果表明,通過(guò)集成輕量級(jí)的神經(jīng)網(wǎng)絡(luò),其性能可以超過(guò)單一的大型神經(jīng)網(wǎng)絡(luò). 同時(shí),將集成模型轉(zhuǎn)換為級(jí)聯(lián)的模型,能夠減少計(jì)算量并在很大程度上保持集成模型的精度.

5 集成學(xué)習(xí)需要關(guān)注的重點(diǎn)問(wèn)題

集成學(xué)習(xí)的研究雖然取得了較大發(fā)展,但現(xiàn)有方法在精度、速度以及算法復(fù)雜度等方面都還存一定的不足. 未來(lái)集成學(xué)習(xí)需要重點(diǎn)關(guān)注以下幾個(gè)方面:

1）集成學(xué)習(xí)的理論還需進(jìn)一步研究. 目前集成學(xué)習(xí)的理論對(duì)部分集成模型的有效性進(jìn)行了闡釋,但對(duì)集成模型多樣性的定義、多樣性的度量還沒(méi)有形成共識(shí). 特別是如何實(shí)現(xiàn)多樣性,還需要更明確的理論指導(dǎo).

2）集成學(xué)習(xí)需要更加注重多層次的信息融合.信息融合包括數(shù)據(jù)層、特征層、決策層等多個(gè)層次的融合. 現(xiàn)有的集成學(xué)習(xí)方法,主要是將多個(gè)基模型在決策層進(jìn)行融合,忽視了數(shù)據(jù)層、特征層的融合.以圖像分類為例,現(xiàn)有方法主要根據(jù)可見(jiàn)光圖像進(jìn)行目標(biāo)分類. 在軍事領(lǐng)域,除了可見(jiàn)光圖像,還有大量的紅外圖像、合成孔徑雷達(dá)圖像等,集成學(xué)習(xí)過(guò)程中應(yīng)充分融合這些圖像. 在智能人機(jī)交互領(lǐng)域,集成學(xué)習(xí)方法需要將語(yǔ)音、手勢(shì)、面部表情等多模態(tài)信息進(jìn)行融合處理,才能實(shí)現(xiàn)更高水平的機(jī)器智能.

3）需要研究快速高效的集成深度學(xué)習(xí)方法. 深度學(xué)習(xí)需要的大量的訓(xùn)練數(shù)據(jù),訓(xùn)練時(shí)間長(zhǎng)、訓(xùn)練成本高. 集成深度學(xué)習(xí)使用多個(gè)深度神經(jīng)網(wǎng)絡(luò)作為基模型,對(duì)訓(xùn)練數(shù)據(jù)、訓(xùn)練時(shí)間和成本有更高地要求. 研究如何確定基模型的類型和規(guī)模、如何快速訓(xùn)練和測(cè)試深度集成模型,對(duì)模型的應(yīng)用具有重要意義.