析取隨機(jī)森林算法研究

王欣欣,王展青*（武漢理工大學(xué)理學(xué)院,湖北武漢,430070）

?

析取隨機(jī)森林算法研究

王欣欣,王展青*
（武漢理工大學(xué)理學(xué)院,湖北武漢,430070）

摘要：本文通過引進(jìn)前向反饋模型的概念提出析取-隨機(jī)森林算法，該方法將析取隨機(jī)森林模型中決策樹的學(xué)習(xí)方法進(jìn)行改進(jìn)，引入全局損失函數(shù)的概念，從而增加單個決策樹每個節(jié)點(diǎn)之間的聯(lián)系以影響下個節(jié)點(diǎn)的分類情況。改進(jìn)后的模型可以達(dá)到減少訓(xùn)練時間和使最后訓(xùn)練得到的隨機(jī)森林收斂速度更快、預(yù)測結(jié)果更為準(zhǔn)確的目的。

關(guān)鍵詞：隨機(jī)森林;前向反饋模型;人臉識別

0　引言

為了設(shè)計(jì)高性能的單分類器模式識別系統(tǒng),傳統(tǒng)的做法是首先進(jìn)行最優(yōu)的特征提取,然后設(shè)計(jì)最優(yōu)的分類器,實(shí)際當(dāng)中要達(dá)到這兩個“最優(yōu)”是非常困難的.近年來,更流行的做法是融合多個分類器。單一的分類算法一般會得到不同的分類結(jié)果，實(shí)驗(yàn)已經(jīng)驗(yàn)證任何單一的分類器都不能完全解決所有的問題或者達(dá)到應(yīng)用系統(tǒng)的要求。而單一分類器結(jié)果相互之間一般具有很強(qiáng)的互補(bǔ)性，因此，可以充分發(fā)揮各個分類器的優(yōu)勢，通過對多分類器的分類識別結(jié)果進(jìn)行融合來提高分類的正確性和魯棒性。近年來，多分類器融合算法受到了越來越多的關(guān)注，在各個應(yīng)用領(lǐng)域都取得了很大的進(jìn)展，隨機(jī)森林就是目前比較流行的多分類器融合方法之一。

1　析取隨機(jī)森林算法

眾所周知，決策樹是由一組“規(guī)則”分層組成的樹狀圖。在決策樹的每一個結(jié)點(diǎn)都要學(xué)習(xí)一個分裂函數(shù)（一般為二元函數(shù)），它決定輸入的數(shù)據(jù)會被分到左結(jié)點(diǎn)還是右結(jié)點(diǎn)?，F(xiàn)假設(shè)在k結(jié)點(diǎn)處有一組d維的數(shù)據(jù)，則其在k節(jié)點(diǎn)的分裂函數(shù)可定義為：

將可微的析取范式帶入式（2）得決策樹的可微范式：

誤差函數(shù)用梯度下降的方式求解最小值：

為了求解（7）式，將公式進(jìn)行泰勒展開，則有：

結(jié)合梯度提升算法推導(dǎo)出：求最優(yōu)化問題（7），等價于對訓(xùn)練樣本集增加對應(yīng)的權(quán)重系數(shù)，其中：

這里使用的梯度提升算法對于任何可微的損失函數(shù)都適用，即使是非凸函數(shù)也有很好的效果。這就改進(jìn)了析取隨機(jī)森林中因?yàn)閾p失函數(shù)是非凸函數(shù)，使用梯度下降會被困在局部最小值的狀況。

加入前向疊加模型的隨機(jī)森林可以表示為：

現(xiàn)將前向疊加的逐步疊加過程看成是隨機(jī)森林“一步步”的生成過程，則令隨機(jī)森林中的每棵決策樹同時生長，即令每棵決策樹同時生長到某一節(jié)點(diǎn)k，從而達(dá)到利用k節(jié)點(diǎn)的分類結(jié)果影響第k+1個節(jié)點(diǎn)生成的效果。則隨機(jī)森林可表示為：

為了求解（11）式，可以利用最速梯度下降法的求解原理，對公式（11）中的求關(guān)于的導(dǎo)數(shù)。但的定義本身并不存在，需要類比梯度的概念構(gòu)造如下：

2　結(jié)束語

本文將前向疊加的概念引入到析取隨機(jī)森林中，使得改進(jìn)后的算法模型減少訓(xùn)練時間、增加節(jié)點(diǎn)間的聯(lián)系，突破了傳統(tǒng)隨機(jī)森林算法的局限性，提高了算法的精確度。該算法在分類、決策等廣義問題上具有很好的推廣性與應(yīng)用性。

參考文獻(xiàn)

[1]L. Breiman, Random forests, Mach. Learn. 45 (1) (2001) 5–32.

[2]F. Schroff, A. Criminisi, A. Zisserman, Object class segmentation using random forests, in: British Machine Vision Conference, 2008.

[3]Mojtaba Seyedhosseini, Tolga Tasdizen. Disjunctive normal random forests[J]. Pattern Recognition 48 (2015) 976-983.

[4]Schulter, S. Wohlhart, P. Leistner, C. Saffari A. Roth, P.M. Bischof, H. Alternating Decision Forests. In CVPR[C],2013

作者簡介

王欣欣（1989-）、女、漢，吉林省吉林市、學(xué)生、碩士、圖像處理；通訊作者：王展青

The research of the disjunction of random forest algorithm

Wang Xinxin,Wang Zhanqing
(Wuhan University of technology，wuhan430070，Hubei province，China)

Abstract：In this paper,by introducing the concept of additive-forward model disjunction of random forest algorithm is put forward，This method improved the decision tree learning method ,it introduces the concept of a global loss function,thus increasing the individual decision tree nodes under the influence of the connection between the each node in the classification of the situation.The improved model can achieve reduce training time and make the training get faster convergence speed,the purpose of the forecast results more accurate.

Keywords：random forest;additive-forward model;Face recognition