基于RF和KNN的地下采場開挖穩(wěn)定性評估

仉文崗　李紅蕊　巫崇智　王林

摘 ? 要：針對傳統(tǒng)地下采場開挖穩(wěn)定評估方法存在的局限性，引入機器學(xué)習(xí)方法，提出基于隨機森林算法（Random forest，RF）和K-最近鄰算法（K-nearest neighbor，KNN）的地下采場開挖穩(wěn)定性預(yù)測模型. 以加拿大8個采場為例，首先，獲取并分析399組觀測數(shù)據(jù)，其中涵蓋了相應(yīng)的巖石質(zhì)量分級（Rock Mass Rating，RMR）值、跨度以及對應(yīng)的穩(wěn)定、潛在不穩(wěn)定或不穩(wěn)定狀態(tài). 然后將地下采場的穩(wěn)定性程度進行三分類及二分類，采用10折交叉驗證方法進行模型超參數(shù)優(yōu)化，在不作任何假設(shè)的前提下，捕捉地下采場開挖穩(wěn)定性與RMR值、跨度之間的復(fù)雜關(guān)系. 研究表明：二分類結(jié)果準(zhǔn)確性高于三分類預(yù)測結(jié)果;在二分類方式下，兩種算法的準(zhǔn)確率及召回率均高于90%，其中KNN算法的表現(xiàn)優(yōu)于RF算法;提出的兩種方法較先前研究的正確率有很大提升，為開挖穩(wěn)定性評估提供了可靠途徑.

關(guān)鍵詞：隨機森林;K-最近鄰;開挖穩(wěn)定性;交叉驗證;召回率

中圖分類號：TP181 ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標(biāo)志碼：A

Stability Assessment of Underground Entry-type Excavations

Using Data-driven RF and KNN Methods

ZHANG Wengang1，2，3?，LI Hongrui1，WU Chongzhi1，WANG Lin1，2，3

（1. School of Civil Engineering，Chongqing University，Chongqing 400045，China;

2. National Joint Engineering Research Center of Geohazards Prevention

in the Reservoir Areas （Chongqing University），Chongqing 400045，China;

3. Key Laboratory of New Technology for Construction of Cities in

Mountain Area （Chongqing University），Ministry of Education，Chongqing 400045，China）

Abstract：In view of the limitations of traditional entry-type excavation stability assessment methods，this study explores the uses of novel data-driven machine learning methods to establish the excavation stability prediction models based on the random forest（RF） and K-nearest neighbor（KNN） methods. The proposed methods are based on 399 case histories from eight Canadian mines，covering a wide range of rock mass rating（RMR） and span，with stable，potential unstable and unstable cases categorized into ternary and binary groups. A ten-fold cross-validation method is applied to optimize the hyper-parameters during modeling. These two machine learning methods can capture the complex relationship between the excavation stability with RMR value and span without any assumptions of the underlying relationship. The results indicate that the accuracy of the binary classification results are slightly better than the ternary prediction results. For the binary classification circumstance，the accuracy and recall rate of both algorithms are higher than 90%，and the performance of the KNN algorithm is better than that of the RF algorithm. Meanwhile，the two proposed methods greatly improve the accuracy rate over previous studies and provide a reliable way for excavation stability assessment.

Key words：random forests;K-nearest neighbor;entry-type excavations stability;cross validation;recall rate

地下采場的穩(wěn)定性是采礦作業(yè)安全性的主要關(guān)注點，對采場生產(chǎn)率有著重要影響. 確定采場穩(wěn)定性的普遍方法是通過對巖石力學(xué)參數(shù)進行評估，然后采用巖石質(zhì)量Q系統(tǒng)分類法、RMR （rock mass rating）分類法或地質(zhì)強度指標(biāo)（GSI）等方法對巖石進行評分，最終根據(jù)相應(yīng)的分級標(biāo)準(zhǔn)[1-3]，確定巖石的穩(wěn)定性程度. 近年來，一些方法如數(shù)值模擬法[4]、臨界跨度圖法[5]以及Mathews 穩(wěn)定圖法[6-7]等被提出用于預(yù)測礦洞的穩(wěn)定性，然而這些方法比較傳統(tǒng)，經(jīng)驗性較強. 在數(shù)據(jù)挖掘時代，越來越多的準(zhǔn)確可靠的機器學(xué)習(xí)算法模型應(yīng)用于實際工程中指導(dǎo)工程師判斷礦體穩(wěn)定性[8-11].

Wang等[12] 采用神經(jīng)網(wǎng)絡(luò)算法，選取由加拿大6個地下采場組成的數(shù)據(jù)庫（292組數(shù)據(jù)），將采場跨度、RMR值、Q值作為輸入?yún)?shù)，對數(shù)據(jù)庫進行訓(xùn)練并創(chuàng)建神經(jīng)網(wǎng)絡(luò)“專家”，進而對不同測試集進行訓(xùn)練得到預(yù)測模型，應(yīng)用神經(jīng)網(wǎng)絡(luò)得到的跨度設(shè)計圖與經(jīng)驗設(shè)計方法相比得到顯著改進. García-Gonzalo 等[5]提出采用支持向量機（Support Vector Machine，SVM）和極限學(xué)習(xí)（Extreme Learning Machine，ELM）方法對加拿大采場更新的數(shù)據(jù)庫（8個地下采場，399組觀測數(shù)據(jù)）對應(yīng)的臨界跨度圖進行重新劃分區(qū)域，與Lang[13]根據(jù)加拿大Detour Lake Mine中的172組數(shù)據(jù)提出的臨界跨度圖穩(wěn)定性分區(qū)范圍作比較，結(jié)果吻合較好，并在此基礎(chǔ)上進行了優(yōu)化. Goh等[14]結(jié)合多元自適應(yīng)回歸樣條與邏輯回歸兩種方法（Multivariate Adaptive Regression Splines and Logistic Regression，MARS_LR），首次采用新的評估標(biāo)準(zhǔn)——第一類犯錯率及第二類犯錯率對預(yù)測模型的準(zhǔn)確性進行評估，預(yù)測地下采場開挖穩(wěn)定性.

然而，以上經(jīng)典的機器學(xué)習(xí)模型——神經(jīng)網(wǎng)絡(luò)，雖然預(yù)測結(jié)果精確，但對數(shù)據(jù)量要求高，且計算量大，較為費時[15]. 對于SVM等算法，盡管模型預(yù)測能力令人相對滿意，但模型解釋性差且調(diào)整參數(shù)過程繁瑣. 此外，廣泛應(yīng)用于巖土工程領(lǐng)域的MARS方法[16-17]，其在解決問題時需要涉及具體的表達公式，在計算應(yīng)用時較為復(fù)雜. 因此本文采取機器學(xué)習(xí)方法中RF算法與KNN算法來避免上述問題. 這兩種機器學(xué)習(xí)方法可解釋性強，對變量之間隱藏的關(guān)系不進行任何假設(shè)，直接體現(xiàn)變量間的交互作用，便于計算變量的非線性作用，從而提高模型泛化能力，在處理非平衡的數(shù)據(jù)時結(jié)果更加穩(wěn)健.

鑒于此，以加拿大地下采場實測數(shù)據(jù)為例，研究RF與KNN算法對采場開挖穩(wěn)定性預(yù)測的可行性. 結(jié)合臨界跨度圖法對RMR值、跨度以及對應(yīng)穩(wěn)定性狀態(tài)進行了綜合分析，然后詳細介紹了RF算法、KNN算法及預(yù)測模型準(zhǔn)確性評估準(zhǔn)則，在三分類及二分類方式下，基于10折交叉驗證理論進行超參數(shù)優(yōu)化. 最后，通過計算各種模型評價指標(biāo)和ROC曲線定量檢驗，對比分析不同分類方式下預(yù)測模型的表現(xiàn)，探討本文方法的可行性.

1 ? 臨界跨度圖及數(shù)據(jù)庫

在許多礦洞填挖工程中，經(jīng)驗法因其簡單性且不需要完全掌握巖體力學(xué)參數(shù)等優(yōu)勢而被廣泛采用，其通常不考慮實際的破壞機制，而是根據(jù)綜合很多案例得出的規(guī)律進行預(yù)判，具有一定的代表性，因此常被工程師應(yīng)用于設(shè)計初級階段對巖石穩(wěn)定性進行初步判斷.

臨界尺寸圖是一種被廣泛應(yīng)用于地下采場開挖穩(wěn)定性評估的經(jīng)驗理論，由加拿大學(xué)者Lang首次提出[13]. 本文根據(jù)采場的跨度、巖石質(zhì)量分級RMR值 （依據(jù)Bieniawski于1976年提出的RMR分類法[18]） 及礦洞穩(wěn)定性等信息繪制成臨界跨度圖，可明顯地將區(qū)域分為3部分，即穩(wěn)定、潛在不穩(wěn)定和不穩(wěn)定區(qū)域（見圖1）. 通過觀察礦洞不同穩(wěn)定程度的分區(qū)范圍，對類似地質(zhì)條件的礦洞穩(wěn)定性進行初步判斷.

表1中總結(jié)了加拿大8個礦山的399組歷史數(shù)據(jù)，其中包含241個穩(wěn)定案例，78個潛在不穩(wěn)定案例和80個不穩(wěn)定案例，具體包括RMR分值、跨度以及相應(yīng)的礦洞穩(wěn)定性狀態(tài)等信息. 圖2統(tǒng)計了輸入?yún)?shù)RMR值和跨度直方圖，關(guān)于案例的詳細介紹，讀者可參考文獻[19].

由于礦洞實際觀測情況分為穩(wěn)定、潛在不穩(wěn)定和不穩(wěn)定三種狀態(tài)，大部分研究根據(jù)臨界跨度圖將數(shù)據(jù)分為三組，但潛在不穩(wěn)定狀態(tài)與另外兩種狀態(tài)的邊界劃分不夠明顯. García-Gonzalo[5]、Goh等[14]考慮了臨界跨度圖的替代形式，即把不穩(wěn)定及潛在不穩(wěn)定均視為不穩(wěn)定，只考慮穩(wěn)定和不穩(wěn)定兩種情況繪制臨界跨度圖. 為了對比不同分類方式對預(yù)測結(jié)果準(zhǔn)確性的影響，本文采用RF和KNN算法對三分類與二分類兩種方式進行預(yù)測分析. 此外，在二分類方式下，采用ROC曲線下AUC面積值對不同算法的表現(xiàn)進行對比分析.

2 ? 分類算法

2.1 ? RF算法

RF是由Breiman提出的基于CART決策樹（Classification and regression trees）的集成算法[20]. 目前該算法已廣泛用于分類、回歸和無監(jiān)督學(xué)習(xí)等方面. 對于多分類問題，采用隨機抽樣形成多個分類器，可收斂到更低的泛化誤差[21]，有效地提高了算法的泛化能力，并且運算可實現(xiàn)高度并行化，進而提升模型計算效率[22-24]. 另外，RF算法對于不平衡樣本分類表現(xiàn)優(yōu)異，本文數(shù)據(jù)庫中不穩(wěn)定案例數(shù)量少于穩(wěn)定案例數(shù)量，因此可以通過分析預(yù)測結(jié)果來驗證預(yù)測模型的適用性.

RF算法利用bootstrap重抽樣方法從原始樣本中抽取多個樣本組合構(gòu)成多棵決策樹（見圖3），在不同決策樹演化過程中隨機改變預(yù)測變量組合來增加分類樹的多樣性，經(jīng)過n 輪訓(xùn)練，將不同決策樹h1在樣本x上的預(yù)測輸出表示為一個N維向量（h1

i（x），h2

i（x），…h(huán)k

i（x），…，hN

i（x）），其中hk

i（x）是hi在類別標(biāo)記ck上的輸出. 采用多數(shù)投票機制決定最終分類結(jié)果[25]，分類決策公式見式（1）.

H（x） = c

hk

i（x） ? ? ? ?（1）

式中：類別標(biāo)記ck∈{c1，c2，…，cN};H（x）表示輸出類別，即預(yù)測為得票最多的標(biāo)記，若同時有多個標(biāo)記獲得最高票，則從中隨機選取一個標(biāo)記. 式（1）解釋了該算法采用多數(shù)投票決策方式的原理.

2.2 ? KNN算法

KNN算法是一種基于統(tǒng)計的非參數(shù)模式識別分類算法，由Yakowitz首次提出并應(yīng)用于時間序列預(yù)測方面[26]. 由于其實現(xiàn)過程的簡單性，已在很多領(lǐng)域得到應(yīng)用，如文本分類[27]、短期需水量預(yù)測[28]、年平均降雨量預(yù)報[29]等. 該算法簡單易用，但對內(nèi)存要求較高，其在學(xué)習(xí)過程中簡單地存儲已知的所有訓(xùn)練數(shù)據(jù)，當(dāng)遇到新的查詢樣本時，取出一系列相似的樣本，用來分類新的查詢樣本. 圖4為三分類情況下，KNN算法原理示意圖.

假定所有的樣本對應(yīng)于n維空間R″中的點，一個樣本的最近鄰可根據(jù)標(biāo)準(zhǔn)的歐氏距離定義[30]. 任意的樣本x表示為特征向量x={x1，x2，…，xi}，xi表示樣本x的第i個特征值. 那么兩個樣本xm和xn的距離定義為d（xm，xn），在二維和三維空間中的歐氏距離即兩點之間的實際距離，計算公式為：

d（xm，xn） = ? ? ? （2）

給定一個待分類的樣本xm，x1，x2，…，xk表示訓(xùn)練集中與xm距離最近的K neighbors個樣本，使用最近鄰的大多數(shù)投票法作為待查詢樣本的預(yù)測值.

2.3 ? 模型評估準(zhǔn)則

在計算模型準(zhǔn)確率的時候，許多研究常采用正確率和判錯率來判斷模型的準(zhǔn)確性，然而只采用這兩個指標(biāo)不足以全面說明模型的準(zhǔn)確性，因此采用混淆矩陣來計算模型對任何一種情況的判斷準(zhǔn)確率或者失誤率是必不可少的. 混淆矩陣是一個評估分類模型表現(xiàn)好壞的表格，矩陣的列代表實際分類情況，行代表預(yù)測分類情況，三分類混淆矩陣如表2所示，對于二分類方式同理，在此不再贅述.

混淆矩陣的每個單元代表不同預(yù)測狀態(tài)與實際狀態(tài)對應(yīng)的統(tǒng)計數(shù). 采用表3中評價指標(biāo)判斷模型準(zhǔn)確性：召回率（Recall rate）表示模型對地下采場三種穩(wěn)定性狀態(tài)判斷的正確率，如式（3）所示，這個數(shù)值代表模型對每種情況判斷正確的概率，在很大程度上決定了模型的適用性;模型的精確度（Precision）表示為式（4）. 模型判斷準(zhǔn)確率（Accuracy）定義為式（5）.

此外，采用受試者工作特征曲線（Receiver Operating Characteristic Curve，ROC曲線）來評估兩種算法的性能，ROC曲線圖是反映敏感性與特異性之間關(guān)系的曲線，橫坐標(biāo)X軸為假陽性率（誤報率），縱坐標(biāo)Y軸為真陽性率（敏感度）. ROC曲線下方部分的面積被稱為AUC（Area Under Curve），用來表示預(yù)測準(zhǔn)確性，AUC值越高，即曲線下方面積越大，說明預(yù)測準(zhǔn)確率越高[31-32]. AUC的值介于0.0～1.0，表現(xiàn)出色的模型AUC值高于0.9，一般的模型AUC值介于0.7～0.9，當(dāng)AUC值小于0.7時，模型效果較差[33].

通常情況下，將不穩(wěn)定判斷為穩(wěn)定的代價要遠高于將穩(wěn)定判斷為不穩(wěn)定的代價，因此降低模型對不穩(wěn)定判斷為穩(wěn)定的概率，即提高不穩(wěn)定情況的召回率是至關(guān)重要的. 本文將重點分析兩種算法在不同分類模式下的召回率及模型準(zhǔn)確率，旨在提高模型實用性和可靠性.

3 ? 計算流程及超參數(shù)優(yōu)化

為了對比RF和KNN算法的表現(xiàn)，設(shè)定兩種算法的訓(xùn)練集與測試集是相同的，均從399個數(shù)據(jù)中隨機選出299個數(shù)據(jù)作為訓(xùn)練集，剩余100個作為測試集. 將礦洞穩(wěn)定情況分別按照三分類和二分類兩種方式進行預(yù)測，并根據(jù)AUC值對兩種算法的表現(xiàn)進行對比，確定表現(xiàn)更好的模型. 兩種算法具體計算流程詳見圖5.

超參數(shù)是在建立模型前設(shè)定的一組參數(shù)，是用于控制模型好壞的調(diào)節(jié)旋鈕，調(diào)節(jié)超參數(shù)的目的是使模型在數(shù)據(jù)處理過程中訓(xùn)練難度與模型效果達到平衡. RF預(yù)測模型建立的最關(guān)鍵步驟是設(shè)置超參數(shù)N estimators和Max depth，分別代表樹的數(shù)量和最大深度. 如果N estimators的值很大，計算模型的復(fù)雜性會增加，反之，訓(xùn)練可能會不充分. 若Max depth的值很大，模型容易發(fā)生過擬合;若其值很小，則模型的準(zhǔn)確性可能會降低.

在分類模型建立過程中必然存在相應(yīng)的決策邊界，當(dāng)N estimators或Max depth達到一定值后，模型準(zhǔn)確性往往不再上升或開始波動. 通常利用全局搜索先確定一個學(xué)習(xí)分?jǐn)?shù)較高的區(qū)間，然后根據(jù)這一范圍細化參數(shù)取值，進行局部搜索得到最優(yōu)超參數(shù)組合.

本文選定N estimators取值范圍為[10，200]之間的整數(shù)，Max depth取值范圍為[1，10]之間的整數(shù). 同樣在采用KNN算法時，其超參數(shù)K neighbors對模型影響最大，選定取值范圍為[1，20]. 然后，采用10折交叉驗證方法[34]優(yōu)化模型參數(shù)，即將樣本數(shù)據(jù)分為10個子集，9個子集用于訓(xùn)練模型，剩余子集用于測試，子集交替充當(dāng)獨立測試集，而其他子集充當(dāng)訓(xùn)練集[35]. 這個過程增加了訓(xùn)練子集多樣性，同時保證了均勻采樣.

基于上述方法，按照召回率和準(zhǔn)確率最高的原則，繪制超參數(shù)學(xué)習(xí)曲線，得到三分類及二分類情況下N estimators、Max depth及K neighbors最優(yōu)值，設(shè)定超參數(shù)，將訓(xùn)練集的變量作為輸入值來生成RF與KNN預(yù)測模型. 采用測試集對模型進行驗證，得到最終的準(zhǔn)確率和召回率，其中具體超參數(shù)優(yōu)化過程詳見圖6、圖7.

4 ? 結(jié)果分析

基于RF和KNN算法，兩種分類方式下訓(xùn)練集及測試集的預(yù)測結(jié)果如圖8、圖9所示. 在三分類情況下，對比兩種算法訓(xùn)練集結(jié)果，RF算法對不穩(wěn)定情況的召回率更高，KNN算法的準(zhǔn)確率更高. 對于測試集而言，兩種算法準(zhǔn)確率及對不穩(wěn)定情況的召回率相等. 當(dāng)把潛在不穩(wěn)定視為不穩(wěn)定情況，采用二分類方式時，兩種算法的預(yù)測結(jié)果都比較理想，訓(xùn)練集與測試集的準(zhǔn)確率及召回率均高于90%，與三分類方式相比，二分類方式下模型預(yù)測結(jié)果準(zhǔn)確率及召回率更高. 這也說明由于潛在不穩(wěn)定是一種過渡狀態(tài)，對其判斷的準(zhǔn)確性必定會影響整體的準(zhǔn)確性. 采用二分類方式，將采場觀測狀態(tài)進行簡單化，可以更大程度地提高預(yù)測準(zhǔn)確性，從而降低損失. 同時對比圖9（a）與（c）、圖9 （b）與（d）可以看出，KNN算法的訓(xùn)練集及測試集的預(yù)測結(jié)果均優(yōu)于RF算法.

與先前文獻對比，Goh等[14]提出的MARS_LR模型，在二分類方式下，其訓(xùn)練集和測試集的準(zhǔn)確性分別為0.91和0.88. 本文在二分類方式下，RF模型的訓(xùn)練集和測試集的準(zhǔn)確性分別為0.96和0.93，KNN模型的訓(xùn)練集和測試集的準(zhǔn)確性分別為0.98和0.94.

García-Gonzalo等[5]采用的SVM模型，三分類方式下對應(yīng)的總體平均準(zhǔn)確率為0.82，二分類方式下對應(yīng)的總體平均準(zhǔn)確率為0.98. 另外，基于ELM模型，三分類方式下對應(yīng)的總體平均準(zhǔn)確率為0.88. 本文中RF和KNN模型在三分類方式下對應(yīng)的總體平均準(zhǔn)確率分別為0.93、0.95，在二分類方式下對應(yīng)的總體平均準(zhǔn)確率分別為0.95、0.97.

相對而言，本文所采用的兩個模型比SVM及ELM等算法表現(xiàn)更為穩(wěn)定，可解釋性更強，在準(zhǔn)確性方面有所提高. 尤其采用二分類方法時，兩種算法對不穩(wěn)定情況的召回率有明顯提升，即降低了將不穩(wěn)定狀態(tài)判定為穩(wěn)定狀態(tài)的概率，極大地提高了預(yù)測方法的可靠性. 另外，在本文樣本不均衡且數(shù)據(jù)量較小的情況下，兩種模型也未出現(xiàn)過擬合現(xiàn)象，更具有實用性.

由于兩種算法在二分類方式下的預(yù)測結(jié)果更準(zhǔn)確，采用ROC曲線定量評估二分類方式下兩種算法的性能. 對比圖10（a）與（b）可看出，AUC值均高于0.9，但無論是訓(xùn)練集還是測試集，KNN算法的AUC值均高于RF算法的AUC值. 總體而言，KNN算法表現(xiàn)優(yōu)于RF算法，雖然其原理相對簡單，但模型表現(xiàn)更好，這也證明，KNN算法更適用于有明顯分類界限的數(shù)據(jù).

5 ? 結(jié) ? 論

結(jié)合加拿大的8個地下采場，399組歷史案例觀測數(shù)據(jù)，采用RF和KNN兩種機器學(xué)習(xí)方法對地下采場開挖穩(wěn)定性進行評估，得到如下結(jié)論：

1）將地下采場穩(wěn)定狀態(tài)劃分為兩種分類模式，

基于10折交叉驗證理論分別對RF和KNN模型進行超參數(shù)優(yōu)化，在三分類方式下，確定最優(yōu)超參數(shù)取值分別為N estimators=30、Max depth=7及K neighbors=2，二分類方式下，最優(yōu)超參數(shù)取值分別為N estimators=20、Max depth=7及K neighbors=11.

2）在兩種分類方式下，RF及KNN算法在訓(xùn)練

集及測試集上的平均準(zhǔn)確率均高于90%. 并且二分類預(yù)測結(jié)果表現(xiàn)更好. 對于不穩(wěn)定情況的召回率這一評價指標(biāo)，在三分類情況下，兩種模型在測試集上的值均為0.79. 在二分類情況下，兩種模型在測試集上的值分別為0.90、0.93. 因此將穩(wěn)定狀態(tài)進行二分類，可大幅提升對不穩(wěn)定情況的預(yù)測準(zhǔn)確率.

3）對于二分類情況，KNN算法表現(xiàn)優(yōu)于RF算

法，KNN算法在測試集和訓(xùn)練集上的準(zhǔn)確率、召回率以及ROC曲線下AUC值更高. 同時，與先前研究結(jié)果相比，兩種算法均有效提高了預(yù)測模型的準(zhǔn)確性和泛化能力，實用性更強.

考慮到模型可解釋性、數(shù)據(jù)驅(qū)動及自適應(yīng)性、構(gòu)建變量之間的相互作用的能力以及預(yù)測不穩(wěn)定情況的準(zhǔn)確性等方面，這兩種算法在評估地下采場穩(wěn)定性方面都是可取的. 應(yīng)該強調(diào)的是，數(shù)據(jù)庫和特征已決定了計算方法的準(zhǔn)確度上限，各種模型和算法只是以不同的方式來達到這個極限. 因此，高質(zhì)量的數(shù)據(jù)集及重要特征提取對于計算方法的成功應(yīng)用至關(guān)重要.

參考文獻

[1] ? ?MILNE D，HADJIGEORGIOU J，PAKALNIS R. Rock mass characterization for underground hard rock mines[J]. ?Tunnelling and Underground Space Technology，1998，13（4）：383—391.

[2] ? ?王樹仁，周洪彬，武崇福，等. 采用綜合評判方法確定工程巖體力學(xué)參數(shù)研究[J]. 巖土力學(xué)，2007，28（S1）：202—206.

WANG S R，ZHOU H B，WU C F，et al. Research on rock mechanics parameters by using comprehensive evaluation method of rock quality grade-oriented[J]. Rock and Soil Mechanics，2007，28（S1）：202—206.（In Chinese）

[3] ? ?申艷軍，徐光黎，楊更社，等. 基于巖體精細化描述的圍巖分類及力學(xué)參數(shù)概率分布特征分析[J]. ?巖土力學(xué)，2014，35（2）：565—572.

SHEN Y J，XU G L，YANG G S，et al. Probability distribution characteristics of rock mass classification and its mechanical parameters based on fine description[J]. ?Rock and Soil Mechanics，2014，35（2）：565—572. （In Chinese）

[4] ? ?張敏思. 基于經(jīng)驗方法和數(shù)值模擬的采場圍巖穩(wěn)定性研究[D]. ?沈陽：東北大學(xué)，2015：107—112.

ZHANG M S. Stability of rock mass surrounding stopes using empirical and numerical methods[D]. ?Shenyang：Northeastern University，2015：107—112. （In Chinese）

[5] ? ?GARC?A-GONZALO E，F(xiàn)ERN?NDEZ-MU?IZ Z，GARC?A NIETO P，et al. Hard-rock stability analysis for span design in entry-type excavations with learning classifiers[J]. ?Materials，2016，9（7）：531.

[6] ? ?TRUEMAN R，MIKULA P，MAWDESLEY C A，et al. Experience in Australia with the application of the Mathews method for open stope design[J]. ?CIM Bulletin，2000，93（1036）：162—167.

[7] ? ?MAWDESLEY C，TRUEMAN R，WHITEN W J. Extending the Mathews stability graph for open-stope design[J]. ?Mining Technology，2001，110（1）：27—39.

[8] ? ?LAI S Y，CHANG W J，LIN P S. Logistic regression model for evaluating soil liquefaction probability using CPT data[J]. ?Journal of Geotechnical and Geoenvironmental Engineering，2006，132（6）：694—704.

[9] ? ?MARJANOVI[C][′] M，KOVA[C][ˇ]EVI[C][′] M，BAJAT B，et al. Landslide susceptibility assessment using SVM machine learning algorithm[J]. ?Engineering Geology，2011，123（3）：225—234.

[10] ?CHOU J S，YANG K H，LIN J Y. Peak shear strength of discrete fiber-reinforced soils computed by machine learning and metaensemble methods[J]. ?Journal of Computing in Civil Engineering，2016，30（6）：04016036.

[11] ?陳順滿，吳愛祥，王貽明，等. 基于響應(yīng)面法的破碎圍巖條件下采場結(jié)構(gòu)參數(shù)優(yōu)化研究[J]. ?巖石力學(xué)與工程學(xué)報，2017，36（S1）：3499—3508.

CHEN S M，WU A X，WANG Y M，et al. Optimization research on stope structure parameters in broken rock conditions based on the response surface method[J]. ?Chinese Journal of Rock Mechanics and Engineering，2017，36（S1）：3499—3508. （In Chinese）

[12] ?WANG J，MILNE D，PAKALNIS R. Application of a neural network in the empirical design of underground excavation spans [J]. ?Mining Technology，2002，111（1）：73—81.

[13] ?LANG B D A. Span design for entry-type excavations[D]. ?Vancouver：University of British Columbia，1994：143—182.

[14] ?GOH A T C，ZHANG Y M，ZHANG R H，et al. Evaluating stability of underground entry-type excavations using multivariate adaptive regression splines and logistic regression[J]. Tunnelling and Underground Space Technology，2017，70：148—154.

[15] ?HOPFIELD J J. Neural networks and physical systems with emergent collective computational abilities[J]. Proceedings of the National Academy of Sciences of the United States of America，1982，79（8）：2554—2558.

[16] ?ZHANG W G，GOH A T C. Multivariate adaptive regression splines for analysis of geotechnical engineering systems[J]. ?Computers and Geotechnics，2013，48：82—95.

[17] ?仉文崗，洪利，黎泳欽. 基于多元自適應(yīng)回歸樣條的高維巖土工程問題分析[J]. ?河海大學(xué)學(xué)報（自然科學(xué)版），2019，47（4）：359—365.

ZHANG W G，HONG L，LI Y Q. Analysis of multi-dimensional geotechnical engineering problems based on multivariate adaptive regression splines[J]. ?Journal of Hohai University （Natural Sciences），2019，47（4）：359—365. （In Chinese）

[18] ?BIENIAWSKI Z T. Rock mass classification in rock engineering applications[C]//Proceedings of a Symposium on Exploration for Rock Engineering. 1976：97—106.

[19] ?KUMAR P. Development of empirical and numerical design techniques in burst prone ground at the Red Lake Mine[D]. ?Vancouver：University of British Columbia，2003：66—80.

[20] ?BREIMAN L. Random forests[J]. ?Machine Learning，2001，45（1）：5—32.

[21] ?HAN T，JIANG D X，ZHAO Q，et al. Comparison of random forest，artificial neural networks and support vector machine for intelligent diagnosis of rotating machinery[J]. ?Transactions of the Institute of Measurement and Control，2018，40（8）：2681—2693.

[22] ?RODRIGUEZ-GALIANO V F，GHIMIRE B，ROGAN J，et al. An assessment of the effectiveness of a random forest classifier for land-cover classification [J]. ?ISPRS Journal of Photogrammetry and Remote Sensing，2012，67：93—104.

[23] ?CHEN W，XIE X S，WANG J L，et al. A comparative study of logistic model tree，random forest，and classification and regression tree models for spatial prediction of landslide susceptibility[J]. CATENA，2017，151：147—160.

[24] ?ZHOU Y，LI S Q，ZHOU C，et al. Intelligent approach based on random forest for safety risk prediction of deep foundation pit in subway stations[J]. Journal of Computing in Civil Engineering，2019，33（1）：05018004.

[25] ?周志華. 機器學(xué)習(xí)[M]. 北京：清華大學(xué)出版社，2016：181—183.

ZHOU Z H. Machine Learning[M]. Beijing：Tsinghua University Press，2016：181—183. （In Chinese）

[26] ?YAKOWITZ S. Nearest-neighbour methods for time series analysis[J]. ?Journal of Time Series Analysis，1987，8（2）：235—247.

[27] ?蘭秋軍，李衛(wèi)康，劉文星. 不同情境下中文文本分類模型的表現(xiàn)及選擇[J]. ?湖南大學(xué)學(xué)報（自然科學(xué)版），2016，43（4）：141—146.

LAN Q J，LI W K，LIU W X. Performance and choice of Chinese text classification models in different situations[J]. ?Journal of Hunan University （Natural Sciences），2016，43（4）：141—146. （In Chinese）

[28] ?OLIVEIRA P J A，BOCCELLI D L.K-nearest neighbor for short term water demand forecasting[C]//World Environmental and Water Resources Congress 2017.May 21-25，2017，Sacramento，California.Reston，VA，USA：American Society of Civil Engineers，2017：501—510.

[29] ?HU J，LIU J，LIU Y，et al. EMD-KNN model for annual average rainfall forecasting[J]. Journal of Hydrologic Engineering，2013，18（11）：1450—1457.

[30] ?李航. 統(tǒng)計學(xué)習(xí)方法[M]. 北京：清華大學(xué)出版社，2012：38—39.

LI H. Statistical learning methods[M]. Beijing：Tsinghua University Press，2012：38—39. （In Chinese）

[31] ?FIELDING A H，BELL J F. A review of methods for the assessment of prediction errors in conservation presence/absence models[J]. ?Environmental Conservation，1997，24（1）：38—49.

[32] ?MARMION M，HJORT J，THUILLER W，et al. A comparison of predictive methods in modelling the distribution of periglacial landforms in Finnish Lapland[J]. ?Earth Surface Processes and Landforms，2008，33（14）：2241—2254.

[33] ?SWETS J. Measuring the accuracy of diagnostic systems[J]. ?Science，1988，240（4857）：1285—1293.

[34] ?董娜，常建芳，吳愛國. 基于貝葉斯模型組合的隨機森林預(yù)測方法[J]. ?湖南大學(xué)學(xué)報（自然科學(xué)版），2019，46（2）：123—130.

DONG N，CHANG J F，WU A G. Random forest prediction method based on Bayesian model combination[J]. ?Journal of Hunan University （Natural Sciences），2019，46（2）：123—130. （In Chinese）

[35] ?ARLOT S，CELISSE A. A survey of cross-validation procedures for model selection[J]. ?Statistics Surveys，2010，4：40—79.