新興技術(shù)識別中的不均衡分類研究
——基于代價敏感的隨機(jī)森林算法

盧小賓，張楊燚，楊冠燦，行佳鑫

（中國人民大學(xué)信息資源管理學(xué)院，北京 100872）

1 引言

隨著大數(shù)據(jù)的積累和全球化競爭的加劇，新興技術(shù)識別（emerging technologies identification）對于科技創(chuàng)新、競爭情報(bào)等相關(guān)領(lǐng)域的戰(zhàn)略意義日益凸顯。專利通常是一項(xiàng)技術(shù)誕生時尋求壟斷權(quán)利保護(hù)的有效和必要方式，大規(guī)模的專利數(shù)據(jù)包括了技術(shù)相關(guān)的各種關(guān)鍵信息，為新興技術(shù)的早期預(yù)測與識別積累了豐富而有價值的數(shù)據(jù)基礎(chǔ)。針對大規(guī)模的海量專利數(shù)據(jù)實(shí)現(xiàn)自動化的前瞻性預(yù)測逐漸成為新興技術(shù)識別的研究重點(diǎn)和發(fā)展趨勢，尤其是基于專利指標(biāo)體系的機(jī)器學(xué)習(xí)分類預(yù)測，目前已被廣泛地應(yīng)用于新興技術(shù)識別的各種場景。

然而，在新興技術(shù)識別這一復(fù)雜問題中，多數(shù)研究都關(guān)注如何根據(jù)特征工程構(gòu)建更完善的專利指標(biāo)以捕捉新興技術(shù)的特征信息，卻忽略了以專利為代表的海量技術(shù)發(fā)明涌現(xiàn)為新興技術(shù)這一事件往往具有小概率的特征，是一種典型的不均衡數(shù)據(jù)分類問題，其預(yù)測效果也會受數(shù)據(jù)集正負(fù)樣本分布不均衡因素等影響，出現(xiàn)分類結(jié)果偏向多數(shù)類的現(xiàn)象，無法實(shí)現(xiàn)成功預(yù)測少數(shù)新興技術(shù)涌現(xiàn)的理想效果。傳統(tǒng)研究中，為了規(guī)避數(shù)據(jù)不均衡對新興技術(shù)識別效果的制約，多在數(shù)據(jù)采集階段通過一系列人工的操作，獲取經(jīng)人工篩選后的均衡數(shù)據(jù)集，使機(jī)器學(xué)習(xí)的過程可以運(yùn)行。但隨著當(dāng)前自動化專利推薦、新興技術(shù)識別趨勢的興起，如何改進(jìn)與優(yōu)化分類策略以提升機(jī)器學(xué)習(xí)面臨新興技術(shù)識別中不均衡分類問題的表現(xiàn)，實(shí)現(xiàn)在大規(guī)模數(shù)據(jù)上對新興技術(shù)進(jìn)行自動化的識別，成為制約基于機(jī)器學(xué)習(xí)的新興技術(shù)識別效果的瓶頸。

本研究聚焦于機(jī)器學(xué)習(xí)方法在新興技術(shù)識別中面臨不均衡分類問題的應(yīng)用，以預(yù)測癌癥藥物領(lǐng)域?qū)＠欠裼谐蔀樾屡d技術(shù)潛質(zhì)的二分類場景為例，在數(shù)據(jù)層面比較漸進(jìn)式采樣思路對分類結(jié)果的影響，在評估層面引入代價敏感學(xué)習(xí)，探究在缺乏專家經(jīng)驗(yàn)時的代價矩陣驗(yàn)證方式，并將其應(yīng)用于算法層面和決策評估的改進(jìn)。最終在此不均衡分類優(yōu)化的研究框架下，通過對分類預(yù)測效果的有效評價，嘗試在數(shù)據(jù)、算法和評估三個層面綜合實(shí)現(xiàn)更好地處理不均衡問題的改進(jìn)分類策略，解決新興技術(shù)識別場景下不均衡分類的預(yù)測問題。

2 相關(guān)研究

2.1 新興技術(shù)識別研究進(jìn)展

新興技術(shù)（emerging technologies）的概念最早由沃頓商學(xué)院Geroge等學(xué)者于2000年出版的Wharton on Managing Emerging Technologies中提出，該書將其明確歸納為“在科學(xué)理論或?qū)嵺`基礎(chǔ)上，具有新興行業(yè)開辟或者現(xiàn)有行業(yè)顛覆意義的創(chuàng)新型技術(shù)”[1]。早期的新興技術(shù)研究多聚焦于文獻(xiàn)或?qū)＠麛?shù)據(jù)，但以往思路往往只能實(shí)現(xiàn)對已存新興技術(shù)的事后評價而非預(yù)測性識別[2]。以德爾菲法（Delphi method）為典型的傳統(tǒng)預(yù)測性研究也因?qū)︻I(lǐng)域經(jīng)驗(yàn)和精力的高要求以及缺乏直接數(shù)據(jù)支撐解釋而不適用于當(dāng)前大多數(shù)的預(yù)測情景[3]。當(dāng)前，新興技術(shù)識別的需求處于調(diào)整過程中，基于大規(guī)模數(shù)據(jù)的實(shí)時預(yù)測正在成為新興技術(shù)識別的重點(diǎn)及趨勢。目前，新興技術(shù)識別的定量研究主要方法如表1所示。

表1 新興技術(shù)識別的主要方法

2.2 機(jī)器學(xué)習(xí)中的不均衡分類問題

機(jī)器學(xué)習(xí)的分類方法能將新興技術(shù)識別問題轉(zhuǎn)化為分類預(yù)測問題，推動新興技術(shù)由傳統(tǒng)的回溯性分析轉(zhuǎn)變?yōu)榍跋虻念A(yù)測性分析，已被廣泛地應(yīng)用于新興技術(shù)識別的各種場景[9]。不均衡分類是數(shù)據(jù)分布復(fù)雜性導(dǎo)致的一種特殊分類場景[10]，在不均衡分類問題中，原始數(shù)據(jù)里不同類別的樣本比例差距很大，由于少數(shù)類通常反映出更受重視的信息，是研究的重點(diǎn)，因此，將少數(shù)類記作正類，多數(shù)類記作負(fù)類[11]。在機(jī)器學(xué)習(xí)模型的訓(xùn)練過程中，數(shù)據(jù)不均衡分類主要面臨幾個方面問題[12]：少數(shù)類樣本的稀缺性，包括少數(shù)樣本自身稀少的絕對稀缺和少數(shù)樣本自身不少但多數(shù)樣本過多的相對稀缺[13]；難以區(qū)分噪聲數(shù)據(jù)與少數(shù)類數(shù)據(jù)的特征及差異，去噪工作難度大[14]；以總體分類效果為學(xué)習(xí)目標(biāo)的分類器出現(xiàn)傾向于多數(shù)類的偏向性[15]；以整體指標(biāo)（accura‐cy）評估模型缺乏價值。

2.3 不均衡分類問題的優(yōu)化研究

針對不均衡分類現(xiàn)象，目前主要從數(shù)據(jù)層面、算法層面和評估層面改進(jìn)分類模型的少數(shù)類預(yù)測能力。

（1）數(shù)據(jù)層面。對于不均衡分類數(shù)據(jù)集，可在進(jìn)行模型訓(xùn)練之前，將重采樣方法用于數(shù)據(jù)預(yù)處理以更改數(shù)據(jù)分布比例，達(dá)到均衡數(shù)據(jù)集訓(xùn)練分類器的目標(biāo)。目前，重采樣方法主要有擴(kuò)充少數(shù)類數(shù)據(jù)的過采樣和減少多數(shù)類數(shù)據(jù)的欠采樣。常見的過采樣技術(shù)包括隨機(jī)過采樣方法（random oversampling）[16]、SMOTE（synthetic minority oversampling technique）算法[17]、邊界過采樣（borderline-SMOTE）[18]、自適應(yīng)合成采樣（adaptive synthetic sampling，ADASYN）[19]等。常見的欠采樣技術(shù)有隨機(jī)欠采樣（random un‐dersampling）[20]、cluster centroids欠 采 樣[21]、near miss欠采樣[22]、Tomek links[23]。近年來，針對圖像、視頻方面的數(shù)據(jù)不均衡問題，生成對抗網(wǎng)絡(luò)（gen‐erative adversarial network，GAN）可以被用于數(shù)據(jù)增強(qiáng)，如研究顯示經(jīng)過多重偽類生成對抗網(wǎng)絡(luò)（multiple fake classes GAN，MFC-GAN）[24]、條件生成對抗網(wǎng)絡(luò)（conditional GAN，cGAN）[25]數(shù)據(jù)增強(qiáng)后的分類效果都得到了顯著提升。

（2）算法優(yōu)化。常用的分類算法在不均衡分類中，往往由于不均衡分類的特征表現(xiàn)出對少數(shù)類較弱的預(yù)測能力。集成學(xué)習(xí)的思想是通過不同的選舉方法，將多個弱分類器組合成一個最終學(xué)習(xí)效果顯著提升的強(qiáng)分類器[26]。目前，提升（boosting）和裝袋（bagging）是較為經(jīng)典的兩種技術(shù)手段[27]，構(gòu)建元模型來融合多個學(xué)習(xí)器的堆疊（stacking）思想也得到了部分應(yīng)用。但集成學(xué)習(xí)的目標(biāo)仍然是提升總體學(xué)習(xí)準(zhǔn)確率，在極度不均衡分類中不能解決根本性問題[28]。深度強(qiáng)化學(xué)習(xí)模型（deep reinforcement learning，DRL）[29]通過設(shè)計(jì)給予少數(shù)類樣本較大激勵函數(shù)的方法是有益的嘗試；圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional network，GCN）對于圖數(shù)據(jù)、流數(shù)據(jù)等體現(xiàn)出拓?fù)洳痪馓卣鞯臄?shù)據(jù)而言也具有顯著優(yōu)勢，如雙正則化GCN（dual-regularized GCN，DRGCN）[30]、重新加權(quán)GCN（re-weighted adversarial GCN，RA-GCN）[31]均能有效地防止基于圖的分類器偏向任何特定類。最后，結(jié)合了主動學(xué)習(xí)方法的均衡分類算法，能通過結(jié)合少量專家智慧極大提升模型分類的效率[32-33]。然而，上述研究進(jìn)展主要聚焦于具有特定數(shù)據(jù)結(jié)構(gòu)的研究領(lǐng)域，在適用范圍方面存在一定的局限性。因此，在解決不均衡分類場景時，還需要結(jié)合多層次多角度的嘗試進(jìn)行綜合優(yōu)化。例如，結(jié)合數(shù)據(jù)重采樣，Wu等[34]基于改進(jìn)的SMOTE和Ada‐Boost算法提出了客戶留存及流失預(yù)測分類器；引入代價敏感[35]，在AdaBoost樣例權(quán)值更新中引入代價因子，構(gòu)建基于代價敏感的AdaBoost算法[36-38]。

（3）評估層面。代價敏感學(xué)習(xí)[39]用于誤分類代價不同的情況。其核心思想是利用代價矩陣（cost matrix）使不同誤分類產(chǎn)生有差異的懲罰，即非均等代價（unequal cost），使分類器更關(guān)注誤分類代價高的類別。目前，代價敏感信息的引入主要有以下類型[15]：①將代價敏感因子以權(quán)重的方式引入分類模型[40]，如最經(jīng)典的AdaBoost迭代改進(jìn)就是Fan等[41]的基于代價權(quán)重的AdaCost；②將代價敏感作為結(jié)果處理階段的元模型，以stacking集成學(xué)習(xí)方式結(jié)合入傳統(tǒng)分類模型的輸出結(jié)果，例如，Domin‐gos[42]提出的MetaCost基于stacking“元學(xué)習(xí)”通過最小期望代價作用于類別修正標(biāo)簽；③重新構(gòu)建基于代價敏感特征的分類器，將代價敏感的特征直接擬合于分類器的基本邏輯，對其整體的損失函數(shù)、訓(xùn)練特征或內(nèi)部機(jī)制進(jìn)行優(yōu)化，例如，在決策樹的歸納過程中通過代價函數(shù)控制其剪枝規(guī)則[43]。

3 研究設(shè)計(jì)

本研究從數(shù)據(jù)、算法和評估三個方面綜合考慮如何解決新興技術(shù)識別中的數(shù)據(jù)不均衡問題，以期望獲得更優(yōu)的新興技術(shù)識別的預(yù)測結(jié)果，為后續(xù)類似不均衡數(shù)據(jù)問題的解決提供參考。技術(shù)路線如圖1所示。

圖1 技術(shù)路線

3.1 數(shù)據(jù)來源

在各高新技術(shù)行業(yè)中，制藥領(lǐng)域的癌癥藥物研發(fā)專利一直受到廣泛關(guān)注，選擇該領(lǐng)域進(jìn)行實(shí)證研究主要具有以下必要性和優(yōu)勢：藥物專利數(shù)據(jù)集通常在全球范圍內(nèi)都有較好的開放共享性；涉及大規(guī)模投資和研發(fā)高風(fēng)險(xiǎn)，且技術(shù)價值與其商業(yè)價值直接相關(guān)，能較好地體現(xiàn)與之相關(guān)的新興技術(shù)規(guī)劃與布局等戰(zhàn)略；藥物研發(fā)的創(chuàng)新性即是否能夠涌現(xiàn)為新興技術(shù)，相比于其他領(lǐng)域容易評價，例如，在美國，獲得專利頒發(fā)機(jī)構(gòu)許可的癌癥藥物僅僅是獲得技術(shù)的認(rèn)證，只有當(dāng)其同時獲得了FDA（Food and Drug Administration，美國食品和藥物管理局）授權(quán)許可，才意味著其成為滿足上市要求的新藥。因此，癌癥藥物專利集作為該領(lǐng)域技術(shù)的集合，預(yù)測此類專利是否有可能獲得FDA授權(quán)可充分地作為新興技術(shù)識別的目標(biāo)。

數(shù) 據(jù) 集 采 用2016年USPTO（United States Pat‐ent and Trademark Office）癌癥登月計(jì)劃開放的癌癥藥物專利數(shù)據(jù)集（Moonshot Cancer Drug Patents）。該癌癥藥物專利數(shù)據(jù)集包含了已發(fā)表和已授權(quán)的癌癥藥物相關(guān)的專利記錄及詳細(xì)信息。同時，為了補(bǔ)充本研究目標(biāo)所需要而該數(shù)據(jù)集尚不完整的信息，基于專利號碼，進(jìn)一步根據(jù)PatentsView API和EPO OPS API對需要的著錄數(shù)據(jù)和家族數(shù)據(jù)進(jìn)行補(bǔ)充。此外，該專利數(shù)據(jù)集中的FDA授權(quán)許可信息僅截止到發(fā)布日期，通過FDA發(fā)布的授權(quán)藥品數(shù)據(jù)說明（即俗稱的“橘皮書”）補(bǔ)充了部分遺漏的藥物專利是否得到FDA授權(quán)的信息。

最終，經(jīng)過數(shù)據(jù)預(yù)處理和篩選，得到2005年1月1日至2015年12月31日的癌癥藥物專利數(shù)據(jù)共61988條。其中，F(xiàn)DA授權(quán)的標(biāo)簽數(shù)據(jù)僅有793條，非授權(quán)的標(biāo)簽數(shù)據(jù)達(dá)到61195條，數(shù)據(jù)極不均衡，只有約1.28%的專利同時能得到FDA的授權(quán)，獲得批準(zhǔn)上市，正負(fù)類樣本比例（imbalanced ratio，IR）約為1∶77.17，是典型的新興技術(shù)識別中的不均衡分類數(shù)據(jù)集。表2展示了該數(shù)據(jù)集的統(tǒng)計(jì)信息。

表2 數(shù)據(jù)集統(tǒng)計(jì)

3.2 專利特征指標(biāo)

由于本研究的關(guān)注重點(diǎn)在于新興技術(shù)識別過程中不均衡分類問題的解決，因此，在選取專利特征指標(biāo)時，遵循簡潔性、代表性和權(quán)威性的指導(dǎo)原則，采用經(jīng)典研究中被廣泛采用的專利指標(biāo)作為專利特征的評價，重點(diǎn)在于體現(xiàn)出新興技術(shù)的關(guān)鍵特征：創(chuàng)新性、相對增長性、連續(xù)性、社會經(jīng)濟(jì)影響力[44-47]。具體的專利特征變量及說明如表3所示。抽取并計(jì)算特征變量，表4匯總了本研究中所有專利特征指標(biāo)的描述性統(tǒng)計(jì)量。

表3 專利特征指標(biāo)及說明

表4 專利特征指標(biāo)的描述性統(tǒng)計(jì)

3.3 數(shù)據(jù)集劃分

采用時間抽樣（out-of-time sampling）和分層抽樣（stratified sampling）結(jié)合的方法將原始數(shù)據(jù)集抽分為三個互斥的樣本集，分別用于訓(xùn)練、驗(yàn)證及測試。首先，利用時間抽樣法將樣本分割為訓(xùn)練集和測試集。時間抽樣法是一種非隨機(jī)的留出法（holdout sampling），其以時間為依據(jù)進(jìn)行定向抽樣，在模型的評估中會更關(guān)注模型對于現(xiàn)在乃至未來成功預(yù)測出FDA授權(quán)的目標(biāo)表現(xiàn)，符合面向未來的預(yù)測識別需求；其次，采用分層抽樣的方式進(jìn)一步劃分訓(xùn)練集和驗(yàn)證集。分層抽樣能夠在數(shù)據(jù)集分割的同時，保持其中正負(fù)類樣本的比例不變，相當(dāng)于分別對正負(fù)類樣本進(jìn)行等比例抽樣，選取訓(xùn)練集和驗(yàn)證集的比例分別為80%和20%。最終，根據(jù)新興技術(shù)識別的具體應(yīng)用場景劃分?jǐn)?shù)據(jù)集，如表5所示，進(jìn)一步印證了基于癌癥藥物領(lǐng)域?qū)＠男屡d技術(shù)識別是不均衡分類的典型問題。

表5 數(shù)據(jù)集劃分統(tǒng)計(jì)

3.4 基于代價敏感學(xué)習(xí)的隨機(jī)森林構(gòu)建

3.4.1 模型選擇

隨機(jī)森林（random forest，RF）是不剪枝的樹集成分類器[55]，將多個互相獨(dú)立的決策樹通過裝袋（bootstrap aggregating，bagging）的形式構(gòu)建出大規(guī)模的集成模型。因此，當(dāng)決策樹的總量足夠大以及滿足抽樣隨機(jī)性時，隨機(jī)森林的多樣性和泛化能力會增強(qiáng)。在具體的實(shí)驗(yàn)過程中，通過比較模擬確定以下綜合較優(yōu)的關(guān)鍵超參數(shù)：n_estimators設(shè)置為400，即采用400棵子樹作為基分類器，此時模型的泛化能力飽和；max_features采用所有專利特征屬性，本研究的特征屬性僅11個，構(gòu)建分類器時考慮所有特征的模型性能更優(yōu)。在此基礎(chǔ)上，袋外評估和隨機(jī)性確保了隨機(jī)森林模型的泛化能力，且由于訓(xùn)練集、驗(yàn)證集和測試集中正負(fù)樣本的比例和完整數(shù)據(jù)集的比例較為一致，在模型結(jié)果評估時均采用測試集，不必再進(jìn)行分層交叉驗(yàn)證。

3.4.2 改進(jìn)思想

遵循代價敏感學(xué)習(xí)的理念，將代價矩陣引入隨機(jī)森林的做法主要有三種：其一，以代價矩陣為基礎(chǔ)對隨機(jī)森林自主法采樣進(jìn)行改進(jìn)[40]；其二，構(gòu)建基于代價矩陣的代價敏感基分類器[56]；其三，在決策階段針對決策樹的葉結(jié)點(diǎn)和集成決策環(huán)節(jié)采用加權(quán)的多數(shù)投票。如圖2所示。假定類別之間以代價矩陣的形式定義了不對稱的錯分成本，從而實(shí)現(xiàn)不同的錯誤分類懲罰項(xiàng)的方法被稱為加權(quán)隨機(jī)森林（weighted random forest）[57]。

圖2 代價敏感隨機(jī)森林改進(jìn)

3.4.3 分類訓(xùn)練：代價敏感的基分類器

傳統(tǒng)隨機(jī)森林算法使用的基分類器是決策樹，隨機(jī)選取屬性進(jìn)行分裂，而選擇最佳分割的方式通常是計(jì)算劃分后子結(jié)點(diǎn)的最低不純度，因?yàn)椴患兌仍降?，代表在此結(jié)點(diǎn)中的類分布就越有偏向性，越集中為某一類。不純度的估計(jì)一般以最小基尼系數(shù)法作為切分節(jié)點(diǎn)的分割標(biāo)準(zhǔn)。

在代價敏感的隨機(jī)森林中，針對單個基分類器的歸納過程，采用類權(quán)值計(jì)算用于選擇分裂切分點(diǎn)的Gini(t)的加權(quán)最小Gini(t)，尋找對應(yīng)的代價不純度最低的最佳分割標(biāo)準(zhǔn)。因此，Gini(t)的表達(dá)式轉(zhuǎn)變?yōu)?/p>

其中，i表示類別；C表示類別的個數(shù)。

3.4.4 決策規(guī)則：代價敏感的多數(shù)投票

除了修改作為基分類器的單個決策樹的分裂標(biāo)準(zhǔn)，代價敏感信息也會被加入樹的葉結(jié)點(diǎn)即終端決策規(guī)則中去。引入代價敏感思想后，每棵決策樹終端葉結(jié)點(diǎn)的類別判定不再取決于該結(jié)點(diǎn)樣本中數(shù)量居多的類別，而會納入以權(quán)重表示的代價。對于單棵決策樹來講，在最后的分類決策中，葉結(jié)點(diǎn)t指派為正類的概率轉(zhuǎn)變?yōu)?/p>

最后，每棵樹終端葉結(jié)點(diǎn)的類預(yù)測均轉(zhuǎn)為加權(quán)多數(shù)投票，隨機(jī)森林最終預(yù)測類別就是所有樹平均加權(quán)投票值高的類[57]，提升了隨機(jī)森林中對不均衡分類更為敏感的樹在多數(shù)投票決策階段的話語權(quán)。

3.5 模型評估及目標(biāo)

在不均衡分類問題中，由于少數(shù)類通常反映更受重視的預(yù)測結(jié)果，是重點(diǎn)的研究對象，一般都將少數(shù)類作為正類（positive，P），多數(shù)類記作負(fù)類（negative，N）[11]。根據(jù)測試樣本的實(shí)際歸屬類別與模型的預(yù)測結(jié)果輸出，混淆矩陣能組合出如表6所示的真正例、假正例、真負(fù)例和假負(fù)例四類分類評價?；诙诸惢煜仃?，本研究所采用的評估指標(biāo)計(jì)算方式和說明如表6所示。

表6 二分類混淆矩陣

（1）整體準(zhǔn)確率（accuracy）：表示模型預(yù)測正確的樣本總和與所有樣本總和之比，

accuracy=(TP+TN)/(TP+TN+FP+FN)

（2）靈敏度（sensitivity）和特異度（specificity）：靈敏度表示模型的真正率（true positive rate，TPR），即被正確預(yù)測為正類的樣本數(shù)量與實(shí)際所有正類樣本的比例，體現(xiàn)出少數(shù)類被正確預(yù)測出的分類水平；特異度表示模型的真負(fù)率（true negative rate，TNR），即被正確預(yù)測為負(fù)類的樣本數(shù)量與實(shí)際所有負(fù)類樣本的比例，體現(xiàn)出多數(shù)類的正確分類水平。計(jì)算公式分別為

（3）ROC曲線與AUC值：ROC（receiver operat‐ing characteristic）曲線[58]根據(jù)混淆矩陣對所有可能的分類閾值效果進(jìn)行綜合衡量，本質(zhì)上是不同分類閾值下分類結(jié)果（TPR、FPR）表現(xiàn)的集合，是兼顧正負(fù)分類效果的評估方式，其中縱坐標(biāo)TPR與橫坐標(biāo)FPR（false positive rate）的計(jì)算方式分別為

AUC值（area under curve）表示ROC曲線中TPR和FPR對應(yīng)點(diǎn)的連線與坐標(biāo)軸包圍區(qū)域的面積，常被作為評價模型整體性能的測度指標(biāo)。AUC數(shù)值越大，模型的整體預(yù)測能力就越理想。

（4）G-mean[59-61]：在不均衡問題中，同時優(yōu)化多個指標(biāo)是困難的，通常需要進(jìn)行權(quán)衡。相較于傳統(tǒng)的F1值可能會受到不均衡環(huán)境下高FP值的欺騙，產(chǎn)生誤導(dǎo)[62]，G-mean表示模型靈敏度（sensitivity）和特異度（specificity）的幾何平均，能夠綜合體現(xiàn)有效識別的總體水平，

4 實(shí)證分析

4.1 漸進(jìn)式采樣方法

以訓(xùn)練集的完整數(shù)據(jù)為基礎(chǔ)，重構(gòu)多種重采樣數(shù)據(jù)集，將其與完整的采樣數(shù)據(jù)進(jìn)行比較。其中包括四種常見過采樣數(shù)據(jù)集：隨機(jī)過采樣數(shù)據(jù)、SMOTE過采樣數(shù)據(jù)、borderline-SMOTE數(shù)據(jù)和ADASYN數(shù)據(jù)，以及四種常見欠采樣數(shù)據(jù)集：隨機(jī)欠采樣數(shù)據(jù)、cluster centroids數(shù)據(jù)、near miss數(shù)據(jù)和Tomek links數(shù)據(jù)。圖3展示了不同模型下各采樣方式ROC曲線的比較。

圖3 各采樣方式ROC曲線的比較

該實(shí)驗(yàn)結(jié)果表明，盡管部分欠采樣和過采樣方法都可以有效地解決不均衡數(shù)據(jù)分類預(yù)測結(jié)果偏向多數(shù)類的問題，但其總體的性能表現(xiàn)卻具有較大差異。隨機(jī)欠采樣表現(xiàn)出了整體更優(yōu)的ROC曲線分布和AUC值，同時，不僅在預(yù)測建模上能夠顯著優(yōu)化分類器的分類性能和少數(shù)類識別能力，更能大幅提升模型的計(jì)算效率，是本數(shù)據(jù)集最適宜的采樣方式。

此外，將不均衡數(shù)據(jù)集均衡到什么程度能得到最佳的分類表現(xiàn)也是不均衡分類問題中值得探索的領(lǐng)域。例如，Kim等[63]通過邏輯回歸、樸素貝葉斯、隨機(jī)森林測試了負(fù)訓(xùn)練數(shù)據(jù)與正訓(xùn)練數(shù)據(jù)的比率如何影響機(jī)器學(xué)習(xí)算法在消除作者姓名歧義方面的性能；Peng等[64]在預(yù)測實(shí)時交通事故風(fēng)險(xiǎn)的研究中探索了不同比例過采樣對實(shí)驗(yàn)結(jié)果的影響。在保證正負(fù)樣本區(qū)分能力足夠的基礎(chǔ)上，不能簡單將正負(fù)類別的均衡比例設(shè)置為1∶1，而應(yīng)當(dāng)通過進(jìn)一步的實(shí)驗(yàn)結(jié)果，結(jié)合分類目標(biāo)確定具體的均衡比例，注重?cái)?shù)據(jù)均衡比例和原始樣本空間改變的平衡。因此，繼續(xù)采用隨機(jī)欠采樣，所有FDA授權(quán)的正類樣本仍然保留在數(shù)據(jù)集中，按照一定的比例隨機(jī)剔除整個樣本中的非FDA授權(quán)的負(fù)類數(shù)據(jù)，使數(shù)據(jù)分布更加均衡。正負(fù)類樣本比例分別從1∶1到1∶20用于形成重采樣后的建模數(shù)據(jù)集。表7展示了不同隨機(jī)欠采樣比例下的訓(xùn)練集樣本描述，不同正負(fù)類均衡比例的組合在測試集的預(yù)測結(jié)果如圖4所示。

表7 漸進(jìn)式隨機(jī)欠采樣的訓(xùn)練集分布描述

從圖4可以發(fā)現(xiàn)，總體上看，1∶2時，隨機(jī)森林的AUC值為各比例下的最高值（0.881），且在Gmean相比于1∶1損失僅約為0.015的條件下，保持了較高的整體準(zhǔn)確率。因此，使用隨機(jī)欠采樣并以正負(fù)均衡比例1∶2構(gòu)建的隨機(jī)森林模型在大大減少了分析的數(shù)據(jù)量且保留相對更多原始多數(shù)類樣本信息的基礎(chǔ)上，取得了綜合預(yù)測能力提升趨勢較為飽和的不錯的預(yù)測結(jié)果，更適合作為本研究后續(xù)代價敏感學(xué)習(xí)的基礎(chǔ)。

圖4 漸進(jìn)式隨機(jī)欠采樣的隨機(jī)森林比較

4.2 代價矩陣的設(shè)定

代價敏感學(xué)習(xí)的有效性在很大程度上取決于代價矩陣的確定，錯誤的初始化成本會損害模型的學(xué)習(xí)過程。因此，代價矩陣提供的參數(shù)對于代價敏感學(xué)習(xí)至關(guān)重要。目前主要通過兩種方式獲得成本矩陣：領(lǐng)域?qū)＜姨峁┙?jīng)驗(yàn)和目標(biāo)，或者采取不同的代價矩陣驗(yàn)證方法在分類器訓(xùn)練階段學(xué)習(xí)獲得。然而在實(shí)際的不均衡分類問題中，諸多情景并不能直觀地依靠金錢損失、時間成本和發(fā)病率等就能得到較為可靠的代價矩陣。因此，更多地還是依靠后者來獲取具體問題的最優(yōu)代價矩陣。

4.2.1 不均衡比例法

目前，針對專家經(jīng)驗(yàn)的較難獲取性，許多研究都將其簡化為利用不均衡比例（IR）作為估算成本的直接方法。IR方法直接根據(jù)不同類別的樣本比例來設(shè)置少數(shù)類的權(quán)重。以二分類問題為例，假設(shè)完整的樣本集為S，SP為少數(shù)類即正類數(shù)據(jù)的數(shù)量，SN為多數(shù)類即負(fù)類數(shù)據(jù)的數(shù)量，則數(shù)據(jù)集不均衡度IR的計(jì)算方式為

4.2.2 ROC-Youden指數(shù)閾值法

以ROC曲線的Youden指數(shù)作為選擇閾值的標(biāo)準(zhǔn)，稱為Youden指數(shù)閾值法[65]。Youden指數(shù)在ROC曲線上反映為點(diǎn)與對角交叉線(0,0)和(1,1)之間的縱向距離，Youden指數(shù)的計(jì)算公式為

其中，n表示ROC曲線中點(diǎn)的集合；sensitivity(n)和specificity(n)分別為該點(diǎn)對應(yīng)的分類閾值下模型的靈敏度和特異度。

4.2.3 靈敏度/特異度曲線交叉點(diǎn)法

由于靈敏度和特異度曲線交叉處代表同時較高的靈敏度和特異度，很多研究都通過選擇靈敏度和特異度曲線交叉點(diǎn)的方法來確定分類閾值[66-67]。利用ROC曲線計(jì)算Youden指數(shù)閾值的方法，通過驗(yàn)證集采用靈敏度和特異度曲線交叉點(diǎn)法獲取對應(yīng)閾值就能推導(dǎo)出代價矩陣：

4.3 實(shí)驗(yàn)效果分析

最終，通過不均衡比例法，以及驗(yàn)證集基于ROC-Youden指數(shù)閾值法和靈敏度/特異度曲線交叉點(diǎn)法確定的代價矩陣，1∶2隨機(jī)欠采樣的代價敏感隨機(jī)森林和兩個對照實(shí)驗(yàn)組的預(yù)測結(jié)果如圖5和表8所示。

圖5 不同策略組合的分類器比較

從圖5和表8可發(fā)現(xiàn)，總體來看，采用三種方法確定代價矩陣的代價敏感隨機(jī)森林對于新興技術(shù)識別分類預(yù)測能力均有顯著提升，表明代價敏感學(xué)習(xí)對于是否進(jìn)行數(shù)據(jù)采樣處理的分類算法均有提升少數(shù)類分類預(yù)測能力的作用。在未經(jīng)任何數(shù)據(jù)重采樣預(yù)處理的原始樣本對照組中，代價敏感隨機(jī)森林相對原始模型的提升效果極為顯著，可以有效緩解模型無法預(yù)測出任何少數(shù)類的嚴(yán)重偏向性。而1∶1隨機(jī)欠采樣處理的對照組，則進(jìn)一步驗(yàn)證了漸進(jìn)式采樣的必要性，因?yàn)榇鷥r敏感學(xué)習(xí)在此時僅能再有限地提升模型預(yù)測能力，過度的采樣已經(jīng)損失了較多的原始數(shù)據(jù)集分布信息，對于多數(shù)類預(yù)測能力和整體性能的降低已經(jīng)無法通過代價敏感學(xué)習(xí)彌補(bǔ)提升。

表8 不同策略組合的分類器預(yù)測結(jié)果統(tǒng)計(jì)

此外，通過計(jì)算分類結(jié)果的各項(xiàng)評估指標(biāo)，發(fā)現(xiàn)其中最優(yōu)的代價矩陣設(shè)定方式為ROC-Youden指數(shù)閾值代價矩陣，其各項(xiàng)性能表現(xiàn)均總體優(yōu)于其他代價矩陣的改進(jìn)。目前，最為常用的不均衡比例代價矩陣盡管很容易實(shí)現(xiàn)，不需要額外的模型計(jì)算成本，但具有結(jié)果不符合預(yù)期的重大局限性，因?yàn)閿?shù)據(jù)集分布和實(shí)際錯分代價并不是簡單的直接關(guān)聯(lián)，不均衡比例并非不均衡分類中的唯一困難，正負(fù)樣本噪聲問題、樣本重疊等也會影響到其最優(yōu)代價的變化，采用不均衡比例代價矩陣會對代價敏感問題過度簡化。值得注意的是，由于在第一階段代價未知時，訓(xùn)練的分類器是原始的損失函數(shù)驅(qū)動而沒有引入代價敏感，因此，使用ROC-Youden指數(shù)閾值代價矩陣方法針對代價不敏感的算法來初始化代價矩陣參數(shù)的估計(jì)，然后通過估計(jì)的代價矩陣構(gòu)建代價敏感學(xué)習(xí)算法，結(jié)果可能會存在一定偏差。盡管如此，該類方法實(shí)際上也包含了不均衡比例代價矩陣無法測度的正負(fù)樣本重疊、類內(nèi)不均衡等各類因素對最優(yōu)代價變化的影響。因此，在缺乏特定先驗(yàn)矩陣的情況下，對比常用的不均衡比例代價矩陣，ROC-Youden指數(shù)閾值矩陣更能獲取符合預(yù)測目標(biāo)模型的更優(yōu)錯分代價，仍然為比較好的代價矩陣替代方案。

最后，基于1∶2均衡比例隨機(jī)欠采樣、以ROC-Youden指數(shù)閾值代價矩陣構(gòu)建的代價敏感隨機(jī)森林模型取得了最好的分類表現(xiàn)，其AUC、ac‐curacy、sensitivity、specificity和G-mean分 別 達(dá) 到0.880、0.816、0.828、0.816和0.822，意味著在對應(yīng)的新興技術(shù)識別目標(biāo)中，采納該模型能預(yù)測出82.8%的新興技術(shù)，同時能正確識別81.6%的普通技術(shù)，實(shí)現(xiàn)僅17.2%的漏報(bào)率和18.4%的誤報(bào)率，進(jìn)一步驗(yàn)證了綜合漸進(jìn)式采樣、算法優(yōu)化和評估優(yōu)化的分類改進(jìn)策略為整體預(yù)測能力最好的策略組合。與其他對照組相比，其模型對于重點(diǎn)關(guān)注少數(shù)類預(yù)測能力的識別效果和平衡效果均較為良好，在此基礎(chǔ)上構(gòu)建的基于專利指標(biāo)的機(jī)器學(xué)習(xí)新興技術(shù)識別框架具有較強(qiáng)的前瞻性預(yù)測價值。

4.4 不均衡研究相關(guān)方法比較

為證明基于1∶2均衡比例隨機(jī)欠采樣、以ROC-Youden指數(shù)閾值代價矩陣構(gòu)建的代價敏感隨機(jī)森林模型具備優(yōu)勢，本研究選取不均衡分類研究中最近提出的相關(guān)方法——deep reinforcement learn‐ing（DRL）進(jìn)行比較分析。以原始訓(xùn)練集為基礎(chǔ)，通過隨機(jī)欠采樣構(gòu)建出1∶1及1∶2重采樣數(shù)據(jù)集，在該環(huán)境下驗(yàn)證DRL的性能指標(biāo)，并選取最優(yōu)的模型結(jié)果與本研究提出的基于代價敏感的隨機(jī)森林模型進(jìn)行比較，結(jié)果如表9所示。

表9 deep reinforcement learning（DRL）與優(yōu)化隨機(jī)森林的對比

從表9可以看出，本研究提出的基于代價敏感的隨機(jī)森林模型在各項(xiàng)指標(biāo)上均顯著優(yōu)于DRL，其中代表FDA授權(quán)樣本預(yù)測能力的sensitivity指標(biāo)，較DRL模型高出13.8%，這一現(xiàn)象表明本研究提出的優(yōu)化模型與現(xiàn)有的相關(guān)成果相比具備一定的優(yōu)勢。

5 總結(jié)與展望

本研究通過數(shù)據(jù)維度、算法維度和評估維度三個層次的綜合優(yōu)化策略組合，通過癌癥藥物領(lǐng)域?qū)＠膶?shí)證結(jié)果，驗(yàn)證了所提出的基于機(jī)器學(xué)習(xí)的新興技術(shù)識別不均衡分類優(yōu)化框架的可行性、有效性和價值意義。然而，本研究在研究思路、研究內(nèi)容以及研究方法上存在一定的局限性與不足，在未來的深入研究中有優(yōu)化和豐富的空間。

（1）本研究的核心為數(shù)據(jù)維度、算法維度和評估維度三個層次的綜合優(yōu)化框架，盡管其中通過各項(xiàng)實(shí)驗(yàn)組和對照組保證了最終模型組合策略的相對更優(yōu)，驗(yàn)證了本文所提出框架的有效性，但最后基于1∶2均衡比例隨機(jī)欠采樣、以ROC-Youden指數(shù)閾值代價矩陣構(gòu)建的代價敏感隨機(jī)森林模型仍然為局部最優(yōu)的方案，未來研究中可繼續(xù)探索采樣、算法及代價敏感學(xué)習(xí)的應(yīng)用及組合。

（2）本研究尚未對不均衡數(shù)據(jù)集特征及不均衡分類面臨的本質(zhì)問題開展更為深入的研究。未來不均衡分類問題的研究中，除了關(guān)注正負(fù)樣本類間不均衡比例造成的不均衡分類，還需要結(jié)合新興技術(shù)識別問題中的實(shí)際數(shù)據(jù)集納入更為細(xì)粒度的因素研究，如少數(shù)類噪聲、多數(shù)類和少數(shù)類的類間樣本重疊、類內(nèi)不均衡以及概念漂移等問題，深入挖掘不均衡分類問題的本質(zhì)。