大型電商平臺(tái)消費(fèi)貸產(chǎn)品風(fēng)控模型的構(gòu)建*

汪曉曦， 馬 穎

(1.無錫職業(yè)技術(shù)學(xué)院 管理學(xué)院，江蘇 無錫 214121;2.武漢理工大學(xué) 管理學(xué)院，武漢 430070)

近6年來，隨著電商平臺(tái)的迅猛發(fā)展，消費(fèi)金融產(chǎn)品層出不窮。這些產(chǎn)品依托電商平臺(tái)的天然流量?jī)?yōu)勢(shì)迅猛發(fā)展，從商城內(nèi)擴(kuò)展到商城外，不斷拓展使用場(chǎng)景搶占市場(chǎng)。在版圖的不斷擴(kuò)張中，信貸審批模型、模型在具體商業(yè)模式中的應(yīng)用也隨著用戶流量的擴(kuò)張、業(yè)務(wù)場(chǎng)景的拓展不斷更新迭代[1]。目前，在信貸審批模型中，算法Logistic Regression(簡(jiǎn)稱LR)依然是最為普及的，在一些特定的用戶群體和場(chǎng)景下依然有難以替代的地位，依據(jù)該算法建立的評(píng)分模型規(guī)則簡(jiǎn)單、邏輯清晰、解釋性強(qiáng)，便于用戶理解。然而，LR模型并不能保證在各種場(chǎng)景、用戶群體中都有良好表現(xiàn)。比如從模型穩(wěn)定性考慮，LR模型用到的變量維度一般不超過15個(gè)，在整體自變量與因變量相關(guān)性都不高的情況下，有限的變量數(shù)量難以達(dá)到較好的模型表現(xiàn)。模型表現(xiàn)不夠理想直接影響到通過率及日后壞賬風(fēng)險(xiǎn)，會(huì)對(duì)商城信貸收益產(chǎn)生直接影響。在本研究項(xiàng)目中，商城平臺(tái)主要信貸模型算法采用的就是LR模型，當(dāng)前LR模型的應(yīng)用在風(fēng)控能力及通過率表現(xiàn)方面能基本達(dá)成一個(gè)平衡，但客戶仍然希望嘗試新的模型算法，通過提升模型效果達(dá)到保證壞賬率不增長(zhǎng)的前提下提高模型通過率的目的；此外，客戶尤其強(qiáng)調(diào)好的模型需要應(yīng)用于生產(chǎn)線產(chǎn)生實(shí)際效益，若一個(gè)模型太過復(fù)雜導(dǎo)致部署周期長(zhǎng)、出錯(cuò)率高而難以實(shí)施也是沒有意義的。根據(jù)用戶的上述2個(gè)要求，項(xiàng)目組從模型構(gòu)建出發(fā)，提出確定模型切分點(diǎn)預(yù)測(cè)壞賬率的方法，并針對(duì)平臺(tái)實(shí)際不同業(yè)務(wù)場(chǎng)景及業(yè)務(wù)要求確立模型應(yīng)用的方法。

首先，在信貸風(fēng)控模型構(gòu)建上，筆者參考了如下學(xué)者提出的方法并將該方法應(yīng)用在商城平臺(tái)上，再根據(jù)平臺(tái)數(shù)據(jù)特點(diǎn)以及模型表現(xiàn)作數(shù)據(jù)特征提取及模型算法的改善。近年來，信貸風(fēng)控領(lǐng)域較受青睞的分類算法模型包括Decision Tree(決策樹)[2]、SVM(支持向量機(jī))[3-4]、Random Forest(隨機(jī)森林)、GBDT(梯度提升決策樹)、XGBoost(極度梯度提升算法)、神經(jīng)網(wǎng)絡(luò)算法(Neural Networks)[5-7]等。2014年，蕭超武等在實(shí)證分析中將隨機(jī)森林組合分類算法與KNN、SVM等單分類器模型以及組合模型GBDT比較，發(fā)現(xiàn)前者具有更高的精確度及穩(wěn)定性[8]。2017年，Bequé將神經(jīng)網(wǎng)絡(luò)極限學(xué)習(xí)算法(ELM)用于消費(fèi)信貸風(fēng)險(xiǎn)管理，通過實(shí)驗(yàn)發(fā)現(xiàn)該算法有計(jì)算量小、精準(zhǔn)度高的特點(diǎn)[9]。2017年，Luo Cuicui采用LR、SVM、深度信念網(wǎng)絡(luò)(DBN)算法進(jìn)行信貸違約預(yù)測(cè)，發(fā)現(xiàn)DBN具有最好的預(yù)測(cè)效果[10]。2019年，陳秋華等探討了不同連接函數(shù)下廣義線性模型的分類問題，將線性模型評(píng)價(jià)指標(biāo)與RF、SVM、XGBoost等模型進(jìn)行分析比對(duì)，發(fā)現(xiàn)廣義線性模型中LR模型與SVM預(yù)測(cè)效果最佳[11]。2019年，黃志剛等人提出多源數(shù)據(jù)普適模型棧的概念，通過數(shù)據(jù)分類的自由選擇采用XGBoost算法生成子評(píng)分模型，再將子評(píng)分模型轉(zhuǎn)換為評(píng)分卡，通過實(shí)測(cè)證實(shí)有效[12]。在參考上述學(xué)者選用的算法并結(jié)合商城平臺(tái)數(shù)據(jù)特點(diǎn)，本文最終選用了LR算法、決策樹算法、XGBoost算法建立單模型。在LR模型變量交互方面，參比陳秋華[11]提出的變量相乘的交互方式，本文提出了用相關(guān)系數(shù)法尋找交互變量的方法，并驗(yàn)證了該方法的有效性。受黃志剛[12]多源數(shù)據(jù)普適模型棧的想法啟發(fā)，借用不同數(shù)據(jù)特點(diǎn)采用不同模型算法最后用XGBoost模型整合的思路，本文采取首先用多種算法建立單模型，再用各單模型的結(jié)果輸出作為復(fù)合模型的輸入建立復(fù)合模型的方法，經(jīng)驗(yàn)證，復(fù)合模型效果較單模型有明顯提升。

雖然學(xué)術(shù)界對(duì)風(fēng)控模型算法的討論十分熱烈，然而對(duì)于客戶提出的第二點(diǎn)要求，模型在生產(chǎn)線上的實(shí)際應(yīng)用方面卻略顯單薄。本文花了大量篇幅討論模型的應(yīng)用問題。首先，傳統(tǒng)LR模型、復(fù)雜機(jī)器學(xué)習(xí)模型在實(shí)際部署應(yīng)用方面各有優(yōu)劣：LR模型部署通常借用風(fēng)控決策引擎[13]來完成，優(yōu)勢(shì)為部署門檻低、部署時(shí)間短、結(jié)果可靠性強(qiáng)，但模型效果不及復(fù)雜機(jī)器學(xué)習(xí)模型；而復(fù)雜機(jī)器學(xué)習(xí)模型雖在模型效果上更有優(yōu)勢(shì)，但在部署方面，由于受模型復(fù)雜程度、數(shù)據(jù)量級(jí)、部署場(chǎng)景、上線時(shí)間緊迫等因素制約，不是都能滿足工程上的要求成功上線。所以，目前工業(yè)界在風(fēng)控模型部署上，LR仍是主流[14]，復(fù)雜機(jī)器學(xué)習(xí)模型部署還在不斷嘗試發(fā)展中，不同體量的電商平臺(tái)復(fù)雜機(jī)器學(xué)習(xí)模型實(shí)施的普及程度也不一樣。對(duì)于本項(xiàng)目，商城平臺(tái)剛開始嘗試復(fù)雜機(jī)器學(xué)習(xí)模型的部署，文章給出了兩者并舉的保守方案。本文首先提出風(fēng)控模型在應(yīng)用實(shí)施中不同切分點(diǎn)對(duì)應(yīng)的預(yù)測(cè)壞賬率，然后比較并驗(yàn)證了在相同風(fēng)險(xiǎn)前提下LR模型與XGBoost復(fù)合模型實(shí)際通過率差異，并結(jié)合具體業(yè)務(wù)模式及業(yè)務(wù)需求給出模型選擇的依據(jù)及部署方式。

一、 模型效果指標(biāo)評(píng)價(jià)

模型評(píng)價(jià)指標(biāo)是用來評(píng)估模型對(duì)數(shù)據(jù)的擬合能力，二元分類的模型算法有很多，但無論是哪種模型算法都可以使用AUC[15]和KS這兩個(gè)指標(biāo)來衡量。AUC的取值為0.5～1，AUC值越高代表該算法對(duì)模型整體擬合能力越強(qiáng)，AUC等于0.5代表模型沒有區(qū)辨能力，但大于0.9則模型擬合過于完美考慮異常，AUC在0.7～0.9之間的模型被視為可用。AUC在0.7與0.8之間代表模型有較好的區(qū)辨能力；AUC大于0.8代表模型有非常好的擬合能力。AUC取值與模型區(qū)辨能力對(duì)應(yīng)關(guān)系如表1所示。

表1 AUC值對(duì)應(yīng)的模型區(qū)辨能力

KS是評(píng)價(jià)模型優(yōu)劣的另外一個(gè)常用指標(biāo)，同樣KS值越大代表模型對(duì)數(shù)據(jù)擬合能力越強(qiáng)，通常KS取值在0.2～0.75之間。與AUC不同的是，AUC是反應(yīng)模型整體對(duì)數(shù)據(jù)的擬合能力，而KS則指出在某一區(qū)段模型對(duì)目標(biāo)變量的辨識(shí)度最高。KS取值與模型區(qū)辨能力對(duì)應(yīng)關(guān)系如表2所示。

表2 KS值對(duì)應(yīng)的模型區(qū)辨能力

本文分析比較的4個(gè)模型：LR模型、決策樹模型、XGBoost單模型及XGBoost復(fù)合模型的效果均采用AUC值及KS值這兩個(gè)指標(biāo)來進(jìn)行評(píng)價(jià)。

二、 建模實(shí)證分析

(一) 建模數(shù)據(jù)構(gòu)成及變量預(yù)處理

目前，該平臺(tái)信貸產(chǎn)品申請(qǐng)用戶為在平臺(tái)商城近1年內(nèi)有過歷史交易記錄的用戶，該產(chǎn)品運(yùn)營(yíng)已超過1年，有充足的壞用戶積累。建模用戶群體，我們選擇授信前1年內(nèi)在平臺(tái)商城內(nèi)有較為活躍表現(xiàn)的用戶，授信后6～12個(gè)月內(nèi)出賬次數(shù)大于等于6的用戶確立建模樣本。

y定義方面，通過分析逾期天數(shù)與回款率關(guān)系，以及通過逾期用戶M1～M4壞賬滾動(dòng)率分析后確定的[16]。相同樣本，不同y定義，最終AUC和KS模型評(píng)價(jià)指標(biāo)會(huì)有較大差異。通常y定義越嚴(yán)格，模型指標(biāo)AUC及KS表現(xiàn)越好，比如把進(jìn)入M4的用戶定義為壞用戶比把進(jìn)入M2的用戶定義為壞用戶有更好的模型表現(xiàn)。然而，考慮到該評(píng)分卡是建立申請(qǐng)用戶審批模型，目的不是把最壞的用戶排除，而是把有可能進(jìn)入M3或M4的用戶攔截在外。所以，y用戶定義采用進(jìn)入M2或M3的用戶，但由于M3用戶數(shù)量有限，所以把多次進(jìn)入M2的用戶列為壞用戶。經(jīng)過多次嘗試，得到y(tǒng)定義為至少有2次出賬且2次出賬的逾期天數(shù)均大于30天(進(jìn)入M2)的用戶為壞用戶，其余為好用戶。X變量共126個(gè)，為用戶申請(qǐng)消費(fèi)貸前平臺(tái)商城的歷史行為數(shù)據(jù)。從分類來看，可將X變量分為用戶基本信息、用戶申請(qǐng)渠道、用戶信用資質(zhì)、平臺(tái)活躍度、平臺(tái)交易信息、收貨方式、收貨人(地址)信息等類別。數(shù)據(jù)樣本共11180個(gè)觀測(cè)值，其中壞用戶為1118個(gè)，odds比9∶1。采用分層抽樣的方式將數(shù)據(jù)切分為7∶3兩部分，前者用作模型訓(xùn)練及驗(yàn)證，后者用于模型測(cè)試。

在數(shù)據(jù)預(yù)處理環(huán)節(jié)，對(duì)每個(gè)X變量作單變量分析，進(jìn)行變量一致性、完整性、準(zhǔn)確性檢驗(yàn)，剔除變量缺失率高于20%的變量；對(duì)變量進(jìn)行woe轉(zhuǎn)換并計(jì)算其iv值，預(yù)測(cè)每個(gè)自變量x與因變量y的相關(guān)程度。在作變量woe轉(zhuǎn)換時(shí)，對(duì)自變量排序后切分為10等分進(jìn)行粗分箱，然后對(duì)變量分箱進(jìn)行合并，合并時(shí)確保變量woe值為單調(diào)趨勢(shì)，各分箱觀測(cè)值數(shù)量不低于25個(gè)，且相鄰分箱的woe值有較大差異。最后計(jì)算變量iv值，結(jié)果如圖1所示。

圖1 woe轉(zhuǎn)換后變量iv值匯總

(二) Logistic Regression單模型

篩選出iv值大于0.1的經(jīng)過woe轉(zhuǎn)換的自變量作為模型輸入變量，采用stepwise逐步回歸法篩選變量，模型置信度設(shè)為95%，y變量共2個(gè)取值，“0”代表好用戶，“1”代表壞用戶，以“0”為目標(biāo)構(gòu)建模型。在模型變量調(diào)整上，通過計(jì)算自變量的相關(guān)性，使相關(guān)性較大的變量組合盡可能避免同時(shí)出現(xiàn)在模型中。根據(jù)模型輸出結(jié)果，刪除變量系數(shù)為正或者系數(shù)過小的變量，以減小共線性對(duì)模型效果的影響。檢查進(jìn)入模型的x變量分類，確保模型盡可能覆蓋到每個(gè)分類。檢查模型評(píng)分確保評(píng)分均勻分布。當(dāng)出現(xiàn)超過樣本量5%的觀測(cè)值對(duì)應(yīng)同一個(gè)評(píng)分時(shí)，找到是哪個(gè)變量造成的，用別的變量加以替換。最后確認(rèn)模型，入模變量及模型參數(shù)如表3所示，模型變量分別為收貨人數(shù)量、近12個(gè)月的貨到付款次數(shù)、近3個(gè)月的貨到付款次數(shù)、近12個(gè)月拒收次數(shù)、近12個(gè)月每個(gè)月都有交易的月份數(shù)、近3個(gè)月交易金額、近3個(gè)月信用卡支付金額、近3個(gè)月借記卡支付次數(shù)、近3個(gè)月使用app登錄平臺(tái)次數(shù)、用戶婚姻狀況、用戶性別以及用戶進(jìn)件渠道。

表3 LR模型參數(shù)及最大似然估計(jì)分析結(jié)果

1.LR變量交互。在不改變?nèi)肽Ｗ兞繑?shù)量的前提下，將入模變量與待選變量做交互，以達(dá)到提升模型整體效果的目的。通常待選變量iv值過小難以進(jìn)入模型，但待選變量與模型變量涵蓋信息不同，且與之交互的模型變量相關(guān)性低。為尋找待選變量，采用對(duì)需要交互的兩變量計(jì)算Pearson相關(guān)系數(shù)的辦法，最后發(fā)現(xiàn)兩組可以通過變量交互提升模型的變量。第一組，“授信渠道”、“商城卡包提取標(biāo)志”進(jìn)行變量交互替代原模型中“授信渠道”變量；第二組，“婚姻狀況”、“客單價(jià)”進(jìn)行變量交互替代原模型中“客單價(jià)”變量；交互后模型效果提升如下表所示，可以看出交互前后AUC沒有顯著提升，但模型KS值約有6‰的提升。交互變量的加入可以小幅度提升模型效果，如表4所示。

表4 LR單模型變量交互結(jié)果

2.決策樹單模型。在決策樹模型構(gòu)建過程中使用了兩種葉節(jié)點(diǎn)分裂的算法，一個(gè)是熵分裂標(biāo)準(zhǔn)，另一個(gè)是Kolmogorov-Smirnov(FastCHAID)分裂標(biāo)準(zhǔn)，剪枝過程中均采用誤判率、最小葉子數(shù)作為剪枝標(biāo)準(zhǔn)[17-18]。兩模型輸入變量前者是原始變量，后者為經(jīng)過woe轉(zhuǎn)換后的變量。本模型采用SAS PROC HPSPLIT完成，通過對(duì)leafsize(葉節(jié)點(diǎn)最小觀測(cè)數(shù))、最小葉子數(shù)量、maxdepth(最大樹深)、maxbranch(最大分枝數(shù))參數(shù)調(diào)整完成決策樹的構(gòu)建。對(duì)每片葉子目標(biāo)變量預(yù)測(cè)概率排序，通過計(jì)算每個(gè)概率分箱中累計(jì)好壞用戶的占比，得到AUC及KS值。結(jié)果如表5所示。

表5 決策樹算法結(jié)果

3.XGBoost單模型。XGBoost算法是由Chen[19]基于Friedman[20]提出的gradient boosting模型設(shè)計(jì)并對(duì)其優(yōu)化。XGBoost的思想是不斷通過種樹去迭代以減少上一輪的誤差，最終達(dá)到分類的目的。每一次迭代就是增加一顆新的樹，對(duì)上次殘差進(jìn)行擬合。每顆樹的葉節(jié)點(diǎn)對(duì)應(yīng)一個(gè)分?jǐn)?shù)，將每棵樹對(duì)應(yīng)的分?jǐn)?shù)相加得到樣本的預(yù)測(cè)值。

模型輸入變量為原始變量中定距(Interval)變量，以及定類(Nominal)、定序(Ordinal)變量經(jīng)過woe變換的變量。調(diào)參過程中，首先確定eta(學(xué)習(xí)率)和num_rounds(迭代次數(shù))進(jìn)行粗調(diào)，再確定max_depth以及seed，最后采用網(wǎng)格搜索法對(duì)subsample、colsample進(jìn)行調(diào)參，用cv交叉驗(yàn)證中early_stopping_rounds尋找最好迭代次數(shù)，最后微調(diào)eta和num_rounds確定最后參數(shù)。參數(shù)結(jié)果為：{eta=0.1,max_depth=1,seed=35,subsample=0.4,colsample_bytree=0.7,num_rounds=126,lambda=0.5}，此參數(shù)下對(duì)應(yīng)的訓(xùn)練集、測(cè)試集AUC及KS指標(biāo)如表6所示。

表6 XGBoost單模型結(jié)果

4.XGBoost復(fù)合模型。將原變量、woe轉(zhuǎn)換后的變量作為輸入，Logistic單模型、XGBoost單模型、決策樹模型的輸出結(jié)果作為復(fù)合模型XGBoost的輸入，進(jìn)行模型訓(xùn)練，輸入指標(biāo)如圖2所示。XGB復(fù)合模型輸入指標(biāo)包括5個(gè)單模型的輸出結(jié)果、原始變量以及經(jīng)過woe轉(zhuǎn)化后的變量，其中5個(gè)單模型的輸出結(jié)果包含2種算法的決策樹預(yù)測(cè)概率、邏輯回歸模型預(yù)測(cè)概率及評(píng)分、XGB單模型的預(yù)測(cè)概率。上述模型輸入用一個(gè)XGB模型整合得到最后的輸出結(jié)果。復(fù)合模型調(diào)參步驟與XGB單模型類似，參數(shù)為{eta=0.1,eval_metric=’auc’,nthread=3,min_child_weight=1,max_depth=1,seed=30,subsample=0.2,colsample_bytree=0.7,num_rounds=150,lambda=1.5}。模型重要性指標(biāo)如圖3所示，重要性最高的為XGB單模型預(yù)測(cè)概率，其次為L(zhǎng)R模型預(yù)測(cè)概率及轉(zhuǎn)換評(píng)分。模型結(jié)果如表7所示。

圖2 XGBoost復(fù)合模型搭建過程

圖3 XGBoost復(fù)合模型變量重要性

表7 XGBoost復(fù)合模型結(jié)果

5.模型指標(biāo)比較與評(píng)價(jià)。比較上述模型KS及AUC指標(biāo)發(fā)現(xiàn)，所有模型區(qū)辨能力都在可接受及之上，在本數(shù)據(jù)中決策樹模型表現(xiàn)最差，在可接受區(qū)辨能力邊緣；LR模型和XGBoost單模型AUC有較好的表現(xiàn)，其中XGBoost單模型比LR模型KS高出1.7%、AUC高出1.5%，整體表現(xiàn)略優(yōu)于LR模型；表現(xiàn)最好的是XGBoost復(fù)合模型，AUC達(dá)到0.80，進(jìn)入非常良好的區(qū)辨能力這一檔。

模型在使用中需要確定切分分?jǐn)?shù)線，即該分?jǐn)?shù)線以下的用戶需要被排除。所以，在模型評(píng)估中需要比較不同分?jǐn)?shù)段壞賬率及累計(jì)壞賬率。將生產(chǎn)實(shí)際中運(yùn)用最為廣泛的LR模型、效果最優(yōu)的XGBoost復(fù)合模型進(jìn)行比較，對(duì)比的數(shù)據(jù)集為訓(xùn)練集+測(cè)試集。對(duì)預(yù)測(cè)概率進(jìn)行從小到大排序，切分為10等分，每一等分用戶數(shù)量大致相同。為便于比較，均使用預(yù)測(cè)概率表明分段范圍。兩模型結(jié)果如表8、表9所示。

從分段壞賬率來看，XGBoost復(fù)合模型比LR模型第一分段高4.2%，如果切分分?jǐn)?shù)線劃在第一段，則XGBoost有明顯優(yōu)勢(shì)；從累計(jì)壞賬率來看，假設(shè)壞賬率差異小于1%就認(rèn)為模型效果無明顯差別，則模型切分點(diǎn)設(shè)在第三段時(shí)兩模型“抓壞人”能力相同，LR模型、XGBoost模型對(duì)應(yīng)切分概率分別為0.886和0.903。

表8 LR模型分段表現(xiàn)

表9 XGBoost復(fù)合模型分段表現(xiàn)

三、 模型選擇及部署實(shí)施探索

(一) 風(fēng)險(xiǎn)評(píng)估

評(píng)分模型在風(fēng)控策略中有兩個(gè)重要作用：一個(gè)是確立拒絕分?jǐn)?shù)線，即小于某一預(yù)測(cè)概率(評(píng)分)的用戶拒絕授信；另一個(gè)是根據(jù)預(yù)測(cè)概率(評(píng)分)劃分風(fēng)險(xiǎn)等級(jí)、確定授信額度。評(píng)分模型設(shè)立的目的是為了讓壞賬率在可控范圍內(nèi)，那如何利用評(píng)分模型預(yù)測(cè)進(jìn)件用戶的壞賬率便成了關(guān)鍵。電商平臺(tái)消費(fèi)貸產(chǎn)品通常是分期的，根據(jù)消費(fèi)貸產(chǎn)品設(shè)計(jì)，若用戶在某一期還款截止日10天內(nèi)未還清賬款，賬戶自動(dòng)凍結(jié)。賬款催收方面，逾期90天以內(nèi)的賬款由平臺(tái)內(nèi)部催收部門催收，逾期超過90天(進(jìn)入M4)的賬戶因賬款難以回收，故采用外包形式，催回金額與外包公司按比例分成。所以這里我們把進(jìn)入M4(逾期天數(shù)>90天)的用戶記為壞賬用戶，未還清金額(包括已出賬、未出賬)記為壞賬余額，表現(xiàn)時(shí)長(zhǎng)取1年。由于使用余額、壞賬余額是一個(gè)動(dòng)態(tài)平衡的過程，這里選取時(shí)點(diǎn)數(shù)據(jù)來定義，以賬戶成功授信之日起1年為時(shí)間節(jié)點(diǎn)，壞賬率定義為壞賬余額與使用余額之比。

在作風(fēng)險(xiǎn)評(píng)估方面，需要用到2個(gè)群體：已授信群體和即將進(jìn)件群體。已授信群體定義為成功授信且表現(xiàn)期滿1年的用戶；即將進(jìn)件群體定義為近一個(gè)月內(nèi)申請(qǐng)授信的用戶。

將LR模型、XGBoost復(fù)合模型分別運(yùn)用到2個(gè)群體上得到每個(gè)用戶的預(yù)測(cè)概率。根據(jù)模型壞賬率劃分風(fēng)險(xiǎn)等級(jí)，并將風(fēng)險(xiǎn)等級(jí)、用戶授信額度等級(jí)繪制成交叉表，如表10所示。單元格內(nèi)bij、uij、qij分別是已授信群體的壞賬余額、使用余額以及用戶數(shù)量，其中腳標(biāo)i代表授信額度等級(jí)，j代表風(fēng)險(xiǎn)等級(jí)。

表10 風(fēng)險(xiǎn)額度交叉表

將模型運(yùn)用于進(jìn)件用戶群體，進(jìn)件用戶群體的用戶數(shù)量記為Qij，這里i、j分別為額度等級(jí)、風(fēng)險(xiǎn)等級(jí)，等級(jí)劃分方式如表10所示。風(fēng)險(xiǎn)等級(jí)1為最低，風(fēng)險(xiǎn)等級(jí)5為最高。壞賬率記為BRm，有：

(1)

假設(shè)壞賬率最高不超過某一值，記為BRrate，計(jì)算BRm≤BRrate的最大m值，大于m的風(fēng)險(xiǎn)等級(jí)用戶即為需要拒絕的用戶。以此確定模型拒絕用戶的切分點(diǎn)，記為Preject。

(二) 通過率評(píng)估

通過率評(píng)估是將評(píng)分模型應(yīng)用到當(dāng)前進(jìn)件用戶模擬進(jìn)件用戶通過率的方式。通常業(yè)務(wù)部門與風(fēng)控部門為通過率博弈，業(yè)務(wù)部門要求更高的通過率，風(fēng)控部門則通過模型優(yōu)化在保證風(fēng)險(xiǎn)的前提下提高通過率，但模型評(píng)價(jià)指標(biāo)越好并不意味著使用該模型就一定有更高的通過率。本文采用傳統(tǒng)LR單模型、XGBoost復(fù)合模型進(jìn)件通過率的模擬驗(yàn)證以上觀點(diǎn)。

設(shè)計(jì)思路為上述兩模型應(yīng)用于102 787名即將進(jìn)件用戶群體，并計(jì)算其預(yù)測(cè)概率。分別對(duì)兩模型預(yù)測(cè)概率進(jìn)行從小到大排序，每一個(gè)預(yù)測(cè)概率對(duì)應(yīng)與風(fēng)控模型中累計(jì)壞用戶數(shù)對(duì)應(yīng)，而預(yù)測(cè)概率在該進(jìn)件用戶群體的分位數(shù)即為拒絕率，進(jìn)而計(jì)算得到進(jìn)件群體的通過率。本文通過作圖的方法比較LR模型與XGBoost復(fù)合模型相同風(fēng)控效果對(duì)應(yīng)的通過率。以累計(jì)壞用戶數(shù)作為橫軸，進(jìn)件用戶通過率(1-拒絕率)作為縱軸，分別對(duì)兩模型作散點(diǎn)圖，結(jié)果如圖4所示。從圖4中可以看出兩模型頭尾幾乎是重合的，只在中間段看出差異。通過計(jì)算得到在“抓壞人”能力相同條件下，兩模型通過率最大差異為7.9%，對(duì)應(yīng)的LR模型和XGBoost復(fù)合模型通過率分別為44.8%和52.74%；若業(yè)務(wù)部門要求75%以上的通過率(假設(shè)容差為2%)，且風(fēng)險(xiǎn)在可以接受范圍內(nèi)，兩模型則在風(fēng)險(xiǎn)能力控制和通過率上幾乎沒有差別。如表11所示。

(三) 模型部署實(shí)施評(píng)估與建議

對(duì)于傳統(tǒng)LR模型部署一般是線上實(shí)施審批，采用風(fēng)控決策引擎部署。主流的風(fēng)控決策引擎包括FICO公司的Blaze和Experian公司的SMG3。風(fēng)控決策引擎負(fù)責(zé)入?yún)?、出參的配置，以及結(jié)果調(diào)用。風(fēng)控決策引擎使操作簡(jiǎn)單易學(xué)，門檻低，上手快，例如LR模型10～15個(gè)變量的配置，1個(gè)小時(shí)就能完成。然而，對(duì)于復(fù)雜的機(jī)器學(xué)習(xí)算法，上百個(gè)模型變量，上千次的學(xué)習(xí)迭代，以及復(fù)雜的預(yù)測(cè)概率計(jì)算，

圖4 LR模型與XGBoost復(fù)合模型通過率最大差異

表11 LR模型與XGBoost復(fù)合模型通過率對(duì)比

若在決策引擎上部署就變得難以實(shí)施。當(dāng)下，對(duì)于復(fù)雜機(jī)器學(xué)習(xí)模型部署方式還在探索中。目前，一般采用預(yù)測(cè)模型標(biāo)準(zhǔn)語言(PMML)，該語言可以在不同數(shù)據(jù)挖掘工具和不同應(yīng)用系統(tǒng)之間交換挖掘模型，實(shí)現(xiàn)模型的部署。雖然，在機(jī)器學(xué)習(xí)模型應(yīng)用方面，PMML的應(yīng)用實(shí)施還在發(fā)展中，除了不同的數(shù)據(jù)挖掘廠商支持的模型類型有限外，PMML在執(zhí)行過程中還出現(xiàn)數(shù)據(jù)廠商生成的PMML與標(biāo)準(zhǔn)定義的Schema有偏差導(dǎo)致最終結(jié)果的偏差等問題。然而，縱有這么多問題，模型效果的優(yōu)勢(shì)是不容置疑的，而且機(jī)器學(xué)習(xí)的發(fā)展已成為趨勢(shì)。

綜上所述，在模型應(yīng)用選擇方面，無論是應(yīng)用最為廣泛的LR模型還是上面提到的類似XGBoost復(fù)合模型的機(jī)器學(xué)習(xí)模型都是有利有弊的。前者部署門檻低，部署高效，模型本身有較好的解釋性，但模型應(yīng)用效果不及后者；后者模型效果整體優(yōu)于前者，但對(duì)于部署人員來說門檻較高，且部署過程中產(chǎn)生的各種問題還在不斷嘗試解決中。然而，模型的應(yīng)用、部署實(shí)施上線并不是一個(gè)二選一的問題。本文建議模型選取要結(jié)合具體業(yè)務(wù)指標(biāo)、風(fēng)控指標(biāo)、模型效果還有具體商業(yè)模式來確定。在線實(shí)施審批的風(fēng)控模型一定要上生產(chǎn)線，但機(jī)器學(xué)習(xí)的模型應(yīng)用不一定要上生產(chǎn)線，可以采用離線方式部署，其對(duì)應(yīng)的商業(yè)模式為預(yù)授信。預(yù)授信模式是從待選的用戶池中篩選出優(yōu)質(zhì)用戶為其打上授信標(biāo)簽，包括是否授信及授信額度。再將授信信息用彈窗、鏈接、短信等方式推送給可以授信的用戶，鼓勵(lì)用戶申請(qǐng)。

本文LR模型和XGBoost機(jī)器學(xué)習(xí)模型選擇及應(yīng)用層面，要綜合考慮模型效果指標(biāo)、壞賬率指標(biāo)、通過率需求，及模型部署實(shí)施方面的問題，如圖5所示。紅、藍(lán)兩條曲線分別代表LR單模型和XGBoost復(fù)合模型。橫坐標(biāo)(上)為模型預(yù)測(cè)概率，橫坐標(biāo)(下)為模型“抓壞人”數(shù)量，模型縱坐標(biāo)為進(jìn)件用戶通過率。兩條縱向的黃色虛線分別表示兩模型風(fēng)控能力相同條件下，進(jìn)件模擬通過率差異小于2%的臨界值。左黃線通過率為75%，右黃線為20%，對(duì)應(yīng)拒絕概率如灰色標(biāo)注所示。結(jié)合上述敘述，模型應(yīng)用方案如表12所示。

表12 模型應(yīng)用方案

圖5 LR模型與XGB復(fù)合模型通過率相同臨界值

四、 結(jié) 語

本文通過真實(shí)數(shù)據(jù)從多個(gè)維度非常詳實(shí)地分析了從模型構(gòu)建到模型應(yīng)用實(shí)施全過程。模型特征工程方面，相比陳秋華[11]提出的自變量交互對(duì)模型指標(biāo)效果的提升，本文進(jìn)一步提出用相關(guān)系數(shù)法尋找交互變量的方法；在特征變量構(gòu)建上，創(chuàng)新采用對(duì)原變量進(jìn)行woe轉(zhuǎn)換的方式創(chuàng)建衍生變量。經(jīng)驗(yàn)證，該方法對(duì)于模型效果指標(biāo)的提升是有效的。對(duì)于XGBoost模型，此方式相當(dāng)于將分類變量轉(zhuǎn)換為可以計(jì)算的定距變量，解決了XGBoost模型矩陣不能處理字符型變量的問題，也避免了分類變量轉(zhuǎn)化為虛擬變量的麻煩。

在復(fù)合模型變量構(gòu)建方面，跳出通過原變量加減乘除的方式進(jìn)行變量衍生的圈子，將LR單模型的woe變量連同決策樹、XGBoost單模型的輸出結(jié)果(概率&評(píng)分)作為輸入變量，并使用XGBoost進(jìn)行擬合，經(jīng)驗(yàn)證，復(fù)合模型評(píng)價(jià)指標(biāo)優(yōu)于各單模型。

本文創(chuàng)新之處在于不只對(duì)模型評(píng)價(jià)指標(biāo)進(jìn)行比較，更從模型應(yīng)用實(shí)施角度提出了模型拒絕分?jǐn)?shù)線(切分點(diǎn))的確定方法[21]。該方法首先采用模型各分段壞賬率對(duì)模型進(jìn)行風(fēng)險(xiǎn)等級(jí)劃分，并通過風(fēng)險(xiǎn)等級(jí)與授信額度交叉的方法模擬各單元格內(nèi)壞賬率分布構(gòu)成，并將模型運(yùn)用于新進(jìn)件的用戶，預(yù)測(cè)進(jìn)件用戶預(yù)期壞賬率，以此確定拒絕用戶切分點(diǎn)。不僅如此，本文用模型表現(xiàn)與通過率之間的關(guān)系闡述了模型選用標(biāo)準(zhǔn)。以LR單模型、XGBoost復(fù)合模型為例，用數(shù)據(jù)驗(yàn)證了在“抓壞人”能力相同的條件下兩模型通過率的大小及差異。并從通過率差異、業(yè)務(wù)部門通過率最低要求、模型部署實(shí)施難度及商城現(xiàn)有的業(yè)務(wù)模式進(jìn)行綜合分析，給出模型選用建議[22]。在建議實(shí)施方面，對(duì)于選用難以部署的復(fù)合模型，建議采用預(yù)授信的模式。將模型應(yīng)用在新進(jìn)件用戶群體上，篩選出通過用戶，并用彈框或短信等方式通知，讓用戶選擇是否開通。與現(xiàn)有的申請(qǐng)-授信模式相比，此種方式在確保風(fēng)險(xiǎn)的同時(shí)，擴(kuò)大了人群覆蓋面，提升了總體進(jìn)件人數(shù)，繞開了模型部署實(shí)施難的障礙。