基于LightGBM算法的移動(dòng)用戶信用評(píng)分研究

國(guó)強(qiáng)強(qiáng)，朱振方

(山東交通學(xué)院 信息科學(xué)與電氣工程學(xué)院,山東 濟(jì)南 250357)

0 引 言

隨著社會(huì)信用體系建設(shè)的深入推進(jìn),社會(huì)信用標(biāo)準(zhǔn)建設(shè)飛速發(fā)展，相關(guān)的標(biāo)準(zhǔn)相繼發(fā)布。但是，一個(gè)包括信用服務(wù)標(biāo)準(zhǔn)、信用數(shù)據(jù)釆集和服務(wù)標(biāo)準(zhǔn)、信用修復(fù)標(biāo)準(zhǔn)、城市信用標(biāo)準(zhǔn)、行業(yè)信用標(biāo)準(zhǔn)等在內(nèi)的多層次標(biāo)準(zhǔn)體系亟待出臺(tái)，社會(huì)信用標(biāo)準(zhǔn)體系有望快速推進(jìn)。社會(huì)信用體系建設(shè)是一個(gè)系統(tǒng)工程，完善信用評(píng)分體系有助于推動(dòng)整個(gè)社會(huì)的信用體系升級(jí)。個(gè)人信用評(píng)估構(gòu)成是社會(huì)信用評(píng)估體系的基礎(chǔ)，構(gòu)建科學(xué)的個(gè)人信用評(píng)估體系是構(gòu)建科學(xué)社會(huì)信用評(píng)估的基礎(chǔ)，而移動(dòng)用戶信用評(píng)估，則是個(gè)人信用評(píng)估中最重要組成部分之一。隨著科技的進(jìn)步、社會(huì)的發(fā)展，個(gè)人信用分值對(duì)于個(gè)人愈加重要，而傳統(tǒng)的信用評(píng)分主要以個(gè)人消費(fèi)能力等少數(shù)的維度來(lái)衡量，難以全面、客觀、及時(shí)地反映個(gè)人的信用。如今電子商務(wù)和互聯(lián)網(wǎng)金融蓬勃發(fā)展，在大數(shù)據(jù)背景下個(gè)人信用評(píng)價(jià)也需滿足時(shí)代要求向大數(shù)據(jù)方向轉(zhuǎn)變。

文中算法旨在解決面向大樣本、高維度數(shù)據(jù)環(huán)境下的信用分預(yù)測(cè)問(wèn)題，提出一種基于LightGBM算法的移動(dòng)用戶信用評(píng)分：K-LGB模型，實(shí)現(xiàn)移動(dòng)用戶信用評(píng)分。通過(guò)該算法可以有效提高信用分預(yù)測(cè)的準(zhǔn)確性，同時(shí)又可以提高算法執(zhí)行效率。

1 相關(guān)研究

評(píng)分預(yù)測(cè)問(wèn)題[1]屬于推薦系統(tǒng)中的一個(gè)分支，推薦系統(tǒng)的性能很大程度上受評(píng)分預(yù)測(cè)準(zhǔn)確性的影響。隨著國(guó)內(nèi)外學(xué)者的深入研究，信用評(píng)估發(fā)展出來(lái)統(tǒng)計(jì)方法和非統(tǒng)計(jì)方法兩大類[2]。非統(tǒng)計(jì)方法包括神經(jīng)網(wǎng)絡(luò)、遺傳算法、專家系統(tǒng)等，統(tǒng)計(jì)方法包括邏輯回歸、線性回歸、非線性回歸、近鄰估計(jì)等。很多學(xué)者早期通過(guò)用戶歷史評(píng)分行為和物品屬性特征進(jìn)行建模[3]來(lái)解決評(píng)分預(yù)測(cè)問(wèn)題，在已有研究中，Maher Alarajden等人[4]將神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、隨機(jī)森林、決策樹、Logistic回歸和樸素貝葉斯與LR結(jié)合使用，達(dá)到了很好的效果。到目前為止，Maher Alarajden所提出的信用評(píng)估體系，仍然被認(rèn)為是信用評(píng)分模型的行業(yè)標(biāo)準(zhǔn)模型。Maysam F.Abbod等人[5]提出在數(shù)據(jù)預(yù)處理上將Gabriel近域圖編輯和多變量自適應(yīng)回歸樣條方法融合的算法來(lái)實(shí)現(xiàn)預(yù)測(cè)信用分，另外，還提出了一種基于集合建模階段不同分類算法的共識(shí)方法的新分類器組合規(guī)則。Luo Cuicui等人[6]將信念網(wǎng)絡(luò)與限制玻爾茲曼機(jī)器等深度學(xué)習(xí)算法與當(dāng)前流行機(jī)器學(xué)習(xí)算法(如邏輯回歸、支持向量機(jī)、多層感知機(jī))進(jìn)行比較，發(fā)現(xiàn)使用分類精度和接收器工作特性曲線下的面積評(píng)估性能中DBN的性能最佳。Leong C K等人[7]提出了一種貝葉斯網(wǎng)絡(luò)模型，用于解決信用風(fēng)險(xiǎn)評(píng)分中的截尾樣本、樣本不平衡、實(shí)時(shí)實(shí)現(xiàn)等問(wèn)題，相較于競(jìng)爭(zhēng)模型(邏輯回歸與神經(jīng)網(wǎng)絡(luò))在精度、靈敏度等幾個(gè)維度上表現(xiàn)更佳。

隨著機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展，國(guó)內(nèi)學(xué)者的研究更側(cè)重對(duì)這些模型的組合及應(yīng)用。綜合應(yīng)用多種機(jī)器學(xué)習(xí)方法進(jìn)行信用評(píng)分，正逐漸成為主要手段，能夠解決單個(gè)算法結(jié)果準(zhǔn)確率不足的問(wèn)題，獲得更優(yōu)的預(yù)測(cè)結(jié)果。例如，姜明輝[8]、王磊等人[9]通過(guò)改進(jìn)Logistic模型，建立信用評(píng)分模型，取得了較好的效果。近年來(lái)，隨著信用評(píng)估研究的深入，引入了人工智能等非統(tǒng)計(jì)方法，學(xué)者們的研究重心轉(zhuǎn)向了集成學(xué)習(xí)算法和神經(jīng)網(wǎng)絡(luò)(NNs)、支持向量機(jī)(VSM)等算法。現(xiàn)有研究結(jié)果顯示，根據(jù)訓(xùn)練數(shù)據(jù)構(gòu)建一組個(gè)體學(xué)習(xí)器，并采用某種策略將多個(gè)學(xué)習(xí)器進(jìn)行集成的學(xué)習(xí)方法，比較邏輯回歸、決策樹等單一分類器和神經(jīng)網(wǎng)絡(luò)評(píng)估模型[10]和模糊分析評(píng)估模型，具有更高的準(zhǔn)確度和更好的穩(wěn)健性[11]。

集成學(xué)習(xí)方法主要分為兩大類，即Bagging方法[12](如RF算法等)與Boosting方法[13](如LightGBM[14])。其中，RF[15]算法利用樣本擾動(dòng)和屬性擾動(dòng)實(shí)現(xiàn)基學(xué)習(xí)器的多樣性，雖然提升了算法的泛化性能，但該算法需要存儲(chǔ)每棵決策樹及其每個(gè)節(jié)點(diǎn)不同的樣本集合，內(nèi)存開銷較大，導(dǎo)致模型訓(xùn)練速度較慢。相比之下，LightGBM具有更快的訓(xùn)練速度、更低的內(nèi)存消耗、更好的模型精度、支持并行學(xué)習(xí)、可以快速處理海量數(shù)據(jù)等優(yōu)點(diǎn)[16]。鑒于此，文中基于LightGBM算法構(gòu)建信用評(píng)分模型，進(jìn)行中國(guó)移動(dòng)用戶信用分預(yù)測(cè)。

2 基于LightGBM算法的移動(dòng)用戶信用評(píng)分研究

現(xiàn)有的信用評(píng)分模式往往只采用集成學(xué)習(xí)中的Bagging方法(如RF算法)或者Boosting方法(如LightGBM)，在多維度特征提取、線性關(guān)系挖掘等方面存在很大的局限性。鑒于此，在面對(duì)大樣本、多維度的數(shù)據(jù)環(huán)境下，為了解決模型過(guò)擬合問(wèn)題，構(gòu)造有效的特征信息、提高模型信用評(píng)分準(zhǔn)確性，文中提出一種K-LGB模型，實(shí)現(xiàn)移動(dòng)用戶信用評(píng)分。首先通過(guò)分析線性相關(guān)性來(lái)構(gòu)建特征集合，然后通過(guò)K-means算法對(duì)特征集合進(jìn)行聚類分析，將特征集合聚類分析結(jié)果作為有效特征信息加入數(shù)據(jù)集，最后將加入有效特征信息的數(shù)據(jù)集作為L(zhǎng)ightGBM模型的輸入，通過(guò)LightGBM模型得出信用評(píng)分。算法流程如圖1所示。

圖1 算法流程

2.1 線性相關(guān)性分析

經(jīng)研究發(fā)現(xiàn)分析線性相關(guān)性不僅可用來(lái)解決模型過(guò)擬合問(wèn)題，而且可以解決多維度特征提取、線性關(guān)系挖掘的問(wèn)題。鑒于此，文中采用皮爾遜相關(guān)系數(shù)來(lái)進(jìn)行線性相關(guān)性分析。皮爾遜相關(guān)系數(shù)(Pearson correlation coefficient)又稱皮爾遜積矩相關(guān)系數(shù)，在統(tǒng)計(jì)學(xué)中常用來(lái)度量?jī)山M數(shù)據(jù)間的相關(guān)程度。皮爾遜相關(guān)系數(shù)的值介于-1與1之間，絕對(duì)值越大，線性相關(guān)性越強(qiáng)；絕對(duì)值越接近于0，線性相關(guān)性越弱。假設(shè)給定包含i個(gè)項(xiàng)的數(shù)據(jù)集X={x1,x2,…,xi}和Y={y1,y2,…,yi},則皮爾遜相關(guān)系數(shù)公式如下：

(1)

其中，n為變量取值個(gè)數(shù)，rxy為數(shù)據(jù)集X、Y的皮爾遜相關(guān)系數(shù)值。

具體到本次評(píng)測(cè)，首先分別計(jì)算特征之間、特征與信用分之間的皮爾遜相關(guān)系數(shù)，確定它們的線性相關(guān)性，然后選擇與信用分線性相關(guān)性比較強(qiáng)的特征，最后將經(jīng)過(guò)線性相關(guān)性分析的特征集合作為下一步K-means聚類算法的輸入。部分?jǐn)?shù)據(jù)特征與信用分線性相關(guān)性如表1所示。

表1 部分?jǐn)?shù)據(jù)特征與信用分線性相關(guān)性

經(jīng)過(guò)線性相關(guān)性分析，發(fā)現(xiàn)“用戶網(wǎng)齡(月)”、“用戶近6月平均消費(fèi)值(元)”、“當(dāng)月通話交往圈人數(shù)”、“當(dāng)月是否景點(diǎn)游覽”等7個(gè)特征與信用分具有較強(qiáng)的線性相關(guān)性。因此，選擇這部分特征集合進(jìn)行進(jìn)一步的分析。

2.2 基于特征集合的K-means聚類

2.2.1 K-means聚類分析

聚類算法可以分為基于劃分、層次、密度的方法。其中，基于層次的聚類方法，如hierarchical methods，有兩種類型：合并的層次聚類和分裂的層次聚類，該方法可解釋性好，時(shí)間復(fù)雜度高，較為適用于小數(shù)量級(jí)聚類分析?；诿芏鹊木垲惙椒?，如DBSCAN[17]，解決了不規(guī)則形狀的聚類問(wèn)題，對(duì)于噪聲數(shù)據(jù)不敏感，能發(fā)現(xiàn)任意形狀的聚類結(jié)果，但是該方法對(duì)于參數(shù)設(shè)置非常敏感?；趧澐值木垲惙椒?，如K-means方法[18](K-均值)，雖然對(duì)數(shù)據(jù)集中噪聲、離群值、初始值設(shè)置較為敏感，但是該方法較為適合歐氏空間中按向量和歐氏距離定義的樣本聚類，對(duì)于處理大型數(shù)據(jù)較為高效(時(shí)間復(fù)雜度、空間復(fù)雜度)，因此，文中采用K-means算法作為聚類分析的方法。

假設(shè)給定的數(shù)據(jù)集X={xm|m=1,2,…,h,h∈R}，Y中樣本有n個(gè)屬性(維度)A1,A2,…,An，則歐氏距離公式如下：

(2)

d(xi,xj)距離越小，樣本xi和xj相似度高，差異度??；d(xi,xj)距離越大，樣本xi和xj相似度低，差異度大。

K-means聚類算法一般使用誤差平方和作為標(biāo)準(zhǔn)測(cè)度函數(shù)，具體定義如下：

(3)

其中，p為代表對(duì)象的空間的一個(gè)點(diǎn)，mi為聚類Ci的均值(p和mi均為多維的)。其中E為數(shù)據(jù)集中所有對(duì)象的平方誤差和，對(duì)于不同聚類E的大小也會(huì)不同，因此算法需要將E調(diào)整到最小，使得聚類達(dá)到最優(yōu)。

K-means是屬于劃分方法的聚類算法，是一種經(jīng)典的聚類算法。由于算法簡(jiǎn)單快捷，所以在工業(yè)界中應(yīng)用比較廣泛。其優(yōu)點(diǎn)主要為：算法盡量使確定的K個(gè)劃分達(dá)到平方和誤差最??；當(dāng)聚類的數(shù)據(jù)是密集的(凸型的),并且簇與簇之間的數(shù)據(jù)差異較大，算法的聚類效果較好；當(dāng)處理大量數(shù)據(jù)集時(shí)，算法高效并且相對(duì)可以伸縮。

2.2.2 基于線性相關(guān)性分析結(jié)果的聚類分析

如前所述，構(gòu)造有效特征信息方法流程如下:

(1)聚類算法的選擇：不同的聚類算法有不同的優(yōu)劣，將數(shù)據(jù)的屬性(算法是否獨(dú)立于數(shù)據(jù)輸入順序；數(shù)據(jù)維度)、算法處理能力(算法復(fù)雜度)作為聚算法選擇依據(jù)。對(duì)比聚類算法中基于層次的方法(hierarchical methods)、基于劃分的方法(K-means)、支持向量機(jī)(SVM)等，最終選取基于劃分的方法(K-means)作為文中模型的聚類算法。

(2)K-means聚類算法的輸入：線性相關(guān)性分析結(jié)果(與信用分具有較強(qiáng)的線性相關(guān)性的N維特征集合)、聚類簇的個(gè)數(shù)K(K值為4)。

(3)K-means聚類算法的輸出：有效特征信息(1維)，K-means聚類算法結(jié)果樣例如表2所示。

表2 K-means聚類分析結(jié)果

2.3 LightGBM

(4)

(5)

其中，Ω(fi)為正則項(xiàng)，fi為一棵決策樹。

將損失函數(shù)設(shè)為平方損失，則目標(biāo)函數(shù)為：

constant

(6)

如前所述，無(wú)關(guān)和冗余變量會(huì)對(duì)模型預(yù)測(cè)的準(zhǔn)確性造成不利影響，選擇有效的特征信息，直接決定了信用評(píng)分模型的準(zhǔn)確性。鑒于此，將K-means聚類算法輸出(構(gòu)造的有效特征信息)手動(dòng)加入數(shù)據(jù)集，作為新的特征列。融入新特征列的數(shù)據(jù)集作為L(zhǎng)ightGBM模型的輸入，具體LightGBM信用評(píng)分模型訓(xùn)練流程如下所示:

輸入:K-means聚類算法的輸出作為有效特征信息，作為新特征列，手動(dòng)加入到數(shù)據(jù)集中。加入新特征列的數(shù)據(jù)集，作為L(zhǎng)ightGBM模型輸入。

輸出:移動(dòng)用戶預(yù)測(cè)信用分。

算法步驟:

(1)算法確定目標(biāo)函數(shù)，將損失函數(shù)設(shè)為平方損失，通過(guò)貪心策略生成決策樹的每個(gè)節(jié)點(diǎn)，找到最佳樹結(jié)構(gòu)。

(2)算法每次迭代前計(jì)算損失函數(shù)樣本點(diǎn)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)，生成新的決策樹并計(jì)算每個(gè)節(jié)點(diǎn)的預(yù)測(cè)值。

(3)將迭代生成的N棵決策樹迭代加入模型中，初始化N棵決策樹，平均分配訓(xùn)練樣例權(quán)重。

(4)訓(xùn)練弱分類器，更新權(quán)重得到最終分類器，輸出移動(dòng)用戶預(yù)測(cè)信用分。

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與預(yù)處理

3.1.1 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)設(shè)定

實(shí)驗(yàn)采用的是2019數(shù)字中國(guó)創(chuàng)新大賽(https://www.datafountain.cn/)中賽題“消費(fèi)者人群畫像—信用智能評(píng)分”的數(shù)據(jù)集，該數(shù)據(jù)集是中國(guó)移動(dòng)福建公司提供的2018年x月份的樣本數(shù)據(jù)(脫敏)，包括客戶的各類通信支出、欠費(fèi)情況、出行情況、消費(fèi)場(chǎng)所、社交、個(gè)人興趣等豐富的多維度(30維度)數(shù)據(jù)。其中訓(xùn)練集50 000條，測(cè)試集50 000條。實(shí)驗(yàn)配置與環(huán)境如表3所示。

表3 實(shí)驗(yàn)配置與環(huán)境

3.1.2 數(shù)據(jù)分析預(yù)處理

在數(shù)據(jù)集中，不同維度的特征雖然具有不同的量綱，但是特征數(shù)值應(yīng)該具有正確性和有效性。通過(guò)對(duì)數(shù)據(jù)集的統(tǒng)計(jì)分析，發(fā)現(xiàn)數(shù)據(jù)集中存在數(shù)據(jù)缺失[19]和首尾異常值的問(wèn)題，導(dǎo)致特征數(shù)值失去有效性和正確性，因此需要對(duì)數(shù)據(jù)集進(jìn)行缺失數(shù)據(jù)還原和首尾異常值處理。

3.2 評(píng)測(cè)指標(biāo)

評(píng)價(jià)用戶信用評(píng)分模型有很多指標(biāo)，如準(zhǔn)確率(Accuracy)、查全率(Recall)、F得分、MAE、ROC曲線和精確度(Precision)。為了驗(yàn)證該模型的性能，選擇MAE和ROC曲線和AUC(area under curve)作為該模型的評(píng)價(jià)指標(biāo)。將MAE轉(zhuǎn)換成了Score指標(biāo)，具體公式如下所示：

(7)

(8)

其中，predi為預(yù)測(cè)樣本，yi為真實(shí)樣本。MAE的值越小，說(shuō)明預(yù)測(cè)數(shù)據(jù)與真實(shí)數(shù)據(jù)越接近，所有Score的值越高評(píng)測(cè)效果越好。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1K值的選取

聚類結(jié)果依賴于初始值的設(shè)定,但是值的選定往往要經(jīng)過(guò)很多次實(shí)驗(yàn)才能找到最佳聚類個(gè)數(shù)。目前K值的確定主要通過(guò)以下幾種方法：

(1)憑經(jīng)驗(yàn)選代表點(diǎn),根據(jù)問(wèn)題的性質(zhì)、數(shù)據(jù)分布,從直觀上找到較合理的K值。

(2)將全部樣本隨機(jī)分成類,計(jì)算每類重心,把這些重心作為每類的代表點(diǎn)，然后選取K值。

(3)按密度大小選取K值。

實(shí)驗(yàn)使用不同的K值進(jìn)行評(píng)測(cè)結(jié)果對(duì)比，經(jīng)實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，K值為4時(shí)該模型評(píng)測(cè)結(jié)果為最優(yōu)。

3.3.2 LightGBM參數(shù)調(diào)整

LightGBM模型參數(shù)雖然包含多類參數(shù)但是構(gòu)造相對(duì)簡(jiǎn)單，參數(shù)設(shè)置與模型效果成正比關(guān)系，參數(shù)調(diào)節(jié)的越優(yōu)模型效果越好。LightGBM模型為用戶提供了多類參數(shù)，并提供了便捷的CV函數(shù)供用戶進(jìn)行調(diào)參。在調(diào)整模型參數(shù)的過(guò)程中，文中將訓(xùn)練集拆分出80%作為新的訓(xùn)練集，剩余的20%數(shù)據(jù)作為新的測(cè)試集。依據(jù)新測(cè)試集的預(yù)測(cè)結(jié)果與真實(shí)結(jié)果誤差微調(diào)參數(shù)，同時(shí)采用了CV函數(shù)，得到LightGBM模型最優(yōu)參數(shù)。LightGBM參數(shù)如表4所示。

表4 LightGBM參數(shù)

3.3.3 模型效果對(duì)比分析

為了驗(yàn)證文中方法的優(yōu)越性，采用了評(píng)測(cè)指標(biāo)Score、預(yù)測(cè)準(zhǔn)確度ROC曲線和AUC。使用LightGBM、XGBoost[20]、K-LGB、K- XGB四種模型，通過(guò)評(píng)測(cè)指標(biāo)Score、執(zhí)行效率、準(zhǔn)確度進(jìn)行實(shí)驗(yàn)結(jié)果對(duì)比，評(píng)測(cè)指標(biāo)Score結(jié)果如表5所示。

表5 模型評(píng)測(cè)Score結(jié)果與效率

由表5的實(shí)驗(yàn)結(jié)果顯示，文中算法Score得分為6.412，模型運(yùn)行時(shí)間為8分鐘，對(duì)比LightGBM模型Score提高了5.412個(gè)百分點(diǎn)。為了進(jìn)一步對(duì)比預(yù)測(cè)準(zhǔn)確度，對(duì)預(yù)處理后的40 000條有效數(shù)據(jù)采用5次五折交叉驗(yàn)證[21]，分別建立信用評(píng)分模型，結(jié)果如表6所示。

表6 五折交叉驗(yàn)證的預(yù)測(cè)準(zhǔn)確度對(duì)比 %

圖2為4種模型的ROC[22]曲線圖。在ROC空間中，ROC曲線下的面積為AUC值，AUC值介于0和1之間，AUC的值越高則模型信用評(píng)估性能越好。從圖中可以看出，在相同的數(shù)據(jù)集與實(shí)驗(yàn)設(shè)備下，K-LGB模型表現(xiàn)出了較好的信用評(píng)估性能，AUC值為0.85，較LightGBM模型提高了0.15。

圖2 模型ROC曲線

該實(shí)驗(yàn)結(jié)果表明，文中算法評(píng)測(cè)結(jié)果和預(yù)測(cè)準(zhǔn)確度優(yōu)于其他算法，證實(shí)了算法的可行性和有效性。為了方便觀察實(shí)驗(yàn)結(jié)果，執(zhí)行效率以分鐘為單位，由于評(píng)測(cè)結(jié)果值為百分位小數(shù)，評(píng)測(cè)結(jié)果值放大100倍。把K-means算法與LightGBM算法相融合的模型稱為K-LGB，K-means算法與XGBoost算法相融合的模型稱為K-XGB。

4 結(jié)束語(yǔ)

基于線性相關(guān)性分析結(jié)果進(jìn)行聚類分析，充分挖掘數(shù)據(jù)特征，以LightGBM算法為典型的大數(shù)據(jù)技術(shù)，進(jìn)行中國(guó)移動(dòng)用戶信用分預(yù)測(cè)。在數(shù)據(jù)預(yù)處理方面，針對(duì)數(shù)據(jù)缺失問(wèn)題采用還原為NaN的方法，針對(duì)數(shù)據(jù)首尾異常值問(wèn)題采用設(shè)置上下限的方法。在數(shù)據(jù)集大樣本、高維度的環(huán)境下，與GBDT、XGBoost等算法進(jìn)行對(duì)比，結(jié)果表明該算法具有較好的預(yù)測(cè)準(zhǔn)確度和計(jì)算效率，適合處理大規(guī)模數(shù)據(jù)。