基于社交網(wǎng)絡(luò)分析和XGBoost算法的互聯(lián)網(wǎng)客戶流失預(yù)測研究*

王重仁，韓冬梅

(上海財經(jīng)大學(xué) 信息管理與工程學(xué)院，上海 200433)

基于社交網(wǎng)絡(luò)分析和XGBoost算法的互聯(lián)網(wǎng)客戶流失預(yù)測研究*

王重仁，韓冬梅

(上海財經(jīng)大學(xué) 信息管理與工程學(xué)院，上海 200433)

針對互聯(lián)網(wǎng)行業(yè)的客戶流失預(yù)測問題，提出了一種社交網(wǎng)絡(luò)分析和機(jī)器學(xué)習(xí)相結(jié)合的客戶流失預(yù)測方法?？紤]到社交活動對用戶流失的影響，首先采用社交網(wǎng)絡(luò)分析方法從用戶社交數(shù)據(jù)中提取特征，然后使用XGBoost(Extreme Gradient Boosting)算法來進(jìn)行客戶流失預(yù)測，最后將該方法與其他機(jī)器學(xué)習(xí)算法(Logistic回歸、支持向量機(jī)和隨機(jī)森林)進(jìn)行比較。實驗結(jié)果表明，所提出的社交網(wǎng)絡(luò)分析和XGBoost相結(jié)合的客戶流失預(yù)測方法優(yōu)于傳統(tǒng)方法。

客戶流失預(yù)測；社交網(wǎng)絡(luò)分析；機(jī)器學(xué)習(xí)；XGBoost

0 引言

近年來，國內(nèi)互聯(lián)網(wǎng)行業(yè)發(fā)展迅速，市場競爭越來越激烈，同時，隨著市場的逐漸飽和，獲取新客戶變得越來越困難。因為獲取一個新客戶的成本遠(yuǎn)遠(yuǎn)大于留存一個現(xiàn)有客戶的成本[1]，因此，越來越多的企業(yè)關(guān)注客戶留存，客戶留存可以維系客戶關(guān)系，有效延長客戶生命周期[2]。

客戶留存的關(guān)鍵點(diǎn)在于防止客戶流失，客戶流失是指客戶終止或者顯著減少使用企業(yè)提供的產(chǎn)品或服務(wù)，而轉(zhuǎn)向了其他企業(yè)[1]?？蛻袅魇Ｐ偷膶嵸|(zhì)是基于客戶的人口統(tǒng)計特征、歷史行為等信息，建立流失預(yù)測模型，計算客戶的流失概率。進(jìn)行潛在流失客戶的預(yù)測分析并制定有針對性的挽留策略，能夠減少企業(yè)客戶流失率和利潤損失[3]。

目前客戶流失預(yù)測研究中，大多專注于研究客戶個體行為，沒有考慮用戶之間關(guān)系的影響。近幾年，在一些研究中，社交網(wǎng)絡(luò)分析方法開始應(yīng)用于客戶流失預(yù)測模型，并且研究表明，考慮社交網(wǎng)絡(luò)影響后模型預(yù)測能力得到了提升[4]。這種方法是從社交網(wǎng)絡(luò)中提取特征作為變量，然后結(jié)合其他的特征，使用機(jī)器學(xué)習(xí)分類算法來進(jìn)行預(yù)測。比如，Benedek等人[5]利用社交網(wǎng)絡(luò)分析來進(jìn)行電信行業(yè)客戶流失預(yù)測研究。

隨著經(jīng)濟(jì)與社會的發(fā)展，數(shù)據(jù)挖掘技術(shù)廣泛應(yīng)用到各個領(lǐng)域[6]。近年來，陳天奇[7]對GBDT(Gradient Boosting Decision Tree)算法進(jìn)行改進(jìn)，提出了一種設(shè)計高效、靈活并且可移植性強(qiáng)的最優(yōu)分布式?jīng)Q策梯度提升庫(Extreme Gradient Boosting，XGBoost)，該算法曾經(jīng)在國外數(shù)據(jù)競賽平臺Kaggle的比賽中多次取得了最好的成績。目前該算法已被用于銀行破產(chǎn)預(yù)測[8]、網(wǎng)絡(luò)入侵檢測[9]等領(lǐng)域，然而目前尚未有研究將該算法用于用戶流失預(yù)測。

本文以國內(nèi)一家互聯(lián)網(wǎng)金融平臺為研究對象。在互聯(lián)網(wǎng)金融行業(yè)，為更好地吸引新用戶注冊，一般都會建立一套好友推薦獎勵機(jī)制，這種好友推薦行為就構(gòu)成一個復(fù)雜的社交網(wǎng)絡(luò)。隨著互聯(lián)網(wǎng)行業(yè)中好友推薦數(shù)據(jù)的不斷積累，這部分?jǐn)?shù)據(jù)中隱藏了大量有價值的信息，因此如何深入挖掘這部分信息的價值，以此來提升流失模型的預(yù)測能力，是一個值得研究的問題。

1 方法

1.1 變量

本文將變量分為兩類：個體變量和社會網(wǎng)絡(luò)變量。個體變量包括用戶的基本信息和用戶行為變量，這些變量描述用戶的個體特征，未考慮個體之間的關(guān)聯(lián)信息。相反，社會網(wǎng)絡(luò)變量考慮了用戶之間的關(guān)聯(lián)信息。

個體變量分為用戶基本信息變量和用戶行為變量。用戶基本信息變量包括：性別、年齡和地區(qū)。行為變量是從用戶的交易行為數(shù)據(jù)中提取的變量，包括：時間長度、頻率、金額、間隔時間4類，共計12個變量。變量如表1所示。

表1 變量列表

社交網(wǎng)絡(luò)變量對于模型的預(yù)測效果的提升可以解釋為社交網(wǎng)絡(luò)同質(zhì)性。同質(zhì)性是指人們傾向于與自己具有相似特征的個體成為朋友，它可以用來預(yù)測互動頻繁的人之間的相似性或者預(yù)測具有相似行為的人之間的交互行為[10]。

社交網(wǎng)絡(luò)結(jié)構(gòu)由結(jié)點(diǎn)和邊組成，其中結(jié)點(diǎn)表示用戶，而邊(結(jié)點(diǎn)之間的連接)則表示用戶之間建立的關(guān)系，社交網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)用圖G=(V,E)表示，其中n=|V|表示結(jié)點(diǎn)數(shù)；vi表示結(jié)點(diǎn)i；eij表示結(jié)點(diǎn)i和j之間的邊；A表示圖的鄰接矩陣。

中心性定義了網(wǎng)絡(luò)中一個結(jié)點(diǎn)的重要性。本文選擇常用的度中心性、特征向量中心性和中間中心性作為變量。最直接的中心性度量方式是度中心性，是在網(wǎng)絡(luò)分析中刻畫結(jié)點(diǎn)中心性的最直接度量指標(biāo)。一個結(jié)點(diǎn)的結(jié)點(diǎn)度越大就意味著這個結(jié)點(diǎn)的度中心性越高，該結(jié)點(diǎn)在網(wǎng)絡(luò)中就越重要。

結(jié)點(diǎn)vi的度中心性Cd為：

(1)

其中n代表結(jié)點(diǎn)數(shù)。

本文使用圖的鄰接矩陣A記錄鄰居結(jié)點(diǎn)，設(shè)Ce(vi)表示結(jié)點(diǎn)vi的特征向量中心性，該值是其鄰居結(jié)點(diǎn)中心性的函數(shù)，并且在它的鄰居結(jié)點(diǎn)中心性的總和中占一定的比例：

(2)

其中，ρ是某個固定的常量。

中間中心性考慮結(jié)點(diǎn)在連接其他結(jié)點(diǎn)時所表現(xiàn)出的重要性。首先計算其他結(jié)點(diǎn)通過結(jié)點(diǎn)vi的最短路徑數(shù)目：

(3)

其中σst代表從結(jié)點(diǎn)s到結(jié)點(diǎn)t的最短路徑的數(shù)目，σst(vi)是從結(jié)點(diǎn)s到t經(jīng)過vi的最短路徑數(shù)目，這種度量方法稱為中間中心性。

(4)

最后共選擇了7個社交網(wǎng)絡(luò)變量，社交網(wǎng)絡(luò)變量如表1所示。

1.2 算法

GBDT是2001年Friedman等人提出的一種Boosting算法。它是一種迭代的決策樹算法，該算法由多棵決策樹組成，所有樹的結(jié)論加起來作為最終答案。XGBoost是一種改進(jìn)的GBDT算法[7]，該算法與GBDT有很大的區(qū)別[9]。GBDT在優(yōu)化時只用到一階導(dǎo)數(shù)，XGBoost則同時用到了一階導(dǎo)數(shù)和二階導(dǎo)數(shù)，同時算法在目標(biāo)函數(shù)里將樹模型復(fù)雜度作為正則項，用以避免過擬合。

XGBoost算法目標(biāo)函數(shù)：

(5)

根據(jù)泰勒展開式：

(6)

同時令：

(7)

決策樹復(fù)雜度計算公式：

(8)

將式(6)、 (7)、 (8)代入式(5)，求得目標(biāo)函數(shù)：

(9)

(10)

(11)

利用式(11)來尋找出一個最優(yōu)結(jié)構(gòu)的樹，加入到模型中，通常情況下枚舉出所有可能的樹結(jié)構(gòu)是不可能的，因此使用貪心算法來尋找最優(yōu)樹結(jié)構(gòu)。

決策樹分割時，增益計算公式如下：

Gain(φ)=

(12)

在樹的學(xué)習(xí)中一個關(guān)鍵問題是根據(jù)式(12)找到最優(yōu)的分割方案，也就是一種分割尋找算法，這個算法稱為精確貪心算法。

在本文中，為了證明XGBoost在用戶流失預(yù)測問題上的優(yōu)越性，選擇了三個在客戶流失預(yù)測研究中常用的算法進(jìn)行對比：Logistic回歸(LR)、支持向量機(jī)(SVM)、隨機(jī)森林(RF)。

1.3 評價指標(biāo)

樣本實際狀態(tài)和預(yù)測狀態(tài)對比如表2所示。

表2 分類結(jié)果混淆矩陣

準(zhǔn)確率和提升系數(shù)計算公式：

(13)

(14)

提升系數(shù)是指使用模型的預(yù)測能力與不用模型相比，預(yù)測能力提高的倍數(shù)。因互聯(lián)網(wǎng)用戶較多，在企業(yè)資源有限的情況，企業(yè)只能選擇流失率最高的一部分用戶來進(jìn)行客戶挽留措施，因此本文選擇客戶流失研究領(lǐng)域中常用的Lift(10%)作為本文的一個評價指標(biāo)，該指標(biāo)側(cè)重衡量流失風(fēng)險最高的那一部分用戶。該指標(biāo)首先將用戶按照算法預(yù)測的流失概率進(jìn)行排序，然后選擇概率前10%用戶，計算這部分用戶的實際命中率(TP/(TP+FP))，最后用命中率除以總數(shù)據(jù)中的流失人數(shù)比例即得到Lift(10%)值。

ROC(Receiver Operating Characteristic)和AUC(Area under Curve)指標(biāo)。首先計算真陽性率(TPR)和假陽性率(FPR)的值，然后以FPR和TPR為坐標(biāo)形成折線圖，即ROC曲線。

(15)

(16)

ROC曲線越靠近左上角，分類模型的準(zhǔn)確性就越高。AUC是ROC曲線下方的面積，AUC越大，代表模型分類性能越好。

2 結(jié)果

2.1 數(shù)據(jù)預(yù)處理

本文數(shù)據(jù)來源于國內(nèi)一家互聯(lián)網(wǎng)金融平臺，本文獲得的數(shù)據(jù)共包含4 143條用戶數(shù)據(jù)信息。數(shù)據(jù)包含用戶的基本信息、交易行為數(shù)據(jù)和社交數(shù)據(jù)。

將數(shù)據(jù)分為觀察期和預(yù)測期兩個時間段，最后選定了10個月的數(shù)據(jù)來進(jìn)行流失預(yù)測研究，前7個月為觀察期，接下來的3個月作為預(yù)測期。利用觀察期的數(shù)據(jù)進(jìn)行模型訓(xùn)練，預(yù)測期的數(shù)據(jù)只用于建立目標(biāo)變量標(biāo)簽。根據(jù)公司業(yè)務(wù)的實際情況，將流失用戶定義為：用戶預(yù)測期內(nèi)無任何交易記錄并且用戶賬戶內(nèi)無余額。

本文首先基于用戶邀請關(guān)系，使用社交網(wǎng)絡(luò)分析軟件構(gòu)建社交網(wǎng)絡(luò)，然后計算網(wǎng)絡(luò)指標(biāo)并輸出，從用戶交易行為數(shù)據(jù)中提取行為變量，最后將所有的變量進(jìn)行合并。將類別型變量，如性別，轉(zhuǎn)換為One-hot編碼，同時將連續(xù)型變量進(jìn)行了Z-score標(biāo)準(zhǔn)化處理。

為了對比網(wǎng)絡(luò)變量對于模型的預(yù)測能力的提升，本文將數(shù)據(jù)集劃分為兩類，一類為不包含網(wǎng)絡(luò)變量的數(shù)據(jù)集，另一類為包含所有變量的數(shù)據(jù)集。在這兩類不同的數(shù)據(jù)集上分別運(yùn)行模型。

2.2 結(jié)果分析

實驗結(jié)果如表3和表4所示，表中顯示了4種模型在不同數(shù)據(jù)集上實驗結(jié)果的準(zhǔn)確率、AUC值、提升系數(shù)。從表中可以看到，對于兩類數(shù)據(jù)集，XGBoost都具有最高的準(zhǔn)確率、AUC值和提升系數(shù)，隨機(jī)森林次之，SVM和邏輯回歸效果較差。同時從圖1和圖2可以看到，XGBoost的ROC曲線始終處于最左上方，這表明XGBoost具有最好的客戶流失預(yù)測性能。

表3 算法運(yùn)行結(jié)果(不包含網(wǎng)絡(luò)變量數(shù)據(jù)集)

表4 算法運(yùn)行結(jié)果(包含所有變量數(shù)據(jù)集)

圖1 ROC曲線(不包含網(wǎng)絡(luò)變量數(shù)據(jù)集)

圖2 ROC曲線(包含所有變量數(shù)據(jù)集)

對于兩個數(shù)據(jù)集而言，不同分類算法在包含網(wǎng)絡(luò)變量的數(shù)據(jù)集上的表現(xiàn)普遍優(yōu)于不包含網(wǎng)絡(luò)變量數(shù)據(jù)集上的表現(xiàn)，其中準(zhǔn)確率提升2.5%～5.3%，AUC提升2.1%～4.4%，Lift(10%)提升8.1%～9.8%。對于所有模型而言，包含網(wǎng)絡(luò)變量的XGBoost模型預(yù)測效果最佳。

3 結(jié)論

本文針對互聯(lián)網(wǎng)行業(yè)的客戶流失預(yù)測問題，提出了一種社交網(wǎng)絡(luò)分析和機(jī)器學(xué)習(xí)相結(jié)合的客戶流失預(yù)測方法，首先采用社交網(wǎng)絡(luò)分析方法從用戶社交數(shù)據(jù)中提取特征，將社交網(wǎng)絡(luò)特征作為用戶流失預(yù)測的輸入變量，然后使用XGBoost算法來對客戶流失進(jìn)行預(yù)測，最后將該方法與其他機(jī)器學(xué)習(xí)算法進(jìn)行比較。

實驗結(jié)果表明，XGBoost模型的客戶流失預(yù)測性能要優(yōu)于其他模型的預(yù)測性能。進(jìn)一步而言，包含網(wǎng)絡(luò)變量的模型表現(xiàn)性能均優(yōu)于不包含網(wǎng)絡(luò)變量的模型表現(xiàn)性能，從而說明，社交網(wǎng)絡(luò)分析和XGBoost相結(jié)合的客戶流失預(yù)測方法優(yōu)于傳統(tǒng)方法。本文提出的客戶流失模型有助于互聯(lián)網(wǎng)企業(yè)開發(fā)不同的留存策略，針對流失用戶采取措施，以更好地挽留用戶。

[1] HADDEN J, TIWARI A, ROY R, et al. Computer assisted customer churn management: State-of-the-art and future trends[J]. Computers & Operations Research, 2007, 34(10): 2902-2917.

[2] 文篤石. 基于數(shù)據(jù)倉庫的客戶挽留系統(tǒng)[J]. 微型機(jī)與應(yīng)用, 2015, 34(18): 11-13.

[3] 徐子偉,王傳啟,王鵬，等.基于分步特征提取和組合分類器的電信客戶流失預(yù)測模型[J].微型機(jī)與應(yīng)用,2016,35(13):51-54.

[4] OSKARSDOTTIR M, BRAVO C, VERBEKE W, et al. A comparative study of social network classifiers for predicting churn in the telecommunication industry[C].IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining, 2016: 1151-1158.

[5] BENEDEK G, LUBLY, VASTAG G. The importance of social embeddedness: churn models at mobile providers[J]. Decision Sciences, 2014, 45(1): 175-201.

[6] 黃海新, 吳迪, 文峰. 決策森林研究綜述[J]. 電子技術(shù)應(yīng)用, 2016, 42(12): 5-9.

[7] CHEN T, GUESTRIN C. XGBoost: a scalable tree boosting system[C]. ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2016: 785-794.

[8] ZIEBA M, TOMCZAK S K, TOMCZAK J M. Ensemble boosted trees with synthetic features generation in application to bankruptcy prediction[M].Pergamon Press,Inc.,2016.

[9] 封化民, 李明偉, 侯曉蓮,等. 基于SMOTE和GBDT的網(wǎng)絡(luò)入侵檢測方法研究 [J/OL].(2017-01-23)[2017-04-30].http://www.cnki.net/kcms/detail/51.1196.TP.20170123.1559.090.html

[10] OSKARSDOTTIR M, BRAVO C, VERBEKE W, et al. A comparative study of social network classifiers for predicting churn in the telecommunication industry[C]. IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining. IEEE, 2016: 1151-1158.

A study on Internet customer churn prediction based on social network analysis and XGBoost

Wang Chongren, Han Dongmei

(Department of Information Management and Engineering, Shanghai University of Finance and Economics, Shanghai 200433, China)

In this paper, a method of customer churn prediction in the Internet industry is proposed, which is based on the combination of social network analysis and machine learning. Considering the influence of social activities for churn, firstly, social network analysis is used to extract features from the user's social data, then XGBoost (Extreme Gradient Boosting) is used to predict customer churn. Finally, the proposed method is compared with other machine learning algorithms (suoh as Logistic regression, support vector machine, and random forest). The experimental results show that the combination of social network analysis and XGBoost is better than the traditional method of customer churn prediction.

customer churn prediction; social network analysis; machine learning; extreme gradient boosting

TP391

A

10.19358/j.issn.1674- 7720.2017.23.017

王重仁，韓冬梅.基于社交網(wǎng)絡(luò)分析和XGBoost算法的互聯(lián)網(wǎng)客戶流失預(yù)測研究[J].微型機(jī)與應(yīng)用，2017,36(23)：58-61.

上海財經(jīng)大學(xué)研究生教育創(chuàng)新計劃項目(2015111101)

2017-05-09)

王重仁(1984-)，男，博士研究生，主要研究方向：數(shù)據(jù)挖掘。

韓冬梅(1961-)，女，博士生導(dǎo)師，教授，主要研究方向：經(jīng)濟(jì)分析與預(yù)測。