基于機(jī)器學(xué)習(xí)的用戶升級(jí)預(yù)判研究

高 和，籍漢超，陳 玲（.中國(guó)聯(lián)通研究院，北京 00048；.億覽在線網(wǎng)絡(luò)技術(shù)(北京)有限公司，北京000）

0 前言

隨著數(shù)據(jù)“爆炸式”增長(zhǎng)的信息時(shí)代的到來(lái)，運(yùn)用人工智能技術(shù)從海量數(shù)據(jù)中獲取價(jià)值信息，進(jìn)而推動(dòng)業(yè)務(wù)發(fā)展、支撐運(yùn)營(yíng)決策，已成為企業(yè)發(fā)展的關(guān)鍵。例如，今日頭條既沒(méi)有傳統(tǒng)媒體的內(nèi)容優(yōu)勢(shì)，也沒(méi)有門(mén)戶網(wǎng)站的海量用戶資源，卻憑借數(shù)據(jù)挖掘和個(gè)性化推薦技術(shù)迅速崛起，成為移動(dòng)端資訊市場(chǎng)中的一匹“黑馬”；網(wǎng)易云音樂(lè)雖然在音樂(lè)版權(quán)方面不具優(yōu)勢(shì)，并受到阿里與騰訊兩大巨頭的夾擊，但憑借精準(zhǔn)多樣的推薦和基于大數(shù)據(jù)的優(yōu)質(zhì)運(yùn)營(yíng)，在中國(guó)數(shù)字音樂(lè)市場(chǎng)占有著一席之地。

對(duì)于通信運(yùn)營(yíng)商而言，覆蓋全國(guó)的移動(dòng)網(wǎng)絡(luò)承載著上億級(jí)用戶，人工智能中的機(jī)器學(xué)習(xí)工具可幫助運(yùn)營(yíng)商分析用戶特征、建立用戶畫(huà)像。目前，運(yùn)營(yíng)商在用戶性別及年齡判斷、用戶離網(wǎng)預(yù)測(cè)、用戶網(wǎng)絡(luò)滿意度分析等方面已經(jīng)形成了一些研究成果，這些成果對(duì)企業(yè)了解用戶，制定用戶維系挽留策略，制定感知提升策略提供了依據(jù)，體現(xiàn)了機(jī)器學(xué)習(xí)的應(yīng)用價(jià)值。

當(dāng)然，這些研究成果遠(yuǎn)遠(yuǎn)不夠，還有更多的領(lǐng)域需要人工智能的協(xié)助支撐，例如，在用戶變更業(yè)務(wù)套餐的意向方面，目前還鮮有研究。如果能事先洞察用戶的套餐變更需求，甄選出其中需要升級(jí)套餐內(nèi)容和價(jià)格的用戶，就能夠提升營(yíng)銷推薦的精準(zhǔn)度，增強(qiáng)關(guān)懷服務(wù)的主動(dòng)性，提高用戶向高ARPU 套餐的轉(zhuǎn)化率。鑒于此，本文在綜合應(yīng)用邏輯回歸、因式分解機(jī)、深度神經(jīng)網(wǎng)絡(luò)3種機(jī)器學(xué)習(xí)算法的基礎(chǔ)上，提出用戶是否會(huì)向高ARPU 套餐升級(jí)的預(yù)判模型，并使用移動(dòng)網(wǎng)絡(luò)業(yè)務(wù)域的真實(shí)用戶數(shù)據(jù)驗(yàn)證了模型的有效性與準(zhǔn)確性。

1 機(jī)器學(xué)習(xí)算法

在預(yù)測(cè)移動(dòng)用戶變更套餐的意向時(shí)，本文將其轉(zhuǎn)化為一個(gè)二分類問(wèn)題，即套餐升級(jí)與否，常用的分類模型有：以邏輯回歸算法為代表的線性模型、以梯度提升樹(shù)為代表的樹(shù)模型、以樸素貝葉斯為代表的貝葉斯模型、以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型等。不同模型適合于不同的場(chǎng)景：線性模型相對(duì)簡(jiǎn)單，計(jì)算量小，更適合輸入特征多、樣本數(shù)據(jù)量大的場(chǎng)景，但如果特征線性可分性差，則容易欠擬合；樹(shù)模型的優(yōu)勢(shì)在于可解釋性強(qiáng)，非線性擬合效果好，但對(duì)于缺失數(shù)據(jù)十分敏感，不適用于特征量超大的場(chǎng)景；貝葉斯模型在小規(guī)模數(shù)據(jù)上表現(xiàn)較好，如果數(shù)據(jù)規(guī)模很大，一般建議使用其他模型；近年來(lái)，隨著云計(jì)算的發(fā)展，計(jì)算能力得到了前所未有的增強(qiáng)，計(jì)算量很大但表現(xiàn)能力很強(qiáng)的深度學(xué)習(xí)模型得到了越來(lái)越多的應(yīng)用。

工信部統(tǒng)計(jì)的移動(dòng)電話普及率已經(jīng)超過(guò)了100%，運(yùn)營(yíng)商擁有上億級(jí)的移動(dòng)用戶信息和海量的用戶行為數(shù)據(jù)。這部分?jǐn)?shù)據(jù)分為2 類，一類是連續(xù)特征數(shù)據(jù)，另一類是離散特征數(shù)據(jù)。連續(xù)特征可以經(jīng)過(guò)簡(jiǎn)單的處理直接輸入到機(jī)器學(xué)習(xí)模型，但離散特征——比如用戶職業(yè)特征（教師、工人、職員等），則需要獨(dú)熱（One-hot）編碼數(shù)字化處理后才能輸入。One-hot 編碼，即使用N位狀態(tài)寄存器來(lái)對(duì)N個(gè)狀態(tài)進(jìn)行編碼，比如使用［1，0，0，...］代表教師、［0，1，0，...］代表工人等等。經(jīng)過(guò)獨(dú)熱處理后，一維特征會(huì)轉(zhuǎn)化為多維特征，而維度的個(gè)數(shù)跟離散特征的取值個(gè)數(shù)有關(guān)，其中大部分取值為零，因此會(huì)產(chǎn)生嚴(yán)重的特征稀疏問(wèn)題。

因此，本文選取了較為經(jīng)典的、適用于大規(guī)模數(shù)據(jù)和稀疏特征的3 種分類算法（邏輯回歸、因式分解機(jī)、深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)）進(jìn)行研究對(duì)比。

1.1 邏輯回歸

邏輯回歸（LR——Logic Regression）是傳統(tǒng)機(jī)器學(xué)習(xí)中的一種分類模型。邏輯回歸以樣本特征的線性組合作為自變量，使用sigmoid 函數(shù)將自變量映射到（0，1）上，其預(yù)測(cè)函數(shù)為：

模型假設(shè)預(yù)測(cè)函數(shù)的值即為結(jié)果為1的概率。

邏輯回歸算法參數(shù)個(gè)數(shù)較少，具有計(jì)算量小、計(jì)算速度快、占用存儲(chǔ)資源少、易于并行等特點(diǎn)，在處理超多維度特征問(wèn)題上有獨(dú)到的優(yōu)勢(shì)，在生產(chǎn)環(huán)境中有非常廣泛的應(yīng)用空間。但模型本身一方面對(duì)特征與預(yù)測(cè)結(jié)果的線性相關(guān)性依賴性很高，另一方面無(wú)法表達(dá)特征直接的組合關(guān)系，因此對(duì)人工特征處理提出比較高的要求。

1.2 因式分解機(jī)

因式分解機(jī)（FM——Factorization Machine）是對(duì)邏輯回歸模型的擴(kuò)展。因式分解機(jī)基于邏輯回歸，加入了特征兩兩交叉的交叉項(xiàng)，其自變量擴(kuò)展為：

為適應(yīng)高維稀疏特征，基于矩陣分解原理提出隱藏矩陣v代替參數(shù)矩陣Θ，令

其中m為隱藏矩陣深度，可以根據(jù)實(shí)際情況進(jìn)行調(diào)整。

在一般的線性模型中，各個(gè)特征是獨(dú)立考慮的，沒(méi)有考慮特征與特征之間的相互關(guān)系。但實(shí)際上，大量的特征之間是有關(guān)聯(lián)的。以用戶年齡與終端類型為例，一般年輕人關(guān)注手機(jī)的運(yùn)行內(nèi)存，并樂(lè)意購(gòu)買新上市的機(jī)型，而老人可能更偏愛(ài)蓄電時(shí)間長(zhǎng)、功能簡(jiǎn)易的機(jī)型。很明顯，用戶年齡特征與終端類型特征之間有一定關(guān)聯(lián)關(guān)系。與線性模型相比，因式分解機(jī)能夠找出有關(guān)聯(lián)的特征組合，顯然是很有意義的。

1.3 神經(jīng)網(wǎng)絡(luò)模型

邏輯回歸等淺層學(xué)習(xí)模型雖然簡(jiǎn)單有效，但是一個(gè)重要特點(diǎn)是依靠人工經(jīng)驗(yàn)預(yù)先提取出樣本數(shù)據(jù)的特征，特征提取的好壞就成為影響整個(gè)模型系統(tǒng)性能的重要因素，為此，通常需要開(kāi)發(fā)人員耗費(fèi)精力、深入理解待解決的問(wèn)題，才能提取出合適的特征以便淺層模型處理。

深度學(xué)習(xí)，其實(shí)質(zhì)就是包含很多隱層結(jié)構(gòu)的機(jī)器學(xué)習(xí)模型。層次化的結(jié)構(gòu)使其可以通過(guò)學(xué)習(xí)和組合低層特征，形成更為深層意義、更加抽象的高層特征，最后得到數(shù)據(jù)的分布式特征表示的一種特殊網(wǎng)絡(luò)模型。和人工特征提取方法相比，深度學(xué)習(xí)通過(guò)大量數(shù)據(jù)訓(xùn)練提取特征對(duì)數(shù)據(jù)中的豐富內(nèi)在信息更有代表性，從而提高了分類和預(yù)測(cè)的精度。

深度學(xué)習(xí)最基礎(chǔ)的模型為神經(jīng)網(wǎng)絡(luò)（NN——Neu?ral Network）。神經(jīng)網(wǎng)絡(luò)可看作一系列邏輯回歸的網(wǎng)狀組合，圖1展示了一個(gè)三層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，圖中節(jié)點(diǎn)的計(jì)算方式為：

其中g(shù)(*)與f(*)為激活函數(shù)，可能為sigmoid 函數(shù)，也可能根據(jù)實(shí)際需要調(diào)整為其他形式。

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

從網(wǎng)絡(luò)連接關(guān)系可以看出，如果選取的激活函數(shù)是非線性函數(shù)，只要網(wǎng)絡(luò)結(jié)構(gòu)足夠復(fù)雜，神經(jīng)網(wǎng)絡(luò)可以表示任意的非線性和特征組合關(guān)系。

2 用戶升級(jí)預(yù)判模型

2.1 系統(tǒng)建立

本文數(shù)據(jù)集來(lái)自移動(dòng)網(wǎng)絡(luò)業(yè)務(wù)域的用戶數(shù)據(jù)。采用用戶畫(huà)像特征（省份、性別、年齡、職業(yè)、手機(jī)等）、2018 年某月的用戶運(yùn)營(yíng)信息（套餐、VIP 級(jí)別、付費(fèi)類型等）、和該月份用戶消費(fèi)情況（月話費(fèi)、月流量值、月通話時(shí)長(zhǎng)等），共70 個(gè)維度作為用戶特征。由于沒(méi)有進(jìn)行實(shí)地推廣實(shí)驗(yàn)，所以采用一年后該月份仍在網(wǎng)、轉(zhuǎn)換了套餐、并且該月總流量大于等于30 GB 并且消費(fèi)大于等于129 元（5G 最低消費(fèi)套餐標(biāo)準(zhǔn)）的用戶近似作為正樣本，取得數(shù)據(jù)共1 000 萬(wàn)條。用戶升級(jí)預(yù)判系統(tǒng)的整體處理流程如圖2所示。

圖2 用戶升級(jí)預(yù)判系統(tǒng)流程

2.2 數(shù)據(jù)清洗和特征處理

首先進(jìn)行數(shù)據(jù)清洗：部分用戶并沒(méi)有任何升級(jí)意向，如行業(yè)用戶、合約一年后仍在期用戶等需要剔除；還有部分用戶活躍度很低，（對(duì)于預(yù)測(cè)目標(biāo)）升級(jí)幾率很小，比如每月話費(fèi)小于40 元、月流量小于100 MB 的用戶，也將其去除。最終剩余樣本數(shù)140.88 萬(wàn)條，其中正樣本2.21萬(wàn)條，其余為負(fù)樣本。

然后根據(jù)樣本特征的不同類型分別進(jìn)行處理。對(duì)于離散值特征，如性別、職業(yè)等，先將其標(biāo)簽轉(zhuǎn)化為數(shù)字，然后再使用獨(dú)熱編碼將一維特征轉(zhuǎn)化為多維。比較特殊的是，有些特征可能包含的標(biāo)簽種類很多，而長(zhǎng)尾標(biāo)簽包含的樣本又很少（如手機(jī)型號(hào)），此時(shí)需要截取頭部標(biāo)簽再進(jìn)行獨(dú)熱編碼，其余長(zhǎng)尾標(biāo)簽統(tǒng)一編碼為未知。對(duì)于連續(xù)值特征，如年齡、月流量值等，有2 種處理方式：對(duì)于年齡等數(shù)值大小對(duì)比非線性的特征，按高低分為若干個(gè)區(qū)間，等同于離散特征，將各數(shù)值區(qū)間進(jìn)行獨(dú)熱編碼；對(duì)于數(shù)值相對(duì)線性度較高的特征，可以剔除一部分（比如頭部2%）的異常值，然后使用最大值-最小值法進(jìn)行歸一化處理。本文采用的數(shù)據(jù)集中每條樣本收集到原始特征共77個(gè)，經(jīng)過(guò)獨(dú)熱編碼處理后，每條樣本的特征維度擴(kuò)展為18 959維。

2.3 訓(xùn)練集、驗(yàn)證集和測(cè)試集

將樣本數(shù)據(jù)按比例7∶2∶1 分為3 份，分別作為訓(xùn)練集、驗(yàn)證集和測(cè)試集，如表1所示。其中訓(xùn)練集用來(lái)對(duì)模型進(jìn)行訓(xùn)練；驗(yàn)證集則在訓(xùn)練過(guò)程中對(duì)訓(xùn)練模型進(jìn)行驗(yàn)證，提前終止訓(xùn)練，令模型保持在最優(yōu)狀態(tài)；測(cè)試集則對(duì)各個(gè)模型進(jìn)行評(píng)估。由于正負(fù)樣本數(shù)量相差懸殊（達(dá)到1∶62），直接輸入模型，如果模型將所有樣本都預(yù)測(cè)為負(fù)樣本，則準(zhǔn)確率就能達(dá)到98.3%，顯然不是期望的目標(biāo)。因此在訓(xùn)練過(guò)程中，一般對(duì)負(fù)樣本進(jìn)行隨機(jī)采樣，使得正負(fù)樣本比例達(dá)到1∶1。測(cè)試集則不需要采樣處理。

表1 數(shù)據(jù)集劃分

2.4 模型參數(shù)設(shè)定

本文使用邏輯回歸、因式分解機(jī)與四層神經(jīng)網(wǎng)絡(luò)來(lái)訓(xùn)練模型。設(shè)定：因式分解機(jī)的隱藏矩陣深度為32，神經(jīng)網(wǎng)絡(luò)隱藏層層數(shù)為2，每層節(jié)點(diǎn)數(shù)大小分別為256 與32，學(xué)習(xí)率（Learning Rate）為0.02，使用隨機(jī)梯度下降（Stochastic Gradient Descent）優(yōu)化算法，批處理大?。˙atch Size）32，累積訓(xùn)練50輪次。各模型超參數(shù)量和可訓(xùn)練參數(shù)量（一定程度上代表模型復(fù)雜度）對(duì)比如表2所示。

3 模型結(jié)果分析

圖3 與圖4 比較了邏輯回歸、因式分解機(jī)、神經(jīng)網(wǎng)絡(luò)3 個(gè)模型在訓(xùn)練過(guò)程中，訓(xùn)練數(shù)據(jù)集的準(zhǔn)確率與驗(yàn)證數(shù)據(jù)集準(zhǔn)確率變化情況。

可見(jiàn)，越復(fù)雜的模型（一般等同于可訓(xùn)練參數(shù)更多的模型），最大準(zhǔn)確率越高。在驗(yàn)證集上，神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率可達(dá)84.35%，而邏輯回歸的準(zhǔn)確率最高只有82.84%。并且越復(fù)雜的模型收斂速度也越快。神經(jīng)網(wǎng)絡(luò)可以在第1 次迭代后就達(dá)到了80%的準(zhǔn)確率，因式分解機(jī)需要3 次迭代，邏輯回歸則需要5 次。同時(shí)，越復(fù)雜的模型，在訓(xùn)練過(guò)程中也愈加不穩(wěn)定，也更可能達(dá)到過(guò)擬合狀態(tài)（即訓(xùn)練集準(zhǔn)確率上升，驗(yàn)證集準(zhǔn)確率不再上升或下降）。

圖3 基于訓(xùn)練數(shù)據(jù)集的模型準(zhǔn)確率對(duì)比

圖4 基于驗(yàn)證數(shù)據(jù)集的模型準(zhǔn)確率對(duì)比

由于模型最簡(jiǎn)單，邏輯回歸模型基本沒(méi)有出現(xiàn)過(guò)擬合狀態(tài)，訓(xùn)練集準(zhǔn)確率和驗(yàn)證集準(zhǔn)確率基本一直在增長(zhǎng)，并且相差不大。與之對(duì)比，因式分解機(jī)隨迭代次數(shù)增加，訓(xùn)練集準(zhǔn)確率一直在上升，但驗(yàn)證集準(zhǔn)確率到20次迭代基本就保持穩(wěn)定，并且最大驗(yàn)證集準(zhǔn)確率跟邏輯回歸相近，說(shuō)明本實(shí)驗(yàn)中數(shù)據(jù)對(duì)于交叉特征并不敏感，所以加入交叉特征對(duì)驗(yàn)證集準(zhǔn)確率提升不大，但由于模型更加復(fù)雜，所以訓(xùn)練集準(zhǔn)確率能夠達(dá)到更高的水平。使用神經(jīng)網(wǎng)絡(luò)后，由于不僅能匹配交叉特征（與預(yù)測(cè)結(jié)果間的關(guān)系），還能匹配非線性特征，所以驗(yàn)證集準(zhǔn)確率有了進(jìn)一步提升。當(dāng)然由于模型進(jìn)一步復(fù)雜化，過(guò)擬合現(xiàn)象同樣難以避免。

對(duì)于訓(xùn)練到最優(yōu)狀態(tài)的模型，邏輯回歸、因式分解機(jī)、神經(jīng)網(wǎng)絡(luò)的ROC 曲線如圖5 所示。AUC 值分別為0.899 6、0.901 9、0.920 2，結(jié)果都比較理想，說(shuō)明選取的特征能比較好地區(qū)分出正負(fù)樣本，并且（對(duì)于連續(xù)特征來(lái)說(shuō)）線性相關(guān)度比較高。

圖5 模型ROC曲線對(duì)比

事實(shí)上，上述通用評(píng)估指標(biāo)并不太適用于本文的建模目的。本文最終目的是希望建立一個(gè)模型，使得可以使用較小的推廣成本，即較少的推廣人數(shù)，覆蓋盡可能多的目標(biāo)用戶，因此對(duì)于在相同推廣人數(shù)情況下能更加關(guān)心覆蓋到的目標(biāo)用戶數(shù)（正確召回人數(shù)）和覆蓋的目標(biāo)用戶數(shù)占所有目標(biāo)用戶的比例（正確召回率），而并不在意對(duì)于負(fù)樣本的預(yù)測(cè)情況。為有效評(píng)估模型質(zhì)量，使用沒(méi)有參與訓(xùn)練過(guò)程的測(cè)試集進(jìn)行評(píng)估，目標(biāo)為通過(guò)預(yù)測(cè)排序來(lái)使用更少的推廣用戶覆蓋盡量多的目標(biāo)用戶。為了對(duì)比基于機(jī)器學(xué)習(xí)方法的模型與基于一般規(guī)則的模型的效果差異，采用用戶月流量值（DOU）排序與月消費(fèi)（ARPU）排序作為基于一般規(guī)則的模型，對(duì)比情況如圖6所示。

圖6 模型召回量對(duì)比

使用機(jī)器學(xué)習(xí)模型，向測(cè)試數(shù)據(jù)集中的10 000 個(gè)用戶做推廣時(shí)，能覆蓋934～1 089 個(gè)目標(biāo)用戶，召回率達(dá)到50%，但同樣情況下使用規(guī)則模型，只能覆蓋241～348 個(gè)目標(biāo)用戶，召回率只有10%～15%。在給30 000 人做推廣活動(dòng)時(shí)，機(jī)器學(xué)習(xí)模型能覆蓋1 431～1 607個(gè)目標(biāo)用戶，召回率65%～72%，使用規(guī)則模型只能覆蓋530～1 036 個(gè)用戶，召回率24%～47%?？梢?jiàn)使用機(jī)器學(xué)習(xí)模型的效果遠(yuǎn)遠(yuǎn)優(yōu)于使用規(guī)則排序的模型。

4 結(jié)論

本文提出了一種基于機(jī)器學(xué)習(xí)的用戶升級(jí)預(yù)測(cè)方法，使用邏輯回歸、因式分解機(jī)、深度神經(jīng)網(wǎng)絡(luò)3 種算法實(shí)現(xiàn)了該方法，預(yù)測(cè)準(zhǔn)確率分別可達(dá)82.84%、83.14%、84.35%，AUC 分別達(dá)到89.96%、90.19%、92.02%，并且3 種算法的召回效果都遠(yuǎn)優(yōu)于傳統(tǒng)的ARPU/DOU 排序模型。實(shí)驗(yàn)對(duì)比可見(jiàn)，神經(jīng)網(wǎng)絡(luò)算法的預(yù)測(cè)表現(xiàn)最佳，但算法復(fù)雜度高，耗費(fèi)時(shí)間和算力更多，邏輯回歸算法的預(yù)測(cè)結(jié)果與神經(jīng)網(wǎng)絡(luò)算法的差距并不明顯，因此，邏輯回歸其實(shí)已經(jīng)可以滿足一般化的使用要求，如果對(duì)邏輯回歸的預(yù)測(cè)精準(zhǔn)度不夠滿意，則可以使用更復(fù)雜的因式分解機(jī)或神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化預(yù)測(cè)效果。該研究結(jié)果適用于挖掘潛在高價(jià)值（高ARPU）用戶，為運(yùn)營(yíng)商制定營(yíng)銷服務(wù)策略和網(wǎng)絡(luò)保障方案提供了依據(jù)。尤其在5G 商用初期，結(jié)合5G 套餐特征，本預(yù)測(cè)模型可拓展應(yīng)用于推薦5G 潛力用戶，從現(xiàn)網(wǎng)用戶中挖掘出有需求、有能力、有興趣使用5G套餐的用戶，這對(duì)于運(yùn)營(yíng)商推廣5G業(yè)務(wù)、爭(zhēng)奪首批用戶具有重要意義。