面向用戶地理位置的電信大數(shù)據(jù)分群方法研究與實(shí)現(xiàn)

蔡一欣 劉穎慧 李 堃 廖 軍

中國(guó)聯(lián)通研究院 北京 100176

引言

近年來，隨著我國(guó)數(shù)據(jù)通信和移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展，不論是傳統(tǒng)行業(yè)還是新興產(chǎn)品行業(yè)，數(shù)據(jù)逐漸發(fā)展成為了互聯(lián)網(wǎng)技術(shù)的重要核心。在當(dāng)前的大數(shù)據(jù)時(shí)代，要率先與互聯(lián)網(wǎng)開展融合并取得成果，首先要抓住大數(shù)據(jù)中所隱含的規(guī)則，才會(huì)有可能搶占先機(jī)。相比于以往的傳統(tǒng)數(shù)據(jù)，大數(shù)據(jù)在技術(shù)上具備的特點(diǎn)包括數(shù)據(jù)規(guī)模大、數(shù)據(jù)類型繁多、數(shù)據(jù)價(jià)值和信息密度相對(duì)偏低、數(shù)據(jù)處理速度快、對(duì)時(shí)效性要求高[1]。

目前，針對(duì)大數(shù)據(jù)膨脹所提出的各種有效解決行業(yè)發(fā)展問題的創(chuàng)新方法，是各企業(yè)持續(xù)發(fā)展的有力支撐。移動(dòng)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)所提供的各種個(gè)性化服務(wù)，要求不斷改善和提升使用者的體驗(yàn)。一般對(duì)于用戶大數(shù)據(jù)的處理，可以分為事后風(fēng)險(xiǎn)和追溯，在用戶大量的數(shù)據(jù)中挖掘信息，為企業(yè)提供決策，從而提升用戶體驗(yàn)。例如，以阿里巴巴電商公司為主要代表的互聯(lián)網(wǎng)電商搭建了一個(gè)大數(shù)據(jù)處理系統(tǒng)，用于實(shí)時(shí)統(tǒng)計(jì)和分析消費(fèi)者的行為，細(xì)分客戶隨時(shí)更新自己的商品推薦列表[2]。以美國(guó)T-Mobile為主要代表的運(yùn)營(yíng)商已經(jīng)開展了大數(shù)據(jù)分析的技術(shù)研究工作，通過集成數(shù)據(jù)進(jìn)行綜合分析，確定消費(fèi)者流失的原因，根據(jù)分析結(jié)果優(yōu)化網(wǎng)絡(luò)布局，為廣大消費(fèi)者和企業(yè)提供了更好的服務(wù)和體驗(yàn)。用戶的數(shù)據(jù)分析通常是量級(jí)的處理，利用用戶的天然特征和行為特征，縱向?qū)ε坑脩暨M(jìn)行分析，從而提高數(shù)據(jù)處理的速度，通常分析用戶屬性的方法就是用戶分群。運(yùn)營(yíng)商目前主要的用戶分群場(chǎng)景及規(guī)則，大多是通過用戶的消費(fèi)習(xí)慣和瀏覽視頻、信息等行為偏好提取出群體類別，對(duì)群體進(jìn)行定點(diǎn)營(yíng)銷。針對(duì)用戶的消費(fèi)特征，將用戶分為高中低端用戶，結(jié)合消費(fèi)類別，又細(xì)分為流量型、話費(fèi)型用戶，在此基礎(chǔ)上對(duì)不同消費(fèi)傾向的群體匹配對(duì)應(yīng)的營(yíng)銷策略[3]。例如，韓國(guó)通信公司 SK telecom新成立名為SK Planet的公司，通過移動(dòng)互聯(lián)網(wǎng)和大數(shù)據(jù)分析等技術(shù)對(duì)于所有用戶的韓國(guó)網(wǎng)絡(luò)網(wǎng)頁(yè)瀏覽器的使用和用戶體驗(yàn)記錄進(jìn)行數(shù)據(jù)分析。

電信行業(yè)數(shù)據(jù)主要是個(gè)人的基本信息、用戶的電信消費(fèi)記錄以及活動(dòng)軌跡，具有數(shù)據(jù)量大、信息密度低的特點(diǎn)。僅根據(jù)靜態(tài)的信息，通常無(wú)法對(duì)用戶進(jìn)行精準(zhǔn)畫像，運(yùn)營(yíng)商需要圍繞最迫切的業(yè)務(wù)開展行動(dòng)，從市場(chǎng)活動(dòng)中增加收入。通常與用戶活動(dòng)關(guān)聯(lián)度最高的是活動(dòng)軌跡，通過對(duì)用戶活動(dòng)軌跡進(jìn)行分析，定時(shí)定點(diǎn)發(fā)放廣告，引導(dǎo)用戶自己做決策，把握控制權(quán)，是目前運(yùn)營(yíng)商在用戶分析領(lǐng)域另辟蹊徑的途徑之一。

大數(shù)據(jù)的實(shí)時(shí)性、無(wú)限性、突發(fā)性等特征決定了傳統(tǒng)的數(shù)據(jù)計(jì)算理念不再被廣泛地應(yīng)用，取而代之的是針對(duì)特定數(shù)據(jù)類型、特定場(chǎng)景下的大數(shù)據(jù)處理算法。電信大數(shù)據(jù)的處理在實(shí)時(shí)推薦、用戶營(yíng)銷等場(chǎng)景中的地位日漸凸顯，可以幫助運(yùn)營(yíng)商提升營(yíng)銷效率和優(yōu)化流程。對(duì)于用戶地理位置的數(shù)據(jù)分析，在技術(shù)上和應(yīng)用場(chǎng)景上都面臨著前所未有的挑戰(zhàn)。

1 大數(shù)據(jù)分群方法

對(duì)于電信大數(shù)據(jù)中用戶地理位置分析，目前的研究大多基于用戶位置數(shù)據(jù)，開展用戶工作地識(shí)別[4]、同住宅區(qū)篩選[5]、流動(dòng)人口數(shù)量統(tǒng)計(jì)[6]等方面的應(yīng)用，最常用的研究方法是軌跡聚類。針對(duì)地理位置的聚類算法是在大數(shù)據(jù)挖掘過程中獲取信息的重要途徑和方法之一，經(jīng)典的軌跡聚類方法大多采用基于距離和密度的方法判斷軌跡的相似性。聚類分析需要使用的大量數(shù)據(jù)沒有任何類別標(biāo)記，算法需在原始數(shù)據(jù)的處理中探索得出一定規(guī)律，最后計(jì)算出符合這些規(guī)律的結(jié)果。近年來隨著機(jī)器學(xué)習(xí)和人工智能的發(fā)展，聚類算法出現(xiàn)了基于人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)以及基于核聚類的方法。需要特別指出的是，這些改進(jìn)的聚類的準(zhǔn)則函數(shù)一般由人為設(shè)定的終止條件實(shí)現(xiàn)，而這些終止條件并沒有統(tǒng)一的標(biāo)準(zhǔn)。由此可見聚類算法具有一定的主觀性，需要根據(jù)實(shí)際情況對(duì)聚類所揭示的數(shù)據(jù)結(jié)構(gòu)進(jìn)行進(jìn)一步歸納總結(jié)。因此，本文主要以聚類算法為主，研究其在聚類結(jié)果隸屬程度方面的改進(jìn)過程[7]。

常見的聚類算法包括K-均值(K-Means)、模糊C-均值聚類(FCM)、層次聚類(Agglomerative clustering)等，具有靈活、快速、應(yīng)用范圍廣等特點(diǎn)，前期需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和特征選取。K-Means是一種具有排他性的目標(biāo)聚類方法，即一個(gè)目標(biāo)的數(shù)據(jù)僅歸納為一個(gè)特定的類別[8]，分群數(shù)隨機(jī)產(chǎn)生，K值確定較為困難，且對(duì)于初始聚類中心非常敏感，容易陷入局部最優(yōu)解。層次聚類算法的初始對(duì)象是所有目標(biāo)，將兩個(gè)距離最近的目標(biāo)合并，不斷重復(fù)直到達(dá)到預(yù)設(shè)簇的數(shù)目為止[9]，具有相似度容易定義、可以發(fā)現(xiàn)類的層次關(guān)系的優(yōu)點(diǎn)，但是時(shí)間復(fù)雜度大，聚類過程不可逆。FCM模糊了目標(biāo)聚類的邊界，結(jié)果可分為多類，在應(yīng)用中更能描述實(shí)際的情況，然而抗噪性較差、容易出現(xiàn)局部收斂的聚類結(jié)果[10]。實(shí)際情況下，用戶的活動(dòng)點(diǎn)是復(fù)合的，當(dāng)用戶活動(dòng)范圍較小時(shí)，一個(gè)活躍點(diǎn)可能涉及多個(gè)類型的地點(diǎn)，用戶所屬類別不應(yīng)是單一的，因此采用FCM算法，能夠更加貼合現(xiàn)實(shí)情況。

針對(duì)現(xiàn)有的運(yùn)營(yíng)商在用戶大數(shù)據(jù)處理中面臨的問題與不足，本文在地理位置變化的實(shí)時(shí)推薦場(chǎng)景下，提出了一種基于改進(jìn)FCM的大數(shù)據(jù)分群算法，可以根據(jù)用戶實(shí)時(shí)位置、歷史位置及個(gè)人軌跡的地理信息判斷不同用戶在地理空間尺度的相似性，對(duì)用戶進(jìn)行分群。此外，本文還針對(duì)該算法進(jìn)行實(shí)際的大數(shù)據(jù)測(cè)試，分析不同聚類算法對(duì)分群結(jié)果的影響，驗(yàn)證改進(jìn)FCM算法的有效性。最后針對(duì)該大數(shù)據(jù)分群算法對(duì)業(yè)務(wù)需求的適配性進(jìn)行展望，幫助在用戶做出決定之前推出符合用戶興趣的合作業(yè)務(wù)，便于針對(duì)不同群體進(jìn)行定向營(yíng)銷。

2 面向用戶地理位置信息的大數(shù)據(jù)分群方法

大數(shù)據(jù)的應(yīng)用廣泛且涉及場(chǎng)景繁多，對(duì)于電信運(yùn)營(yíng)商來說，大數(shù)據(jù)在中國(guó)的電信移動(dòng)網(wǎng)絡(luò)產(chǎn)品和服務(wù)行業(yè)市場(chǎng)上具有重要作用，特別是在精準(zhǔn)市場(chǎng)營(yíng)銷和實(shí)現(xiàn)客戶關(guān)系有效管理等方面。本文基于大數(shù)據(jù)的特征，設(shè)計(jì)了一種面向用戶地理位置信息的大數(shù)據(jù)分群方法，包括數(shù)據(jù)預(yù)處理、改進(jìn)FCM分群算法并確定分群評(píng)價(jià)指標(biāo)。

2.1 數(shù)據(jù)預(yù)處理

針對(duì)用戶地理位置的特點(diǎn)，對(duì)數(shù)據(jù)集內(nèi)容進(jìn)行預(yù)處理，降低數(shù)據(jù)集內(nèi)容的不平衡性，以此提升算法在非平衡性數(shù)據(jù)集上分群的準(zhǔn)確度和可靠性。

1)獲取用戶位置及歷史軌跡

對(duì)于用戶的位置數(shù)據(jù)，提取用戶近1個(gè)月的位置日志，以日與星期為單位，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。以位置數(shù)據(jù)中有效地點(diǎn)為圓心，半徑200m的區(qū)域?yàn)椴呗詤^(qū)，有效到訪地點(diǎn)為用戶設(shè)備進(jìn)入策略區(qū)并停留5min及以上的位置。從位置日志中提取用戶有效到訪地點(diǎn)，構(gòu)建位置向量P={p1,p2，…，pn}，每個(gè)向量包含三個(gè)維度，緯度(Latitude)、經(jīng)度(Longitude)和時(shí)間戳(Time)。根據(jù)時(shí)間戳連接位置點(diǎn)，構(gòu)建用戶活動(dòng)歷史數(shù)據(jù)。

從用戶活動(dòng)數(shù)據(jù)中提取活躍點(diǎn)，活躍點(diǎn)為停留1h以上或者每周到訪3次以上的區(qū)域。通?；钴S點(diǎn)都具有一定特殊含義，例如工作地點(diǎn)、學(xué)校、家、健身房、超市等用戶經(jīng)常停留的地方。以一個(gè)用戶的活動(dòng)軌跡為例，每個(gè)矩陣表示用戶在不同時(shí)間的位置變化。一個(gè)用戶A一天到訪Y個(gè)地點(diǎn)，可建立一個(gè)3×y的矩陣AY，表示用戶到訪地點(diǎn)的緯度、經(jīng)度和時(shí)間，如公式(1)所示，其中PY=[LatY,LonY,TY]，代表用戶到訪第y個(gè)地點(diǎn)的經(jīng)度、緯度及時(shí)間。

2)構(gòu)建活躍點(diǎn)與時(shí)間戳矩陣

標(biāo)記活躍點(diǎn)H后，可以建立活躍點(diǎn)矩陣HM。用戶A本月共有m個(gè)活躍點(diǎn)，可建立一個(gè)2×m的活躍點(diǎn)矩陣HM，表示用戶活躍點(diǎn)的緯度、經(jīng)度，如公式(2)所示。

用戶A與用戶B的活動(dòng)軌跡如圖1所示，實(shí)心點(diǎn)表示策略區(qū)，空心圓表示活躍點(diǎn)。

圖1 基于活躍點(diǎn)的用戶歷史軌跡

提取同一時(shí)間戳下所有用戶的活躍點(diǎn)，構(gòu)建時(shí)間戳矩陣TS。在某個(gè)預(yù)設(shè)時(shí)間戳信息TK，提取TK時(shí)刻的所有用戶設(shè)備的活躍點(diǎn)的經(jīng)度和緯度。設(shè)定在時(shí)間戳為TK時(shí)，所有用戶包括S個(gè)活躍點(diǎn)，則根據(jù)S個(gè)活躍點(diǎn)的經(jīng)度和緯度構(gòu)建時(shí)間戳矩陣TS，其中，S為大于或等于1的整數(shù)。例如，可采用公式(3)表示TK時(shí)刻的時(shí)間戳矩陣TS。

用戶A與用戶B的活動(dòng)軌跡如圖2所示，實(shí)心點(diǎn)表示策略區(qū)，空心圓表示同一時(shí)間戳下的用戶歷史位置。

圖2 基于時(shí)間戳的用戶歷史軌跡

2.2 FCM算法改進(jìn)

本文對(duì)FCM進(jìn)行了兩個(gè)方面的改進(jìn)。其一，在運(yùn)行環(huán)境方面，將FCM與Hadoop、MapReduce等計(jì)算框架有機(jī)結(jié)合，實(shí)現(xiàn)分布式FCM方法，提高算法的處理效率。其二，在空間隸屬度方面進(jìn)行改進(jìn)，具體方法如下：在FCM聚類算法中一個(gè)樣本可以不同程度地屬于多個(gè)類簇，更能描述實(shí)際情況中的現(xiàn)象[10]。FCM的傳統(tǒng)算法流程如下：首先輸入0數(shù)據(jù)集，每一個(gè)樣本都有p個(gè)特征，輸出為一個(gè)c行n列的矩陣U，n為數(shù)據(jù)集中所有樣本個(gè)數(shù)，c為聚類的數(shù)目，矩陣U代表分群的結(jié)果，表示該樣本對(duì)該類別的隸屬程度[11]。算法流程如表1所示。

表1 FCM聚類算法流程

用戶的地理位置數(shù)據(jù)在處理時(shí)，對(duì)于策略區(qū)與活躍點(diǎn)的判定存在一定模糊的范圍，本文基于上述FCM算法，結(jié)合隸屬度平滑更新方法，對(duì)算法進(jìn)行改進(jìn)。

將公式(2)中的經(jīng)度、緯度和時(shí)間信息利用線性變換進(jìn)行標(biāo)準(zhǔn)化處理，使經(jīng)度、緯度和時(shí)間信息都處于區(qū)間[0,1]內(nèi)，得到標(biāo)準(zhǔn)化矩陣。將標(biāo)準(zhǔn)化矩陣中的n個(gè)用戶的活躍點(diǎn)信息提取出來作為樣本數(shù)據(jù)的集合，例如，樣本數(shù)據(jù)集合中的第i個(gè)樣本數(shù)據(jù)記為i為大于或等于1且小于n的整數(shù)，n為大于或等于1的整數(shù)。

輸出c行n列的矩陣U，表示相似性判斷結(jié)果，每一列表示的是該用戶的活躍點(diǎn)矩陣對(duì)該分群結(jié)果的隸屬程度。

3 實(shí)驗(yàn)驗(yàn)證

本文對(duì)改進(jìn)的FCM在基于用戶地理位置數(shù)據(jù)的分群場(chǎng)景下進(jìn)行了測(cè)試與對(duì)比。測(cè)試了模糊加權(quán)指數(shù)m對(duì)于分群結(jié)果的影響，以及改進(jìn)FCM與未改進(jìn)FCM、K-Means聚類、層次聚類在相同條件下的分群表現(xiàn)。

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)采用數(shù)據(jù)來自LBS服務(wù)平臺(tái)，在2017年2月至2017年10月期間，該平臺(tái)用戶通過登錄共享自身位置信息，平臺(tái)使用公共API技術(shù)收集用戶移動(dòng)端常用位置信息[13]。該數(shù)據(jù)集包含上萬(wàn)個(gè)用戶，共計(jì)400余萬(wàn)條簽到信息。篩取相關(guān)字段模擬通信用戶的地理位置信息構(gòu)成實(shí)驗(yàn)數(shù)據(jù)集，數(shù)據(jù)集包括15 000個(gè)用戶的有效數(shù)據(jù)，數(shù)據(jù)示例如表2所示。

表2 數(shù)據(jù)字段示例

3.2 實(shí)驗(yàn)設(shè)計(jì)

為了模擬改進(jìn)的聚類算法實(shí)現(xiàn)大數(shù)據(jù)分群的過程并證明方法的有效性，在局域網(wǎng)環(huán)境下基于虛擬機(jī)搭建Hadoop虛擬集群，如圖3所示。

圖3 集群架構(gòu)圖

測(cè)試集群由4臺(tái)機(jī)器構(gòu)成，包括1臺(tái)主控節(jié)點(diǎn)和3臺(tái)從節(jié)點(diǎn)，系統(tǒng)硬件配置均相同，如表3所示。

表3 集群配置

實(shí)驗(yàn)比較了改進(jìn)的FCM算法、K-Means聚類算法、層次聚類算法在數(shù)據(jù)集中的聚類效果，以及不同的模糊加權(quán)指數(shù)m對(duì)于分群效果的影響。

為驗(yàn)證改進(jìn)FCM分群算法的有效性，本文通過RI指標(biāo)和NMI信息兩個(gè)評(píng)價(jià)指標(biāo)對(duì)算法進(jìn)行評(píng)價(jià)，如公式(4)、(5)所示。

其中，a代表有不同標(biāo)簽且分群結(jié)果屬于不同分群類別的樣本數(shù)量，b代表有相同標(biāo)簽且分群結(jié)果屬于同分群類別的樣本數(shù)量，n表示樣本總量，RI表示分群正確的比率。

3.3 實(shí)驗(yàn)結(jié)果及結(jié)論

利用實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，比較改進(jìn)FCM算法與K-Means聚類、層次聚類算法在m值不同的情況下的對(duì)用戶基于地理位置的活躍點(diǎn)進(jìn)行分群的效果，性能表現(xiàn)如表4所示。結(jié)果表明改進(jìn)FCM算法的分群效果顯著好于K-Means算法、層次聚類算法。對(duì)比各個(gè)算法在不同模糊加權(quán)指數(shù)m下的表現(xiàn)，結(jié)果表明m對(duì)于分群結(jié)果具有一定影響，當(dāng)m=2時(shí)改進(jìn)FCM算法和其他算法均可以得到較好的分群效果。

表4 不同分群方法的性能表現(xiàn)

對(duì)比m=2時(shí)，改進(jìn)FCM與其他算法在精確率與聚類結(jié)果相似度上的表現(xiàn)。傳統(tǒng)FCM算法與K-Means算法、層次聚類算法的精確率與聚類結(jié)果相近程度差別不大，反而K-Means算法在精確率上具有最好的表現(xiàn)。改進(jìn)的FCM算法在精確率與聚類結(jié)果的相近程度上均有了明顯的提高。相較于K-Means算法，改進(jìn)的FCM算法精確率提高了17.62%，相較于傳統(tǒng)FCM算法，改進(jìn)FCM算法聚類結(jié)果的相近程度明顯提高了34.25%。

綜上所述，經(jīng)過改進(jìn)的FCM算法能一定程度上改善處于邊界上的活躍點(diǎn)矩陣的分群效果，從而能夠更加客觀地反映樣本屬于該類別的隸屬度，在面向用戶地理位置信息的場(chǎng)景下能夠較好地進(jìn)行大數(shù)據(jù)分群。

4 總結(jié)和展望

本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)面向用戶地理位置數(shù)據(jù)分析場(chǎng)景的大數(shù)據(jù)分群方法，利用用戶歷史位置數(shù)據(jù)構(gòu)建個(gè)人活動(dòng)軌跡，繪制用戶活動(dòng)軌跡圖，建立用戶高頻活動(dòng)點(diǎn)日志。根據(jù)軌跡圖和高頻活動(dòng)點(diǎn)，建立活躍點(diǎn)矩陣，改進(jìn)FCM算法判斷不同用戶在地理空間尺度的相似性，對(duì)用戶進(jìn)行分群。在Hadoop計(jì)算框架下測(cè)試改進(jìn)FCM、K-Means、層次聚類三種方法在同一數(shù)據(jù)集中的表現(xiàn)，得到RI、NMI作為測(cè)試指標(biāo)，以圖表的形式分析改進(jìn)的FCM分群方法的性能。實(shí)驗(yàn)結(jié)果表明,改進(jìn)的FCM算法的分群效果顯著好于未改進(jìn)的FCM算法、K-Means聚類、層次聚類算法；模糊加權(quán)指數(shù)m對(duì)于聚類算法均存在一定影響，當(dāng)m=2時(shí)三種算法均能夠達(dá)到較好的分群效果。

電信大數(shù)據(jù)種類繁多、數(shù)據(jù)量龐大，從海量數(shù)據(jù)中挖掘價(jià)值并幫助企業(yè)決策成為重要難題。未來將從以下幾個(gè)方面進(jìn)一步開展研究，為運(yùn)營(yíng)商在用戶數(shù)據(jù)挖掘方面提供機(jī)會(huì)。一是將改進(jìn)FCM算法應(yīng)用于不同場(chǎng)景下用戶大數(shù)據(jù)分群。二是測(cè)試除模糊加權(quán)指數(shù)m外，隸屬度函數(shù)中加權(quán)指數(shù)s、t對(duì)于分群結(jié)果的影響。三是與流式大數(shù)據(jù)處理方法相結(jié)合，擴(kuò)展數(shù)據(jù)源到用戶實(shí)時(shí)地理位置數(shù)據(jù)，從而進(jìn)行更加快速、精準(zhǔn)地定位客戶需求，為客戶運(yùn)營(yíng)提供決策參考。四是拓寬應(yīng)用場(chǎng)景，將用戶活躍點(diǎn)的分群與用戶消費(fèi)水平、采用的電信產(chǎn)品等信息結(jié)合，構(gòu)成社會(huì)關(guān)系網(wǎng)絡(luò)，細(xì)分用戶標(biāo)簽，提高客戶營(yíng)銷的精準(zhǔn)度。