基于并行決策樹的微博互動數(shù)預(yù)測

黃林昊, 郭昆

(1.福建廣播電視大學(xué) 電子信息與計算機(jī)系， 福建 福州 350012; 2.福州大學(xué) 數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院， 福建 福州 350116)

基于并行決策樹的微博互動數(shù)預(yù)測

黃林昊1, 郭昆2

(1.福建廣播電視大學(xué) 電子信息與計算機(jī)系， 福建 福州 350012; 2.福州大學(xué) 數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院， 福建 福州 350116)

社交網(wǎng)絡(luò)的快速發(fā)展，微博成為主要的社交媒體平臺，針對如何預(yù)測微博文本的未來互動數(shù)，對微博進(jìn)行有效的分發(fā)控制的問題，提出一種基于并行決策樹的微博互動數(shù)所屬級數(shù)預(yù)測的方法。首先，對用戶以往發(fā)表的微博進(jìn)行用戶特征和微博文本特征的處理；然后，使用并行決策樹分類算法對訓(xùn)練數(shù)據(jù)進(jìn)行分類模型的構(gòu)建；最后使用得到的分類模型對新微博文本的互動數(shù)所屬級數(shù)進(jìn)行分類預(yù)測。通過對比算法的實(shí)驗(yàn)，驗(yàn)證了所提方法具有較高的分類精度和較好的可擴(kuò)展性，能夠?qū)ξ⒉┧鶎偌墧?shù)進(jìn)行有效的分類預(yù)測。

微博; 互動數(shù); 并行; 決策樹; 預(yù)測

近年來，隨著互聯(lián)網(wǎng)技術(shù)、移動端技術(shù)的快速發(fā)展，特別是移動網(wǎng)絡(luò)為代表的移動互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，根據(jù)第36次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》的報告，截止2015年6月，中國網(wǎng)民的規(guī)模已經(jīng)達(dá)到了6.68億，其中互聯(lián)網(wǎng)的普及率達(dá)到48.8%，這個發(fā)展速度還在不斷增加，其中手機(jī)網(wǎng)民規(guī)模達(dá)到了5.94億，是互聯(lián)網(wǎng)網(wǎng)民的主力軍。這也帶動了社交網(wǎng)絡(luò)的迅速發(fā)展，而目前對于社交網(wǎng)絡(luò)的研究主要集中在個性化內(nèi)容推薦[1]、社群挖掘[2]、熱點(diǎn)話題檢測[3]等方面。

微博作為社交網(wǎng)絡(luò)中一個主要的社交媒體平臺，可幫助用戶發(fā)布的公開內(nèi)容進(jìn)行快速傳播互動，它以較短的文字消息，在較短的時間內(nèi)通過用戶的傳播達(dá)到信息的快速傳播、共享，用以提高用戶和內(nèi)容的影響力，受到很多人的熱愛。以國內(nèi)主要的微博平臺——新浪微博為例，目前已經(jīng)超過5億個注冊用戶，截止2015年9月，其微博的月活躍用戶人數(shù)已經(jīng)達(dá)到2.22億，與2014年9月同比增長33%，而日活躍用戶達(dá)到了1億，比2014年同期增長30%。微博平臺的發(fā)展完善，使其使用率不斷提高，用戶量持續(xù)增長，每天產(chǎn)生數(shù)以億計的微博文本數(shù)量。如何對這些微博進(jìn)行快速的分析挖掘[4]，找到受眾認(rèn)可度高的微博文本，對這些文本進(jìn)行有效的分發(fā)控制，以提高受眾認(rèn)可度高的微博文本的曝光量和內(nèi)容傳播的互動量，具有重要的研究意義。

微博用一種短文本的形式表達(dá)用戶的狀態(tài)或心情，這些微博文本會被其他用戶進(jìn)行轉(zhuǎn)發(fā)分享提高其傳播量，同時用戶也可以對微博進(jìn)行評論、點(diǎn)贊等行為操作。一條微博若被用戶大量的轉(zhuǎn)發(fā)或評論或點(diǎn)贊等操作，可見其是一條比較有意義、有價值、受眾認(rèn)可度高的微博文本。若能提前發(fā)現(xiàn)這些互動數(shù)即微博轉(zhuǎn)發(fā)數(shù)、微博評論數(shù)和微博點(diǎn)贊數(shù)高的微博文本，進(jìn)行有效的分發(fā)控制，這對提高這些微博文本的曝光量具有重要的意義。

近年來，國內(nèi)外專家、學(xué)者也對社交網(wǎng)絡(luò)中的微博文本的挖掘分析進(jìn)行了廣泛的研究。Boyd等人對Twitter即類似國內(nèi)的新浪微博的一個社交平臺進(jìn)行研究，研究人們對Twitter上的Retweet操作即轉(zhuǎn)發(fā)操作，研究其Retweet的動機(jī)，并對Retweet的文本內(nèi)容進(jìn)行主題傾向等方面的研究[5-6]。Zan 等人選取用戶名、關(guān)注人數(shù)、Twitter包含的單詞個數(shù)等特征，然后基于一種概率的協(xié)同過濾模型Matchbox[7]，對用戶轉(zhuǎn)發(fā)Twitter的行為進(jìn)行預(yù)測[8]，該方法簡單地將用戶特征和微博特征抽取出來進(jìn)行預(yù)測，沒有考慮用戶興趣和微博內(nèi)容之間的關(guān)系。楊子等對Twitter中用戶轉(zhuǎn)發(fā)行為提取了22個影響因素，使用因子圖模型進(jìn)行了轉(zhuǎn)發(fā)行為的預(yù)測，獲得了比較高的精度，但其對特征的量化處理過程比較簡單，導(dǎo)致信息傳播路徑預(yù)測的精度比較低[9]。Liben-Nowell等人對真實(shí)的社會網(wǎng)絡(luò)中的傳播特征和一些相關(guān)的問題進(jìn)行了比較全面的研究，明確指出想要精確地預(yù)測信息的傳播路徑是比較困難的，用簡單的模型進(jìn)行預(yù)測得到的結(jié)果與真實(shí)的結(jié)果相差比較大[10]。Fan等人通過對新浪微博的拓?fù)浣Y(jié)構(gòu)和信息擴(kuò)散情況進(jìn)行研究，指出新浪微博具有小世界和無標(biāo)度特性的拓?fù)浣Y(jié)構(gòu)，其中熱門事件的擴(kuò)散拓?fù)浣Y(jié)構(gòu)呈現(xiàn)星形或兩級的結(jié)構(gòu)[11]。Webberley等人對微博中的傳播擴(kuò)散進(jìn)行研究，指出微博的信息傳播和擴(kuò)散主要是依靠用戶轉(zhuǎn)發(fā)產(chǎn)生的，且一條微博的轉(zhuǎn)發(fā)鏈具有一定的長度，隨著微博的一次次轉(zhuǎn)發(fā)，其被轉(zhuǎn)發(fā)的概率隨著微博鏈的長度的增加而減小[12]。謝婧等人研究微博用戶中的轉(zhuǎn)發(fā)人群和未轉(zhuǎn)發(fā)人群的微博內(nèi)容、粉絲數(shù)、關(guān)注數(shù)等特征，基于貝葉斯預(yù)測模型提出一種新的預(yù)測用戶轉(zhuǎn)發(fā)行為的方法[13]?？餂_等人根據(jù)貝葉斯個性化排序優(yōu)化標(biāo)準(zhǔn)和分解機(jī)制，提出了一種對微博轉(zhuǎn)發(fā)者進(jìn)行預(yù)測的方法[14]。

目前研究者對國外的Twitter研究比較多，而對國內(nèi)的微博研究相對較少，且更多的是對微博文本被轉(zhuǎn)發(fā)的行為進(jìn)行預(yù)測研究，對于微博本身的互動數(shù)的研究相對較少。本研究以國內(nèi)的新浪微博為例，利用微博發(fā)表用戶的特征和微博文本自身的特征，提出一種基于決策樹的微博互動數(shù)預(yù)測方法。同時為了適應(yīng)海量微博文本數(shù)據(jù)的挖掘分析，利用Spark框架將方法進(jìn)行并行化處理，以提高方法處理海量微博的能力。在真實(shí)的新浪微博數(shù)據(jù)上和對比不同算法進(jìn)行實(shí)驗(yàn)分析，驗(yàn)證所提出方法的有效性和可擴(kuò)展性。

1 相關(guān)理論基礎(chǔ)

1.1 新浪微博互動行為

新浪微博是國內(nèi)主要的用戶進(jìn)行交流、分享的社交媒體平臺，，受到大眾的喜愛。新浪微博文本以短信息的形式進(jìn)行傳播，其要求一條博文長度不能超過140個字符，用戶可以對微博進(jìn)行轉(zhuǎn)發(fā)、評論、點(diǎn)贊的操作。新浪微博文本的價值信息可以通過其他用戶對該微博文本的評價情況進(jìn)行體現(xiàn)，而對微博文本的評價方面主要可以從微博的轉(zhuǎn)發(fā)數(shù)、評論數(shù)和點(diǎn)贊數(shù)3方面即微博的互動數(shù)進(jìn)行體現(xiàn)。一條原創(chuàng)的微博，通過其轉(zhuǎn)發(fā)、評論、點(diǎn)贊等互動行為能夠體現(xiàn)其他用戶對該原創(chuàng)微博內(nèi)容的興趣程度。

微博轉(zhuǎn)發(fā)，用戶通過點(diǎn)擊轉(zhuǎn)發(fā)按鈕即可實(shí)現(xiàn)對原創(chuàng)微博的轉(zhuǎn)發(fā)。微博轉(zhuǎn)發(fā)行為是微博能夠快速傳播的主要原因，轉(zhuǎn)發(fā)時用戶可以對微博加以評論，形成新的微博文本，如圖1所示。同時轉(zhuǎn)發(fā)會使該微博的轉(zhuǎn)發(fā)數(shù)進(jìn)行累加，這樣微博被一個用戶接一個用戶地轉(zhuǎn)發(fā)，形成一條轉(zhuǎn)發(fā)微博鏈，微博格式如：//@username:微博內(nèi)容//@username:微博內(nèi)容。

圖1 微博轉(zhuǎn)發(fā)Fig.1 Micro-blog forwarding

微博評論，用戶可以直接在某條微博文本的下方進(jìn)行評論，表達(dá)自己對該微博文本的認(rèn)識。同時被評論微博的評論數(shù)會相應(yīng)地累加。

微博點(diǎn)贊，用戶可以直接點(diǎn)擊微博的“贊”的按鈕，即可對該微博進(jìn)行點(diǎn)贊，以表達(dá)用戶對該微博的認(rèn)可度。同時被點(diǎn)贊的微博的點(diǎn)贊數(shù)會相應(yīng)地累加。

1.2 Spark分布式并行計算

Spark是Apache的一個開源項(xiàng)目，是近年來發(fā)展較快的分布式并行數(shù)據(jù)處理框架，是伯克利大學(xué)在2012年提出的一種基于內(nèi)存的分布式計算框架[15]，它允許重復(fù)地使用加載到內(nèi)存中的數(shù)據(jù)，并且可以將計算的中間結(jié)果持久地保存在內(nèi)存中[16]，從而減少磁盤IO操作，提高數(shù)據(jù)運(yùn)算效率。Spark采用了一種新的數(shù)據(jù)抽象模型即彈性分布式數(shù)據(jù)集(resilient distributed dataset，RDD)，使其能夠在多次迭代計算過程中重復(fù)利用內(nèi)存數(shù)據(jù)，這也是Spark的核心，是一個不可變的帶分區(qū)的記錄集合。RDD的基本操作包括Transformation和Action[17]，其中Transformation是得到一個新的RDD，可以從數(shù)據(jù)源或是RDD中生成，而Action是得到一個結(jié)果。Transformation是采用懶策略，只有當(dāng)Action提交時才執(zhí)行相應(yīng)計算。

Spark廣泛應(yīng)用在計算量大、效率要求高的場景當(dāng)中，通常在互聯(lián)網(wǎng)廣告、報表、推薦系統(tǒng)等業(yè)務(wù)中做應(yīng)用分析、效果分析與優(yōu)化。例如騰訊大數(shù)據(jù)精準(zhǔn)推薦利用Spark快速迭代實(shí)現(xiàn)實(shí)時并行高維算法；淘寶技術(shù)團(tuán)隊(duì)將Spark應(yīng)用于淘寶推薦相關(guān)算法，還利用GraphX解決生產(chǎn)問題。

1.3 決策樹分類

決策樹分類方法是一個比較經(jīng)典的分類算法，它通過使用樹的結(jié)構(gòu)來記錄數(shù)據(jù)分類的規(guī)則，即每個樹的葉節(jié)點(diǎn)代表某個條件下的一個數(shù)據(jù)記錄集。根據(jù)數(shù)據(jù)屬性字段的不同取值建立樹的分支，然后在每個分支子集上重復(fù)建立下層的分支節(jié)點(diǎn)，最終生成一顆樹。對生成的原始的決策樹進(jìn)行修剪，可以很快地得到具有商業(yè)價值的信息，以供決策者決策時參考。決策樹分類一般分為兩個步驟[18]：(1)使用訓(xùn)練數(shù)據(jù)集合進(jìn)行學(xué)習(xí)，形成決策樹分類模型的構(gòu)建；(2)利用已經(jīng)得到的分類模型對未知的數(shù)據(jù)進(jìn)行分類。

決策樹分類最重要的是選擇屬性進(jìn)行樹的分裂。其中引用率較高的決策樹算法ID3算法使用信息增益來進(jìn)行屬性的劃分。信息增益是基于信息熵進(jìn)行屬性選擇的，一棵決策樹對一個記錄數(shù)據(jù)進(jìn)行判斷所需要的信息熵如式(1)所示：

(1)

其中D是用于存放數(shù)據(jù)記錄的，pi是數(shù)據(jù)記錄D中任意記錄屬于Ci的非零概率，用|Ci|/|D|進(jìn)行估計[19]。而信息增益是原來的信息需求與新的信息需求(對屬性A進(jìn)行劃分之后)之間的差，如式(2)所示：

(2)

信息增益的決策樹使用信息增益最大的屬性作為樹節(jié)點(diǎn)的劃分，即最小化InfoA(D)。

2 互動數(shù)預(yù)測

2.1 數(shù)據(jù)描述與特征提取

數(shù)據(jù)選取天池大數(shù)據(jù)科研平臺(https://tianchi.shuju.aliyun.com)提供的新浪微博文本數(shù)據(jù)，包含了2015-02-01～2015-07-31部分用戶發(fā)表的微博文本數(shù)據(jù)，共計1 626 750條微博文本。其中微博數(shù)據(jù)包含的內(nèi)容如表1所示。微博文本互動數(shù)預(yù)測是預(yù)測一條微博發(fā)表1周之后，被用戶轉(zhuǎn)發(fā)、評論、點(diǎn)贊的數(shù)量，同時對于數(shù)量的預(yù)測關(guān)注的是這個數(shù)量所屬的一個數(shù)量級，高級別的互動數(shù)受到大眾認(rèn)可度高，具有較高的價值。因此將微博的互動數(shù)量分為5級，分別是第1級互動數(shù)最少，幾乎沒有互動數(shù)，即互動數(shù)為0到5的微博；第2級互動數(shù)較少，為6到10的微博；第3級互動數(shù)一般為11到50的微博；第4級的互動數(shù)較高，為51到100；第5級的互動數(shù)最高，具有最高的大眾認(rèn)可度，即互動數(shù)大于100的微博。

表1 微博數(shù)據(jù)格式

由于數(shù)據(jù)中只有微博文本的發(fā)表時間等信息，其所具有的特征信息比較稀少，難以直接進(jìn)行有效的分析，需要提取用戶發(fā)表的微博文本背后的一些特征信息，主要分為用戶特征和微博特征。用戶特征指的是用戶發(fā)表微博所得到的互動數(shù)的特點(diǎn)，而微博特征指的是微博文本本身的特點(diǎn)使其互動數(shù)發(fā)生變化的特性。

用戶發(fā)表的微博特性，主要關(guān)注于用戶自身是否是一個比較受歡迎，被大量用戶關(guān)注的用戶，即其具有的粉絲數(shù)量等，可以從用戶以往發(fā)表的微博的互動數(shù)情況進(jìn)行側(cè)面反映。本研究提取了用戶的11個特性如表2所示。

表2 用戶特征

微博文本的特征，主要是通過識別微博文本本身的特性，判斷其是否是一條受大眾認(rèn)可喜歡的微博文本，對以往的微博文本進(jìn)行挖掘提取，判斷微博是否是原創(chuàng)微博，微博中“@”符號的個數(shù)，微博中是否有網(wǎng)頁鏈接等特點(diǎn)。本研究提取微博文本7個主要特征，如表3所示。

表3 微博文本特征

2.2 流程設(shè)計

基于Spark框架對所設(shè)計的微博互動數(shù)預(yù)測流程如下：

(1)對原始數(shù)據(jù)進(jìn)行采集劃分，得到訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)兩個數(shù)據(jù)集；

(2)對數(shù)據(jù)進(jìn)行特征的提取轉(zhuǎn)化等預(yù)處理操作；

(3)使用基于Spark的分類算法對訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練，得到分類模型；

(4)使用得到的分類模型對測試集數(shù)據(jù)進(jìn)行分類以預(yù)測其未來的互動數(shù)所屬級數(shù)；

(5)對分類得到的結(jié)果進(jìn)行驗(yàn)證，得到分類模型的準(zhǔn)確度，具體流程如圖2所示。

2.3 評估指標(biāo)

對分類模型的準(zhǔn)確性與有效性指標(biāo)的判定可以通過其混淆矩陣進(jìn)行計算得到[20]。通過混淆矩陣(表4)可以計算分類模型的正確率如公式3所示，正確率越高代表模型分類結(jié)果越好。

圖2 決策樹訓(xùn)練測試流程Fig.2 Parallel decision tree training testing process

表4 分類結(jié)果混淆矩陣

(3)

由于對微博文本的互動數(shù)的預(yù)測是預(yù)測其所屬的級數(shù)，通過不同的級數(shù)可看出該微博的一個受認(rèn)可度情況，對不同的微博文本預(yù)測結(jié)果更看重互動數(shù)級數(shù)高的微博能否被分類正確。對微博互動數(shù)預(yù)測結(jié)果根據(jù)不同的級數(shù)賦予不同的權(quán)重值如表5所示，最后計算所有微博的分類結(jié)果的加權(quán)分?jǐn)?shù)，分?jǐn)?shù)越高代表分類結(jié)果越好，如公式4所示。

表5 權(quán)重系數(shù)

(4)

3 實(shí)驗(yàn)結(jié)果分析

3.1 精度分析

由于微博文本的時效性特征，對微博文本的互動數(shù)預(yù)測，應(yīng)從距離微博文本較近的時間段內(nèi)的數(shù)據(jù)進(jìn)行用戶特征的提取，所以選取2015年4月到6月共3個月的微博文本數(shù)據(jù)作為訓(xùn)練集，用以構(gòu)建分類模型，用2015年7月份的數(shù)據(jù)作為測試數(shù)據(jù)，以驗(yàn)證分類模型的準(zhǔn)確度。

通過與基于Spark的決策樹(decision trees，DT)、基于Spark的樸素貝葉斯(naive Bayes，NB)和基于Spark的邏輯回歸(logistic regression，LG)在訓(xùn)練數(shù)據(jù)集上進(jìn)行構(gòu)建分類模型，在測試集上驗(yàn)證分類模型得到的結(jié)果如表6所示。

表6 實(shí)驗(yàn)結(jié)果

圖3 互動數(shù)平均實(shí)驗(yàn)結(jié)果Fig.3 The average of interaction experimental result

從實(shí)驗(yàn)結(jié)果可以看出，從微博文本中提出的用戶特征和微博文本特征，能夠使分類算法有效地對新的微博文本進(jìn)行預(yù)測分類，3個算法均有較高的正確率，但本研究所提出的基于決策樹的分類結(jié)果具有最高的正確率。同時通過對不同的微博文本級數(shù)的分類，本研究所提出的決策樹方法分類的結(jié)果的Score得分最高，能夠?qū)ξ⒉┗訑?shù)級數(shù)高的文本進(jìn)行正確的分類，而另外兩個分類算法雖然有較高的正確率，但在級數(shù)高的微博文本中未能有效地識別，導(dǎo)致其Score得分不高。

3.2 擴(kuò)展性實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證算法的可擴(kuò)展性能力，通過使用不同的集群規(guī)模對所提出的方法進(jìn)行擴(kuò)展性實(shí)驗(yàn)，計算算法運(yùn)行時的加速比，公式如5所示：

(5)

其中Ts表示單機(jī)版算法運(yùn)行所消耗的時間，Tp表示并行版算法運(yùn)行所消耗的時間，p表示并行的節(jié)點(diǎn)個數(shù)。算法的加速比結(jié)果如圖4所示。

圖4 不同集群規(guī)模加速比Fig.4 Different clusters scale acceleration ratios

從圖4不同集群規(guī)模加速比的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，隨著集群規(guī)模的增加，算法運(yùn)行的速度加快，加速比增加。當(dāng)集群規(guī)模從1增加到4時，加速比增長迅速，因?yàn)樗惴▽?shù)據(jù)分散到各個節(jié)點(diǎn)進(jìn)行運(yùn)行，進(jìn)而減少了算法處理所需要的時間，大大提高了整體的運(yùn)行速度。但隨著集群規(guī)模的不斷增加，加速比的增長速度變慢，這是因?yàn)殡S著集群規(guī)模的增加，算法需要耗費(fèi)更多的時間在數(shù)據(jù)傳輸和調(diào)度上，從而導(dǎo)致了加速比增長緩慢?？梢娝岢龅幕赟park的并行決策樹方法具有較好的可擴(kuò)展性能力。

4 結(jié)語

新浪微博作為國內(nèi)主要的社交媒體平臺，如何對一條微博文本的互動數(shù)進(jìn)行有效的預(yù)測，進(jìn)而根據(jù)互動數(shù)級數(shù)對微博文本進(jìn)行有效的分發(fā)控制管理具有非常重要的意義。本研究首先通過對用戶發(fā)表的微博進(jìn)行有效的用戶特征和微博文本自身特征的提取。然后基于Spark分布式框架使用決策樹分類算法對數(shù)據(jù)進(jìn)行分類模型的構(gòu)建。最后在新的微博文本上使用分類模型進(jìn)行分類以驗(yàn)證分類模型的有效性。通過與并行的樸素貝葉斯和邏輯回歸分類算法的對比實(shí)驗(yàn)，驗(yàn)證所提出的基于決策樹分類算法的微博互動數(shù)預(yù)測的有效性與可擴(kuò)展性能力，能夠?qū)ξ⒉┪谋疚磥淼幕訑?shù)級數(shù)進(jìn)行正確的分類。接下來，將對微博的文本內(nèi)容進(jìn)行內(nèi)容挖掘分析研究，提取更多有價值的特征，以進(jìn)一步提高互動數(shù)級數(shù)高的微博文本的分類正確率。

[1] 王潔,湯小春.基于社區(qū)網(wǎng)絡(luò)內(nèi)容的個性化推薦算法研究[J].計算機(jī)應(yīng)用研究,2011,28(4):1248-1250.

[2] Yang B, Cheung W, Liu J. Community mining from signed social networks[J].IEEE Transactions on Knowledge and Data Engineering,2007,19(10):1333-1348.

[3] Phuvipadawat S,Murata T.Breaking news detection and tracking in Twitter[C]//2010IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT),Aug.31-Sept.3,2010,Toronto,Ontario,Canada.Washington:IEEE Computer Society,2010,3:120-123.

[4] 曹玖新,吳江林,石偉,等.新浪微博網(wǎng)信息傳播分析與預(yù)測[J].計算機(jī)學(xué)報,2014,37(4):779-790.

[5] Boyd D, Golder S, Lotan G. Tweet, tweet, retweet: Conversational aspects of retweeting on twitter[C]//43rd Hawaii International Conference on System Sciences (HICSS),Koloa, Kauai,Havaii.Jan 5-8,2010.Washington：IEEE,2010:1-10.

[6] Kwak H, Lee C, Park H, et al.What is Twitter, a social network or a news media?[C]//Proceedings of the 19th International Conference on World Wide Web. Apr 26-30,2010, Raleigh,North Carolina,USA.New York:ACM,2010:591-600.

[7] Stern D H, Herbrich R, Graepel T. Matchbox: large scale online Bayesian recommendations[C]//Proceedings of the 18th International Conference on World Wide Web. Apr 20-24,2009, Madrid,Spain. New York:ACM,2009:111-120.

[8] Zaman T R, Herbrich R, Van Gael J, et al. Predicting information spreading in twitter[J]. Computational Social Science and the Wisdom of Crowds. Citeseer,2010,104(45):17599-17601.

[9] Yang Z,Guo J,Cai K, et al. Understanding retweeting behaviors in social networks[C]//Proceedings of the 19th ACM International Conference on Information and Knowledge Management. Oct 26-30,2010, Toronto,ON,Canada. New York: ACM,2010:1633-1636.

[10] Liben-Nowell D, Kleinberg J. Tracing information flow on a global scale using Internet chain-letter data[J].Proceedings of the National Academy of Sciences,2008,105(12):4633-4638.

[11] Fan P, Li P, Jiang Z, et al. Measurement and analysis of topology and information propagation on Sina-Microblog[C]//2011 IEEE International Conference on Intelligence and Security Informatics(ISI), July 9-12,2011, Beijing China. Washington:IEEE,2011:396-401.

[12] Webberley W,Allen S,Whitaker R.Retweeting: A study of message-forwarding in twitter[C]//2011 Workshop on Mobile and Online Social Networks (MOSN), Sept 8,2011, Milan,Italy. Washington:IEEE,2011:13-18.

[13] 謝婧,劉功申,蘇波,等.社交網(wǎng)絡(luò)中的用戶轉(zhuǎn)發(fā)行為預(yù)測[J].上海交通大學(xué)學(xué)報,2013,47(4):585-588.

[14] 匡沖,劉知遠(yuǎn),孫茂松.微博轉(zhuǎn)發(fā)者的個性化排序[J].山東大學(xué)學(xué)報(理學(xué)版),2014,49(11):31-36.

[15] 嚴(yán)玉良,董一鴻,何賢芒,等.FSMBUS:一種基于Spark 的大規(guī)模頻繁子圖挖掘算法[J].計算機(jī)研究與發(fā)展,2015,52(8):1768-1783.

[16] 丁圣勇,閔世武,樊勇兵.基于Spark平臺的NetFlow流量分析系統(tǒng)[J].電信科學(xué),2014,30(10):48-51.

[17] 牛海玲,魯慧民,劉振杰.基于Spark 的Apriori算法的改進(jìn)[J].東北師大學(xué)報(自然科學(xué)版),2016,48(1):84-89.

[18] 徐鵬,林森.基于 C4.5 決策樹的流量分類方法[J].軟件學(xué)報,2009,20(10):2692-2704.

[19] 韓家煒,坎伯.數(shù)據(jù)挖掘:概念與技術(shù)[M].北京:機(jī)械工業(yè)出版社,2012：213-222.

[20] 陳羽中,郭松榮,陳宏,等.基于并行分類算法的電力客戶欠費(fèi)預(yù)警[J].計算機(jī)應(yīng)用,2016,36(6):1757-1761.

(特約編輯：黃家瑜)

Interaction number prediction of micro-blog based on parallel decision tree

Huang Linhao1, Guo Kun2

(1. Electronic Information and Computer Department, Fujian Radio and TV University, Fuzhou 350012, China； 2. College of Mathematics and Computer Science, Fuzhou University, Fuzhou 350116, China)

To predict the future interaction number of micro-blog texts to implement effective distribution control of micro-blogs, a method of forecasting the series number of micro-blog interaction numbers based on parallel decision tree was proposed. Firstly, the user characteristics and micro-blog text features of the user’s previous micro-blog were processed. Then, a classification model of the training data was constructed via a parallel decision tree classification algorithm. Finally, the series number of the interaction number of new micro-blog texts was classified via the classification model. The experimental results show that the proposed method has high classification accuracy and good scalability and can effectively forecast micro-blog series.

micro-blog; interaction number; parallel decision tree; forecast

10.3969/j.issn.1672-4348.2017.03.019

2017-03-22

國家自然科學(xué)基金資助項(xiàng)目(61300104)；福建省教育廳資助項(xiàng)目(JA14349)

黃林昊(1979-),男，福建福州人，講師，碩士，研究方向：移動應(yīng)用、信息安全與數(shù)據(jù)挖掘。

TP 311.5

A

1672-4348(2017)03-0294-07