• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于分布式圖計算框架的好友推薦算法研究

    2016-07-19 02:07:18趙馬沙韓冀中
    計算機應(yīng)用與軟件 2016年6期
    關(guān)鍵詞:二度頂點好友

    趙馬沙 周 薇 張 豪 韓冀中

    1(中國科學(xué)院信息工程研究所信息智能處理技術(shù)研究室 北京 100093)2(中國科學(xué)院大學(xué) 北京 100049)3(重慶郵電大學(xué)通信與信息工程學(xué)院 重慶 400065)

    ?

    基于分布式圖計算框架的好友推薦算法研究

    趙馬沙1,2周薇1,2張豪3韓冀中1

    1(中國科學(xué)院信息工程研究所信息智能處理技術(shù)研究室北京 100093)2(中國科學(xué)院大學(xué)北京 100049)3(重慶郵電大學(xué)通信與信息工程學(xué)院重慶 400065)

    摘要隨著社交網(wǎng)絡(luò)的興起與發(fā)展,用戶數(shù)目規(guī)模呈現(xiàn)出指數(shù)級增長的趨勢。這些大規(guī)模數(shù)據(jù)里蘊含著許多有價值的信息,挖掘其中有用的信息已經(jīng)成為學(xué)者研究的重點,好友推薦就是數(shù)據(jù)挖掘里的一個重要應(yīng)用。為了獲得更優(yōu)的性能、更高的可擴展性,采用分布式平臺解決大規(guī)模好友推薦成為學(xué)術(shù)界和工業(yè)界的一個發(fā)展趨勢。目前使用得較廣泛的為基于MapReduce框架的好友推薦算法,該方法有較高的可擴展性,但是受限于MapReduce低效的中間數(shù)據(jù)傳輸,存在性能缺陷。針對上述問題,提出一種基于分布式圖計算框架的好友推薦算法。最后,在多個真實的社交網(wǎng)絡(luò)數(shù)據(jù)集上評測了該方法。實驗結(jié)果表明,該方法要優(yōu)于業(yè)界先進的好友推薦算法,在準確率相當?shù)那闆r下,性能大約為其他算法的7倍。

    關(guān)鍵詞好友推薦分布式圖計算框架隨機游走

    0引言

    隨著Web2.0的出現(xiàn)及興起,社交網(wǎng)絡(luò)得到了蓬勃發(fā)展,用戶數(shù)越來越多。2014年一月份的調(diào)查表明[1],Twitter[2]每月的平均活躍用戶人數(shù)高達2.41億。2014年5月,QQ空間官方聲稱其每月的平均活躍用戶高1.2億。這些大規(guī)模數(shù)據(jù)里蘊藏著許多潛在的有價值信息,而挖掘其中的有用信息已經(jīng)成為業(yè)界學(xué)者的一個研究重點。其中好友推薦[3]就是數(shù)據(jù)挖掘[4]的一個非常重要的應(yīng)用,目前已經(jīng)被廣泛地應(yīng)用在各類社交網(wǎng)站上。

    目前的好友推薦算法主要分為兩種[5],一種是基于局部信息的,比如已經(jīng)被廣泛應(yīng)用于社交網(wǎng)絡(luò)的二度人脈(好友的好友)好友推薦。這種基于局部信息的算法計算復(fù)雜度低,運行消耗的時間少,但因其利用的信息量少,所以準確率不高。第二種是基于全局信息的好友推薦算法,算法通常會偵測整個社會圖的所有路徑結(jié)構(gòu),由于其利用了更多的信息,所以推薦結(jié)果更加準確。但是對于大規(guī)模的在線社交網(wǎng)絡(luò)來說,這類方法的計算成本相當高,不適用實時推薦。

    針對以上缺陷,有學(xué)者提出了基于局部隨機游走的好友推薦算法[6]。它根據(jù)“小世界”理論[7],隨機游走有限范圍內(nèi)的所有路徑,為用戶提供了既快速又準確的朋友推薦。

    為了應(yīng)對日益增長的社交網(wǎng)絡(luò)數(shù)據(jù),分布式好友推薦算法也得到了研究學(xué)者的青睞。目前使用得較為廣泛的是基于MapReduce的大規(guī)模好友推薦算法[8]。該算法擁有較高的可擴展性,能應(yīng)對日益增長的社交網(wǎng)絡(luò)數(shù)據(jù)。但由于MapReduce框架中間數(shù)據(jù)的持久化機制,在其上實現(xiàn)的好友推薦算法性能較低。

    針對以上問題,本文提出一種基于分布式圖計算框架的好友推薦方法。該方法結(jié)合了局部隨機游走和分布式圖計算框架,實現(xiàn)了好友推薦迭代計算,中間數(shù)據(jù)采用消息傳遞的模式,減少了數(shù)據(jù)持久化的代價。最后,在分布式集群下評測了本文提出的方法,使用多個真實的大規(guī)模社交網(wǎng)絡(luò)公開數(shù)據(jù)集。實驗結(jié)果表明,該方法在性能上比單機的好友推薦算法提高了4倍,比基于MapReduce框架的算法提升了7倍,并且該算法具有較高的可擴展性,隨著集群規(guī)模的增長成正比增長。

    1相關(guān)工作

    好友推薦算法有很多,社會學(xué)中的同質(zhì)性理論認為,擁有相同愛好的人更可能成為朋友,所以很多社交平臺通過用戶屬性的相似度來推薦好友[9,10]。比如百度利用用戶的愛好等屬性推薦朋友。

    還有一種方法就是利用好友關(guān)系的網(wǎng)絡(luò)拓撲圖[11],主要有兩類:一類是基于社會網(wǎng)絡(luò)結(jié)構(gòu)的局部特性,比如二度人脈FOAF(FriendofaFriend)的方法[12]。它基于這樣的現(xiàn)象:如果兩個人有很多共同的朋友,那么他們在將來就很有可能成為朋友。由于FOAF的簡單高效,所以Facebook、騰訊QQ等均采用它為用戶推薦潛在好友。但是,這種基于網(wǎng)絡(luò)局部特性的方法由于利用的信息不充分,得到的結(jié)果往往不是很準確。另一類方法是基于社會網(wǎng)絡(luò)的全局特性,探索社會網(wǎng)絡(luò)圖中的所有路徑結(jié)構(gòu),比如經(jīng)典的Google網(wǎng)頁排序算法PageRank[13],利用了整個圖結(jié)構(gòu)的信息。雖然這種算法提高了結(jié)果的準確性,但是在現(xiàn)實的社交網(wǎng)絡(luò)中,用戶數(shù)目通常是上百萬、千萬甚至是億,運行這種算法成本太大,消耗的時間太多,也不適合應(yīng)用在實時推薦上。

    為了解決上述問題,有學(xué)者提出了一個基于局部隨機游走的好友推薦算法。這個方法考慮了更多的鄰居信息,具有更高的準確性;同時比起基于全局的方法,由于無需遍歷整個社會圖,因此其具有更低的時間復(fù)雜度。

    上述所有的方法都是為單機而設(shè)計的,當社交網(wǎng)絡(luò)用戶數(shù)增多,面對復(fù)雜的大規(guī)模好友推薦時,就會出現(xiàn)計算效率的問題,而且不具有很好的可擴展能力。于是一些學(xué)者開始研究可擴展的分布式好友推薦算法,通過集群的計算能力來應(yīng)對大規(guī)模數(shù)據(jù)帶來的挑戰(zhàn)。文獻[14]提出了基于MapReduce框架的分布式好友推薦方法,該方法采用MapReduce的Key-Value結(jié)構(gòu)實現(xiàn)了二度人脈等好友推薦算法[15]。盡管MapReduce具有較高的可擴展性,但是其低效的中間數(shù)據(jù)共享方式導(dǎo)致了該方法的性能不高。

    2相關(guān)背景

    2.1BSP模型

    大同步并行BSP(BulkSynchronizationParallel)模型是由哈佛大學(xué)Valiant和牛津大學(xué)BillMcColl提出的并行計算模型。BSP模型是一種包含一個主節(jié)點和多個從節(jié)點的分布式的模型。每個從節(jié)點負責(zé)處理圖中的一個子圖,作業(yè)的處理是由迭代的過程組成,每次迭代稱為一個超步。超步是在數(shù)據(jù)處理中的最小計算單位,主要包括三個階段:并行計算、通信和柵欄同步,如圖1所示。

    圖1 BSP超步的三個階段

    1) 本地計算階段,每個節(jié)點只處理本節(jié)點維護的數(shù)據(jù)。

    2) 全局通信階段,每個節(jié)點將本地計算的結(jié)果發(fā)送給鄰居節(jié)點。

    3) 柵欄同步階段,等待所有通信行為結(jié)束。

    在一個確定的超步中,一個從節(jié)點只有在上一個超步中接收到所有來自相鄰頂點的消息才可以處理這一個頂點。此外,該系統(tǒng)只有所有圖頂點都處理完畢之后才進行下一個超步。

    目前,很多公司已經(jīng)開發(fā)了許多基于BSP模型的圖數(shù)據(jù)處理系統(tǒng),最著名的就是Google發(fā)明的Pregel[16]。Pregel是一種面向圖算法的分布式編程框架,采用迭代的計算模型。在每一輪,每個頂點處理上一輪收到的消息,并給相鄰頂點發(fā)消息,更新自身狀態(tài)和拓撲結(jié)構(gòu)(出、入邊)等。類似的還有Apache的Hama[17],它是Hadoop[18]生態(tài)系統(tǒng)中的一個子項目,兼容很多Hadoop的分布式存儲系統(tǒng),如HDFS、HBase等。

    由于Pregel并非開源,我們基于Pregel的思想實現(xiàn)了BSP圖計算框架[19],本文的實驗也是運行在該框架上。與Pregel類似,BSP圖計算框架首先將圖分割為頂點不相交的子圖并將各個子圖分配到計算節(jié)點上,BSP圖計算框架的計算過程基于BSP模型實現(xiàn)。計算被分為多個超步,每一超步中各個計算節(jié)點依次調(diào)用各個頂點的更新函數(shù)。在頂點更新函數(shù)中,每個頂點可以根據(jù)所收到的上一輪的消息更新該頂點的狀態(tài)并產(chǎn)生本輪發(fā)送給其他頂點的消息。待所有圖頂點均更新完畢且所有消息均已到達目標節(jié)點,各計算節(jié)點進行柵欄同步并同時進入下一超步。這一過程循環(huán)往復(fù)直至所運行的算法達到收斂條件。因此,基于BSP框架實現(xiàn)圖算法時,主要工作是通過編寫頂點狀態(tài)更新函數(shù)來完成的。

    2.2基于局部隨機游走的好友推薦算法

    基于局部隨機游走的頂點間相似性是一個在社會圖的基礎(chǔ)上定義的相似性指標。

    首先給出社會圖的定義,社會圖是一個由頂點集合和邊集合構(gòu)成的社會網(wǎng)絡(luò),頂點代表用戶,邊代表用戶之間的關(guān)系,兩者之間構(gòu)成一個圖。

    正式地,根據(jù)圖理論定義社會圖G=(V,E),其中V表示頂點集合,也就是用戶集合,E表示無向邊集合,也就是用戶之間的關(guān)系。僅當兩個頂點vi、vj間的無向邊(vi,vj)∈E時,vj(vi)被稱為vi(vj)的鄰接。這樣社會圖能夠表示為鄰接矩陣A=(aij)∈E,如果vi和vj為朋友,則aij=1,否則為0。

    (1)

    20世紀60年代,美國著名社會心理學(xué)家Milgram提出了“小世界”理論。理論指出:你和任何一個陌生人之間所間隔的人不會超過五個,也就是說,最多通過五個中間人你就能夠認識任何一個陌生人。這個理論已經(jīng)被應(yīng)用到了很多的領(lǐng)域,局部隨機游走算法的思想就是根據(jù)“小世界”假說,在社會圖上進行有限長度的隨機游走,而不是針對整個社會圖進行全局地遍歷[20]。

    (2)

    其中L代表圖頂點vi、vj之間隨機游走的路徑長度,根據(jù)“小世界”理論,可取2到6之間的整數(shù),E為社會圖中邊的總數(shù)目,Γ(j)是頂點vj的度,代表頂點的流行度,流行度指數(shù)β是一個可變參數(shù),調(diào)節(jié)頂點vj的流行度對相似度的影響,實驗證明β取0.5時得出的結(jié)果最理想。

    學(xué)者還通過大量的實驗證明,在準確性上,基于局部隨機游走的好友推薦算法高于基于二度好友的方法,甚至高于基于全局的推薦算法?;谌值耐扑]算法雖然對社會網(wǎng)絡(luò)進行全局遍歷,但其沒有充分地捕獲圖中頂點(用戶)的局部信息[21]。而基于局部隨機游走的好友推薦算法根據(jù)“小世界”假設(shè),更加注重頂點(用戶)附近鄰居的作用,充分利用了用戶局部信息,所以它的準確性能夠高于基于全局的好友推薦方法。在性能上,基于局部隨機游走的好友推薦算法遠高于基于全局的推薦算法。

    3基于圖計算框架的好友推薦算法

    本節(jié)描述了本文提出的一種基于分布式圖計算框架的好友推薦方法。首先介紹該方法并行化的原理,然后以算法的形式詳細介紹了圖計算迭代完成好友推薦的3個階段:初始化階段、迭代階段以及結(jié)束階段。

    3.1原理

    首先分析式(1),轉(zhuǎn)移概率矩陣Q就是圖中頂點之間互相轉(zhuǎn)移的概率。如圖2所示,aij代表頂點i到頂點j的轉(zhuǎn)移概率,也就是下一步從頂點i到頂點j的概率。矩陣中每一行代表某一個頂點到其他頂點的轉(zhuǎn)移概率,根據(jù)矩陣元素的計算公式,可以得到結(jié)論。如果頂點i和頂點j無邊,轉(zhuǎn)移概率則為0,如果有邊,轉(zhuǎn)移概率就是頂點i包含的邊的倒數(shù)。

    圖2概率轉(zhuǎn)移矩陣Q

    式(1)中出現(xiàn)了Q的轉(zhuǎn)置,轉(zhuǎn)置矩陣如圖3所示。

    圖3概率轉(zhuǎn)移矩陣Q的轉(zhuǎn)置

    從圖3可以看出,轉(zhuǎn)置后的矩陣中,每一行代表其他頂點到該頂點的轉(zhuǎn)移概率。

    [pi0pi1pi2…pin]

    圖5是一個列向量,每一個元素是由n個加數(shù)相加得到。對每個加數(shù)ajk×pij,分析其意義,pij為頂點i經(jīng)過t-1步到達頂點j的概率,ajk為頂點j到達頂點k的概率,兩者相乘即為頂點i經(jīng)過t步到達頂點k的一部分概率,而所有的加數(shù)相加就代表頂點i經(jīng)過t步到達頂點k的概率。通過這種形式化的分析,我們就可以理解式(1)了。

    3.2算法

    在BSP上實現(xiàn)分布式的局部隨機游走算法分為3個階段,分別為初始化階段、迭代階段和結(jié)束階段:

    1) 初始化階段:根據(jù)輸入的圖數(shù)據(jù)文件,遍歷文件中的每一行,在BSP中生成頂點對象,然后記錄每個頂點的邊。

    算法1初始化圖數(shù)據(jù)

    輸入:圖數(shù)據(jù)文件file

    1:foreachlineinfiledo

    2:vertex←createVertex(line)

    //line是文件file的每一行數(shù)據(jù),vertex是BSP框架中的頂點對象

    3:edges←getEdges(vertex)

    //edges是存儲頂點所有的邊

    4:endforeach

    5:return

    2) 迭代階段:BSP框架控制每個頂點運行該階段,首先頂點會接受每一條邊發(fā)過來的消息,得到其中的值。然后計算p值,如果迭代次數(shù)沒有達到指定次數(shù),則繼續(xù)發(fā)消息,再次迭代,如果達到指定次數(shù),則停止。

    算法2迭代階段

    輸入:頂點vertex,頂點的邊edges,迭代的次數(shù)turn

    1:foreachedgeinedgesdo

    2:dstVertex←getDstVertex(edge)

    //dstVertex是目標頂點

    3:value←getMessage(dstVertex)

    //value是邊的權(quán)值

    4:values.add(value)

    5:endforeach

    6:p←calculate(vertex,value)

    7:ps.add(p)

    8:ifturn<=STEPthen

    //如果迭代次數(shù)小于STEP,繼續(xù)發(fā)消息

    9:foreachedgeinedgesdo

    10:dstVertex←getDstVertex(edge)

    11:sendMessage(dstVertex,p)

    //把p值發(fā)給每條邊

    12:values.add(value)

    13:endforeach

    14:elsehalt()

    3) 結(jié)束階段:每個頂點計算得到p值后,BSP框架計算出每個頂點和目標頂點的相似度sin,然后把所有的sin存儲sins集合中,最后集合匯總對所有的sin進行排序,最后按照相似度從大到小輸出。

    算法3結(jié)束階段

    輸入:各頂點的ps

    輸出:各頂點的相似度,從大到小輸出

    1:foreachvertexdo

    2:sin←getSin(ps)

    //sin就是相似度的值

    3:sins.add(sin)

    //sins存儲所有頂點的相似度

    4:endforeach

    5:printsort(sins)

    //輸出排序的結(jié)果

    6:return

    4實驗結(jié)果

    4.1測試數(shù)據(jù)集和實驗環(huán)境

    為了評測本文方法的有效性,本文選取兩個好友推薦對比系:單機的局部隨機游走算法和基于MapReduce的二度人脈好友推薦算法。并在多個真實公開的數(shù)據(jù)集上做了評測實驗,和單機的局部隨機游走算法比較。一方面證明本文提出的分布式算法是正確的,另一方面說明分布式的算法能帶來很大的性能提升,從而可以應(yīng)付日益增長的大數(shù)據(jù)集帶來的挑戰(zhàn)。和如今被很多公司廣泛用到的二度人脈算法比較,說明本文提出的算法比現(xiàn)在流行的算法擁有更高的性能,可以在實際中應(yīng)用。實驗環(huán)境是由4臺主機組成的集群,具體硬件配置參數(shù)如表1所示。

    表1 實驗環(huán)境

    在數(shù)據(jù)集的選取上,本著真實公開和全面的原則,選擇了5個不同大小的數(shù)據(jù),如表2所示。所有的數(shù)據(jù)來源各社交網(wǎng)站里,從law.di.unimi.it/datasets.php下載,由WebGraph和LLPprojects提供。這5個數(shù)據(jù)集的規(guī)模是從小到大增長的,很好地說明了本文提出的方法擁有很好的擴展性。其次從數(shù)據(jù)集中頂點的平均邊數(shù)也可以看出每個圖的稀疏程度不同,說明本文提出的方法適用面廣泛。

    表2 實驗數(shù)據(jù)集

    4.2和單機的局部隨機游走算法比較

    首先我們對分布式算法和單機算法的結(jié)果進行了比較,實驗表明兩種算法中相同頂點的相似度都是一樣的,所以局部隨機游走算法的分布式版本是正確的。

    接下來,我們測試了單機算法和分布式算法運行的時間,數(shù)據(jù)如表3所示。

    表3 分布式和單機時間對比

    由表3得出的時間對比圖如圖6所示,橫坐標是測試數(shù)據(jù)集中頂點的個數(shù)(大致),萬為單位,縱坐標是算法運行的時間,秒為單位。

    圖6 單機和并行算法時間對比圖

    由圖或者表中的數(shù)據(jù)可以看出,數(shù)據(jù)量小的時候,分布式算法時間要消耗得更多一些,這是因為并行框架本身要消耗資源和時間,并行帶來的性能還沒有彌補框架損失的性能。但隨著數(shù)據(jù)集的增大,很明顯,分布式的時間比單機版本消耗的時間要少,性能大約提升了四倍,而且性能的提升程度和集群的大小是成正比的。

    4.3和MapReduce的二度人脈算法比較

    在分布式好友推薦算法中,基于MapReduce的二度人脈好友推薦算法使用得較廣泛,F(xiàn)acebook和Hi5等OSNs就使用了該方法進行好友推薦,來自于Facebook的數(shù)據(jù)科學(xué)家LarsBackstrom在eswc2011的報告[22]中介紹了他們是如何利用二度人脈的算法來為用戶推薦朋友。下面就BSP上的局部隨機游走算法和MapReduce上的二度人脈算法進行比較。首先看兩個算法的推薦效果。采用MeanReciprocalRank(MRR)值作為測試指標,在原來的數(shù)據(jù)圖中刪除某頂點的10個好友,然后分別用這兩個算法試圖把刪去的10個好友推薦回來,比較這十個好友的MRR值,結(jié)果如表4所示。

    表4 MRR值對比

    由于數(shù)據(jù)量很大,一個頂點的邊有很多,所以得到的MRR值非常小。由表4可以看出,BSP的MRR值比MapReduce的MRR值要大,可以得出結(jié)論,BSP上的局部隨機游走算法的推薦是更準確的。

    接下來,比較兩者的計算時間,數(shù)據(jù)如表5所示。

    表5 兩個并行算法時間對比

    圖7是表5中數(shù)據(jù)的折線圖顯示,橫坐標是測試數(shù)據(jù)集頂點的個數(shù),單位為萬,縱坐標是算法運行的時間,單位為秒。

    圖7 單機和并行算法時間對比圖

    由圖7可以看出MapReduce上的二度人脈的性能遠遠不如BSP上的局部隨機游走算法的性能,主要原因是并行框架的差異,BSP適合迭代圖數(shù)據(jù)計算,中間消息采用消息傳遞,而不是通過文件系統(tǒng)存儲中間結(jié)果。而MapReduce框架的啟動代價比較大,并且中間的結(jié)果是存儲在本地磁盤中,從而每次計算會產(chǎn)生大量的IO操作,所以抑制了性能。

    5結(jié)語

    本文首先提出了一種基于分布式圖計算框架的好友推薦方法,然后通過大量的實驗證明了該方法的高效性和可擴展性。實驗中,首先和單機的局部隨機游走算法進行了比較,證明了分布式的算法能夠帶來很大的性能提升,從而可以通過增加普通集群的方式來應(yīng)付大數(shù)據(jù)帶來的挑戰(zhàn)。接著又和現(xiàn)在流行的二度人脈算法進行了比較,證明了本文提出的算法具有很高的應(yīng)用價值。為了進一步提高本文方法的適用面,未來我們的工作主要集中在優(yōu)化好友推薦算法上。

    參考文獻

    [1]SocialNetworkService[EB/OL].http://newsroom.fb.com/Key-Facts.

    [2]HaewoonKwak,ChanghyunLee,HosungPark,etal.WhatisTwitter,asocialnetworkornewsmedia?[C]//Proceedingsofthe19thInternationalConferenceonWorldWideWeb,2010:591-600.

    [3]IdoGuy,InbalRonen,EricWilcox.Doyouknow?:recommendingpeopletoinviteintoyoursocialnetwork[C]//Proceedingsofthe14thinternationalconferenceonIntelligentuserinterfaces,February08-11,2009:77-86.

    [4]MarkHall,EibeFrank,GeoffreyHolmes,etal.Thewekadataminingsoftware:anupdate[J].ACMSIGKDDexplorationsnewsletter,2009,11(1):10-18.

    [5] 王兵輝.社交網(wǎng)絡(luò)中潛在好友推薦算法研究[D].云南大學(xué),2013.

    [6] 俞琰,邱廣華.基于局部隨機游走的在線社交網(wǎng)絡(luò)朋友推薦算法[J].系統(tǒng)工程,2013,31(2):47-54.

    [7] 佟婷婷,宋藝.小世界理論及其在Internet中的應(yīng)用[J].企業(yè)技術(shù)開發(fā),2010,29(1):26-27.

    [8] 楊婷.基于MapReduce的好友推薦系統(tǒng)的研究與實現(xiàn)[D].北京郵電大學(xué),2013.

    [9] 楊長春,楊晶,丁虹.一種新的新浪微博好友推薦算法[J].計算機應(yīng)用與軟件,2014,31(7):255-258,274.

    [10] 于海群,劉萬軍,邱云飛.基于用戶偏好的社會網(wǎng)絡(luò)二級人脈推薦研究[J].計算機應(yīng)用與軟件,2012,29(4):39-43.

    [11]SilvaNB,TsangIR,CavalcantiGDC,etal.Agraph-basedfriendrecommendationsystemusinggeneticalgorithm[C]//Proceedingsof6thIEEEWorldCongressonComputationalIntelligence.Piscataway:IEEEPress,2010:233-239.

    [12] 張龍昌,劉志晗,王攀,等.基于FOAF的分布式移動SNS應(yīng)用[J].電信科學(xué),2010,26(5):88-92.

    [13] 平衛(wèi)芳.Web數(shù)據(jù)挖掘中PageRank算法的研究與改進[D].華東理工大學(xué),2014.

    [14] 賀超波,湯庸,陳國華,等.面向大規(guī)模社交網(wǎng)絡(luò)的潛在好友推薦方法[J].合肥工業(yè)大學(xué)學(xué)報:自然科學(xué)版,2013,36(4):420-424.

    [15]MapReduce上實現(xiàn)二度人脈好友推薦算法[EB/OL].http://www.datalab.sinaapp.com/?=192.

    [16] 張杰.PyGel:基于DPark的分布式圖計算引擎的研究與實現(xiàn)[D].華南理工大學(xué),2013.

    [17] 蔡大威.基于Hadoop和Hama平臺的并行算法研究[D].浙江大學(xué),2013.

    [18] 朱珠.基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D].北京郵電大學(xué),2008.

    [19]WeiZhou,BoLi,ZhangZhang,etal.Arbor:EfficientLarge-ScaleGraphDataComputingModel[C]//Proceedingsofthe15thIEEEInternationalConferenceonHighPerformanceComputingandCommunications,2013:300-307.

    [20] 李金枝.基于RWR的圖像分割算法研究[D].重慶大學(xué),2010.

    [21]PapadimitriouA,SyseonidisP,ManolopoulosY.Fastandaccuratelinkpredictioninsocialnetworkingsystems[J].JournalofSystemandSoftware,2012,85(9):2119-2132.

    [22]DealingwithstructuredandunstructureddataatFacebook[EB/OL].http://videolectures.net/eswc2011_backstrom_facebook/.

    STUDY ON A FRIEND RECOMMENDATION ALGORITHM BASED ON DISTRIBUTEDGRAPHCOMPUTINGFRAMEWORK

    Zhao Masha1,2Zhou Wei1,2Zhang Hao3Han Jizhong1

    1(Institute of Information Engineering,Chinese Academy of Science,Beijing 100093,China)2(University of Chinese Academy of Science,Beijing 100049,China)3(School of Communication and Information Engineering,Chongqing University of Posts and Telecommunications,Chongqing 400065,China)

    AbstractWith the rise and development of social networking sites, the user number show a growth trend in exponential level, in these massive data there contains a lot of valuable information, and to mine the useful information has become the focus of the scholars in their studies. The friend recommendation algorithm is one of the most important applications in data mining. To acquire better performance and higher scalability, it becomes a developing trend in both the academia and the industry to use a distributed platform in solving the large-scale friend recommendation. Currently, the friend recommendation algorithm based on MapReduce framework has been widely used because of its high scalability. However, the inefficient transmission of the intermediate data of MapReduce results in the performance deficiencies. To solve these problems, the paper proposes a distributed graph computing framework-based friend recommendation algorithm. In end of the paper, we give the evaluation of the proposed algorithm on a couple of real social network datasets, and the experimental results show that it is superior to the advanced friend recommendation algorithms of the industry, and its performance is about seven times than that of other algorithms under the circumstance of similar accuracy.

    KeywordsFriend recommendationDistributed graph computing frameworkRandom walk

    收稿日期:2014-10-09。國家自然科學(xué)基金項目(60903047);國家高技術(shù)研究發(fā)展計劃項目(2012AA01A401,2013AA013204);中國科學(xué)院先導(dǎo)專項(XDA06030200)。趙馬沙,碩士生,主研領(lǐng)域:大規(guī)模數(shù)據(jù)處理。周薇,博士生。張豪,碩士生。韓冀中,教授級高工。

    中圖分類號TP3

    文獻標識碼A

    DOI:10.3969/j.issn.1000-386x.2016.06.008

    猜你喜歡
    二度頂點好友
    過非等腰銳角三角形頂點和垂心的圓的性質(zhì)及應(yīng)用(下)
    圖說·“梅”開二度
    杭州(2019年16期)2019-09-10 07:22:44
    歌唱表演“二度創(chuàng)作”的基本能力和表演要求
    心聲歌刊(2019年1期)2019-05-09 03:21:34
    屬羊
    關(guān)于頂點染色的一個猜想
    滬指二度回升 逢高宜減倉
    刪除好友
    雜文月刊(2017年20期)2017-11-13 02:25:06
    智慧改寫,讓佳作“二度開花”
    語文知識(2014年2期)2014-02-28 21:59:23
    數(shù)學(xué)問答
    一個人在頂點
    歲月(2009年3期)2009-04-10 03:50:12
    日本wwww免费看| 卡戴珊不雅视频在线播放| 日本-黄色视频高清免费观看| 日韩欧美一区视频在线观看 | 丝袜脚勾引网站| 女人十人毛片免费观看3o分钟| 亚洲欧美精品专区久久| 国产探花极品一区二区| 香蕉精品网在线| 美女内射精品一级片tv| 亚洲欧洲国产日韩| 国产免费福利视频在线观看| 亚洲在线观看片| 99热这里只有精品一区| 久久国内精品自在自线图片| 视频中文字幕在线观看| 精品国产乱码久久久久久小说| 一个人看的www免费观看视频| 亚洲成人一二三区av| 91久久精品国产一区二区成人| 成人黄色视频免费在线看| 伦理电影大哥的女人| 亚洲久久久久久中文字幕| 成年人午夜在线观看视频| 国产成年人精品一区二区| 边亲边吃奶的免费视频| 国产黄片美女视频| 亚洲三级黄色毛片| 女人被狂操c到高潮| 久久99热6这里只有精品| 久久久色成人| 国产欧美另类精品又又久久亚洲欧美| 夫妻性生交免费视频一级片| 成年女人在线观看亚洲视频 | 久久久欧美国产精品| 黄色视频在线播放观看不卡| 国产成人免费无遮挡视频| 成人漫画全彩无遮挡| 交换朋友夫妻互换小说| 欧美区成人在线视频| 日韩国内少妇激情av| 成人午夜精彩视频在线观看| tube8黄色片| 特大巨黑吊av在线直播| 禁无遮挡网站| 天美传媒精品一区二区| 成人特级av手机在线观看| 精品午夜福利在线看| 亚洲av.av天堂| 中文天堂在线官网| 国产男女超爽视频在线观看| 国产一区有黄有色的免费视频| 成年免费大片在线观看| 国产淫片久久久久久久久| 男男h啪啪无遮挡| 搡老乐熟女国产| 日韩伦理黄色片| 国产高清国产精品国产三级 | 国产精品不卡视频一区二区| 久久久久久久国产电影| 国产v大片淫在线免费观看| 禁无遮挡网站| 在线观看美女被高潮喷水网站| 亚洲怡红院男人天堂| 亚洲欧美精品专区久久| 成人毛片60女人毛片免费| 亚洲av日韩在线播放| 亚洲性久久影院| 国产成人精品一,二区| 一级爰片在线观看| 大又大粗又爽又黄少妇毛片口| 青春草国产在线视频| 国产亚洲精品久久久com| 丰满少妇做爰视频| 在线观看国产h片| 国产成人精品婷婷| 亚洲欧洲日产国产| 国产精品爽爽va在线观看网站| 国产视频首页在线观看| 大片电影免费在线观看免费| 国产欧美另类精品又又久久亚洲欧美| 亚洲精品日韩av片在线观看| 男女边摸边吃奶| 日本免费在线观看一区| 大陆偷拍与自拍| 免费大片黄手机在线观看| 免费av观看视频| 另类亚洲欧美激情| 直男gayav资源| 午夜爱爱视频在线播放| 成年人午夜在线观看视频| 91在线精品国自产拍蜜月| 少妇裸体淫交视频免费看高清| 国产成人精品婷婷| 亚洲精品国产成人久久av| 欧美另类一区| 大码成人一级视频| 国产精品秋霞免费鲁丝片| 国产精品福利在线免费观看| 精品国产露脸久久av麻豆| 欧美三级亚洲精品| 欧美日本视频| 美女被艹到高潮喷水动态| 欧美一级a爱片免费观看看| 国产日韩欧美在线精品| 久久久久久久亚洲中文字幕| 香蕉精品网在线| 好男人在线观看高清免费视频| 国产美女午夜福利| 一本一本综合久久| 99久国产av精品国产电影| 久久久久网色| 国产av国产精品国产| av国产精品久久久久影院| 久久99热这里只频精品6学生| 有码 亚洲区| 丰满乱子伦码专区| 九色成人免费人妻av| 久久久久久国产a免费观看| 亚洲av电影在线观看一区二区三区 | 精品熟女少妇av免费看| 搞女人的毛片| av黄色大香蕉| 欧美成人精品欧美一级黄| 99热全是精品| 国产精品99久久99久久久不卡 | 精品国产乱码久久久久久小说| 国产乱人视频| 中文字幕av成人在线电影| 精品国产一区二区三区久久久樱花 | 国产精品国产三级国产av玫瑰| 九九久久精品国产亚洲av麻豆| 国产精品秋霞免费鲁丝片| 亚洲国产av新网站| 亚洲国产精品专区欧美| 18禁裸乳无遮挡动漫免费视频 | 久久精品国产亚洲网站| 欧美丝袜亚洲另类| 日韩 亚洲 欧美在线| videossex国产| 日日摸夜夜添夜夜爱| 97在线视频观看| 一级a做视频免费观看| 大码成人一级视频| 中文精品一卡2卡3卡4更新| 看免费成人av毛片| 亚洲色图av天堂| 黄色一级大片看看| 日本免费在线观看一区| 天堂中文最新版在线下载 | 日韩不卡一区二区三区视频在线| 五月伊人婷婷丁香| 婷婷色麻豆天堂久久| 国产女主播在线喷水免费视频网站| 亚洲精品自拍成人| 久久99蜜桃精品久久| 久久精品国产自在天天线| 国产精品偷伦视频观看了| 日韩欧美精品v在线| 亚洲av.av天堂| 日韩三级伦理在线观看| 自拍欧美九色日韩亚洲蝌蚪91 | 欧美成人午夜免费资源| 18禁动态无遮挡网站| 亚洲精品一区蜜桃| 午夜精品一区二区三区免费看| kizo精华| .国产精品久久| 麻豆成人av视频| 大香蕉久久网| 亚洲欧美一区二区三区黑人 | 亚洲自拍偷在线| 免费av毛片视频| 在线观看三级黄色| 噜噜噜噜噜久久久久久91| 国产成人免费无遮挡视频| 日韩亚洲欧美综合| 中文字幕免费在线视频6| 国产成人精品一,二区| 女人久久www免费人成看片| 永久免费av网站大全| 久久久久精品久久久久真实原创| 亚洲国产精品专区欧美| 久久久国产一区二区| 成人漫画全彩无遮挡| 在线观看免费高清a一片| 最近2019中文字幕mv第一页| 亚洲av不卡在线观看| 成人综合一区亚洲| 国产在线男女| 国产精品一区二区三区四区免费观看| 国产av码专区亚洲av| 国产永久视频网站| 日韩av在线免费看完整版不卡| 国产精品秋霞免费鲁丝片| 美女xxoo啪啪120秒动态图| 男人和女人高潮做爰伦理| 久久久久性生活片| 亚洲av成人精品一区久久| 精品久久久久久久人妻蜜臀av| 国产成人freesex在线| 国产白丝娇喘喷水9色精品| 国产免费一级a男人的天堂| 国产永久视频网站| 日本与韩国留学比较| 国产一区亚洲一区在线观看| 欧美zozozo另类| 国产精品国产三级国产专区5o| 直男gayav资源| 亚洲在久久综合| 午夜福利高清视频| 最新中文字幕久久久久| 国产男女内射视频| 午夜免费鲁丝| 精品人妻熟女av久视频| 别揉我奶头 嗯啊视频| 色5月婷婷丁香| 身体一侧抽搐| 黄片无遮挡物在线观看| 亚洲自偷自拍三级| 18禁在线播放成人免费| 性色avwww在线观看| 免费看av在线观看网站| 久久久久久久亚洲中文字幕| 少妇高潮的动态图| 日本与韩国留学比较| av免费在线看不卡| 综合色av麻豆| 高清欧美精品videossex| 麻豆精品久久久久久蜜桃| 涩涩av久久男人的天堂| 久久精品国产亚洲av涩爱| 亚洲av欧美aⅴ国产| 亚洲av成人精品一二三区| 欧美少妇被猛烈插入视频| 久久精品久久精品一区二区三区| 亚洲成人久久爱视频| 国产色爽女视频免费观看| 黄色一级大片看看| 中文欧美无线码| 亚洲国产欧美在线一区| 男插女下体视频免费在线播放| 蜜桃久久精品国产亚洲av| 国产毛片在线视频| 亚洲精品日韩在线中文字幕| 国内揄拍国产精品人妻在线| 欧美日韩视频高清一区二区三区二| 亚洲国产色片| 精品视频人人做人人爽| 精品国产露脸久久av麻豆| 久久久久久伊人网av| 中国美白少妇内射xxxbb| 中国美白少妇内射xxxbb| 我的老师免费观看完整版| 日本午夜av视频| 国产亚洲最大av| 国产 精品1| videos熟女内射| h日本视频在线播放| 精华霜和精华液先用哪个| 舔av片在线| 在现免费观看毛片| 涩涩av久久男人的天堂| 在线精品无人区一区二区三 | 国产探花极品一区二区| 免费看a级黄色片| 亚洲内射少妇av| 日本欧美国产在线视频| 免费黄频网站在线观看国产| 亚洲欧美日韩东京热| 亚洲精品久久久久久婷婷小说| 99久久精品热视频| 精品久久久久久久末码| 亚洲精品乱码久久久v下载方式| 免费看光身美女| 久久99精品国语久久久| 97在线视频观看| 2021少妇久久久久久久久久久| 蜜桃久久精品国产亚洲av| 欧美激情久久久久久爽电影| 亚洲熟女精品中文字幕| 一级二级三级毛片免费看| 欧美xxxx性猛交bbbb| 又黄又爽又刺激的免费视频.| 老司机影院毛片| 国产精品久久久久久精品电影| 女人十人毛片免费观看3o分钟| 最近的中文字幕免费完整| 国产综合懂色| 国产老妇女一区| 亚洲伊人久久精品综合| 亚洲,一卡二卡三卡| 日韩一区二区三区影片| 欧美一级a爱片免费观看看| 国产精品一区二区性色av| 高清日韩中文字幕在线| 少妇猛男粗大的猛烈进出视频 | 男的添女的下面高潮视频| 国产精品秋霞免费鲁丝片| 一个人观看的视频www高清免费观看| 丝袜脚勾引网站| 亚洲三级黄色毛片| 日本-黄色视频高清免费观看| 日韩中字成人| 久久午夜福利片| 精品一区二区三卡| 国产av码专区亚洲av| 亚洲自偷自拍三级| 国产中年淑女户外野战色| 亚洲欧美日韩东京热| 少妇丰满av| videossex国产| 国产成人精品一,二区| 网址你懂的国产日韩在线| 日本与韩国留学比较| 少妇裸体淫交视频免费看高清| 高清毛片免费看| 欧美三级亚洲精品| 国产国拍精品亚洲av在线观看| 亚洲综合精品二区| 精品人妻一区二区三区麻豆| 国产免费福利视频在线观看| xxx大片免费视频| 亚洲人与动物交配视频| 麻豆成人av视频| 亚洲成人中文字幕在线播放| 我要看日韩黄色一级片| 狂野欧美激情性bbbbbb| 国产欧美日韩精品一区二区| 欧美精品人与动牲交sv欧美| 激情五月婷婷亚洲| 婷婷色av中文字幕| www.av在线官网国产| 精品久久久久久电影网| 最近手机中文字幕大全| 免费人成在线观看视频色| 亚洲av中文av极速乱| 一级二级三级毛片免费看| 国产精品伦人一区二区| 免费av不卡在线播放| 亚洲综合色惰| 麻豆成人午夜福利视频| 人人妻人人看人人澡| 日韩欧美精品v在线| 午夜福利视频精品| 国产一区有黄有色的免费视频| 日韩人妻高清精品专区| 午夜免费鲁丝| 最近最新中文字幕大全电影3| 边亲边吃奶的免费视频| 久久综合国产亚洲精品| 美女高潮的动态| 欧美区成人在线视频| 五月玫瑰六月丁香| 国产精品一区www在线观看| 人人妻人人爽人人添夜夜欢视频 | 亚洲国产欧美在线一区| 免费在线观看成人毛片| 黄色配什么色好看| 亚洲综合色惰| 国产 精品1| 午夜免费观看性视频| 久久久午夜欧美精品| 免费大片18禁| 美女视频免费永久观看网站| 夫妻性生交免费视频一级片| 国产成人精品婷婷| 少妇人妻精品综合一区二区| 国产精品国产av在线观看| 黄片wwwwww| 插阴视频在线观看视频| 国产探花在线观看一区二区| 亚洲精品久久久久久婷婷小说| 亚洲,一卡二卡三卡| 最近最新中文字幕大全电影3| 91久久精品电影网| 色视频在线一区二区三区| 欧美高清性xxxxhd video| 成人亚洲欧美一区二区av| 日韩精品有码人妻一区| 91久久精品电影网| 国产精品国产三级国产av玫瑰| 久久久久九九精品影院| 成人综合一区亚洲| 国产一区二区三区av在线| 丝袜美腿在线中文| 久久久久久久亚洲中文字幕| 男人舔奶头视频| videossex国产| a级一级毛片免费在线观看| 一区二区三区精品91| 嫩草影院入口| 欧美一级a爱片免费观看看| 91午夜精品亚洲一区二区三区| 国产综合精华液| tube8黄色片| 男女边摸边吃奶| 在线观看美女被高潮喷水网站| av线在线观看网站| 欧美精品一区二区大全| 在线观看国产h片| videos熟女内射| 日韩av不卡免费在线播放| 久久韩国三级中文字幕| 国产免费又黄又爽又色| 精品久久久久久久久亚洲| 一本一本综合久久| 麻豆成人av视频| 亚洲综合色惰| 人妻少妇偷人精品九色| 久久久久久久久久久免费av| 一级片'在线观看视频| 美女高潮的动态| 波野结衣二区三区在线| 国产一区二区亚洲精品在线观看| av线在线观看网站| 纵有疾风起免费观看全集完整版| 超碰av人人做人人爽久久| 久久久a久久爽久久v久久| freevideosex欧美| 亚洲综合精品二区| 欧美人与善性xxx| 亚洲欧美成人综合另类久久久| 久久久色成人| 精品少妇黑人巨大在线播放| 日韩制服骚丝袜av| 韩国av在线不卡| 看十八女毛片水多多多| 少妇的逼好多水| 亚洲美女搞黄在线观看| 亚洲精品亚洲一区二区| 亚洲国产精品成人综合色| 老师上课跳d突然被开到最大视频| 日韩av在线免费看完整版不卡| 精品久久久精品久久久| 波多野结衣巨乳人妻| 日日撸夜夜添| 又爽又黄无遮挡网站| 亚洲精品亚洲一区二区| 热99国产精品久久久久久7| 欧美人与善性xxx| 各种免费的搞黄视频| 秋霞在线观看毛片| 国产高清不卡午夜福利| 亚洲av一区综合| 在线观看一区二区三区激情| av免费观看日本| 久久久久网色| 久久女婷五月综合色啪小说 | 大香蕉97超碰在线| 白带黄色成豆腐渣| 有码 亚洲区| av在线app专区| 自拍偷自拍亚洲精品老妇| 成年人午夜在线观看视频| 亚洲最大成人中文| 高清av免费在线| 乱码一卡2卡4卡精品| 日韩不卡一区二区三区视频在线| 99热6这里只有精品| 寂寞人妻少妇视频99o| 69av精品久久久久久| 高清视频免费观看一区二区| 国产亚洲午夜精品一区二区久久 | 欧美日韩精品成人综合77777| 久久久久国产精品人妻一区二区| 国产精品一区二区在线观看99| 舔av片在线| 国产探花在线观看一区二区| 国产伦精品一区二区三区视频9| 亚洲欧美日韩另类电影网站 | 欧美成人午夜免费资源| 国产极品天堂在线| 国内精品宾馆在线| 国产成人freesex在线| 欧美另类一区| 国产色爽女视频免费观看| 久久精品久久久久久噜噜老黄| 最近的中文字幕免费完整| 成年女人看的毛片在线观看| 亚洲欧美日韩卡通动漫| 国产精品人妻久久久久久| 精品午夜福利在线看| 久久精品国产a三级三级三级| 亚洲av国产av综合av卡| 热99国产精品久久久久久7| av免费观看日本| 97在线视频观看| av线在线观看网站| 又大又黄又爽视频免费| 黄色视频在线播放观看不卡| 大陆偷拍与自拍| 久久精品久久精品一区二区三区| 午夜免费男女啪啪视频观看| 精品午夜福利在线看| 高清在线视频一区二区三区| 深夜a级毛片| 国产精品国产三级国产专区5o| 国内精品美女久久久久久| 精品久久久精品久久久| 亚洲av二区三区四区| 久久99热这里只频精品6学生| kizo精华| 亚洲内射少妇av| 午夜精品一区二区三区免费看| 亚洲伊人久久精品综合| 欧美 日韩 精品 国产| 亚洲欧美日韩无卡精品| 三级国产精品片| 国产高潮美女av| 亚洲最大成人手机在线| 欧美最新免费一区二区三区| av国产精品久久久久影院| 在线播放无遮挡| 丰满乱子伦码专区| 久热这里只有精品99| 国产精品三级大全| 大又大粗又爽又黄少妇毛片口| 国产成人精品婷婷| 日韩视频在线欧美| 亚洲av福利一区| av在线app专区| 国产伦精品一区二区三区视频9| 欧美3d第一页| 国产精品成人在线| 麻豆乱淫一区二区| 国产毛片在线视频| 国产视频首页在线观看| 波多野结衣巨乳人妻| 久久久久久国产a免费观看| 男人添女人高潮全过程视频| 国产成人精品婷婷| 高清毛片免费看| 日韩精品有码人妻一区| 国产欧美日韩一区二区三区在线 | 国产精品久久久久久精品电影| 中文字幕免费在线视频6| av国产免费在线观看| 欧美 日韩 精品 国产| 亚洲自拍偷在线| 美女高潮的动态| 汤姆久久久久久久影院中文字幕| 国产黄色视频一区二区在线观看| 人妻夜夜爽99麻豆av| 国产老妇伦熟女老妇高清| 国产免费一级a男人的天堂| 在现免费观看毛片| 寂寞人妻少妇视频99o| 日本一二三区视频观看| 99视频精品全部免费 在线| 久久久久九九精品影院| 插逼视频在线观看| 大香蕉97超碰在线| 天堂中文最新版在线下载 | 99久久人妻综合| 成人国产麻豆网| 欧美高清性xxxxhd video| eeuss影院久久| 国产爽快片一区二区三区| 少妇丰满av| 日日啪夜夜爽| 亚洲av.av天堂| 亚洲天堂国产精品一区在线| 我的女老师完整版在线观看| 国产乱人偷精品视频| 国产成年人精品一区二区| 国产色婷婷99| 亚洲av福利一区| 精品视频人人做人人爽| 日本猛色少妇xxxxx猛交久久| 青春草视频在线免费观看| 国产男女内射视频| 小蜜桃在线观看免费完整版高清| 欧美少妇被猛烈插入视频| 久久久欧美国产精品| 久久久精品欧美日韩精品| 在线播放无遮挡| 黄色怎么调成土黄色| 日韩国内少妇激情av| 国产高清有码在线观看视频| 伦理电影大哥的女人| 卡戴珊不雅视频在线播放| 人人妻人人澡人人爽人人夜夜| 婷婷色综合www| 国产精品一区二区性色av| 国产淫片久久久久久久久| 亚洲精品亚洲一区二区| 韩国av在线不卡| 久久99蜜桃精品久久| 国产v大片淫在线免费观看| 日韩精品有码人妻一区| 久久精品国产鲁丝片午夜精品| 亚洲av.av天堂| 久久久久久久亚洲中文字幕| 欧美精品国产亚洲| av专区在线播放| 嫩草影院精品99| 国产伦在线观看视频一区| av在线播放精品| av天堂中文字幕网| 日韩亚洲欧美综合| 欧美精品人与动牲交sv欧美| 免费在线观看成人毛片| av播播在线观看一区| 如何舔出高潮| 亚洲怡红院男人天堂| 久久久a久久爽久久v久久| 一级片'在线观看视频| 亚洲av中文字字幕乱码综合| 狂野欧美激情性xxxx在线观看| 色综合色国产| 免费观看的影片在线观看| 午夜日本视频在线| 如何舔出高潮| 黑人高潮一二区|