• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Spark的協(xié)同過(guò)濾算法的研究

    2016-06-14 02:12:55于娜娜王中杰同濟(jì)大學(xué)電子與信息工程學(xué)院上海201804
    系統(tǒng)仿真技術(shù) 2016年1期
    關(guān)鍵詞:協(xié)同過(guò)濾推薦系統(tǒng)

    于娜娜,王中杰(同濟(jì)大學(xué)電子與信息工程學(xué)院,上海201804)

    ?

    基于Spark的協(xié)同過(guò)濾算法的研究

    于娜娜,王中杰
    (同濟(jì)大學(xué)電子與信息工程學(xué)院,上海201804)

    摘 要:隨著互聯(lián)網(wǎng)的普及,人們從海量的信息中搜索出自己所需要的信息無(wú)疑變得非常困難。推薦系統(tǒng)能夠通過(guò)分析用戶的興趣和行為而智能地向用戶推薦所需信息,因而得到人們的青睞,并激發(fā)了各界人士對(duì)它的研究興趣?;贏LS的協(xié)同過(guò)濾推薦算法是推薦系統(tǒng)中比較常用的一種通過(guò)矩陣分解技術(shù)進(jìn)行推薦的算法,它通過(guò)綜合大量的用戶評(píng)分?jǐn)?shù)據(jù)進(jìn)行計(jì)算,并存儲(chǔ)計(jì)算過(guò)程中產(chǎn)生的龐大特征矩陣,如果在單節(jié)點(diǎn)上運(yùn)行可能會(huì)遇到計(jì)算速度的瓶頸。SPark是一種新型的分布式大數(shù)據(jù)通用計(jì)算平臺(tái),具有優(yōu)異的計(jì)算性能,本文主要對(duì)現(xiàn)有的基于ALS的協(xié)同過(guò)濾算法和SPark進(jìn)行了研究,實(shí)現(xiàn)了基于ALS的協(xié)同過(guò)濾算法在SPark上的并行化運(yùn)行,并且通過(guò)實(shí)驗(yàn)與HadooP對(duì)比證明了該算法在SPark上運(yùn)行的快速性。

    關(guān)鍵詞:推薦系統(tǒng);協(xié)同過(guò)濾;矩陣分解;ALS;SPark

    1 引 言

    隨著互聯(lián)網(wǎng)的普及和互聯(lián)網(wǎng)用戶數(shù)量的迅猛增長(zhǎng),互聯(lián)網(wǎng)上的信息呈現(xiàn)爆炸式的增長(zhǎng)。雖然海量的信息為滿足互聯(lián)網(wǎng)用戶紛繁復(fù)雜的信息需求帶來(lái)了前所未有的機(jī)遇,但是也對(duì)信息處理技術(shù)提出嚴(yán)峻的挑戰(zhàn)[1],用戶無(wú)法從海量的信息中快速準(zhǔn)確地搜索到自己所需要的信息。在這種背景下,推薦系統(tǒng)應(yīng)運(yùn)而生,推薦系統(tǒng)通過(guò)收集和分析用戶的各種信息來(lái)學(xué)習(xí)用戶的興趣和行為模式,來(lái)為用戶推薦他所需要的服務(wù)[1~3]。協(xié)同過(guò)濾是推薦技術(shù)中運(yùn)用最成功和最廣泛的技術(shù)之一,主要分三類:基于用戶(User-based)的協(xié)同過(guò)濾,基于項(xiàng)目(Item-based)的協(xié)同過(guò)濾和基于模型(Model-based)的協(xié)同過(guò)濾。本文主要研究基于模型的協(xié)同過(guò)濾。

    基于模型的協(xié)同過(guò)濾是一個(gè)典型的機(jī)器學(xué)習(xí)的問(wèn)題,主要是基于樣本的用戶喜好信息,訓(xùn)練一個(gè)推薦模型,然后根據(jù)實(shí)時(shí)的用戶喜好信息進(jìn)行預(yù)測(cè),計(jì)算推薦,核心在于如何將用戶實(shí)時(shí)或者近期的喜好信息反饋給訓(xùn)練好的模型,從而提高推薦的準(zhǔn)確度[4]。該算法性能的優(yōu)劣關(guān)鍵在于好的模型建立與否,因?yàn)楹玫哪P拖鄬?duì)原始數(shù)據(jù)集而言小得多卻能挖掘出用戶和項(xiàng)目之間更多的潛在關(guān)系,在一定程度上不僅有效緩解了推薦算法的實(shí)時(shí)性問(wèn)題,同時(shí)有效解決了用戶ˉ項(xiàng)目評(píng)分矩陣的稀疏性問(wèn)題,在推薦性能上更優(yōu)[5]。當(dāng)前,基于模型的協(xié)同過(guò)濾算法主要包括概率相關(guān)模型、線性回歸、聚類等數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)方面的模型[6]。本文主要介紹的基于ALS矩陣分解算法就屬于基于隱語(yǔ)義模型(Latent Factor Model)的協(xié)同過(guò)濾推薦算法。在這個(gè)模型里,用戶和商品通過(guò)一組隱性因子進(jìn)行表達(dá),并且這些因子也用來(lái)預(yù)測(cè)缺失的元素,那么學(xué)習(xí)這些潛在因子的方法本文用的便是交替最小二乘法ALS。

    在目前的協(xié)同過(guò)濾研究中,大多是單節(jié)點(diǎn)進(jìn)行實(shí)驗(yàn)和調(diào)試的。但隨著大數(shù)據(jù)時(shí)代的到來(lái),推薦系統(tǒng)需要存儲(chǔ)的用戶數(shù)據(jù)和物品數(shù)據(jù)迅速增長(zhǎng),在單節(jié)點(diǎn)上計(jì)算并實(shí)現(xiàn)這些算法變得非常慢,使得推薦無(wú)法實(shí)時(shí)進(jìn)行,推薦周期很長(zhǎng),更新和反饋很慢將會(huì)導(dǎo)致用戶體驗(yàn)不好,無(wú)法滿足用戶興趣的變化,因此需要對(duì)這些算法進(jìn)行并行計(jì)算,提高算法計(jì)算效率,加速推薦結(jié)果的產(chǎn)生,適應(yīng)用戶興趣的變化,同時(shí)也會(huì)推動(dòng)大數(shù)據(jù)協(xié)同過(guò)濾算法的學(xué)術(shù)研究和實(shí)踐應(yīng)用。

    目前的數(shù)據(jù)并行處理平臺(tái)有兩種,即HadooP 和SPark。由于HadooP的MaPReduce每次計(jì)算都要從磁盤(pán)讀或?qū)憯?shù)據(jù),同時(shí)整個(gè)計(jì)算模型需要網(wǎng)絡(luò)傳輸,這就導(dǎo)致了HadooP越來(lái)越不能忍受的高延遲性。SPark,這種新型的分布式大數(shù)據(jù)計(jì)算平臺(tái)的出現(xiàn)正解決了此困境,基于RDD(彈性分布式數(shù)據(jù)集),它的Job中間輸出和結(jié)果可保存在內(nèi)存中,減少了訪問(wèn)硬盤(pán)I/O次數(shù),可以有較高的運(yùn)算速度。因此本文著重研究基于ALS的協(xié)同過(guò)濾算法在SPark上的實(shí)現(xiàn)問(wèn)題。

    2 Spark平臺(tái)

    2.1Spark平臺(tái)部署

    2.1.1環(huán)境說(shuō)明

    本文搭建的SPark集群采用的是實(shí)驗(yàn)室的三臺(tái)普通PC,包括1個(gè)Master節(jié)點(diǎn)和2個(gè)Slave節(jié)點(diǎn),三個(gè)節(jié)點(diǎn)均為Ubuntu14.10系統(tǒng),節(jié)點(diǎn)之間局域網(wǎng)連接。具體情況如表1所示。

    表1 節(jié)點(diǎn)具體說(shuō)明Tab.1 The details of th ree nodes

    2.1.2軟件安裝

    JavaJDK用的是jdk -7u75 -linux-i586.gz,hadooP版本為hadooP -2.6.0.tar.gz,安裝過(guò)程中最重要的一點(diǎn)就是配置SSH實(shí)現(xiàn)無(wú)密碼遠(yuǎn)程登陸與管理。搭建好HadooP集群之后,在此基礎(chǔ)上進(jìn)行SPark的安裝,其版本為SPark1.2.0,開(kāi)發(fā)環(huán)境IntelliJIDEA 14.0.3,對(duì)應(yīng)的Scala為scala-sdk -2.10.4。所有軟件在三臺(tái)機(jī)器上安裝并配置好后即可啟動(dòng)SPark分布式集群。

    2.2Spark集群的特點(diǎn)

    APache SPark官方的定義是[7]:SPark是一個(gè)通用的大規(guī)模數(shù)據(jù)快速處理引擎??梢院?jiǎn)單地理解為SPark就是一個(gè)大數(shù)據(jù)分布式處理框架。SPark具有以下優(yōu)勢(shì):快速性,SPark基于內(nèi)存的計(jì)算速度比HadooP MaP Reduce快很多。易用性,提供多語(yǔ)言編程,簡(jiǎn)潔的函數(shù)式編程語(yǔ)言Scala能快速實(shí)現(xiàn)應(yīng)用。通用性,提供了一個(gè)強(qiáng)大的技術(shù)堆棧,如機(jī)器學(xué)習(xí)工具M(jìn)Llib,圖計(jì)算工具GraPhX,實(shí)時(shí)流處理工具SPark Streaming等,尤其是MLlib使得原本復(fù)雜的機(jī)器學(xué)習(xí)在理解和使用上變的靈活而簡(jiǎn)易。本文的協(xié)同過(guò)濾算法即是基于MLlib實(shí)現(xiàn)的。

    RDD(Resilient Distributed Datasets)是SPark的核心,是分布于各個(gè)計(jì)算節(jié)點(diǎn)存儲(chǔ)于內(nèi)存中的數(shù)據(jù)對(duì)象集合,可以讓用戶在執(zhí)行多個(gè)查詢時(shí)顯式地將數(shù)據(jù)緩存在內(nèi)存中,在后續(xù)的查詢過(guò)程中能夠重用這些數(shù)據(jù)集,從而提供了低延遲性。RDD具有很好的容錯(cuò)機(jī)制,它能記住構(gòu)建它的操作圖,記錄如何從其他RDD轉(zhuǎn)換而來(lái)(即Lineage),當(dāng)執(zhí)行任務(wù)的數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障,可以通過(guò)操作圖獲得之前執(zhí)行的操作而恢復(fù)丟失的分區(qū)即重建丟失的數(shù)據(jù)。RDD只能通過(guò)在其他RDD執(zhí)行確定的轉(zhuǎn)換操作而創(chuàng)建,與大多數(shù)的分布式數(shù)據(jù)集采用的需付出高昂成本代價(jià)的數(shù)據(jù)檢查點(diǎn)的容錯(cuò)性實(shí)現(xiàn)方式不同,RDD只包含如何從其他RDD衍生所必需的信息,不需要檢查點(diǎn)操作就可以重構(gòu)丟失的數(shù)據(jù)分區(qū)。

    2.3Spark的工作流程

    在SPark中,數(shù)據(jù)集的劃分和任務(wù)調(diào)度都是系統(tǒng)自動(dòng)完成的,其工作流程如圖1所示。

    SPark程序在運(yùn)行時(shí),首先會(huì)創(chuàng)建SParkContext來(lái)作為任務(wù)調(diào)度的總?cè)肟?,在其初始化工作環(huán)境過(guò)程中會(huì)創(chuàng)建DAGScheduler(進(jìn)行Stage調(diào)度)和Task Scheduler(進(jìn)行Task調(diào)度)兩個(gè)模塊。DAGScheduler模塊負(fù)責(zé)為每個(gè)SParkJob計(jì)算具有依賴關(guān)系的多個(gè)Stage任務(wù)階段,然后將每個(gè)Stage劃分為具體的一組任務(wù)(可以在worker節(jié)點(diǎn)上并行執(zhí)行的tasks),并以TaskSet的形式提交給TaskScheduler模塊來(lái)執(zhí)行。

    圖1 Spark工作流程Fig.1 W ork ing Process of Spark

    3 基于ALS的協(xié)同過(guò)濾算法

    基于矩陣分解模型的協(xié)同過(guò)濾推薦算法主要有:SVD(奇異值分解)和ALS。實(shí)際上,矩陣分解模型與前面提到的隱語(yǔ)義模型是一個(gè)意思,即通過(guò)降維的方式將評(píng)分矩陣補(bǔ)全。早期的SVD首先通過(guò)加權(quán)平均值等方法對(duì)用戶評(píng)分矩陣R中的空缺元素補(bǔ)全得到矩陣R?,然后利用數(shù)學(xué)中的SVD對(duì)R?進(jìn)行分解。Simon、Korean[8]等人也提出新的SVD++模型,然而這種方法的計(jì)算復(fù)雜度非常高,很難在實(shí)際的推薦系統(tǒng)中應(yīng)用[9]。隨著Netflix Prize比賽的進(jìn)行,先后出現(xiàn)了一些高效的矩陣分解算法,其中Zhou等[10]人提出的基于交替最小二乘法(ALS)的協(xié)同過(guò)濾算法是一個(gè)強(qiáng)大的矩陣分解算法,能很好的擴(kuò)展到分布式計(jì)算以及解決數(shù)據(jù)稀疏問(wèn)題。下面以用戶與電影評(píng)分矩陣為例來(lái)講述基于ALS協(xié)同過(guò)濾算法的原理[11]。

    為了防止過(guò)擬合,給上式添加二階正則化項(xiàng),即為:

    如果已知V,可以使用嶺回歸(Ridge Regression)預(yù)測(cè)U的每一行,反之亦可。因此,固定V矩陣,對(duì)Ui求導(dǎo),得到下面求解Ui.的公式

    在上式中,Ri.表示用戶i對(duì)電影的評(píng)分向量,Vui表示由用戶i評(píng)價(jià)過(guò)的電影的特征向量組成的特征矩陣。nui表示用戶i評(píng)價(jià)過(guò)的電影數(shù)量。同理,固定U矩陣,得到下面求解Vj.的公式

    在上式中,R.j表示給電影j評(píng)過(guò)分的用戶的評(píng)分向量,Umj表示由為電影j評(píng)過(guò)分的用戶的特征向量組成的特征矩陣。nmj表示為電影j評(píng)過(guò)分的用戶數(shù)量。I為一個(gè)d×d的單位矩陣。

    基于交替最小二乘法(ALS)的協(xié)同過(guò)濾算法,即是交替調(diào)用公式(4)、(5)更新計(jì)算U,V。直到計(jì)算出的結(jié)果收斂或者迭代的次數(shù)達(dá)到最大值,然后結(jié)束計(jì)算。最終求出逼近矩陣X,使用X進(jìn)行電影的推薦。

    在SPark上實(shí)現(xiàn)算法時(shí),首先將原始的數(shù)據(jù)集存放在分布式文件系統(tǒng)HDFS上,然后讀取HDFS上的數(shù)據(jù),并將其轉(zhuǎn)化為壓縮矩陣,根據(jù)轉(zhuǎn)化后的矩陣數(shù)據(jù)創(chuàng)建RDD,將每次迭代產(chǎn)生的中間數(shù)據(jù)U和V,以及數(shù)據(jù)集緩存(cache)到內(nèi)存中[12]。

    4 實(shí)驗(yàn)結(jié)果分析

    4.1實(shí)驗(yàn)數(shù)據(jù)集

    由于搜集滿足條件的數(shù)據(jù)集不是很方便,所以本文采用了網(wǎng)上公開(kāi)的MovieLens的數(shù)據(jù)集[13],在這里選用的是100K(10萬(wàn)條),1M(約100萬(wàn)條)和從100K中隨機(jī)抽取的1萬(wàn)條這三組的數(shù)據(jù)進(jìn)行實(shí)驗(yàn),分別隨機(jī)取數(shù)據(jù)集中的80%作為訓(xùn)練集,20%作為測(cè)試集。

    4.2結(jié)果分析

    4.2.1準(zhǔn)確度

    該算法是一個(gè)典型的基于評(píng)分的用戶-商品推薦算法,推薦結(jié)果的準(zhǔn)確度必是推薦中的核心問(wèn)題,我們一般采用均方根誤差(RMSE)來(lái)評(píng)價(jià)評(píng)分預(yù)測(cè)的準(zhǔn)確度。誤差越小,意味著準(zhǔn)確度越高。其公式為:

    在式(6)中,rui表示用戶u對(duì)電影i的實(shí)際評(píng)分,是通過(guò)推薦算法預(yù)測(cè)的評(píng)分。該部分選用的是100K數(shù)據(jù)集。

    在上述ALS算法中,我們知道需要設(shè)置一些訓(xùn)練參數(shù),參數(shù)選擇的好壞直接決定了模型的好壞。ALS訓(xùn)練算法中最重要的參數(shù)是正則化常數(shù)λ和迭代次數(shù)。當(dāng)兩個(gè)參數(shù)取值不同時(shí),實(shí)驗(yàn)結(jié)果如表2所示。由圖可以看出,正則化常數(shù)對(duì)結(jié)果影響非常大,迭代次數(shù)影響稍小。通過(guò)不斷地嘗試,找到最佳模型參數(shù)取值。當(dāng)然,其他的模型參數(shù)如矩陣因子排名,特征值個(gè)數(shù)對(duì)結(jié)果也有影響,還有待研究。

    4.2.2快速性

    快速性是推薦系統(tǒng)中至關(guān)重要的問(wèn)題,它決定了一個(gè)算法能否根據(jù)用戶興趣和喜好的變化實(shí)時(shí)的推薦相關(guān)物品,我們分別采用1W、10W和100W條數(shù)據(jù)對(duì)HadooP和SPark的快速性分別進(jìn)行了分析,如圖2所示。

    表2 參數(shù)影響Tab.2 Effects of param eters

    圖2 快速性比較Fig.2 The com parison of rapid ity

    由圖2可以看出,當(dāng)數(shù)據(jù)量很小時(shí),HadooP 與SPark的運(yùn)行時(shí)間差別不大,當(dāng)數(shù)據(jù)量越大,SPark的基于內(nèi)存計(jì)算的優(yōu)勢(shì)越能夠體現(xiàn)出來(lái),而且當(dāng)數(shù)據(jù)量增大時(shí),SPark的運(yùn)行時(shí)間增加得比較緩慢,HadooP增加得比較快速,可以想象,當(dāng)數(shù)據(jù)量非常大時(shí),HadooP運(yùn)行將會(huì)非常慢,從而不能夠及時(shí)地向用戶推薦當(dāng)下喜歡的物品。

    5 結(jié)束語(yǔ)

    本文主要是研究了基于ALS的協(xié)同過(guò)濾推薦算法在SPark平臺(tái)上的實(shí)現(xiàn),通過(guò)實(shí)驗(yàn)表明,SPark作為新一代數(shù)據(jù)并行處理平臺(tái),在運(yùn)行時(shí)間和運(yùn)行準(zhǔn)確度上都有良好的表現(xiàn),能夠有效地處理大數(shù)據(jù)的運(yùn)算問(wèn)題,而且數(shù)據(jù)量越大,這種優(yōu)勢(shì)越明顯。但SPark作為新出現(xiàn)的并行數(shù)據(jù)處理平臺(tái),后續(xù)還有很多工作要做,如(1)對(duì)SPark平臺(tái)工作原理深入研究,在任務(wù)調(diào)度方面進(jìn)行優(yōu)化,達(dá)到負(fù)載均衡,提高運(yùn)算速度。(2)ALS模型訓(xùn)練參數(shù)的選擇,尋求一種智能算法,能幫我們自動(dòng)的選擇最優(yōu)的參數(shù),而不是手工嘗試。(3)增加SPark集群節(jié)點(diǎn)數(shù)目,在故障性和擴(kuò)展性方面進(jìn)行研究。

    參考文獻(xiàn):

    [1] Ricci F,Rokach L,ShaPira B,et al.Recommender system handbook[M].[S.l.]:SPringer,2011.

    [2] 李改,李磊.基于矩陣分解的協(xié)同過(guò)濾算法[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(30):4 -7.

    LIGai,LILei.The collaborative filtering algorithm based on matrix decomPosition[J].ComPuter Engineering and APPlications,2011,47(30):4 -7.

    [3] 劉青文.基于協(xié)同過(guò)濾的推薦算法研究[D].中國(guó)科學(xué)技術(shù)大學(xué),2013.

    LIU Qingwen.Research of recommendation algorith -mbased on collaborative filtering[D].University of Science and Technology of China,2013.

    [4] 王家林.大數(shù)據(jù)SPark企業(yè)級(jí)實(shí)戰(zhàn)[C].北京:電子工業(yè)出版社,2015,431 -450.

    WANG Jialin.The enterPrise actual combat of big data SPark[C].Beijing:Publishing House of Electronics Industry,2015,431 -450.

    [5] 王全民,苗雨,何明,鄭爽.基于矩陣分解的協(xié)同過(guò)濾算法的并行化研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015,25 (2):55 -59.

    WANG Quanmin,MIAO Yu,HE Ming,ZHENG Shuang. Parallelize research of collaborative filtering algorithm based on matrix factorization[J].ComPuter Technology and DeveloPment,2015,25(2):55 -59.

    [6] 劉希偉.基于協(xié)同過(guò)濾的大數(shù)據(jù)挖掘分析方法研究[D].浙江工業(yè)大學(xué),2014.

    LIU Xiwei.Research on big datamining analysismethod based on collaborative filtering[D].Zhejiang University of Technology,2014.

    [7] httP:∥sPark.aPache.org/

    [8] Pan R,Zhou Y,Cao B,et al.One-class collaborative filtering[C]∥Data M ining,2008.ICDM?08.Eighth IEEE International Conference.IEEE,2008:502 -511.

    [9] 劉強(qiáng).協(xié)同過(guò)濾推薦系統(tǒng)中的關(guān)鍵算法研究[D].浙江大學(xué),2013.

    LIU Qiang. Research on the key algorithm in collaborative filtering recommendation system[D]. Zhejiang University,2013.

    [10] Zhou Yunhong,W ilkinson D,Schreiber R,et al.Large-scale Parallel collaborative filtering for the netflix Prize [C]∥Proc of the 4 th international conference on algorthmic asPects in information and management. Shanghai:SPringer,2008:337 -348.

    [11] httP:∥www2.research.att.com/~volinsky/PaPers/ ieeecomPuter.Pdf

    [12] 高彥杰.SPark大數(shù)據(jù)處理,技術(shù)、應(yīng)用與性能優(yōu)化[C].北京:機(jī)械工業(yè)出版社,2015,215 -237.

    GAOYanjie.The Processing of SPark big data,technology,aPPlication and Performance oPtim ization[C]. Beijing:China Machine Press,2015,215 -237.

    [13] httP:∥grouPlens.org/datasets/movielens/

    [14] Y.Koren.Factorization Meets the Neighborhood:a Multifaceted Collaborative Filtering Model. In Proceedings of the 14 th ACM SIGKDD International Conference on Know ledge Discovery and Data Mining,ACM,2008:426 -434.

    [15] 孫遠(yuǎn)帥.基于大數(shù)據(jù)的推薦算法研究[D].廈門(mén)大學(xué),2014.

    SUN Yuanshuai.Recommendation A lgorithms in the big data Era[D].Xiamen University,2014.

    于娜娜 女(1990 -),山東曲阜人,碩士生,主要研究方向?yàn)榭刂评碚撆c控制工程,分布式計(jì)算等。

    王中杰 女(1971 -),遼寧葫蘆島人、博士、教授,主要研究方向?yàn)橹悄芟到y(tǒng)、優(yōu)化理論與技術(shù)、大數(shù)據(jù)應(yīng)用。

    Research on Collaborative Filtering Algorithm Based onSpark

    YU Nana,WANG Zhongjie
    (Tongji University,College of Electronic and Information,Shanghai201804,China)

    Abstrac t:W ith the PoPularity of the Internet,it undoubtedly becomes very difficult for PeoPle to search the information they need from the vast amounts of information.Recommendation system can recommend related information to users intelligently through the analysis of the interests and behaviors of users. Therefore,it got the favor of PeoPle and insPired researchers' interests in study.The collaborative filtering recommendation algorithm based on ALS is one of a relatively common algorithm by matrix factorization technique from recommendation systems.Because it combines a lot of ratings data to calculate and store characteristic matrix in the Process of calculation,itmay encounter the bottleneck of com Putation sPeed if it runs on a single node.SPark is a new kind of distributed comPuting Platform in the big data era and it has excellent comPuting Performance.In this PaPer,firstly,we make research on the existing collaborative filtering algorithm based on ALS and the big data distributed com Puting Platform of SPark.Then,I realize Parallel oPeration of the algorithm on SPark.Finally,I Prove the quickness of the collaborative filtering recommendation algorithm runs on SPark by exPeriment comPared w ith HadooP.

    Key words:recommendation system;collaborative filtering;matrix factorization;alternating least squares;sPark

    中圖分類號(hào):391

    文獻(xiàn)標(biāo)識(shí)碼:A

    猜你喜歡
    協(xié)同過(guò)濾推薦系統(tǒng)
    數(shù)據(jù)挖掘在選課推薦中的研究
    軟件(2016年4期)2017-01-20 10:09:33
    圖書(shū)推薦算法綜述
    基于用戶偏好的信任網(wǎng)絡(luò)隨機(jī)游走推薦模型
    改進(jìn)的協(xié)同過(guò)濾推薦算法
    基于鏈?zhǔn)酱鎯?chǔ)結(jié)構(gòu)的協(xié)同過(guò)濾推薦算法設(shè)計(jì)與實(shí)現(xiàn)
    基于相似傳播和情景聚類的網(wǎng)絡(luò)協(xié)同過(guò)濾推薦算法研究
    基于個(gè)性化的協(xié)同過(guò)濾圖書(shū)推薦算法研究
    個(gè)性化推薦系統(tǒng)關(guān)鍵算法探討
    基于協(xié)同過(guò)濾算法的個(gè)性化圖書(shū)推薦系統(tǒng)研究
    混合推薦算法在電影推薦中的研究與評(píng)述
    亚洲熟女精品中文字幕| 欧美成人午夜精品| 亚洲精品一区蜜桃| 99国产精品免费福利视频| 精品免费久久久久久久清纯 | 午夜福利乱码中文字幕| 日韩视频一区二区在线观看| 69精品国产乱码久久久| 免费av中文字幕在线| 午夜91福利影院| 婷婷色av中文字幕| 久久久欧美国产精品| 精品免费久久久久久久清纯 | 久久天躁狠狠躁夜夜2o2o| 99热国产这里只有精品6| av又黄又爽大尺度在线免费看| 久久 成人 亚洲| 国产精品国产三级国产专区5o| 午夜影院在线不卡| 国产亚洲精品久久久久5区| 欧美成狂野欧美在线观看| 首页视频小说图片口味搜索| 咕卡用的链子| 男人舔女人的私密视频| 中文字幕人妻熟女乱码| 久久国产精品人妻蜜桃| 99热全是精品| 免费黄频网站在线观看国产| 成在线人永久免费视频| 久久99一区二区三区| 亚洲国产av影院在线观看| 黄色怎么调成土黄色| 一二三四在线观看免费中文在| av在线老鸭窝| 日韩视频一区二区在线观看| 热99re8久久精品国产| 国产成人av激情在线播放| 黄色视频在线播放观看不卡| h视频一区二区三区| 久久中文字幕一级| 国产精品秋霞免费鲁丝片| 青青草视频在线视频观看| 国产精品1区2区在线观看. | 在线 av 中文字幕| 精品国产一区二区三区四区第35| 成在线人永久免费视频| 成人国产av品久久久| 亚洲自偷自拍图片 自拍| 好男人电影高清在线观看| 欧美午夜高清在线| 嫁个100分男人电影在线观看| 国产男女内射视频| 午夜激情av网站| 天天影视国产精品| 丝袜美腿诱惑在线| 成人国语在线视频| 大片免费播放器 马上看| 12—13女人毛片做爰片一| 人妻一区二区av| 麻豆av在线久日| 精品欧美一区二区三区在线| 夜夜骑夜夜射夜夜干| 老熟女久久久| 午夜福利免费观看在线| 免费不卡黄色视频| 一区二区三区乱码不卡18| 嫩草影视91久久| 亚洲精品国产精品久久久不卡| 亚洲av欧美aⅴ国产| 精品久久蜜臀av无| 99国产精品一区二区三区| 丁香六月天网| 日韩欧美免费精品| 熟女少妇亚洲综合色aaa.| 亚洲自偷自拍图片 自拍| 女人高潮潮喷娇喘18禁视频| 99国产综合亚洲精品| 久久久精品国产亚洲av高清涩受| 久久久久久久精品精品| 性色av一级| 18禁国产床啪视频网站| 亚洲精品久久久久久婷婷小说| 正在播放国产对白刺激| 欧美亚洲日本最大视频资源| 国产三级黄色录像| 日本vs欧美在线观看视频| 日日夜夜操网爽| 老司机靠b影院| 99国产精品免费福利视频| 成人手机av| 国产精品一区二区在线不卡| 精品国产超薄肉色丝袜足j| 国产一级毛片在线| 日韩,欧美,国产一区二区三区| 亚洲人成77777在线视频| 亚洲精品久久久久久婷婷小说| 国产人伦9x9x在线观看| 一边摸一边做爽爽视频免费| 精品少妇黑人巨大在线播放| 精品国产乱码久久久久久小说| 久久青草综合色| 欧美 日韩 精品 国产| 国产一区二区三区综合在线观看| 日韩制服骚丝袜av| 人妻人人澡人人爽人人| 亚洲国产毛片av蜜桃av| 亚洲黑人精品在线| 大码成人一级视频| 又紧又爽又黄一区二区| 国产精品二区激情视频| 日本wwww免费看| 久久国产亚洲av麻豆专区| 伊人久久大香线蕉亚洲五| 大香蕉久久网| 少妇人妻久久综合中文| 久久精品亚洲熟妇少妇任你| 欧美黑人精品巨大| 欧美精品一区二区免费开放| 一级毛片精品| 国产亚洲av片在线观看秒播厂| 国产有黄有色有爽视频| 大码成人一级视频| 天堂俺去俺来也www色官网| 亚洲精品一二三| 青草久久国产| 黄色毛片三级朝国网站| 国产精品久久久久久精品古装| 亚洲欧美色中文字幕在线| 在线精品无人区一区二区三| 亚洲黑人精品在线| 亚洲色图 男人天堂 中文字幕| 日韩大片免费观看网站| 青春草亚洲视频在线观看| netflix在线观看网站| 欧美成人午夜精品| 久久久国产欧美日韩av| 欧美激情 高清一区二区三区| 欧美激情高清一区二区三区| 国产欧美日韩一区二区精品| 免费久久久久久久精品成人欧美视频| 美女福利国产在线| 国产日韩欧美视频二区| 国产又爽黄色视频| 午夜福利免费观看在线| 后天国语完整版免费观看| 久久久国产一区二区| 9191精品国产免费久久| 美女中出高潮动态图| 日韩人妻精品一区2区三区| 国产成人啪精品午夜网站| 无遮挡黄片免费观看| 伊人久久大香线蕉亚洲五| 另类精品久久| 老熟妇乱子伦视频在线观看 | 国产日韩一区二区三区精品不卡| bbb黄色大片| 制服诱惑二区| 亚洲激情五月婷婷啪啪| 男女之事视频高清在线观看| 美女脱内裤让男人舔精品视频| 亚洲中文av在线| 精品少妇黑人巨大在线播放| 亚洲,欧美精品.| 亚洲七黄色美女视频| 国产国语露脸激情在线看| 久久午夜综合久久蜜桃| 97人妻天天添夜夜摸| 美女中出高潮动态图| 国产一区二区激情短视频 | 国产在视频线精品| 超碰97精品在线观看| 婷婷色av中文字幕| 国产免费av片在线观看野外av| 成年美女黄网站色视频大全免费| av欧美777| 久久狼人影院| 日韩欧美免费精品| 国产国语露脸激情在线看| 久久国产精品人妻蜜桃| 老司机在亚洲福利影院| 在线观看人妻少妇| 美女高潮到喷水免费观看| 国产精品偷伦视频观看了| 国产激情久久老熟女| 五月天丁香电影| 日韩欧美一区二区三区在线观看 | 亚洲国产毛片av蜜桃av| 大香蕉久久网| 亚洲国产av新网站| 欧美 亚洲 国产 日韩一| 少妇被粗大的猛进出69影院| 亚洲伊人久久精品综合| 欧美成人午夜精品| 国产有黄有色有爽视频| 国产精品欧美亚洲77777| 妹子高潮喷水视频| 免费女性裸体啪啪无遮挡网站| 国产精品欧美亚洲77777| 亚洲精品中文字幕在线视频| 满18在线观看网站| 成人18禁高潮啪啪吃奶动态图| 12—13女人毛片做爰片一| 黄色视频,在线免费观看| 人妻久久中文字幕网| 亚洲熟女毛片儿| 成人免费观看视频高清| 自拍欧美九色日韩亚洲蝌蚪91| 午夜两性在线视频| 精品国产乱码久久久久久男人| 法律面前人人平等表现在哪些方面 | 男人添女人高潮全过程视频| 黄片大片在线免费观看| 老司机深夜福利视频在线观看 | 国精品久久久久久国模美| 天天躁狠狠躁夜夜躁狠狠躁| 99精品久久久久人妻精品| 免费在线观看视频国产中文字幕亚洲 | 欧美日韩福利视频一区二区| 午夜91福利影院| 久久久精品免费免费高清| 久久久国产成人免费| 国产精品久久久久成人av| 国产av一区二区精品久久| 别揉我奶头~嗯~啊~动态视频 | 这个男人来自地球电影免费观看| netflix在线观看网站| 80岁老熟妇乱子伦牲交| 十分钟在线观看高清视频www| 久久国产精品影院| 香蕉丝袜av| 欧美精品av麻豆av| 国产一区有黄有色的免费视频| 十八禁人妻一区二区| 99九九在线精品视频| 80岁老熟妇乱子伦牲交| 在线av久久热| 亚洲欧美激情在线| 性色av乱码一区二区三区2| 搡老乐熟女国产| 国产精品影院久久| 国产一区二区三区av在线| 无限看片的www在线观看| 国产一卡二卡三卡精品| 可以免费在线观看a视频的电影网站| 黄网站色视频无遮挡免费观看| 精品国产一区二区三区久久久樱花| 欧美日韩亚洲国产一区二区在线观看 | 男女午夜视频在线观看| 欧美激情高清一区二区三区| av网站在线播放免费| 搡老熟女国产l中国老女人| 久久久久久久大尺度免费视频| 99精品欧美一区二区三区四区| 亚洲一区二区三区欧美精品| 9色porny在线观看| 婷婷成人精品国产| 国产一区二区激情短视频 | 国产片内射在线| 一本综合久久免费| 青春草视频在线免费观看| 精品免费久久久久久久清纯 | 国产成人精品在线电影| 久久久久久久久免费视频了| 一个人免费看片子| 一区二区av电影网| 动漫黄色视频在线观看| 美女大奶头黄色视频| 亚洲成人手机| 一本一本久久a久久精品综合妖精| 日韩制服骚丝袜av| 12—13女人毛片做爰片一| 国产精品久久久久久人妻精品电影 | 人人妻人人添人人爽欧美一区卜| 国产免费av片在线观看野外av| 性少妇av在线| 欧美 日韩 精品 国产| 亚洲av欧美aⅴ国产| 午夜日韩欧美国产| 黄片小视频在线播放| 日韩中文字幕视频在线看片| 老熟女久久久| 亚洲人成电影免费在线| 亚洲五月色婷婷综合| 亚洲av电影在线进入| 久久国产精品人妻蜜桃| 精品一区二区三卡| 国产极品粉嫩免费观看在线| 超碰97精品在线观看| 99国产精品一区二区蜜桃av | 男女国产视频网站| 久久精品熟女亚洲av麻豆精品| 日本一区二区免费在线视频| 亚洲精品国产区一区二| 18在线观看网站| 热99国产精品久久久久久7| 大香蕉久久网| 一级毛片女人18水好多| 亚洲精品一二三| 婷婷丁香在线五月| 亚洲成人免费av在线播放| 制服诱惑二区| 性色av一级| 人成视频在线观看免费观看| 免费日韩欧美在线观看| videosex国产| 黄色毛片三级朝国网站| 欧美日本中文国产一区发布| 丰满迷人的少妇在线观看| 男人添女人高潮全过程视频| 久久久久视频综合| 精品亚洲成国产av| 日本撒尿小便嘘嘘汇集6| 亚洲精品国产区一区二| 久久免费观看电影| 9热在线视频观看99| 久久中文字幕一级| 亚洲欧美一区二区三区久久| 久久久国产精品麻豆| 天堂8中文在线网| 午夜免费观看性视频| 最新在线观看一区二区三区| 97在线人人人人妻| 亚洲国产av影院在线观看| 欧美日韩黄片免| 久久久久久久久久久久大奶| 欧美国产精品va在线观看不卡| 午夜福利在线免费观看网站| 久久久久久久精品精品| 久久精品成人免费网站| 99国产精品一区二区三区| 精品久久久久久久毛片微露脸 | 久久精品aⅴ一区二区三区四区| 国产区一区二久久| 十八禁高潮呻吟视频| 午夜精品久久久久久毛片777| 一边摸一边做爽爽视频免费| 久久精品成人免费网站| 又紧又爽又黄一区二区| 久久精品成人免费网站| 精品少妇一区二区三区视频日本电影| 亚洲激情五月婷婷啪啪| 一级a爱视频在线免费观看| 男女免费视频国产| 免费在线观看视频国产中文字幕亚洲 | 男女高潮啪啪啪动态图| av视频免费观看在线观看| 夜夜夜夜夜久久久久| 亚洲国产成人一精品久久久| 中文字幕人妻熟女乱码| 中文字幕制服av| 香蕉国产在线看| 99热全是精品| 免费人妻精品一区二区三区视频| 亚洲三区欧美一区| 久久精品亚洲av国产电影网| 动漫黄色视频在线观看| 免费高清在线观看视频在线观看| 亚洲中文字幕日韩| 国产黄频视频在线观看| 性色av一级| 又大又爽又粗| 黄网站色视频无遮挡免费观看| 色精品久久人妻99蜜桃| 水蜜桃什么品种好| 久久免费观看电影| 侵犯人妻中文字幕一二三四区| av网站免费在线观看视频| 欧美精品啪啪一区二区三区 | 我的亚洲天堂| 久久久欧美国产精品| 欧美国产精品一级二级三级| 久热这里只有精品99| 亚洲avbb在线观看| 国产精品香港三级国产av潘金莲| 欧美中文综合在线视频| 国产精品久久久人人做人人爽| √禁漫天堂资源中文www| 男女无遮挡免费网站观看| 亚洲精品乱久久久久久| 国产日韩欧美在线精品| 亚洲第一欧美日韩一区二区三区 | 久久精品熟女亚洲av麻豆精品| 精品欧美一区二区三区在线| 日韩电影二区| 午夜成年电影在线免费观看| 国产精品国产av在线观看| svipshipincom国产片| 美女中出高潮动态图| 婷婷丁香在线五月| 亚洲精品久久成人aⅴ小说| 国产男人的电影天堂91| 男人添女人高潮全过程视频| 国产精品欧美亚洲77777| 欧美黑人精品巨大| 中文字幕最新亚洲高清| 日本精品一区二区三区蜜桃| av在线播放精品| 黄色视频不卡| 精品少妇内射三级| 丝袜美腿诱惑在线| 欧美精品啪啪一区二区三区 | 美女福利国产在线| 精品国产一区二区三区久久久樱花| 国产免费一区二区三区四区乱码| 国产男女超爽视频在线观看| 欧美人与性动交α欧美软件| 交换朋友夫妻互换小说| av免费在线观看网站| 中亚洲国语对白在线视频| 欧美精品亚洲一区二区| 十八禁人妻一区二区| 韩国高清视频一区二区三区| 国产熟女午夜一区二区三区| 嫩草影视91久久| 国产麻豆69| 国产日韩欧美亚洲二区| 91麻豆av在线| av视频免费观看在线观看| 亚洲欧洲精品一区二区精品久久久| 在线永久观看黄色视频| 久久国产精品人妻蜜桃| 亚洲精品粉嫩美女一区| 亚洲国产欧美网| 国产成人精品在线电影| 亚洲自偷自拍图片 自拍| 狠狠狠狠99中文字幕| 色老头精品视频在线观看| 伊人亚洲综合成人网| 一级黄色大片毛片| 亚洲色图 男人天堂 中文字幕| 欧美中文综合在线视频| 欧美午夜高清在线| 精品少妇久久久久久888优播| 啦啦啦 在线观看视频| 国产成人a∨麻豆精品| 黄色视频,在线免费观看| 国产成+人综合+亚洲专区| 黄频高清免费视频| 777久久人妻少妇嫩草av网站| 亚洲欧美一区二区三区黑人| 国产精品一区二区精品视频观看| 自线自在国产av| 国产极品粉嫩免费观看在线| 日本91视频免费播放| 欧美一级毛片孕妇| 午夜福利一区二区在线看| 亚洲av电影在线观看一区二区三区| 男女床上黄色一级片免费看| 窝窝影院91人妻| 亚洲人成77777在线视频| 中文字幕精品免费在线观看视频| 国产成人精品久久二区二区91| 777久久人妻少妇嫩草av网站| 亚洲av国产av综合av卡| 亚洲国产欧美日韩在线播放| 国产极品粉嫩免费观看在线| videos熟女内射| 久久久久国产一级毛片高清牌| 一区福利在线观看| 黄片播放在线免费| 久久女婷五月综合色啪小说| 老司机深夜福利视频在线观看 | 另类精品久久| 精品一区二区三区四区五区乱码| 亚洲国产毛片av蜜桃av| 国产片内射在线| 91精品三级在线观看| 热re99久久国产66热| 亚洲九九香蕉| 一二三四在线观看免费中文在| 中文欧美无线码| 悠悠久久av| 操美女的视频在线观看| h视频一区二区三区| 久久热在线av| videosex国产| 成年人午夜在线观看视频| 久久免费观看电影| 成人av一区二区三区在线看 | 两个人免费观看高清视频| 国产精品一区二区在线不卡| 在线天堂中文资源库| 午夜91福利影院| cao死你这个sao货| 亚洲精品国产区一区二| 日本撒尿小便嘘嘘汇集6| 精品一区二区三卡| 久久人人爽av亚洲精品天堂| 久久精品人人爽人人爽视色| 中文字幕精品免费在线观看视频| 国产精品 国内视频| 亚洲精品中文字幕在线视频| 极品人妻少妇av视频| 日韩电影二区| 黄色怎么调成土黄色| 成在线人永久免费视频| 狂野欧美激情性bbbbbb| 亚洲人成电影免费在线| 久久国产精品男人的天堂亚洲| 国产片内射在线| 日韩三级视频一区二区三区| 一区二区三区乱码不卡18| 一级片免费观看大全| 蜜桃国产av成人99| 18禁裸乳无遮挡动漫免费视频| 欧美变态另类bdsm刘玥| 日日摸夜夜添夜夜添小说| 肉色欧美久久久久久久蜜桃| 侵犯人妻中文字幕一二三四区| 在线观看免费午夜福利视频| 天天躁狠狠躁夜夜躁狠狠躁| 国产人伦9x9x在线观看| 91成年电影在线观看| 色老头精品视频在线观看| 久久九九热精品免费| 亚洲精品一区蜜桃| 欧美少妇被猛烈插入视频| 精品人妻熟女毛片av久久网站| 国产亚洲精品一区二区www | 大陆偷拍与自拍| 国产精品99久久99久久久不卡| 久久久国产成人免费| tube8黄色片| 制服人妻中文乱码| videosex国产| 欧美精品亚洲一区二区| 国产极品粉嫩免费观看在线| 精品国产一区二区三区四区第35| 淫妇啪啪啪对白视频 | 欧美久久黑人一区二区| 99国产综合亚洲精品| 97精品久久久久久久久久精品| 操出白浆在线播放| 久久精品熟女亚洲av麻豆精品| 亚洲精品久久午夜乱码| 亚洲七黄色美女视频| 欧美日韩黄片免| 亚洲精品乱久久久久久| 一本一本久久a久久精品综合妖精| 亚洲欧美一区二区三区久久| 久久精品成人免费网站| 人人妻,人人澡人人爽秒播| 欧美少妇被猛烈插入视频| 成人免费观看视频高清| 欧美日韩精品网址| 一进一出抽搐动态| 在线观看免费视频网站a站| av在线播放精品| 高清黄色对白视频在线免费看| 老汉色∧v一级毛片| 精品久久蜜臀av无| 十八禁网站免费在线| 不卡av一区二区三区| 欧美精品一区二区免费开放| 国产一区有黄有色的免费视频| 国产一区二区 视频在线| 国产有黄有色有爽视频| 在线观看www视频免费| 一本—道久久a久久精品蜜桃钙片| 18禁国产床啪视频网站| 人妻人人澡人人爽人人| 亚洲五月婷婷丁香| 天天躁狠狠躁夜夜躁狠狠躁| 我的亚洲天堂| 高清黄色对白视频在线免费看| 每晚都被弄得嗷嗷叫到高潮| 中文精品一卡2卡3卡4更新| 一本一本久久a久久精品综合妖精| 亚洲专区字幕在线| 后天国语完整版免费观看| 日本欧美视频一区| 精品一区二区三区av网在线观看 | 亚洲国产精品一区二区三区在线| 999精品在线视频| av网站在线播放免费| 国产在线免费精品| 国产精品1区2区在线观看. | 国产三级黄色录像| 日韩 亚洲 欧美在线| 国产精品秋霞免费鲁丝片| 欧美午夜高清在线| 亚洲欧美清纯卡通| 男人操女人黄网站| 成年动漫av网址| 精品高清国产在线一区| 这个男人来自地球电影免费观看| 丁香六月天网| 50天的宝宝边吃奶边哭怎么回事| 亚洲av日韩在线播放| 999久久久国产精品视频| 男女高潮啪啪啪动态图| 国产精品av久久久久免费| 欧美成人午夜精品| 一本色道久久久久久精品综合| 中文字幕人妻丝袜一区二区| 男人爽女人下面视频在线观看| 99久久国产精品久久久| 国产一卡二卡三卡精品| 高清欧美精品videossex| 麻豆国产av国片精品| 一区二区日韩欧美中文字幕| 亚洲欧美一区二区三区久久| 久久九九热精品免费| 男人添女人高潮全过程视频| 精品少妇内射三级| 亚洲五月婷婷丁香| 美女午夜性视频免费| 精品少妇内射三级| 在线观看免费日韩欧美大片| 搡老岳熟女国产| 91精品伊人久久大香线蕉| 欧美亚洲 丝袜 人妻 在线| 国产精品久久久av美女十八| 国产av国产精品国产| 久久精品成人免费网站|