朱向林程如煙張 璐
(1.中國科學(xué)技術(shù)信息研究所,北京 100038;2.北京大學(xué)信息管理系,北京 100871)
大數(shù)據(jù)環(huán)境下全球電子商務(wù)推薦服務(wù)研究進(jìn)展
朱向林1程如煙1張 璐2
(1.中國科學(xué)技術(shù)信息研究所,北京 100038;2.北京大學(xué)信息管理系,北京 100871)
隨著互聯(lián)網(wǎng)的發(fā)展及電子商務(wù)的普及,電子商務(wù)推薦服務(wù)越來越受到業(yè)界及學(xué)界的關(guān)注。在明確大數(shù)據(jù)環(huán)境下電子商務(wù)推薦服務(wù)的內(nèi)涵與特征基礎(chǔ)上,總結(jié)歸納近幾年電子商務(wù)推薦服務(wù)的研究重點(diǎn),建立大數(shù)據(jù)環(huán)境下推薦服務(wù)的框架體系,分析推薦服務(wù)的發(fā)展趨勢(shì),并指出當(dāng)前推薦服務(wù)存在的一些問題。在對(duì)大數(shù)據(jù)環(huán)境下的推薦服務(wù)相關(guān)研究進(jìn)行相對(duì)完整的梳理的基礎(chǔ)上,發(fā)現(xiàn)當(dāng)前研究的不足之處,提出自己的見解,以期為電子商務(wù)推薦服務(wù)發(fā)展提供一定參考。
大數(shù)據(jù);電子商務(wù);推薦服務(wù);推薦算法;用戶服務(wù)
電子商務(wù)訪問量近幾年急劇增加。據(jù)中國電子商務(wù)研究中心監(jiān)測(cè)數(shù)據(jù),2014年11月11日全天,天貓成交額突破571億元,訂單總量2.79億個(gè),支付寶當(dāng)天支付筆數(shù)達(dá)1.97億筆[1]??梢?,電子商務(wù)已迎來大數(shù)據(jù)時(shí)代,且增長勢(shì)頭顯著。當(dāng)前,電子商務(wù)已在經(jīng)濟(jì)增長和人民生活中發(fā)揮不容忽視的重要作用,得到學(xué)術(shù)界、企業(yè)界及政府等的廣泛關(guān)注。電子商務(wù)推薦系統(tǒng)已成為電子商務(wù)領(lǐng)域關(guān)注的焦點(diǎn)。
以推薦技術(shù)為核心的電子商務(wù)推薦已經(jīng)成為解決商品信息過載,為用戶(消費(fèi)者)提供個(gè)性化服務(wù)不可或缺的一項(xiàng)技術(shù)[2]。作為推薦系統(tǒng)的龍頭,亞馬遜的推薦系統(tǒng)每年可為其帶來35%以上的轉(zhuǎn)化率(即通過推薦所帶來的成交額)。天貓2013年P(guān)C端推薦系統(tǒng)的轉(zhuǎn)化率為22%,比2012年增長7%,移動(dòng)端推薦從無到有,轉(zhuǎn)化率1年內(nèi)達(dá)到6%[3]。顯然,推薦系統(tǒng)無論是在滿足用戶需求還是提高電子商務(wù)業(yè)績方面都發(fā)揮不可忽視的作用。大數(shù)據(jù)環(huán)境下,電子商務(wù)推薦服務(wù)的理念、方法、策略都會(huì)有所轉(zhuǎn)變,了解電子商務(wù)推薦服務(wù)的發(fā)展現(xiàn)狀,抓住推薦服務(wù)的新機(jī)遇,并解決此過程中存在的諸多問題對(duì)于提高電子商務(wù)推薦服務(wù)質(zhì)量、推進(jìn)電子商務(wù)發(fā)展具有重要意義。
2.1電子商務(wù)推薦服務(wù)的內(nèi)涵
隨著電子商務(wù)推薦服務(wù)的不斷發(fā)展,學(xué)者們對(duì)電子商務(wù)推薦服務(wù)的理解不斷加深。J. BEN SCHAFER等人在2011年指出:電子商務(wù)中的推薦系統(tǒng)是基于好評(píng)度、消費(fèi)者人口統(tǒng)計(jì)特征、歷史消費(fèi)行為等方面信息向消費(fèi)者建議產(chǎn)品并提供相關(guān)信息以幫助消費(fèi)者做出購買決策的一種服務(wù)系統(tǒng),推薦的形式包括向消費(fèi)者推薦產(chǎn)品,提供個(gè)性化產(chǎn)品信息,總結(jié)共同觀點(diǎn)及評(píng)論[4]。而在Web 3.0個(gè)性化、語義化的背景下,個(gè)性化推薦系統(tǒng)則基于顧客個(gè)性化特征及需求,依托相關(guān)技術(shù),在合適的場(chǎng)景、合適的時(shí)機(jī)、通過合適的內(nèi)容,推薦給合適的用戶,為顧客提供個(gè)性化的購物體驗(yàn)[5]。在大數(shù)據(jù)環(huán)境下,電子商務(wù)推薦服務(wù)在此基礎(chǔ)上有所發(fā)展,是融合歷史與實(shí)時(shí)、社會(huì)化媒體、地理等多方位大數(shù)據(jù),基于分布式架構(gòu),借助多種分析策略和方法,隨時(shí)隨地為消費(fèi)者推薦符合消費(fèi)者物質(zhì)和心理需求的多形式信息推薦,以輔助決策,提升體驗(yàn)的過程。
2.2電子商務(wù)推薦服務(wù)的特征
(1)以多維數(shù)據(jù)源為基礎(chǔ)。在大數(shù)據(jù)環(huán)境下,僅僅基于用戶的人口統(tǒng)計(jì)學(xué)特征、歷史記錄等單一信息源的推薦方式已不再適用。消費(fèi)者在不同時(shí)間、不同設(shè)備、不同環(huán)境中的消費(fèi)需求呈現(xiàn)不同的特征。因此,電子商務(wù)中推薦服務(wù)必須要把用戶數(shù)據(jù)(包括基本信息、行為數(shù)據(jù)、社會(huì)化媒體等)、商品數(shù)據(jù)(包括種類、價(jià)格、品牌等)及場(chǎng)景數(shù)據(jù)(包括外部環(huán)境、設(shè)備及內(nèi)部場(chǎng)景)等多維數(shù)據(jù)源高效融合,提供更精準(zhǔn)的推薦服務(wù)。
(2)以分布式架構(gòu)為支撐。電子商務(wù)中用戶多樣數(shù)據(jù)不斷增加,點(diǎn)擊流數(shù)據(jù)處理的實(shí)時(shí)性要求增強(qiáng),傳統(tǒng)的集中式推薦系統(tǒng)架構(gòu)顯然不能滿足數(shù)據(jù)處理的要求。而“云”為電子商務(wù)的大數(shù)據(jù)存儲(chǔ)與處理提供了較好的解決方案。隨著谷歌Hadoop集群架構(gòu)在電子商務(wù)領(lǐng)域的廣泛應(yīng)用,相關(guān)學(xué)者提出了基于Hadoop構(gòu)建分布式電子商務(wù)推薦系統(tǒng)的方案,并基于MapReduce計(jì)算框架實(shí)現(xiàn)推薦算法,提高推薦系統(tǒng)的伸縮性和性能[6-7]。
(3)更高的實(shí)時(shí)性與精準(zhǔn)性要求。據(jù)天貓相關(guān)人員介紹,天貓每天有1000萬個(gè)獨(dú)立訪客訪問推薦商品[3]。此外,移動(dòng)電子商務(wù)近年來得到迅猛發(fā)展。據(jù)中國電子商務(wù)研究中心報(bào)告顯示:截止到 2014 年 6 月底,中國移動(dòng)電子商務(wù)市場(chǎng)交易規(guī)模達(dá)到 2542 億元,而 2013 年上半年達(dá) 532億元,同比增長 378%[8]。一方面移動(dòng)電子商務(wù)平臺(tái)使消費(fèi)者網(wǎng)上購物擺脫了時(shí)間、空間上限制,消費(fèi)者可以隨時(shí)隨地產(chǎn)生消費(fèi)行為,希望能夠隨時(shí)隨地獲得相關(guān)服務(wù);另一方面在移動(dòng)端,推薦服務(wù)受屏幕大小等的限制,用戶不可能也不愿意去看列表里的全部內(nèi)容,更多地只是瀏覽排列在前面的少數(shù)推薦內(nèi)容。
(4)心理需求重要性凸顯。主動(dòng)式推薦服務(wù)在充分挖掘用戶心理特征(情感、意志、偏好、性格)等因素基礎(chǔ)上提供同時(shí)能夠滿足物質(zhì)和心理需求的服務(wù),是非常重要的一項(xiàng)服務(wù)。近年來,相關(guān)學(xué)者進(jìn)一步驗(yàn)證了參考組(其他購買群體)和時(shí)間壓力等心理因素對(duì)消費(fèi)者在接受推薦系統(tǒng)服務(wù)的意愿上的影響,從而構(gòu)建并改進(jìn)了電子商務(wù)推薦系統(tǒng)中的OCC人工心理模型[9-11]。
截止到2015年5月7日,筆者以“電子商務(wù)”(“e-commerce”)、“推薦”(“recommendation”)為檢索詞對(duì) “中國知網(wǎng)[12]”和“Web of Science核心合集[13]”數(shù)據(jù)庫2008—2015年的數(shù)據(jù)進(jìn)行檢索,分別得到檢索記錄662條和623條,加上“大數(shù)據(jù)或海量數(shù)據(jù)”的限定條件,分別篩選出與本文主題高度相關(guān)的文獻(xiàn)253篇和122篇。其數(shù)量之所以有大幅的減少,筆者認(rèn)為這是與“大數(shù)據(jù)”在2008年才被學(xué)者開始重視有關(guān),但是從這些文獻(xiàn)中可以看出相關(guān)主題的研究重點(diǎn)。
從內(nèi)容上來看,國內(nèi)外相關(guān)研究均主要集中于計(jì)算機(jī)科學(xué)領(lǐng)域。在Web of Science中,有83%的文獻(xiàn)來自于計(jì)算機(jī)科學(xué)研究方向,而推薦算法和模型是決定推薦服務(wù)好壞的關(guān)鍵,因此,推薦算法改進(jìn)和新模型構(gòu)建成為近年來研究的重點(diǎn)內(nèi)容。
3.1推薦算法的不斷改進(jìn)
綜合近年來的研究文獻(xiàn),可以看出,協(xié)同過濾算法的改進(jìn)和混合算法的擴(kuò)展是當(dāng)前大數(shù)據(jù)環(huán)境下算法改進(jìn)的最主要方面。在大數(shù)據(jù)環(huán)境下,協(xié)同過濾仍然是電子商務(wù)推薦的主要算法,在跨類型推薦、個(gè)性化、自動(dòng)化等方面有諸多優(yōu)勢(shì),是目前廣泛應(yīng)用的電子商務(wù)推薦技術(shù),當(dāng)然,協(xié)同過濾亦存在一些不可避免的劣勢(shì),混合多種算法可以提升推薦質(zhì)量是業(yè)界廣泛認(rèn)同的策略。
(1)協(xié)同過濾算法的改進(jìn)??偟膩碚f,改進(jìn)的協(xié)同過濾算法采用的方法多樣,涉及聚類、社會(huì)網(wǎng)絡(luò)、矩陣分解、近鄰模型、信任模型、偏好挖掘、評(píng)論挖掘等方面。這些算法的改進(jìn)基本上是致力于解決冷啟動(dòng)問題、矩陣稀疏問題、相似度提升、奇異發(fā)現(xiàn)等方面的問題[14]。而在大數(shù)據(jù)環(huán)境下,云計(jì)算、社會(huì)網(wǎng)絡(luò)分析在協(xié)同過濾推薦中發(fā)揮著重要的作用:一是基于云計(jì)算平臺(tái)的協(xié)同過濾算法。利用云計(jì)算方法基于用戶不同情境下的興趣模型進(jìn)行協(xié)同過濾,能夠提高推薦算法的效率[15]。大數(shù)據(jù)環(huán)境離不開云計(jì)算,因此,如何利用云計(jì)算平臺(tái)及框架對(duì)協(xié)同過濾算法進(jìn)行改進(jìn)是相關(guān)學(xué)者關(guān)注的一個(gè)重要方向。Wang Xuerong等(2011)、Zhao Wenqing等(2014)在云計(jì)算平臺(tái)下,利用MapReduce并行編程模型,分別對(duì)KNN協(xié)同過濾算法和ALS協(xié)同過濾算法進(jìn)行改進(jìn),顯著提高了電子商務(wù)推薦系統(tǒng)的計(jì)算效率[16-17]。Geng Sui等(2014)基于用戶在線評(píng)論,依托云模型向量,利用模糊算法計(jì)算用戶情感傾向,從而在分析用戶情感傾向基礎(chǔ)上,提供推薦[18]。移動(dòng)云計(jì)算利用社會(huì)網(wǎng)絡(luò)及位置信息提供的個(gè)性化服務(wù)推薦模型解決方案亦表現(xiàn)出極強(qiáng)的時(shí)效性和準(zhǔn)確性[11]。二是基于社會(huì)網(wǎng)絡(luò)分析方法的協(xié)同過濾算法。在電子商務(wù)中,用戶數(shù)量及用戶個(gè)人數(shù)據(jù)等急劇增加,通過建立關(guān)系強(qiáng)度、興趣偏好強(qiáng)度、聲望強(qiáng)度等社會(huì)網(wǎng)絡(luò)分析指標(biāo),并定義其相似度,找出電子商務(wù)平臺(tái)用戶之間的關(guān)聯(lián)強(qiáng)度以及信息流的變動(dòng),以此為參照制訂推薦策略,具有好且穩(wěn)定的推薦效果[19-20]。而基于社交網(wǎng)絡(luò)的信任機(jī)制亦在電子商務(wù)中得到廣泛應(yīng)用?;谟脩粜湃蜗嚓P(guān)因素建立信任特征向量和信任等級(jí),從而構(gòu)建信任評(píng)估框架,對(duì)于提高電子商務(wù)推薦的精準(zhǔn)率具有重要的參考價(jià)值[21]。
(2)混合算法的不斷擴(kuò)展。雖然協(xié)同過濾算法是當(dāng)前應(yīng)用的主流,但仍有大量其他推薦算法,包括內(nèi)容過濾、圖結(jié)構(gòu)、基于知識(shí)、數(shù)據(jù)挖掘等,各種推薦算法均有優(yōu)劣,采用多算法混合的策略,能夠使各種方法相互取長補(bǔ)短,解決推薦服務(wù)中存在的冷啟動(dòng)、新用戶、相似度低等問題,提高服務(wù)的質(zhì)量。艾丹祥等人提出的三維個(gè)性化推薦方法,對(duì)二維協(xié)同過濾方法和內(nèi)容推薦方法進(jìn)行了混合和擴(kuò)展,有效地提高了C2C電子商務(wù)平臺(tái)推薦服務(wù)的性能[22]。天貓推薦系統(tǒng)亦將協(xié)同過濾和內(nèi)容過濾相結(jié)合,相互補(bǔ)充進(jìn)行推薦。Jae Kwon Bae等(2010)、紀(jì)征(2010)采用組合策略,分別選取關(guān)聯(lián)規(guī)則、頻率矩陣、樹模型、協(xié)同過濾等推薦技術(shù)有效地融合,不失為一種較好的策略,與其他算法相比,優(yōu)勢(shì)明顯[23-24]。
與此同時(shí),除了考慮混合算法中具體推薦算法的選擇外,采用何種混合策略亦非常重要。崔春生提出了一種基于泛函網(wǎng)絡(luò)實(shí)現(xiàn)前融合推薦推薦算法,并給出了基于泛函網(wǎng)絡(luò)構(gòu)架實(shí)現(xiàn)前融合組合推薦算法的一般過程[25]。
(3)新算法的提出。除了一些傳統(tǒng)算法不斷改進(jìn)外,近幾年亦有一些學(xué)者探索出一些基于大數(shù)據(jù)環(huán)境的新算法。Liu Yu等(2013)基于自然免疫系統(tǒng)中的免疫學(xué)習(xí)(immune learning)、克隆選擇(clonal selection)以及自適應(yīng)(self-adaption)理論提出了一種新型個(gè)性化算法,相比較協(xié)同過濾算法來說,提高了推薦系統(tǒng)的質(zhì)量和用戶興趣預(yù)測(cè)的精準(zhǔn)度[26]。Wu Yueping等(2010)、Dan Shen、Ruvini J. D.等(2012)針對(duì)商品分類提出了一些新算法[27-28]。
3.2基于多維度的推薦模型構(gòu)建
推薦模型的構(gòu)建與推薦算法具有高度的相關(guān)性,但推薦模型在更抽象的層次給出推薦系統(tǒng)的方法和思路,是近年來相關(guān)研究的另一個(gè)重點(diǎn)。
(1)基于用戶情境及心理的推薦模型。在大數(shù)據(jù)環(huán)境下,電子商務(wù)用戶范圍擴(kuò)大,使用設(shè)備增多,外部環(huán)境多樣。用戶在不同情境下使用電子商務(wù)必然呈現(xiàn)不同的需求特征。鑒于此,相關(guān)學(xué)者紛紛將情境融入到個(gè)性化推薦當(dāng)中,將情境分為用戶情境、環(huán)境情境、應(yīng)用情境的基礎(chǔ)上,形成情境本體,結(jié)合其他類型的信息通過聚類、規(guī)則匹配等方法得到推薦商品,建立推薦模型[29]。Rodriguez Rodriguez A.等(2011)、王征等多個(gè)學(xué)者從表征心理特征及行為的數(shù)據(jù)入手,結(jié)合心理模型進(jìn)行數(shù)據(jù)挖掘?yàn)榭蛻籼峁┩扑]服務(wù)[10, 30]。
(1)基于多維度關(guān)聯(lián)規(guī)則的推薦機(jī)制。電子商務(wù)推薦服務(wù)通常需要基于一定的關(guān)聯(lián)規(guī)則挖掘用戶需求,提供推薦服務(wù)。大數(shù)據(jù)有利于推薦系統(tǒng)涉及領(lǐng)域范圍的不斷擴(kuò)充,融合跨時(shí)間、跨平臺(tái)、跨角色資源構(gòu)建推薦系統(tǒng),更精準(zhǔn)地為消費(fèi)者提供推薦服務(wù)[31]。雙向關(guān)聯(lián)能夠有效地建立用戶與商品之間的多元關(guān)系,演化關(guān)聯(lián)能夠從動(dòng)態(tài)的角度發(fā)現(xiàn)用戶、商品等的變化,而粒關(guān)聯(lián)則在解決冷啟動(dòng)問題方面具有重要的作用[32-34],關(guān)聯(lián)規(guī)則亦通常與K均值聚類等數(shù)據(jù)挖掘方法結(jié)合起來使用?;诙嗑S度的關(guān)聯(lián)規(guī)則推薦能夠從動(dòng)靜態(tài)等多角度挖掘多元關(guān)系,在推薦服務(wù)中效果顯著。
(3)基于本體/知識(shí)的推薦模型。傳統(tǒng)的協(xié)同過濾、內(nèi)容過濾推薦方法在融合用戶、商品、情境等數(shù)據(jù)進(jìn)行推薦的同時(shí),忽視了大部分的本體、知識(shí)層面的內(nèi)容,而且單從語法層面的分析并不具有較好的性能。據(jù)此,基于本體/知識(shí)的推薦方法被逐漸引入到電子商務(wù)推薦系統(tǒng)當(dāng)中。知識(shí)工程中的知識(shí)樹方法在推薦系統(tǒng)模型構(gòu)建當(dāng)中亦得到應(yīng)用。一方面有學(xué)者將商品推薦中的顧客、商品及其他信息轉(zhuǎn)化成描述樹進(jìn)行表達(dá),建立基于Prolog語言的個(gè)性化推薦知識(shí)庫模型,從而適應(yīng)不同的電子商務(wù)系統(tǒng)[35];另一方面可從構(gòu)建詞知識(shí)樹入手,運(yùn)用EM 算法使得詞分類和文檔分類結(jié)果同時(shí)達(dá)到最優(yōu),從而根據(jù)用戶在移動(dòng)互聯(lián)網(wǎng)的互動(dòng)行為,映射到知識(shí)樹的相關(guān)分類,將同類的商品推薦給用戶,在電子商務(wù)推薦系統(tǒng)中展現(xiàn)出較好的效能[36]。此外,為提高推薦過程中知識(shí)的利用率,Pang XL等(2012)提出了推薦系統(tǒng)中概念層面的擴(kuò)展知識(shí)方法,即基于信息熵理論采用詞獲取算法來收集推薦詞及組合,從而構(gòu)建通用和特殊字典,并驗(yàn)證了其有效性[37]。此外,亦有包括Janzen S 等(2009)、Long Fei等(2010)、Jongwoo K等(2013)在內(nèi)的大量學(xué)者基于本體來設(shè)計(jì)算法及推薦系統(tǒng),解決推薦服務(wù)在自然語言處理、語義識(shí)別、分類體系等方面的問題[38-40]。
大數(shù)據(jù)已不只是意味著數(shù)據(jù)量的提升,它給數(shù)據(jù)存儲(chǔ)、組織、管理、分析、服務(wù)等都帶來了轉(zhuǎn)變。因此,大數(shù)據(jù)下的電子商務(wù)推薦服務(wù)在吸收已有成果的基礎(chǔ)上,在整體框架上也會(huì)有一定變化,這不僅意味著機(jī)遇,而且意味著挑戰(zhàn)(圖1)。
首先,推薦系統(tǒng)將采集來自于用戶、商品及情境等的多維數(shù)據(jù)作為數(shù)據(jù)分析的基礎(chǔ)。這些數(shù)據(jù)包括了與用戶相關(guān)的基本人口統(tǒng)計(jì)學(xué)信息、行為記錄、評(píng)價(jià)記錄等數(shù)據(jù),與商品相關(guān)的基本屬性、銷售記錄、評(píng)價(jià)記錄等數(shù)據(jù)以及與情境相關(guān)的設(shè)備、外部環(huán)境、交互情境等數(shù)據(jù)。其次,在數(shù)據(jù)存儲(chǔ)層面,推薦系統(tǒng)采用云存儲(chǔ)與計(jì)算方法解決數(shù)據(jù)存儲(chǔ)與管理問題,使用NoSQL數(shù)據(jù)庫,基于Hadoop建立分布式存儲(chǔ)及計(jì)算框架有效解決海量多樣數(shù)據(jù)的存儲(chǔ)與運(yùn)算問題[41-42]。然后,在數(shù)據(jù)分析層面,根據(jù)不同電子商務(wù)平臺(tái)下的推薦需求,選用多樣的推薦算法及模型進(jìn)行用戶偏好挖掘、需求挖掘、心理需求挖掘等,進(jìn)而為用戶提供包括排行、商品、個(gè)性化、促銷等在內(nèi)的推薦服務(wù),在滿足用戶物質(zhì)及心理需求的同時(shí),提升推薦的轉(zhuǎn)化率,提高用戶對(duì)電子商務(wù)推薦的信任度,推進(jìn)電子商務(wù)平臺(tái)的發(fā)展。與此同時(shí),用戶對(duì)推薦服務(wù)的使用回饋將作為推薦系統(tǒng)的大數(shù)據(jù)來源,參與到推薦系統(tǒng)的過程中,為用戶下一次使用電子商務(wù)提供更精準(zhǔn)的服務(wù)[43]。
圖1 電子商務(wù)推薦服務(wù)框架
5.1移動(dòng)電子商務(wù)成為主戰(zhàn)場(chǎng)
移動(dòng)電子商務(wù)促使用戶使用電子商務(wù)的設(shè)備從PC端轉(zhuǎn)移到移動(dòng)端,屏幕由大變小,使用時(shí)間由短變長,時(shí)間范圍不斷分散。移動(dòng)端的推薦服務(wù)差異性逐漸明顯、推薦范圍縮小、精準(zhǔn)度增強(qiáng)、時(shí)效性要求更高,而目前移動(dòng)端的推薦策略尚未形成較為完善的推薦機(jī)制,這為移動(dòng)電子商務(wù)的推薦服務(wù)帶來了新的機(jī)遇和挑戰(zhàn)[44]。如何融合位置信息、時(shí)間信息、用戶基本信息、行為特征信息、偏好信息等多維度的信息進(jìn)行關(guān)聯(lián)挖掘,如何利用云計(jì)算提高推薦服務(wù)的時(shí)效性和精準(zhǔn)性,為消費(fèi)者提供高質(zhì)量的推薦服務(wù)成為電子商務(wù)運(yùn)營商在競(jìng)爭(zhēng)中取勝的關(guān)鍵。
5.2多種推薦方法融合成為必然
從需求角度來說,隨著推薦服務(wù)要求的不斷提高,單一的推薦方法必然存在諸多漏洞和不足,已不能滿足推薦需求,采用多種推薦方法融合的策略能夠使各種方法互相補(bǔ)充,將成為大數(shù)據(jù)環(huán)境下推薦方法的必然選擇。從技術(shù)角度來說,分布式存儲(chǔ)及計(jì)算框架為數(shù)據(jù)獲取、存儲(chǔ)與計(jì)算提供了有效的支撐和保證。以此為支撐,電子商務(wù)推薦服務(wù)能夠基于多平臺(tái)、多agent[45]、多類型數(shù)據(jù)資源采用多維策略和方法[46]提供多樣的推薦服務(wù),從而提高推薦服務(wù)的深度和精度。近年來,相關(guān)學(xué)者也紛紛提出了跨電商平臺(tái)、多agent協(xié)同、融合買方、賣方、商品三維協(xié)同的推薦策略,亦融入位置、情境、點(diǎn)擊流等多類型數(shù)據(jù)資源,融合協(xié)同過濾、內(nèi)容過濾、關(guān)聯(lián)挖掘、機(jī)器學(xué)習(xí)、人工智能等多種推薦算法,向消費(fèi)者提供相似的或關(guān)聯(lián)的商品以及與其他相關(guān)的評(píng)論、商家等推薦服務(wù)[47]。
5.3構(gòu)建有效的信任機(jī)制
隨著電子商務(wù)用戶數(shù)量的不斷擴(kuò)充,用戶與用戶、用戶與商家、用戶與商品之間呈現(xiàn)明顯的弱關(guān)系。綜合行為相似度、評(píng)論時(shí)效性和質(zhì)量評(píng)估以及電子商務(wù)中共同體構(gòu)建等多種策略建立有效的信任機(jī)制,提高消費(fèi)者對(duì)于推薦服務(wù)的信任程度,進(jìn)而提升消費(fèi)者的購買意愿和滿意度,對(duì)于提高推薦服務(wù)的轉(zhuǎn)化率以及提高消費(fèi)者對(duì)電子商務(wù)的信任具有重要意義[48]。
5.4推薦服務(wù)種類多元化
在大數(shù)據(jù)環(huán)境下,推薦系統(tǒng)在處理海量、多樣數(shù)據(jù)的同時(shí),也將擺脫推薦形式的限制,朝多元化發(fā)展?;趯?duì)當(dāng)前電子商務(wù)網(wǎng)站及Apps的調(diào)研發(fā)現(xiàn),一方面除了提供排行榜、促銷推薦外,還會(huì)提供店鋪推薦、品牌推薦、商品推薦、搭配推薦、評(píng)論推薦、在線/離線個(gè)性化推薦等多方面的推薦服務(wù)。推薦的內(nèi)容形式除包括文字、圖片等,將擴(kuò)充至視頻、消息等多種形式。在推薦商品多樣性的同時(shí),精準(zhǔn)度不斷提升。另一方面基于社交化的推薦方式優(yōu)勢(shì)逐漸凸顯,例如:天貓的“范兒”等,且有朝交互式推薦方向進(jìn)一步發(fā)展之勢(shì)。
6.1數(shù)據(jù)的存儲(chǔ)與組織問題
電子商務(wù)中的數(shù)據(jù)量及數(shù)據(jù)類型飛速擴(kuò)展,給數(shù)據(jù)存儲(chǔ)與組織帶來極大的挑戰(zhàn)。已有的Hadoop存儲(chǔ)架構(gòu)及Map-Ruduce等計(jì)算方法尚存在一定的不足,當(dāng)前電子商務(wù)數(shù)據(jù)存儲(chǔ)策略和組織方法尚存在諸多問題,比如:電子商務(wù)目錄導(dǎo)購體系過于龐雜,商品歸屬不明確;分布式存儲(chǔ)策略不合理導(dǎo)致高關(guān)聯(lián)數(shù)據(jù)存儲(chǔ)在不同的節(jié)點(diǎn)中,影響運(yùn)算效率等[6]。這在一定程度上影響了電子商務(wù)推薦服務(wù)的質(zhì)量和效率。結(jié)合電子商務(wù)動(dòng)態(tài)特征,對(duì)數(shù)據(jù)存儲(chǔ)與組織策略進(jìn)行改進(jìn),具有一定的必要性。
6.2隱私保護(hù)與數(shù)據(jù)安全問題
在大數(shù)據(jù)環(huán)境下隱私保護(hù)和數(shù)據(jù)安全問題是政府、業(yè)界、學(xué)術(shù)界均尚未解決且亟待解決的問題[49],電子商務(wù)平臺(tái)中亦是如此。當(dāng)前的電子商務(wù)推薦系統(tǒng)在獲取數(shù)據(jù)、分析數(shù)據(jù)過程中是在用戶沒有選擇權(quán)的基礎(chǔ)上進(jìn)行的,所提供的推薦服務(wù)雖滿足了用戶的需求,但從隱私層面上講,所做出的需求預(yù)測(cè)是否真的是用戶想要讓推薦系統(tǒng)獲知并想要接收到的呢?電子商務(wù)推薦系統(tǒng)在提供推薦服務(wù)的同時(shí)是否侵犯了用戶的隱私權(quán),這個(gè)問題尚沒有定論。此外,更重要的是,推薦系統(tǒng)中的各個(gè)環(huán)境都涉及大量的數(shù)據(jù),包含了大量的隱私信息。近來,數(shù)據(jù)泄漏的問題時(shí)有發(fā)生,確保所有數(shù)據(jù)不被泄漏、不被竊取是電子商務(wù)相關(guān)人員務(wù)必高度關(guān)注的問題。
6.3推薦服務(wù)的實(shí)時(shí)性和精準(zhǔn)度問題
研究人員及從業(yè)人員一直致力于大數(shù)據(jù)環(huán)境下推薦服務(wù)實(shí)時(shí)性和精準(zhǔn)度的提高上,但是用戶需求的增長和變化速度通常要高于相關(guān)技術(shù)及方法的提升速度[32]。因此,當(dāng)前電子商務(wù)的推薦服務(wù)尚未滿足用戶在實(shí)時(shí)性和精準(zhǔn)度方面的要求,但這與當(dāng)前技術(shù)和經(jīng)濟(jì)等的發(fā)展水平密切相關(guān)。相信隨著大數(shù)據(jù)相關(guān)技術(shù)和方法的不斷完善和發(fā)展,該問題會(huì)逐步得到解決。
6.4營利思維的不合理性
大部分電子商務(wù)公司建立推薦系統(tǒng)的根本動(dòng)力是提高成交轉(zhuǎn)化率,以獲得收益。這種以營利為根本目的的思維方式從人類健康發(fā)展的角度來說有一定的不合理性。假設(shè)用戶的某些需求或偏好是不利于自身生理和心理健康發(fā)展的,比如:煙、非健康食品、低級(jí)趣味圖書等,以營利思維為主導(dǎo)的推薦系統(tǒng)在捕捉到該方面需求之后,理所當(dāng)然會(huì)積極且持續(xù)不斷地向用戶推薦相應(yīng)的或相關(guān)的產(chǎn)品,而且很可能會(huì)帶有一定的誘導(dǎo)性,這在一定程度上是不利于人類的健康良性發(fā)展[50]。因此,筆者認(rèn)為,在大力提高推薦系統(tǒng)的性能的同時(shí),從健康發(fā)展的層面考慮推薦系統(tǒng)的定位和發(fā)展具有一定的必要性。
6.5推薦系統(tǒng)存在過度推薦現(xiàn)象
電子商務(wù)中的推薦系統(tǒng)的確給運(yùn)營商帶來了很高的轉(zhuǎn)化率,一些個(gè)性化或者群體用戶推薦確實(shí)起到了應(yīng)有的作用,給商家?guī)砹死麧?。但是,隨之也產(chǎn)生了過度推薦的現(xiàn)象,容易讓消費(fèi)者從心理上排斥這種推薦,這種現(xiàn)象很可能降低轉(zhuǎn)化率甚至造成推薦信息的泛濫[9,51]。因此,如何從用戶體驗(yàn)角度改善推薦系統(tǒng)也是亟待解決的問題。筆者認(rèn)為,在大數(shù)據(jù)環(huán)境下,需要推薦系統(tǒng)更加精確,更加“理解”用戶。是否推薦給用戶,在什么時(shí)機(jī)推薦,推薦多少,這都是在大數(shù)據(jù)基礎(chǔ)上需要審視的問題。所以,適度推薦應(yīng)該引起相關(guān)學(xué)者或?qū)<业闹匾暋?/p>
在大數(shù)據(jù)環(huán)境下,電子商務(wù)推薦服務(wù)以海量多樣數(shù)據(jù)為基礎(chǔ),以分布式架構(gòu)為支撐,具有更高的實(shí)時(shí)性和精準(zhǔn)度的要求,且在滿足物質(zhì)需求的同時(shí),充分滿足用戶的心理需求。近年來,相關(guān)學(xué)者致力于算法改進(jìn)以及推薦模型構(gòu)建等方面,極大地提升了推薦服務(wù)的質(zhì)量和性能。在大數(shù)據(jù)背景下,移動(dòng)電子商務(wù)將成為電子商務(wù)推薦服務(wù)的主戰(zhàn)場(chǎng),多種推薦融合、信任機(jī)制構(gòu)建以及推薦服務(wù)多元化將成為必然。當(dāng)然,在此過程中,數(shù)據(jù)的存儲(chǔ)與組織、隱私保護(hù)與數(shù)據(jù)安全、實(shí)時(shí)性和精準(zhǔn)度等方面仍存在一定的挑戰(zhàn)。大數(shù)據(jù)為電子商務(wù)推薦服務(wù)帶來了諸多的機(jī)遇與挑戰(zhàn),相信電子商務(wù)推薦系統(tǒng)將充分利用大數(shù)據(jù)所帶來的優(yōu)勢(shì),克服困難,逐步提升服務(wù)質(zhì)量,促進(jìn)電子商務(wù)的快速穩(wěn)定發(fā)展。
[1] 中國電子商務(wù)研究中心. 2014年“雙11”電商大促數(shù)據(jù)評(píng)測(cè) [EB/OL].[2015-04-01]. http://www.100ec.cn/ detail--6210488.html.
[2] Nikolaeva Ralitza,Sriram S.The Moderating Role of Consumer and Product Characteristics on the Value of Customized On-Line Recommendations[J]. International Journal of Electronic Commerce, 2006, 11(2):101-123.
[3] 張奇. 天貓算法實(shí)踐[EB/OL].[2014-12-29].http:// www.infoq.com/cn/presentations/tianmao-re commendation-algorithm-practice.
[4] Ben Schafer J,Joseph A Konstan,John Riedle.Commerce Recommendation Applications [J]. Data Mining and Knowledge Discovery,2011(5):115-153.
[5] 王茜,錢力.大數(shù)據(jù)環(huán)境下電子商務(wù)個(gè)性化推薦服務(wù)發(fā)展動(dòng)向探析[J].商業(yè)研究, 2014(8):150 -154.
[6] 李文海,許舒人.基于Hadoop的電子商務(wù)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(1):130-136,143.
[7] 彭建喜. 基于MapReduce的潛在因素算法在推薦系統(tǒng)中的研究與應(yīng)用[J].科技通報(bào), 2013(12):124-126.
[8] 中國電子商務(wù)研究中心.2014年(上)中國電子商務(wù)市場(chǎng)數(shù)據(jù)監(jiān)測(cè)報(bào)告[R/OL].[2015-04-01]. http:// www.100ec.cn/zt/2014bndbg/.
[9] 王艷萍,程巖.參考組與時(shí)間壓力影響下在線消費(fèi)者對(duì)主動(dòng)式推薦的心理抗拒及接受意愿分析[J].電子商務(wù)與信息管理,2013,25 (2):70-78.
[10] 王征,趙磊. 基于網(wǎng)絡(luò)心理挖掘的個(gè)性化推薦系統(tǒng)[J].武漢大學(xué)學(xué)報(bào):工學(xué)版, 2012,45(3):389-393,398.
[11] 王征,傅立立,趙磊,等.電子商務(wù)推薦系統(tǒng)中的人工心理模型[J].系統(tǒng)工程,2014,32(3):126-130.
[12] 中國知網(wǎng)[EB/OL].[2015-04-01].http://www.cnki.net/.
[13] Web of Science核心合集[EB/OL].[2015-04-01]. http:// apps.webofknowledge.com/.
[14] 吳杰,馮鋒.綜合用戶偏好和優(yōu)先新品推薦的協(xié)同過濾算法[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(10):285-287,328.
[15] Dong F, Luo JZ , Zhu X, et al.A Personalized Hybrid Recommendation System Oriented to E-Commerce Mass Data in the Cloud[C]//IEEE International Conference on Systems Man and Cybernetics Conference Proc eedings(SMC):IEEE.2013:1020-1025.
[16] Wang XR, Wan NH. Cloud Pattern Collaborative Filtering Recommender Algorithm Using User Behavior Correlation Clustering[J]. Journal of Computer Applications, 2011, 31(9):2421-2435.
[17]Zhao Wenqing, Han Feifei, Cai Rui, et al. E-commerce Collaborative Filtering Algorithm Research Based on Cloud Computing[J]. Advanced Materials Research,2014(10):1566-1569.
[18] Geng S, Hong Q. Emotional Tendency Contrast Recommendation Algorithm Based on Cloud Model[J]. Journal of Networks, 2014, 9(2):437-442.
[19] 馮勇,李軍平,徐紅艷,等.基于社會(huì)網(wǎng)絡(luò)分析的協(xié)同推薦方法改進(jìn)[J].計(jì)算機(jī)應(yīng)用, 2013,33(3):841-844.
[20] 琚春華,鮑福光,許翀寰. 基于社會(huì)網(wǎng)絡(luò)協(xié)同過濾的社會(huì)化電子商務(wù)推薦研究[J].電信科學(xué),2014(9):80-86.
[21] Kang Z, Li P. A Machine Learning Based Trust Evaluation Framework for Online Social Networks[C]//2014 IEEE 13th International Conference on Trust, Security and Privacy in Computing and Communications(TrustCom):IEEE. 2014:69-74.
[22] 艾丹祥,左暉,楊君.面向C2C電子商務(wù)平臺(tái)的三維個(gè)性化推薦方法研究[J].現(xiàn)代圖書情報(bào)技術(shù),2013(1):36-42.
[23] Jae Kwon B, Jinhwa K. Integration of Heterogeneous Models to Predict Consumer Behavior[J]. Expert Systems with Applications, 2010, 37(3):1821-1826.
[24] 紀(jì)征. 基于用戶興趣模型的電子商務(wù)網(wǎng)站推薦技術(shù)比較及啟示[J].圖書情報(bào)工作, 2010,54(16):138-140.
[25] 崔春生. 基于泛函網(wǎng)絡(luò)的組合推薦算法[J].系統(tǒng)工程理論與實(shí)踐,2014,34(4):1035-1042.
[26]Yu L, Fengming L. Immune Clustering-Based Recommendation Algorithm[C]//2nd International Conference on Computer Science and Network Technology(ICCSNT):IEEE.2012:612-616.
[27] Wu Y, Zheng J. A Research of Recommendation Algorithm Based on Cloud Model[C]//2010 IEEE International Conference on Intelligent Computing and Intel-ligent Systems (ICIS 2010) :IEEE.2010:469-473.
[28] Dan S, Ruvini J D, Mukherjee R, et al. A Study of Smoothing Algorithms for Item Categorization on e-Commerce Sites[J]. Neurocomputing, 2012, 92(9):54-60.
[29] 賀桂和,曾奕棠.基于情境感知的電子商務(wù)平臺(tái)個(gè)性化推薦模型研究[J].情報(bào)理論與實(shí)踐, 2013,36(6):81-84.
[30] Rodriguez Rodriguez A, Iglesias Garcia N, Quinteiro-Gonzalez J M. Modelling the Psychographic Behaviour of Users Using Ontologies in Web Marketing Services[C]//Lecture Notes in Computer Science,13th International Conference on Computer Aided Systems Theory (EUROCAST).Springer Verlag,2012:121-128 .
[31] Lei Z, El Helou S, Moccozet L, et al. A Federated Recommender System for Online Learning Environments[C]//Advances in Web-Based Learning - ICWL 2012. 11th International Conference.Springer Verlag, 2012:89-98.
[32] 劉枚蓮,劉同存,肖吉軍. 基于雙向關(guān)聯(lián)規(guī)則的網(wǎng)絡(luò)消費(fèi)者偏好挖掘研究[J].微電子學(xué)與計(jì)算機(jī), 2013,30(3):20-26.
[33] 龍舜,蔡跳,林佳雄.一個(gè)基于演化關(guān)聯(lián)規(guī)則挖掘的個(gè)性化推薦模型[J].暨南大學(xué)學(xué)報(bào):自然科學(xué)與醫(yī)學(xué)版,2012(3):264-267.
[34] 巫文佳,何旭. 基于粒關(guān)聯(lián)規(guī)則的冷啟動(dòng)推薦方法[J].計(jì)算機(jī)科學(xué),2014,41(3):71-75.
[35] 汲業(yè),陳燕,屈莉莉,等. 基于Prolog 語言的商品推薦知識(shí)庫模型[J].計(jì)算機(jī)工程, 2010,36(22):10-12.
[36] Zhao H, Lin Z, Fang A, et al. Knowledge Tree Based Recommendation Algorithm With Its Applications to Mobile e-Commerce[J]. Telecommunications Science,2011, 27(6):54-58.
[37] Pang XL, Yu B. An Approach of Conceptual Knowledge Broaden Based e-Commerce Recommendation[C]// International Conference on Management Science and Engineering-Annual Conference Proceedings (ICMSE). 2012:27-32.
[38] Janzen S, Maass W. Ontology-Based Natural Language Processing for In-store Shopping Situations[C]//3rd International Conference on Semantic Computing (ICSC 2009).IEEE, 2009:361-366.
[39] Fei L, Yufeng Z, Feng H. A Personalized Recommender Systems Framework Based on Ontology and Bayesian Network in E-commerce[C]//Advanced Materials Research,International Conference on Smart Materials and Intelligent Systems.Trans Tech publications LTD,2010:961-965.
[40] Jongwoo K, Sanggil K. An Ontology-Based Personalized Target Advertisement System on Interactive TV[J]. Multimedia Tools and Applications, 2013, 64(3):517-534.
[41] 韓君易. 基于電子商務(wù)平臺(tái)的NoSQL 解決方案應(yīng)用研究[J].科技信息,2011(20):629-632.
[42] 李文海,許舒.基于Hadoop的電子商務(wù)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì), 2014,35(1):130-136,143.
[44] 汪星荷, 劉紹華, 俞俊生. 移動(dòng)云計(jì)算中基于LBS的個(gè)性化服務(wù)推薦模型[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí),2013 (2):157-161.
[45] Wei S, Dai M. Multi-Agent Cooperative e-Commerce Recommender System Model[J].Journal of Computer Applications, 2014, 34(4):1118-1121.
[46] Jingzhong J, Nakamori Y, Wierzbicki A P. A Study on Multiattribute Aggregation Approaches to Product Recommendation[J]. Advances in Fuzzy Systems,2013(5):1-11.
[47] Gu QW, Guo P. Research on Personalized Recommendation Model for Mobile Advertising[C]//19th Annual International Conference on Management Science and Engineering (ICMSE) .IEEE, 2012:59-63.
[48] Viriyasitavat W, Martin A. A Survey of Trust in Workflows and Relevant Contexts[J].Ieee Communications Surveys And Tutorials, 2012, 14(3):911-940.
[49] 張雅輝,張鐵贏,靳小龍,等. 大數(shù)據(jù)時(shí)代的個(gè)人隱私保護(hù)[J].計(jì)算機(jī)研究與發(fā)展, 2015, 52(1):229-247.
[50]Gao Yongmei, Ju Chunhua, Bao Fuguang. Research on Customer Service Model and Data Fusion Strategy of Telecom Based on Big Data[J]. Telecommunications Science, 2014, 30(7):62-69.
[51] 梁昌勇,冷亞軍,王勇勝,等.電子商務(wù)推薦系統(tǒng)中群體用戶推薦問題研究[J]. 中國管理科學(xué), 2013(3):153-158.
Reviews on Global E-commerce Recommendation in Big Data Era
Zhu Xianglin1, Cheng Ruyan1, Zhang Lu2
(1.Institute of Scientific and Technical Information of China, Beijing, 100038, 2.Information Management Department of Peking University,Beijing,100871)
With the development of Internet and the popularity of e-commerce, recommendation service is receiving more and more attention both from enterprises and scholars. Based on a discussion about the connotation and traits of e-commerce recommendation service in big data era, this paper reviews and summarizes the research emphasis of e-commerce recommendation service in recent years, and build a framework of it. Then, this paper deeply analyzes the trends of e-commerce recommendation service, and points out some existing problems. As a result, this paper systemizes the literatures about e-commerce recommendation, finds out some shortcomings in current research, and puts forward authors' own understanding, aiming for providing
for the development of e-commerce recommendation service. Keywords:big data, e-commerce, recommendation service, algorithms, user services
ska L. User Feedback and Preferences Mining[C]// User Modeling, Adaptation, and Personalization, 20th International Conference, UMAP 2012.Springer Verlag,2012:382-386.
F713.36
A DOI:10.3772/j.issn.1674-1544.2015.03.005
朱向林*(1990-),男,中國科學(xué)技術(shù)信息研究所碩士研究生,研究方向:科技政策、電子商務(wù);程如煙(1969-),女,中國科學(xué)技術(shù)信息研究所研究員,研究方向:科技與創(chuàng)新政策、科技經(jīng)費(fèi)管理、國際科技合作研究;張璐(1992-),女,北京大學(xué)信息管理系碩士研究生,研究方向:用戶行為、電子商務(wù)。
2015年3月30日。